Cloud Composer

Facilite a transição para a nuvem ou mantenha um ambiente de dados híbrido orquestrando fluxos de trabalho que se cruzam entre a nuvem local e a pública. Crie fluxos de trabalho que conectam dados, processamentos e serviços entre nuvens, garantindo um ambiente de dados unificado.

O Cloud Composer é baseado no Apache Airflow, o que dá aos usuários liberdade de escolha e portabilidade. O Google contribui com esse projeto, que oferece liberdade para os clientes e integração a uma grande quantidade de plataformas. A tendência é esse número só aumentar com o crescimento da comunidade do Airflow.

Os pipelines do Cloud Composer são configurados como gráficos acíclicos dirigidos (DAGs, na sigla em inglês) usando Python, facilitando o uso para todos os usuários. A implantação com um clique proporciona acesso instantâneo a uma biblioteca avançada de conectores e várias representações gráficas do fluxo de trabalho em ação, facilitando a solução de problemas. A sincronização automática dos gráficos acíclicos direcionados garante que os jobs sigam o cronograma.

As principais melhorias incluem o controle de versões de DAG para auditoria e rollbacks confiantes, além de backfills gerenciados pelo programador para um reprocessamento mais simples de dados históricos. Uma nova API e SDK de execução de tarefas abrem caminho para o futuro suporte a vários idiomas e ambientes de tarefas isolados. Os usuários se beneficiam de uma interface mais rápida e moderna baseada em React com navegação aprimorada. O agendamento planejado baseado em eventos visa pipelines mais reativos e quase em tempo real. O Edge Executor otimiza a execução remota de tarefas, e uma CLI dividida (airflow/airflowctl) oferece uma experiência de linha de comando mais clara para desenvolvimento e operações.