Programar DAGs do Airflow
Neste documento, descrevemos como programar gráficos acíclicos direcionados (DAGs) do Airflow do Cloud Composer 3 na página Programação do BigQuery, incluindo como acionar DAGs manualmente e como ver o histórico e os registros de execuções anteriores de DAGs.
Sobre o gerenciamento de DAGs do Airflow no BigQuery
A página Programação no BigQuery oferece ferramentas para programar DAGs do Airflow que são executados nos seus ambientes do Cloud Composer 3.
Os DAGs do Airflow programados no BigQuery são executados em um ou mais ambientes do Cloud Composer no seu projeto. A página Programação no BigQuery combina informações de todos os DAGs do Airflow no seu projeto.
Durante uma execução de DAG, o Airflow programa e executa tarefas individuais que compõem um DAG em uma sequência definida por ele. Na página Programação do BigQuery, é possível conferir os status das execuções de DAG anteriores, acessar registros detalhados de todas as execuções de DAG e tarefas dessas execuções, além de ver detalhes sobre os DAGs.
Para saber mais sobre os conceitos básicos do Airflow, como DAGs, execuções de DAGs, tarefas ou operadores, consulte a página Conceitos básicos na documentação do Airflow.
Para saber mais sobre os ambientes do Cloud Composer, consulte a página Visão geral do Cloud Composer 3 na documentação do Cloud Composer.
Antes de começar
-
Enable the Cloud Composer API.
- Verifique se o projeto Google Cloud tem pelo menos um ambiente do Cloud Composer 3 com pelo menos um arquivo DAG já enviado:
- Para começar a usar os DAGs do Airflow, siga as instruções no guia Executar um DAG do Apache Airflow no Cloud Composer 3. Como parte deste guia, você vai criar um ambiente do Cloud Composer 3 com a configuração padrão, fazer upload de um DAG e verificar se o Airflow o executa.
- Para instruções detalhadas sobre como fazer upload de um DAG do Airflow para um ambiente do Cloud Composer 3, consulte Adicionar e atualizar DAGs.
- Para instruções detalhadas sobre como criar um ambiente do Cloud Composer 3, consulte Criar ambientes do Cloud Composer.
Permissões necessárias
Para receber as permissões necessárias para programar DAGs do Airflow, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Para conferir os DAGs do Airflow e os detalhes deles:
Leitor de objetos do armazenamento e do ambiente (
roles/composer.environmentAndStorageObjectViewer) -
Para acionar e pausar DAGs do Airflow:
Usuário do ambiente e do objeto de armazenamento (
roles/composer.environmentAndStorageObjectUser)
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esses papéis predefinidos contêm as permissões necessárias para programar DAGs do Airflow. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para programar DAGs do Airflow:
-
Para conferir os DAGs do Airflow e os detalhes deles:
composers.dags.list, composer.environments.list -
Para acionar e pausar DAGs do Airflow:
composers.dags.list, composer.environments.list, composer.dags.execute
Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.
Para mais informações sobre o IAM do Cloud Composer 3, consulte Controle de acesso com o IAM na documentação do Cloud Composer.
Acionar manualmente um DAG do Airflow
Quando você aciona um DAG do Airflow manualmente, ele é executado uma vez, independente da programação especificada.
Para acionar manualmente um DAG do Airflow selecionado, siga estas etapas:
No Google Cloud console, acesse a página Programação.
Realize uma das seguintes ações:
Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Acionar DAG.
Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Acionar DAG.
Conferir registros e detalhes da execução de DAGs do Airflow
Para conferir os detalhes de um DAG do Airflow selecionado, siga estas etapas:
No Google Cloud console, acesse a página Programação.
Clique no nome do DAG selecionado.
Na página Detalhes do DAG, selecione a guia Detalhes.
Para conferir as execuções de DAG anteriores, selecione a guia Execuções.
Opcional: a guia Execuções mostra as execuções de DAG dos últimos 10 dias por padrão. Para filtrar execuções de DAG por um período diferente, no menu suspenso 10 dias, selecione um período e clique em OK.
Opcional: para mostrar outras colunas com detalhes de execução do DAG na lista de todas as execuções de DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.
Para conferir detalhes e registros de uma execução de DAG selecionada, escolha uma execução.
Para ver uma visualização do DAG com dependências de tarefas, selecione a guia Diagrama.
- Para ver os detalhes de uma tarefa, selecione uma no diagrama.
Para conferir o código-fonte do DAG, selecione a guia Código.
Opcional: para atualizar os dados mostrados, clique em Atualizar.
Conferir todos os DAGs do Airflow
Para conferir os DAGs do Airflow de todos os ambientes do Cloud Composer 3 no seu projetoGoogle Cloud , siga estas etapas:
No Google Cloud console, acesse a página Programação.
Opcional: para mostrar outras colunas com detalhes do DAG, clique em Opções de exibição de colunas, selecione as colunas e clique em OK.
Pausar um DAG do Airflow
Para pausar um DAG do Airflow selecionado, siga estas etapas:
No Google Cloud console, acesse a página Programação.
Realize uma das seguintes ações:
Clique no nome do DAG selecionado e, na página Detalhes do DAG, clique em Pausar DAG.
Na linha que contém o DAG selecionado, clique em Ver ações na coluna Ações e em Pausar DAG.
Solução de problemas
Para instruções sobre como resolver problemas de DAGs do Airflow, consulte Solução de problemas de DAGs do Airflow na documentação do Cloud Composer.
A seguir
- Saiba mais sobre como escrever DAGs do Airflow.
- Saiba mais sobre o Airflow no Cloud Composer 3.