Executar um DAG do Apache Airflow no Cloud Composer 1

Criar um ambiente

1. No console do Google Cloud, acesse a página Criar ambiente.

   Acessar "Criar ambiente"

2. No campo Nome, use example-environment.

3. Na lista suspensa Local, selecione uma região para o ambiente do Cloud Composer. Este guia usa a região us-central1.

4. Para outras opções de configuração do ambiente, use os padrões fornecidos.

5. Clique em Criar e aguarde até que o ambiente seja criado.

6. Quando terminar, uma marca de seleção verde vai aparecer ao lado do nome do ambiente.

Criar um arquivo DAG

Um DAG do Airflow é uma coleção de tarefas organizadas que você quer programar e executar. Os DAGs são definidos em arquivos Python padrão.

Neste guia, usamos um exemplo de DAG do Airflow definido no arquivo quickstart.py. O código Python neste arquivo faz o seguinte:

1. Cria um DAG, composer_sample_dag. Esse DAG é executado todos os dias.
2. Executa uma tarefa, print_dag_run_conf. A tarefa imprime a configuração da execução do DAG usando o operador bash.

Salve uma cópia do arquivo quickstart.py na sua máquina local:

import datetime

from airflow import models
from airflow.operators import bash

# If you are running Airflow in more than one time zone
# see https://airflow.apache.org/docs/apache-airflow/stable/timezone.html
# for best practices
YESTERDAY = datetime.datetime.now() - datetime.timedelta(days=1)

default_args = {
    "owner": "Composer Example",
    "depends_on_past": False,
    "email": [""],
    "email_on_failure": False,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": datetime.timedelta(minutes=5),
    "start_date": YESTERDAY,
}

with models.DAG(
    "composer_quickstart",
    catchup=False,
    default_args=default_args,
    schedule_interval=datetime.timedelta(days=1),
) as dag:
    # Print the dag_run id from the Airflow logs
    print_dag_run_conf = bash.BashOperator(
        task_id="print_dag_run_conf", bash_command="echo {{ dag_run.id }}"
    )

faça upload do arquivo DAG para o bucket do ambiente

Todos os ambientes do Cloud Composer têm um bucket do Cloud Storage associado. Apenas programações do Airflow no Cloud Composer DAGs que estão localizados na pasta /dags neste bucket.

Para programar seu DAG, faça upload do arquivo quickstart.py da máquina local para o pasta /dags do ambiente:

1. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

2. Na lista de ambientes, clique no nome do ambiente, example-environment. A página Detalhes do ambiente é aberta.

3. Clique em Abrir pasta de DAGs. A página Detalhes do bucket é aberta.

4. Clique em Fazer upload de arquivos e selecione sua cópia de quickstart.py.

5. Para fazer upload do arquivo, clique em Abrir.

Conferir o DAG

Depois de fazer upload do arquivo DAG, o Airflow faz o seguinte:

1. Analisa o arquivo DAG que você enviou. Pode levar alguns minutos para que o DAG ficar disponível para o Airflow.
2. Adiciona o DAG à lista de DAGs disponíveis.
3. Executa o DAG de acordo com a programação que você forneceu no arquivo DAG.

Verifique se o DAG foi processado sem erros e está disponível no Airflow na interface do DAG. A interface do DAG é a interface do Cloud Composer para visualização Informações do DAG no console do Google Cloud. O Cloud Composer também oferece Acesso à IU do Airflow, que é uma interface nativa da plataforma interface gráfica do usuário.

1. Aguarde cerca de cinco minutos para que o Airflow tenha tempo de processar o arquivo DAG que você enviou anteriormente e concluir a primeira execução do DAG (explicado mais tarde).

2. No console do Google Cloud, acesse a página Ambientes.

   Acessar "Ambientes"

3. Na lista de ambientes, clique no nome do ambiente. example-environment: A página Detalhes do ambiente é aberta.

4. Acesse a guia DAGs.

5. Verificar se o DAG composer_quickstart está presente na lista de DAGs.

   

Mais detalhes da execução do DAG

Uma única execução de um DAG é chamada de execução de DAG. Airflow imediatamente executa um DAG para o DAG de exemplo porque a data de início no arquivo DAG é definido como ontem. Assim, o Airflow alcança os DAGs especificados cronograma.

O DAG de exemplo contém uma tarefa, print_dag_run_conf, que executa a echo no console. Esse comando gera metainformações sobre o DAG (identificador numérico da execução do DAG).

1. Na guia DAGs, clique em composer_quickstart. A guia Runs do DAG é aberta.

2. Na lista de execuções do DAG, clique na primeira entrada.

   

3. Os detalhes da execução do DAG são mostrados, detalhando as informações as tarefas do DAG de exemplo.

   

4. A seção Registros da execução do DAG lista os registros de todas as tarefas na execução do DAG. É possível conferir a saída do comando echo nos registros.