Usar operadores adiáveis

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Nesta página, explicamos como ativar o suporte para operadores adiáveis no seu e usar operadores adiáveis do Google Cloud nos DAGs.

Sobre os operadores adiáveis no Cloud Composer

Se você tiver pelo menos uma instância de acionador (ou pelo menos duas em ambientes altamente resilientes), poderá usar operadores e acionadores adiáveis nos seus DAGs.

Para operadores adiáveis, o Airflow divide a execução da tarefa nos seguintes estágios:

1. Inicie a operação. Nessa fase, a tarefa ocupa um slot de worker do Airflow. A tarefa executa uma operação que delega o job a um serviço diferente.

   Por exemplo, a execução de um job do BigQuery pode levar de alguns segundos a várias horas. Depois de criar o job, a operação passa o identificador do trabalho (ID do job do BigQuery) para um Gatilho do Airflow.

2. O gatilho monitora o job até que ele seja concluído. Nessa etapa, que não está ocupado. O gatilho do Airflow tem e é capaz de lidar com centenas desses jobs. Quando o detectar que o job foi concluído, ele envia um evento que aciona na última etapa.

3. Na última etapa, um worker do Airflow executa um callback. Esse retorno de chamada, para exemplo, pode marcar a tarefa como bem-sucedida ou executar outra operação e defina o job para ser monitorado pelo acionador novamente.

O acionador não tem estado e, portanto, é resiliente a interrupções ou reinicializações. Por isso, os jobs de longa duração são resilientes a reinicializações de pods, a menos que a reinicialização aconteça durante o último estágio, que é esperado que seja curto.

Antes de começar

• Os operadores e sensores adiáveis estão disponíveis no Cloud Composer 2 e exigem o seguinte:
  • Cloud Composer 2.0.31 e versões mais recentes
  • Airflow 2.2.5, 2.3.3 e versões mais recentes

Ativar o suporte a operadores adiáveis

Um componente de ambiente chamado Acionador do Airflow monitora de forma assíncrona todas as tarefas adiadas no seu ambiente. Depois que uma operação adiada dessa tarefa é concluída, o acionador transmite a tarefa a um worker do Airflow.

É preciso ter pelo menos uma instância do engatilhador no seu ambiente (ou pelo menos duas) em ambientes altamente resilientes) para usar o modo adiável nos DAGs. É possível configurar os gatilhos ao criar um ambiente ou ajustar o número de acionadores e parâmetros de desempenho para um ambiente atual.

Operadores do Google Cloud com suporte para o modo adiável

Apenas alguns operadores do Airflow foram estendidos para oferecer suporte ao modelo adiável. A lista a seguir é uma referência para os operadores no Pacote airflow.providers.google.operators.cloud que são compatíveis com o modo adiável. A coluna com a versão de pacote airflow.providers.google.operators.cloud mínima necessária representa a versão do pacote mais antiga em que esse operador oferece suporte ao modo deferível.

Usar operadores adiáveis nos DAGs

Uma convenção comum para todos os operadores do Google Cloud é permitir a modo adiável com o parâmetro booleano deferrable. Se um cliente do Google Cloud operador não tiver esse parâmetro, não poderá ser executado na variável modo Outros operadores podem ter uma convenção diferente. Por exemplo, alguns operadores de comunidade têm uma classe separada com o sufixo Async no nome.

O DAG de exemplo a seguir usa o operador DataprocSubmitJobOperator na modo adiável:

PYSPARK_JOB = {
    "reference": { "project_id": "PROJECT_ID" },
    "placement": { "cluster_name": "PYSPARK_CLUSTER_NAME" },
    "pyspark_job": {
        "main_python_file_uri": "gs://dataproc-examples/pyspark/hello-world/hello-world.py"
    },
}

DataprocSubmitJobOperator(
        task_id="dataproc-deferrable-example",
        job=PYSPARK_JOB,
        deferrable=True,
    )

Ver registros do engatilhador

O engatilhador gera registros que são disponibilizados com outros registros componentes do ambiente. Para mais informações sobre como visualizar seu ambiente consulte Ver registros.

Monitorar acionador

Para mais informações sobre como monitorar o componente acionador, consulte Métricas do Airflow.

Além de monitorar o acionador, é possível verificar o número de solicitações tarefas nas métricas Tarefa inacabada no painel do Monitoring do de nuvem.

A seguir

• Como solucionar problemas do acionador do Airflow
• Métricas do acionador do Airflow
• Registros do gatilho do Airflow