Limpar o banco de dados do Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, explicamos como manter o banco de dados do Airflow no seu ambiente.

Limpeza automática do banco de dados com uma política de retenção

É possível configurar a limpeza automática do banco de dados para o ambiente do Cloud Composer 3 definindo uma política de retenção de banco de dados. Depois de configurar essa política, os registros mais antigos do que um determinado período são removidos automaticamente do banco de dados do Airflow diariamente. Para mais informações, consulte Configurar a política de retenção de banco de dados.

Procedimentos de limpeza descontinuados

Antes que a política de retenção de banco de dados ficasse disponível no Cloud Composer, recomendamos uma abordagem diferente para automatizar a limpeza de banco de dados usando um DAG de limpeza de banco de dados. Essa abordagem está obsoleta no Cloud Composer 3. Esse DAG faz um trabalho redundante, e você pode reduzir o consumo de recursos removendo-o e substituindo-o por uma política de retenção de banco de dados.

Limites de tamanho do banco de dados

Com o passar do tempo, o banco de dados do Airflow do seu ambiente armazena cada vez mais dados. Esses dados incluem registros e informações relacionados a execuções anteriores de DAG, tarefas e outras operações do Airflow.

  • Se o tamanho do banco de dados do Airflow for maior que 20 GB, não será possível fazer upgrade do ambiente para uma versão mais recente.

  • Se o tamanho do banco de dados do Airflow for maior que 20 GB, não será possível criar snapshots.

Manter o desempenho do banco de dados

  • Problemas de desempenho do banco de dados do Airflow podem levar a problemas gerais de execução do DAG. Observe as estatísticas de uso de CPU e memória do banco de dados. Se a utilização da CPU e da memória se aproximar dos limites, o banco de dados estará sobrecarregado e exigirá escalonamento. A quantidade de recursos disponíveis para o banco de dados do Airflow é controlada pela propriedade de tamanho do ambiente. Para aumentar o banco de dados, mude o tamanho do ambiente para um nível maior. Aumentar o tamanho do ambiente aumenta os custos dele.

  • Se você usar o mecanismo XCom para transferir arquivos, use-o de acordo com as diretrizes do Airflow. A transferência de arquivos grandes ou de um grande número de arquivos usando o XCom afeta a performance do banco de dados do Airflow e pode causar falhas ao carregar instantâneos ou fazer upgrade do seu ambiente. Considere usar alternativas, como o Cloud Storage, para transferir grandes volumes de dados.

Remova entradas para DAGs não utilizados

É possível remover entradas do banco de dados para DAGs não utilizados removendo DAGs da interface do Airflow.

A seguir