Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
En esta página, se explica cómo mantener la base de datos de Airflow en tu entorno.
Limpieza automática de bases de datos con una política de retención de bases de datos
Puedes configurar la limpieza automática de bases de datos para tu entorno de Cloud Composer 3 si estableces una política de retención de bases de datos. Después de configurar esta política, los registros anteriores a un período determinado se quitan automáticamente de la base de datos de Airflow todos los días. Para obtener más información, consulta Configura la política de retención de bases de datos.
Procedimientos de limpieza obsoletos
Antes de que la política de retención de bases de datos estuviera disponible en Cloud Composer, recomendábamos un enfoque diferente para automatizar la limpieza de bases de datos, a través de un DAG de limpieza de bases de datos. Este enfoque está obsoleto en Cloud Composer 3. Este DAG realiza un trabajo redundante y puedes reducir el consumo de recursos quitándolo y reemplazándolo por una política de retención de bases de datos.
Límites de tamaño de la base de datos
Con el tiempo, la base de datos de Airflow de tu entorno almacena cada vez más datos. Estos datos incluyen información y registros relacionados con ejecuciones y tareas anteriores de DAG y otras operaciones de Airflow.
Si el tamaño de la base de datos de Airflow es superior a 20 GB, no puedes actualizar tu entorno a una versión posterior.
Si el tamaño de la base de datos de Airflow supera los 20 GB, no es posible crear instantáneas.
Mantén el rendimiento de la base de datos
Los problemas de rendimiento de la base de datos de Airflow pueden generar problemas generales de ejecución de DAG. Observa las estadísticas de uso de CPU y memoria de la base de datos. Si el uso de CPU y memoria se acerca a los límites, la base de datos está sobrecargada y requiere escalamiento. La cantidad de recursos disponibles para la base de datos de Airflow está controlada por la propiedad de tamaño del entorno. Para escalar la base de datos, cambia el tamaño del entorno a un nivel superior. Aumentar el tamaño del entorno aumenta los costos.
Si usas el mecanismo XCom para transferir archivos, asegúrate de seguirlo según los lineamientos de Airflow. La transferencia de archivos grandes o una gran cantidad de archivos con XCom afecta el rendimiento de la base de datos de Airflow y puede generar fallas cuando se cargan instantáneas o se actualiza el entorno. Considera usar alternativas como Cloud Storage para transferir grandes volúmenes de datos.
Quita las entradas de los DAG sin usar
Puedes quitar entradas de bases de datos de los DAG sin usar si quitas los DAG de la IU de Airflow.
¿Qué sigue?
- Cómo configurar la política de retención de bases de datos
- Cómo acceder a la interfaz de línea de comandos de Airflow