清理 Airflow 数据库

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本页介绍了如何维护您环境中的 Airflow 数据库。

使用数据库保留政策自动清理数据库

您可以通过设置数据库保留政策,为 Cloud Composer 3 环境配置自动数据库清理。设置此政策后,系统每天都会从 Airflow 数据库中自动移除超过特定期限的记录。如需了解详情,请参阅配置数据库保留政策

已废弃的清理流程

在 Cloud Composer 中推出数据库保留政策之前,我们建议通过数据库清理 DAG 采用其他方法来自动执行数据库清理。此方法在 Cloud Composer 3 中已废弃。此 DAG 会执行多余的工作,您可以将其移除并替换为数据库保留政策,从而减少资源消耗。

数据库大小限制

随着时间的推移,环境的 Airflow 数据库会存储越来越多的数据。这些数据包括与过往 DAG 运行、任务和其他 Airflow 操作相关的信息和日志。

  • 如果 Airflow 数据库大小超过 20 GB,则无法将环境升级到更高版本。

  • 如果 Airflow 数据库大小超过 20 GB,则无法创建快照。

维护数据库性能

  • Airflow 数据库性能问题可能会导致整体 DAG 执行问题。观察“数据库 CPU 和内存用量”统计信息。如果 CPU 和内存利用率接近上限,则表示数据库过载并需要扩缩。 Airflow 数据库可用的资源量由环境的环境大小属性控制。如需扩缩数据库,请将环境大小更改为更大的层级。增加环境大小会增加环境的费用。

  • 如果您使用 XCom 机制传输文件,请确保按照 Airflow 准则使用该机制。使用 XCom 传输大型文件或大量文件会影响 Airflow 数据库的性能,并可能会导致加载快照或升级环境时发生失败。考虑使用 Cloud Storage 等替代方案来传输大量数据。

移除未使用的 DAG 的条目

您可以通过从 Airflow 界面中移除 DAG 移除未使用的 DAG 的数据库条目。

后续步骤