清除 Airflow 資料庫

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本頁面說明如何維護環境中的 Airflow 資料庫。

透過資料庫保留政策自動清理資料庫

您可以設定資料庫保留政策，為 Cloud Composer 3 環境設定自動資料庫清理功能。設定這項政策後，系統會每天自動從 Airflow 資料庫中移除超過特定期間的記錄。詳情請參閱「設定資料庫保留政策」。

已淘汰的清理程序

在 Cloud Composer 提供資料庫保留政策之前，我們建議您透過資料庫清理 DAG，以其他方式自動清理資料庫。這種做法已在 Cloud Composer 3 中淘汰。這個 DAG 會執行多餘的工作，因此您可以將其移除並替換為資料庫保留政策，藉此減少資源消耗。

資料庫大小限制

隨著時間推移，環境中的 Airflow 資料庫會儲存越來越多資料。這類資料包括與過去 DAG 執行作業、工作和其他 Airflow 作業相關的資訊和記錄。

  • 如果 Airflow 資料庫大小超過 20 GB，您就無法將環境升級至較新版本。

  • 如果 Airflow 資料庫大小超過 20 GB，就無法建立快照。

維持資料庫效能

  • Airflow 資料庫效能問題可能會導致整體 DAG 執行問題。觀察資料庫 CPU 和記憶體用量統計資料。如果 CPU 和記憶體使用率接近上限，就表示資料庫超載，需要進行調整。Airflow 資料庫可用的資源量，由環境的環境大小屬性控管。如要擴充資料庫，請變更環境大小，改為較大的等級。增加環境大小會提高環境費用。

  • 如果您使用 XCom 機制傳輸檔案，請務必按照 Airflow 的規範使用。使用 XCom 傳輸大型檔案或大量檔案會影響 Airflow 資料庫的效能，並可能導致載入快照或升級環境時失敗。請考慮使用 Cloud Storage 等替代方案來傳輸大量資料。

移除未使用的 DAG 項目

您可以從 Airflow UI 移除 DAG，藉此移除未使用的 DAG 資料庫項目。

後續步驟