Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Auf dieser Seite wird erläutert, wie Sie die Airflow-Datenbank in Ihrer Umgebung verwalten.
Automatische Datenbankbereinigung mit einer Aufbewahrungsrichtlinie für Datenbanken
Sie können die automatische Datenbankbereinigung für Ihre Cloud Composer 3-Umgebung konfigurieren, indem Sie eine Datenbankaufbewahrungsrichtlinie festlegen. Nachdem Sie diese Richtlinie eingerichtet haben, werden Einträge, die älter als ein bestimmter Zeitraum sind, täglich automatisch aus der Airflow-Datenbank entfernt. Weitere Informationen finden Sie unter Datenbankaufbewahrungsrichtlinie konfigurieren.
Eingestellte Bereinigungsverfahren
Bevor die Datenbankaufbewahrungsrichtlinie in Cloud Composer verfügbar war, haben wir einen anderen Ansatz zur Automatisierung der Datenbankbereinigung empfohlen: einen DAG zur Datenbankbereinigung. Dieser Ansatz ist in Cloud Composer 3 nicht mehr zulässig. Dieser DAG führt redundante Aufgaben aus. Sie können den Ressourcenverbrauch reduzieren, indem Sie ihn entfernen und durch eine Datenbankaufbewahrungsrichtlinie ersetzen.
Beschränkungen für die Datenbankgröße
Im Laufe der Zeit speichert die Airflow-Datenbank Ihrer Umgebung immer mehr Daten. Diese Daten enthalten Informationen und Protokolle zu vergangenen DAG-Ausführungen, Aufgaben und anderen Airflow-Vorgängen.
Wenn die Airflow-Datenbankgröße mehr als 20 GB beträgt, können Sie Ihre Umgebung nicht auf eine neuere Version aktualisieren.
Wenn die Airflow-Datenbankgröße mehr als 20 GB beträgt, können keine Snapshots erstellt werden.
Datenbankleistung aufrechterhalten
Leistungsprobleme der Airflow-Datenbank können zu Problemen bei der DAG-Ausführung führen. Sehen Sie sich die Statistiken zur CPU- und Arbeitsspeichernutzung der Datenbank an. Wenn die CPU- und Arbeitsspeichernutzung die Limits erreicht, ist die Datenbank überlastet und muss skaliert werden. Die Anzahl der für die Airflow-Datenbank verfügbaren Ressourcen wird durch das Attribut „Umgebungsgröße“ Ihrer Umgebung gesteuert. Wenn Sie die Datenbank skalieren möchten, ändern Sie die Umgebungsgröße in eine größere Stufe. Wenn Sie die Umgebungsgröße erhöhen, steigen die Kosten Ihrer Umgebung.
Wenn Sie den XCom-Mechanismus zum Übertragen von Dateien verwenden, achten Sie darauf, dass Sie ihn gemäß den Airflow-Richtlinien verwenden. Die Übertragung großer Dateien oder einer großen Anzahl von Dateien mit XCom wirkt sich auf die Leistung der Airflow-Datenbank aus und kann zu Fehlern beim Laden von Snapshots oder beim Upgraden Ihrer Umgebung führen. Für die Übertragung großer Datenmengen können Sie Alternativen wie Cloud Storage verwenden.
Einträge für nicht verwendete DAGs entfernen
Sie können Datenbankeinträge für nicht verwendete DAGs entfernen. Dazu entfernen Sie DAGs aus der Airflow-Benutzeroberfläche.
Nächste Schritte