Auf die Airflow-Datenbank zugreifen

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Auf dieser Seite wird erläutert, wie Sie eine Verbindung zu einer Cloud SQL-Instanz herstellen, die die Airflow-Datenbank Ihrer Cloud Composer-Umgebung ausführt und wie Sie SQL-Abfragen ausführen.

Sie können beispielsweise Abfragen direkt in der Airflow-Datenbank ausführen, Datenbanksicherungen erstellen, Statistiken basierend auf dem Datenbankinhalt erfassen oder andere benutzerdefinierte Informationen aus der Datenbank abrufen.

Hinweise

SQL-Abfrage in der Airflow-Datenbank ausführen

So stellen Sie eine Verbindung zur Airflow-Datenbank her:

  1. Erstellen Sie einen DAG mit einem oder mehreren SQLExecuteQueryOperator-Operatoren. Sie können den Beispiel-DAG verwenden, um loszulegen.

  2. Geben Sie im Parameter sql des Operators die SQL-Abfrage an.

  3. Laden Sie diesen DAG in Ihre Umgebung hoch.

  4. Sie können den DAG beispielsweise manuell auslösen oder warten, bis er nach einem Zeitplan ausgeführt wird.

Beispiel-DAG:

import datetime
import os

import airflow
from airflow.providers.common.sql.operators.sql import SQLExecuteQueryOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2025, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    SQLExecuteQueryOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Weitere Informationen zur Verwendung des SQLExecuteQueryOperator finden Sie in der Airflow-Dokumentation im Anleitung für Postgres mit SQLExecuteQueryOperator.

Inhalt der Datenbank in einer Dumpdatei sichern und in einen Bucket übertragen

Nächste Schritte