Acceso a la base de datos de Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página, se explica cómo conectarse a una instancia de Cloud SQL que ejecuta la base de datos de Airflow de tu entorno de Cloud Composer y que ejecuta consultas de SQL.

Por ejemplo, es posible que desees ejecutar consultas directamente en la base de datos de Airflow, hacer copias de seguridad de la base de datos, recopilar estadísticas basadas en el contenido de la base de datos o recuperar cualquier otra información personalizada de la base de datos.

Antes de comenzar

Ejecuta una consulta de SQL en la base de datos de Airflow

Para conectarte a la base de datos de Airflow, sigue estos pasos:

  1. Crea un DAG con uno o más operadores PostgresOperator. Para comenzar, puedes usar el DAG de ejemplo.

  2. En el parámetro sql del operador, especifica tu consulta en SQL.

  3. Sube este DAG a tu entorno.

  4. Activa el DAG. Por ejemplo, puedes hacerlo de forma manual o esperar a que se ejecute según un programa.

Ejemplo de DAG:

import datetime
import os

import airflow
from airflow.providers.postgres.operators.postgres import PostgresOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2024, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    PostgresOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        postgres_conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Vuelca el contenido de la base de datos y los transfiere a un bucket

¿Qué sigue?