Acessar o banco de dados do Airflow

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, você verá como se conectar a uma instância do Cloud SQL que executa o banco de dados do Airflow do ambiente do Cloud Composer e executar consultas SQL.

Por exemplo, talvez você queira executar consultas diretamente no banco de dados do Airflow, fazer backups de bancos de dados, coletar estatísticas com base no conteúdo do banco de dados ou recuperar outras informações personalizadas do banco de dados.

Antes de começar

Executar uma consulta SQL no banco de dados do Airflow

Para se conectar ao banco de dados do Airflow:

1. Crie um DAG com um ou mais operadores PostgresOperator. Para começar, use o exemplo de DAG.

2. No parâmetro sql do operador, especifique sua consulta SQL.

3. Faça o upload desse DAG para o ambiente.

4. Acionar o DAG, por exemplo, pode ser feito de forma manual ou aguardar até que ele seja executado de acordo com uma programação.

Exemplo de DAG:

import datetime
import os

import airflow
from airflow.providers.postgres.operators.postgres import PostgresOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2024, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    PostgresOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        postgres_conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Despejar conteúdo do banco de dados e transferi-lo para um bucket

A seguir

• Acessar a API REST do Airflow
• Executar comandos da CLI do Airflow