Mengakses database Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan cara terhubung ke instance Cloud SQL yang menjalankan database Airflow dari lingkungan Cloud Composer Anda dan menjalankan kueri SQL.

Misalnya, Anda mungkin ingin menjalankan kueri langsung di database Airflow, membuat cadangan database, mengumpulkan statistik berdasarkan konten database, atau mengambil informasi kustom lainnya dari database.

Sebelum memulai

Menjalankan kueri SQL di database Airflow

Untuk terhubung ke database Airflow:

  1. Buat DAG dengan satu atau beberapa operator SQLExecuteQueryOperator. Untuk memulai, Anda dapat menggunakan contoh DAG.

  2. Di parameter sql operator, tentukan kueri SQL Anda.

  3. Upload DAG ini ke lingkungan Anda.

  4. Memicu DAG, misalnya, Anda dapat melakukannya secara manual atau menunggu hingga berjalan sesuai jadwal.

Contoh DAG:

import datetime
import os

import airflow
from airflow.providers.common.sql.operators.sql import SQLExecuteQueryOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2025, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    SQLExecuteQueryOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Untuk informasi selengkapnya tentang cara menggunakan SQLExecuteQueryOperator, lihat Panduan Cara untuk Postgres menggunakan SQLExecuteQueryOperator dalam dokumentasi Airflow.

Membuat dump konten database dan mentransfernya ke bucket

Langkah berikutnya