Menjadwalkan DAG Airflow

Dokumen ini menjelaskan cara menjadwalkan directed acyclic graph (DAG) Airflow dari Cloud Composer 3 di halaman Penjadwalan di BigQuery, termasuk cara memicu DAG secara manual, dan cara melihat histori dan log eksekusi DAG sebelumnya.

Tentang mengelola DAG Airflow di BigQuery

Halaman Penjadwalan di BigQuery menyediakan alat untuk menjadwalkan DAG Airflow yang berjalan di lingkungan Cloud Composer 3 Anda.

DAG Airflow yang Anda jadwalkan di BigQuery dieksekusi di satu atau beberapa lingkungan Cloud Composer di project Anda. Halaman Penjadwalan di BigQuery menggabungkan informasi untuk semua DAG Airflow di project Anda.

Selama DAG berjalan, Airflow menjadwalkan dan menjalankan setiap tugas yang membentuk DAG dalam urutan yang ditentukan oleh DAG. Di halaman Penjadwalan di BigQuery, Anda dapat melihat status eksekusi DAG sebelumnya, menjelajahi log mendetail semua eksekusi DAG dan semua tugas dari eksekusi DAG ini, serta melihat detail tentang DAG.

Untuk mempelajari lebih lanjut konsep inti Airflow seperti DAG Airflow, eksekusi DAG, tugas, atau operator, lihat halaman Konsep Inti di dokumentasi Airflow.

Untuk mempelajari lingkungan Cloud Composer lebih lanjut, lihat halaman Ringkasan Cloud Composer 3 dalam dokumentasi Cloud Composer.

Sebelum memulai

  1. Enable the Cloud Composer API.

    Enable the API

  2. Pastikan project Anda memiliki setidaknya satu lingkungan Cloud Composer 3, dengan setidaknya satu file DAG yang sudah diupload: Google Cloud
    • Untuk mulai menggunakan DAG Airflow, ikuti petunjuk dalam panduan Menjalankan DAG Apache Airflow di Cloud Composer 3. Sebagai bagian dari panduan ini, Anda akan membuat lingkungan Cloud Composer 3 dengan konfigurasi default, mengupload DAG ke lingkungan tersebut, dan memeriksa apakah Airflow menjalankannya.
    • Untuk mengetahui petunjuk mendetail tentang cara mengupload DAG Airflow ke lingkungan Cloud Composer 3, lihat Menambahkan dan memperbarui DAG.
    • Untuk mengetahui petunjuk mendetail tentang cara membuat lingkungan Cloud Composer 3, lihat Membuat lingkungan Cloud Composer.

Izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menjadwalkan DAG Airflow, minta administrator Anda untuk memberi Anda peran IAM berikut pada project:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk menjadwalkan DAG Airflow. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menjadwalkan DAG Airflow:

  • Untuk melihat DAG Airflow dan detailnya: composers.dags.list, composer.environments.list
  • Untuk memicu dan menjeda DAG Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang IAM Cloud Composer 3, lihat Kontrol akses dengan IAM dalam dokumentasi Cloud Composer.

Memicu DAG Airflow secara manual

Saat Anda memicu DAG Airflow secara manual, Airflow menjalankan DAG satu kali, secara terpisah dari jadwal yang ditentukan untuk DAG.

Untuk memicu DAG Airflow yang dipilih secara manual, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka halaman Penjadwalan

  2. Lakukan salah satu hal berikut:

    • Klik nama DAG yang dipilih, lalu di halaman DAG details, klik Trigger DAG.

    • Di baris yang berisi DAG yang dipilih, klik Lihat tindakan di kolom Tindakan, lalu klik Picu DAG.

Melihat log dan detail operasi DAG Airflow

Untuk melihat detail DAG Airflow yang dipilih, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka halaman Penjadwalan

  2. Klik nama DAG yang dipilih.

  3. Di halaman Detail DAG, pilih tab Detail.

  4. Untuk melihat operasi DAG sebelumnya, pilih tab Operasi.

    1. Opsional: Tab Runs menampilkan operasi DAG dari 10 hari terakhir secara default. Untuk memfilter proses DAG menurut rentang waktu yang berbeda, di menu drop-down 10 hari, pilih rentang waktu, lalu klik Oke.

    2. Opsional: Untuk menampilkan kolom tambahan dengan detail proses DAG dalam daftar semua proses DAG, klik Opsi tampilan kolom, lalu pilih kolom dan klik Oke.

    3. Untuk melihat detail dan log untuk eksekusi DAG yang dipilih, pilih eksekusi DAG.

  5. Untuk melihat visualisasi DAG dengan dependensi tugas, pilih tab Diagram.

    1. Untuk melihat detail tugas, pilih tugas pada diagram.

  6. Untuk melihat kode sumber DAG, pilih tab Code.

  7. Opsional: Untuk memuat ulang data yang ditampilkan, klik Muat ulang.

Melihat semua DAG Airflow

Untuk melihat DAG Airflow dari semua lingkungan Cloud Composer 3 di project Google Cloud Anda, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka halaman Penjadwalan

  2. Opsional: Untuk menampilkan kolom tambahan dengan detail DAG, klik Opsi tampilan kolom, lalu pilih kolom dan klik Oke.

Menjeda DAG Airflow

Untuk menjeda DAG Airflow yang dipilih, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka halaman Penjadwalan

  2. Lakukan salah satu hal berikut:

    • Klik nama DAG yang dipilih, lalu di halaman Detail DAG, klik Jeda DAG.

    • Di baris yang berisi DAG yang dipilih, klik Lihat tindakan di kolom Tindakan, lalu klik Jeda DAG.

Pemecahan masalah

Untuk mengetahui petunjuk pemecahan masalah DAG Airflow, lihat Memecahkan masalah DAG Airflow dalam dokumentasi Cloud Composer.

Langkah berikutnya