Cloud Composer 1 | Cloud Composer 2
Apache Airflow memiliki antarmuka REST API yang dapat Anda gunakan untuk melakukan berbagai tugas, seperti mendapatkan informasi tentang tugas dan pengoperasian DAG, mengupdate DAG, mendapatkan konfigurasi Airflow, menambahkan dan menghapus koneksi, serta membuat daftar pengguna.
Untuk mengetahui contoh penggunaan Airflow REST API dengan Cloud Functions, baca artikel Memicu DAG dengan Cloud Functions.
Versi REST API Airflow
Versi REST API Airflow berikut tersedia di Cloud Composer 2:
Airflow 2 menggunakan REST API stabil. REST API eksperimental tidak digunakan lagi oleh Airflow.
Anda masih dapat menggunakan REST API eksperimental di Airflow 2 jika mengaktifkannya melalui penggantian konfigurasi Airflow, seperti yang dijelaskan lebih lanjut.
Sebelum memulai
Aktifkan API Cloud Composer.
Mengaktifkan Airflow REST API stabil
REST API stabil sudah diaktifkan secara default di Airflow 2.
Cloud Composer menggunakan backend autentikasi API-nya sendiri.Otorisasi berfungsi dengan cara standar yang disediakan oleh Airflow. Saat pengguna baru memberikan otorisasi melalui API, akun pengguna tersebut mendapatkan peran Op
secara default.
Anda dapat mengaktifkan atau menonaktifkan REST API stabil, atau mengubah peran pengguna default dengan mengganti opsi konfigurasi Airflow berikut:
Bagian | Kunci | Nilai | Notes |
---|---|---|---|
api
|
(Airflow 2.2.5 dan yang lebih lama) auth_backend (Airflow 2.3.0 dan yang lebih baru) auth_backends
|
airflow.composer.api.backend.composer_auth
|
Untuk menonaktifkan REST API stabil, ubah ke
airflow.api.auth.backend.deny_all |
api
|
composer_auth_user_registration_role
|
Op
|
Anda dapat menentukan peran lainnya. |
Mengaktifkan Airflow REST API eksperimental
Secara default, fitur autentikasi API dinonaktifkan di API eksperimental. Server web Airflow menolak semua permintaan yang Anda buat.
Untuk mengaktifkan fitur autentikasi API dan API eksperimental Airflow 2, ganti opsi konfigurasi Airflow berikut:
Bagian | Kunci | Nilai | Notes |
---|---|---|---|
api
|
(Airflow 2.2.5 dan yang lebih lama) auth_backend (Airflow 2.3.0 dan yang lebih baru) auth_backends
|
airflow.api.auth.backend.default
|
Nilai defaultnya adalah airflow.composer.api.backend.composer_auth . |
api
|
enable_experimental_api
|
True
|
Nilai defaultnya adalah False . |
Setelah Anda menetapkan opsi konfigurasi ini ke airflow.api.auth.backend.default
, server web Airflow akan menerima semua permintaan API tanpa autentikasi. Meskipun tidak memerlukan autentikasi, server web Airflow sendiri tetap dilindungi oleh Identity-Aware Proxy yang menyediakan lapisan autentikasinya sendiri.
Izinkan panggilan API ke Airflow REST API menggunakan Kontrol Akses Webserver
Bergantung pada metode yang digunakan untuk memanggil Airflow REST API, metode pemanggil dapat menggunakan alamat IPv4 atau IPv6. Ingatlah untuk berhenti memblokir traffic IP ke Airflow REST API menggunakan Webserver Access Control.
Gunakan opsi konfigurasi default, yaitu All IP addresses have access (default)
, jika Anda tidak yakin dari alamat IP mana panggilan Anda ke Airflow REST API akan dikirim.
Melakukan panggilan ke Airflow REST API
Bagian ini menyediakan contoh skrip Python yang dapat Anda gunakan untuk memicu DAG dengan Airflow REST API stabil.
Masukkan konten contoh berikut ke dalam file bernama
composer2_airflow_rest_api.py
, lalu berikan URL UI Airflow Anda, nama DAG, dan konfigurasi run DAG di nilai variabel.
Misalnya, konfigurasi di bawah ini tidak tepat
web_server_url = (
"https://example-airflow-ui-url-dot-us-central1.composer.googleusercontent.com/"
)
Mengakses Airflow REST API menggunakan akun layanan
Database Airflow membatasi panjang kolom email hingga 64 karakter. Akun layanan terkadang memiliki alamat email yang lebih dari 64 karakter. Anda tidak dapat membuat pengguna Airflow untuk akun layanan tersebut dengan cara biasa. Jika tidak ada pengguna Airflow untuk akun layanan tersebut, mengakses Airflow REST API akan menyebabkan error HTTP 401 dan 403.
Sebagai solusinya, Anda dapat melakukan prapendaftaran untuk pengguna Airflow untuk akun layanan. Untuk
melakukannya, gunakan accounts.google.com:NUMERIC_USER_ID
sebagai nama pengguna, dan
string unik apa pun sebagai email.
Untuk mendapatkan
NUMERIC_USER_ID
untuk akun layanan, jalankan:gcloud iam service-accounts describe \ SA_NAME@PROJECT_ID.iam.gserviceaccount.com \ --format="value(oauth2ClientId)"
Ganti:
SA_NAME
dengan nama akun layanan.PROJECT_ID
dengan Project ID.
Buat pengguna Airflow dengan peran
Op
untuk akun layanan:UI Airflow
Buka Keamanan > Daftar Pengguna dan klik Tambahkan data baru. Pengguna Airflow Anda harus memiliki peran
Admin
untuk membuka halaman ini.Tetapkan
accounts.google.com:NUMERIC_USER_ID
sebagai nama pengguna. GantiNUMERIC_USER_ID
dengan ID pengguna yang diperoleh pada langkah sebelumnya.Tentukan ID unik sebagai email. Anda dapat menggunakan string unik apa pun.
Tentukan peran untuk pengguna. Misalnya,
Op
.Pastikan kotak Is Active? dicentang.
Tentukan nama depan dan nama belakang pengguna. Anda dapat menggunakan {i>string<i} apa pun.
Klik Save.
gcloud
Jalankan perintah Airflow CLI berikut:
gcloud composer environments run ENVIRONMENT_NAME \ --location LOCATION \ users create -- \ -u accounts.google.com:NUMERIC_USER_ID \ -e UNIQUE_ID \ -f UNIQUE_ID \ -l - -r Op --use-random-password
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.NUMERIC_USER_ID
dengan ID pengguna yang diperoleh di langkah sebelumnya.UNIQUE_ID
dengan ID untuk pengguna Airflow. Anda dapat menggunakan string unik apa pun.
Setelah Anda membuat pengguna Airflow untuk akun layanan, pemanggil yang diautentikasi sebagai akun layanan akan dikenali sebagai pengguna yang telah melakukan prapendaftaran, dan login ke Airflow.
Menskalakan komponen Airflow REST API
Endpoint Airflow REST API dan Airflow UI dijalankan dalam komponen, yaitu Airflow Webserver. Jika Anda menggunakan REST API secara intensif, pertimbangkan untuk meningkatkan parameter CPU dan memori untuk menyesuaikan resource Airflow Webserver dengan beban yang diharapkan.