Cloud Composer 1 | Cloud Composer 2
Dengan pengelola plugin Apache Airflow, Anda dapat menulis operator, hook, sensor, atau antarmuka Apache Airflow internal yang kustom. Untuk informasi selengkapnya, lihat plugin kustom di dokumentasi Airflow. Halaman ini menjelaskan cara menginstal plugin kustom di lingkungan Cloud Composer Anda.
Saat Anda membuat lingkungan, Cloud Composer membuat bucket Cloud Storage dan mengaitkan bucket tersebut dengan lingkungan Anda. Anda dapat menggunakan folder plugins
di bucket terkait untuk menginstal plugin kustom.
Sebelum memulai
- Akun Anda harus memiliki peran yang memungkinkan untuk melihat dan mengubah konten bucket lingkungan Anda.
- Metode penginstalan ini hanya berlaku untuk plugin Airflow. Misalnya, Anda tidak dapat menggunakan metode ini untuk menginstal modul Python umum atau library lainnya.
- Plugin harus sesuai dengan panduan template plugin Airflow.
Menginstal plugin
Untuk menginstal plugin kustom ke lingkungan Cloud Composer, salin kode plugin ke folder plugins
di bucket Cloud Storage yang dikaitkan ke lingkungan Cloud Composer Anda.
Untuk menginstal plugin:
Konsol
Di konsol Google Cloud, buka halaman Environments.
Temukan lingkungan Anda dan ikuti link DAG.
Naik satu tingkat folder ke atas, lalu buka folder
plugins/
.Upload file plugin Anda. Untuk mengetahui informasi selengkapnya tentang cara mengupload objek, lihat Mengupload objek.
gcloud
Gunakan perintah gcloud
berikut:
gcloud composer environments storage plugins import \
--environment ENVIRONMENT_NAME \
--location LOCATION \
--source PATH_TO_LOCAL_FILE \
--destination PATH_IN_SUBFOLDER
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.PATH_TO_LOCAL_FILE
dengan jalur file yang akan diupload.- (Opsional)
PATH_IN_SUBFOLDER
dengan jalur subfolder. Gunakan argumen--destination
untuk mengupload plugin ke subfolder di folderplugins
. Jika tidak, hilangkan argumen--destination
.
Melihat daftar plugin
Konsol
Di konsol Google Cloud, buka halaman Environments.
Temukan lingkungan Anda dan ikuti link DAG.
Naik satu tingkat folder ke atas, lalu buka folder
plugins/
.Melihat file plugin.
gcloud
Gunakan perintah gcloud
berikut:
gcloud composer environments storage plugins list \
--environment ENVIRONMENT_NAME \
--location LOCATION
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.
Menghapus plugin
Untuk menghapus plugin dari lingkungan Cloud Composer, hapus kode plugin dari folder plugins
di bucket lingkungan.
Untuk menghapus plugin:
Konsol
Di konsol Google Cloud, buka halaman Environments.
Temukan lingkungan Anda dan ikuti link DAG.
Naik satu tingkat folder ke atas, lalu buka folder
plugins/
.Hapus file plugin. Untuk mengetahui informasi selengkapnya tentang cara menghapus objek, lihat Menghapus objek.
gcloud
Gunakan perintah gcloud
berikut:
gcloud composer environments storage plugins delete \
--environment ENVIRONMENT_NAME \
--location LOCATION \
PLUGIN_TO_DELETE
Mendownload plugin
Untuk mendownload plugin, pilih salah satu opsi:
Konsol
Di konsol Google Cloud, buka halaman Environments.
Temukan lingkungan Anda dan ikuti link DAG.
Naik satu tingkat folder ke atas, lalu buka folder
plugins/
.Download file plugin. Untuk informasi selengkapnya tentang cara menghapus objek, lihat Mendownload objek.
gcloud
Gunakan perintah gcloud
berikut:
gcloud composer environments storage plugins export \
--environment ENVIRONMENT_NAME \
--location LOCATION \
--destination PATH_TO_LOCAL_DESTINATION \
--source PATH_IN_FOLDER
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.PATH_TO_LOCAL_DESTINATION
dengan tujuan untuk file yang didownload.- (Opsional)
--source
adalah opsi untuk mendownload hanya satu plugin.PATH_IN_FOLDER
adalah jalur folder.
Memecahkan masalah plugin
Plugin yang baru diupload tidak terlihat di UI Airflow
Jika Anda menggunakan Airflow UI Access Control, plugin yang baru
diupload mungkin tidak terlihat di UI Airflow. Untuk mengatasi masalah ini, minta
Administrator UI Airflow untuk mengonfigurasi akses ke plugin yang baru diupload atau
tetapkan peran Admin
kepada diri Anda sendiri di UI Airflow.