Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Halaman ini menjelaskan cara mengelola database Airflow di lingkungan Anda.
Pembersihan database otomatis dengan kebijakan retensi database
Anda dapat mengonfigurasi pembersihan database otomatis untuk lingkungan Cloud Composer 3 dengan menetapkan kebijakan retensi database. Setelah Anda menyiapkan kebijakan ini, data yang lebih lama dari periode tertentu akan otomatis dihapus dari database Airflow setiap hari. Untuk informasi selengkapnya, lihat Mengonfigurasi kebijakan retensi database.
Prosedur pembersihan yang tidak digunakan lagi
Sebelum kebijakan retensi database tersedia di Cloud Composer, kami merekomendasikan pendekatan yang berbeda untuk mengotomatiskan pembersihan database, melalui DAG pembersihan database. Pendekatan ini tidak digunakan lagi di Cloud Composer 3. DAG ini melakukan pekerjaan yang redundan dan Anda dapat mengurangi konsumsi resource dengan menghapusnya dan menggantinya dengan kebijakan retensi database.
Batas untuk ukuran database
Seiring waktu, database Airflow di lingkungan Anda akan menyimpan lebih banyak data. Data ini mencakup informasi dan log yang terkait dengan operasi DAG, tugas, dan operasi Airflow lainnya sebelumnya.
Jika ukuran database Airflow lebih dari 20 GB, Anda tidak dapat mengupgrade lingkungan ke versi yang lebih baru.
Jika ukuran database Airflow lebih dari 20 GB, Anda tidak dapat membuat snapshot.
Menjaga performa database
Masalah performa database Airflow dapat menyebabkan masalah eksekusi DAG secara keseluruhan. Amati statistik Penggunaan CPU dan memori database. Jika penggunaan CPU dan memori mendekati batas, database akan kelebihan beban dan memerlukan penskalaan. Jumlah resource yang tersedia untuk database Airflow dikontrol oleh properti ukuran lingkungan di lingkungan Anda. Untuk menskalakan database, ubah ukuran lingkungan ke tingkat yang lebih besar. Meningkatkan ukuran lingkungan akan meningkatkan biaya lingkungan Anda.
Jika Anda menggunakan mekanisme XCom untuk mentransfer file, pastikan Anda menggunakannya sesuai dengan panduan Airflow. Mentransfer file besar atau sejumlah besar file menggunakan XCom akan memengaruhi performa database Airflow dan dapat menyebabkan kegagalan saat memuat snapshot atau mengupgrade lingkungan Anda. Pertimbangkan untuk menggunakan alternatif seperti Cloud Storage untuk mentransfer data dalam volume besar.
Menghapus entri untuk DAG yang tidak digunakan
Anda dapat menghapus entri database untuk DAG yang tidak digunakan dengan menghapus DAG dari UI Airflow.
Langkah berikutnya