Bermigrasi ke Cloud Composer 3 dari Cloud Composer 1 (Airflow 2)

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan cara mentransfer DAG, data, dan konfigurasi dari lingkungan Cloud Composer 1 dan Airflow 2 yang ada ke Cloud Composer 3 dan Airflow 2 menggunakan snapshot.

Dari Ke Metode Panduan
Cloud Composer 2 Cloud Composer 3 Secara berdampingan, menggunakan skrip migrasi Panduan migrasi skrip
Cloud Composer 2 Cloud Composer 3 Berdampingan, menggunakan snapshot Panduan migrasi snapshot
Cloud Composer 1, Airflow 2 Cloud Composer 3 Berdampingan, menggunakan snapshot Panduan ini
Cloud Composer 1, Airflow 2 Cloud Composer 2 Berdampingan, menggunakan snapshot Panduan migrasi snapshot
Cloud Composer 1, Airflow 2 Cloud Composer 2 Berdampingan, transfer manual Panduan migrasi manual
Cloud Composer 1, Airflow 1 Cloud Composer 2, Airflow 2 Berdampingan, menggunakan snapshot Panduan migrasi snapshot
Cloud Composer 1, Airflow 1 Cloud Composer 2, Airflow 2 Berdampingan, transfer manual Panduan migrasi manual
Cloud Composer 1, Airflow 1 Cloud Composer 1, Airflow 2 Berdampingan, transfer manual Panduan migrasi manual

Sebelum memulai

  • Cloud Composer mendukung migrasi secara berdampingan dari Cloud Composer 1 ke Cloud Composer 3. Anda tidak dapat mengupgrade dari Cloud Composer 1 ke Cloud Composer 3 di tempat.

  • Periksa daftar perbedaan antara Cloud Composer 1, Cloud Composer 2, dan Cloud Composer 3.

  • Ukuran maksimum database Airflow yang mendukung snapshot adalah 20 GB. Jika database lingkungan Anda berukuran lebih dari 20 GB, kurangi ukuran database Airflow.

  • Jumlah total objek di folder /dags, /plugins,dan /data dalam bucket lingkungan harus kurang dari 100.000 untuk membuat snapshot.

  • Jika Anda menggunakan mekanisme XCom untuk mentransfer file, pastikan Anda menggunakannya sesuai dengan panduan Airflow. Mentransfer file besar atau sejumlah besar file menggunakan XCom akan memengaruhi performa database Airflow dan dapat menyebabkan kegagalan saat memuat snapshot atau mengupgrade lingkungan Anda. Pertimbangkan untuk menggunakan alternatif seperti Cloud Storage untuk mentransfer data dalam volume besar.

Pastikan DAG Anda kompatibel dengan Cloud Composer 3

Pastikan DAG Anda kompatibel dengan Cloud Composer 3 dengan mengikuti saran berikut:

  • [Daftar paket][cc-versions] di lingkungan Cloud Composer 3 dapat berbeda dengan di lingkungan Cloud Composer 1 Anda. Hal ini dapat memengaruhi kompatibilitas DAG Anda dengan Cloud Composer 3.

  • Cloud Composer memuat penggantian konfigurasi, variabel lingkungan, dan paket PyPI dari snapshot lingkungan Cloud Composer 1 ke Cloud Composer 3 tanpa mengubah atau menyesuaikannya untuk kompatibilitas. Jika paket PyPI kustom menyebabkan konflik dependensi, Anda dapat melewati penginstalannya saat memuat snapshot.

  • Di Cloud Composer 3, cluster lingkungan berada di project tenant. Pastikan DAG Anda kompatibel dengan perubahan ini. Khususnya, workload KubernetesPodOperator kini diskalakan secara independen dari lingkungan Anda dan konfigurasi afinitas Pod tidak dapat digunakan.

  • Di Cloud Composer 3, database Airflow tidak dapat diakses secara langsung. Pastikan DAG Anda kompatibel dengan perubahan ini.

Menjeda DAG di lingkungan Cloud Composer 1

Untuk menghindari duplikasi eksekusi DAG, jeda semua DAG di lingkungan Cloud Composer 1 sebelum menyimpan snapshot-nya. Lewati DAG pemantauan keaktifan (airflow_monitoring), DAG ini digunakan untuk tujuan pemantauan dan tidak disertakan dalam snapshot lingkungan.

Anda dapat menggunakan salah satu opsi berikut:

  • Di antarmuka web Airflow, buka DAG dan jeda semua DAG secara manual.

  • Gunakan skrip composer_dags untuk menjeda semua DAG:

    python3 composer_dags.py --environment COMPOSER_1_ENV \
  --project PROJECT_ID \
  --location COMPOSER_1_LOCATION \
  --operation pause

    Ganti:

    • COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
    • PROJECT_ID dengan Project ID.
    • COMPOSER_1_LOCATION dengan region tempat lingkungan berada.

  • (Airflow versi 2.9.1 dan yang lebih baru) Jika terjadi error kuota saat menjeda sejumlah besar DAG, Anda dapat menggunakan perintah CLI Airflow berikut untuk menjeda semua DAG sekaligus:

    gcloud composer environments run COMPOSER_1_ENV dags pause \
  --project PROJECT_ID \
  --location COMPOSER_1_LOCATION \
  -- -y --treat-dag-id-as-regex ".*"

  • (Versi Airflow sebelum 2.9.1) Jika terjadi error kuota saat menjeda sejumlah besar DAG, Anda dapat menjeda DAG menggunakan Airflow REST API. Lihat juga Mencoba API dalam dokumentasi Airflow.

Menyimpan snapshot lingkungan Cloud Composer 1

Konsol

Buat snapshot lingkungan Anda:

  1. Di konsol Google Cloud , buka halaman Environments.

    Buka Lingkungan

  2. Dalam daftar lingkungan, klik nama lingkungan Cloud Composer 1 Anda. Halaman Environment details akan terbuka.

  3. Klik Create snapshot.

  4. Dalam dialog Buat snapshot, klik Kirim. Dalam panduan ini, Anda menyimpan snapshot di bucket lingkungan Cloud Composer 1, tetapi Anda dapat memilih lokasi lain jika mau.

  5. Tunggu hingga Cloud Composer membuat snapshot.

gcloud

  1. Dapatkan URI bucket lingkungan Cloud Composer 1 Anda:

    1. Jalankan perintah berikut:

      gcloud composer environments describe COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
     --format="value(config.dagGcsPrefix)"

      Ganti:

      • COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
      • COMPOSER_1_LOCATION dengan region tempat lingkungan berada.

    2. Di output, hapus folder /dags. Hasilnya adalah URI bucket lingkungan Cloud Composer 1 Anda.

      Misalnya, ubah gs://us-central1-example-916807e1-bucket/dags menjadi gs://us-central1-example-916807e1-bucket.

  2. Buat snapshot lingkungan Cloud Composer 1 Anda:

    gcloud composer environments snapshots save \
  COMPOSER_1_ENV \
  --location COMPOSER_1_LOCATION \
  --snapshot-location "COMPOSER_1_SNAPSHOTS_FOLDER"

    Ganti:

    • COMPOSER_1_ENV dengan nama lingkungan Cloud Composer 1 Anda.
    • COMPOSER_1_LOCATION dengan region tempat lingkungan Cloud Composer 1 berada.
    • COMPOSER_1_SNAPSHOTS_FOLDER dengan URI bucket lingkungan Cloud Composer 1 Anda. Dalam panduan ini, Anda menyimpan snapshot di bucket lingkungan Cloud Composer 1, tetapi Anda dapat memilih lokasi lain jika mau. Jika Anda menentukan lokasi kustom, akun layanan kedua lingkungan harus memiliki izin baca dan tulis untuk lokasi apa pun yang tersedia bagi akun layanan kedua lingkungan.

Membuat lingkungan Cloud Composer 3

Buat lingkungan Cloud Composer 3. Anda dapat memulai dengan preset lingkungan yang sesuai dengan perkiraan permintaan resource Anda, lalu menskalakan dan mengoptimalkan lingkungan lebih lanjut.

Anda tidak perlu menentukan penggantian konfigurasi dan variabel lingkungan karena Anda akan menggantinya nanti saat memuat snapshot lingkungan Cloud Composer 1.

Memuat snapshot ke lingkungan Cloud Composer 3 Anda

Konsol

Untuk memuat snapshot ke lingkungan Cloud Composer 3 Anda:

  1. Di konsol Google Cloud , buka halaman Environments.

    Buka Lingkungan

  2. Di daftar lingkungan, klik nama lingkungan Cloud Composer 3 Anda. Halaman Environment details akan terbuka.

  3. Klik Load snapshot.

  4. Pada dialog Muat snapshot, klik Jelajahi.

  5. Pilih folder yang berisi snapshot. Jika Anda menggunakan lokasi default untuk panduan ini, folder ini berada di bucket lingkungan Cloud Composer 1 Anda di folder /snapshots, dan namanya adalah stempel waktu operasi penyimpanan snapshot. Contoh, us-central1-example-916807e1-bucket/snapshots_example-project_us-central1_example-environment/2022-01-05T18-59-00.

  6. Klik Load dan tunggu hingga Cloud Composer memuat snapshot.

gcloud

Muat snapshot lingkungan Cloud Composer 1 ke lingkungan Cloud Composer 3:

gcloud composer environments snapshots load \
  COMPOSER_3_ENV \
  --location COMPOSER_3_LOCATION \
  --snapshot-path "SNAPSHOT_PATH"

Ganti:

  • COMPOSER_3_ENV dengan nama lingkungan Cloud Composer 3 Anda.
  • COMPOSER_3_LOCATION dengan region tempat lingkungan Cloud Composer 3 berada.
  • SNAPSHOT_PATH dengan URI bucket lingkungan Cloud Composer 1 Anda, diikuti dengan jalur ke snapshot. Misalnya, gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00.

Membatalkan jeda DAG di lingkungan Cloud Composer 3

Anda dapat menggunakan salah satu opsi berikut:

  • Di antarmuka web Airflow, buka DAG dan batalkan jeda semua DAG secara manual satu per satu.

  • Gunakan skrip composer_dags untuk membatalkan jeda semua DAG:

    python3 composer_dags.py --environment COMPOSER_3_ENV \
  --project PROJECT_ID \
  --location COMPOSER_3_LOCATION \
  --operation unpause

    Ganti:

    • COMPOSER_3_ENV dengan nama lingkungan Cloud Composer 3 Anda.
    • PROJECT_ID dengan Project ID.
    • COMPOSER_3_LOCATION dengan region tempat lingkungan berada.

  • (Airflow versi 2.9.1 dan yang lebih baru) Jika terjadi error kuota saat membatalkan penangguhan sejumlah besar DAG, Anda dapat menggunakan perintah CLI Airflow berikut untuk membatalkan penangguhan semua DAG sekaligus:

    gcloud composer environments run COMPOSER_3_ENV dags unpause \
  --project PROJECT_ID \
  --location COMPOSER_3_LOCATION \
  -- -y --treat-dag-id-as-regex ".*"

  • (Versi Airflow sebelum 2.9.1) Jika terjadi error kuota saat melanjutkan sejumlah besar DAG, Anda dapat melanjutkan DAG menggunakan Airflow REST API. Lihat juga Mencoba API dalam dokumentasi Airflow.

Memeriksa error DAG

  1. Di antarmuka web Airflow, buka DAG dan periksa error sintaksis DAG yang dilaporkan.

  2. Pastikan DAG berjalan sesuai jadwal pada waktu yang tepat.

  3. Tunggu hingga DAG dijalankan di lingkungan Cloud Composer 3 dan periksa apakah berhasil. Jika DAG berhasil dijalankan, jangan lanjutkan di lingkungan Cloud Composer 1; jika Anda melakukannya, DAG akan dijalankan untuk waktu dan tanggal yang sama di lingkungan Cloud Composer 1 Anda.

  4. Jika operasi DAG tertentu gagal, coba pecahkan masalah DAG hingga berhasil dijalankan di Cloud Composer 3.

Memantau lingkungan Cloud Composer 3

Setelah Anda mentransfer semua DAG dan konfigurasi ke lingkungan Cloud Composer 3, pantau potensi masalah, kegagalan operasi DAG, dan keseluruhan kesehatan lingkungan.

Jika lingkungan Cloud Composer 3 berjalan tanpa masalah selama jangka waktu yang cukup, pertimbangkan untuk menghapus lingkungan Cloud Composer 1.

Langkah berikutnya