將環境遷移至 Cloud Composer 2 (從 Airflow 1)

主控台

取得 Cloud Composer 1 環境的設定覆寫值、自訂 PyPI 套件和環境變數清單：

1. 前往 Google Cloud 控制台的「Environments」頁面：

   前往「環境」

2. 選取 Cloud Composer 1 環境。

3. 在「環境變數」分頁中查看環境變數。

4. 在「Airflow 設定覆寫」分頁中查看設定覆寫。

5. 在「PyPI 套件」分頁中查看自訂 PyPI 套件。

gcloud

如要取得環境變數清單，請執行以下指令：

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.envVariables)"

如要取得環境的 Airflow 設定覆寫清單，請執行：

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.airflowConfigOverrides)"

如要取得自訂 PyPI 套件清單，請執行：

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.pypiPackages)"

取代：

• COMPOSER_1_ENV 與 Cloud Composer 1 環境名稱。
• COMPOSER_1_LOCATION 與 Cloud Composer 1 環境所在的地區。

Terraform

略過這個步驟。Cloud Composer 1 環境的設定已列出環境的設定覆寫值、自訂 PyPI 套件和環境變數。

主控台

建立 Cloud Composer 2 環境，並指定設定覆寫和環境變數。

或者，您也可以在建立環境後覆寫 Airflow 設定和環境變數。

Airflow 1 中的部分設定選項在 Airflow 2 中使用不同的名稱和部分。詳情請參閱「設定變更」。

gcloud

建立 Cloud Composer 2 環境，並指定設定覆寫和環境變數。

或者，您也可以在建立環境後覆寫 Airflow 設定和環境變數。

Airflow 1 中的部分設定選項在 Airflow 2 中使用不同的名稱和部分。詳情請參閱「設定變更」。

Terraform

根據 Cloud Composer 1 環境的設定，建立 Cloud Composer 2 環境：

1. 複製 Cloud Composer 1 環境的設定。
2. 變更環境名稱。

3. 使用 google-beta 供應器：

   resource "google_composer_environment" "example_environment_composer_2" {
     provider = google-beta
     # ...
   }
   

4. 在 config.software_config 區塊中指定 Cloud Composer 2 映像檔：

   software_config {
     image_version = "composer-2.13.5-airflow-2.10.5"
     # ...
   }
   

5. 如果尚未指定，請指定設定覆寫值和環境變數。

6. 在 config.software_config.pypi_packages 區塊中指定自訂 PyPI 套件：

   software_config {
   
     # ...
   
     pypi_packages = {
       numpy = ""
       scipy = ">=1.1.0"
     }
   
   }
   

主控台

1. 前往 Google Cloud 控制台的「Environments」頁面：

   前往「環境」

2. 選取 Cloud Composer 2 環境。

3. 前往「PyPI 套件」分頁，然後按一下「編輯」。

4. 從 Cloud Composer 1 環境複製 PyPI 套件需求。按一下「儲存」，並等待環境更新。

gcloud

1. 請建立 requirements.txt 檔案，並列出自訂 PyPI 套件：

     numpy
     scipy>=1.1.0
   

2. 更新環境，並將 requirements.txt 檔案傳遞至 --update-pypi-packages-from-file 指令：

   gcloud composer environments update COMPOSER_2_ENV \
     --location COMPOSER_2_LOCATION  \
     --update-pypi-packages-from-file requirements.txt
   

   取代：

   • COMPOSER_2_ENV 與 Cloud Composer 2 環境名稱。
   • COMPOSER_2_LOCATION 與 Cloud Composer 2 環境所在的區域。

Terraform

略過這個步驟。您在建立環境時已安裝自訂 PyPI 套件。

gcloud

1. 從 Cloud Composer 1 環境匯出變數：

   gcloud composer environments run \
       COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        variables -- -e /home/airflow/gcs/data/variables.json
   

   取代：

   • COMPOSER_1_ENV 與 Cloud Composer 1 環境名稱。
   • COMPOSER_1_LOCATION 與 Cloud Composer 1 環境所在的地區。

2. 從 Cloud Composer 1 環境匯出資源池：

   gcloud composer environments run COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        pool -- -e /home/airflow/gcs/data/pools.json
   

   取代：

   • COMPOSER_1_ENV 與 Cloud Composer 1 環境名稱。
   • COMPOSER_1_LOCATION 與 Cloud Composer 1 環境所在的地區。

3. 取得 Cloud Composer 2 環境的值區 URI。

   1. 執行下列指令：

      gcloud composer environments describe COMPOSER_2_ENV \
          --location COMPOSER_2_LOCATION \
           --format="value(config.dagGcsPrefix)"
      

      取代：

      • COMPOSER_2_ENV 與 Cloud Composer 2 環境名稱。
      • COMPOSER_2_LOCATION 改成環境所在的地區。

   2. 在輸出內容中移除 /dags 資料夾。結果是 Cloud Composer 2 環境值區的 URI。

      例如，將 gs://us-central1-example-916807e1-bucket/dags 變更為 gs://us-central1-example-916807e1-bucket。

4. 將含有變數和資源池的 JSON 檔案轉移至 Cloud Composer 2 環境：

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION \
       --source=variables.json
   

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION \
       --source=pools.json
   

   取代：

   • COMPOSER_2_BUCKET 與上一個步驟中取得的 Cloud Composer 2 環境值區 URI。
   • COMPOSER_1_ENV 與 Cloud Composer 1 環境名稱。
   • COMPOSER_1_LOCATION 與 Cloud Composer 1 環境所在的地區。

5. 將變數和集區匯入至 Cloud Composer 2：

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       variables import \
       -- /home/airflow/gcs/data/variables.json
   

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       pools import \
       -- /home/airflow/gcs/data/pools.json
   

6. 檢查是否已匯入變數和資源池：

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       variables list
   

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       pools list
   

7. 從儲存桶中移除 JSON 檔案：

   gcloud composer environments storage data delete \
       variables.json \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

   gcloud composer environments storage data delete \
       pools.json \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

   gcloud composer environments storage data delete \
       variables.json \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

   gcloud composer environments storage data delete \
       pools.json \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

gcloud

1. 將外掛程式轉移至 Cloud Composer 2 環境。如要這樣做，請將外掛程式從 Cloud Composer 1 環境的值區匯出至 Cloud Composer 2 環境值區中的 /plugins 資料夾：

   gcloud composer environments storage plugins export \
       --destination=COMPOSER_2_BUCKET/plugins \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

2. 確認是否已成功匯入 /plugins 資料夾：

   gcloud composer environments storage plugins list \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

3. 將 /data 資料夾從 Cloud Composer 1 環境匯出至 Airflow 2 環境：

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

4. 確認是否已成功匯入 /data 資料夾：

   gcloud composer environments storage data list \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

gcloud

1. 如要取得 Cloud Composer 1 環境中的連線清單，請執行：

   gcloud composer environments run COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        connections -- --list
   

2. 如要在 Cloud Composer 2 環境中建立新連線，請透過 gcloud 執行 connections Airflow CLI 指令。例如：

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       connections add \
       -- --conn-host postgres.example.com \
       --conn-port 5432 \
       --conn-type postgres \
       --conn-login example_user \
       --conn-password example_password \
       --conn-description "Example connection" \
       example_connection
   

Airflow UI

1. 如要查看 Cloud Composer 1 環境中的使用者名單，請按照下列步驟操作：

   1. 開啟 Cloud Composer 1 環境的 Airflow 網頁介面。

   2. 依序前往「管理」 >「使用者」。

2. 如要在 Cloud Composer 2 環境中建立使用者，請按照下列步驟操作：

   1. 開啟 Cloud Composer 2 環境的 Airflow 網頁介面。

   2. 依序前往「安全性」 >「使用者名單」。

   3. 按一下「新增記錄」。

gcloud

1. 您無法透過 Airflow 1 中的 gcloud 查看使用者清單。請使用 Airflow 使用者介面。

2. 如要在 Cloud Composer 2 環境中建立新的使用者帳戶，請透過 gcloud 執行 users create Airflow CLI 指令。例如：

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       users create \
       -- --username example_username \
       --firstname Example-Name \
       --lastname Example-Surname \
       --email example-user@example.com \
       --use-random-password \
       --role Op
   

   取代：

   • COMPOSER_2_ENV 與 Cloud Composer 2 環境名稱。
   • COMPOSER_2_LOCATION 與 Cloud Composer 2 環境所在的地區。
   • 所有使用者設定參數及其 Cloud Composer 1 環境中的值，包括使用者角色。