環境を Cloud Composer 2 に移行する（Airflow 1 から）

コンソール

Cloud Composer 1 環境の、構成のオーバーライド、カスタム PyPI パッケージ、環境変数のリストを取得します。

1. Google Cloud Console の [環境] ページに移動します。

   [環境] に移動

2. Cloud Composer 1 環境を選択します。

3. [環境変数] タブで、環境変数を表示します。

4. [Airflow 構成のオーバーライド] タブで、構成のオーバーライドを表示します。

5. [PyPI パッケージ] タブで、カスタム PyPI パッケージを表示します。

gcloud

環境変数のリストを取得するには、次のコマンドを実行します。

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.envVariables)"

環境の Airflow 構成のオーバーライドのリストを取得するには、次のコマンドを実行します。

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.airflowConfigOverrides)"

カスタム PyPI パッケージのリストを取得するには、次のコマンドを実行します。

gcloud composer environments describe \
    COMPOSER_1_ENV \
    --location COMPOSER_1_LOCATION \
    --format="value(config.softwareConfig.pypiPackages)"

以下のように置き換えます。

• COMPOSER_1_ENV は、Cloud Composer 1 環境の名前。
• COMPOSER_1_LOCATION は、Cloud Composer 1 環境が配置されているリージョン。

Terraform

このステップをスキップします。Cloud Composer 1 環境の構成には、環境の構成のオーバーライド、カスタム PyPI パッケージ、環境変数がすでに記載されています。

コンソール

Cloud Composer 2 環境を作成し、構成のオーバーライドと環境変数を指定します。

それ以外の方法では、環境を作成した後に Airflow の構成と環境変数をオーバーライドできます。

Airflow 1 の一部の構成オプションでは、Airflow 2 とは別の名前とセクションを使用します。詳細については、構成の変更をご覧ください。

gcloud

Cloud Composer 2 環境を作成し、構成のオーバーライドと環境変数を指定します。

それ以外の方法では、環境を作成した後に Airflow の構成と環境変数をオーバーライドできます。

Airflow 1 の一部の構成オプションでは、Airflow 2 とは別の名前とセクションを使用します。詳細については、構成の変更をご覧ください。

Terraform

Cloud Composer 2 環境は、Cloud Composer 1 環境の構成に基づいて作成します。

1. Cloud Composer 1 環境の構成をコピーします。
2. 環境の名前を変更します。

3. google-beta プロバイダを使用します。

   resource "google_composer_environment" "example_environment_composer_2" {
     provider = google-beta
     # ...
   }
   

4. config.software_config ブロックに、Cloud Composer 2 イメージを指定します。

   software_config {
     image_version = "composer-2.9.7-airflow-2.9.3"
     # ...
   }
   

5. まだ行っていない場合は、構成のオーバーライドと環境変数を指定します。

6. config.software_config.pypi_packages ブロックに、カスタム PyPI パッケージを指定します。

   software_config {
   
     # ...
   
     pypi_packages = {
       numpy = ""
       scipy = ">=1.1.0"
     }
   
   }
   

コンソール

1. Google Cloud Console の [環境] ページに移動します。

   [環境] に移動

2. Cloud Composer 2 環境を選択します。

3. [PyPI パッケージ] タブに移動し、[編集] をクリックします。

4. Cloud Composer 1 環境から PyPI パッケージに必要なものをコピーします。[保存] をクリックして、環境が更新されるまで待ちます。

gcloud

1. カスタム PyPI パッケージのリストを含む requirements.txt ファイルを作成します。

     numpy
     scipy>=1.1.0
   

2. 環境を更新します。また、requirements.txt ファイルは、--update-pypi-packages-from-file コマンドに渡します。

   gcloud composer environments update COMPOSER_2_ENV \
     --location COMPOSER_2_LOCATION  \
     --update-pypi-packages-from-file requirements.txt
   

   以下のように置き換えます。

   • COMPOSER_2_ENV は、Cloud Composer 2 環境の名前。
   • COMPOSER_2_LOCATION は、Cloud Composer 2 環境が配置されているリージョン。

Terraform

このステップをスキップします。カスタム PyPI パッケージは、環境の作成時にすでにインストールしています。

gcloud

1. Cloud Composer 1 環境の変数をエクスポートします。

   gcloud composer environments run \
       COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        variables -- -e /home/airflow/gcs/data/variables.json
   

   以下のように置き換えます。

   • COMPOSER_1_ENV は、Cloud Composer 1 環境の名前。
   • COMPOSER_1_LOCATION は、Cloud Composer 1 環境が配置されているリージョン。

2. Cloud Composer 1 環境のプールをエクスポートします。

   gcloud composer environments run COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        pool -- -e /home/airflow/gcs/data/pools.json
   

   以下のように置き換えます。

   • COMPOSER_1_ENV は、Cloud Composer 1 環境の名前。
   • COMPOSER_1_LOCATION は、Cloud Composer 1 環境が配置されているリージョン。

3. Cloud Composer 2 環境のバケット URI を取得します。

   1. 次のコマンドを実行します。

      gcloud composer environments describe COMPOSER_2_ENV \
          --location COMPOSER_2_LOCATION \
           --format="value(config.dagGcsPrefix)"
      

      以下のように置き換えます。

      • COMPOSER_2_ENV は、Cloud Composer 2 環境の名前。
      • COMPOSER_2_LOCATION は、環境が配置されているリージョン。

   2. 出力で、/dags フォルダを削除します。結果は、Cloud Composer 2 環境のバケットの URI です。

      たとえば、gs://us-central1-example-916807e1-bucket/dags を gs://us-central1-example-916807e1-bucket に変更します。

4. 変数とプールを含む JSON ファイルを、Cloud Composer 2 環境に移行します。

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION \
       --source=variables.json
   

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION \
       --source=pools.json
   

   以下のように置き換えます。

   • COMPOSER_2_BUCKET は、前の手順で取得した Cloud Composer 2 環境バケットの URI。
   • COMPOSER_1_ENV は、Cloud Composer 1 環境の名前。
   • COMPOSER_1_LOCATION は、Cloud Composer 1 環境が配置されているリージョン。

5. 変数とプールを Cloud Composer 2 にインポートします。

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       variables import \
       -- /home/airflow/gcs/data/variables.json
   

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       pools import \
       -- /home/airflow/gcs/data/pools.json
   

6. 変数とプールがインポートされたことを確認します。

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       variables list
   

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       pools list
   

7. バケットから JSON ファイルを削除します。

   gcloud composer environments storage data delete \
       variables.json \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

   gcloud composer environments storage data delete \
       pools.json \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

   gcloud composer environments storage data delete \
       variables.json \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

   gcloud composer environments storage data delete \
       pools.json \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

gcloud

1. プラグインを Cloud Composer 2 環境に移行します。これを行うには、Cloud Composer 1 環境のバケットから Cloud Composer 2 環境のバケットにある /plugins フォルダに、プラグインをエクスポートします。

   gcloud composer environments storage plugins export \
       --destination=COMPOSER_2_BUCKET/plugins \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

2. /plugins フォルダが正常にインポートされたことを確認します。

   gcloud composer environments storage plugins list \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

3. /data フォルダを、Cloud Composer 1 環境から Airflow 2 環境にエクスポートします。

   gcloud composer environments storage data export \
       --destination=COMPOSER_2_BUCKET/data \
       --environment=COMPOSER_1_ENV \
       --location=COMPOSER_1_LOCATION
   

4. /data フォルダが正常にインポートされたことを確認します。

   gcloud composer environments storage data list \
       --environment=COMPOSER_2_ENV \
       --location=COMPOSER_2_LOCATION
   

gcloud

1. Cloud Composer 1 環境の接続のリストを取得するために、次のコマンドを実行します。

   gcloud composer environments run COMPOSER_1_ENV \
       --location COMPOSER_1_LOCATION \
        connections -- --list
   

2. Cloud Composer 2 環境で新しい接続を作成するために、gcloud を使用して connections Airflow CLI コマンドを実行します。次に例を示します。

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       connections add \
       -- --conn-host postgres.example.com \
       --conn-port 5432 \
       --conn-type postgres \
       --conn-login example_user \
       --conn-password example_password \
       --conn-description "Example connection" \
       example_connection
   

Airflow UI

1. Cloud Composer 1 環境でユーザーの一覧を表示するには、次のようにします。

   1. Cloud Composer 1 環境の Airflow ウェブ インターフェースを開きます。

   2. [管理] > [ユーザー] に移動します。

2. Cloud Composer 2 環境でユーザーを作成するには、次のようにします。

   1. Cloud Composer 2 環境の Airflow ウェブ インターフェースを開きます。

   2. [セキュリティ] > [ユーザーを一覧表示] に移動します。

   3. [新しいレコードの追加] をクリックします。

gcloud

1. Airflow 1 では、gcloud を使用してユーザーのリストを表示することはできません。Airflow UI を使用してください。

2. Cloud Composer 2 環境で新しいユーザー アカウントを作成するには、gcloud で users create Airflow CLI コマンドを実行します。次に例を示します。

   gcloud composer environments run \
       COMPOSER_2_ENV \
       --location COMPOSER_2_LOCATION \
       users create \
       -- --username example_username \
       --firstname Example-Name \
       --lastname Example-Surname \
       --email example-user@example.com \
       --use-random-password \
       --role Op
   

   以下のように置き換えます。

   • COMPOSER_2_ENV は、Cloud Composer 2 環境の名前。
   • COMPOSER_2_LOCATION は、Cloud Composer 2 環境が配置されているリージョン。
   • ユーザーのロールを含む、Cloud Composer 1 環境のすべてのユーザー構成パラメータとその値。