Cloud Composer 1 はメンテナンス後モードです。Google は、Airflow の新しいバージョン、バグの修正、セキュリティアップデートなど、Cloud Composer 1 への今後のアップデートはリリースしません。 Cloud Composer 2 への移行の計画をおすすめします。

環境を VPC ネットワークに接続する

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

このページでは、環境が Cloud Composer 3 の VPC ネットワークにアクセスする方法、環境を VPC ネットワークに接続する手順、以前に構成した接続を無効にする方法について説明します。

環境の Airflow コンポーネントのインターネットアクセスを有効または無効にする場合は、環境のネットワーキングタイプ（プライベート IP またはパブリック IP）を変更するをご覧ください。
PyPI パッケージのインストール時にのみインターネットアクセスを無効または有効にする場合は、PyPI パッケージのインストール時にインターネットアクセスを構成するをご覧ください。
共有 VPC ネットワーキングを構成する場合は、プロジェクトと権限の構成について共有 VPC を構成するをご覧ください。

VPC ネットワークアクセスについて

Cloud Composer 3 では、環境の VPC ネットワークへのアクセスを有効にできます。

環境の VPC ネットワークへのアクセスを有効にした場合:

環境の Airflow コンポーネントは、VPC ネットワーク内のプライベートネットワークエンドポイントにアクセスできます。たとえば、DAG コードは、構成された Airflow 接続を介して VPC ネットワーク内にあるリソースにアクセスできます。
環境でプライベート IP ネットワーキングを使用している場合、限定公開の Google アクセスを介してプライベート IP 環境で使用できる Google API、サービス、ドメインへのトラフィックを除き、すべての内部トラフィックが VPC ネットワークに転送されます。
VPC ネットワークの構成方法によっては、プライベート IP 環境が VPC ネットワーク経由でインターネットにアクセスできる場合があります。
VPC ネットワークで定義された限定公開 DNS ゾーンは、環境の Airflow コンポーネントで自動的に利用可能になります。
環境は、VPC サブネットワークに 2 つの IP アドレスを予約します。

Cloud Composer は、ネットワークアタッチメントを使用して環境を VPC ネットワークに接続します。

VPC ネットワークとサブネットワークを指定すると、Cloud Composer はプロジェクトに新しいネットワークアタッチメントを作成します。このアタッチメントは、環境の削除、VPC ネットワークへの接続の無効化、VPC 接続パラメータの上書きのいずれかを行うと削除されます。
既存のネットワークアタッチメントを指定する場合は、環境と同じプロジェクトに配置する必要があります。このアタッチメントは、環境の削除、接続の無効化、VPC 接続パラメータの上書きを行っても削除されません。
共有 VPC ネットワーキングでは、次のようになります。
- Cloud Composer の共有 VPC ネットワークが構成されていることを確認します。Cloud Composer のプロジェクトと権限の構成については、共有 VPC の構成をご覧ください。
- 共有 VPC ネットワーキングが構成されたら、ホストプロジェクトから環境を VPC ネットワークに接続できます。既存のネットワークアタッチメントを使用する場合は、サービスプロジェクト（環境が配置されているプロジェクト）で作成し、共有 VPC ネットワークに接続する必要があります。

環境の内部 IP 範囲について

Cloud Composer 3 環境では、環境のクラスタや Cloud SQL Proxy など、テナントプロジェクトで実行されるコンポーネントに複数の IP アドレスが必要です。これらの IP アドレスは、環境の内部 IP 範囲から取得されます。

デフォルトの内部 IP 範囲は 100.64.128.0/20 です。
環境を作成するときに、別の内部 IP 範囲を指定できます。この範囲には /20 マスクを使用する必要があります。
既存の環境の内部 IP 範囲は変更できません。

内部 IP 範囲は、次の方法で VPC ネットワークとやり取りします。

内部 IP 範囲は、Cloud Composer 環境が接続されている VPC サブネットワークと競合しないようにする必要があります。内部 IP 範囲と重複している場合、その VPC サブネットワークとの接続を有効にすることはできません。
環境の内部 IP 範囲が VPC ネットワーク範囲と重複する場合、重複する IP アドレスを持つ VPC ネットワークのエンドポイントには、その環境からアクセスすることができません。

たとえば、内部範囲が 100.64.128.0/20 の場合、VPC ネットワーク内の 100.64.128.1 エンドポイントへのリクエストは失敗します。リクエストがテナントプロジェクトを離れないためです。
内部 IP 範囲は予約されていません。異なる環境で使用される内部 VPC ネットワークは分離されているため、追加の設定なしで複数の環境で同じ内部 IP 範囲を使用できます。
内部範囲の IP アドレスは、環境内の DAG とタスクがリクエストを行わない限り他の目的に使用できます。

VPC ネットワークに接続する

コンソール

Google Cloud Console で [環境] ページに移動します。

[環境] に移動
環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。
[環境の設定] タブに移動します。
[ネットワークの構成] セクションで、[ネットワークアタッチメント] 項目を見つけて [編集] をクリックします。
[ネットワークアタッチメント] ダイアログで、次の操作を行います。
- 新しいネットワークアタッチメントを作成するには、[ネットワークアタッチメント] リストで [新しいネットワークアタッチメントを作成] を選択します。[ネットワーク] リストと [サブネットワーク] リストで、VPC ネットワークとサブネットワークを選択します。
- 既存のネットワークアタッチメントを使用するには、[ネットワークアタッチメント] リストでアタッチメントを選択します。
[保存] をクリックします。

gcloud

次の Google Cloud CLI 引数で、VPC ネットワーク接続パラメータを指定します。

--network: VPC ネットワーク ID。
--subnetwork: VPC サブネットワーク ID。
--network-attachment: 代わりに既存のネットワークアタッチメントを使用します。

新しいネットワークアタッチメント

新しいネットワークアタッチメントを介して環境を VPC ネットワークに接続するには、次の Google Cloud CLI コマンドを実行します。

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network NETWORK_ID \
  --subnetwork SUBNETWORK_ID

以下を置き換えます。

ENVIRONMENT_NAME: 環境の名前
LOCATION: 環境が配置されているリージョン
NETWORK_ID: VPC ネットワーク ID
SUBNETWORK_ID: VPC サブネットワーク ID

例:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network projects/example-project/global/networks/example-network \
  --subnetwork projects/example-project/regions/us-central1/subnetworks/example-subnetwork

既存のネットワークアタッチメント

新しいネットワークアタッチメントを介して環境を VPC ネットワークに接続するには、次の Google Cloud CLI コマンドを実行します。

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network-attachment NETWORK_ATTACHMENT_ID

以下を置き換えます。

ENVIRONMENT_NAME: 環境の名前
LOCATION: 環境が配置されているリージョン
NETWORK_ATTACHMENT_ID: projects/{project}/regions/{region}/networkAttachments/{networkAttachment} 形式のネットワークアタッチメント。

例:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network-attachment projects/example-project/regions/us-central1/networkAttachments/example-network-attachment

API

environments.patch API リクエストを作成します。
このリクエストで次のように操作します。
- 新しいネットワークアタッチメントを作成するには:
  1. updateMask パラメータで、config.node_config.network,config.node_config.subnetwork マスクを指定します。
  2. リクエスト本文の network フィールドと subnetwork フィールドに、VPC ネットワーク ID とサブネットワーク ID を指定します。
- 既存のネットワークアタッチメントを使用するには:
  1. updateMask パラメータで、config.node_config.composer_network_attachment マスクを指定します。
  2. リクエスト本文で、既存のネットワークアタッチメントの値を projects/{project}/regions/{region}/networkAttachments/{networkAttachment} 形式で指定します。

例（新しいネットワークアタッチメント）:

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "projects/example-project/global/networks/example-network",
    "subnetwork": "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
  }
}

例（既存のネットワークアタッチメント）:

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.composer_network_attachment

"config": {
  "nodeConfig": {
    "composerNetworkAttachment": "projects/example-project/regions/us-central1/networkAttachments/example-network-attachment"
  }
}

Terraform

node_config ブロックの次のフィールドで、VPC ネットワーク接続パラメータを指定します。

network: VPC ネットワーク ID。
subnetwork: VPC サブネットワーク ID。
composer_network_attachment: 代わりに既存のネットワークアタッチメントを使用します。

新しいネットワークアタッチメント

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      network = NETWORK_ID
      subnetwork = SUBNETWORK_ID
    }

  }
}

以下を置き換えます。

ENVIRONMENT_NAME: 環境の名前。
LOCATION: 環境が配置されているリージョン。
NETWORK_ID: VPC ネットワーク ID
SUBNETWORK_ID: VPC サブネットワーク ID

例（新しいネットワークアタッチメント）:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      network = "projects/example-project/global/networks/example-network"
      subnetwork = "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
    }

    ... other configuration parameters
  }
}

既存のネットワークアタッチメント

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      composer_network_attachment = NETWORK_ATTACHMENT_ID
    }

  }
}

以下を置き換えます。

ENVIRONMENT_NAME: 環境の名前。
LOCATION: 環境が配置されているリージョン。
NETWORK_ATTACHMENT_ID: ネットワークアタッチメント ID。

例（既存のネットワークアタッチメント）:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      composer_network_attachment = projects/example-project/regions/us-central1/networkAttachments/example-network-attachment
    }

    ... other configuration parameters
  }
}

VPC ネットワークへの接続を無効にする

コンソール

Google Cloud Console で [環境] ページに移動します。

[環境] に移動
環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。
[環境の設定] タブに移動します。
[ネットワークの構成] セクションで、[ネットワークアタッチメント] 項目を見つけて [編集] をクリックします。
[ネットワークアタッチメント] ダイアログで [なし] を選択し、[保存] をクリックします。

gcloud

--disable-vpc-connectivity 引数は、環境の VPC ネットワーク接続を無効にします。

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-vpc-connectivity

以下を置き換えます。

ENVIRONMENT_NAME: 環境の名前
LOCATION: 環境が配置されているリージョン

例:

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-vpc-connectivity

API

environments.patch API リクエストを作成します。
このリクエストで次のように操作します。
1. updateMask パラメータで、config.node_config.network,config.node_config.subnetwork マスクを指定します。
2. リクエストの本文の network フィールドと subnetwork フィールドに、空の値を指定します。

例:

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "",
    "subnetwork": ""
  }
}

Terraform

Terraform を使用して VPC ネットワークを切断することはできません。代わりに、別の VPC ネットワークを接続するか、Google Cloud CLI などの他のツールを使用してネットワークを切断できます。

環境を VPC ネットワークに接続する

VPC ネットワーク アクセスについて

環境の内部 IP 範囲について

VPC ネットワークに接続する

コンソール

gcloud

API

Terraform

VPC ネットワークへの接続を無効にする

コンソール

gcloud

API

Terraform

次のステップ

VPC ネットワークアクセスについて