VPC ピアリングを使用してプライベート インスタンスを作成する

このページでは、内部 IP アドレスを使用して Cloud Data Fusion インスタンスを作成する方法について説明します。インスタンスは、VPC ネットワークまたは共有 VPC ネットワーク内に作成します。

プライベート Cloud Data Fusion インスタンスには、次のような利点があります。

• インスタンスへの接続は、Google Cloud プロジェクトのプライベート VPC ネットワークを介して確立されます。ネットワークを介したトラフィックは公共のインターネットを経由しません。

• オンプレミス ネットワークは Cloud VPN または Cloud Interconnect を介して Google Cloud のプライベート VPC ネットワークに接続するため、インスタンスがオンプレミス リソース（リレーショナル データベースなど）に接続できます。外部からの Google Cloud へのアクセス手段を生じさせることなく、データベースなどのオンプレミス リソースにプライベート ネットワーク経由で安全にアクセスできます。

目標

• VPC ネットワークまたは共有 VPC ネットワークを設定します。
• テナント プロジェクトに Cloud Data Fusion インスタンスをデプロイするために使用する IP 範囲を割り当てます。
• Cloud Data Fusion プライベート インスタンスを作成します。
• Cloud Data Fusion インスタンスを含む VPC と、関連付けられたテナント プロジェクトを含む VPC の間に VPC ネットワーク ピアリングを設定します。
• 共有 VPC ネットワークの場合は、Identity and Access Management（IAM）の権限を設定します。
• プライベート インスタンスで Cloud Data Fusion バージョン 6.2.0 以前を使用している場合は、ファイアウォール ルールを作成します。
• Dataproc サブネットで限定公開の Google アクセスを有効にして、さまざまな Google Cloud サービスが内部で通信できるようにします。

始める前に

• Cloud Data Fusion のデプロイ アーキテクチャについては、ネットワーキングをご覧ください。

VPC ネットワークを設定する

VPC ネットワークまたは共有 VPC ネットワークをまだ作成していない場合は作成します。

VPC ネットワークを設定するには、IP アドレス範囲を割り当てる必要があります。

IP 範囲を割り当てる

プライベート インスタンスを作成する

VPC ネットワークまたは共有 VPC ネットワークにプライベート Cloud Data Fusion インスタンスを作成します。

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

VPC ネットワーク ピアリングを設定する

設計環境で使用する Cloud Data Fusion サービス（Wrangler、Connection Manager、Schema Validation など）は、テナント プロジェクト VPC からソースシステムを開始します。Cloud Data Fusion は、VPC ネットワーク ピアリングを使用して、インスタンスを含む VPC または共有 VPC へのネットワーク接続を確立します。VPC ネットワーク ピアリングを使用すると、Cloud Data Fusion は独自の VPC とそのコントロールを使用して、内部 IP アドレス経由でネットワーク上のリソースにアクセスできます。別のネットワークのリソースに接続するには、接続の手順のユースケースをご覧ください。

次のセクションでは、ネットワークと Cloud Data Fusion のテナント プロジェクト ネットワークの間にピアリング構成を作成する方法を説明します。

テナント プロジェクト ID を取得する

ピアリング構成を作成するには、テナント プロジェクト ID が必要です。

1. Cloud Data Fusion の [インスタンス] ページに移動します。

   [インスタンス] に移動する

2. [インスタンス名] 列で、インスタンスを選択します。

3. [インスタンスの詳細] ページで、テナント プロジェクト ID をコピーします。この ID は、次の手順でピアリング接続を作成するときに必要になります。

ピアリング接続を作成する

1. [VPC ネットワーク ピアリング] ページに移動します。

   [VPC ネットワーク ピアリング] に移動

2. [接続を作成] > [続行] をクリックします。

3. [ピアリング接続の作成] ページが表示されたら、次の操作を行います。

   1. ピアリング接続の名前を入力します。
   2. [VPC ネットワーク] で、Cloud Data Fusion インスタンスを含むネットワークを選択します。
   3. [ピアリングした VPC ネットワーク] で [別のプロジェクト] を選択します。
   4. [プロジェクト ID] に、このチュートリアルで前に確認したテナント プロジェクト ID を入力します。

   5. [VPC ネットワーク名] で、ネットワークを選択するか、「INSTANCE_REGION-INSTANCE_ID」と入力します。

      以下を置き換えます。

      • INSTANCE_REGION: Cloud Data Fusion インスタンスを作成したリージョン。
      • INSTANCE_ID: Cloud Data Fusion インスタンスの ID。

   6. ピアリング接続のインターネット プロトコル バージョンを選択して、VPC ネットワークとピアリングした VPC ネットワーク間で IPv4 ルートと IPv6 ルートを交換します。詳細については、VPC ネットワーク ピアリングをご覧ください。

   7. [カスタムルートのエクスポート] を選択して、カスタム ルートを VPC ネットワークからテナント VPC ネットワークにエクスポートできるようにします。

   8. パブリック IPv4 を使用したサブネット ルートを VPC ネットワークにインポートまたはエクスポートするかどうかを選択します。

   9. [作成] をクリックします。

   VPC ネットワーク ピアリングは、作成後すぐに有効になります。

IAM 権限を設定する

ファイアウォール ルールの作成

プライベート Cloud Data Fusion インスタンスの作成時に指定した IP 範囲からの受信 SSH 接続を許可するファイアウォール ルールを VPC ネットワーク上に作成します。

この手順は、Cloud Data Fusion バージョン 6.2.0 より前の場合に必要です。 パイプラインを実行する Cloud Data Fusion クラスタと Dataproc クラスタ間の通信を可能にします。

ファイアウォール ルールを作成するには、Google Cloud コンソールを使用することも、gcloud CLI を使用することもできます。

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

接続の手順のユースケース

以降のセクションでは、プライベート インスタンスの接続関連のユースケースについて説明します。

限定公開の Google アクセスを有効にする

内部 IP アドレス経由でリソースにアクセスするには、Cloud Data Fusion が Dataproc クラスタを作成し、限定公開の Google アクセスがあるサブネットでデータ パイプラインを実行する必要があります。Dataproc クラスタを含むサブネットで限定公開の Google アクセスを有効にする必要があります。

• Dataproc クラスタが起動されるリージョンにサブネットが 1 つしかない場合、クラスタはそのサブネットで起動されます。

• リージョンに複数のサブネットがある場合は、Dataproc クラスタを起動するために限定公開の Google アクセスを持つサブネットを選択するように Cloud Data Fusion を構成する必要があります。

サブネットで限定公開の Google アクセスを有効にするには、限定公開の Google アクセスの構成をご覧ください。

省略可: 他のソースに接続する

Cloud Data Fusion でプライベート インスタンスを作成したら、次のユースケースのように、他のソースに接続できます。

• 他の VPC ネットワークで実行されているオンプレミス データベースとシステム
• Cloud SQL など、独自のネットワークで限定公開モードで実行されている他の Google Cloud サービス
• 公共のインターネット上のソース

省略可: DNS ピアリングを有効にする

次の場合に DNS ピアリングを有効にします。

• Cloud Data Fusion が IP アドレスではなくホスト名を介してシステムに接続する場合
• ターゲット システムがロードバランサの背後にデプロイされている場合（一部の SAP デプロイなど）

次のステップ

• Cloud Data Fusion のセキュリティ コンセプトについて学習する。
• 外部ネットワークのリソースへの接続について学習する。
• Cloud Data Fusion のその他の主な コンセプトと機能について学ぶ。
• Cloud Data Fusion の料金を確認する。