このページは Cloud Translation API によって翻訳されました。

インターネットアクセスとファイアウォールルールを構成する

このドキュメントでは、次のタスクを行う方法について説明します。

インターネットアクセス用に Dataflow 仮想マシン（VM）インスタンスを構成する
ネットワークタグを作成する
Dataflow ジョブに関連付けられたネットワークのファイアウォールルールを定義する

このドキュメントでは、Google Cloud ネットワークに関する基本的な知識が必要になります。Dataflow ジョブのネットワークを定義する方法については、ネットワークとサブネットワークの指定をご覧ください。ネットワーキングの問題のトラブルシューティング方法の詳細については、Dataflow のネットワーキングに関する問題のトラブルシューティングをご覧ください。

Dataflow 用の Google Cloud APIs へのアクセス

Dataflow ワーカー仮想マシン（VM）は、Google Cloud APIs とサービスに到達できる必要があります。依存する Google Cloud エンドポイントのセットは時間の経過とともに変更される可能性がありますが、すべて VPC Service Controls をサポートしています。Google Cloud APIs へのアクセスを構成するには、次のいずれかの方法を使用します。

限定公開の Google アクセスを構成します。限定公開の Google アクセスを使用すると、内部 IP アドレスのみを持つ VM が Google Cloud とサービスの一部の IP アドレスにアクセスできます。
Google Cloud APIs とサービスにアクセスできるように Private Service Connect エンドポイントの IP アドレスを構成します。
外部 IP アドレスを使用してワーカー VM を構成します。

デフォルトでは、ファイアウォールルールと DNS 構成により、Google Cloud APIs へのアクセスが許可されています。ただし、VPC Service Controls を使用している場合など、Google Cloud APIs のサブセットへのアクセスを積極的に制限している場合があります。この場合、少なくとも restricted.googleapis.com へのアクセス権を付与します。Private Service Connect を使用している場合は、vpc-sc バンドルへのアクセス権を付与します。private.googleapis.com などのより許容度の高いドメインへのアクセス権を付与すると、必要な機能も提供されます。

特定のドメインから必要な Google Cloud API へのアクセスを許可するには、環境が次の要件を満たしている必要があります。

ファイアウォールルールでは、選択したドメイン内のすべてのアドレス範囲への下り（外向き）を許可する必要があります。
DNS は *.googleapis.com を選択したドメインに解決する必要があります。

たとえば、ファイアウォールルールで下り（外向き）を restricted.googleapis.com アドレス範囲に制限している場合、*.googleapis.com はその範囲内のアドレスに解決する必要があります。詳細については、googleapis.com の DNS を構成するをご覧ください。

同様に、Private Service Connect を使用している場合は、vpc-sc バンドル内のすべてのサービスにアクセスできるように、googleapis.com デフォルトドメインの DNS レコードを作成する必要があります。

Dataflow 用のインターネットアクセス

ユースケースによっては、VM が Google Cloud の外部にあるリソースが必要になることがあります。Dataflow にインターネットアクセスを構成するには、次のいずれかの方法を使用します。

インターネットアクセスの要件を満たすように、外部 IP アドレスを使用してワーカー VM を構成します。
Cloud NAT などの NAT ソリューションを構成します。このオプションは、インターネットアクセスを必要とする Google Cloud 以外の API とサービスにアクセスするジョブに使用します。たとえば、Python SDK ジョブは、パイプラインの依存関係をダウンロードするために Python Package Index（PyPI）にアクセスしなければならないことがあります。この場合は、ワーカー VM に外部 IP アドレスを構成するか、Cloud NAT を使用する必要があります。ジョブの送信中に Python パイプラインの依存関係を指定することもできます。たとえば、カスタムコンテナを使用して Python パイプラインの依存関係を指定すると、実行時に PyPI にアクセスする必要がなくなります。

詳細については、Apache Beam ドキュメントの Python パイプラインの依存関係の管理をご覧ください。

外部 IP アドレスをオフにする

デフォルトでは、Dataflow はワーカーに外部 IP アドレスと内部 IP アドレスの両方を割り当てます。外部 IP アドレスをオフにすると、Dataflow ジョブは次の場所のリソースにのみアクセスできます。

同じ VPC ネットワーク内の別のインスタンス
共有 VPC ネットワーク
VPC ネットワークピアリングが有効になっているネットワーク

外部 IP アドレスがなくても、管理タスクやモニタリングタスクは実行できます。上記のリストにあるオプションで SSH を使用することで、ワーカーにアクセスできます。ただし、パイプラインはインターネットにアクセスできず、インターネットホストは Dataflow ワーカーにアクセスできません。

外部 IP アドレスを使用しないと、データ処理インフラストラクチャのセキュリティを強化できます。Google Cloud プロジェクトの割り当てに対して使用される外部 IP アドレスの数を減らすこともできます。

外部 IP アドレスをオフにすると、Dataflow ジョブでインターネットアクセスを必要とする Google Cloud の外部の API やサービスにアクセスできなくなります。

外部 IP アドレスを無効にするには、次のいずれかを行います。

Java

ネットワークまたはサブネットワークで限定公開の Google アクセスを有効にします。
Dataflow ジョブのパラメータに、--usePublicIps=false と --network=NETWORK-NAME または --subnetwork=SUBNETWORK-NAME を指定します。
選択した内容に応じて、次のいずれかを置き換えます。
- NETWORK-NAME: Compute Engine ネットワークの名前
- SUBNETWORK-NAME: Compute Engine サブネットワークの名前

Python

すべての Python パッケージ依存関係をステージングするには、Apache Beam のパイプライン依存関係の手順を行ってください。
ネットワークまたはサブネットワークで限定公開の Google アクセスを有効にします。
Dataflow ジョブのパラメータに、--no_use_public_ips と --network=NETWORK または --subnetwork=SUBNETWORK を指定します。

選択した内容に応じて、次のいずれかを置き換えます。

NETWORK-NAME: Compute Engine ネットワークの名前
SUBNETWORK-NAME: Compute Engine サブネットワークの名前

Go

ネットワークまたはサブネットワークで限定公開の Google アクセスを有効にします。
Dataflow ジョブのパラメータに、--no_use_public_ips と --network=NETWORK または --subnetwork=SUBNETWORK を指定します。

選択した内容に応じて、次のいずれかを置き換えます。

NETWORK-NAME: Compute Engine ネットワークの名前
SUBNETWORK-NAME: Compute Engine サブネットワークの名前

Dataflow のネットワークタグ

ネットワークタグは、Compute Engine VM に付加できるテキスト属性です。ネットワークタグを使用すると、VPC ネットワークファイアウォールルールと特定のカスタム静的ルートを特定の VM インスタンスに適用できます。Dataflow では、特定の Dataflow ジョブを実行するすべてのワーカー VM にネットワークタグを追加できます。

ネットワークパラメータを使用しない場合でも、Dataflow は、作成するすべてのワーカー VM にデフォルトのネットワークタグ dataflow を常に追加します。

ネットワークタグを有効にする

ネットワークタグは、Dataflow ジョブテンプレートを実行してジョブを作成する場合にのみ指定できます。ジョブの開始後に、ジョブにネットワークタグを追加することはできません。ジョブに他のネットワークタグを適用するには、必要なネットワークタグを指定してジョブテンプレートを再作成する必要があります。

Java と Python のどちらで実行しているかにかかわらず、パイプラインのコードに以下を追加します。

--experiments=use_network_tags=TAG-NAME

TAG-NAME はタグの名前に置き換えます。複数のタグを追加する場合は、TAG-NAME-1;TAG-NAME-2;TAG-NAME-3;... のように各タグを ; で区切ります。

Flex テンプレート VM のネットワークタグを有効にする

Flex テンプレートを使用するときに、Dataflow ワーカー VM のネットワークタグを有効にするには、次の例のように --additional-experiments オプションを使用します。

--additional-experiments=use_network_tags=TAG-NAME

ワーカー VM とランチャー VM の両方のネットワークタグを有効にするには、次の 2 つのオプションを使用します。

--additional-experiments=use_network_tags=TAG-NAME
--additional-experiments=use_network_tags_for_flex_templates=TAG-NAME

TAG-NAME はタグの名前に置き換えます。複数のタグを追加する場合は、TAG-NAME-1;TAG-NAME-2;TAG-NAME-3;... のように各タグを ; で区切ります。

ネットワークタグを有効にすると、タグが解析され、VM に付加されます。

ネットワークタグに適用される制限をご確認ください。

Dataflow のファイアウォールルール

ファイアウォールルールを使用すると、VM との間のトラフィックを許可または拒否できます。 Dataflow ジョブで Dataflow Shuffle または Streaming Engine を使用する場合は、ファイアウォールルールで Google Cloud APIs へのアクセスが許可されていることを確認するだけです。それ以外の場合は、Dataflow VM がストリーミングジョブの場合は TCP ポート 12345 で、バッチジョブの場合は TCP ポート 12346 でネットワークトラフィックを送受信できるように、追加のファイアウォールルールを構成する必要があります。プロジェクトオーナー、編集者、またはセキュリティ管理者は、Dataflow VM で使用される VPC ネットワークに必要なファイアウォールルールを作成する必要があります。

Dataflow にファイアウォールルールを構成する前に、次のドキュメントをご覧ください。

Dataflow のファイアウォールルールを作成する場合は、Dataflow ネットワークタグを指定します。作成しない場合、ファイアウォールルールは VPC ネットワーク内のすべての VM に適用されます。

該当する場合、階層型ファイアウォールポリシーが最初に評価され、これらのルールによって VPC ファイアウォールルールがプリエンプトされます。階層型ファイアウォールポリシーが使用されているフォルダまたは組織の一部であるプロジェクトに Dataflow ジョブが含まれている場合、ポリシーを変更するには compute.orgFirewallPolicyAdmin ロールが必要です。

パイプラインコードの実行時にカスタムネットワークタグを作成しなかった場合、Dataflow VM はデフォルトの dataflow タグを使用します。カスタムネットワークタグがない場合は、デフォルトの dataflow タグを使用してファイアウォールルールを作成します。

パイプラインコードの実行時にカスタムネットワークタグを作成した場合、Dataflow VM はそのタグを使用します。カスタムタグを使用してファイアウォールルールを作成します。

自動的に作成される default ネットワークなどの一部の VPC ネットワークには、Dataflow のファイアウォール要件を満たす default-allow-internal ルールが含まれています。

上り（内向き）ファイアウォールルールの例

上り（内向き）ファイアウォールルールにより、Dataflow VM 間のパケット受信が許可されます。下り（外向き）ルールでこのようなトラフィックが許可される場合でも、上り（内向き）許可ファイアウォールルールを作成する必要があります。作成しないと、トラフィックは常にブロックされます。

次の例では、Dataflow にファイアウォール上り（内向き）ルールが作成され、すべてのワーカー VM にデフォルトのネットワークタグ dataflow が設定されています。プロジェクト所有者、編集者、またはセキュリティ管理者は、次の gcloud コマンドを使用して、TCP ポート 12345 および 12346 で、ネットワークタグ dataflow を持つ VM から同じタグを持つ他の VM へのトラフィックを許可する上り（内向き）許可ルールを作成できます。

gcloud compute firewall-rules create FIREWALL_RULE_NAME_INGRESS \
    --action=allow \
    --direction=ingress \
    --network=NETWORK  \
    --target-tags=CUSTOM_TAG \
    --source-tags=CUSTOM_TAG \
    --priority=PRIORITY_NUM \
    --rules tcp:12345-12346

次のように置き換えます。

FIREWALL_RULE_NAME_INGRESS: ファイアウォールルールの名前
NETWORK: ワーカー VM が使用するネットワークの名前
CUSTOM_TAG: ネットワークタグのカンマ区切りリスト

ネットワークタグを使用する際のガイドラインは次のとおりです。
- --target-tags を省略すると、VPC ネットワーク内のすべての VM にルールが適用されます。
- --source-tags と他のすべての送信元仕様を省略すると、任意の送信元からのトラフィックが許可されます。
- カスタムネットワークタグを指定せずに、ルールを Dataflow VM に固有のルールにする場合は、ネットワークタグとして dataflow を使用します。
- カスタムネットワークタグを指定していて、ルールを Dataflow VM に固有のルールにする場合は、カスタムネットワークタグを使用します。
PRIORITY_NUM: ファイアウォールルールの優先度

数字が小さいほど優先度は高く、0 が最も優先度が高くなります。

下り（外向き）ファイアウォールルールの例

下り（外向き）ファイアウォールルールを使用すると、Dataflow VM 間のパケット送信を許可できます。下り（外向き）拒否のファイアウォールルールを作成した場合は、VPC ネットワークでカスタム下り（外向き）許可ファイアウォールルールの作成が必要になることがあります。

この例では、Dataflow 用の下りファイアウォールルールが作成され、すべてのワーカー VM には dataflow というデフォルトのネットワークタグが付けられます。プロジェクト所有者、編集者、またはセキュリティ管理者は、次の gcloud コマンドを使用して、ネットワークタグ dataflow を持つ VM の TCP ポート 12345 および 12346 から同じタグを持つ他の VM へのトラフィックを許可する下り（外向き）許可ルールを作成できます。

gcloud compute firewall-rules create FIREWALL_RULE_NAME_EGRESS \
    --network=NETWORK \
    --action=allow \
    --direction=egress \
    --target-tags=CUSTOM_TAG \
    --source-tags=CUSTOM_TAG \
    --destination-ranges=DESTINATION-RANGES\
    --priority=PRIORITY_NUM  \
    --rules tcp:12345-12346

次のように置き換えます。

FIREWALL_RULE_NAME_EGRESS: ファイアウォールルールの名前
NETWORK: ワーカー VM が使用するネットワークの名前
CUSTOM_TAG: ネットワークタグのカンマ区切りリスト

ネットワークタグを使用する際のガイドラインは次のとおりです。
- --target-tags を省略すると、VPC ネットワーク内のすべての VM にルールが適用されます。
- --source-tags と他のすべての送信元仕様を省略すると、任意の送信元からのトラフィックが許可されます。
- カスタムネットワークタグを指定せずに、ルールを Dataflow VM に固有のルールにする場合は、ネットワークタグとして dataflow を使用します。
- カスタムネットワークタグを指定していて、ルールを Dataflow VM に固有のルールにする場合は、カスタムネットワークタグを使用します。
DESTINATION-RANGES: CIDR のカンマ区切りリスト

選択したサブネットワークのプライマリ IP アドレス範囲を含めます。
PRIORITY_NUM: ファイアウォールルールの優先度

数字が小さいほど優先度は高く、0 が最も優先度が高くなります。

Dataflow で使用される特定の TCP ポートについては、プロジェクトコンテナマニフェストを表示できます。コンテナマニフェストは、ホストポートをコンテナにマッピングするためにポートを明示的に指定します。

ワーカー VM への SSH アクセス

Dataflow では SSH は必要ありませんが、SSH はトラブルシューティングに役立ちます。

ワーカー VM に外部 IP アドレスがある場合、Google Cloud コンソールまたは Google Cloud CLI を使用して VM に接続できます。SSH を使用して接続するには、少なくとも、gcloud を実行しているシステムか、Google Cloud コンソールへのアクセスに使用するウェブブラウザを実行しているシステムの IP アドレスから、TCP ポート 22 での受信接続を許可するファイアウォールルールが必要です。

ネットワークの構成とアクティビティを表示するには、いずれかのワーカーで SSH セッションを開いて iproute2 を実行します。詳細については、Linux Foundation ウィキの iproute2 ページをご覧ください。

内部 IP アドレスのみを持つワーカー VM に接続する必要がある場合は、内部専用 VM の接続オプションを選択するをご覧ください。

次のステップ

接続テストに関する理解を深める接続テストは、ネットワークエンドポイント間の接続を確認できる診断ツールです。
接続テストを作成して実施する

インターネット アクセスとファイアウォール ルールを構成する

Dataflow 用の Google Cloud APIs へのアクセス

Dataflow 用のインターネット アクセス

外部 IP アドレスをオフにする

Java

Python

Go

Dataflow のネットワーク タグ

ネットワーク タグを有効にする

Flex テンプレート VM のネットワーク タグを有効にする

Dataflow のファイアウォール ルール

上り（内向き）ファイアウォール ルールの例

下り（外向き）ファイアウォール ルールの例