限定公開クラスタの作成

このページでは、VPC ネイティブ クラスタの一種であるプライベート Google Kubernetes Engine（GKE）クラスタを作成する方法について説明します。限定公開クラスタでは、ノードに内部 IP アドレスしかないため、ノードと Pod がデフォルトでインターネットから隔離されます。コントロール プレーンへのクライアント アクセスは、禁止、制限、または無制限に設定できます。

制限事項

限定公開クラスタは、VPC ネイティブ クラスタである必要があります。VPC ネイティブ クラスタは、レガシー ネットワークをサポートしていません。

クラスタを作成する際の IP アドレス範囲とトラフィックに関するルールを表示するには、次のセクションを開きます。

始める前に

始める前に、次の作業が完了していることを確認してください。

• Google Kubernetes Engine API を有効にする。
Google Kubernetes Engine API の有効化
• このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化する。すでに gcloud CLI をインストールしている場合は、gcloud components update を実行して最新のバージョンを取得する。

• クラスタを作成するための適切な権限があることを確認します。少なくとも、Kubernetes Engine Cluster 管理者である必要があります。

• デフォルト インターネット ゲートウェイへのルートがあることを確認します。

パブリック エンドポイントへのクライアント アクセス権のない限定公開クラスタの作成

このセクションでは、次のリソースを作成します。

• private-cluster-0 という名前の限定公開クラスタ。このクラスタには限定公開ノードはありますが、パブリック エンドポイントへのクライアント アクセス権はありません。
• my-net-0 という名前のネットワーク。
• my-subnet-0 という名前のサブネット。

この時点では、コントロール プレーンにアクセスできる唯一の IP アドレスです。

• my-subnet-0 のプライマリ範囲。
• Pod に使用されるセカンダリ範囲。

たとえば、my-subnet-0 のプライマリ範囲に VM を作成したとします。その VM で、コントロール プレーンの内部 IP アドレスを使用するように kubectl を構成できます。

my-subnet-0 の外部からコントロール プレーンにアクセスする場合は、プライベート エンドポイントにアクセスするために少なくとも 1 つのアドレス範囲を承認する必要があります。

デフォルト ネットワーク内の VM が、クラスタと同じリージョンで my-subnet-0 とは別のサブネットにあるとします。

次に例を示します。

• my-subnet-0: 10.0.0.0/22
• Pod のセカンダリ範囲: 10.52.0.0/14
• VM のアドレス: 10.128.0.3

VM にコントロール プレーンへのアクセスを承認するには、次のコマンドを使用します。

gcloud container clusters update private-cluster-0 \
    --enable-master-authorized-networks \
    --master-authorized-networks 10.128.0.3/32

パブリック エンドポイントへのアクセスが制限された限定公開クラスタの作成

この構成を使用して限定公開クラスタを作成すると、自動生成されたサブネットまたはカスタム サブネットを使用できます。

自動生成されたサブネットの使用

このセクションでは、private-cluster-1 という名前の限定公開クラスタを作成します。GKE は、このクラスタにクラスタノードのサブネットを自動的に生成します。サブネットでは、限定公開の Google アクセスが有効になっています。サブネット内で、GKE は Pod 用と Service 用の 2 つのセカンダリ範囲を自動的に作成します。

Google Cloud CLI または GKE API を使用できます。

{
  "name": "private-cluster-1",
  ...
  "ipAllocationPolicy": {
    "createSubnetwork": true,
  },
  ...
    "privateClusterConfig" {
      "enablePrivateNodes": boolean # Creates nodes with internal IP addresses only
      "enablePrivateEndpoint": boolean # false creates a cluster control plane with a publicly-reachable endpoint
      "masterIpv4CidrBlock": string # CIDR block for the cluster control plane
      "privateEndpoint": string # Output only
      "publicEndpoint": string # Output only
  }
}

この時点で、クラスタ コントロール プレーンにアクセスできる IP アドレスは次のものに限られます。

• my-subnet-1 のプライマリ範囲。
• Pod に使用されるセカンダリ範囲。

VPC ネットワークの外に、203.0.113.0/29 の範囲のアドレスを持つマシンのグループがあるとします。これらのマシンのパブリック エンドポイントへのアクセスを承認するには、次のコマンドを入力します。

gcloud container clusters update private-cluster-1 \
    --enable-master-authorized-networks \
    --master-authorized-networks 203.0.113.0/29

コントロール プレーンにアクセスできる唯一の IP アドレスは次のとおりです。

• my-subnet-1 のプライマリ範囲。
• Pod に使用されるセカンダリ範囲。
• 承認したアドレス範囲（203.0.113.0/29 など）。

カスタム サブネットの使用

このセクションでは、次のリソースを作成します。

• private-cluster-2 という名前の限定公開クラスタ。
• my-net-2 という名前のネットワーク。
• クラスタノード用の、プライマリ範囲が 192.168.0.0/20 の my-subnet-2 という名前のサブネット。サブネットには、次のセカンダリ アドレス範囲があります。
  • Pod の IP アドレスには my-pods を指定します。
  • Service の IP アドレスには my-services を指定します。

gcloud compute networks create my-net-2 \
    --subnet-mode custom

gcloud compute networks subnets create my-subnet-2 \
    --network my-net-2 \
    --range 192.168.0.0/20 \
    --secondary-range my-pods=10.4.0.0/14,my-services=10.0.32.0/20 \
    --enable-private-ip-google-access

この時点では、コントロール プレーンにアクセスできる唯一の IP アドレスです。

• my-subnet-2 のプライマリ範囲。
• セカンダリ範囲 my-pods。

my-net-2 の外に、203.0.113.0/29 の範囲のアドレスを持つマシンのグループがあるとします。これらのマシンのパブリック エンドポイントへのアクセスを承認するには、次のコマンドを入力します。

gcloud container clusters update private-cluster-2 \
    --enable-master-authorized-networks \
    --master-authorized-networks 203.0.113.0/29

この時点では、コントロール プレーンにアクセスできる唯一の IP アドレスです。

• my-subnet-2 のプライマリ範囲。
• セカンダリ範囲 my-pods。
• 承認したアドレス範囲（203.0.113.0/29 など）。

Cloud Shell を使用した限定公開クラスタへのアクセス

プライベート エンドポイントを有効にしている場合、Cloud Shell で GKE コントロール プレーンにアクセスすることはできません。

Cloud Shell を使用してクラスタにアクセスする場合は、Cloud Shell の外部 IP アドレスをクラスタの承認済みネットワークのリストに追加する必要があります。

手順は次のとおりです。

1. Cloud Shell のコマンドライン ウィンドウで、dig を使用して Cloud Shell の外部 IP アドレスを検索します。

   dig +short myip.opendns.com @resolver1.opendns.com
   

2. Cloud Shell の外部アドレスをクラスタの承認済みネットワークのリストに追加します。

   gcloud container clusters update CLUSTER_NAME \
       --enable-master-authorized-networks \
       --master-authorized-networks EXISTING_AUTH_NETS,SHELL_IP/32
   

   次のように置き換えます。

   • CLUSTER_NAME: クラスタの名前。

   • EXISTING_AUTH_NETS: 承認済みネットワークの既存のリストの IP アドレス。Console で、または次のコマンドを実行して、承認済みネットワークを確認できます。

     gcloud container clusters describe CLUSTER_NAME --format "flattened(masterAuthorizedNetworksConfig.cidrBlocks[])"
     

   • SHELL_IP: Cloud Shell の外部 IP アドレス。

3. kubectl を使用してクラスタにアクセスできるように、認証情報を取得します。

   gcloud container clusters get-credentials CLUSTER_NAME \
       --project=PROJECT_ID \
       --internal-ip
   

   PROJECT_ID は、実際のプロジェクト ID に置き換えます。

4. Cloud Shell で kubectl を使用して、クラスタにアクセスします。

   kubectl get nodes
   

   出力は次のようになります。

   NAME                                               STATUS   ROLES    AGE    VERSION
   gke-cluster-1-default-pool-7d914212-18jv   Ready    <none>   104m   v1.21.5-gke.1302
   gke-cluster-1-default-pool-7d914212-3d9p   Ready    <none>   104m   v1.21.5-gke.1302
   gke-cluster-1-default-pool-7d914212-wgqf   Ready    <none>   104m   v1.21.5-gke.1302
   

パブリック エンドポイントへ無制限にアクセス可能な限定公開クラスタの作成

このセクションでは、任意の IP アドレスでコントロール プレーンにアクセスできる限定公開クラスタを作成します。

特定のユースケースに対するファイアウォール ルールを追加する

このセクションでは、クラスタにファイアウォール ルールを追加する方法について説明します。デフォルトでは、クラスタ コントロール プレーンはポート 443（HTTPS）および 10250（kubelet）上のみでノードおよび Pod への TCP 接続を開始するようにファイアウォール ルールによって制限されています。一部の Kubernetes 機能では、他のポート上でアクセスを許可するためにファイアウォール ルールを追加する必要があります。自動的に作成されたファイアウォール ルールよりも高い優先度のファイアウォール ルールまたは階層型ファイアウォール ポリシー ルールを作成しないでください。

追加のファイアウォール ルールを必要とする Kubernetes 機能は次のとおりです。

• アドミッション Webhook
• 集計 API サーバー
• Webhook 変換
• 動的監査の構成
• 通常、ServiceReference フィールドを持つ API では、追加のファイアウォール ルールが必要です。

ファイアウォール ルールを追加すると、クラスタ コントロール プレーンから次のポートへのトラフィックが許可されます。

• 各ノードの指定ポート（hostPort）。
• これらのノードで実行されている各 Pod の指定ポート。
• こうしたノードで実行されている各 Service の指定ポート。

ファイアウォール ルールの詳細は、Cloud Load Balancing ドキュメントのファイアウォール ルールをご覧ください。

ファイアウォール ルールをクラスタに追加するには、使用するクラスタ コントロール プレーンの CIDR ブロックとターゲットを記録する必要があります。記録したらルールを作成します。

コントロール プレーンの CIDR ブロックを表示する

ファイアウォール ルールを追加するには、クラスタ コントロール プレーンの CIDR ブロックが必要です。

gcloud container clusters describe CLUSTER_NAME

既存のファイアウォール ルールを表示する

クラスタの既存のファイアウォール ルールが使用するターゲット（この場合は宛先ノード）を指定する必要があります。

gcloud compute firewall-rules list \
    --filter 'name~^gke-CLUSTER_NAME' \
    --format 'table(
        name,
        network,
        direction,
        sourceRanges.list():label=SRC_RANGES,
        allowed[].map().firewall_rule().list():label=ALLOW,
        targetTags.list():label=TARGET_TAGS
    )'

ファイアウォール ルールを追加する

gcloud compute firewall-rules create FIREWALL_RULE_NAME \
    --action ALLOW \
    --direction INGRESS \
    --source-ranges CONTROL_PLANE_RANGE \
    --rules PROTOCOL:PORT \
    --target-tags TARGET

--project HOST_PROJECT_ID
--network NETWORK_ID

ノードに外部 IP アドレスがないことを確認する

限定公開クラスタの作成後は、クラスタのノードに外部 IP アドレスがないことを確認します。

kubectl get nodes --output wide

STATUS ... VERSION        EXTERNAL-IP  OS-IMAGE ...
Ready      v.8.7-gke.1                 Container-Optimized OS
Ready      v1.8.7-gke.1                Container-Optimized OS
Ready      v1.8.7-gke.1                Container-Optimized OS

クラスタでの VPC ピアリングの再利用を確認する

2020 年 1 月 15 日以降に作成した限定公開クラスタは、VPC ネットワーク ピアリング接続を再利用します。

限定公開クラスタが VPC ネットワーク ピアリング接続を再利用するかどうかは、gcloud CLI または Google Cloud コンソールで確認できます。

gcloud container clusters describe CLUSTER_NAME \
    --format="value(privateClusterConfig.peeringName)"

クラスタの高度な構成

このセクションでは、限定公開クラスタの作成時に必要となる高度な構成について説明します。

プライベート ノードにインターネットへのアウトバウンド アクセスを許可する

外部レジストリからイメージを pull するなど、プライベート ノードにインターネットへのアウトバウンド アクセスを提供する場合は、Cloud NAT を使用して Cloud Router を作成して構成します。Cloud NAT を使用すると、プライベート ノードでは、インターネット経由でアウトバウンド接続を確立してパケットを送受信できます。

Cloud Router を使用すると、リージョン内のすべてのノードで、すべてのプライマリ IP 範囲とエイリアス IP 範囲に Cloud NAT を使用できます。また、NAT ゲートウェイに外部 IP アドレスが自動的に割り振られます。

Cloud Router の作成と構成の手順については、Cloud NAT のドキュメントの Cloud Router を使用して NAT 構成を作成するをご覧ください。

共有 VPC ネットワーク内での限定公開クラスタの作成

共有 VPC ネットワーク内で限定公開クラスタを作成する方法については、共有 VPC での限定公開クラスタの作成をご覧ください。

Windows Server コンテナ アプリケーションのデプロイ

プライベート ノードを含むクラスタに Windows Server コンテナ アプリケーションをデプロイする方法については、Windows ノードプールのドキュメントをご覧ください。

グローバルにコントロール プレーンのプライベート エンドポイントにアクセスする

コントロール プレーンのプライベート エンドポイントは、コントロール プレーンの VPC ネットワーク内の内部パススルー ネットワーク ロードバランサによって実装されます。内部パススルー ネットワーク ロードバランサにアクセスできるのは、内部クライアント、または Cloud VPN トンネルと Cloud Interconnect VLAN アタッチメント経由で接続しているクライアントです。

デフォルトでは、これらのクライアントはロードバランサと同じリージョンに配置されている必要があります。

コントロール プレーンのグローバル アクセスを有効にすると、内部パススルー ネットワーク ロードバランサにグローバルにアクセスできるようになります。クライアント VM とオンプレミス システムは、承認済みネットワークの構成に従って、任意のリージョンからコントロール プレーンのプライベート エンドポイントに接続できます。

内部パススルー ネットワーク ロードバランサとグローバル アクセスの詳細については、内部ロードバランサと接続ネットワークをご覧ください。

コントロール プレーンのプライベート エンドポイント グローバル アクセスを有効にする

限定公開クラスタを作成するときに、デフォルトでは、コントロール プレーンのプライベート エンドポイントに対するグローバル アクセスが有効になっていません。コントロール プレーンのグローバル アクセスを有効にするには、クラスタのモードに基づいて次のツールを使用します。

• Standard クラスタの場合は、Google Cloud CLI または Google Cloud コンソールを使用できます。

• Autopilot クラスタの場合は、google_container_cluster Terraform リソースを使用できます。

gcloud container clusters create CLUSTER_NAME \
    --enable-private-nodes \
    --enable-master-global-access

gcloud container clusters update CLUSTER_NAME \
    --enable-master-global-access

コントロール プレーンのプライベート エンドポイント グローバル アクセスを確認する

コントロール プレーンのプライベート エンドポイントへのグローバル アクセスが有効になっているかどうか確認するには、次のコマンドを実行して出力を表示します。

gcloud container clusters describe CLUSTER_NAME

出力の privateClusterConfig セクションで masterGlobalAccessConfig のステータスを確認できます。

privateClusterConfig:
  enablePrivateNodes: true
  masterIpv4CidrBlock: 172.16.1.0/28
  peeringName: gke-1921aee31283146cdde5-9bae-9cf1-peer
  privateEndpoint: 172.16.1.2
  publicEndpoint: 34.68.128.12
  masterGlobalAccessConfig:
    enabled: true

他のネットワークからコントロール プレーンのプライベート エンドポイントにアクセスする

GKE 限定公開クラスタを作成し、コントロール プレーンのパブリック エンドポイントを無効にする場合、kubectl などのツールで、コントロール プレーンのプライベート エンドポイントを使用してクラスタを管理する必要があります。次のような別のネットワークから、クラスタのコントロール プレーンのプライベート エンドポイントにアクセスできます。

• Cloud VPN トンネルや Cloud Interconnect VLAN アタッチメントを使用してクラスタの VPC ネットワークに接続しているオンプレミス ネットワーク
• Cloud VPN トンネルを使用してクラスタの VPC ネットワークに接続された別の VPC ネットワーク

次の図は、オンプレミス ネットワークと GKE コントロール プレーン ノード間のルーティング パスを示しています。

別のネットワーク内のシステムがクラスタのコントロール プレーンのプライベート エンドポイントに接続できるようにするには、次の要件を満たす必要があります。

1. クラスタとそのコントロール プレーンのプライベート エンドポイントの関連するネットワーク情報を特定して記録します。

   gcloud container clusters describe CLUSTER_NAME \
      --location=COMPUTE_LOCATION \
      --format="yaml(network, privateClusterConfig)"
   

   次のように置き換えます。

   • CLUSTER_NAME: クラスタの名前。
   • COMPUTE_LOCATION: クラスタの Compute Engine のロケーション。

   コマンドの出力から、次の手順で使用する次の情報を特定して記録します。

   • network: クラスタの VPC ネットワークの名前または URI。
   • privateEndpoint: コントロール プレーンのプライベート エンドポイントの IPv4 アドレス、またはそれを含む IPv4 CIDR 範囲（masterIpv4CidrBlock）。
   • peeringName: クラスタの VPC ネットワークをコントロール プレーンの VPC ネットワークに接続するために使用される VPC ネットワーク ピアリング接続の名前。

   出力は次のようになります。

   network: cluster-network
   privateClusterConfig:
     enablePrivateNodes: true
     masterGlobalAccessConfig:
       enabled: true
     masterIpv4CidrBlock: 172.16.1.0/28
     peeringName: gke-1921aee31283146cdde5-9bae-9cf1-peer
     privateEndpoint: 172.16.1.2
     publicEndpoint: 34.68.128.12
   

2. コントロール プレーンのプライベート エンドポイント グローバル アクセスを有効にして、パケットがクラスタの VPC ネットワーク内の任意のリージョンから入るようにすることを検討してください。コントロール プレーンのプライベート エンドポイント グローバル アクセスを有効にすると、クラスタのリージョンだけでなく、任意のリージョンにある Cloud VPN トンネルや Cloud Interconnect VLAN アタッチメントを使用してプライベート エンドポイントに接続できます。

3. 他のネットワークにある privateEndpoint IP アドレスまたは masterIpv4CidrBlock IP アドレス範囲に向うルートを作成します。コントロール プレーンのプライベート エンドポイント IP アドレスは、常に masterIpv4CidrBlock IPv4 アドレス範囲内にあるため、次のような場合、privateEndpoint IP アドレスまたはそこを含む範囲のルートを作成すると、パケットが相手ネットワークからコントロール プレーンのプライベート エンドポイントに向かうパスが確立します。

   • 他のネットワークは、Cloud Interconnect VLAN アタッチメントか動的（BGP）ルートを使用する Cloud VPN トンネルを使用して、クラスタの VPC ネットワークに接続します。Cloud Router のカスタム アドバタイズ ルートを使用します。詳細については、Cloud Router のドキュメントのカスタム アドレス範囲をアドバタイズするをご覧ください。

   • 他のネットワークは、動的ルートを使用しない Classic VPN トンネルを使用してクラスタの VPC ネットワークに接続します。他のネットワークには静的ルートを構成する必要があります。

4. ピアリング関係のカスタムルートをコントロール プレーンの VPC ネットワークにエクスポートするように、クラスタの VPC ネットワークを構成します。Google Cloud は常に、クラスタの VPC ネットワークからカスタムルートをインポートするようにコントロール プレーンの VPC ネットワークを構成します。このステップでは、コントロール プレーンのプライベート エンドポイントから他のネットワークに戻るパケットのパスを確立します。

   クラスタの VPC ネットワークからカスタムルートのエクスポートを有効にするには、次のコマンドを使用します。

   gcloud compute networks peerings update PEERING_NAME \
       --network=CLUSTER_VPC_NETWORK \
       --export-custom-routes
   

   次のように置き換えます。

   • PEERING_NAME: クラスタの VPC ネットワークをコントロール プレーンの VPC ネットワークに接続するピアリングの名前
   • CLUSTER_VPC_NETWORK: クラスタの VPC ネットワークの名前または URI

   VPC でカスタムルートのエクスポートが有効になっている場合、Google Cloud IP の範囲と重複するルートを作成すると、クラスタが壊れる可能性があります。

   既存の VPC ネットワーク ピアリング接続のルート交換を更新する方法については、ピアリング接続を更新するをご覧ください。

   クラスタの VPC ネットワーク内のカスタムルートには、オンプレミス ネットワークなど他のネットワークの IP アドレス範囲が宛先であるルートが含まれます。こうしたルートが、コントロール プレーンの VPC ネットワークでピアリング カスタムルートとして有効になるようにするには、他のネットワークからのサポートされている宛先をご覧ください。

他のネットワークからのサポートされている宛先

他のネットワークからクラスタの VPC ネットワーク内の Cloud Router に送信されるアドレス範囲は、次の条件を満たしている必要があります。

• クラスタの VPC はデフォルト ルート（0.0.0.0/0）を受け入れることができますが、コントロール プレーンの VPC ネットワークは、すでにローカルのデフォルト ルートがあるため、常にデフォルト ルートを拒否します。他のネットワークが VPC ネットワークにデフォルト ルートを送信する場合、相手側のネットワークもコントロール プレーンのプライベート エンドポイントに接続する必要があるシステムの特定の宛先を送信する必要があります。詳細については、ルーティング順序をご覧ください。

• コントロール プレーンの VPC ネットワークが、デフォルト ルートを効率的に置き換えるルートを受け入れる場合、そうしたルートは Google Cloud API とサービスへの接続を切断し、クラスタ コントロール プレーンを中断させます。代表的な例として、相手側ネットワークは、宛先が 0.0.0.0/1 と 128.0.0.0/1 のルートをアドバタイズしてはいけません。別の方法については、前の説明をご覧ください。

Cloud Router の上限、特に学習したルートの一意の宛先の最大数をモニタリングします。

VPC Service Controls による限定公開クラスタの保護

VPC Service Controls を使用して GKE 限定公開クラスタの保護を強化します。

VPC Service Controls は GKE 限定公開クラスタ向けの追加のセキュリティ機能を提供して、データ漏洩のリスクを低減します。VPC Service Controls の活用により、境界の外部から発生するリクエストからリソースとサービスを保護するサービス境界にプロジェクトを追加できます。

サービス境界の詳細については、サービス境界の詳細と構成をご覧ください。

VPC Service Controls サービス境界内の GKE 限定公開クラスタで Artifact Registry を使用する場合は、制限付きの仮想 IP へのルーティングを構成して、データの引き出しを防ぐ必要があります。

クリーンアップ

このページのタスクを完了したら、アカウントで不要な請求が発生しないように、以下の手順でリソースを削除します。

クラスタを削除する

gcloud container clusters delete -q private-cluster-0 private-cluster-1 private-cluster-2 private-cluster-3

ネットワークを削除する

gcloud compute networks delete my-net-0

次のステップ

• 限定公開クラスタの詳細な構成について学習する。
• VPC ネイティブ クラスタの作成方法を学習する。
• VPC ネットワーク ピアリングの詳細を確認する。

• Cloud Build のプライベート プールを使用した限定公開 GKE クラスタへのアクセスに関するチュートリアルに沿って進める。