基本クラスタを作成する

gkectl

この手順を開始する前に、前記のとおり、管理ワークステーションに SSH 接続されていることを確認してください。次のコマンドはすべて管理ワークステーションで実行されます。

ユーザー クラスタの IP ブロック ファイルを作成する

1. user-ipblock.yaml という名前のファイルを作成します。

2. 次の内容をコピーして user-ipblock.yaml に貼り付け、ファイルを保存します。

   blocks:
     - netmask: "NETMASK"
       gateway: "DEFAULT_GATEWAY_IP"
       ips:
       - ip: "USER_NODE_IP_1"
         hostname: "user-vm-1"
       - ip: "USER_NODE_IP_2"
         hostname: "user-vm-2"
       - ip: "USER_NODE_IP_3"
         hostname: "user-vm-3"
       - ip: "USER_NODE_IP_4"
         hostname: "user-vm-4"
   

ユーザー クラスタ構成ファイルを作成する

1. user-ipblock.yaml と同じディレクトリに user-cluster.yaml という名前のファイルを作成します。

2. 次の内容をコピーして user-cluster.yaml に貼り付け、ファイルを保存します。

apiVersion: v1
kind: UserCluster
name: "minimal-installation-user-cluster"
gkeOnPremVersion: "1.30.200-gke.101"
enableControlplaneV2: true
network:
  hostConfig:
    dnsServers:
    - "DNS_SERVER_IP"
    ntpServers:
    - "NTP_SERVER_IP"
  ipMode:
    type: "static"
    ipBlockFilePath: "user-ipblock.yaml"
  serviceCIDR: "10.96.0.0/20"
  podCIDR: "192.168.0.0/16"
  controlPlaneIPBlock:
    netmask: "NETMASK"
    gateway: "DEFAULT_GATEWAY_IP"
    ips:
    - ip: "USER_CONTROL_PLANE_NODE_IP"
      hostname: "cp-vm-1"
loadBalancer:
  vips:
    controlPlaneVIP: "USER_CONTROL_PLANE_VIP"
    ingressVIP: "USER_INGRESS_VIP"
  kind: "MetalLB"
  metalLB:
    addressPools:
    - name: "uc-address-pool"
      addresses:
      - "USER_INGRESS_VIP/32"
      - "SERVICE_VIP_1/32"
      - "SERVICE_VIP_2/32"
enableDataplaneV2: true
nodePools:
- name: "uc-node-pool"
  cpus: 4
  memoryMB: 8192
  replicas: 3
  enableLoadBalancer: true
antiAffinityGroups:
  enabled: false
gkeConnect:
  projectID: "PROJECT_ID"
  registerServiceAccountKeyPath: "CONNECT_REGISTER_SA_KEY"
stackdriver:
  projectID: "PROJECT_ID"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "LOG_MON_SA_KEY"
  disableVsphereResourceMetrics: false
autoRepair:
  enabled: true

構成を検証してクラスタを作成する

1. ユーザー クラスタの構成ファイルが有効であり、クラスタの作成に使用できることを確認します。

   gkectl check-config --kubeconfig kubeconfig --config user-cluster.yaml

2. ユーザー クラスタを作成します。

   gkectl create cluster --kubeconfig kubeconfig --config user-cluster.yaml

   クラスタの作成には約 30 分かかります。

ユーザー クラスタ kubeconfig ファイルを見つける

gkectl create cluster コマンドで、現在のディレクトリに USER_CLUSTER_NAME-kubeconfig という名前の kubeconfig ファイルが作成されます。この kubeconfig ファイルは後でユーザー クラスタとやり取りする際に必要になります。

ユーザー クラスタが実行されていることを確認する

ユーザー クラスタが実行されていることを確認します。

kubectl get nodes --kubeconfig USER_CLUSTER_KUBECONFIG

USER_CLUSTER_KUBECONFIG は、ユーザー クラスタ kubeconfig ファイルのパスに置き換えます。

出力には、ユーザー クラスタノードが表示されます。次に例を示します。

cp-vm-1     Ready    control-plane,master
user-vm-1   Ready
user-vm-2   Ready
user-vm-3   Ready

RBAC 認証を有効にする

ユーザー アカウントにクラスタの Kubernetes clusterrole/cluster-admin ロールを付与するには、次のコマンドを実行します。

gcloud container fleet memberships generate-gateway-rbac \
  --membership=minimal-installation-user-cluster \
  --role=clusterrole/cluster-admin \
  --users=GOOGLE_ACCOUNT_EMAIL \
  --project=PROJECT_ID \
  --kubeconfig=USER_CLUSTER_KUBECONFIG \
  --context=minimal-installation-user-cluster \
  --apply

このコマンドの出力は次のようになります（読みやすくするために省略しています）。

Validating input arguments.
Specified Cluster Role is: clusterrole/cluster-admin
Generated RBAC policy is:
--------------------------------------------
...
Applying the generate RBAC policy to cluster with kubeconfig: kubeconfig, context: minimal-installation-admin-cluster
Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
Successfully applied the RBAC policy to cluster.

特に RBAC ポリシーを使用すると、Google Cloud コンソールで Google ID を使用してクラスタにログインすることで、クラスタの詳細を確認できます。

GKE On-Prem API への自動登録

プロジェクトで GKE On-Prem API が有効になっているため、クラスタは GKE On-Prem API に自動的に登録されます。これにより、コンソールまたは gcloud CLI を使用してクラスタの詳細を表示し、クラスタのライフサイクルを管理できます。たとえば、gcloud コマンドを実行して、ユーザー クラスタに関する情報を取得できます。

コンソール

1. Google Cloud コンソールで、[Create a Google Distributed Cloud cluster] ページに移動します。

   [Create a Google Distributed Cloud cluster] に移動

2. クラスタを作成する Google Cloud プロジェクトを選択します。選択したプロジェクトは、フリート ホスト プロジェクトとしても使用されます。これは、管理クラスタが登録されているプロジェクトと同じでなければなりません。ユーザー クラスタを作成すると、選択したプロジェクトのフリートに自動的に登録されます。

次のセクションでは、ユーザー クラスタの構成について説明します。

前提条件

1. 前提条件ページの情報をよく理解してください。

2. ページの下部にある [次へ] をクリックします。

クラスタの基本

1. [名前] に、ユーザー クラスタの名前を入力します（例: minimal-installation-user-cluster）。

2. [管理クラスタ] で、[minimal-installation-admin-cluster] を選択します。

3. [GCP API ロケーション] フィールドで、[us-central1] を選択します。

4. [バージョン] で、1.30.200-gke.101 を選択します。

5. [認可] セクションまたは [vCenter 構成] セクションを開く必要はありません。

6. [次へ] をクリックします。

コントロール プレーン

1. [コントロール プレーン ノードの IP] の [ゲートウェイ] に「DEFAULT_GATEWAY_IP」と入力します。

2. [サブネット マスク] に「NETMASK」と入力します。

3. [IP アドレス] の [IP アドレス 1] に「USER_CONTROL_PLANE_NODE_IP」と入力します。[ホスト名 1] は空白のままにします。

4. [次へ] をクリックします。

ネットワーキング

このセクションでは、クラスタのノード、Pod、Service の IP アドレスを指定します。ユーザー クラスタには、ノードごとに 1 つの IP アドレスと、クラスタのアップグレード、更新、自動修復に必要な一時的なノードに別の IP アドレスが必要です。詳細については、ユーザー クラスタに必要な IP アドレス数をご覧ください。

1. [ワーカーノード IP] の [IP モード] で、[静的] が選択されていることを確認します。

2. [ゲートウェイ] に「DEFAULT_GATEWAY_IP」と入力します。

3. [サブネット マスク] に「NETMASK」と入力します。

4. [IP アドレス] に、次のアドレスを入力します。

• USER_NODE_IP_1
• USER_NODE_IP_2
• USER_NODE_IP_3
• USER_NODE_IP_4

[ホスト名] フィールドは空欄のままにします。

1. [Service CIDR] に「10.96.0.0/20」と入力します。[Pod CIDR] に「192.168.0.0/16」と入力します。

2. [DNS サーバー 1] に「DNS_SERVER_IP」と入力します。

3. [NTP サーバー 1] に「NTP_SERVER_IP」と入力します。

4. [DNS 検索ドメイン] は空欄のままにします。

5. [次へ] をクリックします。

ロードバランサ

1. [ロードバランサの種類] で [MetalLB にバンドル済み] を選択します。

2. [アドレス プール] で、デフォルトの名前を使用します。

3. [IP アドレス] の [IP アドレス範囲 1] に「USER_INGRESS_VIP/32」と入力します。

   [IP アドレス範囲を追加] をクリックします。[IP アドレス範囲 1] に「SERVICE_VIP_1/32」と入力します。

   [IP アドレス範囲を追加] をクリックします。[IP アドレス範囲 2] に「SERVICE_VIP_2/32」と入力します。

4. [IP アドレスの割り当て] で、[自動] を選択します。

5. [バグのある IP アドレスを避ける] はオフのままにします。

6. [仮想 IP] で、[コントロール プレーン VIP] に「USER_CONTROL_PLANE_VIP」と入力します。[Ingress VIP] はすでに入力されています。

7. [続行] をクリックします。

機能

1. デフォルトはすべてそのままにします。

2. [次へ] をクリックします。

ノードプール

1. デフォルトはすべてそのままにします。

2. [Verify and Complete] をクリックしてユーザー クラスタを作成します。ユーザー クラスタの作成には 15 分以上かかります。コンソールで設定を確認し、データセンターにクラスタを作成するときに、ステータス メッセージが表示されます。

   設定の確認中にエラーが発生した場合は、コンソールにエラー メッセージが表示されます。これにより、構成の問題を修正してクラスタを再度作成することが簡単に行えます。

   発生する可能性のあるエラーと修正方法の詳細については、GKE On-Prem API に登録されているクラスタのトラブルシューティングをご覧ください。

Terraform

このセクションでは、Terraform を使用してユーザー クラスタとノードプールを作成する方法を説明します。詳細と他の例については、以下をご覧ください。

• google_gkeonprem_vmware_cluster

• google_gkeonprem_vmware_node_pool

• terraform.tfvars.sample

1. ディレクトリを作成し、そのディレクトリ内に新しいファイルを作成します。ファイル名の拡張子は .tf にする必要があります。このガイドでは、このファイルは main.tf と呼ばれます。

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf
   

2. ユーザー クラスタの Terraform リソースを確認します。

   次の Terraform リソースの例には、前のセクションで計画テーブルに入力した値が入力されています。

   resource "google_gkeonprem_vmware_cluster" "cluster-basic" {
     name = "minimal-installation-user-cluster"
     project = "PROJECT_ID"
     location = "us-central1"
     admin_cluster_membership = "projects/PROJECT_ID/locations/global/memberships/minimal-installation-admin-cluster"
     description = "User cluster config with MetalLB, static IPs, and Controlplane V2"
     enable_control_plane_v2 = "true"
     on_prem_version = "1.30.200-gke.101"
     control_plane_node {
       cpus = 4
       memory = 8192
       replicas = 1
     }
     network_config {
       service_address_cidr_blocks = ["10.96.0.0/20"]
       pod_address_cidr_blocks = ["192.168.0.0/16"]
       host_config {
         dns_servers = ["DNS_SERVER_IP"]
         ntp_servers = ["NTP_SERVER_IP"]
       }
       static_ip_config {
         ip_blocks {
           netmask = "NETMASK"
           gateway = "DEFAULT_GATEWAY_IP"
           ips {
             ip = "USER_NODE_IP_1"
             hostname = "user-vm-1"
           }
           ips {
             ip = "USER_NODE_IP_2"
             hostname = "user-vm-2"
           }
           ips {
             ip = "USER_NODE_IP_3"
             hostname = "user-vm-3"
           }
           ips {
             ip = "USER_NODE_IP_4"
             hostname = "user-vm-4"
           }
         }
       }
       control_plane_v2_config {
         control_plane_ip_block {
           netmask = "NETMASK"
           gateway = "DEFAULT_GATEWAY_IP"
           ips {
             ip = "USER_CONTROL_PLANE_NODE_IP"
             hostname = "cp-vm-1"
           }
         }
       }
     }
     load_balancer {
       vip_config {
         control_plane_vip = "USER_CONTROL_PLANE_VIP"
         ingress_vip = "USER_INGRESS_VIP"
       }
       metal_lb_config {
         address_pools {
           pool = "uc-address-pool"
           manual_assign = "true"
           addresses = ["USER_INGRESS_VIP/32", "SERVICE_VIP_1/32", "SERVICE_VIP_2/32"]
         }
       }
     }
     authorization {
       admin_users {
       username = "GOOGLE_ACCOUNT_EMAIL"
     }
   }
     provider = google-beta
   }
   
   resource "google_gkeonprem_vmware_node_pool" "my-node-pool-1" {
     name = "uc-node-pool"
     project = "PROJECT_ID"
     vmware_cluster = "minimal-installation-user-cluster"
     location = "us-central1"
     config {
       replicas = 3
       image_type = "ubuntu_containerd"
       enable_load_balancer = "true"
     }
     depends_on = [
       google_gkeonprem_vmware_cluster.cluster-basic
     ]
     provider = google-beta
   }
   

3. Terraform リソースを main.tf にコピーしてファイルを保存します。

4. Terraform プランを初期化して作成します。

   terraform init
   

   Terraform によって、Google Cloud プロバイダなどの必要なライブラリがインストールされます。

5. 構成を確認し、必要に応じて変更を加えます。

   terraform plan
   

6. Terraform プランを適用して、ユーザー クラスタを作成します。

   terraform apply
   

   プロンプトが表示されたら、「yes」と入力します。

   基本的なユーザー クラスタとノードプールを作成するには、約 15 分（ネットワークによってはそれ以上）かかります。

gcloud

クラスタを作成します。

gcloud container vmware clusters create minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --admin-cluster-membership=projects/PROJECT_ID/locations/global/memberships/minimal-installation-admin-cluster \
  --location=us-central1 \
  --version=1.30.200-gke.101 \
  --admin-users=GOOGLE_ACCOUNT_EMAIL \
  --service-address-cidr-blocks=10.96.0.0/20 \
  --pod-address-cidr-blocks=192.168.0.0/16 \
  --metal-lb-config-address-pools='pool=uc-address-pool,avoid-buggy-ips=False,manual-assign=False,addresses=USER_INGRESS_VIP/32;SERVICE_VIP_1/32;SERVICE_VIP_2/32' \
  --control-plane-vip=USER_CONTROL_PLANE_VIP \
  --ingress-vip=USER_INGRESS_VIP \
  --static-ip-config-ip-blocks='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_NODE_IP_1;USER_NODE_IP_2;USER_NODE_IP_3;USER_NODE_IP_4' \
  --dns-servers=DNS_SERVER_IP \
  --ntp-servers=NTP_SERVER_IP \
  --enable-control-plane-v2 \
  --enable-dataplane-v2 \
  --control-plane-ip-block='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_CONTROL_PLANE_NODE_IP'

このコマンドからの出力は、次のようになります。

Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1679543737105-5f7893fd5bae9-942b3f97-75e59179] to complete.

この出力例では、operation-1679543737105-5f7893fd5bae9-942b3f97-75e59179 という文字列は長時間実行オペレーションの OPERATION_ID です。オペレーションのステータスは、次のコマンドで確認できます。

gcloud container vmware operations describe OPERATION_ID \
  --project=PROJECT_ID \
  --location=us-central1

詳細については、gcloud container vmware operations をご覧ください。

ユーザー クラスタの作成には 15 分以上かかります。コンソールの Google Kubernetes Engine クラスタの概要ページでクラスタを確認できます。

ノードプールを作成します。

gcloud container vmware node-pools create  uc-node-pool \
  --cluster=minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --location=us-central1 \
  --image-type=ubuntu_containerd  \
  --boot-disk-size=40 \
  --cpus=4 \
  --memory=8192 \
  --replicas=3 \
  --enable-load-balancer