建立基本叢集

gkectl

開始這個程序之前，請確保您已建立與管理員工作站的 SSH 連線，如先前所述。下列所有指令都會在管理員工作站上執行。

建立使用者叢集 IP 區塊檔案

1. 建立名為 user-ipblock.yaml 的檔案。

2. 複製下列內容並貼到 user-ipblock.yaml，然後儲存檔案：

   blocks:
     - netmask: "NETMASK"
       gateway: "DEFAULT_GATEWAY_IP"
       ips:
       - ip: "USER_NODE_IP_1"
         hostname: "user-vm-1"
       - ip: "USER_NODE_IP_2"
         hostname: "user-vm-2"
       - ip: "USER_NODE_IP_3"
         hostname: "user-vm-3"
       - ip: "USER_NODE_IP_4"
         hostname: "user-vm-4"
   

建立使用者叢集設定檔

1. 在 user-ipblock.yaml 所在的目錄中，建立名為 user-cluster.yaml 的檔案。

2. 複製下列內容並貼到 user-cluster.yaml，然後儲存檔案：

apiVersion: v1
kind: UserCluster
name: "minimal-installation-user-cluster"
gkeOnPremVersion: "1.32.300-gke.85"
enableControlplaneV2: true
network:
  hostConfig:
    dnsServers:
    - "DNS_SERVER_IP"
    ntpServers:
    - "NTP_SERVER_IP"
  ipMode:
    type: "static"
    ipBlockFilePath: "user-ipblock.yaml"
  serviceCIDR: "10.96.0.0/20"
  podCIDR: "192.168.0.0/16"
  controlPlaneIPBlock:
    netmask: "NETMASK"
    gateway: "DEFAULT_GATEWAY_IP"
    ips:
    - ip: "USER_CONTROL_PLANE_NODE_IP"
      hostname: "cp-vm-1"
loadBalancer:
  vips:
    controlPlaneVIP: "USER_CONTROL_PLANE_VIP"
    ingressVIP: "USER_INGRESS_VIP"
  kind: "MetalLB"
  metalLB:
    addressPools:
    - name: "uc-address-pool"
      addresses:
      - "USER_INGRESS_VIP/32"
      - "SERVICE_VIP_1/32"
      - "SERVICE_VIP_2/32"
enableDataplaneV2: true
nodePools:
- name: "uc-node-pool"
  cpus: 4
  memoryMB: 8192
  replicas: 3
  enableLoadBalancer: true
antiAffinityGroups:
  enabled: false
gkeConnect:
  projectID: "PROJECT_ID"
  registerServiceAccountKeyPath: "CONNECT_REGISTER_SA_KEY"
stackdriver:
  projectID: "PROJECT_ID"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "LOG_MON_SA_KEY"
  disableVsphereResourceMetrics: false
autoRepair:
  enabled: true

驗證設定並建立叢集

1. 確認使用者叢集設定檔有效，且可用於建立叢集：

   gkectl check-config --kubeconfig kubeconfig --config user-cluster.yaml

2. 建立使用者叢集：

   gkectl create cluster --kubeconfig kubeconfig --config user-cluster.yaml

   叢集建立作業大約需要 30 分鐘。

找出使用者叢集 kubeconfig 檔案

gkectl create cluster 指令會在目前目錄中建立名為 USER_CLUSTER_NAME-kubeconfig 的 kubeconfig 檔案。稍後您需要這個 kubeconfig 檔案，才能與使用者叢集互動。

確認使用者叢集正在執行中

確認使用者叢集正在執行：

kubectl get nodes --kubeconfig USER_CLUSTER_KUBECONFIG

將 USER_CLUSTER_KUBECONFIG 替換為使用者叢集 kubeconfig 檔案的路徑。

輸出內容會顯示使用者叢集節點。例如：

cp-vm-1     Ready    control-plane,master
user-vm-1   Ready
user-vm-2   Ready
user-vm-3   Ready

啟用 RBAC 授權

如要為使用者帳戶授予叢集上的 Kubernetes clusterrole/cluster-admin 角色，請執行下列指令：

gcloud container fleet memberships generate-gateway-rbac \
  --membership=minimal-installation-user-cluster \
  --role=clusterrole/cluster-admin \
  --users=GOOGLE_ACCOUNT_EMAIL \
  --project=PROJECT_ID \
  --kubeconfig=USER_CLUSTER_KUBECONFIG \
  --context=minimal-installation-user-cluster \
  --apply

這個指令會輸出類似以下的結果，為方便閱讀，以下只列出部分內容：

Validating input arguments.
Specified Cluster Role is: clusterrole/cluster-admin
Generated RBAC policy is:
--------------------------------------------
...
Applying the generate RBAC policy to cluster with kubeconfig: kubeconfig, context: minimal-installation-admin-cluster
Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
Successfully applied the RBAC policy to cluster.

除了其他功能外，您還可以使用 RBAC 政策，透過 Google 身分登入Google Cloud 控制台中的叢集，查看更多叢集詳細資料。

自動註冊 GKE On-Prem API

由於專案已啟用 GKE On-Prem API，叢集會自動註冊 GKE On-Prem API。這樣一來，您就能透過控制台或 gcloud CLI 查看叢集詳細資料，以及管理叢集生命週期。舉例來說，您可以執行 gcloud 指令來取得使用者叢集的相關資訊。

控制台

1. 前往 Google Cloud 控制台的「建立 Google Distributed Cloud 叢集」頁面。

   前往「建立 Google Distributed Cloud 叢集」頁面

2. 選取要建立叢集的 Google Cloud 專案。 選取的專案也會做為機群主專案。這必須與管理員叢集註冊的專案相同。建立使用者叢集後，系統會自動向所選專案的機群註冊該叢集。

以下各節將引導您設定使用者叢集。

必要條件

1. 熟悉「必要條件」頁面上的資訊。

2. 按一下頁面底部的「下一步」。

叢集基本資訊

1. 在「Name」(名稱) 部分，輸入使用者叢集的名稱，例如 minimal-installation-user-cluster。

2. 在「管理員叢集」部分，選取「minimal-installation-admin-cluster」。

3. 在「GCP API Location」(GCP API 位置) 欄位中，選取「us-central1」。

4. 在「版本」中選取「1.32.300-gke.85」。

5. 您不需要開啟「授權」部分或「vCenter 設定」部分。

6. 點選「下一步」。

控制層

1. 在「控制層節點 IP」下方，輸入「閘道」的 DEFAULT_GATEWAY_IP。

2. 針對「Subnet mask」(子網路遮罩) 輸入 NETMASK。

3. 在「IP addresses」(IP 位址) 下方，為「IP address 1」(IP 位址 1) 輸入 USER_CONTROL_PLANE_NODE_IP。將「Hostname 1」(主機名稱 1) 留空。

4. 點選「下一步」。

網路

在本節中，您將指定叢集節點、Pod 和 Service 的 IP 位址。使用者叢集需要為每個節點提供一個 IP 位址，並為叢集升級、更新和自動修復期間所需的暫時節點提供額外 IP 位址。詳情請參閱「使用者叢集需要多少 IP 位址？」。

1. 在「工作站節點 IP」下方，確認已選取「IP 模式」的「靜態」。

2. 在「Gateway」(閘道) 中輸入 DEFAULT_GATEWAY_IP。

3. 針對「Subnet mask」(子網路遮罩) 輸入 NETMASK。

4. 在「IP 位址」下方輸入下列位址：

• USER_NODE_IP_1
• USER_NODE_IP_2
• USER_NODE_IP_3
• USER_NODE_IP_4

將「Hostname」欄位留空。

1. 在「Service CIDR」(服務 CIDR) 中輸入 10.96.0.0/20。在「Pod CIDR」中輸入 192.168.0.0/16。

2. 在「DNS Server 1」(DNS 伺服器 1) 中，輸入 DNS_SERVER_IP。

3. 在「NTP Server 1」中輸入 NTP_SERVER_IP。

4. 將「DNS 搜尋網域」留空。

5. 點選「下一步」。

負載平衡器

1. 在「Load balancer type」(負載平衡器類型) 中，選取「Bundled with MetalLB」(與 MetalLB 組合)。

2. 在「位址集區」下方，使用預設名稱。

3. 在「IP addresses」(IP 位址) 下方，針對「IP address range 1」(IP 位址範圍 1) 輸入 USER_INGRESS_VIP/32。

   按一下「新增 IP 位址範圍」。在「IP address range 1」(IP 位址範圍 1) 中，輸入 SERVICE_VIP_1/32

   按一下「新增 IP 位址範圍」。在「IP address range 2」(IP 位址範圍 2) 中，輸入 SERVICE_VIP_2/32

4. 在「IP 位址指派」中，選取「自動」。

5. 取消勾選「避免使用發生錯誤的 IP 位址」。

6. 在「虛擬 IP」下方，輸入「控制層 VIP」。 USER_CONTROL_PLANE_VIP。 系統已填入 Ingress VIP。

7. 按一下「繼續」。

功能

1. 保留所有預設值。

2. 點選「下一步」。

節點集區

1. 保留所有預設值。

2. 按一下「驗證並完成」，建立使用者叢集。建立使用者叢集需要 15 分鐘以上。主控台會顯示狀態訊息，同時驗證設定並在資料中心建立叢集。

   如果驗證設定時發生錯誤，控制台會顯示錯誤訊息，您應該能據此修正設定問題，然後再次嘗試建立叢集。

   如要進一步瞭解可能發生的錯誤和修正方法，請參閱「排解在 GKE On-Prem API 中註冊的叢集問題」。

Terraform

本節說明如何使用 Terraform 建立使用者叢集和節點集區。如需更多資訊和其他範例，請參閱下列資源：

• google_gkeonprem_vmware_cluster

• google_gkeonprem_vmware_node_pool

• terraform.tfvars.sample

1. 建立目錄，並在該目錄中建立新檔案。檔案名稱的副檔名必須為 .tf。在本指南中，這個檔案稱為 main.tf。

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf
   

2. 驗證使用者叢集 Terraform 資源：

   下列 Terraform 資源範例已填入您在上一節規劃表輸入的值。

   resource "google_gkeonprem_vmware_cluster" "cluster-basic" {
     name = "minimal-installation-user-cluster"
     project = "PROJECT_ID"
     location = "us-central1"
     admin_cluster_membership = "projects/PROJECT_ID/locations/global/memberships/minimal-installation-admin-cluster"
     description = "User cluster config with MetalLB, static IPs, and Controlplane V2"
     enable_control_plane_v2 = "true"
     on_prem_version = "1.32.300-gke.85"
     control_plane_node {
       cpus = 4
       memory = 8192
       replicas = 1
     }
     network_config {
       service_address_cidr_blocks = ["10.96.0.0/20"]
       pod_address_cidr_blocks = ["192.168.0.0/16"]
       host_config {
         dns_servers = ["DNS_SERVER_IP"]
         ntp_servers = ["NTP_SERVER_IP"]
       }
       static_ip_config {
         ip_blocks {
           netmask = "NETMASK"
           gateway = "DEFAULT_GATEWAY_IP"
           ips {
             ip = "USER_NODE_IP_1"
             hostname = "user-vm-1"
           }
           ips {
             ip = "USER_NODE_IP_2"
             hostname = "user-vm-2"
           }
           ips {
             ip = "USER_NODE_IP_3"
             hostname = "user-vm-3"
           }
           ips {
             ip = "USER_NODE_IP_4"
             hostname = "user-vm-4"
           }
         }
       }
       control_plane_v2_config {
         control_plane_ip_block {
           netmask = "NETMASK"
           gateway = "DEFAULT_GATEWAY_IP"
           ips {
             ip = "USER_CONTROL_PLANE_NODE_IP"
             hostname = "cp-vm-1"
           }
         }
       }
     }
     load_balancer {
       vip_config {
         control_plane_vip = "USER_CONTROL_PLANE_VIP"
         ingress_vip = "USER_INGRESS_VIP"
       }
       metal_lb_config {
         address_pools {
           pool = "uc-address-pool"
           manual_assign = "true"
           addresses = ["USER_INGRESS_VIP/32", "SERVICE_VIP_1/32", "SERVICE_VIP_2/32"]
         }
       }
     }
     authorization {
       admin_users {
       username = "GOOGLE_ACCOUNT_EMAIL"
     }
   }
     provider = google-beta
   }
   
   resource "google_gkeonprem_vmware_node_pool" "my-node-pool-1" {
     name = "uc-node-pool"
     project = "PROJECT_ID"
     vmware_cluster = "minimal-installation-user-cluster"
     location = "us-central1"
     config {
       replicas = 3
       image_type = "ubuntu_containerd"
       enable_load_balancer = "true"
     }
     depends_on = [
       google_gkeonprem_vmware_cluster.cluster-basic
     ]
     provider = google-beta
   }
   

3. 將 Terraform 資源複製到 main.tf，然後儲存檔案。

4. 初始化並建立 Terraform 方案：

   terraform init
   

   Terraform 會安裝任何需要的程式庫，例如 Google Cloud 供應商。

5. 檢查設定，並視需要進行變更：

   terraform plan
   

6. 套用 Terraform 方案，建立使用者叢集：

   terraform apply
   

   系統顯示提示訊息時，請輸入 yes。

   建立基本使用者叢集和節點集區大約需要 15 分鐘 (視網路而定)。

gcloud

建立叢集：

gcloud container vmware clusters create minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --admin-cluster-membership=projects/PROJECT_ID/locations/global/memberships/minimal-installation-admin-cluster \
  --location=us-central1 \
  --version=1.32.300-gke.85 \
  --admin-users=GOOGLE_ACCOUNT_EMAIL \
  --service-address-cidr-blocks=10.96.0.0/20 \
  --pod-address-cidr-blocks=192.168.0.0/16 \
  --metal-lb-config-address-pools='pool=uc-address-pool,avoid-buggy-ips=False,manual-assign=False,addresses=USER_INGRESS_VIP/32;SERVICE_VIP_1/32;SERVICE_VIP_2/32' \
  --control-plane-vip=USER_CONTROL_PLANE_VIP \
  --ingress-vip=USER_INGRESS_VIP \
  --static-ip-config-ip-blocks='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_NODE_IP_1;USER_NODE_IP_2;USER_NODE_IP_3;USER_NODE_IP_4' \
  --dns-servers=DNS_SERVER_IP \
  --ntp-servers=NTP_SERVER_IP \
  --enable-control-plane-v2 \
  --enable-dataplane-v2 \
  --control-plane-ip-block='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_CONTROL_PLANE_NODE_IP'

指令輸出內容如下所示：

Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1679543737105-5f7893fd5bae9-942b3f97-75e59179] to complete.

在範例輸出內容中，字串 operation-1679543737105-5f7893fd5bae9-942b3f97-75e59179 是長時間執行的作業的 OPERATION_ID。您可以使用下列指令查詢作業狀態：

gcloud container vmware operations describe OPERATION_ID \
  --project=PROJECT_ID \
  --location=us-central1

詳情請參閱 gcloud container vmware operations。

建立使用者叢集需要 15 分鐘以上的時間。您可以在Google Kubernetes Engine 叢集總覽頁面的控制台中查看叢集。

建立節點集區：

gcloud container vmware node-pools create  uc-node-pool \
  --cluster=minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --location=us-central1 \
  --image-type=ubuntu_containerd  \
  --boot-disk-size=40 \
  --cpus=4 \
  --memory=8192 \
  --replicas=3 \
  --enable-load-balancer