기본 클러스터 만들기

gkectl

이 절차를 시작하기 전에 앞에서 설명한 대로 관리자 워크스테이션에 SSH로 연결되어 있는지 확인하세요. 다음 명령어는 모두 관리자 워크스테이션에서 실행됩니다.

사용자 클러스터 IP 블록 파일 만들기

1. user-ipblock.yaml 파일을 만듭니다.

2. 다음 콘텐츠를 복사하여 user-ipblock.yaml에 붙여넣고 파일을 저장합니다.

   blocks:
     - netmask: "NETMASK"
       gateway: "DEFAULT_GATEWAY_IP"
       ips:
       - ip: "USER_NODE_IP_1"
         hostname: "user-vm-1"
       - ip: "USER_NODE_IP_2"
         hostname: "user-vm-2"
       - ip: "USER_NODE_IP_3"
         hostname: "user-vm-3"
       - ip: "USER_NODE_IP_4"
         hostname: "user-vm-4"
   

사용자 클러스터 구성 파일 만들기

1. user-ipblock.yaml과 같은 디렉터리에 user-cluster.yaml 파일을 만듭니다.

2. 다음 콘텐츠를 복사하여 user-cluster.yaml에 붙여넣고 파일을 저장합니다.

apiVersion: v1
kind: UserCluster
name: "minimal-installation-user-cluster"
gkeOnPremVersion: "1.30.0-gke.1930"
enableControlplaneV2: true
network:
  hostConfig:
    dnsServers:
    - "DNS_SERVER_IP"
    ntpServers:
    - "NTP_SERVER_IP"
  ipMode:
    type: "static"
    ipBlockFilePath: "user-ipblock.yaml"
  serviceCIDR: "10.96.0.0/20"
  podCIDR: "192.168.0.0/16"
  controlPlaneIPBlock:
    netmask: "NETMASK"
    gateway: "DEFAULT_GATEWAY_IP"
    ips:
    - ip: "USER_CONTROL_PLANE_NODE_IP"
      hostname: "cp-vm-1"
loadBalancer:
  vips:
    controlPlaneVIP: "USER_CONTROL_PLANE_VIP"
    ingressVIP: "USER_INGRESS_VIP"
  kind: "MetalLB"
  metalLB:
    addressPools:
    - name: "uc-address-pool"
      addresses:
      - "USER_INGRESS_VIP/32"
      - "SERVICE_VIP_1/32"
      - "SERVICE_VIP_2/32"
enableDataplaneV2: true
nodePools:
- name: "uc-node-pool"
  cpus: 4
  memoryMB: 8192
  replicas: 3
  enableLoadBalancer: true
antiAffinityGroups:
  enabled: false
gkeConnect:
  projectID: "PROJECT_ID"
  registerServiceAccountKeyPath: "CONNECT_REGISTER_SA_KEY"
stackdriver:
  projectID: "PROJECT_ID"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "LOG_MON_SA_KEY"
  disableVsphereResourceMetrics: false
autoRepair:
  enabled: true

구성 확인 및 클러스터 만들기

1. 사용자 클러스터 구성 파일이 유효하고 클러스터 생성에 사용될 수 있는지 확인합니다.

   gkectl check-config --kubeconfig kubeconfig --config user-cluster.yaml

2. 사용자 클러스터 만들기:

   gkectl create cluster --kubeconfig kubeconfig --config user-cluster.yaml

   클러스터를 만드는 데 약 30분 정도 걸립니다.

사용자 클러스터 kubeconfig 파일 찾기

gkectl create cluster 명령어는 현재 디렉터리에 USER_CLUSTER_NAME-kubeconfig라는 kubeconfig 파일을 만듭니다. 나중에 사용자 클러스터와 상호 작용하려면 이 kubeconfig 파일이 필요합니다.

사용자 클러스터 실행 여부 확인

사용자 클러스터 실행 여부 확인:

kubectl get nodes --kubeconfig USER_CLUSTER_KUBECONFIG

USER_CLUSTER_KUBECONFIG를 사용자 클러스터 kubeconfig 파일 경로로 바꿉니다.

출력에 사용자 클러스터 노드가 표시됩니다. 예를 들면 다음과 같습니다.

cp-vm-1     Ready    control-plane,master
user-vm-1   Ready
user-vm-2   Ready
user-vm-3   Ready

RBAC 승인 사용 설정

클러스터에서 사용자 계정에 Kubernetes clusterrole/cluster-admin 역할을 부여하려면 다음 명령어를 실행합니다.

gcloud container fleet memberships generate-gateway-rbac \
  --membership=minimal-installation-user-cluster \
  --role=clusterrole/cluster-admin \
  --users=GOOGLE_ACCOUNT_EMAIL \
  --project=PROJECT_ID \
  --kubeconfig=USER_CLUSTER_KUBECONFIG \
  --context=minimal-installation-user-cluster \
  --apply

이 명령어의 출력은 가독성을 위해 잘려서 표시된 다음과 비슷합니다.

Validating input arguments.
Specified Cluster Role is: clusterrole/cluster-admin
Generated RBAC policy is:
--------------------------------------------
...
Applying the generate RBAC policy to cluster with kubeconfig: kubeconfig, context: minimal-installation-admin-cluster
Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
Successfully applied the RBAC policy to cluster.

무엇보다도 RBAC 정책을 사용하면 Google ID를 사용하여 Google Cloud 콘솔에서 클러스터에 로그인하여 더 많은 클러스터 세부정보를 볼 수 있습니다.

GKE On-Prem API에 자동 등록

GKE On-Prem API가 프로젝트에 사용 설정되었으므로 클러스터가 GKE On-Prem API에 자동으로 등록됩니다. 이렇게 하면 콘솔이나 gcloud CLI를 사용하여 클러스터 세부정보를 보고 클러스터 수명 주기를 관리할 수 있습니다. 예를 들어 gcloud 명령어를 실행하여 사용자 클러스터에 대한 정보를 가져올 수 있습니다.

콘솔

1. Google Cloud 콘솔에서 Google Distributed Cloud 클러스터 만들기 페이지로 이동합니다.

   Google Distributed Cloud 클러스터 만들기로 이동

2. 클러스터를 만들 Google Cloud 프로젝트를 선택합니다. 선택한 프로젝트는 Fleet 호스트 프로젝트로도 사용됩니다. 이 프로젝트는 관리자 클러스터가 등록된 프로젝트와 같아야 합니다. 사용자 클러스터가 생성되면 선택한 프로젝트의 Fleet에 자동으로 등록됩니다.

다음 섹션에서는 사용자 클러스터를 구성하는 방법을 안내합니다.

기본 요건

1. 기본 요건 페이지의 정보를 숙지합니다.

2. 페이지 하단에서 다음을 클릭합니다.

클러스터 기본사항

1. 이름에 사용자 클러스터 이름을 입력합니다(예: minimal-installation-user-cluster).

2. 관리자 클러스터에 minimal-installation-admin-cluster를 선택합니다.

3. GCP API 위치 필드에서 us-central1을 선택합니다.

4. 버전에서 1.30.0-gke.1930을 선택합니다.

5. 승인 섹션이나 vCenter 구성 섹션을 열 필요는 없습니다.

6. 다음을 클릭합니다.

제어 영역

1. 컨트롤 플레인 노드 IP에서 게이트웨이에 DEFAULT_GATEWAY_IP를 입력합니다.

2. 서브넷 마스크에 NETMASK를 입력합니다.

3. IP 주소에서 IP 주소 1에 USER_CONTROL_PLANE_NODE_IP를 입력합니다. 호스트 이름 1을 비워 둡니다.

4. 다음을 클릭합니다.

네트워킹

이 섹션에서는 클러스터의 노드, 포드, 서비스의 IP 주소를 지정합니다. 사용자 클러스터에는 노드마다 IP 주소 하나가 있어야 하고 클러스터 업그레이드, 업데이트, 자동 복구 중에 필요한 임시 노드용 추가 IP 주소가 있어야 합니다. 자세한 내용은 사용자 클러스터에 필요한 IP 주소 수를 참조하세요.

1. 워커 노드 IP에서 IP 모드에 고정이 선택되어 있는지 확인합니다.

2. 게이트웨이에 DEFAULT_GATEWAY_IP를 입력합니다.

3. 서브넷 마스크에 NETMASK를 입력합니다.

4. IP 주소에서 다음 주소를 입력합니다.

• USER_NODE_IP_1
• USER_NODE_IP_2
• USER_NODE_IP_3
• USER_NODE_IP_4

호스트 이름 필드를 비워둡니다.

1. 서비스 CIDR에 10.96.0.0/20을 입력합니다. 포드 CIDR에 192.168.0.0/16을 입력합니다.

2. DNS 서버 1에 DNS_SERVER_IP를 입력합니다.

3. NTP 서버 1에 NTP_SERVER_IP를 입력합니다.

4. DNS 검색 도메인을 비워둡니다.

5. 다음을 클릭합니다.

부하 분산기

1. 부하 분산기 유형에 MetalLB와 함께 번들로 제공을 선택합니다.

2. 주소 풀에서 기본 이름을 사용합니다.

3. IP 주소에서 IP 주소 범위 1에 USER_INGRESS_VIP/32를 입력합니다.

   IP 주소 범위 추가를 클릭합니다. IP 주소 범위 1에 SERVICE_VIP_1/32를 입력합니다.

   IP 주소 범위 추가를 클릭합니다. IP 주소 범위 2에 SERVICE_VIP_2/32를 입력합니다.

4. IP 주소 할당에 자동을 선택합니다.

5. 버그가 있는 IP 주소 방지를 선택 해제한 채로 둡니다.

6. 가상 IP에서 컨트롤 플레인 VIP에 USER_CONTROL_PLANE_VIP를 입력합니다. 인그레스 VIP는 이미 입력되어 있습니다.

7. 계속을 클릭합니다.

기능

1. 모든 기본값을 그대로 둡니다.

2. 다음을 클릭합니다.

노드 풀

1. 모든 기본값을 그대로 둡니다.

2. 확인 및 완료를 클릭하여 사용자 클러스터를 만듭니다. 사용자 클러스터를 만드는 데 15분 이상 걸립니다. 콘솔은 설정을 확인하고 데이터 센터에 클러스터를 만들 때 상태 메시지를 표시합니다.

   설정 확인 중에 오류가 발생하면 콘솔에 오류 메시지가 표시됩니다. 오류 메시지는 구성 문제를 해결하고 클러스터를 만들려고 시도할 수 있도록 아주 명확해야 합니다.

   발생 가능한 오류와 해결 방법에 대한 자세한 내용은 GKE On-Prem API에 등록된 클러스터 문제 해결을 참조하세요.

Terraform

이 섹션에서는 Terraform을 사용하여 사용자 클러스터와 노드 풀을 만드는 방법을 보여줍니다. 자세한 정보 및 기타 예시는 다음을 참조하세요.

• google_gkeonprem_vmware_cluster

• google_gkeonprem_vmware_node_pool

• terraform.tfvars.sample

1. 디렉터리를 만들고 해당 디렉터리 내에 새 파일을 만듭니다. 파일 이름에 .tf 확장자가 있어야 합니다. 이 가이드에서는 파일을 main.tf로 지정합니다.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf
   

2. 사용자 클러스터 Terraform 리소스를 확인합니다.

   다음 Terraform 리소스 예시는 이전 섹션에서 계획 테이블에 입력한 값으로 채워집니다.

   resource "google_gkeonprem_vmware_cluster" "cluster-basic" {
     name = "minimal-installation-user-cluster"
     project = "PROJECT_ID"
     location = "us-central1"
     admin_cluster_membership = "projects/PROJECT_ID/locations/global/memberships/minimal-installation-admin-cluster"
     description = "User cluster config with MetalLB, static IPs, and Controlplane V2"
     enable_control_plane_v2 = "true"
     on_prem_version = "1.30.0-gke.1930"
     control_plane_node {
       cpus = 4
       memory = 8192
       replicas = 1
     }
     network_config {
       service_address_cidr_blocks = ["10.96.0.0/20"]
       pod_address_cidr_blocks = ["192.168.0.0/16"]
       host_config {
         dns_servers = ["DNS_SERVER_IP"]
         ntp_servers = ["NTP_SERVER_IP"]
       }
       static_ip_config {
         ip_blocks {
           netmask = "NETMASK"
           gateway = "DEFAULT_GATEWAY_IP"
           ips {
             ip = "USER_NODE_IP_1"
             hostname = "user-vm-1"
           }
           ips {
             ip = "USER_NODE_IP_2"
             hostname = "user-vm-2"
           }
           ips {
             ip = "USER_NODE_IP_3"
             hostname = "user-vm-3"
           }
           ips {
             ip = "USER_NODE_IP_4"
             hostname = "user-vm-4"
           }
         }
       }
       control_plane_v2_config {
         control_plane_ip_block {
           netmask = "NETMASK"
           gateway = "DEFAULT_GATEWAY_IP"
           ips {
             ip = "USER_CONTROL_PLANE_NODE_IP"
             hostname = "cp-vm-1"
           }
         }
       }
     }
     load_balancer {
       vip_config {
         control_plane_vip = "USER_CONTROL_PLANE_VIP"
         ingress_vip = "USER_INGRESS_VIP"
       }
       metal_lb_config {
         address_pools {
           pool = "uc-address-pool"
           manual_assign = "true"
           addresses = ["USER_INGRESS_VIP/32", "SERVICE_VIP_1/32", "SERVICE_VIP_2/32"]
         }
       }
     }
     authorization {
       admin_users {
       username = "GOOGLE_ACCOUNT_EMAIL"
     }
   }
     provider = google-beta
   }
   
   resource "google_gkeonprem_vmware_node_pool" "my-node-pool-1" {
     name = "uc-node-pool"
     project = "PROJECT_ID"
     vmware_cluster = "minimal-installation-user-cluster"
     location = "us-central1"
     config {
       replicas = 3
       image_type = "ubuntu_containerd"
       enable_load_balancer = "true"
     }
     depends_on = [
       google_gkeonprem_vmware_cluster.cluster-basic
     ]
     provider = google-beta
   }
   

3. Terraform 리소스를 main.tf에 복사하고 파일을 저장합니다.

4. Terraform 계획을 초기화하고 만듭니다.

   terraform init
   

   Terraform은 Google Cloud 제공업체와 같은 필요한 라이브러리를 설치합니다.

5. 구성을 검토하고 필요한 경우 변경합니다.

   terraform plan
   

6. Terraform 계획을 적용하여 사용자 클러스터를 만듭니다.

   terraform apply
   

   메시지가 표시되면 yes를 입력합니다.

   기본 사용자 클러스터와 노드 풀을 만드는 데 약 15분 정도(또는 네트워크에 따라 그 이상) 소요됩니다.

gcloud

클러스터를 만듭니다.

gcloud container vmware clusters create minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --admin-cluster-membership=projects/PROJECT_ID/locations/global/memberships/minimal-installation-admin-cluster \
  --location=us-central1 \
  --version=1.30.0-gke.1930 \
  --admin-users=GOOGLE_ACCOUNT_EMAIL \
  --service-address-cidr-blocks=10.96.0.0/20 \
  --pod-address-cidr-blocks=192.168.0.0/16 \
  --metal-lb-config-address-pools='pool=uc-address-pool,avoid-buggy-ips=False,manual-assign=False,addresses=USER_INGRESS_VIP/32;SERVICE_VIP_1/32;SERVICE_VIP_2/32' \
  --control-plane-vip=USER_CONTROL_PLANE_VIP \
  --ingress-vip=USER_INGRESS_VIP \
  --static-ip-config-ip-blocks='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_NODE_IP_1;USER_NODE_IP_2;USER_NODE_IP_3;USER_NODE_IP_4' \
  --dns-servers=DNS_SERVER_IP \
  --ntp-servers=NTP_SERVER_IP \
  --enable-control-plane-v2 \
  --enable-dataplane-v2 \
  --control-plane-ip-block='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_CONTROL_PLANE_NODE_IP'

명령어 출력은 다음과 비슷합니다.

Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1679543737105-5f7893fd5bae9-942b3f97-75e59179] to complete.

예시 출력에서 operation-1679543737105-5f7893fd5bae9-942b3f97-75e59179 문자열은 장기 실행 작업의 OPERATION_ID입니다. 다음 명령어를 실행하여 작업 상태를 확인할 수 있습니다.

gcloud container vmware operations describe OPERATION_ID \
  --project=PROJECT_ID \
  --location=us-central1

자세한 내용은 gcloud container vmware operations를 참조하세요.

사용자 클러스터를 만드는 데 15분 이상 걸립니다. Google Kubernetes Engine 클러스터 개요 페이지의 콘솔에서 클러스터를 볼 수 있습니다.

노드 풀 만들기:

gcloud container vmware node-pools create  uc-node-pool \
  --cluster=minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --location=us-central1 \
  --image-type=ubuntu_containerd  \
  --boot-disk-size=40 \
  --cpus=4 \
  --memory=8192 \
  --replicas=3 \
  --enable-load-balancer