Membuat cluster dasar

Ini adalah bagian kedua dari panduan yang akan memandu Anda melakukan penginstalan kecil bukti konsep Google Distributed Cloud. Bagian pertama adalah Menyiapkan infrastruktur minimal, yang menunjukkan cara merencanakan alamat IP serta menyiapkan infrastruktur vSphere dan Google Cloud yang diperlukan untuk deployment Anda. Dokumen ini dibuat berdasarkan penyiapan dan perencanaan yang Anda lakukan di bagian sebelumnya, serta menunjukkan cara membuat workstation admin, cluster admin, dan cluster pengguna di lingkungan vSphere Anda, menggunakan template sederhana yang dapat Anda isi di sini dalam dokumen ini. Selanjutnya, Anda dapat melanjutkan ke men-deploy aplikasi.

Seperti penyiapan infrastruktur dari penginstalan sederhana ini, cluster yang Anda siapkan menggunakan dokumen ini mungkin tidak sesuai untuk kebutuhan produksi dan kasus penggunaan Anda yang sebenarnya. Untuk informasi lebih lanjut, praktik terbaik, dan petunjuk penginstalan produksi, lihat panduan penginstalan.

Sebelum memulai

1. Pastikan Anda telah menyiapkan lingkungan vSphere dan Google Cloud seperti yang dijelaskan dalam artikel Menyiapkan infrastruktur minimal.

2. Jika ingin menggunakan Terraform untuk membuat cluster pengguna, Anda memerlukan Terraform di workstation admin atau komputer lain.

Ringkasan prosedur

Berikut adalah langkah-langkah utama yang diperlukan dalam penyiapan ini:

1. Login ke Google Cloud CLI dengan akun yang memiliki izin yang diperlukan untuk membuat akun layanan.

2. Kumpulkan informasi yang Anda perlukan untuk mengonfigurasi Google Distributed Cloud, termasuk nama pengguna dan sandi vCenter, serta alamat IP yang Anda siapkan di bagian sebelumnya.

3. Buat workstation admin yang memiliki resource dan alat yang Anda perlukan untuk membuat admin dan cluster pengguna, termasuk akun layanan tambahan yang Anda perlukan untuk menyelesaikan penyiapan.

4. Buat cluster admin untuk mengelola dan memperbarui cluster pengguna Anda.

5. Buat cluster pengguna untuk menjalankan workload Anda.

1. Login ke Google Cloud CLI

Penyiapan Google Distributed Cloud memerlukan beberapa akun layanan dengan izin yang berbeda-beda. Jadi, Anda harus login ke Google Cloud CLI dengan akun yang memiliki izin yang diperlukan untuk membuat dan mengonfigurasi akun layanan, karena gkeadm menggunakan properti account gcloud CLI Anda saat ini saat melakukan penyiapan ini.

1. Login ke gcloud CLI. Anda dapat menggunakan Akun Google apa pun, tetapi akun tersebut harus memiliki izin yang diperlukan. Jika telah mengikuti bagian sebelumnya dalam panduan ini, Anda mungkin sudah login dengan akun yang sesuai untuk membuat akun layanan akses komponen.

   gcloud auth login
   

2. Pastikan properti account gcloud CLI Anda ditetapkan dengan benar:

   gcloud config list
   

   Output menunjukkan nilai properti account SDK Anda. Contoh:

   [core]
   account = my-name@google.com
   disable_usage_reporting = False
   Your active configuration is: [default]
   

3. Pastikan Anda telah menginstal komponen gcloud CLI terbaru:

   gcloud components update
   

   Bergantung pada cara Anda menginstal gcloud CLI, Anda mungkin melihat pesan berikut: "Anda tidak dapat melakukan tindakan ini karena pengelola komponen Google Cloud CLI dinonaktifkan untuk penginstalan ini. Anda dapat menjalankan perintah berikut guna mendapatkan hasil yang sama untuk penginstalan ini:" Ikuti petunjuk untuk menyalin dan menempelkan perintah guna mengupdate komponen.

2. Mengumpulkan informasi

Gunakan informasi yang telah Anda siapkan di bagian Menyiapkan infrastruktur minimal untuk mengedit placeholder di tabel berikut:

3. Membuat workstation admin

Agar dapat membuat cluster, Anda perlu membuat workstation admin, lalu menghubungkannya menggunakan SSH. Workstation admin adalah VM mandiri dengan alat dan resource yang diperlukan untuk membuat cluster GKE Enterprise di lingkungan vSphere Anda. Anda menggunakan alat command line gkeadm untuk membuat workstation admin.

Download gkeadm

Download gkeadm ke direktori Anda saat ini:

gsutil cp gs://gke-on-prem-release/gkeadm/1.29.100-gke.248/linux/gkeadm ./
chmod +x gkeadm

Anda memerlukan versi gkeadm (yang juga merupakan versi Google Distributed Cloud) untuk membuat file konfigurasi cluster pengguna dan admin. Untuk memeriksa versi gkeadm, jalankan perintah berikut:

./gkeadm version

Contoh output berikut menunjukkan versi.

gkeadm 1.29.0 (1.29.100-gke.248)

Meskipun Anda dapat mendownload gkeadm versi lain, panduan ini mengasumsikan bahwa Anda menginstal 1.29.100-gke.248, dan menggunakan versi tersebut di semua perintah dan file konfigurasi.

Membuat file kredensial

Buat dan simpan file bernama credential.yaml di direktori Anda saat ini dengan konten berikut:

apiVersion: v1
kind: CredentialFile
items:
- name: vCenter
  username: "USERNAME"
  password: "PASSWORD"

Membuat file konfigurasi workstation admin

Buat dan simpan file bernama admin-ws-config.yaml, sekali lagi di direktori saat ini, dengan konten berikut:

gcp:
  componentAccessServiceAccountKeyPath: "COMPONENT_ACCESS_SA_KEY_PATH"
vCenter:
  credentials:
    address: "ADDRESS"
    fileRef:
      path: "credential.yaml"
      entry: "vCenter"
  datacenter: "DATA_CENTER"
  datastore: "DATASTORE"
  cluster: "VSPHERE_CLUSTER"
  network: "NETWORK"
  resourcePool: "RESOURCE_POOL"
  caCertPath: "CA_CERT_PATH"
proxyUrl: ""
adminWorkstation:
  name: "minimal-installation-admin-workstation"
  cpus: 4
  memoryMB: 8192
  diskGB: 50
  dataDiskName: gke-on-prem-admin-workstation-data-disk/minimal-installation-data-disk.vmdk
  dataDiskMB: 512
  network:
    ipAllocationMode: "static"
    hostConfig:
      ip: "ADMIN_WS_IP"
      gateway: "DEFAULT_GATEWAY_IP"
      netmask: "NETMASK"
      dns:
      - "DNS_SERVER_IP"
  proxyUrl: ""
  ntpServer: ntp.ubuntu.com

Membuat workstation admin Anda

Buat workstation admin Anda menggunakan perintah berikut:

./gkeadm create admin-workstation --auto-create-service-accounts

Menjalankan perintah ini:

• Membuat workstation admin Anda
• Membuat akun layanan tambahan secara otomatis yang diperlukan untuk penginstalan Anda
• Membuat file konfigurasi template untuk admin dan cluster pengguna Anda

Output-nya memberikan informasi mendetail tentang pembuatan workstation admin Anda dan memberikan perintah yang dapat digunakan untuk mendapatkan koneksi SSH ke workstation admin Anda. Contoh:

...
Admin workstation is ready to use.
Admin workstation information saved to /usr/local/google/home/me/my-admin-workstation
This file is required for future upgrades
SSH into the admin workstation with the following command:
ssh -i /usr/local/google/home/me/.ssh/gke-admin-workstation ubuntu@172.16.20.49
********************************************************************

Pada output sebelumnya, alamat IP adalah contohnya. Alamat IP workstation admin Anda akan berbeda. Catat alamat IP workstation admin Anda. Anda akan membutuhkannya di langkah berikutnya.

Untuk mengetahui informasi lebih mendetail tentang cara membuat workstation admin, lihat Membuat workstation admin.

Menghubungkan ke workstation admin

Gunakan perintah yang ditampilkan dalam output sebelumnya untuk mendapatkan koneksi SSH ke workstation admin Anda. Contoh:

ssh -i /usr/local/google/home/me/.ssh/gke-admin-workstation ubuntu@172.16.20.49

Jika Anda perlu menemukan perintah ini lagi, gkeadm akan menghasilkan file bernama gke-admin-ws-... di direktori di komputer lokal tempat Anda menjalankan gkeadm create admin-workstation. Ini berisi detail tentang workstation admin Anda, termasuk perintah SSH.

Di workstation admin, masukkan exit untuk menghentikan koneksi SSH dan kembali ke komputer lokal Anda.

Salin kunci logging audit ke workstation admin Anda

Di bagian sebelumnya, Anda telah membuat file kunci JSON untuk akun layanan logging audit.

Salin file kunci JSON ke direktori utama di workstation admin Anda. Misalnya, di komputer lokal Anda:

scp -i /usr/local/google/home/me/.ssh/gke-admin-workstation audit-logging-key.json ubuntu@172.16.20.49:~

Melihat file di workstation admin

Sekali lagi, dapatkan koneksi SSH ke workstation admin Anda.

Di workstation admin, cantumkan file dalam direktori utama:

ls -1

Output harus mencakup:

• admin-cluster.yaml, file konfigurasi template untuk membuat cluster admin.
• user-cluster.yaml, file konfigurasi template untuk membuat cluster pengguna.
• File sertifikat vCenter yang Anda tentukan di konfigurasi workstation admin
• File credential.yaml yang Anda tentukan di konfigurasi workstation admin.
• File kunci JSON untuk akun layanan logging audit Anda.
• File kunci JSON untuk dua akun layanan yang dibuat oleh gkeadm untuk Anda: akun layanan pendaftaran koneksi dan akun layanan pemantauan logging, serta file kunci untuk akun layanan akses komponen yang Anda buat sebelumnya.

Contoh:

admin-cluster.yaml
admin-ws-config.yaml
audit-logging-key.json
sa-key.json
connect-register-sa-2203040617.json
credential.yaml
log-mon-sa-2203040617.json
logs
vc01-cert.pem
user-cluster.yaml

Anda harus menentukan beberapa nama file ini dalam file konfigurasi untuk membuat cluster. Gunakan nama file sebagai nilai untuk {i>placeholder<i} dalam tabel berikut:

4. Membuat cluster admin

Setelah Anda memiliki workstation admin yang dikonfigurasi dengan vCenter dan detail lainnya, Anda dapat menggunakannya untuk membuat cluster admin di lingkungan vSphere. Pastikan Anda memiliki koneksi SSH ke workstation admin, seperti yang dijelaskan sebelumnya, sebelum memulai langkah ini. Semua perintah berikut dijalankan di workstation admin.

Membuat file konfigurasi cluster admin

Buka admin-cluster.yaml dan ganti konten dengan yang berikut ini:

apiVersion: v1
kind: AdminCluster
name: "minimal-installation-admin-cluster"
bundlePath: "/var/lib/gke/bundles/gke-onprem-vsphere-1.29.100-gke.248-full.tgz"
vCenter:
  address: "ADDRESS"
  datacenter: "DATA_CENTER"
  cluster: "VSPHERE_CLUSTER"
  resourcePool: "RESOURCE_POOL"
  datastore: "DATASTORE"
  caCertPath: "CA_CERT_FILE"
  credentials:
    fileRef:
      path: "credential.yaml"
      entry: "vCenter"
network:
  hostConfig:
    dnsServers:
    - "DNS_SERVER_IP"
    ntpServers:
    - "NTP_SERVER_IP"
  serviceCIDR: "10.96.232.0/24"
  podCIDR: "192.168.0.0/16"
  vCenter:
    networkName: "NETWORK"
  controlPlaneIPBlock:
    netmask: "NETMASK"
    gateway: "DEFAULT_GATEWAY_IP"
    ips:
    - ip: "ADMIN_CONTROL_PLANE_NODE_IP_1"
      hostname: "admin-cp-vm-1"
    - ip: "ADMIN_CONTROL_PLANE_NODE_IP_2"
      hostname: "admin-cp-vm-2"
    - ip: "ADMIN_CONTROL_PLANE_NODE_IP_3"
      hostname: "admin-cp-vm-3"
loadBalancer:
  vips:
    controlPlaneVIP: "ADMIN_CONTROL_PLANE_VIP"
  kind: "MetalLB"
adminMaster:
  cpus: 4
  memoryMB: 16384
  replicas: 3
antiAffinityGroups:
  enabled: false
componentAccessServiceAccountKeyPath: "COMPONENT_ACCESS_SA_KEY"
gkeConnect:
  projectID: "PROJECT_ID"
  registerServiceAccountKeyPath: "CONNECT_REGISTER_SA_KEY"
stackdriver:
  projectID: "PROJECT_ID"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "LOG_MON_SA_KEY"
  disableVsphereResourceMetrics: false
cloudAuditLogging:
  projectID: "PROJECT_ID"
  clusterLocation: us-central1
  serviceAccountKeyPath: "AUDIT_LOG_SA_KEY"

Memvalidasi file konfigurasi cluster admin

Pastikan file konfigurasi cluster admin Anda valid dan dapat digunakan untuk membuat cluster:

gkectl check-config --config admin-cluster.yaml

Mengimpor OS image ke vSphere

Jalankan gkectl prepare dengan file konfigurasi yang telah Anda selesaikan untuk mengimpor node OS image ke vSphere:

gkectl prepare --config admin-cluster.yaml --skip-validation-all

Dengan menjalankan perintah ini, image akan diimpor ke vSphere dan menandainya sebagai template VM, termasuk image untuk cluster admin Anda.

Perintah ini dapat memerlukan waktu beberapa menit untuk ditampilkan.

Membuat cluster admin

Buat cluster admin:

gkectl create admin --config admin-cluster.yaml

Lanjutkan pembuatan cluster admin setelah terjadi kegagalan

Jika pembuatan cluster admin gagal atau dibatalkan, Anda dapat menjalankan perintah create lagi:

gkectl create admin --config admin-cluster.yaml

Menemukan file kubeconfig cluster admin

Perintah gkectl create admin membuat file kubeconfig bernama kubeconfig di direktori saat ini. Anda akan memerlukan file kubeconfig ini nanti untuk berinteraksi dengan cluster admin.

Memastikan cluster admin Anda berjalan

Pastikan cluster admin Anda berjalan:

kubectl get nodes --kubeconfig kubeconfig

Output menunjukkan node cluster admin. Contoh:

admin-cp-vm-1   Ready    control-plane,master ...
admin-cp-vm-2   Ready    control-plane,master ...
admin-cp-vm-3   Ready    control-plane,master ...

Aktifkan otorisasi RBAC

Untuk memberi akun pengguna Anda peran clusterrole/cluster-admin Kubernetes di cluster, jalankan perintah berikut:

gcloud container fleet memberships generate-gateway-rbac \
    --membership=minimal-installation-admin-cluster \
    --role=clusterrole/cluster-admin \
    --users=GOOGLE_ACCOUNT_EMAIL \
    --project=PROJECT_ID \
    --kubeconfig=kubeconfig \
    --context=minimal-installation-admin-cluster \
    --apply

Output perintah ini mirip dengan berikut, yang dipotong agar dapat dibaca:

Validating input arguments.
Specified Cluster Role is: clusterrole/cluster-admin
Generated RBAC policy is:
--------------------------------------------
...
Applying the generate RBAC policy to cluster with kubeconfig: kubeconfig, context: minimal-installation-admin-cluster
Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
Successfully applied the RBAC policy to cluster.

Di antara hal lainnya, kebijakan RBAC memungkinkan Anda login ke cluster di Konsol Google Cloud menggunakan Google Identity untuk melihat detail cluster selengkapnya.

Pendaftaran otomatis di GKE On-Prem API

Karena GKE On-Prem API diaktifkan di project Anda, cluster akan otomatis didaftarkan di GKE On-Prem API. Dengan mendaftarkan cluster admin di GKE On-Prem API, Anda dapat menggunakan alat standar—Konsol Google Cloud, Google Cloud CLI, atau Terraform—untuk membuat, mengupgrade, memperbarui, dan menghapus cluster pengguna yang dikelola oleh cluster admin. Dengan mendaftarkan cluster, Anda juga dapat menjalankan perintah gcloud untuk mendapatkan informasi tentang cluster Anda.

5. Membuat cluster pengguna

Bagian ini menjelaskan langkah-langkah untuk membuat cluster pengguna menggunakan console, gkectl, Terraform, atau gcloud CLI.

apiVersion: v1
kind: UserCluster
name: "minimal-installation-user-cluster"
gkeOnPremVersion: "1.29.100-gke.248"
enableControlplaneV2: true
network:
  hostConfig:
    dnsServers:
    - "DNS_SERVER_IP"
    ntpServers:
    - "NTP_SERVER_IP"
  ipMode:
    type: "static"
    ipBlockFilePath: "user-ipblock.yaml"
  serviceCIDR: "10.96.0.0/20"
  podCIDR: "192.168.0.0/16"
  controlPlaneIPBlock:
    netmask: "NETMASK"
    gateway: "DEFAULT_GATEWAY_IP"
    ips:
    - ip: "USER_CONTROL_PLANE_NODE_IP"
      hostname: "cp-vm-1"
loadBalancer:
  vips:
    controlPlaneVIP: "USER_CONTROL_PLANE_VIP"
    ingressVIP: "USER_INGRESS_VIP"
  kind: "MetalLB"
  metalLB:
    addressPools:
    - name: "uc-address-pool"
      addresses:
      - "USER_INGRESS_VIP/32"
      - "SERVICE_VIP_1/32"
      - "SERVICE_VIP_2/32"
enableDataplaneV2: true
nodePools:
- name: "uc-node-pool"
  cpus: 4
  memoryMB: 8192
  replicas: 3
  enableLoadBalancer: true
antiAffinityGroups:
  enabled: false
gkeConnect:
  projectID: "PROJECT_ID"
  registerServiceAccountKeyPath: "CONNECT_REGISTER_SA_KEY"
stackdriver:
  projectID: "PROJECT_ID"
  clusterLocation: "us-central1"
  enableVPC: false
  serviceAccountKeyPath: "LOG_MON_SA_KEY"
  disableVsphereResourceMetrics: false
autoRepair:
  enabled: true

kubectl get nodes --kubeconfig USER_CLUSTER_KUBECONFIG

cp-vm-1     Ready    control-plane,master
user-vm-1   Ready
user-vm-2   Ready
user-vm-3   Ready

gcloud container fleet memberships generate-gateway-rbac \
  --membership=minimal-installation-user-cluster \
  --role=clusterrole/cluster-admin \
  --users=GOOGLE_ACCOUNT_EMAIL \
  --project=PROJECT_ID \
  --kubeconfig=USER_CLUSTER_KUBECONFIG \
  --context=minimal-installation-user-cluster \
  --apply

Validating input arguments.
Specified Cluster Role is: clusterrole/cluster-admin
Generated RBAC policy is:
--------------------------------------------
...
Applying the generate RBAC policy to cluster with kubeconfig: kubeconfig, context: minimal-installation-admin-cluster
Writing RBAC policy for user: GOOGLE_ACCOUNT_EMAIL to cluster.
Successfully applied the RBAC policy to cluster.

gcloud container vmware clusters create minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --admin-cluster-membership=projects/PROJECT_ID/locations/global/memberships/minimal-installation-admin-cluster \
  --location=us-central1 \
  --version=1.29.100-gke.248 \
  --admin-users=GOOGLE_ACCOUNT_EMAIL \
  --service-address-cidr-blocks=10.96.0.0/20 \
  --pod-address-cidr-blocks=192.168.0.0/16 \
  --metal-lb-config-address-pools='pool=uc-address-pool,avoid-buggy-ips=False,manual-assign=False,addresses=USER_INGRESS_VIP/32;SERVICE_VIP_1/32;SERVICE_VIP_2/32' \
  --control-plane-vip=USER_CONTROL_PLANE_VIP \
  --ingress-vip=USER_INGRESS_VIP \
  --static-ip-config-ip-blocks='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_NODE_IP_1;USER_NODE_IP_2;USER_NODE_IP_3;USER_NODE_IP_4' \
  --dns-servers=DNS_SERVER_IP \
  --ntp-servers=NTP_SERVER_IP \
  --enable-control-plane-v2 \
  --enable-dataplane-v2 \
  --control-plane-ip-block='gateway=DEFAULT_GATEWAY_IP,netmask=NETMASK,ips=USER_CONTROL_PLANE_NODE_IP'

Waiting for operation [projects/example-project-12345/locations/us-central1/operations/operation-1679543737105-5f7893fd5bae9-942b3f97-75e59179] to complete.

gcloud container vmware operations describe OPERATION_ID \
  --project=PROJECT_ID \
  --location=us-central1

gcloud container vmware node-pools create  uc-node-pool \
  --cluster=minimal-installation-user-cluster \
  --project=PROJECT_ID \
  --location=us-central1 \
  --image-type=ubuntu_containerd  \
  --boot-disk-size=40 \
  --cpus=4 \
  --memory=8192 \
  --replicas=3 \
  --enable-load-balancer

Langkah selanjutnya

Anda kini telah menyelesaikan penginstalan minimal Google Distributed Cloud ini. Sebagai tindak lanjut opsional, Anda dapat melihat cara kerja penginstalan dengan men-deploy aplikasi.