Membuat dan mengelola batasan kustom

Halaman ini menunjukkan cara menggunakan batasan kustom Layanan Kebijakan Organisasi untuk membatasi operasi tertentu pada resource berikut: Google Cloud

  • gkeonprem.googleapis.com/BareMetalAdminCluster
  • gkeonprem.googleapis.com/BareMetalCluster
  • gkeonprem.googleapis.com/BareMetalNodePool
  • gkeonprem.googleapis.com/VmwareAdminCluster
  • gkeonprem.googleapis.com/VmwareCluster
  • gkeonprem.googleapis.com/VmwareNodePool

Untuk mempelajari lebih lanjut Kebijakan Organisasi, lihat Kebijakan organisasi kustom.

Tentang batasan dan kebijakan organisasi

Google Cloud Layanan Kebijakan Organisasi memberi Anda kontrol terpusat dan terprogram atas resource organisasi. Sebagai administrator kebijakan organisasi, Anda dapat menentukan kebijakan organisasi, yang merupakan serangkaian batasan yang disebut batasan yang berlaku untuk Google Cloud resource dan turunan dari resource tersebut dalam Google Cloud hierarki resource. Anda dapat menerapkan kebijakan organisasi di tingkat organisasi, folder, atau project.

Kebijakan Organisasi menyediakan batasan terkelola bawaan untuk berbagai layanan Google Cloud . Namun, jika menginginkan kontrol yang lebih terperinci dan dapat disesuaikan atas kolom tertentu yang dibatasi dalam kebijakan organisasi, Anda juga dapat membuat batasan khusus dan menggunakan batasan khusus tersebut dalam kebijakan organisasi.

Pewarisan kebijakan

Secara default, kebijakan organisasi diwarisi oleh turunan resource tempat Anda menerapkan kebijakan tersebut. Misalnya, jika Anda menerapkan kebijakan pada folder, Google Cloud akan menerapkan kebijakan tersebut pada semua project di folder tersebut. Untuk mempelajari lebih lanjut perilaku ini dan cara mengubahnya, lihat Aturan evaluasi hierarki.

Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  6. To initialize the gcloud CLI, run the following command: 

    gcloud init

  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  8. Make sure that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  11. To initialize the gcloud CLI, run the following command: 

    gcloud init
  12. Pastikan Anda mengetahui ID organisasi Anda.

    13. Peran yang diperlukan

    Untuk mendapatkan izin yang diperlukan untuk mengelola kebijakan organisasi kustom, minta administrator untuk memberi Anda peran IAM Administrator Kebijakan Organisasi (roles/orgpolicy.policyAdmin) di resource organisasi. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

    Membuat batasan khusus

    Batasan kustom ditentukan dalam file YAML oleh resource, metode, kondisi, dan tindakan yang didukung oleh layanan tempat Anda menerapkan kebijakan organisasi. Kondisi untuk batasan kustom Anda ditentukan menggunakan Common Expression Language (CEL). Untuk mengetahui informasi selengkapnya tentang cara membangun kondisi dalam batasan khusus menggunakan CEL, lihat bagian CEL tentang Membuat dan mengelola batasan kustom.

    Untuk membuat batasan khusus, buat file YAML menggunakan format berikut:

    name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

    Ganti kode berikut:

    • ORGANIZATION_ID: ID organisasi Anda, seperti 123456789.

    • CONSTRAINT_NAME: nama yang Anda inginkan untuk batasan kustom baru. Batasan kustom harus diawali dengan custom., dan hanya boleh menyertakan huruf besar, huruf kecil, atau angka. Contohnya, custom.denyHighNumvCPUs. Panjang maksimum kolom ini adalah 70 karakter.

    • RESOURCE_NAME: nama lengkap Google Cloud resource yang berisi objek dan kolom yang ingin Anda batasi. Misalnya, gkeonprem.googleapis.com/gkeonprem.googleapis.com/VmwareNodePool.

    • CONDITION: kondisi CEL yang ditulis berdasarkan representasi resource layanan yang didukung. Kolom ini memiliki panjang maksimal 1.000 karakter. Lihat Resource yang didukung untuk mengetahui informasi selengkapnya tentang resource yang tersedia untuk menulis kondisi. Contoh, resource.config.cpus > 4

    • ACTION: tindakan yang akan diambil jika condition terpenuhi. Hanya dapat berupa ALLOW.

    • DISPLAY_NAME: nama yang mudah dibaca manusia untuk batasan. Kolom ini memiliki panjang maksimal 200 karakter.

    • DESCRIPTION: deskripsi batasan yang mudah dipahami untuk ditampilkan sebagai pesan error saat kebijakan dilanggar. Kolom ini memiliki panjang maksimal 2.000 karakter.

    Untuk mengetahui informasi selengkapnya tentang cara membuat batasan kustom, lihat Menentukan batasan kustom.

    Menyiapkan batasan kustom

    Setelah membuat file YAML untuk batasan khusus baru, Anda harus menyiapkannya agar tersedia untuk kebijakan organisasi di organisasi Anda. Untuk menyiapkan batasan kustom, gunakan perintah gcloud org-policies set-custom-constraint: 
    gcloud org-policies set-custom-constraint CONSTRAINT_PATH
     Ganti CONSTRAINT_PATH dengan jalur lengkap ke file batasan kustom Anda. Contohnya, /home/user/customconstraint.yaml Setelah selesai, batasan khusus Anda tersedia sebagai kebijakan organisasi dalam daftar kebijakan organisasi. Google Cloud Untuk memverifikasi bahwa ada batasan kustom, gunakan perintah gcloud org-policies list-custom-constraints: 
    gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
     Ganti ORGANIZATION_ID dengan ID resource organisasi Anda. Untuk mengetahui informasi selengkapnya, lihat Melihat kebijakan organisasi.

    Menerapkan kebijakan organisasi kustom

    Anda dapat menerapkan batasan dengan membuat kebijakan organisasi yang mereferensikannya, lalu menerapkan kebijakan organisasi tersebut ke resource Google Cloud .

    Konsol

    1. Di konsol Google Cloud , buka halaman Kebijakan organisasi.

      Buka Organization policies

    2. Dari pemilih project, pilih project yang ingin Anda tetapkan kebijakan organisasinya.
    3. Dari daftar di halaman Kebijakan organisasi, pilih batasan Anda untuk melihat halaman Detail kebijakan untuk batasan tersebut.
    4. Untuk mengonfigurasi kebijakan organisasi untuk resource ini, klik Manage policy.
    5. Di halaman Edit kebijakan, pilih Ganti kebijakan induk.
    6. Klik Add a rule.
    7. Di bagian Penerapan, pilih apakah penerapan kebijakan organisasi ini diaktifkan atau dinonaktifkan.
    8. Opsional: Untuk membuat kebijakan organisasi bersyarat pada tag, klik Tambahkan kondisi. Perhatikan bahwa jika menambahkan aturan kondisional ke kebijakan organisasi, Anda harus menambahkan setidaknya satu aturan tanpa syarat atau kebijakan tidak dapat disimpan. Untuk mengetahui informasi selengkapnya, lihat Menetapkan kebijakan organisasi dengan tag.
    9. Klik Uji perubahan untuk menyimulasikan efek kebijakan organisasi. Simulasi kebijakan tidak tersedia untuk batasan terkelola lama. Untuk mengetahui informasi selengkapnya, lihat Menguji perubahan kebijakan organisasi dengan Policy Simulator.
    10. Untuk menyelesaikan dan menerapkan kebijakan organisasi, klik Set policy. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

    gcloud

    Untuk membuat kebijakan organisasi dengan aturan boolean, buat file YAML kebijakan yang merujuk batasan: 

          name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

    Ganti kode berikut:

    • PROJECT_ID: project tempat Anda ingin menerapkan batasan.
    • CONSTRAINT_NAME: nama yang Anda tentukan untuk batasan kustom. Contoh, custom.denyHighNumvCPUs

    Untuk menerapkan kebijakan organisasi yang berisi batasan, jalankan perintah berikut: 

        gcloud org-policies set-policy POLICY_PATH

    Ganti POLICY_PATH dengan jalur lengkap ke file YAML kebijakan organisasi Anda. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

    Menguji kebijakan organisasi kustom

    Contoh berikut menunjukkan cara menolak update kumpulan node dengan lebih dari empat vCPU di cluster pengguna VMware Google Distributed Cloud (khusus software).

    Sebelum memulai, Anda harus mengetahui hal-hal berikut:

    • ID organisasi Anda
    • Project ID

    Membuat batasan

    1. Simpan file berikut sebagai constraint-node-pool-vcpus.yaml:

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyHighNumvCPUs
resourceTypes:
- gkeonprem.googleapis.com/VmwareNodePool
methodTypes:
- CREATE
- UPDATE
condition: resource.config.cpus > 4
actionType: DENY
displayName: Node pool vCPU constraint
description: Node pools must have 4 or fewer vCPUs.

      Batasan ini menentukan batasan yang membatasi jumlah vCPU di kumpulan node hingga 4 atau kurang. Jika jumlah vCPU lebih besar dari 4 pada pembuatan atau update node pool, operasi akan ditolak.

    2. Terapkan batasan:

      gcloud org-policies set-custom-constraint ~/constraint-node-pool-vcpus.yaml

    3. Pastikan batasan ada:

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

      Outputnya mirip dengan yang berikut ini:

      CUSTOM_CONSTRAINT         ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                            DISPLAY_NAME
custom.denyHighNumvCPUs   DENY         CREATE         gkeonprem.googleapis.com/VmwareNodePool   Node pool vCPU constraint
...

    Membuat kebijakan

    1. Simpan file berikut sebagai policy-deny-node-pool-high-vcpus.yaml:

      name: projects/PROJECT_ID/policies/custom.denyHighNumvCPUs
spec:
  rules:
  - enforce: true

      Ganti PROJECT_ID dengan project ID Anda.

    2. Terapkan kebijakan:

      gcloud org-policies set-policy ~/policy-deny-node-pool-high-vcpus.yaml

    3. Pastikan kebijakan ada:

      gcloud org-policies list --project=PROJECT_ID

      Outputnya mirip dengan hal berikut ini:

      CONSTRAINT               LIST_POLICY    BOOLEAN_POLICY    ETAG
custom.denyHighNumvCPUs  -              SET               COCsm5QGENiXi2E=

    Setelah Anda menerapkan kebijakan, tunggu sekitar 15 menit hingga Google Cloud mulai menerapkan kebijakan tersebut.

    Menguji kebijakan

    Coba perbarui node pool yang melanggar kebijakan.

    1. Atau, cantumkan cluster pengguna untuk mendapatkan nama dan region cluster:

      gcloud container vmware clusters list \
    --project=PROJECT_ID\
    --location=-

      Saat Anda menyetel --location=-, artinya mencantumkan semua cluster pengguna di semua region. Jika Anda perlu mempersempit cakupan daftar, tetapkan --location ke region yang Anda tentukan saat membuat cluster atau mendaftarkan cluster di GKE On-Prem API.

    2. Secara opsional, cantumkan node pool untuk mendapatkan nama node pool yang ingin Anda perbarui:

      gcloud container vmware node-pools list \
    --cluster=USER_CLUSTER_NAME \
    --project=PROJECT_ID \
    --location=REGION

      Ganti kode berikut:

      • USER_CLUSTER_NAME: Nama cluster pengguna yang berisi node pool.

      • REGION: Google Cloud Region yang terkait dengan cluster pengguna.

    3. Jalankan perintah berikut untuk mencoba mengupdate jumlah vCPU menjadi 6:

      gcloud container vmware node-pools update NODE_POOL_NAME \
    --cluster=USER_CLUSTER_NAME  \
    --project=PROJECT_ID \
    --location=REGION \
    --cpus=6

      Ganti NODE_POOL_NAME: nama node pool.

    Operasi ditolak. Outputnya adalah sebagai berikut:

    Operation denied by custom org policy on resource 'projects/PROJECT_ID/locations/REGION/entryGroups/org-policy-test': ["customConstraints/custom.denyHighNumvCPUs"]

    Contoh kebijakan organisasi kustom untuk kasus penggunaan umum

    Tabel berikut memberikan sintaksis beberapa batasan khusus untuk kasus penggunaan umum:

    Deskripsi Sintaksis batasan
    Menolak versi 
        name: organizations/ORGANIZATION_ID/customConstraints/custom.VersionDeny
    resourceTypes:
    - gkeonprem.googleapis.com/BareMetalCluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: resource.bareMetalVersion.startsWith("1.29")
    actionType: DENY
    displayName: Bare metal user cluster version denied
    description: The bare metal user cluster version is no longer supported
    Hanya izinkan jika ada kunci 
        name: organizations/ORGANIZATION_ID/customConstraints/custom.AllowAnnotation
    resourceTypes:
    - gkeonprem.googleapis.com/BareMetalAdminCluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: '"allowKey" in resource.annotations'
    actionType: ALLOW
    displayName: Bare metal admin cluster annotation keys allowed
    description: Annotation keys are allowed on bare metal admin clusters

    Resource yang didukung GKE On-Prem API

    Tabel berikut mencantumkan resource GKE On-Prem API yang dapat Anda rujuk dalam batasan kustom.

    Resource Kolom
    gkeonprem.googleapis.com/BareMetalAdminCluster resource.annotations
    resource.bareMetalVersion
    resource.binaryAuthorization.evaluationMode
    resource.clusterOperations.enableApplicationLogs
    resource.controlPlane.apiServerArgs.argument
    resource.controlPlane.apiServerArgs.value
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.operatingSystem
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.effect
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.key
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.value
    resource.description
    resource.loadBalancer.manualLbConfig.enabled
    resource.loadBalancer.portConfig.controlPlaneLoadBalancerPort
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.maintenanceConfig.maintenanceAddressCidrBlocks
    resource.name
    resource.networkConfig.islandModeCidr.podAddressCidrBlocks
    resource.networkConfig.islandModeCidr.serviceAddressCidrBlocks
    resource.nodeAccessConfig.loginUser
    resource.nodeConfig.maxPodsPerNode
    resource.osEnvironmentConfig.packageRepoExcluded
    resource.proxy.noProxy
    resource.proxy.uri
    resource.securityConfig.authorization.adminUsers.username
    resource.storage.lvpNodeMountsConfig.path
    resource.storage.lvpNodeMountsConfig.storageClass
    resource.storage.lvpShareConfig.lvpConfig.path
    resource.storage.lvpShareConfig.lvpConfig.storageClass
    resource.storage.lvpShareConfig.sharedPathPvCount
    gkeonprem.googleapis.com/BareMetalCluster resource.adminClusterMembership
    resource.annotations
    resource.bareMetalVersion
    resource.binaryAuthorization.evaluationMode
    resource.clusterOperations.enableApplicationLogs
    resource.controlPlane.apiServerArgs.argument
    resource.controlPlane.apiServerArgs.value
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.operatingSystem
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.effect
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.key
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.value
    resource.description
    resource.loadBalancer.bgpLbConfig.addressPools.addresses
    resource.loadBalancer.bgpLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.bgpLbConfig.addressPools.manualAssign
    resource.loadBalancer.bgpLbConfig.addressPools.pool
    resource.loadBalancer.bgpLbConfig.asn
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.asn
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.controlPlaneNodes
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.ipAddress
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.operatingSystem
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.effect
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.key
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.value
    resource.loadBalancer.manualLbConfig.enabled
    resource.loadBalancer.metalLbConfig.addressPools.addresses
    resource.loadBalancer.metalLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.metalLbConfig.addressPools.manualAssign
    resource.loadBalancer.metalLbConfig.addressPools.pool
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.operatingSystem
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.effect
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.key
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.value
    resource.loadBalancer.portConfig.controlPlaneLoadBalancerPort
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.loadBalancer.vipConfig.ingressVip
    resource.maintenanceConfig.maintenanceAddressCidrBlocks
    resource.name
    resource.networkConfig.advancedNetworking
    resource.networkConfig.islandModeCidr.podAddressCidrBlocks
    resource.networkConfig.islandModeCidr.serviceAddressCidrBlocks
    resource.networkConfig.multipleNetworkInterfacesConfig.enabled
    resource.networkConfig.srIovConfig.enabled
    resource.nodeAccessConfig.loginUser
    resource.nodeConfig.containerRuntime
    resource.nodeConfig.maxPodsPerNode
    resource.osEnvironmentConfig.packageRepoExcluded
    resource.proxy.noProxy
    resource.proxy.uri
    resource.securityConfig.authorization.adminUsers.username
    resource.storage.lvpNodeMountsConfig.path
    resource.storage.lvpNodeMountsConfig.storageClass
    resource.storage.lvpShareConfig.lvpConfig.path
    resource.storage.lvpShareConfig.lvpConfig.storageClass
    resource.storage.lvpShareConfig.sharedPathPvCount
    resource.upgradePolicy.policy
    gkeonprem.googleapis.com/BareMetalNodePool resource.annotations
    resource.displayName
    resource.name
    resource.nodePoolConfig.kubeletConfig.registryBurst
    resource.nodePoolConfig.kubeletConfig.registryPullQps
    resource.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.nodePoolConfig.nodeConfigs.nodeIp
    resource.nodePoolConfig.operatingSystem
    resource.nodePoolConfig.taints.effect
    resource.nodePoolConfig.taints.key
    resource.nodePoolConfig.taints.value
    resource.upgradePolicy.parallelUpgradeConfig.concurrentNodes
    resource.upgradePolicy.parallelUpgradeConfig.minimumAvailableNodes
    gkeonprem.googleapis.com/VmwareAdminCluster resource.addonNode.autoResizeConfig.enabled
    resource.annotations
    resource.antiAffinityGroups.aagConfigDisabled
    resource.authorization.viewerUsers.username
    resource.autoRepairConfig.enabled
    resource.bootstrapClusterMembership
    resource.controlPlaneNode.cpus
    resource.controlPlaneNode.memory
    resource.controlPlaneNode.replicas
    resource.description
    resource.enableAdvancedCluster
    resource.imageType
    resource.loadBalancer.f5Config.address
    resource.loadBalancer.f5Config.partition
    resource.loadBalancer.f5Config.snatPool
    resource.loadBalancer.manualLbConfig.addonsNodePort
    resource.loadBalancer.manualLbConfig.controlPlaneNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpsNodePort
    resource.loadBalancer.manualLbConfig.konnectivityServerNodePort
    resource.loadBalancer.metalLbConfig.enabled
    resource.loadBalancer.vipConfig.addonsVip
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.name
    resource.networkConfig.dhcpIpConfig.enabled
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.gateway
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.ips.hostname
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.ips.ip
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.netmask
    resource.networkConfig.hostConfig.dnsSearchDomains
    resource.networkConfig.hostConfig.dnsServers
    resource.networkConfig.hostConfig.ntpServers
    resource.networkConfig.podAddressCidrBlocks
    resource.networkConfig.serviceAddressCidrBlocks
    resource.networkConfig.staticIpConfig.ipBlocks.gateway
    resource.networkConfig.staticIpConfig.ipBlocks.ips.hostname
    resource.networkConfig.staticIpConfig.ipBlocks.ips.ip
    resource.networkConfig.staticIpConfig.ipBlocks.netmask
    resource.networkConfig.vcenterNetwork
    resource.onPremVersion
    resource.platformConfig.requiredPlatformVersion
    resource.vcenter.address
    resource.vcenter.caCertData
    resource.vcenter.cluster
    resource.vcenter.datacenter
    resource.vcenter.dataDisk
    resource.vcenter.datastore
    resource.vcenter.folder
    resource.vcenter.resourcePool
    resource.vcenter.storagePolicyName
    gkeonprem.googleapis.com/VmwareCluster resource.adminClusterMembership
    resource.annotations
    resource.antiAffinityGroups.aagConfigDisabled
    resource.authorization.adminUsers.username
    resource.autoRepairConfig.enabled
    resource.binaryAuthorization.evaluationMode
    resource.controlPlaneNode.autoResizeConfig.enabled
    resource.controlPlaneNode.cpus
    resource.controlPlaneNode.memory
    resource.controlPlaneNode.replicas
    resource.controlPlaneNode.vsphereConfig.datastore
    resource.controlPlaneNode.vsphereConfig.storagePolicyName
    resource.dataplaneV2.advancedNetworking
    resource.dataplaneV2.dataplaneV2Enabled
    resource.dataplaneV2.forwardMode
    resource.dataplaneV2.windowsDataplaneV2Enabled
    resource.description
    resource.disableBundledIngress
    resource.enableAdvancedCluster
    resource.enableControlPlaneV2
    resource.loadBalancer.f5Config.address
    resource.loadBalancer.f5Config.partition
    resource.loadBalancer.f5Config.snatPool
    resource.loadBalancer.manualLbConfig.controlPlaneNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpsNodePort
    resource.loadBalancer.manualLbConfig.konnectivityServerNodePort
    resource.loadBalancer.metalLbConfig.addressPools.addresses
    resource.loadBalancer.metalLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.metalLbConfig.addressPools.manualAssign
    resource.loadBalancer.metalLbConfig.addressPools.pool
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.loadBalancer.vipConfig.ingressVip
    resource.name
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.gateway
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.ips.hostname
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.ips.ip
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.netmask
    resource.networkConfig.dhcpIpConfig.enabled
    resource.networkConfig.hostConfig.dnsSearchDomains
    resource.networkConfig.hostConfig.dnsServers
    resource.networkConfig.hostConfig.ntpServers
    resource.networkConfig.podAddressCidrBlocks
    resource.networkConfig.serviceAddressCidrBlocks
    resource.networkConfig.staticIpConfig.ipBlocks.gateway
    resource.networkConfig.staticIpConfig.ipBlocks.ips.hostname
    resource.networkConfig.staticIpConfig.ipBlocks.ips.ip
    resource.networkConfig.staticIpConfig.ipBlocks.netmask
    resource.networkConfig.vcenterNetwork
    resource.onPremVersion
    resource.storage.vsphereCsiDisabled
    resource.upgradePolicy.controlPlaneOnly
    resource.vcenter.caCertData
    resource.vcenter.cluster
    resource.vcenter.datacenter
    resource.vcenter.datastore
    resource.vcenter.folder
    resource.vcenter.resourcePool
    resource.vcenter.storagePolicyName
    resource.vmTrackingEnabled
    gkeonprem.googleapis.com/VmwareNodePool resource.annotations
    resource.config.bootDiskSizeGb
    resource.config.cpus
    resource.config.enableLoadBalancer
    resource.config.image
    resource.config.imageType
    resource.config.memoryMb
    resource.config.replicas
    resource.config.taints.effect
    resource.config.taints.key
    resource.config.taints.value
    resource.config.vsphereConfig.datastore
    resource.config.vsphereConfig.hostGroups
    resource.config.vsphereConfig.tags.category
    resource.config.vsphereConfig.tags.tag
    resource.displayName
    resource.name
    resource.nodePoolAutoscaling.maxReplicas
    resource.nodePoolAutoscaling.minReplicas
    resource.onPremVersion

    Langkah berikutnya