Creare e gestire vincoli personalizzati

Questa pagina mostra come utilizzare i vincoli personalizzati del servizio Organization Policy per limitare operazioni specifiche sulle seguenti risorse Google Cloud :

  • gkeonprem.googleapis.com/BareMetalAdminCluster
  • gkeonprem.googleapis.com/BareMetalCluster
  • gkeonprem.googleapis.com/BareMetalNodePool
  • gkeonprem.googleapis.com/VmwareAdminCluster
  • gkeonprem.googleapis.com/VmwareCluster
  • gkeonprem.googleapis.com/VmwareNodePool

Per saperne di più sul criterio dell'organizzazione, consulta Criteri dell'organizzazione personalizzati.

Informazioni sui criteri e sui vincoli dell'organizzazione

Il servizio Google Cloud Policy dell'organizzazione offre un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, ovvero un insieme di restrizioni chiamate vincoli che si applicano alle Google Cloud risorse e ai relativi discendenti nella Google Cloud gerarchia delle risorse. Puoi applicare i criteri dell'organizzazione a livello di organizzazione, cartella o progetto.

Organization Policy fornisce vincoli gestiti integrati per vari servizi Google Cloud . Tuttavia, se vuoi un controllo più granulare e personalizzabile sui campi specifici limitati nelle norme dell'organizzazione, puoi anche creare vincoli personalizzati e utilizzarli in una norma dell'organizzazione.

Ereditarietà delle norme

Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti delle risorse su cui applichi il criterio. Ad esempio, se applichi un criterio a una cartella, Google Cloud il criterio viene applicato a tutti i progetti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta le regole di valutazione della gerarchia.

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  6. To initialize the gcloud CLI, run the following command:

    gcloud init
  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  8. Make sure that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  11. To initialize the gcloud CLI, run the following command:

    gcloud init
  12. Assicurati di conoscere il tuo ID organizzazione.
  13. Ruoli obbligatori

    Per ottenere le autorizzazioni necessarie per gestire le policy dell'organizzazione personalizzate, chiedi all'amministratore di concederti il ruolo IAM Organization Policy Administrator (roles/orgpolicy.policyAdmin) nella risorsa organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

    Creare un vincolo personalizzato

    Un vincolo personalizzato viene definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni supportati dal servizio su cui stai applicando il criterio dell'organizzazione. Le condizioni per i vincoli personalizzati sono definite utilizzando Common Expression Language (CEL). Per ulteriori informazioni su come creare condizioni nei vincoli personalizzati utilizzando CEL, consulta la sezione CEL di Creazione e gestione di vincoli personalizzati.

    Per creare un vincolo personalizzato, crea un file YAML utilizzando il seguente formato:

    name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
    resourceTypes:
    - RESOURCE_NAME
    methodTypes:
    - CREATE
    condition: "CONDITION"
    actionType: ACTION
    displayName: DISPLAY_NAME
    description: DESCRIPTION
    

    Sostituisci quanto segue:

    • ORGANIZATION_ID: l'ID organizzazione, ad esempio 123456789.

    • CONSTRAINT_NAME: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare con custom. e può includere solo lettere maiuscole, minuscole o numeri. Ad esempio, custom.denyHighNumvCPUs. La lunghezza massima di questo campo è 70 caratteri.

    • RESOURCE_NAME: il nome completo della risorsaGoogle Cloud contenente l'oggetto e il campo che vuoi limitare. Ad esempio: gkeonprem.googleapis.com/gkeonprem.googleapis.com/VmwareNodePool.

    • CONDITION: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Per saperne di più sulle risorse disponibili per scrivere condizioni, consulta Risorse supportate. Ad esempio, resource.config.cpus > 4.

    • ACTION: l'azione da intraprendere se la condizione condition è soddisfatta. Può essere solo ALLOW.

    • DISPLAY_NAME: un nome facile da ricordare per il vincolo. Questo campo ha una lunghezza massima di 200 caratteri.

    • DESCRIPTION: una descrizione comprensibile del vincolo da visualizzare come messaggio di errore in caso di violazione della policy. Questo campo ha una lunghezza massima di 2000 caratteri.

    Per saperne di più su come creare un vincolo personalizzato, consulta Definizione di vincoli personalizzati.

    Configurare un vincolo personalizzato

    Dopo aver creato il file YAML per un nuovo vincolo personalizzato, devi configurarlo per renderlo disponibile per i criteri dell'organizzazione nella tua organizzazione. Per configurare un vincolo personalizzato, utilizza il comando gcloud org-policies set-custom-constraint:
    gcloud org-policies set-custom-constraint CONSTRAINT_PATH
    Sostituisci CONSTRAINT_PATH con il percorso completo del tuo file di vincoli personalizzati. Ad esempio: /home/user/customconstraint.yaml. Una volta completati, i vincoli personalizzati sono disponibili come policy dell'organizzazione nell'elenco delle policy dell'organizzazione Google Cloud . Per verificare che il vincolo personalizzato esista, utilizza il comando gcloud org-policies list-custom-constraints:
    gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
    Sostituisci ORGANIZATION_ID con l'ID della risorsa dell'organizzazione. Per saperne di più, consulta Visualizzare le policy dell'organizzazione.

    Applicare una policy dell'organizzazione personalizzata

    Puoi applicare un vincolo creando un criterio dell'organizzazione che lo fa riferimento e poi applicando questo criterio dell'organizzazione a una risorsa. Google Cloud

    Console

    1. Nella console Google Cloud , vai alla pagina Policy dell'organizzazione.

      Vai a Policy dell'organizzazione

    2. Nel selettore di progetti, seleziona il progetto per cui vuoi impostare il criterio dell'organizzazione.
    3. Dall'elenco nella pagina Criteri organizzazione, seleziona il vincolo per visualizzare la pagina Dettagli criterio relativa a quel vincolo.
    4. Per configurare la policy dell'organizzazione per questa risorsa, fai clic su Gestisci policy.
    5. Nella pagina Modifica policy, seleziona Esegui override della policy dell'unità organizzativa principale.
    6. Fai clic su Aggiungi una regola.
    7. Nella sezione Applicazione, seleziona se l'applicazione di questa policy dell'organizzazione è attiva o disattivata.
    8. (Facoltativo) Per rendere la policy dell'organizzazione condizionale in base a un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a una policy dell'organizzazione, devi aggiungere almeno una regola incondizionata o la policy non può essere salvata. Per saperne di più, vedi Impostazione di un criterio dell'organizzazione con tag.
    9. Fai clic su Testa modifiche per simulare l'effetto della policy dell'organizzazione. La simulazione delle policy non è disponibile per i vincoli gestiti legacy. Per saperne di più, consulta Testare le modifiche alle policy dell'organizzazione con Policy Simulator.
    10. Per completare e applicare la policy dell'organizzazione, fai clic su Imposta policy. L'applicazione del criterio richiede fino a 15 minuti.

    gcloud

    Per creare una policy dell'organizzazione con regole booleane, crea un file YAML della policy che faccia riferimento al vincolo:

          name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
          spec:
            rules:
            - enforce: true
        

    Sostituisci quanto segue:

    • PROJECT_ID: il progetto su cui vuoi applicare il vincolo.
    • CONSTRAINT_NAME: il nome che hai definito per il vincolo personalizzato. Ad esempio, custom.denyHighNumvCPUs.

    Per applicare il criterio dell'organizzazione contenente il vincolo, esegui questo comando:

        gcloud org-policies set-policy POLICY_PATH
        

    Sostituisci POLICY_PATH con il percorso completo del file YAML del criterio dell'organizzazione. L'applicazione del criterio richiede fino a 15 minuti.

    Testa il criterio dell'organizzazione personalizzato

    L'esempio seguente mostra come negare l'aggiornamento di un pool di nodi con più di quattro vCPU in un cluster utente VMware di Google Distributed Cloud (solo software).

    Prima di iniziare, devi sapere quanto segue:

    • L'ID organizzazione
    • Un ID progetto

    Crea il vincolo

    1. Salva il seguente file come constraint-node-pool-vcpus.yaml:

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyHighNumvCPUs
      resourceTypes:
      - gkeonprem.googleapis.com/VmwareNodePool
      methodTypes:
      - CREATE
      - UPDATE
      condition: resource.config.cpus > 4
      actionType: DENY
      displayName: Node pool vCPU constraint
      description: Node pools must have 4 or fewer vCPUs.
      

      Definisce un vincolo che limita il numero di vCPU in un pool di nodi a 4 o meno. Se il numero di vCPU è maggiore di 4 durante la creazione o l'aggiornamento del pool di nodi, l'operazione viene negata.

    2. Applica il vincolo:

      gcloud org-policies set-custom-constraint ~/constraint-node-pool-vcpus.yaml
      
    3. Verifica che il vincolo esista:

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
      

      L'output è simile al seguente:

      CUSTOM_CONSTRAINT         ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                            DISPLAY_NAME
      custom.denyHighNumvCPUs   DENY         CREATE         gkeonprem.googleapis.com/VmwareNodePool   Node pool vCPU constraint
      ...
      

    Crea la policy

    1. Salva il seguente file come policy-deny-node-pool-high-vcpus.yaml:

      name: projects/PROJECT_ID/policies/custom.denyHighNumvCPUs
      spec:
        rules:
        - enforce: true
      

      Sostituisci PROJECT_ID con l'ID progetto.

    2. Applica le norme:

      gcloud org-policies set-policy ~/policy-deny-node-pool-high-vcpus.yaml
      
    3. Verifica che il criterio esista:

      gcloud org-policies list --project=PROJECT_ID
      

      L'output è simile al seguente:

      CONSTRAINT               LIST_POLICY    BOOLEAN_POLICY    ETAG
      custom.denyHighNumvCPUs  -              SET               COCsm5QGENiXi2E=
      

    Dopo aver applicato il criterio, attendi circa 15 minuti prima che Google Cloud inizi a applicarlo.

    Testare la policy

    Prova ad aggiornare un pool di nodi che viola le norme.

    1. (Facoltativo) Elenca i cluster utente per ottenere il nome e la regione del cluster:

      gcloud container vmware clusters list \
          --project=PROJECT_ID\
          --location=-
      

      Quando imposti --location=-, significa elencare tutti i cluster di utenti in tutte le regioni. Se devi ridurre l'ambito dell'elenco, imposta --location sulla regione che hai specificato quando hai creato il cluster o lo hai registrato nell'API GKE On-Prem.

    2. (Facoltativo) Elenca i pool di nodi per ottenere il nome del pool di nodi che vuoi aggiornare:

      gcloud container vmware node-pools list \
          --cluster=USER_CLUSTER_NAME \
          --project=PROJECT_ID \
          --location=REGION
      

      Sostituisci quanto segue:

      • USER_CLUSTER_NAME: il nome del cluster utenti che contiene il pool di nodi.

      • REGION: la Google Cloud regione associata al cluster utente.

    3. Esegui questo comando per tentare di aggiornare il numero di vCPU a 6:

      gcloud container vmware node-pools update NODE_POOL_NAME \
          --cluster=USER_CLUSTER_NAME  \
          --project=PROJECT_ID \
          --location=REGION \
          --cpus=6
       

      Sostituisci NODE_POOL_NAME: il nome del pool di nodi.

    L'operazione è stata rifiutata. L'output è il seguente:

    Operation denied by custom org policy on resource 'projects/PROJECT_ID/locations/REGION/entryGroups/org-policy-test': ["customConstraints/custom.denyHighNumvCPUs"]
    

    Esempi di norme personalizzate dell'organizzazione per i casi d'uso comuni

    La tabella seguente fornisce la sintassi di alcuni vincoli personalizzati per casi d'uso comuni:

    Descrizione Sintassi del vincolo
    Rifiutare una versione
        name: organizations/ORGANIZATION_ID/customConstraints/custom.VersionDeny
        resourceTypes:
        - gkeonprem.googleapis.com/BareMetalCluster
        methodTypes:
        - CREATE
        - UPDATE
        condition: resource.bareMetalVersion.startsWith("1.29")
        actionType: DENY
        displayName: Bare metal user cluster version denied
        description: The bare metal user cluster version is no longer supported
        
    Consenti solo se è presente una chiave
        name: organizations/ORGANIZATION_ID/customConstraints/custom.AllowAnnotation
        resourceTypes:
        - gkeonprem.googleapis.com/BareMetalAdminCluster
        methodTypes:
        - CREATE
        - UPDATE
        condition: '"allowKey" in resource.annotations'
        actionType: ALLOW
        displayName: Bare metal admin cluster annotation keys allowed
        description: Annotation keys are allowed on bare metal admin clusters
        

    Risorse supportate dall'API GKE On-Prem

    La tabella seguente elenca le risorse API GKE On-Prem a cui puoi fare riferimento nei vincoli personalizzati.

    Risorsa Campo
    gkeonprem.googleapis.com/BareMetalAdminCluster resource.annotations
    resource.bareMetalVersion
    resource.binaryAuthorization.evaluationMode
    resource.clusterOperations.enableApplicationLogs
    resource.controlPlane.apiServerArgs.argument
    resource.controlPlane.apiServerArgs.value
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.operatingSystem
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.effect
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.key
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.value
    resource.description
    resource.loadBalancer.manualLbConfig.enabled
    resource.loadBalancer.portConfig.controlPlaneLoadBalancerPort
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.maintenanceConfig.maintenanceAddressCidrBlocks
    resource.name
    resource.networkConfig.islandModeCidr.podAddressCidrBlocks
    resource.networkConfig.islandModeCidr.serviceAddressCidrBlocks
    resource.nodeAccessConfig.loginUser
    resource.nodeConfig.maxPodsPerNode
    resource.osEnvironmentConfig.packageRepoExcluded
    resource.proxy.noProxy
    resource.proxy.uri
    resource.securityConfig.authorization.adminUsers.username
    resource.storage.lvpNodeMountsConfig.path
    resource.storage.lvpNodeMountsConfig.storageClass
    resource.storage.lvpShareConfig.lvpConfig.path
    resource.storage.lvpShareConfig.lvpConfig.storageClass
    resource.storage.lvpShareConfig.sharedPathPvCount
    gkeonprem.googleapis.com/BareMetalCluster resource.adminClusterMembership
    resource.annotations
    resource.bareMetalVersion
    resource.binaryAuthorization.evaluationMode
    resource.clusterOperations.enableApplicationLogs
    resource.controlPlane.apiServerArgs.argument
    resource.controlPlane.apiServerArgs.value
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.operatingSystem
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.effect
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.key
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.value
    resource.description
    resource.loadBalancer.bgpLbConfig.addressPools.addresses
    resource.loadBalancer.bgpLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.bgpLbConfig.addressPools.manualAssign
    resource.loadBalancer.bgpLbConfig.addressPools.pool
    resource.loadBalancer.bgpLbConfig.asn
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.asn
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.controlPlaneNodes
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.ipAddress
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.operatingSystem
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.effect
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.key
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.value
    resource.loadBalancer.manualLbConfig.enabled
    resource.loadBalancer.metalLbConfig.addressPools.addresses
    resource.loadBalancer.metalLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.metalLbConfig.addressPools.manualAssign
    resource.loadBalancer.metalLbConfig.addressPools.pool
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.operatingSystem
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.effect
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.key
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.value
    resource.loadBalancer.portConfig.controlPlaneLoadBalancerPort
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.loadBalancer.vipConfig.ingressVip
    resource.maintenanceConfig.maintenanceAddressCidrBlocks
    resource.name
    resource.networkConfig.advancedNetworking
    resource.networkConfig.islandModeCidr.podAddressCidrBlocks
    resource.networkConfig.islandModeCidr.serviceAddressCidrBlocks
    resource.networkConfig.multipleNetworkInterfacesConfig.enabled
    resource.networkConfig.srIovConfig.enabled
    resource.nodeAccessConfig.loginUser
    resource.nodeConfig.containerRuntime
    resource.nodeConfig.maxPodsPerNode
    resource.osEnvironmentConfig.packageRepoExcluded
    resource.proxy.noProxy
    resource.proxy.uri
    resource.securityConfig.authorization.adminUsers.username
    resource.storage.lvpNodeMountsConfig.path
    resource.storage.lvpNodeMountsConfig.storageClass
    resource.storage.lvpShareConfig.lvpConfig.path
    resource.storage.lvpShareConfig.lvpConfig.storageClass
    resource.storage.lvpShareConfig.sharedPathPvCount
    resource.upgradePolicy.policy
    gkeonprem.googleapis.com/BareMetalNodePool resource.annotations
    resource.displayName
    resource.name
    resource.nodePoolConfig.kubeletConfig.registryBurst
    resource.nodePoolConfig.kubeletConfig.registryPullQps
    resource.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.nodePoolConfig.nodeConfigs.nodeIp
    resource.nodePoolConfig.operatingSystem
    resource.nodePoolConfig.taints.effect
    resource.nodePoolConfig.taints.key
    resource.nodePoolConfig.taints.value
    resource.upgradePolicy.parallelUpgradeConfig.concurrentNodes
    resource.upgradePolicy.parallelUpgradeConfig.minimumAvailableNodes
    gkeonprem.googleapis.com/VmwareAdminCluster resource.addonNode.autoResizeConfig.enabled
    resource.annotations
    resource.antiAffinityGroups.aagConfigDisabled
    resource.authorization.viewerUsers.username
    resource.autoRepairConfig.enabled
    resource.bootstrapClusterMembership
    resource.controlPlaneNode.cpus
    resource.controlPlaneNode.memory
    resource.controlPlaneNode.replicas
    resource.description
    resource.enableAdvancedCluster
    resource.imageType
    resource.loadBalancer.f5Config.address
    resource.loadBalancer.f5Config.partition
    resource.loadBalancer.f5Config.snatPool
    resource.loadBalancer.manualLbConfig.addonsNodePort
    resource.loadBalancer.manualLbConfig.controlPlaneNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpsNodePort
    resource.loadBalancer.manualLbConfig.konnectivityServerNodePort
    resource.loadBalancer.metalLbConfig.enabled
    resource.loadBalancer.vipConfig.addonsVip
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.name
    resource.networkConfig.dhcpIpConfig.enabled
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.gateway
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.ips.hostname
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.ips.ip
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.netmask
    resource.networkConfig.hostConfig.dnsSearchDomains
    resource.networkConfig.hostConfig.dnsServers
    resource.networkConfig.hostConfig.ntpServers
    resource.networkConfig.podAddressCidrBlocks
    resource.networkConfig.serviceAddressCidrBlocks
    resource.networkConfig.staticIpConfig.ipBlocks.gateway
    resource.networkConfig.staticIpConfig.ipBlocks.ips.hostname
    resource.networkConfig.staticIpConfig.ipBlocks.ips.ip
    resource.networkConfig.staticIpConfig.ipBlocks.netmask
    resource.networkConfig.vcenterNetwork
    resource.onPremVersion
    resource.platformConfig.requiredPlatformVersion
    resource.vcenter.address
    resource.vcenter.caCertData
    resource.vcenter.cluster
    resource.vcenter.datacenter
    resource.vcenter.dataDisk
    resource.vcenter.datastore
    resource.vcenter.folder
    resource.vcenter.resourcePool
    resource.vcenter.storagePolicyName
    gkeonprem.googleapis.com/VmwareCluster resource.adminClusterMembership
    resource.annotations
    resource.antiAffinityGroups.aagConfigDisabled
    resource.authorization.adminUsers.username
    resource.autoRepairConfig.enabled
    resource.binaryAuthorization.evaluationMode
    resource.controlPlaneNode.autoResizeConfig.enabled
    resource.controlPlaneNode.cpus
    resource.controlPlaneNode.memory
    resource.controlPlaneNode.replicas
    resource.controlPlaneNode.vsphereConfig.datastore
    resource.controlPlaneNode.vsphereConfig.storagePolicyName
    resource.dataplaneV2.advancedNetworking
    resource.dataplaneV2.dataplaneV2Enabled
    resource.dataplaneV2.forwardMode
    resource.dataplaneV2.windowsDataplaneV2Enabled
    resource.description
    resource.disableBundledIngress
    resource.enableAdvancedCluster
    resource.enableControlPlaneV2
    resource.loadBalancer.f5Config.address
    resource.loadBalancer.f5Config.partition
    resource.loadBalancer.f5Config.snatPool
    resource.loadBalancer.manualLbConfig.controlPlaneNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpsNodePort
    resource.loadBalancer.manualLbConfig.konnectivityServerNodePort
    resource.loadBalancer.metalLbConfig.addressPools.addresses
    resource.loadBalancer.metalLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.metalLbConfig.addressPools.manualAssign
    resource.loadBalancer.metalLbConfig.addressPools.pool
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.loadBalancer.vipConfig.ingressVip
    resource.name
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.gateway
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.ips.hostname
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.ips.ip
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.netmask
    resource.networkConfig.dhcpIpConfig.enabled
    resource.networkConfig.hostConfig.dnsSearchDomains
    resource.networkConfig.hostConfig.dnsServers
    resource.networkConfig.hostConfig.ntpServers
    resource.networkConfig.podAddressCidrBlocks
    resource.networkConfig.serviceAddressCidrBlocks
    resource.networkConfig.staticIpConfig.ipBlocks.gateway
    resource.networkConfig.staticIpConfig.ipBlocks.ips.hostname
    resource.networkConfig.staticIpConfig.ipBlocks.ips.ip
    resource.networkConfig.staticIpConfig.ipBlocks.netmask
    resource.networkConfig.vcenterNetwork
    resource.onPremVersion
    resource.storage.vsphereCsiDisabled
    resource.upgradePolicy.controlPlaneOnly
    resource.vcenter.caCertData
    resource.vcenter.cluster
    resource.vcenter.datacenter
    resource.vcenter.datastore
    resource.vcenter.folder
    resource.vcenter.resourcePool
    resource.vcenter.storagePolicyName
    resource.vmTrackingEnabled
    gkeonprem.googleapis.com/VmwareNodePool resource.annotations
    resource.config.bootDiskSizeGb
    resource.config.cpus
    resource.config.enableLoadBalancer
    resource.config.image
    resource.config.imageType
    resource.config.memoryMb
    resource.config.replicas
    resource.config.taints.effect
    resource.config.taints.key
    resource.config.taints.value
    resource.config.vsphereConfig.datastore
    resource.config.vsphereConfig.hostGroups
    resource.config.vsphereConfig.tags.category
    resource.config.vsphereConfig.tags.tag
    resource.displayName
    resource.name
    resource.nodePoolAutoscaling.maxReplicas
    resource.nodePoolAutoscaling.minReplicas
    resource.onPremVersion

    Passaggi successivi