カスタム制約の作成と管理

このページでは、組織のポリシー サービスのカスタム制約を使用して、次の Google Cloud リソースに対する特定のオペレーションを制限する方法について説明します。

  • gkeonprem.googleapis.com/BareMetalAdminCluster
  • gkeonprem.googleapis.com/BareMetalCluster
  • gkeonprem.googleapis.com/BareMetalNodePool
  • gkeonprem.googleapis.com/VmwareAdminCluster
  • gkeonprem.googleapis.com/VmwareCluster
  • gkeonprem.googleapis.com/VmwareNodePool

組織のポリシーの詳細については、カスタムの組織のポリシーをご覧ください。

組織のポリシーと制約について

Google Cloud 組織のポリシー サービスを使用すると、組織のリソースをプログラマティックに一元管理できます。組織のポリシー管理者は組織のポリシーを定義できます。組織のポリシーは、Google Cloud リソース階層内のGoogle Cloud リソースやそれらのリソースの子孫に適用される、制約と呼ばれる一連の制限です。組織のポリシーは、組織、フォルダ、プロジェクトのいずれかの単位で適用できます。

組織のポリシーを利用することで、あらかじめ用意されたマネージド制約をさまざまな Google Cloud サービスに適用できます。ただし、組織のポリシーで制限されている特定の項目をより細かくカスタマイズして制御したい場合は、カスタム制約を作成して、それを組織のポリシーで使うこともできます。

ポリシーの継承

デフォルトでは、組織のポリシーは、そのポリシーを適用したリソースの子孫に継承されます。たとえば、フォルダにポリシーを適用した場合、 Google Cloud はそのフォルダ内のすべてのプロジェクトにそのポリシーを適用します。この動作の詳細と変更方法については、階層評価ルールをご覧ください。

始める前に

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  6. To initialize the gcloud CLI, run the following command: 

    gcloud init

  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  8. Make sure that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  11. To initialize the gcloud CLI, run the following command: 

    gcloud init
  12. 組織 ID を確認します。

    13. 必要なロール

    カスタムの組織のポリシーを管理するために必要な権限を取得するには、組織のリソースに対する組織のポリシー管理者（roles/orgpolicy.policyAdmin）の IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

    必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

    カスタム制約を作成する

    カスタム制約は、組織のポリシーを適用しているサービスでサポートされるリソース、メソッド、条件、アクションを使用して YAML ファイルで定義されます。カスタム制約の条件は、Common Expression Language（CEL）を使用して定義されます。CEL を使用してカスタム制約で条件を作成する方法については、カスタム制約の作成と管理の CEL セクションをご覧ください。

    カスタム制約を作成するには、次の形式で YAML ファイルを作成します。

    name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

    次のように置き換えます。

    • ORGANIZATION_ID: 組織 ID（123456789 など）。

    • CONSTRAINT_NAME: 新しいカスタム制約に付ける名前。カスタム制約は custom. で始まる必要があり、大文字、小文字、数字のみを含めることができます。例: custom.denyHighNumvCPUs。このフィールドの最大長は 70 文字です。

    • RESOURCE_NAME: 制限するオブジェクトとフィールドを含むGoogle Cloud リソースの完全修飾名。例: gkeonprem.googleapis.com/gkeonprem.googleapis.com/VmwareNodePool

    • CONDITION: サポート対象のサービス リソースの表現に対して書き込まれる CEL 条件。このフィールドの最大長は 1,000 文字です。条件の書き込み先として使用できるリソースの詳細については、サポート対象のリソースをご覧ください。例: resource.config.cpus > 4

    • ACTION: condition が満たされている場合に実行するアクション。ALLOW のみ可能です。

    • DISPLAY_NAME: 制約の名前。わかりやすい名前を入力してください。このフィールドの最大長は 200 文字です。

    • DESCRIPTION: ポリシー違反時にエラー メッセージとして表示される制約の説明。わかりやすい説明を入力してください。このフィールドの最大長は 2,000 文字です。

    カスタム制約の作成方法については、カスタム制約の定義をご覧ください。

    カスタム制約を設定する

    新しいカスタム制約の YAML ファイルを作成したら、組織内の組織のポリシーで使用できるように設定する必要があります。カスタム制約を設定するには、gcloud org-policies set-custom-constraint コマンドを使用します。
    gcloud org-policies set-custom-constraint CONSTRAINT_PATH
     CONSTRAINT_PATH は、カスタム制約ファイルのフルパスに置き換えます。例: /home/user/customconstraint.yaml 完了すると、カスタム制約が組織のポリシーとして Google Cloud 組織のポリシーのリストに表示されます。カスタム制約が存在することを確認するには、gcloud org-policies list-custom-constraints コマンドを使用します。
    gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
     ORGANIZATION_ID は、組織リソースの ID に置き換えます。詳細については、組織のポリシーの表示をご覧ください。

    カスタムの組織のポリシーを適用する

    制約を適用するには、それを参照する組織のポリシーを作成し、その組織のポリシーを Google Cloud リソースに適用します。

    コンソール

    1. Google Cloud コンソールで [組織のポリシー] ページに移動します。

      [組織のポリシー] に移動

    2. プロジェクト選択ツールで、組織のポリシーを設定するプロジェクトを選択します。
    3. [組織のポリシー] ページのリストで制約を選択して、その制約の [ポリシーの詳細] ページを表示します。
    4. このリソースの組織のポリシーを構成するには、[ポリシーを管理] をクリックします。
    5. [ポリシーの編集] ページで、[Override parent's policy] を選択します。
    6. [ルールを追加] をクリックします。
    7. [適用] セクションで、この組織のポリシーの適用を有効にするかどうかを選択します。
    8. 省略可: タグで組織のポリシーに条件を設定するには、[条件を追加] をクリックします。組織のポリシーに条件付きルールを追加する場合は、少なくとも 1 つは無条件のルールを追加する必要があります。そうしないとポリシーを保存できないのでご注意ください。詳細については、タグ付きの組織のポリシーの設定をご覧ください。
    9. [変更内容をテスト] をクリックして、組織のポリシーの効果をシミュレートします。以前のマネージド制約ではポリシー シミュレーションを使用できません。詳細については、Policy Simulator で組織のポリシーの変更をテストするをご覧ください。
    10. 組織のポリシーを完成させて適用するには、[ポリシーを設定] をクリックします。ポリシーが有効になるまでに最大 15 分かかります。

    gcloud

    ブール型ルールを含む組織のポリシーを作成するには、制約を参照するポリシー YAML ファイルを作成します。

          name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

    次のように置き換えます。

    • PROJECT_ID: 制約を適用するプロジェクト。
    • CONSTRAINT_NAME: カスタム制約に定義した名前。たとえば、custom.denyHighNumvCPUs のようにします。

    制約を含む組織のポリシーを適用するには、次のコマンドを実行します。

        gcloud org-policies set-policy POLICY_PATH

    POLICY_PATH は、組織のポリシーの YAML ファイルのパスに置き換えます。ポリシーが有効になるまでに最大 15 分かかります。

    カスタム組織のポリシーをテストする

    次の例は、Google Distributed Cloud（ソフトウェアのみ）VMware ユーザー クラスタで 4 つを超える vCPU を持つノードプールの更新を拒否する方法を示しています。

    始める前に、以下を把握しておく必要があります。

    • 組織の ID
    • プロジェクト ID

    制約を作成する

    1. 次のファイルに constraint-node-pool-vcpus.yaml という名前を付けて保存します。

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyHighNumvCPUs
resourceTypes:
- gkeonprem.googleapis.com/VmwareNodePool
methodTypes:
- CREATE
- UPDATE
condition: resource.config.cpus > 4
actionType: DENY
displayName: Node pool vCPU constraint
description: Node pools must have 4 or fewer vCPUs.

      これにより、ノードプールの vCPU 数を 4 以下に制限する制約が定義されます。ノードプールの作成または更新時に vCPU の数が 4 より大きい場合、オペレーションは拒否されます。

    2. 制約を適用します。

      gcloud org-policies set-custom-constraint ~/constraint-node-pool-vcpus.yaml

    3. 制約が存在することを確認します。

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

      出力は次のようになります。

      CUSTOM_CONSTRAINT         ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                            DISPLAY_NAME
custom.denyHighNumvCPUs   DENY         CREATE         gkeonprem.googleapis.com/VmwareNodePool   Node pool vCPU constraint
...

    ポリシーを作成する

    1. 次のファイルに policy-deny-node-pool-high-vcpus.yaml という名前を付けて保存します。

      name: projects/PROJECT_ID/policies/custom.denyHighNumvCPUs
spec:
  rules:
  - enforce: true

      PROJECT_ID は、実際のプロジェクト ID に置き換えます。

    2. ポリシーを適用します。

      gcloud org-policies set-policy ~/policy-deny-node-pool-high-vcpus.yaml

    3. ポリシーが存在することを確認します。

      gcloud org-policies list --project=PROJECT_ID

      出力は次のようになります。

      CONSTRAINT               LIST_POLICY    BOOLEAN_POLICY    ETAG
custom.denyHighNumvCPUs  -              SET               COCsm5QGENiXi2E=

    ポリシーを適用したら、 Google Cloud がポリシーの適用を開始するまで 15 分ほど待ちます。

    ポリシーのテスト

    ポリシーに違反するノードプールの更新を試みます。

    1. 必要に応じて、ユーザー クラスタを一覧表示して、クラスタ名とリージョンを取得します。

      gcloud container vmware clusters list \
    --project=PROJECT_ID\
    --location=-

      --location=- に設定すると、すべてのリージョンのすべてのユーザー クラスタが一覧表示されます。リストを絞り込む必要がある場合は、クラスタの作成時または GKE On-Prem API へのクラスタの登録時に指定したリージョンを --location に設定します。

    2. 必要に応じて、ノードプールを一覧取得して、更新するノードプールの名前を取得します。

      gcloud container vmware node-pools list \
    --cluster=USER_CLUSTER_NAME \
    --project=PROJECT_ID \
    --location=REGION

      次のように置き換えます。

      • USER_CLUSTER_NAME: ノードプールを含むユーザー クラスタの名前。

      • REGION: ユーザー クラスタに関連付けられた Google Cloud リージョン。

    3. 次のコマンドを実行して、vCPU の数を 6 に更新します。

      gcloud container vmware node-pools update NODE_POOL_NAME \
    --cluster=USER_CLUSTER_NAME  \
    --project=PROJECT_ID \
    --location=REGION \
    --cpus=6

      NODE_POOL_NAME: ノードプールの名前に置き換えます。

    オペレーションが拒否されました。次のような出力が表示されます。

    Operation denied by custom org policy on resource 'projects/PROJECT_ID/locations/REGION/entryGroups/org-policy-test': ["customConstraints/custom.denyHighNumvCPUs"]

    一般的なユースケースのカスタム組織ポリシーの例

    次の表に、一般的なユースケースのカスタム制約の構文を示します。

    説明 制約の構文
    バージョンを拒否する 
        name: organizations/ORGANIZATION_ID/customConstraints/custom.VersionDeny
    resourceTypes:
    - gkeonprem.googleapis.com/BareMetalCluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: resource.bareMetalVersion.startsWith("1.29")
    actionType: DENY
    displayName: Bare metal user cluster version denied
    description: The bare metal user cluster version is no longer supported
    キーが存在する場合にのみ許可 
        name: organizations/ORGANIZATION_ID/customConstraints/custom.AllowAnnotation
    resourceTypes:
    - gkeonprem.googleapis.com/BareMetalAdminCluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: '"allowKey" in resource.annotations'
    actionType: ALLOW
    displayName: Bare metal admin cluster annotation keys allowed
    description: Annotation keys are allowed on bare metal admin clusters

    GKE On-Prem API でサポートされているリソース

    次の表に、カスタム制約で参照できる GKE On-Prem API リソースを示します。

    リソース フィールド
    gkeonprem.googleapis.com/BareMetalAdminCluster resource.annotations
    resource.bareMetalVersion
    resource.binaryAuthorization.evaluationMode
    resource.clusterOperations.enableApplicationLogs
    resource.controlPlane.apiServerArgs.argument
    resource.controlPlane.apiServerArgs.value
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.operatingSystem
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.effect
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.key
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.value
    resource.description
    resource.loadBalancer.manualLbConfig.enabled
    resource.loadBalancer.portConfig.controlPlaneLoadBalancerPort
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.maintenanceConfig.maintenanceAddressCidrBlocks
    resource.name
    resource.networkConfig.islandModeCidr.podAddressCidrBlocks
    resource.networkConfig.islandModeCidr.serviceAddressCidrBlocks
    resource.nodeAccessConfig.loginUser
    resource.nodeConfig.maxPodsPerNode
    resource.osEnvironmentConfig.packageRepoExcluded
    resource.proxy.noProxy
    resource.proxy.uri
    resource.securityConfig.authorization.adminUsers.username
    resource.storage.lvpNodeMountsConfig.path
    resource.storage.lvpNodeMountsConfig.storageClass
    resource.storage.lvpShareConfig.lvpConfig.path
    resource.storage.lvpShareConfig.lvpConfig.storageClass
    resource.storage.lvpShareConfig.sharedPathPvCount
    gkeonprem.googleapis.com/BareMetalCluster resource.adminClusterMembership
    resource.annotations
    resource.bareMetalVersion
    resource.binaryAuthorization.evaluationMode
    resource.clusterOperations.enableApplicationLogs
    resource.controlPlane.apiServerArgs.argument
    resource.controlPlane.apiServerArgs.value
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.operatingSystem
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.effect
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.key
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.value
    resource.description
    resource.loadBalancer.bgpLbConfig.addressPools.addresses
    resource.loadBalancer.bgpLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.bgpLbConfig.addressPools.manualAssign
    resource.loadBalancer.bgpLbConfig.addressPools.pool
    resource.loadBalancer.bgpLbConfig.asn
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.asn
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.controlPlaneNodes
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.ipAddress
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.operatingSystem
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.effect
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.key
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.value
    resource.loadBalancer.manualLbConfig.enabled
    resource.loadBalancer.metalLbConfig.addressPools.addresses
    resource.loadBalancer.metalLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.metalLbConfig.addressPools.manualAssign
    resource.loadBalancer.metalLbConfig.addressPools.pool
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.operatingSystem
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.effect
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.key
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.value
    resource.loadBalancer.portConfig.controlPlaneLoadBalancerPort
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.loadBalancer.vipConfig.ingressVip
    resource.maintenanceConfig.maintenanceAddressCidrBlocks
    resource.name
    resource.networkConfig.advancedNetworking
    resource.networkConfig.islandModeCidr.podAddressCidrBlocks
    resource.networkConfig.islandModeCidr.serviceAddressCidrBlocks
    resource.networkConfig.multipleNetworkInterfacesConfig.enabled
    resource.networkConfig.srIovConfig.enabled
    resource.nodeAccessConfig.loginUser
    resource.nodeConfig.containerRuntime
    resource.nodeConfig.maxPodsPerNode
    resource.osEnvironmentConfig.packageRepoExcluded
    resource.proxy.noProxy
    resource.proxy.uri
    resource.securityConfig.authorization.adminUsers.username
    resource.storage.lvpNodeMountsConfig.path
    resource.storage.lvpNodeMountsConfig.storageClass
    resource.storage.lvpShareConfig.lvpConfig.path
    resource.storage.lvpShareConfig.lvpConfig.storageClass
    resource.storage.lvpShareConfig.sharedPathPvCount
    resource.upgradePolicy.policy
    gkeonprem.googleapis.com/BareMetalNodePool resource.annotations
    resource.displayName
    resource.name
    resource.nodePoolConfig.kubeletConfig.registryBurst
    resource.nodePoolConfig.kubeletConfig.registryPullQps
    resource.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.nodePoolConfig.nodeConfigs.nodeIp
    resource.nodePoolConfig.operatingSystem
    resource.nodePoolConfig.taints.effect
    resource.nodePoolConfig.taints.key
    resource.nodePoolConfig.taints.value
    resource.upgradePolicy.parallelUpgradeConfig.concurrentNodes
    resource.upgradePolicy.parallelUpgradeConfig.minimumAvailableNodes
    gkeonprem.googleapis.com/VmwareAdminCluster resource.addonNode.autoResizeConfig.enabled
    resource.annotations
    resource.antiAffinityGroups.aagConfigDisabled
    resource.authorization.viewerUsers.username
    resource.autoRepairConfig.enabled
    resource.bootstrapClusterMembership
    resource.controlPlaneNode.cpus
    resource.controlPlaneNode.memory
    resource.controlPlaneNode.replicas
    resource.description
    resource.enableAdvancedCluster
    resource.imageType
    resource.loadBalancer.f5Config.address
    resource.loadBalancer.f5Config.partition
    resource.loadBalancer.f5Config.snatPool
    resource.loadBalancer.manualLbConfig.addonsNodePort
    resource.loadBalancer.manualLbConfig.controlPlaneNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpsNodePort
    resource.loadBalancer.manualLbConfig.konnectivityServerNodePort
    resource.loadBalancer.metalLbConfig.enabled
    resource.loadBalancer.vipConfig.addonsVip
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.name
    resource.networkConfig.dhcpIpConfig.enabled
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.gateway
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.ips.hostname
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.ips.ip
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.netmask
    resource.networkConfig.hostConfig.dnsSearchDomains
    resource.networkConfig.hostConfig.dnsServers
    resource.networkConfig.hostConfig.ntpServers
    resource.networkConfig.podAddressCidrBlocks
    resource.networkConfig.serviceAddressCidrBlocks
    resource.networkConfig.staticIpConfig.ipBlocks.gateway
    resource.networkConfig.staticIpConfig.ipBlocks.ips.hostname
    resource.networkConfig.staticIpConfig.ipBlocks.ips.ip
    resource.networkConfig.staticIpConfig.ipBlocks.netmask
    resource.networkConfig.vcenterNetwork
    resource.onPremVersion
    resource.platformConfig.requiredPlatformVersion
    resource.vcenter.address
    resource.vcenter.caCertData
    resource.vcenter.cluster
    resource.vcenter.datacenter
    resource.vcenter.dataDisk
    resource.vcenter.datastore
    resource.vcenter.folder
    resource.vcenter.resourcePool
    resource.vcenter.storagePolicyName
    gkeonprem.googleapis.com/VmwareCluster resource.adminClusterMembership
    resource.annotations
    resource.antiAffinityGroups.aagConfigDisabled
    resource.authorization.adminUsers.username
    resource.autoRepairConfig.enabled
    resource.binaryAuthorization.evaluationMode
    resource.controlPlaneNode.autoResizeConfig.enabled
    resource.controlPlaneNode.cpus
    resource.controlPlaneNode.memory
    resource.controlPlaneNode.replicas
    resource.controlPlaneNode.vsphereConfig.datastore
    resource.controlPlaneNode.vsphereConfig.storagePolicyName
    resource.dataplaneV2.advancedNetworking
    resource.dataplaneV2.dataplaneV2Enabled
    resource.dataplaneV2.forwardMode
    resource.dataplaneV2.windowsDataplaneV2Enabled
    resource.description
    resource.disableBundledIngress
    resource.enableAdvancedCluster
    resource.enableControlPlaneV2
    resource.loadBalancer.f5Config.address
    resource.loadBalancer.f5Config.partition
    resource.loadBalancer.f5Config.snatPool
    resource.loadBalancer.manualLbConfig.controlPlaneNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpsNodePort
    resource.loadBalancer.manualLbConfig.konnectivityServerNodePort
    resource.loadBalancer.metalLbConfig.addressPools.addresses
    resource.loadBalancer.metalLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.metalLbConfig.addressPools.manualAssign
    resource.loadBalancer.metalLbConfig.addressPools.pool
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.loadBalancer.vipConfig.ingressVip
    resource.name
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.gateway
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.ips.hostname
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.ips.ip
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.netmask
    resource.networkConfig.dhcpIpConfig.enabled
    resource.networkConfig.hostConfig.dnsSearchDomains
    resource.networkConfig.hostConfig.dnsServers
    resource.networkConfig.hostConfig.ntpServers
    resource.networkConfig.podAddressCidrBlocks
    resource.networkConfig.serviceAddressCidrBlocks
    resource.networkConfig.staticIpConfig.ipBlocks.gateway
    resource.networkConfig.staticIpConfig.ipBlocks.ips.hostname
    resource.networkConfig.staticIpConfig.ipBlocks.ips.ip
    resource.networkConfig.staticIpConfig.ipBlocks.netmask
    resource.networkConfig.vcenterNetwork
    resource.onPremVersion
    resource.storage.vsphereCsiDisabled
    resource.upgradePolicy.controlPlaneOnly
    resource.vcenter.caCertData
    resource.vcenter.cluster
    resource.vcenter.datacenter
    resource.vcenter.datastore
    resource.vcenter.folder
    resource.vcenter.resourcePool
    resource.vcenter.storagePolicyName
    resource.vmTrackingEnabled
    gkeonprem.googleapis.com/VmwareNodePool resource.annotations
    resource.config.bootDiskSizeGb
    resource.config.cpus
    resource.config.enableLoadBalancer
    resource.config.image
    resource.config.imageType
    resource.config.memoryMb
    resource.config.replicas
    resource.config.taints.effect
    resource.config.taints.key
    resource.config.taints.value
    resource.config.vsphereConfig.datastore
    resource.config.vsphereConfig.hostGroups
    resource.config.vsphereConfig.tags.category
    resource.config.vsphereConfig.tags.tag
    resource.displayName
    resource.name
    resource.nodePoolAutoscaling.maxReplicas
    resource.nodePoolAutoscaling.minReplicas
    resource.onPremVersion

    次のステップ