在 GKE 中執行自己的憑證授權單位和金鑰

準備環境

在本節中，您會找出 Google Cloud 要在本教學課程中使用的專案，並在 Cloud KMS 中建立金鑰環來存放金鑰。

識別專案

建議您使用個別的 Google Cloud 專案，如下所示：

• 金鑰專案：包含所有金鑰和 CA。
• 叢集專案：內含 GKE 叢集。

您可以選擇將金鑰、CA 和 GKE 叢集放在同一個專案中，但建議您使用不同的專案，讓機構中管理加密編譯作業的團隊，與管理叢集作業的團隊分開。

建立金鑰環

在金鑰專案中建立金鑰環，用於保存特定叢集的所有金鑰。您必須在與 GKE 叢集相同的位置建立金鑰環。

執行下列指令：

gcloud kms keyrings create KEY_RING_NAME \
    --location=us-central1 \
    --project=KEY_PROJECT_ID

更改下列內容：

• KEY_RING_NAME：金鑰環的名稱。
• KEY_PROJECT_ID：金鑰專案的專案 ID。

建立金鑰

針對服務帳戶金鑰和 CA 等憑證授權單位，您可以使用 Cloud KMS 建立金鑰。本節說明如何建立 GKE 用於簽署及驗證叢集憑證的金鑰。您可以根據貴機構的需求，為這些金鑰指定自己的屬性。詳情請參閱「建立金鑰」頁面和 projects.locations.keyRings.cryptoKeys API 參考資料。

在 Cloud KMS 中建立這些資源時，請注意下列事項：

• 如果金鑰專案中已有金鑰環，您可以使用該金鑰環儲存為叢集建立的所有金鑰。
• 金鑰環必須與叢集位於相同 Google Cloud 位置，才能盡量縮短延遲時間。
• 金鑰必須指定 asymmetric-signing 做為金鑰用途。
• 請根據金鑰類型使用下列演算法：
  • ServiceAccount 簽署金鑰：強大的 RSA 簽署 PKCS1 演算法，例如 rsa-sign-pkcs1-4096-sha256 或 rsa-sign-pkcs1-3072-sha256。
  • 憑證授權單位金鑰：強效演算法，例如 ec-sign-p256-sha256。
• 系統支援 Cloud HSM 硬體金鑰，但software防護等級已足以應付大多數用途。如要瞭解硬體金鑰，請參閱 Cloud HSM。
• 請勿修改金鑰銷毀的預設時間長度。
• GKE 不會阻止您刪除叢集使用的 Cloud KMS 金鑰，包括 CA 服務金鑰。刪除金鑰或 CA 前，請確保資源未使用。

如要建立金鑰，請執行下列指令：

1. 建立 Kubernetes ServiceAccount 簽署金鑰，您也可以在建立叢集時，將其指定為服務帳戶驗證金鑰：

   gcloud kms keys create sa-signing-key \
       --keyring=KEY_RING_NAME \
       --location=us-central1\
       --purpose="asymmetric-signing" \
       --protection-level=hsm \
       --default-algorithm=rsa-sign-pkcs1-4096-sha256 \
       --project=KEY_PROJECT_ID
   

   將 KEY_PROJECT_ID 替換為專屬金鑰專案的專案 ID。

2. 建立叢集根 CA 金鑰：

   gcloud kms keys create cluster-ca-key \
       --keyring=KEY_RING_NAME \
       --location=us-central1\
       --purpose="asymmetric-signing" \
       --protection-level=hsm \
       --default-algorithm=ec-sign-p256-sha256 \
       --project=KEY_PROJECT_ID
   

3. 建立 etcd 對等互連根 CA 金鑰：

   gcloud kms keys create etcd-peer-ca-key \
       --keyring=KEY_RING_NAME \
       --location=us-central1\
       --purpose="asymmetric-signing" \
       --protection-level=hsm \
       --default-algorithm=ec-sign-p256-sha256 \
       --project=KEY_PROJECT_ID
   

4. 建立 etcd API 根 CA 金鑰：

   gcloud kms keys create etcd-api-ca-key \
       --keyring=KEY_RING_NAME \
       --location=us-central1\
       --purpose="asymmetric-signing" \
       --protection-level=hsm \
       --default-algorithm=ec-sign-p256-sha256 \
       --project=KEY_PROJECT_ID
   

5. 建立匯總根 CA 金鑰：

   gcloud kms keys create aggregation-ca-key \
       --keyring=KEY_RING_NAME \
       --location=us-central1\
       --purpose="asymmetric-signing" \
       --protection-level=hsm \
       --default-algorithm=ec-sign-p256-sha256 \
       --project=KEY_PROJECT_ID
   

建立 CA

為每個控制層函式建立金鑰後，請使用各個金鑰，透過 CA 服務建立 CA 集區和對應的根 CA：

1. 建立叢集 CA 集區：

   gcloud privateca pools create cluster-ca-pool \
       --location=us-central1 \
       --tier=enterprise \
       --project=KEY_PROJECT_ID \
       --no-publish-crl --no-publish-ca-cert
   

   --no-publish-crl 旗標和 --no-publish-ca-cert 旗標為選用項目。如果省略這些旗標，憑證就會發布至 Cloud Storage 值區。詳情請參閱「為 CA 集區中的 CA 啟用 CA 憑證和 CRL 發布功能」。

2. 建立叢集根 CA：

   gcloud privateca roots create cluster-root-ca \
       --pool=cluster-ca-pool \
       --location=us-central1 \
       --kms-key-version=projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/cluster-ca-key/cryptoKeyVersions/1 \
       --subject="CN=cluster-ca, O=ORGANIZATION" \
       --project=KEY_PROJECT_ID \
       --auto-enable
   

   將 ORGANIZATION 替換為貴機構的名稱。

3. 建立 etcd 對等互連 CA 集區：

   gcloud privateca pools create etcd-peer-ca-pool \
       --location=us-central1 \
       --tier=enterprise \
       --project=KEY_PROJECT_ID \
       --no-publish-crl --no-publish-ca-cert
   

4. 建立 etcd 對等互連根 CA：

   gcloud privateca roots create etcd-peer-root-ca \
       --pool=etcd-peer-ca-pool \
       --location=us-central1 \
       --kms-key-version=projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/etcd-peer-ca-key/cryptoKeyVersions/1 \
       --subject="CN=etcd-peer-ca, O=ORGANIZATION" \
       --project=KEY_PROJECT_ID \
       --auto-enable
   

5. 建立 etcd API CA 集區：

   gcloud privateca pools create etcd-api-ca-pool \
       --location=us-central1 \
       --tier=enterprise \
       --project=KEY_PROJECT_ID \
       --no-publish-crl --no-publish-ca-cert
   

6. 建立 etcd API 根層級 CA：

   gcloud privateca roots create etcd-api-root-ca \
       --pool=etcd-api-ca-pool \
       --location=us-central1 \
       --kms-key-version=projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/etcd-api-ca-key/cryptoKeyVersions/1 \
       --subject="CN=etcd-api-ca, O=ORGANIZATION" \
       --project=KEY_PROJECT_ID \
       --auto-enable
   

7. 建立匯總 CA 集區：

   gcloud privateca pools create aggregation-ca-pool \
       --location=us-central1 \
       --tier=enterprise \
       --project=KEY_PROJECT_ID \
       --no-publish-crl --no-publish-ca-cert
   

8. 建立匯總根 CA：

   gcloud privateca roots create aggregation-root-ca \
       --pool=aggregation-ca-pool \
       --location=us-central1 \
       --kms-key-version=projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/aggregation-ca-key/cryptoKeyVersions/1 \
       --subject="CN=aggregation-ca, O=ORGANIZATION" \
       --project=KEY_PROJECT_ID \
       --auto-enable
   

將 IAM 角色授予 GKE 服務代理

GKE 服務代理需要存取您在 Cloud KMS 和 CA Service 中建立的資源。服務代理程式會使用這些資源在叢集中簽署、驗證及核發憑證。您可以使用下列預先定義的 IAM 角色：

• Kubernetes Engine KMS 加密編譯金鑰使用者 (roles/container.cloudKmsKeyUser)
• CA 服務憑證管理員 (roles/privateca.certificateManager)

如要將這些角色授予 GKE 服務代理程式，請執行下列操作：

1. 找出叢集專案的專案編號：

   gcloud projects describe CLUSTER_PROJECT_ID \
       --format='value(projectNumber)'
   

   將 CLUSTER_PROJECT_ID 替換為叢集專案的專案 ID。

2. 在您於「建立金鑰」中建立的服務帳戶簽署金鑰上，授予 Kubernetes Engine KMS Crypto Key User 角色：

   gcloud kms keys add-iam-policy-binding sa-signing-key \
     --location=us-central1 \
     --keyring=KEY_RING_NAME \
     --member="serviceAccount:service-CLUSTER_PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com" \
     --role=roles/container.cloudKmsKeyUser \
     --project=KEY_PROJECT_ID
   

   將 CLUSTER_PROJECT_NUMBER 替換為叢集專案的專案編號。

3. 在您於「建立 CA」中建立的 CA 集區中，授予 CA 服務憑證管理員角色：

   gcloud privateca pools add-iam-policy-binding cluster-ca-pool \
       --location=us-central1 \
       --member="serviceAccount:service-CLUSTER_PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com" \
       --role=roles/privateca.certificateManager \
       --project=KEY_PROJECT_ID
   
   gcloud privateca pools add-iam-policy-binding etcd-peer-ca-pool \
       --location=us-central1 \
       --member="serviceAccount:service-CLUSTER_PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com" \
       --role=roles/privateca.certificateManager \
       --project=KEY_PROJECT_ID
   
   gcloud privateca pools add-iam-policy-binding etcd-api-ca-pool \
       --location=us-central1 \
       --member="serviceAccount:service-CLUSTER_PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com" \
       --role=roles/privateca.certificateManager \
       --project=KEY_PROJECT_ID
   
   gcloud privateca pools add-iam-policy-binding aggregation-ca-pool \
       --location=us-central1 \
       --member="serviceAccount:service-CLUSTER_PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com" \
       --role=roles/privateca.certificateManager \
       --project=KEY_PROJECT_ID
   

未使用 gcloud CLI 時授予其他角色

如果您打算使用 Terraform 或 Google Cloud 控制台等用戶端設定 CA 和金鑰，而非使用 gcloud CLI，則必須執行本節所述的其他設定步驟。如果您使用 gcloud CLI，請略過這個部分，並前往「在新叢集上設定 CA 和金鑰」一節。

如本頁所述，使用 gcloud CLI 設定 CA 和金鑰時，gcloud CLI 會自動建立及設定 CA 服務的服務代理程式，並授予服務代理程式 IAM 角色。不過，如果您使用 Terraform 或 Google Cloud 控制台等用戶端設定 Google Cloud環境，則必須為金鑰專案手動執行下列設定步驟：

1. 觸發建立 CA 服務服務代理。

   gcloud beta services identity create --service=privateca.googleapis.com \
       --project=KEY_PROJECT_ID
   

2. 找出主要專案的專案編號：

   gcloud projects describe KEY_PROJECT_ID \
       --format='value(projectNumber)'
   

3. 在「建立金鑰」一節中建立的所有根 CA 金鑰上，授予「檢視者」 (roles/viewer) 角色和「Cloud KMS CryptoKey 簽署者/驗證者」(roles/cloudkms.signerVerifier) 角色：

   for key in cluster-ca-key etcd-peer-ca-key etcd-api-ca-key aggregation-ca-key
   do
   gcloud kms keys add-iam-policy-binding $key \
       --keyring=KEY_RING_NAME \
       --location=LOCATION \
       --role=roles/viewer \
       --member="serviceAccount:service-KEY_PROJECT_NUMBER@gcp-sa-privateca.iam.gserviceaccount.com" \
       --project=KEY_PROJECT_ID
   
   gcloud kms keys add-iam-policy-binding $key \
       --keyring=KEY_RING_NAME \
       --location=LOCATION \
       --role=roles/cloudkms.signerVerifier \
       --member="serviceAccount:service-KEY_PROJECT_NUMBER@gcp-sa-privateca.iam.gserviceaccount.com" \
       --project=KEY_PROJECT_ID
   done
   

   將 KEY_PROJECT_NUMBER 替換為上一步輸出內容中的金鑰專案編號。

   這項指令是 for 迴圈，會逐一迭代處理根 CA 金鑰，並將該金鑰的每個角色授予 CA 服務服務代理程式。如果您為根 CA 金鑰使用不同的名稱，請為每個金鑰手動執行這些指令。

在新叢集上設定 CA 和金鑰

建立金鑰、CA 集區、根 CA，並將 IAM 角色授予 GKE 服務代理程式後，請建立使用這些資源的新叢集。

您在叢集建立指令中指定的旗標需要下列資源路徑做為值：

• 服務帳戶簽署金鑰在 Cloud KMS 中的金鑰版本路徑，您已在「建立金鑰」中建立該金鑰。您會為 service-account-signing-keys 標記和 service-account-verification-keys 標記指定這個路徑。
• 您在「建立 CA」中建立的每個 CA 集區路徑。

如要設定新叢集以使用金鑰和 CA，請按照下列步驟操作：

1. 找出最新啟用服務帳戶簽署金鑰版本的路徑：

   gcloud kms keys versions list \
       --key=sa-signing-key \
       --keyring=KEY_RING_NAME \
       --location=us-central1 \
       --project=KEY_PROJECT_ID \
       --filter="STATE=ENABLED" --sort-by=~ --format="value(name)" | sed 1q
   

   將 KEY_PROJECT_ID 替換為金鑰專案的專案 ID。

   輸出結果會與下列內容相似：

   projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/sa-signing-key/cryptoKeyVersions/1
   

2. 找出您建立的每個 CA 集區路徑：

   gcloud privateca pools list --format="get(name)" \
       --project=KEY_PROJECT_ID
   

   輸出結果會與下列內容相似：

   projects/KEY_PROJECT_ID/locations/us-central1/caPools/cluster-ca-pool
   projects/KEY_PROJECT_ID/locations/us-central1/caPools/etcd-peer-ca-pool
   projects/KEY_PROJECT_ID/locations/us-central1/caPools/etcd-api-ca-pool
   projects/KEY_PROJECT_ID/locations/us-central1/caPools/aggregation-ca-pool
   

   確認輸出內容包含您為 GKE 建立的所有 CA 集區。

建立叢集

在本節中，您將建立叢集，並根據要設定的 GKE 控制層授權功能，指定不同選項。您只能在建立叢集時，為叢集設定這些功能。下列指令會建立 Autopilot 模式叢集。如要改為建立標準模式叢集，請使用相同的旗標搭配 gcloud container clusters create 指令。

• 如要只設定在本教學課程中建立的 CA 和金鑰，請執行下列指令：

  gcloud container clusters create-auto example-cluster \
      --location=us-central1 \
      --project=CLUSTER_PROJECT_ID \
      --cluster-version=VERSION \
      --service-account-signing-keys=projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/sa-signing-key/cryptoKeyVersions/1 \
      --service-account-verification-keys=projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/sa-signing-key/cryptoKeyVersions/1 \
      --cluster-ca=projects/KEY_PROJECT_ID/locations/us-central1/caPools/cluster-ca-pool \
      --etcd-peer-ca=projects/KEY_PROJECT_ID/locations/us-central1/caPools/etcd-peer-ca-pool \
      --etcd-api-ca=projects/KEY_PROJECT_ID/locations/us-central1/caPools/etcd-api-ca-pool \
      --aggregation-ca=projects/KEY_PROJECT_ID/locations/us-central1/caPools/aggregation-ca-pool
  

  更改下列內容：

  • CLUSTER_PROJECT_ID：叢集專案的專案 ID。
  • VERSION：叢集的 GKE 版本。必須為 1.31.1-gke.1846000 以上版本。

• 如要設定 CA 和金鑰，以及控制層開機磁碟加密和 etcd 加密，請執行下列步驟：

  1. 按照「加密 etcd 和控制層開機磁碟」一文中的指示，完成所有金鑰設定步驟。
  2. 按照「在叢集中使用加密金鑰」一文中的操作說明，找出每個金鑰的路徑。

  3. 建立叢集：

     gcloud container clusters create-auto example-cluster \
         --location=us-central1 \
         --project=CLUSTER_PROJECT_ID \
         --cluster-version=VERSION \
         --service-account-signing-keys=projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/sa-signing-key/cryptoKeyVersions/1 \
         --service-account-verification-keys=projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/sa-signing-key/cryptoKeyVersions/1 \
         --cluster-ca=projects/KEY_PROJECT_ID/locations/us-central1/caPools/cluster-ca-pool \
         --etcd-peer-ca=projects/KEY_PROJECT_ID/locations/us-central1/caPools/etcd-peer-ca-pool \
         --etcd-api-ca=projects/KEY_PROJECT_ID/locations/us-central1/caPools/etcd-api-ca-pool \
         --aggregation-ca=projects/KEY_PROJECT_ID/locations/us-central1/caPools/aggregation-ca-pool \
         --control-plane-disk-encryption-key=PATH_TO_DISK_KEY \
         --gkeops-etcd-backup-encryption-key=PATH_TO_ETCD_BACKUP_KEY
     

     更改下列內容：

     • CLUSTER_PROJECT_ID：叢集專案的專案 ID。
     • VERSION：叢集的 GKE 版本。必須為 1.31.1-gke.1846000 以上版本。
     • PATH_TO_DISK_KEY：磁碟加密金鑰的路徑。
     • PATH_TO_ETCD_BACKUP_KEY：etcd 內部備份加密金鑰的路徑。

  您也可以在建立新的標準模式叢集時使用這些標記。

確認叢集使用您指定的金鑰和 CA

本節說明如何驗證叢集建立期間使用的金鑰和 CA。您可以使用 Cloud Logging 或 Google Cloud CLI 執行這項驗證。

使用記錄功能驗證金鑰和 CA

如要使用 Logging 驗證金鑰和 CA，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「Logs Explorer」頁面：

   前往「Logs Explorer」頁面

2. 指定下列查詢：

   resource.type="gke_cluster"
   resource.labels.cluster_name="CLUSTER_NAME"
   resource.labels.location="CLUSTER_LOCATION"
   protoPayload.serviceName="container.googleapis.com"
   protoPayload.methodName=~"google.container.v(1|1alpha1|1beta1).ClusterManager.CreateCluster"
   protoPayload.request.cluster.userManagedKeysConfig:*
   

   protoPayload.request.cluster.userManagedKeysConfig:* 會篩選叢集建立記錄的結果，包括您管理的金鑰和 CA。

3. 點選「執行查詢」

在結果中展開叢集建立記錄。確認金鑰和 CA 的路徑與您為該叢集建立的路徑相同，如下列範例所示：

# lines omitted for clarity
userManagedKeysConfig: {
  aggregationCa: "projects/KEY_PROJECT_ID/locations/us-central1/caPools/aggregation-ca-pool"
  clusterCa: "projects/KEY_PROJECT_ID/locations/us-central1/caPools/cluster-ca-pool"
  etcdApiCa: "projects/KEY_PROJECT_ID/locations/us-central1/caPools/etcd-api-ca-pool"
  etcdPeerCa: "projects/KEY_PROJECT_ID/locations/us-central1/caPools/etcd-peer-ca-pool"
  serviceAccountSigningKeys: [
    0: "projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/sa-signing-key/cryptoKeyVersions/1"
  ]
  serviceAccountVerificationKeys: [
    0: "projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/sa-signing-key/cryptoKeyVersions/1"
  ]
}

使用 gcloud CLI 驗證金鑰和 CA

如要確認叢集是否使用您建立的憑證授權單位和金鑰，請執行下列指令：

gcloud container clusters describe example-cluster \
    --location=us-central1 \
    --project=CLUSTER_PROJECT_ID

輸出內容應包含 userManagedKeysConfig 欄位，如下列範例所示：

# lines omitted for clarity
userManagedKeysConfig:
  sa-signing-key: projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/sa-signing-key/cryptoKeyVersions/1
  sa-verification-key: projects/KEY_PROJECT_ID/locations/us-central1/keyRings/KEY_RING_NAME/cryptoKeys/sa-signing-key/cryptoKeyVersions/1
  cluster-ca: projects/KEY_PROJECT_ID/locations/us-central1/caPools/cluster-ca-pool
  etcd-peer-ca: projects/KEY_PROJECT_ID/locations/us-central1/caPools/etcd-peer-ca-pool
  etcd-api-ca: projects/KEY_PROJECT_ID/locations/us-central1/caPools/etcd-api-ca-pool
  aggregation-ca: projects/KEY_PROJECT_ID/locations/us-central1/caPools/aggregation-ca-pool