为 GKE 集群设置

本文档介绍如何为 GKE 集群设置 Binary Authorization。并向您展示了如何配置示例 Binary Authorization 政策。

准备工作

  1. 您必须向 Connect 注册 GKE 集群。Binary Authorization 支持以下环境。

    GKE on Bare Metal

    GKE on Bare Metal 1.14 或更高版本。

    GKE on VMware

    GKE on VMware 1.4 或更高版本。

  2. Binary Authorization 服务使用可通过常规互联网连接访问的公共 IP 地址。针对 HTTPS 配置防火墙规则,以允许用户集群访问端点 binaryauthorization.googleapis.com

    GKE on Bare Metal

    配置 GKE on Bare Metal 防火墙规则

    GKE on VMware

    配置 GKE on VMware 防火墙规则

  3. 如果要使用集中式 Cloud Audit Logs 查看审核日志条目(包括来自 Binary Authorization for GKE 集群的日志条目),您必须在集群配置中配置 Cloud Audit Logs。

    GKE on Bare Metal

    GKE on Bare Metal 中配置 Cloud Audit Logs。

    GKE on VMware

    GKE on VMware 中配置 Cloud Audit Logs。

  4. 您必须按照以下步骤启用 Binary Authorization API:

    1. 转到 Google Cloud 控制台。

      启用 API

    2. 在项目下拉列表中,选择您的 Connect 项目。您可以在用户集群配置文件的 gkeConnect 部分中找到此 Google Cloud 项目。这是将您的用户集群连接到 Google Cloud 的 Google Cloud 项目。

设置 Binary Authorization

在本部分中,您将在集群中设置 Binary Authorization for GKE 集群。

指定安装环境变量

如需指定环境变量,请执行以下操作:

使用 Workload Identity

  1. 指定您的 Connect 项目:

    export PROJECT_ID=PROJECT_ID
    
  2. 指定集群的舰队成员资格 ID:

    export MEMBERSHIP_ID=MEMBERSHIP_ID
    

使用服务账号密钥

  1. 指定您的 Connect 项目:

    export PROJECT_ID=PROJECT_ID
    

    PROJECT_ID 替换为用户集群配置文件的 gkeConnect 部分中的 Google Cloud 项目。

  2. 指定用户集群的 kubeconfig 文件的路径:

    export KUBECONFIG=PATH
    

    PATH 替换为用户集群 kubeconfig 文件的路径。

  3. 为 Binary Authorization API 访问服务账号选择一个名称:

    export SA_NAME=SERVICE_ACCOUNT_NAME
    

    SERVICE_ACCOUNT_NAME 替换为您选择的服务账号名称。Binary Authorization 模块使用此服务账号来访问 Binary Authorization API。

  4. 指定您在本指南后面部分要下载的服务账号密钥文件的路径:

    export SA_JSON_PATH=SA_KEY_FILE_PATH
    

    SA_KEY_FILE_PATH 替换为服务账号的 JSON 格式密钥文件的路径。

在用户集群中安装 Binary Authorization 模块

如需安装 Binary Authorization 模块,请执行以下操作:

使用 Workload Identity

舰队 Workload Identity 可让集群中的工作负载向 Google 进行身份验证,而无需下载、手动轮替和常规管理 Google Cloud 服务账号密钥。请参阅使用舰队 Workload Identity,详细了解舰队 Workload Identity 的工作原理以及使用该服务的优势。

  1. 向 Kubernetes 服务账号授予 Connect 项目的 binaryauthorization.policyEvaluator 角色:

    gcloud projects add-iam-policy-binding ${PROJECT_ID} \
        --member="serviceAccount:${PROJECT_ID}.svc.id.goog[binauthz-system/binauthz-admin]" \
        --role="roles/binaryauthorization.policyEvaluator"
    
  2. 创建工作目录:

    1. 创建名为 binauthz 的目录。

    2. 切换到目录。

  3. 下载 manifest-wi-0.2.6.yaml.tmpl 文件,该文件用于在您的 GKE 集群用户集群中安装 Binary Authorization 模块:

    GKE on Bare Metal

    gsutil cp gs://anthos-baremetal-release/binauthz/manifest-wi-0.2.6.yaml.tmpl .
    

    GKE on VMware

    gsutil cp gs://gke-on-prem-release/binauthz/manifest-wi-0.2.6.yaml.tmpl .
    
  4. 替换模板中的环境变量:

    envsubst < manifest-wi-0.2.6.yaml.tmpl > manifest-0.2.6.yaml
    
  5. 在您的用户集群中安装 Binary Authorization 模块:

    kubectl apply -f manifest-0.2.6.yaml
    
  6. 验证 Deployment 是否已创建:

    kubectl get pod --namespace binauthz-system
    

    您会看到列出的 Pod binauthz-module-deployment-*StatusRunning 且有 1/1 个 Pod 准备就绪,类似于如下输出:

    NAME                                          READY   STATUS    RESTARTS   AGE
    binauthz-module-deployment-5fddf9594f-qjprz   1/1     Running   0          11s
    

使用服务账号密钥

  1. 设置 Google Cloud CLI 的默认项目:

    gcloud config set project ${PROJECT_ID}
    
  2. 创建 Binary Authorization API 访问服务账号:

    gcloud iam service-accounts create ${SA_NAME}
    
  3. binaryauthorization.policyEvaluator 角色授予给您的 Connect 项目中的 Binary Authorization API 访问服务账号:

    gcloud projects add-iam-policy-binding ${PROJECT_ID}\
        --member="serviceAccount:${SA_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" \
        --role="roles/binaryauthorization.policyEvaluator"
    
  4. 创建工作目录:

    1. 创建名为 binauthz 的目录。

    2. 切换到目录。

  5. 下载 manifest-0.2.6.yaml 文件,该文件用于在您的 GKE 集群用户集群中安装 Binary Authorization 模块:

    anthos_clusters_on_bare_metal

    gsutil cp gs://anthos-baremetal-release/binauthz/manifest-0.2.6.yaml .
    

    anthos_clusters_on_vmware

    gsutil cp gs://gke-on-prem-release/binauthz/manifest-0.2.6.yaml .
    
  6. binauthz-system 命名空间创建 YAML 文件。

    将以下内容复制到名为 namespace.yaml 的文件中:

    apiVersion: v1
    kind: Namespace
    metadata:
      labels:
        control-plane: binauthz-controller
      name: binauthz-system
    
  7. 在您的用户集群中创建命名空间:

    kubectl apply -f namespace.yaml
    

    您将看到类似如下所示的输出:

    namespace/binauthz-system created
    
  8. 下载该服务账号的 JSON 密钥文件:

    gcloud iam service-accounts keys create ${SA_JSON_PATH} --iam-account ${SA_NAME}@${PROJECT_ID}.iam.gserviceaccount.com
    
  9. 将服务账号密钥作为 Kubernetes Secret 保存到您的用户集群中:

    kubectl --namespace binauthz-system create secret generic binauthz-sa --from-file=key.json=${SA_JSON_PATH}
    
  10. 在您的用户集群中安装 Binary Authorization 模块:

    kubectl apply -f manifest-0.2.6.yaml
    
  11. 验证 Deployment 是否已创建:

    kubectl get pod --namespace binauthz-system
    

    您会看到列出的 Pod binauthz-module-deployment-*StatusRunning 且有 1/1 个 Pod 准备就绪,类似于如下输出:

    NAME                                          READY   STATUS    RESTARTS   AGE
    binauthz-module-deployment-5fddf9594f-qjprz   1/1     Running   0          11s
    

设置和使用 Binary Authorization 政策

本部分介绍如何为 GKE 集群设置和使用 Binary Authorization 政策。

在每个示例中,您都需要配置政策,然后通过尝试在 GKE 集群中部署容器映像来测试该政策。

全部允许

本部分演示了一个成功的使用场景。您将配置 Binary Authorization 政策,使容器映像满足该政策并能够成功部署。

在 Google Cloud 中,执行以下操作:

控制台

  1. 在 Google Cloud 控制台中,转到 Binary Authorization 页面。

    转到 Binary Authorization

  2. 请务必选择您的 Connect 项目 ID。

  3. 点击修改政策

  4. 项目默认规则下,选择允许所有映像

  5. 点击保存政策

gcloud

  1. 为您的 Connect 项目设置 PROJECT_ID。您可以在用户集群配置文件的 gkeConnect 字段中找到此项目 ID。

    export PROJECT_ID=PROJECT_ID
    

    设置默认的 Google Cloud 项目。

    gcloud config set project ${PROJECT_ID}
    
  2. 将 YAML 格式的政策文件导出到本地系统:

    gcloud container binauthz policy export  > policy.yaml
    

    您的 YAML 文件如下所示:

    defaultAdmissionRule:
      enforcementMode: ENFORCED_BLOCK_AND_AUDIT_LOG
      evaluationMode: ALWAYS_ALLOW
    globalPolicyEvaluationMode: ENABLE
    name: projects/<var>PROJECT_ID</var>/policy
    
  3. 修改 policy.yaml

  4. evaluationMode 设置为 ALWAYS_ALLOW

  5. 如果文件中包含 requireAttestationsBy 块,请删除此块。

  6. 保存文件。

  7. 导入 policy.yaml,如下所示:

    gcloud container binauthz policy import policy.yaml
    

如需将豁免映像添加到许可名单,请在政策文件中添加以下内容:

admissionWhitelistPatterns:
  - namePattern: EXEMPT_IMAGE_PATH

EXEMPT_IMAGE_PATH 替换为要豁免的映像的路径。如需豁免其他映像,请添加其他 - namePattern 条目。详细了解 admissionWhitelistPatterns

在 GKE 集群管理员工作站上,执行以下操作:

  1. 为 Pod 创建清单文件。

    将以下内容保存到名为 pod.yaml 的文件中:

    apiVersion: v1
    kind: Pod
    metadata:
      name: test-pod
    spec:
      containers:
      - name: test-container
        image: gcr.io/google-samples/hello-app@sha256:c62ead5b8c15c231f9e786250b07909daf6c266d0fcddd93fea882eb722c3be4
    
  2. 创建 Pod:

    kubectl apply -f pod.yaml
    

    您会看到 Pod 已成功部署。

  3. 删除 Pod:

    kubectl delete -f pod.yaml
    

全都不允许

本部分演示了一个失败的使用场景。在本部分中,您将默认政策配置为禁止部署容器映像。

在 Google Cloud 中,执行以下操作:

控制台

  1. 在 Google Cloud 控制台中,转到 Binary Authorization 页面。

    转到 Binary Authorization

  2. 确保您的 Connect 项目处于选中状态。

  3. 点击修改政策

  4. 项目默认规则下,选择禁止所有映像

  5. 点击保存政策

gcloud

  1. PROJECT_ID 设置为您的 Connect 项目 ID。

    export PROJECT_ID=PROJECT_ID
    
  2. 设置默认的 Google Cloud 项目。

    gcloud config set project ${PROJECT_ID}
    
  3. 导出 YAML 格式的政策文件:

    gcloud container binauthz policy export  > policy.yaml
    
  4. 修改 policy.yaml

  5. evaluationMode 设置为 ALWAYS_DENY

  6. 如果文件中包含 requireAttestationsBy 块,请删除此块。

  7. 保存文件。

  8. 导入 policy.yaml,如下所示:

    gcloud container binauthz policy import policy.yaml
    

在 GKE 集群管理员工作站上,执行以下操作:

  1. 为 Pod 创建清单文件。

    将以下内容保存到名为 pod.yaml 的文件中:

    apiVersion: v1
    kind: Pod
    metadata:
      name: test-pod
    spec:
      containers:
      - name: test-container
        image: gcr.io/google-samples/hello-app@sha256:c62ead5b8c15c231f9e786250b07909daf6c266d0fcddd93fea882eb722c3be4
    
  2. 创建 Pod:

    kubectl apply -f pod.yaml
    

    您会看到 Pod 已被禁止部署。输出如下所示:

    Error from server (VIOLATES_POLICY): error when creating "pod.yaml": admission webhook "binaryauthorization.googleapis.com" denied the request: Denied by default admission rule. Overridden by evaluation mode
    

获取用户集群资源 ID

本部分介绍如何为用户集群编写集群资源 ID。在 Binary Authorization 政策中,您可以创建集群特定的规则。您可以将这些规则与集群特定的资源 ID(该资源 ID 将基于集群 ID)相关联。

您可以按如下方式获取该资源 ID:

控制台

  1. Google Cloud 控制台中,转到 GKE Enterprise 集群页面。

    转到集群

  2. 选择 GKE 集群的 Connect 项目 ID。您可以在用户集群配置文件的 gkeConnect 部分中找到此项目 ID。

  3. Anthos 管理的集群名称列下找到您的集群 ID。

  4. 如需创建资源 ID,请将前缀 global. 添加到集群 ID,以使资源 ID 采用以下格式:global.CLUSTER_ID

gcloud

  1. 使用 SSH 连接到您的 GKE 集群管理员工作站。

  2. 在管理员工作站上,运行以下命令:

    kubectl get membership -o yaml
    
  3. 从输出的 spec.owner.id 字段中获取集群 ID。示例输出如下所示:

    apiVersion: v1
    items:
    - apiVersion: hub.gke.io/v1
      kind: Membership
      ...
      spec:
        owner:
          id: //gkehub.googleapis.com/projects/PROJECT_NUMBER/locations/global/memberships/my-cluster-id
    

    在示例输出中,集群 ID 为 my-cluster-id

  4. 如需创建资源 ID,请将前缀 global. 添加到集群 ID。在该示例中,资源 ID 为 global.my-cluster-id

您可以在定义集群特定的规则时使用该资源 ID。了解如何使用 Google Cloud 控制台gcloud CLI 设置集群特定的规则。

更新失败政策

Binary Authorization 模块网络钩子可以配置为应急开启应急关闭

应急关闭

如需将失败政策更新为应急关闭,请执行以下操作:

  1. 修改 manifest-0.2.6.yaml 文件并将 failurePolicy 设置为 Fail

  2. 重新启用网络钩子:

    kubectl apply -f manifest-0.2.6.yaml
    

    您将看到类似如下所示的输出:

    serviceaccount/binauthz-admin unchanged
    role.rbac.authorization.k8s.io/binauthz-role configured
    clusterrole.rbac.authorization.k8s.io/binauthz-role configured
    rolebinding.rbac.authorization.k8s.io/binauthz-rolebinding unchanged
    clusterrolebinding.rbac.authorization.k8s.io/binauthz-rolebinding unchanged
    secret/binauthz-tls unchanged
    service/binauthz unchanged
    deployment.apps/binauthz-module-deployment unchanged
    validatingwebhookconfiguration.admissionregistration.k8s.io/binauthz-validating-webhook-configuration configured
    

应急开启

如需将失败政策更新为应急开启,请执行以下操作:

  1. 修改 manifest-0.2.6.yaml 文件并将 failurePolicy 设置为 Ignore

  2. 重新启用网络钩子:

    kubectl apply -f manifest-0.2.6.yaml
    

    您将看到类似如下所示的输出:

    serviceaccount/binauthz-admin unchanged
    role.rbac.authorization.k8s.io/binauthz-role configured
    clusterrole.rbac.authorization.k8s.io/binauthz-role configured
    rolebinding.rbac.authorization.k8s.io/binauthz-rolebinding unchanged
    clusterrolebinding.rbac.authorization.k8s.io/binauthz-rolebinding unchanged
    secret/binauthz-tls unchanged
    service/binauthz unchanged
    deployment.apps/binauthz-module-deployment unchanged
    validatingwebhookconfiguration.admissionregistration.k8s.io/binauthz-validating-webhook-configuration configured
    

如需了解详情,请参阅网络钩子失败政策

清理

  1. 以下代码示例展示了如何停用网络钩子:

    kubectl delete ValidatingWebhookConfiguration/binauthz-validating-webhook-configuration
    
  2. 以下代码示例展示了如何重新启用网络钩子:

    kubectl apply -f manifest-0.2.6.yaml
    
  3. 以下代码示例展示了如何删除与 Binary Authorization 相关的所有资源:

    kubectl delete -f manifest-0.2.6.yaml
    kubectl delete namespace binauthz-system
    

后续步骤