Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
本页面介绍了如何使用组织政策服务自定义限制条件来限制对以下 Google Cloud 资源执行的特定操作:
composer.googleapis.com/Environment
如需详细了解组织政策,请参阅自定义组织政策。
组织政策和限制条件简介
借助 Google Cloud 组织政策服务,您可以对组织的资源进行程序化集中控制。作为组织政策管理员,您可以定义组织政策,这是一组称为限制条件的限制,会应用于 Google Cloud 资源层次结构中的Google Cloud 资源及其后代。您可以在组织、文件夹或项目级强制执行组织政策。
组织政策为各种 Google Cloud 服务提供预定义限制条件。但是,如果您想要更精细地控制和自定义组织政策中受限的特定字段,还可以创建自定义限制条件并在组织政策中使用这些自定义限制条件。
政策继承
如果您对资源强制执行政策,默认情况下,该资源的后代会继承组织政策。例如,如果您对某个文件夹强制执行一项政策, Google Cloud 会对该文件夹中的所有项目强制执行该政策。如需详细了解此行为及其更改方式,请参阅层次结构评估规则。
优势
您可以使用自定义组织政策来允许或拒绝 Cloud Composer 资源的特定值。例如,如果创建或更新 Cloud Composer 环境的请求未能满足组织政策设置的自定义约束条件验证,则请求会失败,并且会向调用方返回错误。此外,使用自定义组织政策:
提高安全性。例如,您可以定义禁止创建公共 IP 环境、启用以非公开方式使用的公共 IP 地址或指定特定网络和子网的使用情况的政策。
在创建或更新环境时,对要创建或使用的资源进行精细控制。
限制
与所有组织政策限制条件一样,政策更改不会追溯应用于现有实例。
- 新政策不会影响现有实例配置。
- 现有实例配置仍然有效,除非您使用 Google Cloud 控制台、Google Cloud CLI 或 RPC 将其从合规值更改为不合规值。
在对资源的 UPDATE 方法类型强制执行自定义组织政策之前,请确保现有环境符合每项政策。
由于一次更新操作只能更新一个字段,因此如果现有环境的多个字段同时违反了政策,就可能会发生死锁。
为避免死锁,请执行以下操作之一:
(推荐)先让所有现有环境都符合政策要求,然后再对资源强制执行该政策。如需检查哪些现有环境在该政策生效后将不合规,您可以使用政策模拟器。
停用政策强制执行,将现有环境更新为合规状态,然后重新强制执行该政策。
准备工作
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
- 请确保您知道您的组织 ID。
所需的角色
如需获得管理自定义组织政策所需的权限,请让您的管理员为您授予组织的 Organization Policy Administrator (roles/orgpolicy.policyAdmin
) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
创建自定义限制条件
自定义限制条件是在 YAML 文件中,由实施组织政策的服务所支持的资源、方法、条件和操作定义的。自定义限制条件的条件使用通用表达式语言 (CEL) 进行定义。如需详细了解如何使用 CEL 构建自定义限制条件中的条件,请参阅创建和管理自定义限制条件的 CEL 部分。
如需创建自定义限制条件,请使用以下格式创建 YAML 文件:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- RESOURCE_NAME
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION
替换以下内容:
ORGANIZATION_ID
:您的组织 ID,例如123456789
。CONSTRAINT_NAME
:新的自定义限制条件的名称。 自定义限制条件必须以custom.
开头,只能包含大写字母、小写字母或数字。例如custom.restrictEnvironmentSize
。该字段的最大长度为 70 个字符。RESOURCE_NAME
:包含要限制的对象和字段的Google Cloud 资源的完全限定名称。例如composer.googleapis.com/Environment
。CONDITION
:针对受支持的服务资源的表示法编写的 CEL 条件。此字段的长度上限为 1,000 个字符。 如需详细了解可用于针对其编写条件的资源,请参阅支持的资源。 例如resource.config.environmentSize == "ENVIRONMENT_SIZE_SMALL"
。ACTION
:满足condition
时要执行的操作。 可能的值包括ALLOW
和DENY
。DISPLAY_NAME
:限制条件的直观易记名称。 此字段的最大长度为 200 个字符。DESCRIPTION
:直观易懂的限制条件说明,在违反政策时显示为错误消息。 此字段的长度上限为 2,000 个字符。
如需详细了解如何创建自定义限制条件,请参阅定义自定义限制条件。
设置自定义限制条件
为新的自定义限制条件创建 YAML 文件后,您必须对其进行设置,以使其可用于组织中的组织政策。如需设置自定义限制条件,请使用gcloud org-policies set-custom-constraint
命令:
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
CONSTRAINT_PATH
替换为自定义限制条件文件的完整路径。例如 /home/user/customconstraint.yaml
。完成后,您的自定义限制条件会成为 Google Cloud 组织政策列表中的组织政策。如需验证自定义限制条件是否存在,请使用 gcloud org-policies list-custom-constraints
命令:gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
ORGANIZATION_ID
替换为您的组织资源的 ID。
如需了解详情,请参阅查看组织政策。
强制执行自定义组织政策
如需强制执行布尔值限制条件,您可以创建引用该限制条件的组织政策,并将该组织政策应用于 Google Cloud 资源。控制台
- 在 Google Cloud 控制台中,转到组织政策页面。
- 在项目选择器中,选择要设置组织政策的项目。
- 从组织政策页面上的列表中选择您的限制条件,以查看该限制条件的政策详情页面。
- 如需为该资源配置组织政策,请点击管理政策。
- 在修改政策页面,选择覆盖父级政策。
- 点击添加规则。
- 在强制执行部分中,选择开启还是关闭此组织政策的强制执行。
- (可选)如需使组织政策成为基于某个标记的条件性政策,请点击添加条件。请注意,如果您向组织政策添加条件规则,则必须至少添加一个无条件规则,否则无法保存政策。如需了解详情,请参阅设置带有标记的组织政策。
- 如果是自定义限制条件,您可以点击测试更改来模拟此组织政策的效果。如需了解详情,请参阅使用 Policy Simulator 测试组织政策更改。
- 若要完成并应用组织政策,请点击设置政策。该政策最长需要 15 分钟才能生效。
gcloud
如需创建强制执行布尔值限制条件的组织政策,请创建引用该限制条件的 YAML 政策文件:
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true
请替换以下内容:
-
PROJECT_ID
:要对其实施限制条件的项目。 -
CONSTRAINT_NAME
:您为自定义限制条件定义的名称。例如,custom.restrictEnvironmentSize
。
如需强制执行包含限制条件的组织政策,请运行以下命令:
gcloud org-policies set-policy POLICY_PATH
将 POLICY_PATH
替换为组织政策 YAML 文件的完整路径。该政策最长需要 15 分钟才能生效。
测试自定义组织政策
以下示例创建自定义限制条件和政策,仅允许创建小型 Cloud Composer 环境。
在开始之前,您应该了解以下信息:
- 您的组织 ID
- 您的项目 ID
创建限制条件
将以下文件保存为
constraint-require-only-small-environments.yaml
:name: organizations/ORGANIZATION_ID/customConstraints/custom.restrictEnvironmentSize resourceTypes: - composer.googleapis.com/Environment methodTypes: - CREATE condition: resource.config.environmentSize == "ENVIRONMENT_SIZE_SMALL" actionType: ALLOW displayName: Only allow small Composer environments. description: All environments must be small.
应用限制条件:
gcloud org-policies set-custom-constraint constraint-require-only-small-environments.yaml
创建政策
将以下文件保存为
policy-require-only-small-environments.yaml
:name: projects/PROJECT_ID/policies/custom.restrictEnvironmentSize spec: rules: - enforce: true
应用政策:
gcloud org-policies set-policy policy-require-only-small-environments.yaml
应用政策后,请等待大约两分钟,以便 Google Cloud开始强制执行政策。
测试政策
gcloud composer environments create ENVIRONMENT_NAME \
--location=LOCATION \
--image-version="composer-3-airflow-2.10.2-build.12" \
--environment-size=medium
由于存在限制条件(仅允许创建小型 Composer 环境),此环境创建操作会失败。
输出类似于以下内容:
You can't perform this action on a Composer environment due to Custom Organization Policy constraints set on your project. The following constraint(s) were violated: ["customConstraints/custom.restrictEnvironmentSize": All environments must be small.]
如需解决上一个错误,请创建一个小型环境。例如:
gcloud composer environments create ENVIRONMENT_NAME \
--location=LOCATION \
--image-version="composer-3-airflow-2.10.2-build.12" \
--environment-size=small
环境创建已成功启动。
常见用例的自定义组织政策示例
下表列出了一些常见用例的自定义限制条件的语法:
说明 | 限制条件语法 |
---|---|
仅允许专用 IP Cloud Composer 环境 |
name: organizations/ORGANIZATION_ID/customConstraints/custom.allowOnlyPrivateIp resourceTypes: - composer.googleapis.com/Environment methodTypes: - CREATE condition: resource.config.privateEnvironmentConfig.enablePrivateEnvironment == true actionType: ALLOW displayName: Only Private IP environments description: All environments must use Private IP networking |
工作器数量上限不得超过 10 |
name: organizations/ORGANIZATION_ID/customConstraints/custom.restrictMaxWorketCount resourceTypes: - composer.googleapis.com/Environment methodTypes: - CREATE - UPDATE condition: resource.config.workloadsConfig.worker.maxCount <= 10 actionType: ALLOW displayName: Limit the maximum number of workers description: All environments must have 10 or less workers |
Cloud Composer 支持的资源
下表列出了您可以在自定义限制条件中引用的 Cloud Composer 资源。资源 | 字段 |
---|---|
composer.googleapis.com/Environment |
resource.config.environmentSize
|
resource.config.maintenanceWindow.recurrence
| |
resource.config.masterAuthorizedNetworksConfig.enabled
| |
resource.config.nodeConfig.enableIpMasqAgent
| |
resource.config.nodeConfig.network
| |
resource.config.nodeConfig.serviceAccount
| |
resource.config.nodeConfig.subnetwork
| |
resource.config.privateEnvironmentConfig.cloudComposerConnectionSubnetwork
| |
resource.config.privateEnvironmentConfig.enablePrivateBuildsOnly
| |
resource.config.privateEnvironmentConfig.enablePrivateEnvironment
| |
resource.config.privateEnvironmentConfig.enablePrivatelyUsedPublicIps
| |
resource.config.privateEnvironmentConfig.networkingConfig.connectionType
| |
resource.config.privateEnvironmentConfig.privateClusterConfig.enablePrivateEndpoint
| |
resource.config.recoveryConfig.scheduledSnapshotsConfig.enabled
| |
resource.config.recoveryConfig.scheduledSnapshotsConfig.snapshotCreationSchedule
| |
resource.config.recoveryConfig.scheduledSnapshotsConfig.snapshotLocation
| |
resource.config.recoveryConfig.scheduledSnapshotsConfig.timeZone
| |
resource.config.resilienceMode
| |
resource.config.softwareConfig.cloudDataLineageIntegration.enabled
| |
resource.config.softwareConfig.imageVersion
| |
resource.config.softwareConfig.webServerPluginsMode
| |
resource.config.workloadsConfig.dagProcessor.count
| |
resource.config.workloadsConfig.dagProcessor.cpu
| |
resource.config.workloadsConfig.dagProcessor.memoryGb
| |
resource.config.workloadsConfig.dagProcessor.storageGb
| |
resource.config.workloadsConfig.scheduler.count
| |
resource.config.workloadsConfig.scheduler.cpu
| |
resource.config.workloadsConfig.scheduler.memoryGb
| |
resource.config.workloadsConfig.scheduler.storageGb
| |
resource.config.workloadsConfig.triggerer.count
| |
resource.config.workloadsConfig.triggerer.cpu
| |
resource.config.workloadsConfig.triggerer.memoryGb
| |
resource.config.workloadsConfig.webServer.cpu
| |
resource.config.workloadsConfig.webServer.memoryGb
| |
resource.config.workloadsConfig.webServer.storageGb
| |
resource.config.workloadsConfig.worker.cpu
| |
resource.config.workloadsConfig.worker.maxCount
| |
resource.config.workloadsConfig.worker.memoryGb
| |
resource.config.workloadsConfig.worker.minCount
| |
resource.config.workloadsConfig.worker.storageGb
| |
resource.name
|