使用自定义限制条件管理数据沿袭资源

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

组织政策为各种Google Cloud 服务提供预定义限制条件。但是，如果您想要更精细地控制和自定义组织政策中受限的特定字段，还可以创建自定义组织政策。

优势

您可以使用自定义组织政策，根据支持的资源属性（例如流程名称、来源类型和来源）设置条件，允许或拒绝创建数据沿袭流程。

政策继承

如果您对资源强制执行政策，默认情况下，该资源的后代会继承组织政策。例如，如果您对某个文件夹强制执行一项政策， Google Cloud 会对该文件夹中的所有项目强制执行该政策。如需详细了解此行为及其更改方式，请参阅层次结构评估规则。

价格

组织政策服务（包括预定义组织政策和自定义组织政策）可免费使用。

限制

• 只能对数据沿袭 Process 资源强制执行自定义限制条件。不支持其他资源，例如 Runs 和 Events。

• 新强制执行的自定义限制条件不会自动应用于现有资源。

准备工作

• 请确保您知道您的组织 ID。

• 如果您要测试引用数据沿袭资源的自定义组织政策，请创建一个新项目。在现有项目中测试这些组织政策可能会中断安全工作流程。

  1. In the Google Cloud console, go to the project selector page.

     Go to project selector

  2. Click Create project.

  3. Name your project. Make a note of your generated project ID.

  4. Edit the other fields as needed.

  5. Click Create.

所需的角色

如需获得管理组织政策所需的权限，请让您的管理员为您授予组织的 Organization Policy Administrator (roles/orgpolicy.policyAdmin) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色可提供管理组织政策所需的权限。如需查看所需的确切权限，请展开所需权限部分：

您也可以使用自定义角色或其他预定义角色来获取这些权限。

创建自定义限制条件

自定义限制条件是在 YAML 文件中，由实施组织政策的服务所支持的资源、方法、条件和操作定义的。自定义限制条件的条件使用通用表达式语言 (CEL) 进行定义。如需详细了解如何使用 CEL 构建自定义限制条件中的条件，请参阅创建和管理自定义限制条件的 CEL 部分。

如需为自定义限制条件创建 YAML 文件，请运行以下命令：

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

替换以下内容：

• ORGANIZATION_ID：您的组织 ID，例如 123456789。

• CONSTRAINT_NAME：新的自定义限制条件的名称。自定义限制条件必须以 custom. 开头，只能包含大写字母、小写字母或数字，例如 custom.denyLineageProcess。该字段的长度上限为 70 个字符，不计算前缀，例如 organizations/123456789/customConstraints/custom。

• RESOURCE_TYPE：包含要限制的对象和字段的 Data Lineage API REST 资源的名称（而非 URI）。对于数据沿袭，只有 Process 可用。

• CONDITION：针对受支持的服务资源的表示法编写的 CEL 条件。此字段的长度上限为 1,000 个字符。 如需详细了解可用于针对其编写条件的资源，请参阅支持的资源。 例如 "resource.name.contains('invalid_name')"。

• ACTION：满足 condition 时要执行的操作。可以是 ALLOW 或 DENY。

• DISPLAY_NAME：限制条件的直观易记名称。 此字段的最大长度为 200 个字符。

• DESCRIPTION：直观易懂的限制条件说明，在违反政策时显示为错误消息。 此字段的长度上限为 2,000 个字符。

如需详细了解如何创建自定义限制条件，请参阅定义自定义限制条件。

设置自定义限制条件

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

强制执行自定义组织政策

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

    gcloud org-policies set-policy POLICY_PATH
    

测试自定义组织政策

本部分介绍了如何测试组织政策限制条件，以限制用户创建名称包含文本 invalid_name 的数据沿袭流程。

如果您想测试此自定义限制条件，请执行以下操作：

1. 按照准备工作部分中的说明创建新项目。

2. 将以下限制条件复制到 YAML 文件中：

     name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
     resourceTypes: datalineage.googleapis.com/Process
     methodTypes:
       - CREATE
       - UPDATE
     condition:
       "resource.name.contains('invalid_name')"
     actionType: DENY
     displayName: Do not allow data lineage process with 'invalid_name' to be created.
   

   将 ORGANIZATION_ID 替换为您的Google Cloud 组织的数字 ID。

3. 设置自定义限制条件，并对您创建的项目强制执行该限制条件，以测试自定义组织政策限制条件。

4. 使用您在自定义限制条件中添加的名称创建流程。

   curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
   "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
   -d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

   替换以下内容：

   • PROJECT_ID：在其中创建流程的项目的 ID。它必须与定义限制条件的组织位于同一组织中。
   • LOCATION：创建流程的 Google Cloud 区域。

   输出如下所示：

   Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]
   

数据沿袭支持的资源和操作

在创建或更新数据沿袭流程时，您可以使用以下自定义限制条件字段：

• resource.name
• resource.displayName
• resource.origin.name
• resource.origin.sourceType

系统会针对以下方法检查自定义限制条件：

• CreateProcess
• UpdateProcess
• ProcessopenLineageRunEvent

常见用例的自定义组织政策示例

下表列出了一些常见用例的自定义限制条件的语法：

如需详细了解可在自定义限制条件中使用的 CEL 宏，请参阅通用表达式语言。

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "True"
    actionType: DENY
    displayName: Deny creation of all data lineage processes.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'"
    actionType: DENY
    displayName: Deny data lineage processes created by BigQuery or Dataproc.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.name.contains('RESTRICTED_NAME')"
    actionType: DENY
    displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

后续步骤

• 查看组织政策服务简介，以详细了解组织政策。
• 详细了解如何创建和管理组织政策。
• 查看预定义组织政策限制条件的完整列表。