配置 VPC Service Controls

VPC Service Controls 是一项 Google Cloud 功能，可让您设置有助于防范数据渗漏的边界。 本指南介绍了如何将 VPC Service Controls 与 Dataform 搭配使用，以增强服务的安全性。

VPC Service Controls 为Google Cloud 服务提供一层额外的防御，独立于 Identity and Access Management (IAM) 提供的保护。

如需详细了解 VPC Service Controls，请参阅 VPC Service Controls 概览。

限制

Dataform 支持 VPC Service Controls，但存在以下限制：

安全注意事项

为 Dataform 设置 VPC Service Controls 边界时，您应查看为 Dataform 服务账号授予的权限，并确保这些权限与您的安全架构相符。

无论 VPC Service Controls 是否启用，Dataform 服务账号都可能拥有对所属项目中的 BigQuery 或 Secret Manager 数据的访问权限，具体取决于您向该服务账号授予的权限。在这种情况下，使用 VPC Service Controls 边界限制 Dataform 不会阻止其与 BigQuery 或 Secret Manager 进行通信。

如果您不需要运行任何源自 Dataform 代码库的工作流调用，则应阻止与 BigQuery 的通信。如需详细了解如何阻止与 BigQuery 的通信，请参阅阻止与 BigQuery 的通信。

如果您的任何 Dataform 代码库均未连接到第三方 Git 代码库，则应阻止与 Secret Manager 的通信。如需详细了解如何阻止与 Secret Manager 的通信，请参阅阻止与 Secret Manager 的通信。

准备工作

在为 Dataform 配置 VPC Service Controls 服务边界之前，请按照限制远程代码库指南设置 dataform.restrictGitRemotes 组织政策。

必须设置 dataform.restrictGitRemotes 组织政策，以确保在使用 Dataform 时强制执行 VPC Service Controls 检查，并限制第三方对 Dataform Git 代码库的访问权限。

所需的角色

如需获得配置 VPC Service Controls 服务边界所需的权限，请让管理员向您授予项目的 Access Context Manager Editor (roles/accesscontextmanager.policyEditor) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需详细了解 VPC Service Controls 权限，请参阅使用 IAM 控制访问权限。

配置 VPC Service Controls

您可以通过以下方式使用 VPC Service Controls 服务边界来限制 Dataform：

  • 将 Dataform 添加到限制 BigQuery 的现有服务边界。
  • 创建同时限制 Dataform 和 BigQuery 的服务边界。

如需将 Dataform 添加到限制 BigQuery 的服务边界，请按照 VPC Service Controls 文档中的更新服务边界指南操作。

如需创建同时限制 Dataform 和 BigQuery 的新服务边界，请按照 VPC Service Controls 文档中的创建服务边界指南操作。

可选：阻止与 BigQuery 的通信

Dataform 与 BigQuery 的通信方式取决于 Dataform 中使用的服务账号类型。

默认 Dataform 服务账号使用 bigquery.jobs.create 权限与 BigQuery 进行通信。当您授予 Dataform 在 BigQuery 中运行工作流所需的角色时，系统会向默认 Dataform 服务账号授予包含此权限的角色。

如需阻止默认 Dataform 服务账号与 BigQuery 之间的通信，您需要撤消已授予默认 Dataform 服务账号的所有包含 bigquery.jobs.create 权限的预定义角色和自定义角色。如需撤消角色，请按照管理对项目、文件夹和组织的访问权限指南操作。

自定义 Dataform 服务账号使用以下权限和角色与 BigQuery 进行通信：

  • 授予自定义服务账号的 bigquery.jobs.create 权限。
  • 授予自定义服务账号的默认 Dataform 服务账号的 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色。

您可以通过以下任一方式阻止自定义 Dataform 服务账号与 BigQuery 之间的通信：

  • 撤消授予所选自定义 Dataform 服务账号的默认服务账号的 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色。如需撤消 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色，请按照管理对服务账号的访问权限指南操作。

  • 撤消在项目级层向包含 bigquery.jobs.create 权限的自定义服务账号授予的所有预定义角色和自定义角色。如需撤消角色，请按照管理对项目、文件夹和组织的访问权限指南操作。

以下预定义的 BigQuery IAM 角色包含 bigquery.jobs.create 权限，必须撤消这些角色：

可选：屏蔽与 Secret Manager 的通信

Dataform 使用 secretmanager.versions.access 权限来访问各个 Secret Manager Secret。当您将 Dataform 代码库关联到第三方代码库时，您会向所选 Secret Manager 密钥的默认 Dataform 服务账号授予此权限。

如需阻止 Dataform 与 Secret Manager 之间的通信，您需要撤消默认 Dataform 服务账号对所有 Secret 的访问权限。

如需撤消默认 Dataform 服务账号对 Secret Manager Secret 的访问权限，请参阅 Secret Manager 文档中的管理对 Secret 的访问权限指南。您必须撤消向所选密文的默认 Dataform 服务账号授予的包含 secretmanager.versions.access 权限的所有预定义角色和自定义角色。

以下预定义的 Secret Manager IAM 角色包含 secretmanager.versions.access 权限：

后续步骤