本页介绍了在 Sensitive Data Protection 对资源进行数据分析后,如何自动向数据添加 Dataplex 方面。本页面还提供了示例查询,您可以使用这些查询在组织和项目中查找具有特定方面值的数据。
如果您想使用从敏感数据保护数据剖析文件中收集的洞见来丰富 Dataplex 中的元数据,此功能非常有用。生成的方面包括以下数据分析:
- 表或数据集的计算得出的敏感度级别
- 表或数据集的计算得出的数据风险级别
- 在表格或数据集中检测到的信息类型(infoType)
敏感数据保护数据分析文件中的数据分析有助于您使用 Dataplex 发现组织中的敏感数据和高风险数据。利用这些数据洞见,帮助您就如何管理和治理数据做出明智的决策。
数据分析文件简介
您可以配置敏感数据保护,以自动生成有关组织、文件夹或项目中数据的分析文件。数据分析文件包含有关数据的指标和元数据,可帮助您确定敏感数据和高风险数据所在的位置。敏感数据保护会以不同详细级别报告这些指标。
您可以将数据配置文件发送到其他服务(例如 Dataplex、Pub/Sub、Security Command Center 和 Google Security Operations),以丰富数据治理、提醒和安全工作流。 Google Cloud
Dataplex Catalog 简介
Dataplex Catalog 是 Dataplex 的一项功能,可提供统一的 Google Cloud 资源目录。
借助 Dataplex Catalog,您可以使用方面向数据添加业务和技术元数据,以捕获有关资源的上下文和知识。然后,您就可以搜索和发现组织中的数据,并对数据资产实现数据治理。如需了解详情,请参阅方面。
支持的资源
敏感数据保护功能可以自动为以下资源的 Dataplex 条目附加方面:
- BigQuery 表
Cloud SQL 表
通过 BigQuery 表创建的 Vertex AI 数据集
Dataplex Catalog 不会提取 Cloud Storage 存储分区,因此在对 Cloud Storage 数据进行性能分析时,此功能不可用。
工作原理
基于数据剖析文件自动创建 Dataplex Catalog 方面的主要工作流程如下:
在添加操作步骤中,确保已启用以切面形式发送到 Dataplex Catalog 操作。
如果您要创建扫描配置,此操作默认处于启用状态。
如果您要修改扫描配置,请启用此操作。
Sensitive Data Protection 会为您分析的每个受支持的资源添加或更新 Dataplex 条目的 Sensitive Data Protection profile
方面。然后,您可以搜索 Dataplex Catalog,查找具有特定方面值的组织或项目中的所有数据。
当您启用以切面形式发送到 Dataplex Catalog 操作时,敏感数据保护功能仅会将此操作应用于新的配置文件和更新后的配置文件。未更新的现有配置文件不会发送到 Dataplex Catalog。
顶级字段
经过分析的表的生成的方面可以包含以下顶级字段:
显示名称 | 示例值 | 说明 |
---|---|---|
Sensitivity |
MODERATE |
表的计算得出的敏感度级别 |
Risk |
MODERATE |
表的计算得出的数据风险等级 |
InfoTypes |
|
表中找到的所有 infoType 的列表,包括预测的 infoType 和其他 infoType。如果在表格中检测到至少 1 个 infoType,则会包含此字段。 |
Column InfoTypes |
|
表中所有列中找到的所有预测 infoType 的列表。如果在表格中检测到至少一个预测的 infoType,则会包含此字段。 |
Project Profile |
请参阅本页上的项目配置文件和组织配置文件。 | 如果是通过项目级扫描配置对资源进行性能分析,则包含此字段。 |
Organization Profile |
请参阅本页上的项目配置文件和组织配置文件。 | 如果资源是通过组织级或文件夹级扫描配置进行分析的,则包含此字段。 |
如果资源在项目级别和组织或文件夹级别都进行了分析,则敏感数据保护功能会汇总这两种分析的值。此维度提供检测到的 infoType 的并集,并使用两个数据分析文件中敏感度和数据风险级别最高的值。
例如,假设项目级配置文件将资源的敏感度评为 MODERATE
,而组织级配置文件将敏感度评为 LOW
。在本例中,相应 aspect 的顶级 Sensitivity
字段中的值为 MODERATE
。
“项目配置文件”和“组织配置文件”字段
生成的 Sensitive Data Protection profile
方面包含以下一个或两个顶级字段,具体取决于对资源进行性能分析的级别:
Project Profile
- 如果资源是通过项目级扫描配置进行性能分析的,则包含在该方面中
Organization Profile
- 如果资源是通过组织级或文件夹级扫描配置进行性能分析的,则包含在此方面
如果资源同时在项目级和组织或文件夹级进行了性能分析,则生成的方面将同时包含 Project Profile
和 Organization Profile
字段。
每个 Project Profile
或 Organization Profile
字段都包含嵌套的 Sensitivity
和 Risk
字段,其中包含数据配置文件中列出的值。如果数据分析中列出了预测的 infoType 和其他 infoType,则这些 infoType 也可作为嵌套的 Column InfoTypes
和 InfoTypes
字段使用。此外,每个 Project Profile
或 Organization Profile
字段都包含以下嵌套字段:
Profile
数据剖析文件的完整资源名称。示例:
- 项目级配置文件:
projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
- 组织级或文件夹级付款资料:
organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
- 项目级配置文件:
Profile Link
指向 Google Cloud 控制台中相应个人资料的链接。示例:
- 项目级配置文件:
https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
- 组织级或文件夹级付款资料:
https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
- 项目级配置文件:
启用 Dataplex API
必须在包含您要为其添加方面资源的每个项目中启用 Dataplex API。本部分介绍了如何在单个项目或组织或文件夹中的所有项目中启用 Dataplex API。
在单个项目中启用 Dataplex API
选择要启用 Dataplex API 的项目。
-
Enable the Dataplex API.
在组织或文件夹中的所有项目中启用 Dataplex API
本部分提供了一个脚本,用于搜索组织或文件夹中的所有项目,并在每个项目中启用 Dataplex API。
如需获得在组织或文件夹中的所有项目中启用 Dataplex API 所需的权限,请让您的管理员为您授予以下 IAM 角色:
-
组织或文件夹的 Cloud Asset Viewer (
roles/cloudasset.viewer
) -
您要启用 Dataplex API 的每个项目中的 DLP 用户 (
roles/dlp.user
)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含在组织或文件夹中的所有项目中启用 Dataplex API 所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需在组织或文件夹中的所有项目中启用 Dataplex API,您需要拥有以下权限:
-
如需搜索组织或文件夹中的所有项目,请执行以下操作:
cloudasset.assets.searchAllResources
针对组织或文件夹 -
如需启用 Dataplex API,请执行以下操作:
serviceusage.services.use
在您要启用 Dataplex API 的每个项目中
如需在组织或文件夹中的所有项目中启用 Dataplex API,请按照以下步骤操作:
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
运行以下脚本:
#!/bin/bash RESOURCE_ID="RESOURCE_ID" gcloud asset search-all-resources \ --scope="RESOURCE_TYPE/$RESOURCE_ID" \ --asset-types="cloudresourcemanager.googleapis.com/Project" \ --format="value(name)" | while read project_name; do project_id=$(echo "$project_name" | sed 's|.*/||') gcloud services enable "dataplex.googleapis.com" --project="$project_id" done
替换以下内容:
RESOURCE_ID
:包含项目的资源的组织编号或文件夹编号RESOURCE_TYPE
:包含项目的资源的类型 -organizations
或folders
用于查看方面信息的角色和权限
如需获得搜索与资源相关联的方面所需的权限,请让管理员向您授予资源的以下 IAM 角色:
-
Dataplex Catalog Viewer (
roles/dataplex.catalogViewer
) -
BigQuery Data Viewer (
roles/bigquery.dataViewer
) -
Vertex AI Viewer (
roles/aiplatform.viewer
)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
这些预定义角色包含搜索与您的资源相关联的方面所需的权限。如需查看所需的确切权限,请展开所需权限部分:
所需权限
如需搜索与您的资源相关的方面,您需要具备以下权限:
-
查看 Dataplex 条目:
-
dataplex.entries.list
-
dataplex.entries.get
-
-
查看 BigQuery 数据集和表:
-
bigquery.datasets.get
-
bigquery.tables.get
-
-
查看 Vertex AI 数据集:
aiplatform.datasets.get
如需详细了解使用 Dataplex 所需的权限,请参阅 Dataplex IAM 权限。
查找给定表数据配置文件的生成的方面
在 Google Cloud 控制台中,前往 Dataplex 搜索页面。
选择您的组织或项目。
对于选择搜索平台,选择 Dataplex Catalog 作为搜索模式。
在搜索字段中,输入以下内容:
name:TABLE_ID
将
TABLE_ID
替换为要分析的表的 ID。在随即显示的列表中,点击表格名称。系统会显示 BigQuery 表的详细信息。与其关联的所有
Sensitive Data Protection profile
切面都会显示在可选标记和切面部分。
如需详细了解如何搜索资源,请参阅在 Dataplex Catalog 中搜索资源。
搜索查询示例
本部分提供了搜索查询示例,您可以在 Dataplex 中使用这些示例查询,在组织或项目中查找具有特定方面值的数据。
您只能查看自己有权访问的数据。数据访问权限通过 IAM 权限进行控制。如需了解详情,请参阅本页上的用于查看方面信息的角色和权限。
您可以在 Dataplex 搜索页面的搜索字段中输入这些示例查询。
如需了解如何构建查询,请参阅 Dataplex Catalog 的搜索语法。
查找具有敏感数据保护配置文件方面的所有资源
aspect:sensitive-data-protection-profile
查找具有给定敏感度得分的所有资源
aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE
将 SENSITIVITY_SCORE
替换为 HIGH
、MODERATE
、UNKNOWN
或 LOW
。
如需了解详情,请参阅敏感度和数据风险级别。
查找具有给定风险评分的所有资源
aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL
将 DATA_RISK_LEVEL
替换为 HIGH
、MODERATE
、UNKNOWN
或 LOW
。
如需了解详情,请参阅敏感度和数据风险级别。
查找具有项目级配置文件的所有资源
aspect:sensitive-data-protection-profile.projectProfile
查找具有组织级配置文件的所有资源
aspect:sensitive-data-protection-profile.organizationProfile