根据数据配置文件中的分析结果添加 Dataplex Catalog 切面

本页介绍了在 Sensitive Data Protection 对资源进行数据分析后,如何自动向数据添加 Dataplex 方面。本页面还提供了示例查询,您可以使用这些查询在组织和项目中查找具有特定方面值的数据。

如果您想使用从敏感数据保护数据剖析文件中收集的洞见来丰富 Dataplex 中的元数据,此功能非常有用。生成的方面包括以下数据分析:

  • 表或数据集的计算得出的敏感度级别
  • 表或数据集的计算得出的数据风险级别
  • 在表格或数据集中检测到的信息类型(infoType

敏感数据保护数据分析文件中的数据分析有助于您使用 Dataplex 发现组织中的敏感数据和高风险数据。利用这些数据洞见,帮助您就如何管理和治理数据做出明智的决策。

数据分析文件简介

您可以配置敏感数据保护,以自动生成有关组织、文件夹或项目中数据的分析文件。数据分析文件包含有关数据的指标和元数据,可帮助您确定敏感数据和高风险数据所在的位置。敏感数据保护会以不同详细级别报告这些指标。

您可以将数据配置文件发送到其他服务(例如 Dataplex、Pub/SubSecurity Command CenterGoogle Security Operations),以丰富数据治理、提醒和安全工作流。 Google Cloud

Dataplex Catalog 简介

Dataplex CatalogDataplex 的一项功能,可提供统一的 Google Cloud 资源目录。

借助 Dataplex Catalog,您可以使用方面向数据添加业务和技术元数据,以捕获有关资源的上下文和知识。然后,您就可以搜索和发现组织中的数据,并对数据资产实现数据治理。如需了解详情,请参阅方面

支持的资源

敏感数据保护功能可以自动为以下资源的 Dataplex 条目附加方面:

  • BigQuery 表
  • Cloud SQL 表

  • 通过 BigQuery 表创建的 Vertex AI 数据集

Dataplex Catalog 不会提取 Cloud Storage 存储分区,因此在对 Cloud Storage 数据进行性能分析时,此功能不可用。

工作原理

基于数据剖析文件自动创建 Dataplex Catalog 方面的主要工作流程如下:

  1. 受支持的资源类型创建修改扫描配置。

  2. 添加操作步骤中,确保已启用以切面形式发送到 Dataplex Catalog 操作。

    如果您要创建扫描配置,此操作默认处于启用状态。

    如果您要修改扫描配置,请启用此操作。

Sensitive Data Protection 会为您分析的每个受支持的资源添加或更新 Dataplex 条目Sensitive Data Protection profile 方面。然后,您可以搜索 Dataplex Catalog,查找具有特定方面值的组织或项目中的所有数据。

当您启用以切面形式发送到 Dataplex Catalog 操作时,敏感数据保护功能仅会将此操作应用于新的配置文件和更新后的配置文件。未更新的现有配置文件不会发送到 Dataplex Catalog。

顶级字段

经过分析的表的生成的方面可以包含以下顶级字段:

显示名称 示例值 说明
Sensitivity MODERATE 表的计算得出的敏感度级别
Risk MODERATE 表的计算得出的数据风险等级
InfoTypes
  • infoTypeCREDIT_CARD_NUMBER
  • infoTypePHONE_NUMBER
  • infoTypeUS_SOCIAL_SECURITY_NUMBER
表中找到的所有 infoType 的列表,包括预测的 infoType其他 infoType。如果在表格中检测到至少 1 个 infoType,则会包含此字段。
Column InfoTypes
  • infoTypeCREDIT_CARD_NUMBER
  • infoTypePHONE_NUMBER
表中所有列中找到的所有预测 infoType 的列表。如果在表格中检测到至少一个预测的 infoType,则会包含此字段。
Project Profile 请参阅本页上的项目配置文件和组织配置文件 如果是通过项目级扫描配置对资源进行性能分析,则包含此字段。
Organization Profile 请参阅本页上的项目配置文件和组织配置文件 如果资源是通过组织级或文件夹级扫描配置进行分析的,则包含此字段。

如果资源在项目级别和组织或文件夹级别都进行了分析,则敏感数据保护功能会汇总这两种分析的值。此维度提供检测到的 infoType 的并集,并使用两个数据分析文件中敏感度和数据风险级别最高的值。

例如,假设项目级配置文件将资源的敏感度评为 MODERATE,而组织级配置文件将敏感度评为 LOW。在本例中,相应 aspect 的顶级 Sensitivity 字段中的值为 MODERATE

“项目配置文件”和“组织配置文件”字段

生成的 Sensitive Data Protection profile 方面包含以下一个或两个顶级字段,具体取决于对资源进行性能分析的级别:

Project Profile
如果资源是通过项目级扫描配置进行性能分析的,则包含在该方面中
Organization Profile
如果资源是通过组织级或文件夹级扫描配置进行性能分析的,则包含在此方面

如果资源同时在项目级和组织或文件夹级进行了性能分析,则生成的方面将同时包含 Project ProfileOrganization Profile 字段。

每个 Project ProfileOrganization Profile 字段都包含嵌套的 SensitivityRisk 字段,其中包含数据配置文件中列出的值。如果数据分析中列出了预测的 infoType 和其他 infoType,则这些 infoType 也可作为嵌套的 Column InfoTypesInfoTypes 字段使用。此外,每个 Project ProfileOrganization Profile 字段都包含以下嵌套字段:

Profile

数据剖析文件的完整资源名称。示例:

  • 项目级配置文件:projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • 组织级或文件夹级付款资料:organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
Profile Link

指向 Google Cloud 控制台中相应个人资料的链接。示例:

  • 项目级配置文件:https://console.cloud.google.com/security/sensitive-data-protection/projects/PROJECT_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID
  • 组织级或文件夹级付款资料:https://console.cloud.google.com/security/sensitive-data-protection/organizations/ORGANIZATION_ID/locations/LOCATION/tableDataProfiles/PROFILE_ID

启用 Dataplex API

必须在包含您要为其添加方面资源的每个项目中启用 Dataplex API。本部分介绍了如何在单个项目或组织或文件夹中的所有项目中启用 Dataplex API。

在单个项目中启用 Dataplex API

  1. 选择要启用 Dataplex API 的项目。

    转到“项目选择器”

  2. Enable the Dataplex API.

    Enable the API

在组织或文件夹中的所有项目中启用 Dataplex API

本部分提供了一个脚本,用于搜索组织或文件夹中的所有项目,并在每个项目中启用 Dataplex API。

如需获得在组织或文件夹中的所有项目中启用 Dataplex API 所需的权限,请让您的管理员为您授予以下 IAM 角色:

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

这些预定义角色包含在组织或文件夹中的所有项目中启用 Dataplex API 所需的权限。如需查看所需的确切权限,请展开所需权限部分:

所需权限

如需在组织或文件夹中的所有项目中启用 Dataplex API,您需要拥有以下权限:

  • 如需搜索组织或文件夹中的所有项目,请执行以下操作: cloudasset.assets.searchAllResources 针对组织或文件夹
  • 如需启用 Dataplex API,请执行以下操作: serviceusage.services.use 在您要启用 Dataplex API 的每个项目中

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需在组织或文件夹中的所有项目中启用 Dataplex API,请按照以下步骤操作:

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 运行以下脚本:

    #!/bin/bash
    
    RESOURCE_ID="RESOURCE_ID"
    
    gcloud asset search-all-resources \
        --scope="RESOURCE_TYPE/$RESOURCE_ID" \
        --asset-types="cloudresourcemanager.googleapis.com/Project" \
        --format="value(name)" |
        while read project_name; do
          project_id=$(echo "$project_name" | sed 's|.*/||')
          gcloud services enable "dataplex.googleapis.com" --project="$project_id"
        done
    

    替换以下内容:

    • RESOURCE_ID:包含项目的资源的组织编号或文件夹编号
    • RESOURCE_TYPE:包含项目的资源的类型 - organizationsfolders

用于查看方面信息的角色和权限

如需获得搜索与资源相关联的方面所需的权限,请让管理员向您授予资源的以下 IAM 角色:

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

这些预定义角色包含搜索与您的资源相关联的方面所需的权限。如需查看所需的确切权限,请展开所需权限部分:

所需权限

如需搜索与您的资源相关的方面,您需要具备以下权限:

  • 查看 Dataplex 条目:
    • dataplex.entries.list
    • dataplex.entries.get
  • 查看 BigQuery 数据集和表:
    • bigquery.datasets.get
    • bigquery.tables.get
  • 查看 Vertex AI 数据集: aiplatform.datasets.get

您也可以使用自定义角色或其他预定义角色来获取这些权限。

如需详细了解使用 Dataplex 所需的权限,请参阅 Dataplex IAM 权限

查找给定表数据配置文件的生成的方面

  1. 在 Google Cloud 控制台中,前往 Dataplex 搜索页面。

    转到搜索

  2. 选择您的组织或项目。

  3. 对于选择搜索平台,选择 Dataplex Catalog 作为搜索模式。

  4. 搜索字段中,输入以下内容:

    name:TABLE_ID
    

    TABLE_ID 替换为要分析的表的 ID。

  5. 在随即显示的列表中,点击表格名称。系统会显示 BigQuery 表的详细信息。与其关联的所有 Sensitive Data Protection profile 切面都会显示在可选标记和切面部分。

如需详细了解如何搜索资源,请参阅在 Dataplex Catalog 中搜索资源

搜索查询示例

本部分提供了搜索查询示例,您可以在 Dataplex 中使用这些示例查询,在组织或项目中查找具有特定方面值的数据。

您只能查看自己有权访问的数据。数据访问权限通过 IAM 权限进行控制。如需了解详情,请参阅本页上的用于查看方面信息的角色和权限

您可以在 Dataplex 搜索页面的搜索字段中输入这些示例查询。

转到搜索

如需了解如何构建查询,请参阅 Dataplex Catalog 的搜索语法

查找具有敏感数据保护配置文件方面的所有资源

aspect:sensitive-data-protection-profile

查找具有给定敏感度得分的所有资源

aspect:sensitive-data-protection-profile.sensitivity=SENSITIVITY_SCORE

SENSITIVITY_SCORE 替换为 HIGHMODERATEUNKNOWNLOW

如需了解详情,请参阅敏感度和数据风险级别

查找具有给定风险评分的所有资源

aspect:sensitive-data-protection-profile.risk=DATA_RISK_LEVEL

DATA_RISK_LEVEL 替换为 HIGHMODERATEUNKNOWNLOW

如需了解详情,请参阅敏感度和数据风险级别

查找具有项目级配置文件的所有资源

aspect:sensitive-data-protection-profile.projectProfile

查找具有组织级配置文件的所有资源

aspect:sensitive-data-protection-profile.organizationProfile