使用自动数据质量

本页面介绍了如何创建 Dataplex Universal Catalog 数据质量扫描。

如需了解数据质量扫描，请参阅自动数据质量简介。

准备工作

1. 启用 Dataplex API。

   启用该 API

2. 可选：如果您希望 Dataplex Universal Catalog 根据数据分析扫描的结果生成数据质量规则的建议，请创建并运行数据分析扫描。

所需的角色

• 如需对 BigQuery 表运行数据质量扫描，您需要拥有读取 BigQuery 表的权限，以及在用于扫描该表的项目中创建 BigQuery 作业的权限。

• 如果 BigQuery 表和数据质量扫描位于不同的项目中，则您需要为包含数据质量扫描的项目的 Dataplex Universal Catalog 服务账号授予相应 BigQuery 表的读取权限。

• 如果数据质量规则引用了其他表，则扫描项目的服务账号必须拥有这些表的读取权限。

• 如需获得将扫描结果导出到 BigQuery 表所需的权限，请让您的管理员为 Dataplex Universal Catalog 服务账号授予结果数据集和结果表的 BigQuery Data Editor (roles/bigquery.dataEditor) IAM 角色。这会授予以下权限：

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• 如果 BigQuery 数据在 Dataplex Universal Catalog 数据湖中整理，请为 Dataplex Universal Catalog 服务账号授予 Dataplex Metadata Reader (roles/dataplex.metadataReader) 和 Dataplex Viewer (roles/dataplex.viewer) IAM 角色。或者，您需要拥有以下所有权限：

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• 如果您要扫描 Cloud Storage 中的 BigQuery 外部表，请为 Dataplex Universal Catalog 服务账号授予相应存储桶的 Cloud Storage roles/storage.objectViewer 角色。或者，为 Dataplex Universal Catalog 服务账号分配以下权限：

  • storage.buckets.get
  • storage.objects.get

• 如果您想将数据质量扫描结果作为 Dataplex Universal Catalog 元数据发布，则您必须获得该表的 BigQuery Data Editor (roles/bigquery.dataEditor) IAM 角色，以及与表位于相同位置的 @bigquery 条目组的 dataplex.entryGroups.useDataQualityScorecardAspect 权限。或者，您必须获得与该表位于相同位置的 @bigquery 条目组的 Dataplex Catalog Editor (roles/dataplex.catalogEditor) 角色。

  或者，您需要拥有以下所有权限：

  • bigquery.tables.get
  • bigquery.tables.update
  • bigquery.tables.updateData
  • bigquery.tables.delete
  • dataplex.entryGroups.useDataQualityScorecardAspect

  或者，您需要拥有以下所有权限：

  • dataplex.entries.update
  • dataplex.entryGroups.useDataQualityScorecardAspect

• 如果您需要访问受 BigQuery 列级访问权限政策保护的列，请为 Dataplex Universal Catalog 服务账号分配这些列的权限。创建或更新数据扫描的用户也需要拥有这些列的权限。

• 如果某个表启用了 BigQuery 行级访问权限政策，则您只能扫描对 Dataplex Universal Catalog 服务账号可见的行。请注意，系统不会针对行级政策评估单个用户的访问权限。

所需的数据扫描角色

如需使用自动数据质量，您需要拥有运行数据扫描的权限，或者拥有运行数据扫描的预定义权限的角色。

下表列出了 DataScan 权限：

为用户授予以下一个或多个角色：

• 拥有对 DataScan 资源的完整访问权限：Dataplex DataScan Administrator (roles/dataplex.dataScanAdmin)
• 拥有对 DataScan 资源的写入权限：Dataplex DataScan Editor (roles/dataplex.dataScanEditor)
• 拥有对 DataScan 资源（不包括规则和结果）的读取权限：Dataplex DataScan Viewer (roles/dataplex.dataScanViewer)
• 拥有对 DataScan 资源（包括规则和结果）的读取权限：Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer)

定义数据质量规则

您可以使用内置规则或自定义 SQL 检查来定义数据质量规则。如果您使用的是 Google Cloud CLI，则可以在 JSON 或 YAML 文件中定义这些规则。

以下各部分中的示例展示了如何定义各种数据质量规则。这些规则用于验证包含客户交易数据的示例表。假设该表具有以下架构：

使用内置规则类型定义数据质量规则

以下示例规则基于内置规则类型。您可以使用 Google Cloud 控制台或 API 基于内置规则类型创建规则。Dataplex Universal Catalog 可能会建议其中一些规则。

使用自定义 SQL 规则定义数据质量规则

如需构建自定义 SQL 规则，请使用以下框架：

• 创建一次评估一行的规则时，请创建在 Dataplex Universal Catalog 评估查询 SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE 时生成成功行的数量的表达式。Dataplex Universal Catalog 会根据阈值检查成功行的数量。

• 创建在多行之间进行评估或使用表条件的规则时，请创建在 Dataplex Universal Catalog 评估查询 SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE 时返回成功或失败结果的表达式。

• 创建用于评估数据集无效状态的规则时，请提供返回无效行的语句。如果系统返回了任何行，表示此规则失败。从 SQL 语句中省略末尾的英文分号。

• 您可以使用规则中的数据引用参数 ${data()} 来引用数据源表及其所有前提过滤条件，而无需明确提及源表及其过滤条件。前提过滤条件的示例包括行过滤条件、采样百分比和增量过滤条件。${data()} 参数区分大小写。

以下示例规则基于自定义 SQL 规则。

        CREATE OR REPLACE FUNCTION
        myProject.myDataset.average_by_country (
          country STRING, average FLOAT64)
        RETURNS BOOL LANGUAGE js AS R"""
        if (country = "CAN" && average < 5000){
          return 1
        } else if (country = "IND" && average < 1000){
          return 1
        } else { return 0 }
        """;
       

        myProject.myDataset.average_by_country(
        "CAN",
        (SELECT avg(amount) FROM
          myProject.myDataset.transactions_table
            WHERE currency_id = 'CAN'
        ))
      

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

      SELECT
        accuracy > 0.99
      FROM
       ML.EVALUATE
        (MODEL model-project-id.dataset-id.model-name,
         (
          SELECT
            customer_id,
            currency_id,
            amount,
            discount_pct
          FROM
            data-project-id.dataset-id.table-names
          WHERE transaction_timestamp > '2022-01-01';
         )
        )
    

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

       IF(discount_pct > 0, 1, 0)
          =(SELECT predicted_label FROM
           ML.PREDICT(
            MODEL model-project-id.dataset-id.model-name,
              (
                SELECT
                  customer_id,
                  currency_id,
                  amount,
                  discount_pct
                FROM
                  data-project-id.dataset-id.table-names AS t
                    WHERE t.transaction_timestamp =
                     transaction_timestamp
                   LIMIT 1
              )
            )
         )
    

使用 gcloud CLI 定义数据质量规则

以下示例 YAML 文件使用了一些与使用内置类型的示例规则和示例自定义 SQL 规则相同的规则。您可以将此 YAML 文件用作 gcloud CLI 命令的输入。

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[0-9]{8}[a-zA-Z]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY

创建数据质量扫描

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

导出表架构

如需将数据质量扫描结果导出到现有 BigQuery 表，请确保该表与以下表架构兼容：

为数据质量扫描作业配置 BigQueryExport 时，请遵循以下准则：

• 对于字段 resultsTable，请使用以下格式：//bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}。
• 使用 BigQuery 标准表。
• 如果在创建或更新扫描时该表不存在，Dataplex Universal Catalog 会为您创建该表。
• 默认情况下，该表按 job_start_time 列每天进行分区。
• 如果您希望以其他配置对表进行分区，或者不希望进行分区，请使用所需的架构和配置重新创建表，然后将预先创建的表作为结果表提供。
• 确保结果表与源表位于同一位置。
• 如果为项目配置了 VPC-SC，则结果表必须与源表位于同一 VPC-SC 边界内。
• 如果表在扫描执行阶段被修改，则当前正在运行的作业会导出到之前的结果表，并且表更改会从下一个扫描作业开始生效。
• 请勿修改表架构。如果您需要自定义列，请基于表创建视图。
• 为了降低费用，请根据您的应用场景为分区设置失效时间。如需了解详情，请参阅如何设置分区失效时间。

运行数据质量扫描

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

查看数据质量扫描结果

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

查看历史扫描结果

Dataplex Universal Catalog 会保存最近 300 个作业或过去一年的数据质量扫描历史记录，以先到者为准。

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

共享已发布的结果

创建数据质量扫描时，如果您选择将扫描结果作为 Dataplex Universal Catalog 元数据发布，则最新扫描结果会显示在Google Cloud 控制台的 BigQuery 和 Dataplex Universal Catalog 页面中相应表的数据质量标签页上。

您可以允许组织中的用户访问已发布的扫描结果。如需授予对扫描结果的访问权限，请按照以下步骤操作：

1. 在 Google Cloud 控制台中，前往数据质量页面。

   前往“数据质量”

2. 点击您要共享其结果的数据质量扫描。

3. 前往权限标签页。

4. 点击授予访问权限。

5. 在新的主账号字段中，添加要向其授予访问权限的主账号。

6. 在选择角色字段中，选择 Dataplex DataScan DataViewer。

7. 点击保存。

如需移除主账号对已发布的扫描结果的访问权限，请按照以下步骤操作：

1. 在 Google Cloud 控制台中，前往数据质量页面。

   前往“数据质量”

2. 点击您要共享其结果的数据质量扫描。

3. 前往权限标签页。

4. 选择要移除其 Dataplex DataScan DataViewer 角色的主账号。

5. 点击解除使用权限。

6. 点击确认。

在 Cloud Logging 中设置提醒

如需使用 Cloud Logging 中的日志针对数据质量失败设置提醒，请按照以下步骤操作：

用于设置作业级或维度级提醒的示例查询

• 用于针对数据质量扫描的总体数据质量失败设置提醒的示例查询：

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND NOT jsonPayload.dataQuality.passed=true
  

• 用于针对给定数据质量扫描维度（例如唯一性）的数据质量失败设置提醒的示例查询：

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false
  

• 用于针对表的数据质量失败设置提醒的示例查询。

  • 针对未在 Dataplex Universal Catalog 数据湖中整理的 BigQuery 表的数据质量失败设置提醒：

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

  • 针对未在 Dataplex Universal Catalog 数据湖中整理的 BigQuery 表的数据质量失败设置提醒：

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

用于针对规则设置提醒的示例查询

• 用于针对数据质量扫描中所有失败的数据质量规则（具有指定自定义规则名称）设置提醒的示例查询：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.ruleName="custom-name"
  AND jsonPayload.result="FAILED"
  

• 用于针对数据质量扫描中特定评估类型的所有失败数据质量规则设置提醒的示例查询：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.evalutionType="PER_ROW"
  AND jsonPayload.result="FAILED"
  

• 用于针对数据质量扫描所用表中列的所有失败数据质量规则设置提醒的示例查询：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.column="CInteger"
  AND jsonPayload.result="FAILED"
  

排查数据质量失败问题

对于每个包含失败的行级规则的作业，Dataplex Universal Catalog 都会提供一个查询来获取失败的记录。运行此查询可查看与规则不匹配的记录。

更新数据质量扫描

您可以修改现有数据质量扫描的各种设置，例如显示名称、过滤条件和时间表。

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

删除数据质量扫描

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

后续步骤

• 了解数据分析。
• 了解如何使用数据分析。
• 按照教程使用 Terraform 以代码形式管理数据质量规则。