使用自动数据质量评估

本页面介绍了如何创建 Dataplex Universal Catalog 数据质量扫描。

如需了解数据质量扫描，请参阅自动数据质量简介。

准备工作

1. 启用 Dataplex API。

   启用该 API

2. 可选：如果您希望 Dataplex Universal Catalog 根据数据分析扫描的结果生成数据质量规则建议，请创建并运行数据分析扫描。

所需的角色

• 如需对 BigQuery 表运行数据质量扫描，您需要拥有读取该 BigQuery 表的权限，以及在用于扫描该表的项目中创建 BigQuery 作业的权限。

• 如果 BigQuery 表和数据质量扫描位于不同的项目中，则您需要为包含数据质量扫描的项目所对应的 Dataplex Universal Catalog 服务账号授予相应 BigQuery 表的读取权限。

• 如果数据质量规则引用了其他表，则扫描项目的服务账号必须对这些表具有读取权限。

• 如需获得将扫描结果导出到 BigQuery 表所需的权限，请让管理员向 Dataplex Universal Catalog 服务账号授予结果数据集和结果表的 BigQuery Data Editor (roles/bigquery.dataEditor) IAM 角色。此权限授予的具体权限如下：

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• 如果 BigQuery 数据在 Dataplex Universal Catalog 数据湖中整理，请向 Dataplex Universal Catalog 服务账号授予 Dataplex Metadata Reader (roles/dataplex.metadataReader) 和 Dataplex Viewer (roles/dataplex.viewer) IAM 角色。或者，您需要具备以下所有权限：

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• 如果您要扫描 Cloud Storage 中的 BigQuery 外部表，请向 Dataplex Universal Catalog 服务账号授予相应存储桶的 Cloud Storage roles/storage.objectViewer 角色。或者，为 Dataplex Universal Catalog 服务账号分配以下权限：

  • storage.buckets.get
  • storage.objects.get

• 如果您想将数据质量扫描结果作为 Dataplex Universal Catalog 元数据发布，您必须获得表的 BigQuery Data Editor (roles/bigquery.dataEditor) IAM 角色，以及与表位于相同位置的 @bigquery 条目组的 dataplex.entryGroups.useDataQualityScorecardAspect 权限。或者，您必须具有与表位于相同位置的 @bigquery 条目组的 Dataplex Catalog Editor (roles/dataplex.catalogEditor) 角色。

  或者，您需要具备以下所有权限：

  • bigquery.tables.get
  • bigquery.tables.update
  • bigquery.tables.updateData
  • bigquery.tables.delete
  • dataplex.entryGroups.useDataQualityScorecardAspect

  或者，您需要拥有以下所有权限：

  • dataplex.entries.update
  • dataplex.entryGroups.useDataQualityScorecardAspect

• 如果您需要访问受 BigQuery 列级访问权限政策保护的列，请为 Dataplex Universal Catalog 服务账号分配对这些列的权限。创建或更新数据扫描的用户还需要拥有相应列的权限。

• 如果某个表启用了 BigQuery 行级访问权限政策，您只能扫描 Dataplex Universal Catalog 服务账号可见的行。请注意，系统不会针对行级政策评估各个用户的访问权限。

所需的数据扫描角色

如需使用自动数据质量，您需要拥有运行数据扫描的权限，或者拥有具有预定义权限的角色来运行数据扫描。

下表列出了 DataScan 权限：

为用户授予以下一个或多个角色：

• 对 DataScan 资源拥有完全访问权限：Dataplex DataScan Administrator (roles/dataplex.dataScanAdmin)
• 对 DataScan 资源的写入权限：Dataplex DataScan Editor (roles/dataplex.dataScanEditor)
• 对 DataScan 资源（不包括规则和结果）的读取权限：Dataplex DataScan Viewer (roles/dataplex.dataScanViewer)
• 对 DataScan 资源（包括规则和结果）的读取访问权限：Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer)

定义数据质量规则

您可以使用内置规则或自定义 SQL 检查来定义数据质量规则。如果您使用的是 Google Cloud CLI，则可以在 JSON 或 YAML 文件中定义这些规则。

以下各部分中的示例展示了如何定义各种数据质量规则。这些规则用于验证包含客户交易数据的示例表。假设该表具有以下架构：

使用内置规则类型定义数据质量规则

以下示例规则基于内置规则类型。您可以使用 Google Cloud 控制台或 API 基于内置规则类型创建规则。Dataplex Universal Catalog 可能会推荐其中一些规则。

使用自定义 SQL 规则定义数据质量规则

如需构建自定义 SQL 规则，请使用以下框架：

• 如果您创建的规则每次评估一行，请创建一个表达式，以便在 Dataplex Universal Catalog 评估查询 SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE 时生成成功行的数量。Dataplex Universal Catalog 会将成功行数与阈值进行比较。

• 如果您创建的规则需要在多行之间进行评估或使用表条件，请创建一个表达式，以便 Dataplex Universal Catalog 在评估查询时返回成功或失败结果 SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE。

• 创建用于评估数据集无效状态的规则时，请提供一条返回无效行的语句。如果返回了任何行，表示此规则失败。从 SQL 语句中省略末尾的分号。

• 您可以在规则中使用数据引用参数 ${data()} 来引用数据源表及其所有前提条件过滤条件，而无需明确提及源表及其过滤条件。前提条件过滤器的示例包括行过滤器、抽样百分比和增量过滤器。${data()} 参数区分大小写。

以下示例规则基于自定义 SQL 规则。

        CREATE OR REPLACE FUNCTION
        myProject.myDataset.average_by_country (
          country STRING, average FLOAT64)
        RETURNS BOOL LANGUAGE js AS R"""
        if (country = "CAN" && average < 5000){
          return 1
        } else if (country = "IND" && average < 1000){
          return 1
        } else { return 0 }
        """;
       

        myProject.myDataset.average_by_country(
        "CAN",
        (SELECT avg(amount) FROM
          myProject.myDataset.transactions_table
            WHERE currency_id = 'CAN'
        ))
      

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

      SELECT
        accuracy > 0.99
      FROM
       ML.EVALUATE
        (MODEL model-project-id.dataset-id.model-name,
         (
          SELECT
            customer_id,
            currency_id,
            amount,
            discount_pct
          FROM
            data-project-id.dataset-id.table-names
          WHERE transaction_timestamp > '2022-01-01';
         )
        )
    

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

       IF(discount_pct > 0, 1, 0)
          =(SELECT predicted_label FROM
           ML.PREDICT(
            MODEL model-project-id.dataset-id.model-name,
              (
                SELECT
                  customer_id,
                  currency_id,
                  amount,
                  discount_pct
                FROM
                  data-project-id.dataset-id.table-names AS t
                    WHERE t.transaction_timestamp =
                     transaction_timestamp
                   LIMIT 1
              )
            )
         )
    

使用 gcloud CLI 定义数据质量规则

以下示例 YAML 文件使用了一些与使用内置类型的示例规则和示例自定义 SQL 规则相同的规则。您可以将此 YAML 文件用作 gcloud CLI 命令的输入。

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[0-9]{8}[a-zA-Z]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY

创建数据质量扫描

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

导出表架构

如需将数据质量扫描结果导出到现有 BigQuery 表，请确保该表与以下表架构兼容：

为数据质量扫描作业配置 BigQueryExport 时，请遵循以下准则：

• 对于字段 resultsTable，请使用以下格式：//bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}。
• 使用 BigQuery 标准表。
• 如果在创建或更新扫描时该表不存在，Dataplex Universal Catalog 会为您创建该表。
• 默认情况下，该表按 job_start_time 列每天进行分区。
• 如果您希望以其他配置对表进行分区，或者不希望进行分区，请使用所需的架构和配置重新创建表，然后将预先创建的表作为结果表提供。
• 确保结果表与源表位于同一位置。
• 如果项目上配置了 VPC-SC，则结果表必须与源表位于同一 VPC-SC 边界内。
• 如果表在扫描执行阶段被修改，则当前正在运行的作业会导出到之前的结果表，并且表更改会从下一个扫描作业开始生效。
• 请勿修改表架构。如果您需要自定义列，请基于该表创建视图。
• 为了降低费用，请根据您的使用场景为分区设置过期时间。 如需了解详情，请参阅如何设置分区过期时间。

运行数据质量扫描

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

查看数据质量扫描结果

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

查看历史扫描结果

Dataplex Universal Catalog 会保存最近 300 个作业或过去一年的数据质量扫描历史记录，以先到者为准。

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

分享已发布的结果

创建数据质量扫描时，如果您选择将扫描结果发布为 Dataplex Universal Catalog 元数据，则最新扫描结果会显示在Google Cloud 控制台中的 BigQuery 和 Dataplex Universal Catalog 页面上，位于表的数据质量标签页中。

您可以允许组织中的用户访问已发布的扫描结果。如需授予对扫描结果的访问权限，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往数据质量页面。

   前往“数据质量”

2. 点击您要分享结果的数据质量扫描。

3. 前往权限标签页。

4. 点击授予访问权限。

5. 在新建主账号字段中，添加要授予其访问权限的主账号。

6. 在选择角色字段中，选择 Dataplex DataScan DataViewer。

7. 点击保存。

如需移除主账号对已发布的扫描结果的访问权限，请按以下步骤操作：

1. 在 Google Cloud 控制台中，前往数据质量页面。

   前往“数据质量”

2. 点击您要分享结果的数据质量扫描。

3. 前往权限标签页。

4. 选择要移除 Dataplex DataScan DataViewer 角色的主账号。

5. 点击解除使用权限。

6. 点击确认。

在 Cloud Logging 中设置提醒

如需使用 Cloud Logging 中的日志针对数据质量失败设置提醒，请按以下步骤操作：

用于设置作业级或维度级提醒的查询示例

• 用于针对数据质量扫描的总体数据质量失败设置提醒的示例查询：

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND NOT jsonPayload.dataQuality.passed=true
  

• 以下是一个示例查询，用于针对指定数据质量扫描的维度（例如唯一性）设置数据质量失败提醒：

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false
  

• 用于针对表的数据质量失败设置提醒的示例查询。

  • 为未在 Dataplex Universal Catalog 数据湖中整理的 BigQuery 表设置数据质量失败提醒：

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

  • 为在 Dataplex Universal Catalog 数据湖中整理的 BigQuery 表设置数据质量失败提醒：

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

用于设置每条规则提醒的查询示例

• 以下是一个示例查询，用于针对数据质量扫描中所有未通过的数据质量规则（具有指定的自定义规则名称）设置提醒：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.ruleName="custom-name"
  AND jsonPayload.result="FAILED"
  

• 以下是一个示例查询，用于针对数据质量扫描中特定评估类型的所有失败数据质量规则设置提醒：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.evalutionType="PER_ROW"
  AND jsonPayload.result="FAILED"
  

• 以下是一个示例查询，用于针对数据质量扫描所用表中列的所有失败数据质量规则设置提醒：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.column="CInteger"
  AND jsonPayload.result="FAILED"
  

排查数据质量失败问题

对于每个包含未通过验证的行级规则的作业，Dataplex Universal Catalog 都会提供一个查询来获取未通过验证的记录。运行此查询可查看与规则不匹配的记录。

更新数据质量扫描

您可以修改现有数据质量扫描的各种设置，例如显示名称、过滤条件和时间表。

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

删除数据质量扫描

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

后续步骤

• 了解数据分析。
• 了解如何使用数据分析功能。
• 按照教程使用 Terraform 以代码形式管理数据质量规则。