使用自動資料品質

本頁面說明如何建立 Dataplex Universal Catalog 資料品質掃描作業。

如要瞭解資料品質掃描作業，請參閱「關於自動資料品質」。

事前準備

1. 啟用 Dataplex API。

   啟用 API

2. 選用：如果您希望 Dataplex Universal Catalog 根據資料剖析掃描結果產生資料品質規則建議，請建立並執行資料剖析掃描作業。

必要的角色

• 如要在 BigQuery 資料表上執行資料品質掃描作業，您必須具備讀取 BigQuery 資料表的權限，以及在用於掃描資料表的專案中建立 BigQuery 工作所需的權限。

• 如果 BigQuery 資料表和資料品質掃描作業位於不同的專案中，您必須為包含資料品質掃描作業的專案，授予 Dataplex Universal Catalog 服務帳戶對應 BigQuery 資料表的讀取權限。

• 如果資料品質規則參照其他資料表，掃描專案的服務帳戶必須對相同資料表擁有讀取權限。

• 如要取得匯出掃描結果至 BigQuery 資料表所需的權限，請要求管理員在結果資料集和資料表中，將「BigQuery 資料編輯者」(roles/bigquery.dataEditor) 身分與存取權管理角色授予 Dataplex 通用目錄服務帳戶。這會授予下列權限：

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• 如果 BigQuery 資料是使用 Dataplex Universal Catalog 資料湖進行整理，請將 Dataplex 中繼資料讀取者 (roles/dataplex.metadataReader) 和 Dataplex 檢視者 (roles/dataplex.viewer) IAM 角色授予 Dataplex Universal Catalog 服務帳戶。或者，您需要下列所有權限：

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• 如果您要掃描 Cloud Storage 中的 BigQuery 外部資料表，請將 Cloud Storage roles/storage.objectViewer 角色授予 Dataplex Universal Catalog 服務帳戶。或者，您也可以將下列權限指派給 Dataplex Universal Catalog 服務帳戶：

  • storage.buckets.get
  • storage.objects.get

• 如果您想將資料品質掃描結果發布為 Dataplex Universal Catalog 中繼資料，必須取得該資料表的 BigQuery 資料編輯器 (roles/bigquery.dataEditor) IAM 角色，以及與資料表位於相同位置的 @bigquery 項目群組的 dataplex.entryGroups.useDataQualityScorecardAspect 權限。或者，您必須獲得 @bigquery 項目群組的 Dataplex Catalog 編輯者 (roles/dataplex.catalogEditor) 角色，該項目群組位於與資料表相同的位置。

  或者，您需要下列所有權限：

  • bigquery.tables.get
  • bigquery.tables.update
  • bigquery.tables.updateData
  • bigquery.tables.delete
  • dataplex.entryGroups.useDataQualityScorecardAspect

  或者，您需要下列所有權限：

  • dataplex.entries.update
  • dataplex.entryGroups.useDataQualityScorecardAspect

• 如果您需要存取受 BigQuery 資料欄層級存取權政策保護的資料欄，請為這些資料欄指派 Dataplex Universal Catalog 服務帳戶權限。建立或更新資料掃描的使用者也需要資料欄的權限。

• 如果資料表已啟用 BigQuery 資料列層級存取權政策，您只能掃描 Dataplex Universal Catalog 服務帳戶可見的資料列。請注意，個別使用者的存取權限不會針對列層級政策進行評估。

必要的資料掃描角色

如要使用自動資料品質功能，您必須具備執行資料掃描的權限，或是具備預先定義的執行資料掃描作業權限的角色。

下表列出 DataScan 權限：

授予使用者下列一或多個角色：

• 具備 DataScan 資源的完整存取權：Dataplex DataScan 管理員 (roles/dataplex.dataScanAdmin)
• 具備 DataScan 資源的寫入權限：Dataplex DataScan 編輯器 (roles/dataplex.dataScanEditor)
• 具備 DataScan 資源的讀取權限，但不包括規則和結果：Dataplex DataScan 檢視器 (roles/dataplex.dataScanViewer)
• 對 DataScan 資源 (包括規則和結果) 的讀取權：Dataplex DataScan 資料檢視器 (roles/dataplex.dataScanDataViewer)

定義資料品質規則

您可以使用內建規則或自訂 SQL 檢查來定義資料品質規則。如果您使用 Google Cloud CLI，可以在 JSON 或 YAML 檔案中定義這些規則。

下列各節的範例說明如何定義各種資料品質規則。規則會驗證含有客戶交易資料的範例資料表。假設資料表具有下列結構定義：

使用內建規則類型定義資料品質規則

下列範例規則是以內建規則類型為基礎。您可以使用控制台或 API，根據內建規則類型建立規則。 Google Cloud Dataplex Universal Catalog 可能會推薦部分這些規則。

使用自訂 SQL 規則定義資料品質規則

如要建立自訂 SQL 規則，請使用下列架構：

• 建立每次只評估一列的規則時，請建立運算式，在 Dataplex Universal Catalog 評估查詢 SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE 時產生成功列數。Dataplex Universal Catalog 會根據閾值檢查成功的資料列數量。

• 建立規則時，如果要跨資料列評估或使用資料表條件，請建立運算式，在 Dataplex Universal Catalog 評估查詢 SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE 時傳回成功或失敗結果。

• 建立評估資料集無效狀態的規則時，請提供可傳回無效資料列的陳述式。如果傳回任何資料列，即代表規則失敗。請從 SQL 陳述式中省略結尾的分號。

• 您可以在規則中使用資料參照參數 ${data()}，藉此參照資料來源表格及其所有預先條件篩選器，而不需要明確提及來源表格及其篩選器。預設條件篩選器的範例包括資料列篩選器、取樣百分比和遞增篩選器。${data()} 參數會區分大小寫。

以下規則範例是根據自訂 SQL 規則建立。

        CREATE OR REPLACE FUNCTION
        myProject.myDataset.average_by_country (
          country STRING, average FLOAT64)
        RETURNS BOOL LANGUAGE js AS R"""
        if (country = "CAN" && average < 5000){
          return 1
        } else if (country = "IND" && average < 1000){
          return 1
        } else { return 0 }
        """;
       

        myProject.myDataset.average_by_country(
        "CAN",
        (SELECT avg(amount) FROM
          myProject.myDataset.transactions_table
            WHERE currency_id = 'CAN'
        ))
      

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

      SELECT
        accuracy > 0.99
      FROM
       ML.EVALUATE
        (MODEL model-project-id.dataset-id.model-name,
         (
          SELECT
            customer_id,
            currency_id,
            amount,
            discount_pct
          FROM
            data-project-id.dataset-id.table-names
          WHERE transaction_timestamp > '2022-01-01';
         )
        )
    

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

       IF(discount_pct > 0, 1, 0)
          =(SELECT predicted_label FROM
           ML.PREDICT(
            MODEL model-project-id.dataset-id.model-name,
              (
                SELECT
                  customer_id,
                  currency_id,
                  amount,
                  discount_pct
                FROM
                  data-project-id.dataset-id.table-names AS t
                    WHERE t.transaction_timestamp =
                     transaction_timestamp
                   LIMIT 1
              )
            )
         )
    

使用 gcloud CLI 定義資料品質規則

以下範例 YAML 檔案使用了部分與使用內建類型的規則範例和自訂 SQL 規則範例相同的規則。您可以將這個 YAML 檔案做為 gcloud CLI 指令的輸入內容。

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[0-9]{8}[a-zA-Z]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY

建立資料品質掃描作業

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

匯出資料表結構定義

如要將資料品質掃描結果匯出至現有 BigQuery 資料表，請確認資料表與下列資料表結構定義相容：

為資料品質掃描工作設定 BigQueryExport 時，請遵循下列規範：

• 針對欄位 resultsTable，請使用下列格式：//bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}。
• 使用 BigQuery 標準資料表。
• 如果掃描作業建立或更新時，資料表不存在，Dataplex Universal Catalog 會為您建立資料表。
• 根據預設，資料表會依 job_start_time 資料欄每日分區。
• 如果您希望資料表以其他設定進行分區，或是不想分區，請使用必要的結構定義和設定重新建立資料表，然後將先前建立的資料表做為結果資料表提供。
• 請確認結果資料表與來源資料表位於相同位置。
• 如果在專案中設定了 VPC-SC，則結果資料表必須與來源資料表位於相同的 VPC-SC 範圍內。
• 如果在掃描執行階段修改資料表，目前執行中的工作會匯出至先前的結果資料表，而資料表變更會在下一個掃描工作生效。
• 請勿修改資料表結構定義。如果需要自訂欄，請在資料表上建立檢視畫面。
• 為降低成本，請根據用途設定分區的到期日。詳情請參閱如何設定區隔到期時間。

執行資料品質掃描

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

查看資料品質掃描結果

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

查看歷來掃描結果

Dataplex Universal Catalog 會儲存最近 300 個工作或過去一年的資料品質掃描記錄，以先到為準。

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

分享已發布的結果

建立資料品質掃描作業時，如果您選擇將掃描結果發布為 Dataplex 通用目錄中繼資料，則最新的掃描結果會顯示在Google Cloud 控制台的 BigQuery 和 Dataplex 通用目錄頁面，以及資料表的「資料品質」分頁中。

您可以讓貴機構的使用者存取已發布的掃描結果。如要授予掃描結果的存取權，請按照下列步驟操作：

1. 在 Google Cloud 控制台中，前往「Data quality」(資料品質) 頁面。

   前往「資料品質」

2. 按一下要分享結果的資料品質掃描。

3. 前往「權限」分頁。

4. 按一下「授予存取權」。

5. 在「New principals」(新增主體) 欄位中，新增您要授予存取權的主體。

6. 在「Select a role」(請選擇角色) 欄位中，選取「Dataplex DataScan DataViewer」(Dataplex DataScan DataViewer)。

7. 按一下 [儲存]。

如要移除主體對已發布掃描結果的存取權，請按照下列步驟操作：

1. 在 Google Cloud 控制台中，前往「Data quality」(資料品質) 頁面。

   前往「資料品質」

2. 按一下要分享結果的資料品質掃描。

3. 前往「權限」分頁。

4. 選取要移除 Dataplex DataScan DataViewer 角色的主體。

5. 按一下 [移除存取權]。

6. 按一下「確認」。

在 Cloud Logging 中設定快訊

如要使用 Cloud Logging 中的記錄設定資料品質失敗的快訊，請按照下列步驟操作：

設定工作層級或維度層級快訊的查詢範例

• 以下是設定資料品質掃描整體資料品質失敗警報的查詢範例：

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND NOT jsonPayload.dataQuality.passed=true
  

• 以下是針對特定資料品質掃描作業的維度 (例如獨特性) 設定資料品質失敗警示的查詢範例：

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false
  

• 設定資料表資料品質失敗警報的查詢範例。

  • 針對未在 Dataplex 通用目錄湖泊中整理的 BigQuery 資料表，設定資料品質失敗的快訊：

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

  • 針對 Dataplex Universal Catalog lake 中組織的 BigQuery 資料表，設定資料品質失敗的警示：

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

設定每項規則快訊的查詢範例

• 以下是針對資料品質掃描作業，針對所有失敗的資料品質規則設定警示的範例查詢，其中包含指定的自訂規則名稱：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.ruleName="custom-name"
  AND jsonPayload.result="FAILED"
  

• 以下是針對資料品質掃描的特定評估類型，針對所有失敗的資料品質規則設定警示的範例查詢：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.evalutionType="PER_ROW"
  AND jsonPayload.result="FAILED"
  

• 以下是用於資料品質掃描的資料表中，針對資料欄的所有失敗資料品質規則設定警示的查詢範例：

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.column="CInteger"
  AND jsonPayload.result="FAILED"
  

排解資料品質失敗問題

對於每個包含失敗資料列層級規則的工作，Dataplex Universal Catalog 會提供查詢，用於取得失敗的記錄。執行這項查詢，即可查看不符合規則的記錄。

更新資料品質掃描作業

您可以編輯現有資料品質掃描的各種設定，例如顯示名稱、篩選器和排程。

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

刪除資料品質掃描作業

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

後續步驟

• 瞭解資料剖析。
• 瞭解如何使用資料剖析功能。
• 請按照教學課程使用 Terraform 以程式碼管理資料品質規則。