自動データ品質を使用する

このページでは、Dataplex Universal Catalog のデータ品質スキャンを作成する方法について説明します。

データ品質スキャンの詳細については、自動データ品質についてをご覧ください。

始める前に

1. Dataplex API を有効にします。

   API を有効にする

2. 省略可: データ プロファイリング スキャンの結果に基づいてデータ品質ルールの推奨事項を Dataplex Universal Catalog で生成する場合は、データ プロファイリング スキャンを作成して実行します。

必要なロール

• BigQuery テーブルでデータ品質スキャンを実行するには、BigQuery テーブルの読み取り権限と、テーブルのスキャンに使用するプロジェクトで BigQuery ジョブを作成するための権限が必要です。

• BigQuery テーブルとデータ品質スキャンが異なるプロジェクトにある場合、データ品質スキャンを含むプロジェクトの Dataplex Universal Catalog サービス アカウントに、対応する BigQuery テーブルに対する読み取り権限を付与する必要があります。

• データ品質ルールが追加のテーブルを参照している場合、スキャン プロジェクトのサービス アカウントには、同じテーブルに対する読み取り権限が必要です。

• スキャン結果を BigQuery テーブルにエクスポートするために必要な権限を取得するには、結果のデータセットとテーブルに対する BigQuery データ編集者（roles/bigquery.dataEditor）IAM ロールを Dataplex Universal Catalog サービス アカウントに付与するよう管理者に依頼してください。これにより次の権限が付与されます。

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• BigQuery データが Dataplex Universal Catalog レイクに編成されている場合は、Dataplex Universal Catalog サービス アカウントに Dataplex メタデータ リーダー（roles/dataplex.metadataReader）と Dataplex 閲覧者（roles/dataplex.viewer）の IAM ロールを付与します。または、次のすべての権限が必要です。

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• Cloud Storage から BigQuery の外部テーブルをスキャンする場合は、Dataplex Universal Catalog サービス アカウントにバケットに対する Cloud Storage roles/storage.objectViewer ロールを付与します。または、Dataplex Universal Catalog サービス アカウントに次の権限を割り当てます。

  • storage.buckets.get
  • storage.objects.get

• Google Cloud コンソールの BigQuery ページと Dataplex Universal Catalog ページでソーステーブルのデータ品質スキャンの結果を公開する場合は、テーブルに対する BigQuery データ編集者（roles/bigquery.dataEditor）IAM ロールを付与されている必要があります。

  または、次のすべての権限が必要です。

  • bigquery.tables.get
  • bigquery.tables.update
  • bigquery.tables.updateData
  • bigquery.tables.delete

• データ品質スキャンの結果を Dataplex Universal Catalog メタデータとして公開するには、テーブルに対する BigQuery データ編集者（roles/bigquery.dataEditor）IAM ロールと、テーブルと同じロケーションにある @bigquery エントリ グループに対する dataplex.entryGroups.useDataQualityScorecardAspect 権限が付与されている必要があります。または、テーブルと同じロケーションにある @bigquery エントリ グループに対する Dataplex Catalog 編集者（roles/dataplex.catalogEditor）ロールが付与されている必要があります。

  または、次のすべての権限が必要です。

  • bigquery.tables.get
  • bigquery.tables.update
  • bigquery.tables.updateData
  • bigquery.tables.delete
  • dataplex.entryGroups.useDataQualityScorecardAspect

  または、次のすべての権限が必要です。

  • dataplex.entries.update
  • dataplex.entryGroups.useDataQualityScorecardAspect

• BigQuery の列レベルのアクセス ポリシーで保護されている列にアクセスする必要がある場合は、それらの列に対する権限を Dataplex Universal Catalog サービス アカウントに割り当てます。データスキャンを作成または更新しているユーザーには、列に対する権限も必要です。

• テーブルで BigQuery 行レベルのアクセス ポリシーが有効になっている場合、Dataplex Universal Catalog サービス アカウントに表示される行のみをスキャンできます。行レベルのポリシーに対する個々のユーザーのアクセス権限は評価されません。

必要なデータスキャンのロール

自動データ品質を使用するには、データスキャンを実行する権限、またはデータスキャンを実行するための事前定義された権限を持つロールが必要です。

次の表に、DataScan 権限の一覧を示します。

ユーザーに次のロールの 1 つ以上を付与します。

• DataScan リソースに対する完全アクセス権: Dataplex DataScan 管理者（roles/dataplex.dataScanAdmin）
• DataScan リソースに対する書き込みアクセス権: Dataplex DataScan 編集者（roles/dataplex.dataScanEditor）
• ルールと結果を除く DataScan リソースへの読み取りアクセス: Dataplex DataScan 閲覧者（roles/dataplex.dataScanViewer）
• ルールと結果を含む DataScan リソースへの読み取りアクセス権: Dataplex DataScan データ閲覧者（roles/dataplex.dataScanDataViewer）

データ品質ルールを定義する

データ品質ルールは、組み込みルールまたはカスタム SQL チェックを使用して定義できます。Google Cloud CLI を使用している場合は、これらのルールを JSON ファイルまたは YAML ファイルで定義できます。

次のセクションの例では、さまざまなデータ品質ルールを定義する方法を示します。このルールは、顧客取引に関するデータを含むサンプル テーブルを検証しています。テーブルのスキーマは次のとおりであると想定しています。

組み込みルールの種類を使用してデータ品質ルールを定義する

次のルールの例は、組み込みルールの種類に基づいています。 Google Cloud コンソールまたは API を使用して、組み込みルールの種類に基づいてルールを作成できます。Dataplex Universal Catalog は、これらのルールの一部を推奨する場合があります。

カスタム SQL ルールを使用してデータ品質ルールを定義する

カスタム SQL ルールを構築するには、次のフレームワークを使用します。

• 一度に 1 行を評価するルールを作成する場合は、Dataplex Universal Catalog がクエリ SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE を評価する際に成功した行数を生成する式を作成します。Dataplex Universal Catalog では、成功した行数がしきい値に対してチェックされます。

• 行全体を評価する、またはテーブル条件を使用するルールを作成する場合は、Dataplex Universal Catalog がクエリ SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE を評価する際に成功または失敗を返す式を作成します。

• データセットの無効な状態を評価するルールを作成する場合は、無効な行を返すステートメントを指定します。行が返された場合、ルールは失敗します。SQL ステートメントの末尾のセミコロンを省略します。

• ソーステーブルとそのフィルタを明示的に記述する代わりに、ルールでデータ参照パラメータ ${data()} を使用することで、データソース テーブルとそのすべての前提条件フィルタを参照できます。前提条件フィルタの例としては、行フィルタ、サンプリング パーセンテージ、増分フィルタなどがあります。${data()} パラメータでは大文字と小文字が区別されます。

次のルールの例は、カスタム SQL ルールに基づいています。

        CREATE OR REPLACE FUNCTION
        myProject.myDataset.average_by_country (
          country STRING, average FLOAT64)
        RETURNS BOOL LANGUAGE js AS R"""
        if (country = "CAN" && average < 5000){
          return 1
        } else if (country = "IND" && average < 1000){
          return 1
        } else { return 0 }
        """;
       

        myProject.myDataset.average_by_country(
        "CAN",
        (SELECT avg(amount) FROM
          myProject.myDataset.transactions_table
            WHERE currency_id = 'CAN'
        ))
      

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

      SELECT
        accuracy > 0.99
      FROM
       ML.EVALUATE
        (MODEL model-project-id.dataset-id.model-name,
         (
          SELECT
            customer_id,
            currency_id,
            amount,
            discount_pct
          FROM
            data-project-id.dataset-id.table-names
          WHERE transaction_timestamp > '2022-01-01';
         )
        )
    

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

       IF(discount_pct > 0, 1, 0)
          =(SELECT predicted_label FROM
           ML.PREDICT(
            MODEL model-project-id.dataset-id.model-name,
              (
                SELECT
                  customer_id,
                  currency_id,
                  amount,
                  discount_pct
                FROM
                  data-project-id.dataset-id.table-names AS t
                    WHERE t.transaction_timestamp =
                     transaction_timestamp
                   LIMIT 1
              )
            )
         )
    

gcloud CLI を使用してデータ品質ルールを定義する

次の YAML ファイルの例では、組み込み型を使用したサンプルルールおよびカスタム SQL のサンプルルールと同じルールをいくつか使用しています。この YAML ファイルは、gcloud CLI コマンドの入力として使用できます。

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[0-9]{8}[a-zA-Z]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY

データ品質スキャンを作成する

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

テーブル スキーマをエクスポートする

データ品質スキャンの結果を既存の BigQuery テーブルにエクスポートするには、次のテーブル スキーマと互換性があることを確認します。

データ品質スキャンジョブに BigQueryExport を構成する場合は、次のガイドラインに沿って操作します。

• resultsTable フィールドには、//bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id} の形式を使用します。
• BigQuery 標準テーブルを使用します。
• スキャンが作成または更新されたときにテーブルが存在しない場合は、Dataplex Universal Catalog によってテーブルが作成されます。
• デフォルトでは、テーブルは job_start_time 列で毎日パーティション分割されます。
• テーブルを他の構成でパーティション分割する場合や、パーティションを作成しない場合は、必要なスキーマと構成でテーブルを再作成し、事前に作成されたテーブルを結果テーブルとして用意します。
• 結果テーブルがソーステーブルと同じロケーションにあることを確認します。
• プロジェクトで VPC-SC が構成されている場合、結果テーブルはソーステーブルと同じ VPC-SC 境界内にある必要があります。
• スキャン実行ステージでテーブルが変更されると、現在実行中のジョブが以前の結果テーブルにエクスポートされ、テーブルの変更は次のスキャンジョブから有効になります。
• テーブル スキーマを変更しないでください。列をカスタマイズする必要がある場合は、テーブルにビューを作成します。
• 費用を削減するには、ユースケースに基づいてパーティションの有効期限を設定します。詳細については、パーティションの有効期限を設定する方法をご覧ください。

データ品質スキャンを実行する

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

データ品質スキャンの結果を表示する

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

スキャン結果の履歴を表示する

Dataplex Universal Catalog は、過去 300 件のジョブ、または過去 1 年間のいずれか早いほうのデータ プロファイルのスキャン履歴を保存します。

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

公開された結果を共有する

データ品質スキャンを作成する際に、スキャン結果をGoogle Cloud コンソールの BigQuery と Dataplex Universal Catalog ページで公開することを選択した場合は、最新のスキャン結果が、それらのページの [データ プロファイル] タブで利用可能です。

組織内のユーザーに、公開されたスキャン結果へのアクセスを許可できます。スキャン結果へのアクセスを許可する手順は次のとおりです。

1. Google Cloud コンソールで、[データ品質] ページに移動します。

   データ品質に移動

2. 結果を共有するデータ品質スキャンをクリックします。

3. [権限] タブに移動します。

4. [アクセス権を付与] をクリックします。

5. [新しいプリンシパル] フィールドに、アクセス権限を付与するプリンシパルを追加します。

6. [ロールを選択] フィールドで、[Dataplex Universal Catalog DataScan DataViewer] を選択します。

7. [保存] をクリックします。

プリンシパルの公開スキャン結果へのアクセス権を削除する手順は次のとおりです。

1. Google Cloud コンソールで、[データ品質] ページに移動します。

   データ品質に移動

2. 結果を共有するデータ品質スキャンをクリックします。

3. [権限] タブに移動します。

4. Dataplex Universal Catalog DataScan DataViewer ロールを削除するプリンシパルを選択します。

5. [アクセス権を削除] をクリックします。

6. [確認] をクリックします。

Cloud Logging でアラートを設定する

Cloud Logging のログを使用してデータ品質エラーのアラートを設定する手順は次のとおりです。

ジョブレベルまたはディメンション レベルのアラートを設定するためのサンプルクエリ

• データ品質スキャンのデータ品質全体のエラーアラートを設定するサンプルクエリ。

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND NOT jsonPayload.dataQuality.passed=true
  

• 特定のデータ品質スキャンのディメンション（一意性など）のデータ品質エラーに関するアラートを設定するサンプルクエリ。

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false
  

• テーブルのデータ品質エラーに関するアラートを設定するサンプルクエリ。

  • Dataplex Universal Catalog レイクで編成されていない BigQuery テーブルに対するデータ品質エラーのアラートを設定します。

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

  • Dataplex Universal Catalog レイクに編成された BigQuery テーブルに対するデータ品質エラーのアラートを設定します。

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

ルールごとのアラートで設定するサンプルクエリ

• データ品質スキャンに指定されたカスタムルール名を使用して、失敗したすべてのデータ品質ルールのアラートを設定するサンプルクエリ。

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.ruleName="custom-name"
  AND jsonPayload.result="FAILED"
  

• データ品質スキャンの特定の評価タイプで失敗したすべてのデータ品質ルールのアラートを設定するサンプルクエリ。

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.evalutionType="PER_ROW"
  AND jsonPayload.result="FAILED"
  

• データ品質スキャンに使用されるテーブル内の列に対して、失敗したすべてのデータ品質ルールのアラートを設定するサンプルクエリ。

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.column="CInteger"
  AND jsonPayload.result="FAILED"
  

データ品質エラーのトラブルシューティング

行レベルのルールがエラーになるジョブごとに、Dataplex Universal Catalog はエラーになったレコードを取得するクエリを提供します。このクエリを実行して、ルールと一致しなかったレコードを表示します。

データ品質スキャンを更新する

既存のデータ品質スキャンのさまざまな設定（表示名、フィルタ、スケジュールなど）を編集できます。

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

データ品質スキャンを削除する

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

次のステップ

• データ プロファイリングについて確認する。
• データ プロファイリングを使用する方法を確認する。
• チュートリアルで、Terraform を使用してデータ品質ルールをコードとして管理する方法を確認する。