Menggunakan kualitas data otomatis

Halaman ini menjelaskan cara membuat pemindaian kualitas data Dataplex Universal Catalog.

Untuk mempelajari pemindaian kualitas data, lihat Tentang kualitas data otomatis.

Sebelum memulai

1. Enable the Dataplex API.

   Enable the API

2. Opsional: Jika Anda ingin Dataplex Universal Catalog membuat rekomendasi untuk aturan kualitas data berdasarkan hasil pemindaian profil data, buat dan jalankan pemindaian profil data.

Peran yang diperlukan

• Untuk menjalankan pemindaian kualitas data pada tabel BigQuery, Anda memerlukan izin untuk membaca tabel BigQuery dan izin untuk membuat tugas BigQuery di project yang digunakan untuk memindai tabel.

• Jika tabel BigQuery dan pemindaian kualitas data berada di project yang berbeda, Anda harus memberikan izin baca ke akun layanan Dataplex Universal Catalog dari project yang berisi pemindaian kualitas data untuk tabel BigQuery yang sesuai.

• Jika aturan kualitas data merujuk ke tabel tambahan, akun layanan project pemindaian harus memiliki izin baca pada tabel yang sama.

• Untuk mendapatkan izin yang diperlukan untuk mengekspor hasil pemindaian ke tabel BigQuery, minta administrator Anda untuk memberikan peran IAM BigQuery Data Editor (roles/bigquery.dataEditor) kepada akun layanan Dataplex Universal Catalog di set data dan tabel hasil. Hal ini memberikan izin berikut:

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• Jika data BigQuery diatur di lake Katalog Universal Dataplex, berikan peran IAM Dataplex Metadata Reader (roles/dataplex.metadataReader) dan Dataplex Viewer (roles/dataplex.viewer) ke akun layanan Katalog Universal Dataplex. Atau, Anda memerlukan semua izin berikut:

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• Jika Anda memindai tabel eksternal BigQuery dari Cloud Storage, berikan peran Storage Object Viewer (roles/storage.objectViewer) untuk bucket kepada akun layanan Dataplex Universal Catalog. Atau, tetapkan izin berikut ke akun layanan Dataplex Universal Catalog:

  • storage.buckets.get
  • storage.objects.get

• Jika ingin memublikasikan hasil pemindaian kualitas data sebagai metadata Katalog Universal Dataplex, Anda harus diberi peran IAM Editor Data BigQuery (roles/bigquery.dataEditor) untuk tabel, dan izin dataplex.entryGroups.useDataQualityScorecardAspect pada grup entri @bigquery di lokasi yang sama dengan tabel. Atau, Anda harus diberi peran Dataplex Catalog Editor (roles/dataplex.catalogEditor) untuk grup entri @bigquery di lokasi yang sama dengan tabel.

  Atau, Anda memerlukan semua izin berikut:

  • bigquery.tables.get - di atas meja
  • bigquery.tables.update - di atas meja
  • bigquery.tables.updateData - di atas meja
  • bigquery.tables.delete - di atas meja
  • dataplex.entryGroups.useDataQualityScorecardAspect - di grup entri @bigquery

  Atau, Anda memerlukan semua izin berikut:

  • dataplex.entries.update - di grup entri @bigquery
  • dataplex.entryGroups.useDataQualityScorecardAspect - di grup entri @bigquery

• Jika Anda perlu mengakses kolom yang dilindungi oleh kebijakan akses tingkat kolom BigQuery, tetapkan izin akun layanan Dataplex Universal Catalog untuk kolom tersebut. Pengguna yang membuat atau memperbarui pemindaian data juga memerlukan izin untuk kolom.

• Jika kebijakan akses tingkat baris BigQuery diaktifkan untuk tabel, Anda hanya dapat memindai baris yang terlihat oleh akun layanan Dataplex Universal Catalog. Perhatikan bahwa hak akses pengguna perorangan tidak dievaluasi untuk kebijakan tingkat baris.

Peran pemindaian data yang diperlukan

Untuk menggunakan kualitas data otomatis, minta administrator Anda untuk memberi Anda salah satu peran IAM berikut:

• Akses penuh ke resource DataScan: Administrator Dataplex DataScan (roles/dataplex.dataScanAdmin)
• Untuk membuat resource DataScan: Pembuat Dataplex DataScan (roles/dataplex.dataScanCreator) di project
• Akses tulis ke resource DataScan: Editor Dataplex DataScan (roles/dataplex.dataScanEditor)
• Akses baca ke resource DataScan, tidak termasuk aturan dan hasil: Dataplex DataScan Viewer (roles/dataplex.dataScanViewer)
• Akses baca ke resource DataScan, termasuk aturan dan hasil: Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer)

Tabel berikut mencantumkan izin DataScan:

Menentukan aturan kualitas data

Anda dapat menentukan aturan kualitas data menggunakan aturan bawaan atau pemeriksaan SQL kustom. Jika menggunakan Google Cloud CLI, Anda dapat menentukan aturan ini dalam file JSON atau YAML.

Contoh di bagian berikut menunjukkan cara menentukan berbagai aturan kualitas data. Aturan ini memvalidasi tabel contoh yang berisi data tentang transaksi pelanggan. Asumsikan tabel memiliki skema berikut:

Menentukan aturan kualitas data menggunakan jenis aturan bawaan

Contoh aturan berikut didasarkan pada jenis aturan bawaan. Anda dapat membuat aturan berdasarkan jenis aturan bawaan menggunakan konsol Google Cloud atau API. Katalog Universal Dataplex mungkin merekomendasikan beberapa aturan ini.

Menentukan aturan kualitas data menggunakan aturan SQL kustom

Untuk membuat aturan SQL kustom, gunakan framework berikut:

• Saat Anda membuat aturan yang mengevaluasi satu baris dalam satu waktu, buat ekspresi yang menghasilkan jumlah baris yang berhasil saat Dataplex Universal Catalog mengevaluasi kueri SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE. Dataplex Universal Catalog memeriksa jumlah baris yang berhasil terhadap nilai minimum.

• Saat Anda membuat aturan yang mengevaluasi di seluruh baris atau menggunakan kondisi tabel, buat ekspresi yang menampilkan keberhasilan atau kegagalan saat Katalog Universal Dataplex mengevaluasi kueri SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE.

• Saat Anda membuat aturan yang mengevaluasi status set data yang tidak valid, berikan pernyataan yang menampilkan baris yang tidak valid. Jika ada baris yang ditampilkan, aturan akan gagal. Hapus titik koma di akhir pernyataan SQL.

• Anda dapat merujuk ke tabel sumber data dan semua filter prasyaratnya dengan menggunakan parameter referensi data ${data()} dalam aturan, bukan secara eksplisit menyebutkan tabel sumber dan filternya. Contoh filter prasyarat mencakup filter baris, persentase pengambilan sampel, dan filter inkremental. Parameter ${data()} peka huruf besar/kecil.

Contoh aturan berikut didasarkan pada aturan SQL kustom.

        CREATE OR REPLACE FUNCTION
        myProject.myDataset.average_by_country (
          country STRING, average FLOAT64)
        RETURNS BOOL LANGUAGE js AS R"""
        if (country = "CAN" && average < 5000){
          return 1
        } else if (country = "IND" && average < 1000){
          return 1
        } else { return 0 }
        """;
       

        myProject.myDataset.average_by_country(
        "CAN",
        (SELECT avg(amount) FROM
          myProject.myDataset.transactions_table
            WHERE currency_id = 'CAN'
        ))
      

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

      SELECT
        accuracy > 0.99
      FROM
       ML.EVALUATE
        (MODEL model-project-id.dataset-id.model-name,
         (
          SELECT
            customer_id,
            currency_id,
            amount,
            discount_pct
          FROM
            data-project-id.dataset-id.table-names
          WHERE transaction_timestamp > '2022-01-01';
         )
        )
    

  CREATE MODEL
  model-project-id.dataset-id.model-name
        OPTIONS(model_type='logistic_reg') AS
  SELECT
  IF(discount_pct IS NULL, 0, 1) AS label,
  IFNULL(customer_id, "") AS customer,
  IFNULL(currency_id, "") AS currency,
  IFNULL(amount, 0.0) AS amount
  FROM
  `data-project-id.dataset-id.table-names`
  WHERE transaction_timestamp < '2022-01-01';
  

       IF(discount_pct > 0, 1, 0)
          =(SELECT predicted_label FROM
           ML.PREDICT(
            MODEL model-project-id.dataset-id.model-name,
              (
                SELECT
                  customer_id,
                  currency_id,
                  amount,
                  discount_pct
                FROM
                  data-project-id.dataset-id.table-names AS t
                    WHERE t.transaction_timestamp =
                     transaction_timestamp
                   LIMIT 1
              )
            )
         )
    

Menentukan aturan kualitas data menggunakan gcloud CLI

File YAML contoh berikut menggunakan beberapa aturan yang sama dengan contoh aturan menggunakan jenis bawaan dan contoh aturan SQL kustom. File YAML ini juga berisi spesifikasi lain untuk pemindaian kualitas data, seperti filter dan persentase pengambilan sampel. Saat menggunakan gcloud CLI untuk membuat atau memperbarui pemindaian kualitas data, Anda dapat menggunakan file YAML seperti ini sebagai input untuk argumen --data-quality-spec-file.

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[0-9]{8}[a-zA-Z]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY
samplingPercent: 50
rowFilter: discount_pct > 100
postScanActions:
  bigqueryExport:
    resultsTable: projects/my_project_id/datasets/dim_dataset/tables/dim_currency
  notificationReport:
    recipients:
      emails:
      - '222larabrown@gmail.com'
      - 'cloudysanfrancisco@gmail.com'
    scoreThresholdTrigger:
      scoreThreshold: 50
    jobFailureTrigger: {}
    jobEndTrigger: {}
catalogPublishingEnabled: true

Membuat pemindaian kualitas data

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

Mengekspor skema tabel

Untuk mengekspor hasil pemindaian kualitas data ke tabel BigQuery yang ada, pastikan tabel tersebut kompatibel dengan skema tabel berikut:

Saat Anda mengonfigurasi BigQueryExport untuk tugas pemindaian kualitas data, ikuti panduan berikut:

• Untuk kolom resultsTable, gunakan format: //bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}.
• Gunakan tabel standar BigQuery.
• Jika tabel tidak ada saat pemindaian dibuat atau diperbarui, Dataplex Universal Catalog akan membuat tabel untuk Anda.
• Secara default, tabel dipartisi pada kolom job_start_time setiap hari.
• Jika Anda ingin tabel dipartisi dalam konfigurasi lain atau jika Anda tidak ingin partisi, buat ulang tabel dengan skema dan konfigurasi yang diperlukan, lalu berikan tabel yang telah dibuat sebelumnya sebagai tabel hasil.
• Pastikan tabel hasil berada di lokasi yang sama dengan tabel sumber.
• Jika VPC-SC dikonfigurasi di project, tabel hasil harus berada di perimeter VPC-SC yang sama dengan tabel sumber.
• Jika tabel diubah selama tahap eksekusi pemindaian, tugas yang sedang berjalan saat ini akan diekspor ke tabel hasil sebelumnya dan perubahan tabel akan berlaku mulai dari tugas pemindaian berikutnya.
• Jangan mengubah skema tabel. Jika Anda memerlukan kolom yang disesuaikan, buat tampilan pada tabel.
• Untuk mengurangi biaya, tetapkan waktu habis masa berlaku pada partisi berdasarkan kasus penggunaan Anda. Untuk mengetahui informasi selengkapnya, lihat cara menetapkan masa berlaku partisi.

Menjalankan pemindaian kualitas data

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

Melihat hasil pemindaian kualitas data

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Lihat hasil yang dipublikasikan

Jika hasil pemindaian kualitas data dipublikasikan sebagai metadata Dataplex Universal Catalog, Anda dapat melihat hasil pemindaian terbaru di halaman BigQuery dan Dataplex Universal Catalog di konsolGoogle Cloud , pada tab Kualitas data tabel sumber.

1. Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.

   Buka Penelusuran

2. Telusuri, lalu pilih tabel.

3. Klik tab Kualitas data.

   Hasil terbaru yang dipublikasikan ditampilkan.

Lihat hasil pemindaian historis

Dataplex Universal Catalog menyimpan histori pemindaian kualitas data dari 300 tugas terakhir atau selama satu tahun terakhir, mana saja yang terjadi lebih dulu.

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

Memberikan akses ke hasil pemindaian kualitas data

Agar pengguna di organisasi Anda dapat melihat hasil pemindaian, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.

   Buka Pemrofilan & kualitas data

2. Klik pemindaian kualitas data yang hasilnya ingin Anda bagikan.

3. Klik tab Izin.

4. Lakukan tindakan berikut:

   • Untuk memberikan akses ke akun utama, klik person_add Grant access. Berikan peran Dataplex DataScan DataViewer kepada akun utama yang terkait.
   • Untuk menghapus akses dari akun utama, pilih akun utama yang ingin Anda hapus peran Dataplex DataScan DataViewer-nya. Klik person_remove Hapus akses, lalu konfirmasi saat diminta.

Menyetel pemberitahuan di Cloud Logging

Untuk menyetel pemberitahuan terkait kegagalan kualitas data menggunakan log di Cloud Logging, ikuti langkah-langkah berikut:

Contoh kueri untuk menyetel pemberitahuan tingkat tugas atau tingkat dimensi

• Contoh kueri untuk menyetel pemberitahuan tentang kegagalan kualitas data secara keseluruhan untuk pemindaian kualitas data:

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND NOT jsonPayload.dataQuality.passed=true
  

• Contoh kueri untuk menyetel pemberitahuan tentang kegagalan kualitas data untuk dimensi (misalnya, keunikan) pemindaian kualitas data tertentu:

  resource.type="dataplex.googleapis.com/DataScan"
  AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
  AND resource.labels.resource_container="projects/112233445566"
  AND resource.labels.datascan_id="a0-test-dec6-dq-3"
  AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false
  

• Contoh kueri untuk menyetel pemberitahuan tentang kegagalan kualitas data untuk sebuah tabel.

  • Menetapkan pemberitahuan tentang kegagalan kualitas data untuk tabel BigQuery yang tidak disusun dalam lake Dataplex Universal Catalog:

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

  • Tetapkan pemberitahuan tentang kegagalan kualitas data untuk tabel BigQuery yang disusun dalam lake Dataplex Universal Catalog:

    resource.type="dataplex.googleapis.com/DataScan"
    AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
    AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
    AND resource.labels.resource_container="projects/112233445566"
    AND NOT jsonPayload.dataQuality.passed=true
    

Contoh kueri untuk menyetel notifikasi per aturan

• Contoh kueri untuk menyetel pemberitahuan pada semua aturan kualitas data yang gagal dengan nama aturan kustom yang ditentukan untuk pemindaian kualitas data:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.ruleName="custom-name"
  AND jsonPayload.result="FAILED"
  

• Contoh kueri untuk menyetel pemberitahuan pada semua aturan kualitas data yang gagal dari jenis evaluasi tertentu untuk pemindaian kualitas data:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.evalutionType="PER_ROW"
  AND jsonPayload.result="FAILED"
  

• Contoh kueri untuk menyetel pemberitahuan pada semua aturan kualitas data yang gagal untuk kolom dalam tabel yang digunakan untuk pemindaian kualitas data:

  resource.type="dataplex.googleapis.com/DataScan"
  AND jsonPayload.column="CInteger"
  AND jsonPayload.result="FAILED"
  

Memecahkan masalah kegagalan kualitas data

Untuk setiap tugas dengan aturan tingkat baris yang gagal, Dataplex Universal Catalog menyediakan kueri untuk mendapatkan data yang gagal. Jalankan kueri ini untuk melihat catatan yang tidak cocok dengan aturan Anda.

Mengelola pemindaian kualitas data untuk tabel tertentu

Langkah-langkah dalam dokumen ini menunjukkan cara mengelola pemindaian profil data di seluruh project Anda dengan menggunakan halaman Pembuatan profil & kualitas data Dataplex Universal Catalog di konsol Google Cloud .

Anda juga dapat membuat dan mengelola pemindaian profil data saat bekerja dengan tabel tertentu. Di konsol Google Cloud , pada halaman Dataplex Universal Catalog untuk tabel, gunakan tab Kualitas data. Lakukan tindakan berikut:

1. Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.

   Buka Penelusuran

   Telusuri, lalu pilih tabel.

2. Klik tab Kualitas data.

3. Bergantung pada apakah tabel memiliki pemindaian kualitas data yang hasilnya dipublikasikan sebagai metadata Dataplex Universal Catalog, Anda dapat menggunakan pemindaian kualitas data tabel dengan cara berikut:

   • Hasil pemindaian kualitas data dipublikasikan: hasil pemindaian terbaru ditampilkan di halaman.

     Untuk mengelola pemindaian kualitas data untuk tabel ini, klik Pemindaian kualitas data, lalu pilih salah satu opsi berikut:

     • Buat pemindaian baru: buat pemindaian kualitas data baru. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat pemindaian kualitas data dalam dokumen ini. Saat Anda membuat pemindaian dari halaman detail tabel, tabel akan dipilih sebelumnya.

     • Jalankan sekarang: jalankan pemindaian.

     • Edit konfigurasi pemindaian: edit setelan termasuk nama tampilan, filter, dan jadwal.

       Untuk mengedit aturan kualitas data, di tab Kualitas data, klik tab Aturan. Klik Ubah aturan. Perbarui aturan, lalu klik Simpan.

     • Mengelola izin pemindaian: mengontrol siapa yang dapat mengakses hasil pemindaian. Untuk mengetahui informasi selengkapnya, lihat bagian Memberikan akses ke hasil pemindaian kualitas data dalam dokumen ini.

     • Lihat hasil historis: lihat informasi mendetail tentang tugas pemindaian kualitas data sebelumnya. Untuk mengetahui informasi selengkapnya, lihat bagian Melihat hasil pemindaian kualitas data dan Melihat hasil pemindaian historis dalam dokumen ini.

     • Lihat semua pemindaian: melihat daftar pemindaian kualitas data yang berlaku untuk tabel ini.

   • Hasil pemindaian kualitas data tidak dipublikasikan: pilih dari opsi berikut:

     • Buat pemindaian kualitas data: membuat pemindaian kualitas data baru. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat pemindaian kualitas data dalam dokumen ini. Saat Anda membuat pemindaian dari halaman detail tabel, tabel akan dipilih sebelumnya.

     • Melihat pemindaian yang ada: melihat daftar pemindaian kualitas data yang berlaku untuk tabel ini.

Memperbarui pemindaian kualitas data

Anda dapat mengedit berbagai setelan untuk pemindaian kualitas data yang ada, seperti nama tampilan, filter, jadwal, dan aturan kualitas data.

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Menghapus pemindaian kualitas data

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

Apa langkah selanjutnya?

• Pelajari pembuatan profil data.
• Pelajari cara menggunakan pembuatan profil data.
• Ikuti tutorial untuk mengelola aturan kualitas data sebagai kode dengan Terraform.