Membuat dan menggunakan pemindaian profil data

Halaman ini menunjukkan cara membuat dan mengelola pemindaian profil data. Pembuatan profil data memungkinkan Anda mengidentifikasi karakteristik statistik umum kolom dalam tabel BigQuery. Informasi ini membantu Anda memahami dan menganalisis data secara lebih efektif.

Untuk mengetahui informasi selengkapnya tentang pemindaian profil data Katalog Universal Dataplex, lihat Tentang pembuatan profil data.

Sebelum memulai

Enable the Dataplex API.

Enable the API

Peran yang diperlukan

Untuk membuat profil tabel BigQuery, Anda memerlukan izin berikut:

• Untuk menjalankan pemindaian profil data pada tabel BigQuery, Anda memerlukan izin untuk membaca tabel BigQuery dan izin untuk membuat tugas BigQuery di project yang digunakan untuk memindai tabel.

• Jika tabel BigQuery dan pemindaian profil data berada di project yang berbeda, Anda harus memberikan izin baca ke akun layanan Dataplex Universal Catalog pada tabel BigQuery yang sesuai.

• Jika data BigQuery diatur dalam lake Dataplex Universal Catalog, untuk membuat pemindaian profil data, Anda memerlukan peran Dataplex Universal Catalog roles/dataplex.metadataReader dan roles/dataplex.viewer. Hal ini memberikan izin berikut:

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• Jika Anda memindai tabel eksternal BigQuery dari Cloud Storage, tetapkan peran Storage Object Viewer (roles/storage.objectViewer) atau izin berikut di bucket ke akun layanan Dataplex Universal Catalog:

  • storage.buckets.get
  • storage.objects.get

• Jika Anda ingin memublikasikan hasil pemindaian profil data di halaman Katalog Universal BigQuery dan Dataplex di konsolGoogle Cloud untuk tabel sumber, Anda harus diberi peran Editor Data BigQuery (roles/bigquery.dataEditor) di tabel tersebut. Atau, Anda memerlukan semua izin berikut:

  • bigquery.tables.get
  • bigquery.tables.update
  • bigquery.tables.updateData
  • bigquery.tables.delete

• Untuk mengekspor hasil pemindaian ke tabel BigQuery, akun layanan Dataplex Universal Catalog Anda memerlukan peran BigQuery Data Editor (roles/bigquery.dataEditor). Hal ini memberikan izin berikut:

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• Jika Anda perlu mengakses kolom yang dilindungi oleh kebijakan akses tingkat kolom BigQuery, tetapkan izin akun layanan Dataplex Universal Catalog pada kolom tersebut. Pengguna yang membuat atau memperbarui pemindaian data juga memerlukan izin pada kolom.

• Jika kebijakan akses tingkat baris BigQuery diaktifkan untuk tabel, Anda hanya dapat memindai baris yang terlihat oleh akun layanan Dataplex Universal Catalog. Perhatikan bahwa hak akses pengguna perorangan tidak dievaluasi untuk kebijakan tingkat baris.

Peran dan izin pemindaian data

Untuk menggunakan pembuatan profil data, minta administrator Anda untuk memberi Anda salah satu peran IAM berikut:

• roles/dataplex.dataScanAdmin: Akses penuh ke resource DataScan.
• roles/dataplex.dataScanEditor: Akses tulis ke resource DataScan.
• roles/dataplex.dataScanViewer: Akses baca ke resource DataScan, tidak termasuk hasilnya.
• roles/dataplex.dataScanDataViewer: Akses baca ke resource DataScan, termasuk hasilnya.

Tabel berikut mencantumkan izin pemindaian data:

Membuat pemindaian profil data

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-resource=DATA_SOURCE_RESOURCE

Mengekspor skema tabel

Jika Anda ingin mengekspor hasil pemindaian profil data ke tabel BigQuery yang ada, pastikan tabel tersebut kompatibel dengan skema tabel berikut:

Penyiapan ekspor tabel

Saat Anda mengekspor ke tabel BigQueryExport, ikuti panduan berikut:

• Untuk kolom resultsTable, gunakan format: //bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}.
• Gunakan tabel standar BigQuery.
• Jika tabel tidak ada saat pemindaian dibuat atau diperbarui, Dataplex Universal Catalog akan membuat tabel untuk Anda.
• Secara default, tabel dipartisi pada kolom job_start_time setiap hari.
• Jika Anda ingin tabel dipartisi dalam konfigurasi lain atau jika Anda tidak ingin partisi, buat ulang tabel dengan skema dan konfigurasi yang diperlukan, lalu berikan tabel yang telah dibuat sebelumnya sebagai tabel hasil.
• Pastikan tabel hasil berada di lokasi yang sama dengan tabel sumber.
• Jika VPC-SC dikonfigurasi di project, tabel hasil harus berada di perimeter VPC-SC yang sama dengan tabel sumber.
• Jika tabel diubah selama tahap eksekusi pemindaian, tugas yang sedang berjalan saat ini akan diekspor ke tabel hasil sebelumnya dan perubahan tabel akan berlaku mulai dari tugas pemindaian berikutnya.
• Jangan mengubah skema tabel. Jika Anda memerlukan kolom yang disesuaikan, buat tampilan pada tabel.
• Untuk mengurangi biaya, tetapkan waktu habis masa berlaku pada partisi berdasarkan kasus penggunaan Anda. Untuk mengetahui informasi selengkapnya, lihat cara menetapkan masa berlaku partisi.

Membuat beberapa pemindaian profil data

Anda dapat mengonfigurasi pemindaian profil data untuk beberapa tabel dalam set data BigQuery secara bersamaan menggunakan konsol Google Cloud .

1. Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.

   Buka Pemrofilan & kualitas data

2. Klik Buat pemindaian profil data.

3. Pilih opsi Beberapa pemindaian profil data.

4. Masukkan awalan ID. Katalog Universal Dataplex otomatis membuat ID pemindaian menggunakan awalan yang diberikan dan akhiran unik.

5. Masukkan Deskripsi untuk semua pemindaian profil data.

6. Di kolom Dataset, klik Jelajahi. Pilih set data untuk memilih tabel. Klik Select.

7. Jika set data bersifat multi-regional, pilih Region tempat pembuatan pemindaian profil data.

8. Konfigurasi setelan umum untuk pemindaian:

   1. Di kolom Cakupan, pilih Inkremental atau Seluruh data.

   2. Untuk menerapkan sampling ke pemindaian profil data, di daftar Ukuran sampling, pilih persentase sampling.

      Pilih nilai persentase antara 0,0% dan 100,0% dengan hingga 3 digit desimal.

   3. Opsional: Publikasikan hasil pemindaian profil data di halaman Katalog Universal BigQuery dan Dataplex di konsolGoogle Cloud untuk tabel sumber. Centang kotak Publikasikan hasil ke BigQuery dan UI Katalog Dataplex.

      Anda dapat melihat hasil pemindaian terbaru di tab Profil data di halaman BigQuery dan Dataplex Universal Catalog untuk tabel sumber. Untuk mengizinkan pengguna mengakses hasil pemindaian yang dipublikasikan, lihat bagian Memberi akses ke hasil pemindaian profil data dalam dokumen ini.

   4. Di bagian Jadwalkan, pilih salah satu opsi berikut:

      • Ulangi: Jalankan pemindaian profil data sesuai jadwal: per jam, harian, mingguan, bulanan, atau kustom. Tentukan seberapa sering pemindaian harus dijalankan dan pada pukul berapa. Jika Anda memilih kustom, gunakan format cron untuk menentukan jadwal.

      • On-demand: Jalankan pemindaian profil data sesuai permintaan.

9. Klik Lanjutkan.

10. Di kolom Choose tables, klik Browse. Pilih satu atau beberapa tabel yang akan dipindai, lalu klik Pilih.

11. Klik Lanjutkan.

12. Opsional: Ekspor hasil pemindaian ke tabel standar BigQuery. Di bagian Ekspor hasil pemindaian ke tabel BigQuery, lakukan hal berikut:

    1. Di kolom Select BigQuery dataset, klik Browse. Pilih set data BigQuery untuk menyimpan hasil pemindaian profil data.

    2. Di kolom Tabel BigQuery, tentukan tabel untuk menyimpan hasil pemindaian profil data. Jika Anda menggunakan tabel yang sudah ada, pastikan tabel tersebut kompatibel dengan skema tabel ekspor. Jika tabel yang ditentukan tidak ada, Katalog Universal Dataplex akan membuatnya untuk Anda.

       Dataplex Universal Catalog menggunakan tabel hasil yang sama untuk semua pemindaian profil data.

13. Opsional: Tambahkan label. Label adalah key-value pair yang memungkinkan Anda mengelompokkan objek terkait secara bersamaan atau dengan resource Google Cloud lainnya.

14. Untuk membuat pemindaian, klik Buat.

    Jika menyetel jadwal ke on-demand, Anda juga dapat menjalankan pemindaian sekarang dengan mengklik Jalankan pemindaian.

Menjalankan pemindaian profil data

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

Melihat hasil pemindaian profil data

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Lihat hasil yang dipublikasikan

Jika hasil pemindaian profil data dipublikasikan ke halaman BigQuery dan Dataplex Universal Catalog di konsol Google Cloud , Anda dapat melihat hasil pemindaian terbaru di tab Profil data tabel sumber.

1. Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.

   Buka Penelusuran

2. Telusuri, lalu pilih tabel.

3. Klik tab Profil data.

   Hasil terbaru yang dipublikasikan ditampilkan.

Melihat tugas pemindaian profil data terbaru

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

Lihat hasil pemindaian historis

Dataplex Universal Catalog menyimpan histori pemindaian profil data dari 300 tugas terakhir atau selama satu tahun terakhir, mana saja yang lebih dulu.

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

Memberikan akses ke hasil pemindaian profil data

Agar pengguna di organisasi Anda dapat melihat hasil pemindaian, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.

   Buka Pemrofilan & kualitas data

2. Klik pemindaian kualitas data yang hasilnya ingin Anda bagikan.

3. Klik tab Izin.

4. Lakukan tindakan berikut:

   • Untuk memberikan akses ke akun utama, klik person_add Grant access. Berikan peran Dataplex DataScan DataViewer kepada akun utama yang terkait.
   • Untuk menghapus akses dari akun utama, pilih akun utama yang ingin Anda hapus peran Dataplex DataScan DataViewer-nya. Klik person_remove Hapus akses, lalu konfirmasi saat diminta.

Mengelola pemindaian profil data untuk tabel tertentu

Langkah-langkah dalam dokumen ini menunjukkan cara mengelola pemindaian profil data di seluruh project Anda dengan menggunakan halaman Pembuatan profil & kualitas data Dataplex Universal Catalog di konsol Google Cloud .

Anda juga dapat membuat dan mengelola pemindaian profil data saat bekerja dengan tabel tertentu. Di konsol Google Cloud , pada halaman Katalog Universal Dataplex untuk tabel, gunakan tab Profil data. Lakukan tindakan berikut:

1. Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.

   Buka Penelusuran

   Telusuri, lalu pilih tabel.

2. Klik tab Profil data.

3. Bergantung pada apakah tabel memiliki pemindaian profil data yang hasilnya dipublikasikan, Anda dapat menggunakan pemindaian profil data tabel dengan cara berikut:

   • Hasil pemindaian profil data dipublikasikan: hasil pemindaian terbaru yang dipublikasikan ditampilkan di halaman.

     Untuk mengelola pemindaian profil data untuk tabel ini, klik Pemindaian profil data, lalu pilih salah satu opsi berikut:

     • Buat pemindaian baru: membuat pemindaian profil data baru. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat pemindaian profil data dalam dokumen ini. Saat Anda membuat pemindaian dari halaman detail tabel, tabel akan dipilih sebelumnya.

     • Jalankan sekarang: jalankan pemindaian.

     • Edit konfigurasi pemindaian: edit setelan termasuk nama tampilan, filter, ukuran pengambilan sampel, dan jadwal.

     • Mengelola izin pemindaian: mengontrol siapa yang dapat mengakses hasil pemindaian. Untuk mengetahui informasi selengkapnya, lihat bagian Memberikan akses ke hasil pemindaian profil data dalam dokumen ini.

     • Lihat hasil historis: melihat informasi mendetail tentang tugas pemindaian profil data sebelumnya. Untuk mengetahui informasi selengkapnya, lihat bagian Melihat hasil pemindaian profil data dan Melihat hasil pemindaian historis dalam dokumen ini.

     • Lihat semua pemindaian: melihat daftar pemindaian profil data yang berlaku untuk tabel ini.

   • Hasil pemindaian profil data tidak dipublikasikan: klik menu di samping Profil data cepat, lalu pilih salah satu opsi berikut:

     • Menyesuaikan pembuatan profil data: buat pemindaian profil data baru. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat pemindaian profil data dalam dokumen ini. Saat Anda membuat pemindaian dari halaman detail tabel, tabel akan dipilih sebelumnya.

     • Lihat profil sebelumnya: melihat daftar pemindaian profil data yang berlaku untuk tabel ini.

Memperbarui pemindaian profil data

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Menghapus pemindaian profil data

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION --async

Apa langkah selanjutnya?

• Pelajari cara mempelajari data Anda dengan membuat insight data.
• Pelajari pembuatan profil data.
• Pelajari kualitas data otomatis.
• Pelajari cara menggunakan kualitas data otomatis.