Memberi tag pada tabel di Data Catalog berdasarkan insight dari profil data

Halaman ini menjelaskan cara menerapkan tag Data Catalog secara otomatis ke tabel BigQuery setelah Perlindungan Data Sensitif membuat profil tabel tersebut. Halaman ini juga memberikan contoh kueri yang dapat Anda gunakan untuk menemukan data yang diberi tag di seluruh organisasi dan project Anda.

Fitur ini berguna jika Anda ingin memperkaya metadata yang dikurasi secara manual di Dataplex Universal Catalog dengan insight yang dikumpulkan dari profil data Sensitive Data Protection. Tag yang dihasilkan mencakup insight berikut:

  • Jenis informasi (infoTypes) yang terdeteksi di kolom tabel
  • Tingkat sensitivitas tabel yang dihitung
  • Tingkat risiko data yang dihitung dari tabel

Insight dari profil data Sensitive Data Protection dapat membantu Anda menggunakan Dataplex Universal Catalog untuk menemukan data sensitif dan berisiko tinggi di organisasi Anda. Gunakan insight ini untuk membantu Anda membuat keputusan yang tepat tentang cara mengelola dan mengatur data Anda.

Jika Anda ingin mengirim hasil tugas inspeksi—bukan operasi pembuatan profil data—ke Dataplex Universal Catalog, lihat Mengirim hasil inspeksi Sensitive Data Protection ke Data Catalog.

Tentang profil data

Anda dapat mengonfigurasi Perlindungan Data Sensitif untuk otomatis membuat profil tentang data di seluruh organisasi, folder, atau project. Profil data berisi metrik dan metadata tentang data Anda serta membantu Anda menentukan lokasi data sensitif dan berisiko tinggi. Sensitive Data Protection melaporkan metrik ini pada berbagai tingkat detail. Untuk mengetahui informasi tentang jenis data yang dapat Anda buat profilnya, lihat Referensi yang didukung.

Tentang Dataplex Universal Catalog dan Katalog Data

Dataplex Universal Catalog adalah layanan yang menyatukan data terdistribusi dan mengotomatiskan pengelolaan serta tata kelola data tersebut. Google Cloud Data Catalog (Tidak digunakan lagi) adalah layanan pengelolaan metadata yang skalabel dan terkelola sepenuhnya.

Data Catalog memungkinkan Anda menggunakan tag dan template tag untuk melampirkan metadata bisnis ke data Anda. Kemudian, Anda dapat menelusuri dan mengelola semua metadata untuk organisasi atau project Anda dalam layanan terpadu. Untuk mengetahui informasi selengkapnya, lihat artikel Tag dan template tag.

Cara kerjanya

Jika konfigurasi pemindaian penemuan Anda mengaktifkan tindakan Kirim ke Dataplex sebagai tag, Sensitive Data Protection akan melakukan tindakan berikut setiap kali membuat profil data Anda. Tindakan ini hanya diterapkan pada profil baru dan yang diperbarui. Profil yang ada dan tidak diperbarui tidak akan dikirim ke Katalog Universal Dataplex.

  1. Membuat template tag pribadi yang berisi skema tag yang akan dilampirkan ke tabel BigQuery Anda. Untuk mengetahui informasi tentang nama, ID, dan lokasi template tag, lihat Detail template tag.

    Hanya akun utama dengan peran dan izin yang tepat yang dapat melihat template tag.

  2. Membuat tag untuk setiap tabel BigQuery yang Anda buat profilnya. Tag didasarkan pada template tag yang baru dibuat.

    Misalnya, tag yang dihasilkan dan dilampirkan ke tabel dapat memiliki metadata berikut:

    Nama tampilan Nilai
    Column Insights ccn: CREDIT_CARD_NUMBER
    first_name: PERSON_NAME
    last_name: PERSON_NAME
    ssn: US_SOCIAL_SECURITY_NUMBER
    email: EMAIL_ADDRESS
    Column Sensitivity ccn: HIGH
    first_name: MODERATE
    last_name: MODERATE
    favorite_animal: LOW
    ssn: HIGH
    email: MODERATE
    id: LOW
    Data Risk Level HIGH
    Other InfoTypes PHONE_NUMBER
    Predicted InfoTypes CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
    Profile Last Generated DATE at TIME
    Sensitive Data Profile organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
    Sensitivity Score HIGH

Tabel memiliki dua tag jika diprofilkan melalui keduanya berikut ini:

  • Konfigurasi pemindaian tingkat organisasi atau tingkat folder
  • Konfigurasi pemindaian tingkat project

Setelah tabel diberi tag, Anda dapat menelusuri semua data di organisasi atau project Anda dengan nilai tag tertentu di Katalog Universal Dataplex.

Detail template tag

Nama template, ID template, dan project tempat template tag baru disimpan bergantung pada resource yang terkait dengan konfigurasi pemindaian.

  • Jika konfigurasi pemindaian adalah konfigurasi tingkat organisasi atau tingkat folder, template tag disimpan di penampung agen layanan. Nama template tag adalah Sensitive Data Profile. ID templatnya adalah sensitive_data_profile.
  • Jika konfigurasi pemindaian adalah konfigurasi tingkat project, template tag disimpan dalam project yang akan diprofilkan. Nama template tag adalah Sensitive Data Profile (Project). ID templatnya adalah sensitive_data_profile_project.

Harga

Untuk mengetahui informasi tentang cara layanan Google Cloud lain menagih Anda untuk mengekspor profil data, lihat Harga untuk mengekspor profil data.

Memberi tag pada tabel BigQuery secara otomatis berdasarkan profil data

  1. Buat konfigurasi pemindaian. Atau, edit konfigurasi pemindaian yang ada.

  2. Pada langkah Tambahkan tindakan, pastikan Kirim ke Dataplex sebagai tag diaktifkan.

    • Jika Anda membuat konfigurasi pemindaian, tindakan ini diaktifkan secara default.
    • Jika Anda mengedit konfigurasi pemindaian, Anda harus mengaktifkan tindakan ini.

Setelah data diprofilkan dan diberi tag, Anda dapat mulai menelusuri data yang diberi tag di Dataplex Universal Catalog.

Peran dan izin untuk melihat tag

Hasil penelusuran Katalog Universal Dataplex hanya menampilkan data yang dapat Anda akses. Anda memerlukan peran atau izin Identity and Access Management (IAM) berikut untuk menelusuri tag yang dilampirkan ke tabel BigQuery Anda.

Tujuan Peran bawaan Izin yang relevan
Melihat template tag pribadi Data Catalog TagTemplate Viewer (roles/datacatalog.tagTemplateViewer) datacatalog.tagTemplates.getTag
Melihat tag yang diterapkan ke tabel BigQuery BigQuery Metadata Viewer (roles/bigquery.metadataViewer) bigquery.datasets.get
bigquery.tables.get

Untuk mengetahui informasi selengkapnya tentang peran Dataplex Universal Catalog, lihat Peran untuk melihat tag publik dan pribadi.

Untuk mengetahui informasi tentang cara memberikan peran bawaan, lihat Memberikan satu peran. Jika Anda ingin menggunakan peran khusus, bukan peran bawaan, pastikan peran khusus memiliki izin yang relevan. Untuk mengetahui informasi selengkapnya, lihat Membuat peran kustom.

Menemukan template tag yang dihasilkan

  1. Di konsol Google Cloud , buka halaman Template Tag Katalog Universal Dataplex.

    Buka Template tag

  2. Dalam daftar, temukan template tag. Untuk mengetahui informasi tentang nama, ID, dan lokasi template tag, lihat Detail template tag.

  3. Opsional: Untuk menemukan template tag yang dihasilkan oleh konfigurasi pemindaian penemuan tertentu, masukkan yang berikut di kolom Filter:

    name:PROJECT_ID.TAG_TEMPLATE_ID

    Ganti kode berikut:

    • PROJECT_ID: ID project yang terkait dengan konfigurasi pemindaian. Jika Anda membuat profil data di tingkat organisasi atau folder, masukkan ID project penampung agen layanan.
    • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.

Menemukan tag yang dihasilkan untuk profil data tabel tertentu

  1. Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.

    Buka Penelusuran

  2. Di kolom Penelusuran, masukkan berikut ini:

    name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID

    Ganti kode berikut:

    • TABLE_ID: ID tabel yang diprofilkan.
    • PROJECT_ID: ID project yang berisi template tag. Jika Anda membuat profil data di tingkat organisasi atau folder, masukkan ID project penampung agen layanan.
    • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.

  3. Dalam daftar yang muncul, klik ID tabel. Detail tabel BigQuery akan muncul bersama dengan tag Sensitive Data Profile atau Sensitive Data Profile (Project) yang dilampirkan padanya.

    Tabel memiliki dua tag jika diprofilkan melalui keduanya berikut ini:

    • Konfigurasi pemindaian tingkat organisasi atau tingkat folder
    • Konfigurasi pemindaian tingkat project

Untuk mengetahui informasi tentang cara melakukan penelusuran melalui Data Catalog API, lihat Cara menelusuri aset data.

Contoh kueri penelusuran

Bagian ini memberikan contoh kueri penelusuran yang dapat Anda gunakan di Dataplex Universal Catalog untuk menemukan data di organisasi atau project Anda dengan nilai tag tertentu.

Anda hanya dapat menemukan data yang aksesnya Anda miliki. Akses data dikontrol melalui izin IAM. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin untuk melihat tag di halaman ini.

Anda dapat memasukkan kueri ini di halaman Penelusuran Katalog Universal Dataplex di konsol Google Cloud .

Buka Penelusuran

Untuk mengetahui informasi tentang cara membuat kueri, lihat Sintaksis penelusuran Data Catalog. Untuk mengetahui informasi tentang cara melakukan penelusuran melalui Data Catalog API, lihat Cara menelusuri aset data.

Menemukan semua tabel yang diberi tag menggunakan template tag baru

tag:PROJECT_ID.TAG_TEMPLATE_ID

Ganti kode berikut:

  • PROJECT_ID: ID project yang berisi template tag. Jika Anda membuat profil data di tingkat organisasi atau folder, masukkan ID project penampung agen layanan.
  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.

Contoh berikutnya di halaman ini tidak menyertakan ID project, sehingga Anda mungkin mendapatkan hasil yang terkait dengan berbagai konfigurasi pemindaian penemuan. Untuk membatasi hasil ke konfigurasi pemindaian tertentu, tambahkan project ID ke kueri seperti yang ditunjukkan dalam contoh ini.

Menemukan semua tabel yang terakhir diprofilkan sebelum tanggal tertentu

tag:TAG_TEMPLATE_ID.profile_last_generated<DATE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • DATE: tanggal dalam format YYYY-MM-DD—misalnya, 2023-01-15.

Menemukan semua tabel dengan skor sensitivitas tingkat tabel tertentu

tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • SENSITIVITY_SCORE: salah satu dari HIGH, MODERATE, atau LOW.

Untuk mengetahui informasi selengkapnya, lihat Tingkat risiko dan sensitivitas data.

Menemukan semua tabel dengan tingkat risiko data tertentu

tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • DATA_RISK_LEVEL: salah satu dari HIGH, MODERATE, atau LOW.

Untuk mengetahui informasi selengkapnya, lihat Tingkat risiko dan sensitivitas data.

Menemukan semua tabel yang berisi infoType yang diprediksi tertentu

tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • INFOTYPE: infoType—misalnya, PERSON_NAME.

Untuk mengetahui daftar semua infoType bawaan, lihat Referensi detektor infoType.

Untuk mengetahui informasi selengkapnya, lihat Predicted infoType dalam referensi Metrik.

Menemukan semua tabel yang sebagian berisi infoType tertentu

tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • INFOTYPE: infoType—misalnya, PERSON_NAME.

Untuk mengetahui daftar semua infoType bawaan, lihat Referensi detektor infoType.

Untuk mengetahui informasi selengkapnya, lihat infoType Lainnya dalam referensi Metrik.

Menemukan semua tabel yang berisi kolom tertentu dengan infoType yang diprediksi tertentu

tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • COLUMN_NAME: nama kolom dalam tabel BigQuery.
  • INFOTYPE: infoType—misalnya, PERSON_NAME.

Untuk mengetahui daftar semua infoType bawaan, lihat Referensi detektor infoType.

Untuk mengetahui informasi selengkapnya, lihat Predicted infoType dalam referensi Metrik.

Menemukan semua tabel yang berisi kolom tertentu dengan skor sensitivitas tingkat kolom tertentu

tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • COLUMN_NAME: nama kolom dalam tabel BigQuery.
  • SENSITIVITY_SCORE: salah satu dari HIGH, MODERATE, atau LOW.

Untuk mengetahui informasi selengkapnya, lihat Tingkat risiko dan sensitivitas data.

Nilai tag yang terpotong

Jika data judul kolom tabel BigQuery melebihi 10 MB, tag yang dihasilkan mungkin menampilkan [TRUNCATED] di kolom Column Insights atau Column Sensitivity. Dalam hal ini, sebaiknya buka Perlindungan Data Sensitif untuk meninjau profil data tabel dan profil data kolom terkait.