Menelusuri resource di Katalog Universal Dataplex

Dokumen ini menjelaskan cara menggunakan penelusuran di Dataplex Universal Catalog untuk menelusuri resource seperti set data BigQuery, instance Cloud SQL, dan lainnya.

Untuk mengetahui informasi selengkapnya tentang aset Google Cloud yang didukung di Dataplex Universal Catalog, lihat Sumber Google Cloud yang didukung.

Cakupan penelusuran

Hasil penelusuran di Katalog Universal Dataplex mematuhi izin yang Anda miliki atas resource terkait dalam sistem sumber.

Misalnya, jika Anda memiliki akses baca metadata BigQuery ke suatu objek, objek tersebut akan muncul di hasil penelusuran Katalog Universal Dataplex Anda. Jika Anda memiliki akses ke tabel BigQuery, tetapi tidak ke set data yang berisi tabel tersebut, tabel akan tetap muncul seperti yang diharapkan dalam penelusuran Katalog Universal Dataplex.

Hasil penelusuran hanya menyertakan resource yang termasuk dalam organisasi yang sama dengan project tempat penelusuran dilakukan.

Hasil penelusuran hanya mencakup resource yang termasuk dalam perimeter VPC-SC yang sama dengan project yang digunakan untuk melakukan penelusuran. Saat menggunakan konsolGoogle Cloud , project ini adalah project yang dipilih di konsol.

Untuk memperluas cakupan hasil penelusuran Anda di luar resource dalam perimeter Kontrol Layanan VPC project Anda, gunakan aturan traffic masuk dan keluar Kontrol Layanan VPC. Aturan ini memfasilitasi pertukaran data pribadi dan efisien di seluruh organisasi Anda. Anda dapat mengonfigurasi aturan ingress dan egress menggunakan konsolGoogle Cloud atau melalui file JSON atau YAML. Lihat contoh YAML berikut dan baca dokumentasi Kontrol Layanan VPC untuk menyesuaikan aturan dengan persyaratan spesifik Anda.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Untuk mengetahui informasi selengkapnya tentang peran Identity and Access Management yang perlu Anda gunakan untuk penelusuran Dataplex Universal Catalog, lihat Peran IAM Dataplex Universal Catalog.

Mengisolasi hasil penelusuran menurut lingkungan menggunakan Kontrol Layanan VPC

Untuk mengisolasi hasil penelusuran Dataplex Universal Catalog di antara lingkungan seperti pengembangan, pengujian, dan produksi, konfigurasi perimeter Kontrol Layanan VPC terpisah untuk setiap lingkungan. Tetapkan project yang berisi aset data dan project yang digunakan untuk melakukan penelusuran ke perimeter lingkungan yang sesuai. Penelusuran yang dilakukan dari project dalam perimeter tertentu hanya akan menampilkan hasil untuk aset yang juga berada dalam perimeter yang sama.

Batasan perolehan dalam penelusuran

Kueri penelusuran Dataplex Universal Catalog tidak menjamin penarikan data sepenuhnya. Hasil yang cocok dengan kueri Anda mungkin tidak ditampilkan, bahkan di halaman hasil berikutnya. Selain itu, hasil yang ditampilkan (dan tidak ditampilkan) dapat bervariasi jika Anda mengulangi kueri penelusuran.

Untuk membuat kueri semua metadata Dataplex Universal Catalog, Anda dapat mengekspor metadata ke Cloud Storage, lalu membuat kuerinya dari BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengekspor metadata.

Filter

Filter memungkinkan Anda mempersempit hasil penelusuran. Semua filter dikelompokkan dalam bagian:

• Sistem seperti BigQuery, Cloud SQL, dan lainnya. Sistem Dataplex Universal Catalog berisi entri kustom.
• Aspek (tag) mencantumkan semua aspek yang tersedia untuk Anda.
• Project mencantumkan semua project yang tersedia untuk Anda.
• Alias jenis menjelaskan jenis resource, seperti database, set data, model, tabel, tampilan, layanan, dan jenis kustom.
• Set data berasal dari BigQuery.

Anda dapat menggabungkan filter dari beberapa bagian untuk menemukan aset yang cocok dengan setidaknya satu kondisi dari setiap bagian yang dipilih. Beberapa filter yang dipilih dalam satu bagian akan dievaluasi menggunakan operator logika OR.

Misalnya, perhatikan kombinasi filter pada gambar berikut (klik gambar untuk memperbesar). Filter penelusuran berikut dipilih: sistem BigQuery, alias jenis table dan view, aspek My aspect type 1 dan My aspect type 2, project my-test-project, dan set data test_bq_dataset.

Penelusuran mencari aset berikut:

• Tabel BigQuery di test_bq_dataset dengan aspek My aspect type 1
• Tabel BigQuery di test_bq_dataset dengan aspek My aspect type 2
• Tampilan BigQuery di test_bq_dataset dengan aspek My aspect type 1
• Tampilan BigQuery di test_bq_dataset dengan aspek My aspect type 2

Memfilter menurut nilai aspek

Filter Aspek memungkinkan Anda membuat kueri untuk aset yang diberi tag menggunakan template tertentu. Anda dapat menggunakan menu Sesuaikan untuk lebih menyempurnakan hasil dan memfilter menurut nilai aspek tertentu. Kondisi filter nilai aspek bergantung pada jenis data kolom aspek tersebut. Misalnya, untuk kolom datetime dan number, Anda dapat menentukan tanggal atau rentang tertentu.

Visibilitas filter

Filter Sistem, Alias jenis, Project, dan Set data ditampilkan bergantung pada kueri saat ini di kolom Penelusuran.

Sebelum memulai

Sebelum menelusuri resource, pastikan Anda memiliki peran yang diperlukan dan mengaktifkan API.

Peran yang diperlukan

Bagian ini menjelaskan peran dan izin yang diperlukan untuk menelusuri resource dan mengakses hasil penelusuran.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Peran yang diperlukan untuk menelusuri entri

Untuk menelusuri entri, Anda memerlukan setidaknya salah satu peran IAM berikut di project yang digunakan untuk penelusuran: Admin Dataplex Catalog, Editor Dataplex Catalog, atau Pelihat Dataplex Catalog. Izin pada hasil penelusuran diperiksa secara terpisah dari project yang dipilih.

Peran yang diperlukan untuk mengakses hasil penelusuran

Hasil penelusuran di Katalog Universal Dataplex diberi cakupan sesuai dengan peran Anda. Untuk menelusuri aset di Dataplex Universal Catalog, Anda harus memiliki izin untuk mengakses resource yang sesuai di sistem sumber. Untuk mengetahui informasi selengkapnya, lihat bagian Cakupan penelusuran dalam dokumen ini.

Misalnya, untuk menelusuri set data, tabel, tampilan, dan model BigQuery, Anda memerlukan izin masing-masing untuk entri tersebut. Untuk mengetahui informasi selengkapnya, lihat Izin BigQuery.

Daftar berikut menjelaskan izin minimum yang diperlukan:

• Untuk menelusuri tabel, Anda memerlukan izin bigquery.tables.get untuk tabel tersebut.
• Untuk menelusuri set data, Anda memerlukan izin bigquery.datasets.get untuk set data tersebut.
• Untuk menelusuri metadata set data atau tabel, Anda memerlukan peran BigQuery Metadata Viewer (roles/bigquery.metadataViewer).

Sebagai contoh lain, untuk menelusuri instance, database, skema, tabel, dan tampilan Cloud SQL, Anda memerlukan izin masing-masing pada entri tersebut. Untuk informasi selengkapnya, lihat Peran dan izin Cloud SQL.

Untuk menelusuri entri kustom, Anda memerlukan peran Dataplex Catalog Viewer (roles/dataplex.catalogViewer).

Mengaktifkan API

Enable the Dataplex API.

Enable the API

Menelusuri referensi

Melihat detail entri

Langkah berikutnya

• Pahami sintaksis penelusuran untuk Dataplex Universal Catalog.
• Pelajari lebih lanjut pengelolaan metadata di Dataplex Universal Catalog.
• Pelajari cara memperkaya entri dengan metadata menggunakan aspek.
• Pelajari cara mengelola entri dan menyerap sumber kustom.