Menelusuri resource di katalog universal BigQuery

Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Dokumen ini menjelaskan cara menggunakan penelusuran di katalog universal untuk menelusuri resource seperti set data BigQuery, instance Cloud SQL, dan lainnya. Untuk mengetahui informasi selengkapnya tentang Google Cloud aset yang didukung dalam katalog universal, lihat Sumber Google Cloud yang didukung.

Cakupan penelusuran

Hasil penelusuran di katalog universal mengikuti izin yang Anda miliki atas resource yang sesuai di sistem sumber.

Misalnya, jika Anda memiliki akses baca metadata BigQuery ke objek, objek tersebut akan muncul di hasil penelusuran katalog universal. Jika Anda memiliki akses ke tabel BigQuery, tetapi tidak ke set data yang berisi tabel tersebut, tabel tersebut masih akan muncul seperti yang diharapkan dalam penelusuran katalog universal.

Hasil penelusuran hanya menyertakan resource yang termasuk dalam organisasi yang sama dengan project tempat penelusuran dilakukan.

Hasil penelusuran hanya mencakup resource yang termasuk dalam perimeter VPC-SC yang sama dengan project tempat penelusuran dilakukan. Saat menggunakan konsolGoogle Cloud , ini adalah project yang dipilih di konsol.

Untuk memperluas cakupan hasil penelusuran di luar resource dalam perimeter Kontrol Layanan VPC project Anda, gunakan aturan traffic masuk dan keluar Kontrol Layanan VPC. Aturan ini memfasilitasi pertukaran data yang pribadi dan efisien di seluruh organisasi Anda. Anda dapat mengonfigurasi aturan traffic masuk dan keluar menggunakan konsolGoogle Cloud atau melalui file JSON atau YAML. Lihat contoh YAML berikut dan baca dokumentasi Kontrol Layanan VPC untuk menyesuaikan aturan dengan persyaratan spesifik Anda.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Untuk mengetahui informasi selengkapnya tentang peran Identity and Access Management yang diperlukan untuk menggunakan penelusuran katalog universal, lihat Peran IAM Dataplex.

Mengisolasi hasil penelusuran menurut lingkungan menggunakan Kontrol Layanan VPC

Untuk mengisolasi hasil penelusuran katalog universal BigQuery di antara lingkungan seperti pengembangan, pengujian, dan produksi, konfigurasi perimeter Kontrol Layanan VPC yang terpisah untuk setiap lingkungan. Tetapkan project yang berisi aset data dan project yang digunakan untuk melakukan penelusuran ke perimeter lingkungan yang sesuai. Penelusuran yang dilakukan dari project dalam perimeter tertentu hanya akan menampilkan hasil untuk aset yang juga berada dalam perimeter yang sama.

Batasan recall dalam penelusuran

Kueri penelusuran katalog universal tidak menjamin recall penuh. Hasil yang cocok dengan kueri Anda mungkin tidak ditampilkan, bahkan di halaman hasil berikutnya. Selain itu, hasil yang ditampilkan (dan tidak ditampilkan) dapat bervariasi jika Anda mengulangi kueri penelusuran.

Filter

Filter memungkinkan Anda mempersempit hasil penelusuran. Semua filter dikelompokkan dalam bagian:

• Sistem seperti BigQuery, Cloud SQL, dan lainnya. Sistem Dataplex berisi entri kustom.
• Aspek (tag) mencantumkan semua aspek yang tersedia untuk Anda.
• Project mencantumkan semua project yang tersedia untuk Anda.
• Alias jenis menjelaskan jenis resource, seperti database, set data, model, tabel, tampilan, layanan, dan jenis kustom.
• Set data berasal dari BigQuery.

Anda dapat menggabungkan filter dari beberapa bagian untuk menemukan aset yang cocok dengan setidaknya satu kondisi dari setiap bagian yang dipilih. Beberapa filter yang dipilih dalam satu bagian akan dievaluasi menggunakan operator logika OR.

Misalnya, pertimbangkan kombinasi filter dalam gambar berikut (klik gambar untuk memperbesar). Filter penelusuran ini dipilih: sistem BigQuery, alias jenis table dan view, aspek My aspect type 1 dan My aspect type 2, project my-test-project, dan set data test_bq_dataset.

Penelusuran akan mencari aset berikut:

• Tabel BigQuery di test_bq_dataset dengan aspek My aspect type 1
• Tabel BigQuery di test_bq_dataset dengan aspek My aspect type 2
• Tampilan BigQuery di test_bq_dataset dengan aspek My aspect type 1
• Tampilan BigQuery di test_bq_dataset dengan aspek My aspect type 2

Memfilter berdasarkan nilai aspek

Filter Aspek memungkinkan Anda membuat kueri untuk aset yang diberi tag menggunakan template tertentu. Anda dapat menggunakan menu Sesuaikan untuk menyaring hasil dan memfilter menurut nilai aspek tertentu lebih lanjut. Kondisi filter nilai aspek bergantung pada jenis data kolom aspek tersebut. Misalnya, untuk kolom datetime dan number, Anda dapat menentukan tanggal atau rentang tertentu.

Visibilitas filter

Filter Systems, Type aliases, Project, dan Datasets ditampilkan bergantung pada kueri saat ini di kolom Search.

Sebelum memulai

Sebelum menelusuri resource, pastikan Anda memiliki peran yang diperlukan dan mengaktifkan API.

Peran yang diperlukan

Bagian ini menjelaskan peran dan izin yang diperlukan untuk menelusuri resource dan mengakses hasil penelusuran.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Peran yang diperlukan untuk menelusuri entri

Untuk menelusuri entri, Anda memerlukan minimal salah satu peran IAM katalog universal (Dataplex Catalog) di project yang digunakan untuk penelusuran. Izin pada hasil penelusuran diperiksa secara terpisah dari project yang dipilih.

Peran yang diperlukan untuk mengakses hasil penelusuran

Cakupan hasil penelusuran di katalog universal sesuai dengan peran Anda. Untuk menelusuri aset di katalog universal, Anda harus memiliki izin untuk mengakses resource yang sesuai di sistem sumber. Untuk informasi selengkapnya, lihat bagian Cakupan penelusuran dalam dokumen ini.

Misalnya, untuk menelusuri set data, tabel, tampilan, dan model BigQuery, Anda memerlukan izin masing-masing untuk entri tersebut. Untuk informasi selengkapnya, lihat izin BigQuery.

Daftar berikut menjelaskan izin minimum yang diperlukan:

• Untuk menelusuri tabel, Anda memerlukan izin bigquery.tables.get untuk tabel tersebut.
• Untuk menelusuri set data, Anda memerlukan izin bigquery.datasets.get untuk set data tersebut.
• Untuk menelusuri metadata set data atau tabel, Anda memerlukan peran BigQuery Metadata Viewer (roles/bigquery.metadataViewer).

Sebagai contoh lain, untuk menelusuri instance, database, skema, tabel, dan tampilan Cloud SQL, Anda memerlukan izin masing-masing pada entri tersebut. Untuk informasi selengkapnya, lihat Peran dan izin Cloud SQL.

Untuk menelusuri entri kustom, Anda memerlukan peran Dataplex Catalog Viewer (roles/dataplex.catalogViewer).

Mengaktifkan API

Enable the Dataplex API.

Enable the API

Menelusuri referensi

Melihat detail entri

Langkah berikutnya

• Pahami sintaksis penelusuran untuk katalog universal.
• Pelajari katalog universal lebih lanjut.
• Pelajari cara memperkaya entri dengan metadata menggunakan aspek.
• Pelajari cara mengelola entri dan menyerap sumber kustom.