Dokumen ini menjelaskan cara membuat dan mengelola jenis entri, grup entri, dan entri kustom untuk mengaktifkan integrasi sumber data kustom ke Dataplex Universal Catalog.
Entri mewakili resource yang metadata-nya Anda ambil. Grup entri adalah penampung untuk satu atau beberapa entri, yang digunakan untuk mengelola kontrol akses dan lokasi regional. Jenis entri menentukan metadata yang diperlukan untuk entri. Jenis entri membawa struktur dan aturan ke dalam resource entri yang mengalir bebas dan didefinisikan secara longgar, sehingga entri dapat diperluas.
Untuk mengintegrasikan sumber data kustom ke Dataplex Universal Catalog, Anda membuat entri kustom menggunakan jenis entri kustom yang berada di grup entri kustom. Membuat entri kustom melibatkan langkah-langkah tingkat tinggi berikut:
- Buat grup entri.
- Buat jenis entri.
- Buat entri kustom untuk jenis entri dalam grup entri.
Entri
Entri mewakili aset data yang metadata-nya Anda kumpulkan. Setiap entri adalah
instance jenis entri. Setiap operasi pada aspek untuk entri harus mematuhi aspek yang diperlukan dari jenis entri tersebut. Misalnya, saat membuat
entri, Anda harus memberikan nilai untuk semua jenis aspek yang ditentukan oleh
jenis entri. Anda tidak dapat menghapus aspek entri yang ditandai sebagai
required dalam jenis entri.
Kategori entri
Entri sistem: Dataplex Universal Catalog membuat entri untuk Google Cloud resource, seperti set data atau tabel BigQuery. Entri yang dibuat oleh Dataplex Universal Catalog disebut entri sistem. Dataplex Universal Catalog secara otomatis memperbarui entri sistem melalui sinkronisasi metadata berkelanjutan dari sistem yang didukung Google Cloud .
Anda tidak dapat mengubah metadata yang diisi secara otomatis (disebut aspek wajib) untuk entri sistem. Anda hanya dapat menambahkan dan mengubah metadata tambahan untuk entri sistem menggunakan aspek opsional. Untuk mengetahui informasi selengkapnya, lihat Kategori aspek.
Entri kustom: entri yang dapat Anda buat dan kelola untuk resource kustom disebut entri kustom. Resource kustom adalah resource di layanan non-Google yang dihosting baik di Google Cloud maupun secara eksternal (misalnya, lokal).
Grup entri
Grup entri adalah penampung untuk satu atau beberapa entri. Anda dapat menggunakan grup entri untuk mengelola kontrol akses dan lokasi regional untuk entri. Setiap grup entri termasuk dalam sebuah project.
Kategori grup entri
Grup entri sistem: untuk Google Cloud resource, Dataplex Universal Catalog secara otomatis membuat grup entri untuk setiap sistem di setiap project dan lokasi tempat resource berada. Misalnya,
@bigqueryadalah grup entri sistem untuk BigQuery.Grup entri kustom: Grup entri yang Anda buat untuk resource kustom.
Jenis entri
Jenis entri menentukan metadata yang diperlukan untuk entri jenis ini, menggunakan serangkaian jenis aspek yang diperlukan.
Anda hanya dapat menentukan jenis aspek yang diperlukan pada entri, dan bukan pada kolom entri. Saat membuat entri dari jenis entri tertentu, Anda harus memberikan nilai untuk semua jenis aspek wajib yang ditentukan oleh jenis entri.
Jenis aspek wajib yang dirujuk dalam jenis entri harus termasuk dalam project yang sama dengan jenis entri.
Kategori jenis entri
Jenis entri kustom: Jenis entri yang Anda buat dan kelola. Anda dapat menggunakan jenis entri ini untuk membuat entri kustom.
Jenis entri sistem: Dataplex Universal Catalog menyediakan jenis entri ini secara default. Jenis entri sistem selanjutnya dikategorikan menjadi dapat digunakan kembali dan dibatasi.
Tabel berikut menjelaskan kategori jenis entri sistem, dan daftar jenis entri yang disediakan Dataplex Universal Catalog untuk setiap kategori:
Kategori jenis entri sistem Deskripsi Jenis entri yang disediakan Dataplex Universal Catalog Jenis entri sistem yang dapat digunakan kembali Anda dapat menggunakan jenis entri ini untuk membuat entri kustom. generic
Jenis entri sistem yang dibatasi Entri ini dicadangkan untuk penggunaan sistem, seperti membuat entri untuk resourceGoogle Cloud .
Anda tidak dapat menggunakan jenis entri ini untuk membuat entri, tetapi Anda dapat mengedit entri dari jenis entri ini untuk menambahkan aspek opsional.Termasuk, tetapi tidak terbatas pada: analytics-hub-exchangeanalytics-hub-listingaspecttypebigquery-datasetbigquery-tablecloudsql-databasecloudsql-instancecloudsql-tableentrygroupentrytypesql-accessstoragestorage-bucketstorage-folder
Anda dapat membuat jenis entri kustom di lokasi regional tertentu atau sebagai resource global. Lokasi jenis entri memengaruhi cakupan penerapannya. Untuk mengetahui informasi selengkapnya, lihat Batasan project dan lokasi.
Jenis entri sistem selalu bersifat global. Jenis entri sistem disimpan dalam project yang dikelola Google dengan project ID 655216118709. Contoh, projects/655216118709/locations/global/entryTypes/bigquery-table.
Sebelum memulai
Sebelum mengelola entri dan menyerap sumber data kustom, pastikan Anda telah menyelesaikan tugas yang dijelaskan di bagian ini.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk membuat dan mengelola entri, minta administrator Anda untuk memberi Anda peran IAM berikut pada resource:
-
Kumpulan izin lengkap pada entri, grup entri, dan jenis entri:
Admin Katalog Dataplex (
roles/dataplex.catalogAdmin) -
Buat dan kelola resource metadata di Dataplex Universal Catalog, termasuk entri, grup entri, dan jenis entri:
Dataplex Catalog Editor (
roles/dataplex.catalogEditor) -
Akses penuh ke operasi terkait entri:
Pemilik Entri Dataplex (
roles/dataplex.entryOwner) -
Melihat entri, grup entri, dan jenis entri, serta kebijakan IAM yang terkait dengannya:
Dataplex Catalog Viewer (
roles/dataplex.catalogViewer) -
Gunakan jenis aspek untuk membuat aspek dari jenis tersebut, saat membuat entri kustom:
Pengguna Jenis Aspek Dataplex (
roles/dataplex.aspectTypeUser) -
Membuat dan mengelola grup entri:
Pemilik Grup Entri Dataplex (
roles/dataplex.entryGroupOwner) -
Membuat dan mengelola jenis entri:
Pemilik Jenis Entri Dataplex (
roles/dataplex.entryTypeOwner) -
Gunakan jenis entri untuk membuat dan mengubah entri dari jenis tersebut:
Pengguna Jenis Entri Dataplex (
roles/dataplex.entryTypeUser)
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Untuk mengetahui informasi selengkapnya, lihat Peran IAM Dataplex Universal Catalog.
Mengaktifkan API
Aktifkan Dataplex API di project Katalog Universal Dataplex Anda.
Membuat grup entri
Konsol
Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.
Klik tab Grup entri > Kustom.
Klik Buat grup entri (Dataplex Catalog).
Di jendela Buat grup entri, masukkan hal berikut:
- Opsional: Di kolom Nama tampilan, masukkan nama tampilan untuk grup entri Anda.
- ID grup entri: Masukkan ID unik untuk grup entri Anda.
- Opsional: Di kolom Deskripsi, masukkan deskripsi untuk grup entri Anda.
- Lokasi: Pilih lokasi. Anda tidak dapat mengubah lokasi setelah membuat grup entri.
Opsional: Di bagian Labels, tambahkan label arbitrer sebagai pasangan nilai kunci ke resource Anda:
- Klik Tambahkan label.
- Di kolom Key, masukkan kunci.
- Di kolom Nilai, masukkan nilai untuk kunci.
- Untuk menambahkan label lainnya, klik Tambahkan label, lalu ulangi langkah-langkahnya.
Klik Simpan.
gcloud
Untuk membuat grup entri, gunakan
perintah gcloud dataplex entry-groups create.
REST
Untuk membuat grup entri, gunakan metode
entryGroups.Create.
Membuat jenis entri
Untuk menyerap sumber baru, Anda harus membuat jenis entri.
Konsol
Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.
Klik tab Jenis entri > Kustom.
Klik Buat.
Di jendela Create entry type, masukkan hal berikut:
- Opsional: Di kolom Nama tampilan, masukkan nama tampilan untuk jenis entri Anda.
- ID jenis entri: Masukkan ID unik untuk jenis entri Anda. Anda tidak dapat mengubahnya setelah membuat jenis entri.
- Opsional: Di kolom Description, masukkan deskripsi untuk jenis entri Anda.
- Opsional: Di kolom System, masukkan sistem sumber.
- Opsional: Di kolom Platform, masukkan platform tempat entri
jenis ini berada. Contoh,
Google Cloud. - Di kolom Location, pilih lokasi. Anda tidak dapat mengubah lokasi setelah membuat jenis entri.
Opsional: Di bagian Type aliases, tentukan jenis data untuk jenis entri Anda. Jenis data dapat digunakan untuk membuat kueri entri.
- Klik Tambahkan alias jenis.
- Di kolom Type alias, pilih jenis data. Anda dapat menambahkan beberapa alias jenis.
Di bagian Jenis aspek wajib, pilih jenis aspek yang wajib untuk jenis entri ini. Setiap entri yang dibuat berdasarkan jenis ini akan memiliki jenis aspek wajib ini yang ditetapkan. Daftar jenis aspek yang diperlukan tidak dapat diubah setelah Anda membuat jenis entri.
- Klik Pilih jenis aspek.
- Di jendela Pilih jenis aspek, pilih jenis aspek.
- Klik Pilih.
Anda tidak dapat menghapus aspek wajib dari entri.
Opsional: Di bagian Labels, tambahkan label arbitrer sebagai pasangan nilai kunci ke resource Anda:
- Klik Tambahkan label.
- Di kolom Key, masukkan kunci.
- Di kolom Nilai, masukkan nilai untuk kunci.
- Untuk menambahkan label lainnya, klik Tambahkan label, lalu ulangi langkah-langkahnya.
Klik Simpan.
gcloud
Untuk membuat jenis entri, gunakan
perintah gcloud dataplex entry-types create.
REST
Untuk membuat jenis entri, gunakan metode
entryTypes.create.
Membuat entri kustom
Sebelum membuat entri kustom, pastikan Anda telah membuat grup entri dan jenis entri.
Konsol
Membuat entri kustom menggunakan konsol Google Cloud tidak didukung. Sebagai gantinya, gunakan Google Cloud CLI atau API.
gcloud
Untuk membuat entri kustom, gunakan
perintah gcloud dataplex entries create.
REST
Untuk membuat entri kustom, gunakan
metode
entries.create.
Setelah membuat entri kustom, Anda dapat menambahkan aspek ke entri tersebut. Untuk mengetahui informasi selengkapnya, lihat Menambahkan aspek ke entri.
Mengelola grup entri
Bagian ini menjelaskan cara melihat daftar grup entri yang tersedia, melihat detail, memperbarui, dan menghapus grup entri.
Melihat daftar grup entri yang tersedia
Konsol
Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.
Klik tab Grup entri.
Halaman ini mencantumkan semua grup entri Katalog Universal Dataplex dan Data Catalog yang tersedia.
Untuk melihat grup entri kustom, klik tab Kustom. Di tab Kustom, kolom Sumber katalog menampilkan lokasi resource berada—Dataplex Universal Catalog atau Data Catalog.
Untuk melihat grup entri sistem, klik tab Sistem.
Untuk mengetahui informasi selengkapnya tentang grup entri kustom dan sistem, lihat bagian kategori grup entri dalam dokumen ini.
Opsional: Untuk melihat daftar grup entri dalam project yang dipilih, klik tab Kustom, lalu klik tombol Tampilkan dari semua project ke posisi nonaktif.
Tombol Tampilkan dari semua project aktif secara default, dan daftar mencakup resource Dataplex Universal Catalog dari organisasi yang Anda pilih dan resource Data Catalog dari semua organisasi yang dapat Anda akses.
gcloud
Untuk melihat daftar grup entri yang tersedia, gunakan
perintah gcloud dataplex entry-groups list.
REST
Untuk melihat daftar grup entri yang tersedia, gunakan metode
entryGroups.list.
Melihat detail grup entri
Konsol
Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.
Klik tab Grup entri.
Klik grup entri yang ingin Anda lihat detailnya.
Halaman detail grup entri akan terbuka. Anda dapat mengakses informasi seperti nama tampilan, ID grup entri, deskripsi, ID project, lokasi, label, tanggal pembuatan, dan tanggal terakhir diubah dari grup entri yang dipilih.
Untuk grup entri Data Catalog, Anda dapat melihat detailnya di antarmuka web Data Catalog dan Dataplex Universal Catalog. Untuk melakukannya, di halaman detail grup entri, klik Data Catalog atau Dataplex Catalog.
Bagian Entri contoh menampilkan 10 entri terkait yang baru-baru ini dibuat dalam grup entri yang dipilih.
Opsional: Untuk melihat semua entri yang terkait dengan grup entri, di bagian Contoh entri, klik Tampilkan semua entri terkait dalam penelusuran.
gcloud
Untuk mengambil detail grup entri, gunakan
perintah gcloud dataplex entry-groups describe.
REST
Untuk mengambil detail grup entri, gunakan metode
entryGroups.get.
Memperbarui grup entri
Anda dapat memperbarui grup entri kustom. Grup entri sistem tidak dapat diubah.
Konsol
Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.
Klik tab Grup entri > Kustom.
Klik grup entri yang ingin Anda perbarui.
Di halaman Detail grup entri, klik Edit.
Edit nama tampilan, deskripsi, dan label, sesuai kebutuhan.
Klik Simpan.
gcloud
Untuk memperbarui grup entri, gunakan
perintah gcloud dataplex entry-groups update.
REST
Untuk memperbarui grup entri, gunakan
metode
entryGroups.patch.
Menghapus grup entri
Anda dapat menghapus grup entri kustom. Grup entri sistem tidak dapat dihapus.
Konsol
Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.
Klik tab Grup entri > Kustom.
Klik grup entri yang ingin Anda hapus.
Di halaman Detail grup entri, klik Hapus. Konfirmasi saat diminta.
gcloud
Untuk menghapus grup entri, gunakan
perintah gcloud dataplex entry-groups delete.
REST
Untuk menghapus grup entri, gunakan metode
entryGroups.delete.
Mengelola jenis entri
Bagian ini menjelaskan cara melihat daftar grup entri yang tersedia, melihat detail, memperbarui, dan menghapus jenis entri.
Melihat daftar jenis entri yang tersedia
Konsol
Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.
Klik tab Jenis entri.
Untuk melihat jenis entri kustom, klik tab Kustom. Untuk melihat jenis entri sistem, klik tab System. Untuk mengetahui informasi selengkapnya tentang jenis entri kustom dan sistem, lihat bagian kategori jenis entri dalam dokumen ini.
Opsional: Untuk melihat daftar jenis entri dalam project yang dipilih, klik tab Kustom, lalu klik tombol Tampilkan dari semua project ke posisi nonaktif.
Tombol Tampilkan dari semua project diaktifkan secara default, dan daftar mencakup jenis entri di semua project.
gcloud
Untuk melihat daftar jenis entri yang tersedia, gunakan
perintah gcloud dataplex entry-types list.
REST
Untuk melihat daftar jenis entri yang tersedia, gunakan
metode
entryTypes.list.
Melihat detail jenis entri
Konsol
Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.
Klik tab Jenis entri > Kustom.
Klik jenis entri yang ingin Anda lihat detailnya.
Halaman detail jenis entri akan terbuka. Anda dapat mengakses informasi seperti nama tampilan, ID jenis entri, deskripsi, ID project, lokasi, platform, sistem, alias jenis, label, tanggal pembuatan, dan tanggal terakhir diubah dari jenis entri yang dipilih.
Opsional: Untuk melihat daftar 10 entri terkait yang dibuat baru-baru ini, klik tab Entri contoh.
Opsional: Untuk melihat semua entri yang terkait dengan grup entri, klik tab Entri contoh, lalu klik Tampilkan semua entri terkait dalam penelusuran.
gcloud
Untuk mengambil detail jenis entri, gunakan
perintah gcloud dataplex entry-types describe.
REST
Untuk mengambil detail jenis entri, gunakan metode
entryTypes.get.
Memperbarui jenis entri
Konsol
Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.
Klik tab Jenis entri > Kustom.
Klik jenis entri yang ingin Anda perbarui.
Di halaman Detail jenis entri, klik Edit.
Edit nama tampilan, deskripsi, sistem, platform, alias jenis, dan label, sesuai kebutuhan.
Klik Simpan.
gcloud
Untuk memperbarui jenis entri, gunakan
perintah gcloud dataplex entry-types update.
REST
Untuk memperbarui jenis entri, gunakan metode
entryTypes.patch.
Menghapus jenis entri
Konsol
Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.
Klik tab Jenis entri > Kustom.
Klik jenis entri yang ingin Anda hapus.
Di halaman Detail jenis entri, klik Hapus. Konfirmasi saat diminta.
gcloud
Untuk menghapus jenis entri, gunakan
perintah gcloud dataplex entry-types delete.
REST
Untuk menghapus jenis entri, gunakan metode
entryTypes.delete.
Langkah berikutnya
- Pelajari cara menelusuri aset data di Dataplex Universal Catalog.
- Pelajari cara mengelola aspek dan memperkaya metadata.
- Pelajari cara mengimpor metadata ke Dataplex Universal Catalog.
- Pelajari lebih lanjut pengelolaan metadata di Dataplex Universal Catalog.