Dataplex Universal Catalog menyediakan platform pusat untuk menyimpan, mengelola, dan mengakses metadata Anda. Dokumen ini menjelaskan fitur pengelolaan metadata Dataplex Universal Catalog.
Dataplex Universal Catalog menyediakan inventaris terpadu untuk resource cloud dan lokal.Google Cloud Metadata untuk resource Google Cloud diambil dan disimpan secara otomatis oleh Dataplex Universal Catalog. Anda juga dapat memasukkan metadata Anda sendiri untuk resource pihak ketiga ke Dataplex Universal Catalog.
Anda dapat memperkaya inventaris dengan metadata bisnis dan teknis tambahan yang mencakup konteks dan pengetahuan tentang sumber daya Anda. Anda juga dapat menelusuri dan menemukan data Anda di seluruh organisasi serta mengaktifkan tata kelola data atas aset data Anda.
Anda dapat menyetel pengalaman katalog default ke Katalog Universal Dataplex. Jika Anda menggunakan Data Catalog, lakukan transisi konten dan penggunaan Data Catalog mandiri ke Katalog Universal Dataplex. Untuk mengetahui informasi selengkapnya, lihat Beralih dari Data Catalog ke Dataplex Universal Catalog.
Kasus penggunaan
Anda dapat menggunakan Katalog Universal Dataplex untuk melakukan hal berikut:
Menemukan dan memahami data Anda. Katalog Universal Dataplex memberikan visibilitas atas resource data Anda di seluruh organisasi. Dengan begitu, Anda dapat menemukan resource yang relevan untuk kebutuhan konsumsi data. Fitur ini memberikan konteks untuk sumber data, yang membantu Anda memahami kesesuaian sumber data dengan kebutuhan konsumen data Anda.
Aktifkan tata kelola data dan pengelolaan data. Dataplex Universal Catalog menyediakan metadata yang dapat menginformasikan dan mendukung kemampuan tata kelola dan pengelolaan data Anda.
Pertahankan repositori yang dapat di-extend dan komprehensif untuk metadata Anda. Dataplex Universal Catalog menyimpan dan menyediakan akses ke metadata yang dikumpulkan secara otomatis dari resource Anda Google Cloud . Anda dapat mengintegrasikan metadata Anda sendiri dari sistem non-Google Cloud . Anda dapat memperkaya semua metadata dengan anotasi metadata teknis dan bisnis tambahan.
Cara kerja pengelolaan metadata di Dataplex Universal Catalog
Fitur pengelolaan metadata di Dataplex Universal Catalog didasarkan pada konsep berikut:
Entri: Entri merepresentasikan aset data. Sebagian besar metadata dijelaskan oleh aspek dalam entri. Hal ini mirip dengan entri di Data Catalog. Untuk mengetahui informasi selengkapnya, lihat Entri.
Aspek: Aspek adalah sekumpulan kolom metadata terkait dalam entri. Aspek dapat ditafsirkan sebagai elemen penyusun entri atau metadata tambahan untuk entri. Hal ini mirip dengan tag di Data Catalog, namun aspek disimpan dalam entri dan bukan sebagai resource mandiri. Untuk mengetahui informasi selengkapnya, lihat Aspek.
Jenis aspek: Jenis aspek adalah template aspek yang dapat digunakan kembali. Setiap aspek adalah instance dari jenis aspek. Hal ini mirip dengan template tag di Data Catalog. Untuk mengetahui informasi selengkapnya, lihat Jenis aspek.
Grup entri: Grup entri adalah penampung untuk entri yang berfungsi sebagai unit pengelolaan untuk entri ini. Misalnya, gunakan grup entri untuk mengonfigurasi kontrol akses Identity and Access Management, atribusi project, atau lokasi untuk entri dalam grup entri. Hal ini mirip dengan grup entri di Katalog Data. Untuk mengetahui informasi selengkapnya, lihat Grup entri.
Jenis entri: Jenis entri adalah template untuk membuat entri. Bagian ini menetapkan elemen metadata penting, yang diuraikan sebagai daftar aspek yang diperlukan untuk entri jenis ini. Untuk mengetahui informasi selengkapnya, lihat Jenis entri.
Gambar 1. Entri dan grup entri 
Gambar 2. Jenis aspek dan jenis entri
Berikut adalah beberapa kasus penggunaan fitur pengelolaan metadata di Katalog Universal Dataplex:
- Sebagai analis data atau analis bisnis, Anda dapat menelusuri entri di seluruh organisasi dan menjelajahi metadata yang terkait dengan entri tersebut. Untuk informasi selengkapnya, lihat Menelusuri aset data.
- Sebagai pemilik data atau pengelola data, Anda dapat merekam metadata teknis dan bisnis tambahan dengan memberi anotasi pada entri Anda menggunakan aspek. Untuk mengetahui informasi selengkapnya, lihat Mengelola aspek dan memperkaya metadata. Untuk mengelola istilah bisnis, lihat Mengelola glosarium.
- Sebagai pemilik data atau pengelola data, Anda dapat menghadirkan konsistensi ke dalam metadata dengan menentukan standar untuk anotasi (menggunakan jenis aspek), glosarium bisnis (menggunakan kategori dan istilah bisnis), dan entri kustom (menggunakan jenis entri). Untuk mengetahui informasi selengkapnya, lihat Mengelola aspek dan memperkaya metadata dan Mengelola glosarium bisnis.
- Sebagai engineer data, Anda dapat memiliki inventaris terpadu untuk resource Anda, termasuk resource Google Cloud dan resource dari sistem pihak ketiga. Resource Google Cloud dikumpulkan secara otomatis oleh Dataplex Universal Catalog, dan resource non-Google Cloud dikumpulkan oleh Anda.Google Cloud Untuk mengetahui informasi selengkapnya, lihat Mengelola entri dan menyerap sumber kustom.
Untuk pengguna Data Catalog yang sudah ada
Jika Anda sudah menggunakan Data Catalog, perhatikan hal berikut:
- Entri kustom, konteks ringkasan, glosarium, dan grup entri yang Anda buat di Data Catalog tersedia di Dataplex Universal Catalog.
- Sebagai administrator, Anda dapat memilih untuk membuat konten template dan tag Data Catalog tersedia secara bersamaan di Dataplex Universal Catalog. Untuk mengetahui informasi selengkapnya, lihat Beralih dari Data Catalog ke Dataplex Universal Catalog.
- Saat Anda mencari aset data di Dataplex Universal Catalog, metadata yang dibuat langsung di Dataplex Universal Catalog dan metadata yang dibawa dari Data Catalog ke Dataplex Universal Catalog akan disertakan.
- Saat Anda menelusuri aset data di Data Catalog, hanya metadata yang dibuat di Data Catalog yang disertakan.
- Deskripsi grup entri di Data Catalog yang melebihi 1.024 karakter akan dipangkas menjadi 1.024 karakter di Dataplex Universal Catalog.
- Sebagai administrator, untuk menyediakan glosarium dan link terkait antara istilah bisnis dan kolom yang Anda buat di Data Catalog di Dataplex Universal Catalog, ikuti proses transisi.
Untuk mengetahui informasi selengkapnya tentang cara mentransisikan konten dan penggunaan Data Catalog mandiri ke Dataplex Universal Catalog, lihat Beralih dari Data Catalog ke Dataplex Universal Catalog.
Katalog Universal Dataplex versus Data Catalog
Dataplex Universal Catalog menyediakan kemampuan terintegrasi untuk mengelola metadata Anda. Metode API dan penyimpanan metadata diintegrasikan ke dalam Dataplex API.
Fitur pengelolaan metadata utama di Katalog Universal Dataplex mencakup hal-hal berikut:
Metamodel yang lebih kuat
- Entri yang diketik. Anda dapat menerapkan standar metadata minimal dengan menentukan konten metadata yang diperlukan untuk entri kustom
- Metamodel yang dapat dikonfigurasi pengguna untuk entri kustom, yang membantu membuat penyerapan kustom lebih andal dan meningkatkan konsistensi serta kelengkapan metadata kustom.
- Dukungan untuk variasi dan kompleksitas metadata yang lebih luas, termasuk dukungan untuk struktur bertingkat seperti daftar, peta, dan array.
Peningkatan skalabilitas, termasuk kemampuan untuk berinteraksi dengan semua metadata yang terkait dengan entri melalui operasi CRUD atomik tunggal dan kemampuan untuk mengambil beberapa anotasi metadata yang terkait dalam respons penelusuran atau daftar.
Tabel berikut membandingkan fitur pengelolaan metadata Dataplex Universal Catalog dan Data Catalog:
| Fitur | Katalog Universal Dataplex | Data Catalog |
|---|---|---|
| Sumber Google Cloud yang didukung | Semua sumber seperti yang dijelaskan di bagian Sumber yang didukung Google Cloud dalam dokumen ini. | Semua sumber yang dijelaskan dalam Entri dan grup entri. |
| Penyerapan sumber kustom | Penyerapan ke dalam entri kustom dengan struktur yang diatur, yang ditentukan oleh jenis entri. Entri dan grup entri kustom Data Catalog tersedia di
Dataplex Universal Catalog dengan jenis entri | Penyerapan ke dalam entri kustom generik. |
| Pengayaan metadata | Konteks metadata untuk entri diambil menggunakan glosarium bisnis, aspek, dan jenis aspek. | Konteks metadata untuk entri diambil menggunakan glosarium bisnis, tag, dan template tag. |
| Telusuri | Penelusuran dilakukan atas hal berikut:
Hasil penelusuran hanya mencakup resource yang termasuk dalam organisasi yang sama dan perimeter VPC-SC yang sama dengan project yang digunakan untuk melakukan penelusuran. Saat menggunakan konsol Google Cloud , project ini adalah project yang dipilih di konsol. Perhatikan bahwa untuk menelusuri entri, Anda memerlukan setidaknya salah satu peran IAM di project yang digunakan untuk penelusuran: Admin Katalog Dataplex, Editor Katalog Dataplex, atau Pelihat Katalog Dataplex. Izin pada hasil penelusuran diperiksa secara terpisah dari project yang dipilih. |
Penelusuran dilakukan atas hal berikut:
|
| Silsilah data |
Linage data mengambil detail entri untuk node aset dengan menggunakan Dataplex API. Konsol Google Cloud menampilkan aspek terlampir. |
Silsilah data mengambil detail entri untuk node aset menggunakan Data Catalog API. |
| Glosarium bisnis |
Glosarium bisnis memungkinkan Anda membuat taksonomi untuk istilah bisnis, dan mengaitkannya dengan aset dan kolom data. Anda dapat menggunakan penelusuran untuk menemukan aset yang ditautkan ke suatu istilah. |
Glosarium bisnis memungkinkan Anda membuat taksonomi untuk istilah bisnis, dan mengaitkannya dengan kolom. Anda dapat menggunakan penelusuran untuk menemukan aset yang ditautkan ke suatu istilah. |
Tabel berikut menjelaskan cara resource di Katalog Universal Dataplex berkorespondensi dengan resource Data Catalog:
| Resource Katalog Universal Dataplex | Resource Data Catalog | Deskripsi |
|---|---|---|
Jenis aspek (global) |
Template tag publik | Template tag adalah resource regional. Namun, Anda dapat menggunakannya untuk membuat tag di seluruh region. Template tag sesuai dengan jenis aspek global di Dataplex Universal Catalog. |
| Aspek opsional | Tag publik | Tag publik di Data Catalog sesuai dengan aspek opsional di Dataplex Universal Catalog. |
| Grup entri | Grup entri | Untuk sumber Google Cloud , grup entri sistem seperti @bigquery
dibuat per project di Dataplex Universal Catalog. |
| Aspek yang diperlukan untuk entri kustom | Entri kustom | Data Catalog dan Dataplex Universal Catalog memiliki konsep serupa untuk entri kustom. Properti entri standar dimodelkan sebagai aspek wajib di Dataplex Universal Catalog. |
| Aspek yang diperlukan untuk masuk ke sistem | Entri Sistem (Google Cloud) | Metadata yang menjelaskan entity bawaan, seperti Schema untuk
tabel BigQuery, dicatat dalam aspek yang diperlukan dari
jenis aspek yang ditentukan sistem. |
| Glosarium bisnis | Glosarium bisnis | Gunakan glosarium untuk membuat taksonomi istilah bisnis yang menstandardisasi konteks bisnis di seluruh perusahaan. |
Untuk mengetahui informasi selengkapnya tentang fitur yang tersedia di Data Catalog, tetapi tidak didukung di Dataplex Universal Catalog, lihat bagian Fitur pengelolaan metadata yang tidak didukung di Dataplex Universal Catalog dalam dokumen ini.
Sumber yang didukung
- Penemuan otomatis data Cloud Storage
- Metadata dari sumber berikut otomatis di-ingest ke Dataplex Universal Catalog:
- Google Cloud
- Pertukaran dan listingan berbagi BigQuery (sebelumnya Analytics Hub)
- Set data, tabel, model, rutinitas, koneksi, dan set data tertaut BigQuery
- Instance, cluster, dan tabel Bigtable (termasuk detail grup kolom)
- Repositori Dataform dan aset kode
- Instance, database, skema, tabel, tampilan Cloud SQL—lihat Mengaktifkan integrasi Cloud SQL
- Layanan, database, dan tabel Dataproc Metastore
- Topik Pub/Sub
- Instance, database, tabel, dan tampilan Spanner
- Model, set data, grup fitur, tampilan fitur, dan instance toko online Vertex AI
Untuk mengimpor metadata dari sumber pihak ketiga ke Dataplex Universal Catalog, Anda dapat menggunakan pipeline konektivitas terkelola.
Batasan project dan lokasi
Resource katalog di Katalog Universal Dataplex ditempatkan dalam berbagai project dan lokasi. Batasan berikut berlaku:
Lokasi:
- Lokasi entri harus cocok dengan lokasi jenis entri,
atau jenis entri harus
global. - Aspek yang ditambahkan ke entri harus didasarkan pada jenis aspek yang disimpan
di lokasi yang sama dengan entri atau jenis aspek harus berupa
global. - Jenis entri harus terdiri dari jenis aspek yang disimpan di lokasi yang sama dengan jenis entri.
- Lokasi entri harus cocok dengan lokasi jenis entri,
atau jenis entri harus
Project:
- Jika jenis entri mereferensikan jenis aspek kustom, jenis aspek harus berada di lokasi dan project yang sama dengan jenis entri.
Fitur pengelolaan metadata yang tidak didukung di Katalog Universal Dataplex
Fitur berikut yang tersedia di Data Catalog tidak didukung di Dataplex Universal Catalog:
- Konsep aspek pribadi dan jenis aspek pribadi (padanan untuk tag pribadi dan template tag pribadi di Data Catalog) tidak ada di Dataplex Universal Catalog.
- Penelusuran tag kebijakan tidak didukung di penelusuran
Dataplex Universal Catalog; oleh karena itu, predikat
policytagdanpolicytagidtidak berfungsi di penelusuran Dataplex Universal Catalog. - Saat Anda membawa grup entri kustom, entri kustom, template tag, dan tag Data Catalog ke Dataplex Universal Catalog, izin aslinya tidak akan dipertahankan. Anda harus mengonfigurasi izin IAM secara eksplisit untuk metadata yang disalin sebelum menggunakannya.
- Dukungan Terraform untuk mengelola aspek dan entri kustom tidak tersedia. Sebagai gantinya, Anda dapat mengelola metadata kustom secara terprogram dalam skala besar dengan menggunakan pipeline konektivitas terkelola atau metode API impor metadata. (Dukungan Terraform untuk grup entri, jenis entri, dan jenis aspek tersedia; lihat Menyediakan resource Katalog Universal Dataplex dengan Terraform.)
- Pengiriman hasil pemeriksaan Sensitive Data Protection langsung ke katalog di Katalog Universal Dataplex tidak didukung. Sebagai gantinya, Anda dapat mengirim hasil pemeriksaan Sensitive Data Protection ke Data Catalog, lalu mengubah hasil tersebut ke Dataplex Universal Catalog.
- Anda tidak dapat mencantumkan jenis entri dan jenis aspek di seluruh project menggunakan API. Anda dapat mencakup permintaan daftar hanya ke project.
- Pendaftaran data lake, zona, aset, dan entitas sebagai entri Dataplex Universal Catalog tidak didukung. Artinya, metadata Data Catalog yang dilampirkan ke data lake, zona, aset, dan entitas tidak akan diteruskan ke katalog di Dataplex Universal Catalog. Selain itu, saat menggunakan penelusuran Dataplex Universal Catalog, penelusuran zona dan entitas tidak didukung, dan pemfilteran menurut data lake dan zona tidak didukung. Anda dapat menggunakan data lake dan zona secara terpisah dari katalog di Dataplex Universal Catalog.
- Penelusuran administrator, yang memastikan ingatan penuh, tidak didukung. Sebagai gantinya, Anda dapat mengekspor metadata ke Cloud Storage lalu membuat kueri dari BigQuery.
Untuk perbandingan fitur dan resource yang didukung di Dataplex Universal Catalog dan Data Catalog, lihat bagian Dataplex Universal Catalog versus Data Catalog dalam dokumen ini.
Harga
Katalog Universal Dataplex menggunakan SKU penyimpanan metadata untuk menagih biaya penyimpanan metadata. Untuk mengetahui informasi selengkapnya, lihat Harga Katalog Universal Dataplex.
Tidak ada biaya untuk menggunakan berikut ini:
- Membuat dan mengelola resource katalog di Dataplex Universal Catalog
- Panggilan Search API untuk Katalog Universal Dataplex
- Kueri penelusuran yang dilakukan di halaman Katalog Universal Dataplex di konsolGoogle Cloud
Langkah berikutnya
- Pelajari cara menelusuri resource di Dataplex Universal Catalog.
- Pelajari cara mengelola aset dan memperkaya metadata.
- Pelajari cara mengelola entri dan menyerap sumber kustom.
- Pelajari lebih lanjut cara beralih dari Data Catalog ke Dataplex Universal Catalog.
- Pelajari lebih lanjut cara mentransisikan glosarium ke Katalog Universal Dataplex.