Jika menggunakan Data Catalog, Anda dapat mentransisikan konten dan penggunaan Data Catalog ke katalog universal BigQuery dengan mengikuti langkah-langkah yang dijelaskan dalam dokumen ini.
Jika Anda baru menggunakan katalog, mulailah dengan katalog universal dengan mengonfigurasinya sebagai pengalaman katalog default Anda.
Dokumen ini ditujukan untuk administrator data dan pengelola data.
Katalog universal memiliki antarmuka web dan API baru. Dengan beralih ke katalog universal, beban kerja dan pengguna Anda saat ini dan di masa mendatang dapat memanfaatkan fitur dan kemampuannya yang ditingkatkan. Untuk mengetahui informasi selengkapnya, lihat Ringkasan katalog universal.
Untuk perbandingan katalog universal dan Data Catalog, lihat Katalog universal versus Data Catalog.
Sebelum memulai transisi, tinjau fitur yang tidak didukung di katalog universal.
Ringkasan transisi
Halaman Kelola transisi ke Dataplex di Google Cloud konsol menyediakan satu titik akses untuk mengelola transisi.
Bagian ini menjelaskan berbagai skenario transisi dan menguraikan proses transisi untuk setiap skenario.
Jika Anda tidak memiliki metadata kustom di Data Catalog atau jika Anda belum pernah menggunakan Data Catalog
Jika Anda menggunakan Katalog Data dan tidak memiliki metadata kustom, seperti tag, template tag, entri kustom, atau grup entri, atau jika Anda belum pernah menggunakan Katalog Data, selesaikan transisi dengan menetapkan pengalaman UI katalog default ke katalog universal.
Jika Anda memiliki metadata kustom Data Catalog atau beban kerja terprogram
Jika Anda menggunakan Data Catalog dengan metadata kustom (seperti tag, template tag, entri kustom, atau grup entri), Dataplex dapat otomatis mengimpor metadata kustom ini ke katalog universal sebagai read-only. Untuk mengaktifkan kemampuan ini, perubahan konfigurasi diperlukan
seperti yang diuraikan dalam fase persiapan.
Fase kedua adalah fase transfer, saat status aktif (read-write)
metadata kustom Anda dipindahkan ke katalog universal. Selama
fase ini, Anda juga harus mengupdate workload terprogram (seperti API,
library klien, modul Terraform, dan perintah Google Cloud CLI) untuk berinteraksi
dengan katalog universal.
Berikut adalah detail lebih lanjut tentang setiap fase proses transisi:
Fase persiapan: lakukan tugas konfigurasi yang diperlukan agar konten Data Catalog tersedia secara bersamaan di katalog universal sebagai
read-only. Selama fase ini, Data Catalog tetap menjadi sumber tepercaya untuk konten metadata Anda.Fase persiapan mencakup tugas-tugas berikut:
- Perbarui template tag pribadi Data Catalog menjadi publik.
- Ikut serta dalam template tag dan tag untuk ketersediaan metadata secara bersamaan di katalog universal.
- Konfigurasikan izin IAM Dataplex untuk metadata kustom Anda.
Untuk mengetahui informasi selengkapnya, lihat Fase persiapan.
Fase transfer: pindahkan penggunaan katalog dan status aktif (
read-write) metadata kustom Anda ke katalog universal.Fase transfer mencakup tugas-tugas berikut:
- Menetapkan pengalaman UI katalog default ke katalog universal.
Transfer metadata kustom Data Catalog ke katalog universal.
Anda harus menunggu minimal 48 jam setelah mengaktifkan template tag dan tag sebelum dapat mentransfer metadata kustom. Waktu ini diperlukan untuk pemrosesan internal.
Memperbarui beban kerja terprogram.
Setelah menyelesaikan fase transfer, katalog universal menjadi sumber tepercaya untuk semua metadata dan Anda tidak perlu menggunakan Data Catalog.
Untuk mengetahui informasi selengkapnya, lihat Fase transfer.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk bertransisi dari Data Catalog ke katalog universal, berikan peran IAM berikut pada resource:
Memperbarui template tag pribadi menjadi publik: Data Catalog TagTemplate Owner (
roles/datacatalog.tagTemplateOwner)Peran yang telah ditentukan ini berisi izin
datacatalog.tagTemplates.update, yang diperlukan untuk memperbarui template tag pribadi menjadi publik.Mengaktifkan template tag dan tag publik untuk ketersediaan metadata secara bersamaan di katalog universal: DataCatalog Migration Config Admin (
roles/datacatalog.migrationConfigAdmin)Peran yang telah ditentukan ini berisi izin
datacatalog.migrationConfig.set, yang diperlukan untuk mengaktifkan template tag dan tag.Menetapkan pengalaman UI katalog default ke katalog universal: DataCatalog Migration Config Admin (
roles/datacatalog.migrationConfigAdmin)Peran yang telah ditentukan ini berisi izin
datacatalog.migrationConfig.set, yang diperlukan untuk menetapkan pengalaman UI katalog default.Mentransfer template tag publik Data Catalog ke katalog universal: Data Catalog TagTemplate Owner (
roles/datacatalog.tagTemplateOwner)Peran yang telah ditentukan ini berisi izin
datacatalog.tagTemplates.update, yang diperlukan untuk mentransfer template tag publik.Mentransfer grup entri Katalog Data ke katalog universal: DataCatalog EntryGroup Owner (
roles/datacatalog.entryGroupOwner)Peran bawaan ini berisi izin
datacatalog.entryGroups.update, yang diperlukan untuk mentransfer grup entri.
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan dengan peran khusus atau peran bawaan lainnya.
Fase persiapan
Fase ini melibatkan tugas untuk membuat konten metadata Data Catalog
tersedia secara bersamaan di katalog universal, dalam
mode read-only.
Berikut adalah poin-poin penting yang perlu diingat selama fase persiapan:
- Data Catalog tetap menjadi sumber tepercaya untuk metadata kustom Anda.
- Halaman Penelusuran Dataplex mengarah ke penelusuran Data Catalog secara default, yang hanya menyertakan metadata Data Catalog dan bukan metadata katalog universal.
- Penelusuran katalog universal mungkin tidak menyertakan semua template dan tag publik Data Catalog hingga Anda menyelesaikan fase persiapan.
Pelajari lebih lanjut ketersediaan metadata Data Catalog secara simultan di katalog universal
Grup entri kustom Data Catalog dan entrinya sudah
tersedia secara bersamaan di katalog universal sebagai
read-only. Saat Anda
mengaktifkan template dan tag publik
pada fase persiapan, kontennya akan tersedia secara bersamaan di
katalog universal sebagai read-only.
Tabel berikut menunjukkan pemetaan antara resource Data Catalog dan katalog universal saat resource Data Catalog tersedia secara bersamaan di katalog universal:
| Referensi Data Catalog | Resource katalog universal yang sesuai | Deskripsi |
|---|---|---|
| Template tag | Jenis aspek (global) | Template tag di Data Catalog adalah resource regional. Saat Anda mengaktifkan template tag, kontennya akan tersedia secara bersamaan sebagai jenis aspek global di katalog universal. Hal ini dilakukan untuk mempertahankan referensi lintas regional antara tag dan template tag. Definisi jenis aspek global direplikasi ke semua Google Cloud region. Konsep standar seperti |
| Tag | Aspek opsional | Saat Anda mengaktifkan template tag, tagnya akan tersedia secara bersamaan sebagai aspek opsional di katalog universal. Untuk mengetahui informasi selengkapnya, lihat Kategori aspek. |
| Grup entri | Grup entri | Grup entri untuk entri sistem dibuat per project per region di katalog universal. Grup entri yang dibuat di Data Catalog akan tersedia secara bersamaan di katalog universal. |
| Entri kustom | Entri kustom | Semua entri kustom di Data Catalog tersedia secara bersamaan
sebagai entri GenericEntryType di
katalog universal.
Untuk informasi selengkapnya, lihat
Kategori jenis entri.
|
| Entri sistem (Google Cloud) | Aspek yang diperlukan entri sistem | Metadata yang menjelaskan entri sistem, seperti Schema untuk
tabel BigQuery, diambil dalam aspek yang diperlukan dari
jenis aspek yang ditentukan sistem.
|
Memperbarui template tag pribadi Data Catalog menjadi publik
Katalog universal tidak mendukung konsep aspek pribadi (padanan dengan tag pribadi). Oleh karena itu, template tag dan tag pribadi tidak tersedia secara bersamaan di katalog universal. Untuk memperluas template tag dan tag pribadi di katalog universal, Anda harus memperbaruinya menjadi publik.
Sebelum melanjutkan, tinjau struktur template tag pribadi untuk memastikan bahwa struktur dan metadatanya konsisten dengan visibilitas tag publik.
Untuk memperbarui template tag dan tag pribadi menjadi publik, ikuti langkah-langkah berikut:
Konsol
Di Google Cloud console, buka halaman Katalog Dataplex.
Klik Kelola transisi ke Dataplex.
Klik tab Template tag pribadi.
Klik Kelola template tag.
Di halaman Tag templates, klik template tag pribadi yang ingin Anda perbarui.
Di halaman Detail template, klik Edit.
Di bagian Visibilitas, pilih Publik.
Klik Perbarui.
REST
Untuk memperbarui template tag pribadi menjadi publik, gunakan metode
tagTemplates.patch.
Mengaktifkan template tag dan tag publik untuk ketersediaan metadata secara bersamaan di katalog universal
Saat Anda memberikan keikutsertaan, konten template dan tag tag publik Data Catalog akan otomatis dan terus-menerus disebarkan ke katalog universal BigQuery di seluruh Google Cloud organisasi atau project Anda. Template dan tag publik Data Catalog di-propagate ke katalog universal BigQuery sebagai jenis dan aspek aspek publik. Definisi jenis aspek global direplikasi ke semua region Google Cloud .
Untuk mengaktifkan template dan tag publik, ikuti langkah-langkah berikut:
Konsol
Di Google Cloud console, buka halaman Katalog Dataplex.
Klik Kelola transisi ke Dataplex.
Klik tab Ikut serta.
Klik Berikan keikutsertaan.
Pada dialog konfirmasi, masukkan teks yang ditampilkan, lalu klik Konfirmasi.
REST
Untuk memilih ikut serta dalam template tag dan tag, gunakan metode
setConfig.
Untuk Google Cloud organisasi dan project, Anda dapat mencabut keikutsertaan yang awalnya diberikan, dengan mengklik Cabut keikutsertaan. Saat Anda mencabut keikutsertaan, proses penyebaran template tag dan tag Data Catalog ke katalog universal BigQuery akan berhenti. Jenis aspek dan aspek katalog universal BigQuery yang dibuat oleh proses keikutsertaan, tetapi tidak ditransfer ke katalog universal BigQuery, akan dihapus. Proses penghapusan mungkin memerlukan waktu hingga 12 jam.
Mengonfigurasi izin IAM katalog universal BigQuery untuk metadata kustom Anda
Jenis aspek katalog universal dan grup entri kustom yang mewakili template tag dan grup entri dari Data Catalog tidak mewarisi izin IAM Data Catalog asli. Anda harus mengonfigurasi izin IAM Dataplex secara manual untuk jenis aspek dan grup entri kustom tersebut.
Misalnya, jika ingin membuat aspek menggunakan jenis aspek yang di-propagate (yang mewakili template tag Data Catalog), Anda harus mengonfigurasi izin IAM yang diperlukan untuk jenis aspek tersebut. Demikian pula, saat menyerap metadata kustom, untuk membuat entri kustom dalam grup entri kustom yang di-propagate, Anda harus mengonfigurasi izin IAM yang diperlukan untuk grup entri tersebut.
Untuk mengetahui informasi selengkapnya tentang cara izin IAM di Data Catalog sesuai dengan izin di katalog universal, lihat Pemetaan izin IAM antara Data Catalog dan katalog universal.
Untuk mengonfigurasi izin IAM Dataplex yang diperlukan untuk jenis aspek dan grup entri kustom, ikuti langkah-langkah berikut:
Konsol
Di Google Cloud console, buka halaman Katalog Dataplex.
Klik Kelola transisi ke Dataplex.
Klik tab Dataplex IAM permissions.
Untuk mengonfigurasi izin IAM Dataplex untuk jenis aspek, klik Jenis aspek dan template tag.
Untuk template tag yang di-push dari Data Catalog, klik > Permissions.
Klik Add principals.
Tambahkan akun utama baru, lalu tetapkan peran yang diperlukan.
Klik Simpan.
Untuk mengonfigurasi izin IAM Dataplex untuk grup entri, klik Grup entri.
Untuk grup entri yang di-propagate dari Katalog Data, klik > Permissions.
Klik Add principals.
Tambahkan akun utama baru, lalu tetapkan peran yang diperlukan.
Klik Simpan.
REST
Untuk mengonfigurasi izin IAM Dataplex untuk
jenis aspek, gunakan
metode
aspectTypes.setIamPolicy.
Untuk mengonfigurasi izin IAM Dataplex untuk
grup entri, gunakan
metode
entryGroups.setIamPolicy.
Fase transfer
Fase ini melibatkan tugas untuk memindahkan status aktif (read-write) metadata kustom Data Catalog Anda ke katalog universal.
Berikut adalah poin-poin penting yang perlu diingat selama fase transfer:
- Halaman Telusuri Dataplex mengarah ke penelusuran katalog universal secara default.
- Anda dapat menemukan dan membaca metadata Data Catalog dan katalog universal di katalog universal.
- Untuk memperbarui metadata di Google Cloud konsol, Anda akan dialihkan ke sumbernya. Misalnya, jika Anda memperbarui template tag Data Catalog, Anda akan dialihkan ke halaman template tag di Data Catalog.
Menetapkan pengalaman UI katalog default ke katalog universal
Menetapkan pengalaman UI katalog default ke katalog universal berarti hal berikut:
Saat Anda membuka halaman Penelusuran Dataplex di konsolGoogle Cloud , penelusuran katalog universal (Dataplex Catalog) akan ditampilkan secara default. Penelusuran katalog universal beroperasi di katalog universal dan menemukan semua konten metadata Anda, termasuk konten yang dibuat di katalog universal dan konten yang diambil dari Data Catalog.
Penelusuran Data Catalog hanya menemukan konten Data Catalog, bukan konten katalog universal. Oleh karena itu, sebaiknya gunakan penelusuran katalog universal.
Antarmuka web mendorong Anda untuk membuat resource baru di katalog universal (Dataplex Catalog). Misalnya, setelan defaultnya adalah Create Aspect Types, bukan Create Tag Templates, dan Create Entry Group (Dataplex Catalog), bukan Create Entry Group (Data Catalog).
Menetapkan pengalaman UI katalog default ke katalog universal biasanya merupakan operasi satu arah. Namun, Dataplex memungkinkan Anda mengembalikan perubahan dalam kasus luar biasa, misalnya, saat Anda ingin mengalihkan pengalaman UI Katalog default kembali ke Data Catalog. Jika Anda mengembalikan perubahan, Anda tidak dapat mengakses konten apa pun yang dibuat di katalog universal, di antarmuka web Data Catalog.
Untuk menetapkan pengalaman UI katalog default ke katalog universal, ikuti langkah-langkah berikut:
Konsol
Di Google Cloud console, buka halaman Katalog Dataplex.
Klik Kelola transisi ke Dataplex.
Klik tab Pengalaman UI katalog default.
Klik Set the default catalog UI experience to Dataplex Catalog.
REST
Untuk menetapkan pengalaman UI katalog default ke katalog universal,
gunakan
metode
setConfig.
Mentransfer metadata kustom Data Catalog ke katalog universal
Anda dapat mentransfer template tag publik Data Catalog (yang Anda ikut serta) dan grup entri kustom ke katalog universal. Pastikan Anda mentransfer setiap template tag dan grup entri kustom secara terpisah.
Berikut ringkasan proses transfer:
Efek
- Mentransfer status aktif untuk resource dari Data Catalog ke katalog universal. Setelah transfer, untuk mengubah resource atau mengakses statusnya saat ini, Anda harus menggunakan katalog universal.
Perubahan pada konten dan alur data
- Menandai resource sebagai
read-onlydi Data Catalog. - Menandai resource sebagai
read-writedi katalog universal. - Menghentikan ketersediaan serentak resource ini.
- Menandai resource sebagai
Dependensi
- Mentransfer template tag juga akan mentransfer semua tag yang menggunakan template tersebut.
- Mentransfer grup entri juga akan mentransfer semua entri dalam grup tersebut.
- Mentransfer entri tidak memengaruhi status transfer tag dan template tagnya masing-masing.
Sebelum transfer, untuk mengubah konteks bisnis entri (misalnya,
overview, contacts), Anda dapat menggunakan Data Catalog
dan Dataplex API. Setelah transfer, Anda hanya boleh menggunakan
Dataplex API.
Berikut ini menjelaskan operasi yang diizinkan untuk entri Data Catalog kustom yang diberi tag, bergantung pada status transfer grup entri kustom dan template tag terkait:
- Saat template tag aktif di Data Catalog, Anda dapat menggunakan template tag tersebut untuk membuat tag. Setelah mentransfer template tag ke katalog universal, Anda tidak dapat menggunakannya untuk membuat tag di Data Catalog.
- Anda dapat membuat aspek menggunakan jenis aspek yang di-propagasi dari template tag Data Catalog, hanya setelah Anda mentransfer template tag.
Untuk mentransfer template tag Data Catalog dan grup entri kustom ke katalog universal, ikuti langkah-langkah berikut:
Konsol
Pastikan setidaknya 48 jam telah berlalu setelah ikut serta sebelum mentransfer template tag Data Catalog ke katalog universal. Waktu ini diperlukan untuk pemrosesan internal.
Di Google Cloud console, buka halaman Katalog Dataplex.
Klik Kelola transisi ke Dataplex.
Klik tab Transfer to Dataplex.
Untuk mentransfer template tag Data Catalog ke katalog universal, klik Lihat jenis aspek dan template tag.
Pilih template tag yang ingin Anda transfer.
Klik Transfer.
Pada dialog konfirmasi, klik Confirm.
Untuk mentransfer grup entri kustom Data Catalog ke katalog universal, klik Lihat grup entri.
Pilih grup entri yang ingin Anda transfer.
Klik Transfer.
Pada dialog konfirmasi, klik Confirm.
REST
Pastikan setidaknya 48 jam telah berlalu setelah ikut serta sebelum mentransfer template tag Data Catalog ke katalog universal. Waktu ini diperlukan untuk pemrosesan internal.
Kemudian, untuk mentransfer template tag Data Catalog dan grup entri kustom
ke katalog universal, gunakan metode
tagTemplates.patch.
Saat Anda menyelesaikan fase transfer, katalog universal menjadi sumber tepercaya untuk semua metadata, dan Anda tidak perlu menggunakan Data Catalog.
Memperbarui workload terprogram
Katalog universal dilengkapi dengan API, library klien, modul Terraform, dan perintah Google Cloud CLI baru. Oleh karena itu, Anda harus mengupdate workload yang ada dengan penggunaan terprogram Katalog Data ke katalog universal. Lihat contoh kode untuk Dataplex.
Pastikan Anda menyelaraskan pembaruan beban kerja terprogram dengan mentransfer
resource dependen, seperti template tag dan grup entri kustom. Hal ini
diperlukan karena mentransfer akan memindahkan status aktif (read-write)
resource dari Katalog Data ke katalog universal.
Berikut adalah contoh urutan pembaruan beban kerja terprogram untuk berinteraksi dengan katalog universal, yang dikoordinasikan dengan mentransfer resource dependen:
Jika workload Anda dapat menoleransi konsistensi akhir, pindahkan operasi
readworkload ke katalog universal.Pindahkan beban kerja yang melakukan operasi
writepemberian tag ke katalog universal yang dikoordinasikan dengan mentransfer template tag yang sesuai.Pindahkan beban kerja yang melakukan operasi
writepenyerapan kustom ke katalog universal yang dikoordinasikan dengan mentransfer grup entri kustom masing-masing.
Jika Anda perlu memisahkan beban kerja pembaruan dan mentransfer resource
yang sesuai, pertimbangkan untuk menerapkan logika dalam beban kerja untuk merutekan
read-write ke Katalog Data atau katalog universal
pada status transfer resource. Dengan demikian, workload akan beroperasi secara independen dari
status transfer resource terkait.
Langkah berikutnya
- Pelajari katalog universal lebih lanjut.
- Pelajari cara menelusuri resource di katalog universal.
- Pelajari cara mengelola aspek dan memperkaya metadata di katalog universal.
- Pelajari cara mengelola entri dan menyerap sumber kustom di katalog universal.
- Lihat referensi API katalog universal.