Transisi dari Katalog Data ke Katalog Universal Dataplex

Jika menggunakan Data Catalog, Anda dapat mentransisikan konten dan penggunaan Data Catalog ke Katalog Universal Dataplex dengan mengikuti langkah-langkah yang dijelaskan dalam dokumen ini.

Jika Anda baru menggunakan katalog, mulailah dengan Dataplex Universal Catalog dengan mengonfigurasinya sebagai pengalaman katalog default Anda.

Dokumen ini ditujukan untuk administrator data dan pengelola data.

Dataplex Universal Catalog memiliki API dan antarmuka web terpadu. Dengan beralih ke Katalog Universal Dataplex, beban kerja dan pengguna lama serta mendatang Anda dapat memanfaatkan fitur dan kemampuan yang ditingkatkan. Untuk mengetahui informasi selengkapnya, lihat artikel Tentang pengelolaan metadata di Dataplex Universal Catalog.

Untuk perbandingan Dataplex Universal Catalog dan Data Catalog, lihat Dataplex Universal Catalog versus Data Catalog.

Sebelum memulai transisi, tinjau fitur pengelolaan metadata yang tidak didukung di Dataplex Universal Catalog.

Ringkasan transisi

Halaman Kelola transisi ke Dataplex Universal Catalog di Google Cloud konsol memberikan satu titik akses untuk mengelola transisi.

Bagian ini menjelaskan berbagai skenario transisi dan menguraikan proses transisi untuk setiap skenario.

Jika Anda tidak memiliki metadata kustom di Data Catalog atau jika Anda belum pernah menggunakan Data Catalog

Jika Anda menggunakan Data Catalog dan tidak memiliki metadata kustom, seperti tag, template tag, entri kustom, atau grup entri, atau jika Anda belum pernah menggunakan Data Catalog, selesaikan transisi dengan menetapkan pengalaman UI katalog default Anda ke Katalog Universal Dataplex.

Jika Anda memiliki metadata kustom Data Catalog atau beban kerja terprogram

Jika Anda menggunakan Data Catalog dengan metadata kustom (seperti tag, template tag, entri kustom, atau grup entri), Katalog Universal Dataplex dapat mengimpor metadata kustom ini secara otomatis sebagai read-only. Untuk mengaktifkan kemampuan ini, perubahan konfigurasi diperlukan seperti yang diuraikan dalam fase persiapan.

Fase kedua adalah fase upgrade, tempat status aktif (read-write) metadata kustom Anda dipindahkan ke Dataplex Universal Catalog. Selama fase ini, Anda juga harus memperbarui semua workload terprogram (seperti API, library klien, modul Terraform, dan perintah Google Cloud CLI) untuk berinteraksi dengan Katalog Universal Dataplex.

Berikut adalah detail lebih lanjut tentang setiap fase proses transisi:

  1. Fase persiapan: lakukan tugas konfigurasi yang diperlukan untuk membuat konten Data Catalog tersedia secara bersamaan di Dataplex Universal Catalog sebagai read-only. Selama fase ini, Data Catalog tetap menjadi sumber otoritatif untuk konten metadata Anda.

    Fase persiapan mencakup tugas-tugas berikut:

    1. Perbarui template tag privat Data Catalog menjadi publik.
    2. Jika project Anda berada di Assured Workloads, pilih template tag dan tag untuk ketersediaan metadata secara bersamaan di Dataplex Universal Catalog.
    3. Konfigurasi izin IAM Dataplex Universal Catalog untuk metadata kustom Anda.

    Untuk mengetahui informasi selengkapnya, lihat Fase persiapan.

  2. Fase upgrade: memindahkan penggunaan katalog dan status aktif (read-write) metadata kustom Anda ke Dataplex Universal Catalog.

    Fase upgrade mencakup tugas-tugas berikut:

    1. Menetapkan pengalaman UI katalog default ke Dataplex Universal Catalog.

    2. Upgrade metadata kustom Data Catalog ke Dataplex Universal Catalog.

      Anda harus menunggu setidaknya 48 jam setelah memilih untuk menggunakan template tag dan tag, serta setelah membuat template tag menjadi publik sebelum dapat mengupgrade metadata kustom. Waktu ini diperlukan untuk pemrosesan internal.

    3. Memperbarui beban kerja terprogram.

    Setelah Anda menyelesaikan fase upgrade, Dataplex Universal Catalog akan menjadi sumber otoritatif untuk semua metadata Anda dan Anda tidak perlu menggunakan Data Catalog.

    Untuk mengetahui informasi selengkapnya, lihat Fase upgrade.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk bertransisi dari Data Catalog ke Dataplex Universal Catalog, berikan peran IAM berikut pada resource:

  • Memperbarui template tag pribadi menjadi publik: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

    Peran bawaan ini berisi izin datacatalog.tagTemplates.update, yang diperlukan untuk memperbarui template tag pribadi menjadi publik.

  • Mengaktifkan template dan tag publik agar metadata tersedia secara bersamaan di Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

    Peran bawaan ini berisi izin datacatalog.migrationConfig.set, yang diperlukan untuk mengaktifkan template dan tag.

  • Menetapkan pengalaman UI katalog default ke Katalog Universal Dataplex: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

    Peran bawaan ini berisi izin datacatalog.migrationConfig.set, yang diperlukan untuk menetapkan pengalaman UI katalog default.

  • Mengupgrade template tag publik Data Catalog ke Katalog Universal Dataplex: Pemilik TagTemplate Data Catalog (roles/datacatalog.tagTemplateOwner)

    Peran bawaan ini berisi izin datacatalog.tagTemplates.update, yang diperlukan untuk mengupgrade template tag publik.

  • Mengupgrade grup entri Data Catalog ke Katalog Universal Dataplex: Pemilik EntryGroup DataCatalog (roles/datacatalog.entryGroupOwner)

    Peran bawaan ini berisi izin datacatalog.entryGroups.update, yang diperlukan untuk mengupgrade grup entri.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan dengan peran khusus atau peran bawaan lainnya.

Fase persiapan

Fase ini melibatkan tugas untuk membuat konten metadata Data Catalog tersedia secara bersamaan di Dataplex Universal Catalog, dalam mode read-only.

Berikut adalah poin-poin penting yang perlu diingat selama fase persiapan:

  • Data Catalog tetap menjadi sumber otoritatif untuk metadata kustom Anda.
  • Halaman Penelusuran Dataplex Universal Catalog mengarah ke penelusuran Data Catalog secara default, yang hanya mencakup metadata Data Catalog dan bukan metadata Dataplex Universal Catalog.
  • Penelusuran Katalog Universal Dataplex mungkin tidak menyertakan semua template dan tag publik Data Catalog hingga Anda menyelesaikan fase persiapan.

Grup entri kustom Data Catalog dan entri di dalamnya sudah tersedia secara bersamaan di Dataplex Universal Catalog sebagai read-only. Saat Anda mengaktifkan template tag dan tag publik pada fase persiapan, kontennya akan tersedia secara bersamaan di Dataplex Universal Catalog sebagai read-only.

Tabel berikut menunjukkan pemetaan antara resource Data Catalog dan Katalog Universal Dataplex saat resource Data Catalog tersedia secara bersamaan di Katalog Universal Dataplex:

Pemetaan antara Data Catalog dan Dataplex Universal Catalog
Resource Data Catalog Resource Katalog Universal Dataplex yang sesuai Deskripsi
Template tag Jenis aspek (global)

Template tag di Data Catalog adalah resource regional. Saat Anda mengaktifkan template tag, kontennya akan tersedia secara bersamaan sebagai jenis aspek global di Katalog Universal Dataplex. Hal ini dilakukan untuk mempertahankan referensi lintas regional antara tag dan template tag. Definisi jenis aspek global direplikasi ke semua wilayah Google Cloud .

Konsep standar seperti Schema diwakili oleh jenis aspek sistem, yang disediakan oleh Dataplex Universal Catalog. Untuk mengetahui informasi selengkapnya, lihat Kategori jenis aspek.

Tag Aspek opsional Saat Anda mengaktifkan template tag, tagnya akan tersedia secara bersamaan sebagai aspek opsional di Dataplex Universal Catalog. Untuk mengetahui informasi selengkapnya, lihat Kategori aspek.
Grup entri Grup entri Grup entri untuk entri sistem dibuat per project per region di Dataplex Universal Catalog. Grup entri yang dibuat di Data Catalog tersedia secara bersamaan di Dataplex Universal Catalog.
Entri kustom Entri kustom Semua entri kustom di Data Catalog secara bersamaan tersedia sebagai entri GenericEntryType di Dataplex Universal Catalog. Untuk mengetahui informasi selengkapnya, lihat Kategori jenis entri.
Entri sistem (Google Cloud) Aspek wajib entri sistem Metadata yang menjelaskan entri sistem, seperti Schema untuk tabel BigQuery, dicatat dalam aspek yang diperlukan dari jenis aspek yang ditentukan sistem.

Memperbarui template tag privat Data Catalog menjadi publik

Dataplex Universal Catalog tidak mendukung konsep aspek pribadi (padanan tag pribadi). Oleh karena itu, template tag dan tag pribadi tidak tersedia secara bersamaan di Dataplex Universal Catalog. Untuk menyebarkan template tag dan tag privat di Dataplex Universal Catalog, Anda harus memperbaruinya menjadi publik.

Sebelum melanjutkan, tinjau struktur template tag pribadi untuk memverifikasi bahwa struktur dan metadatanya konsisten dengan visibilitas tag publik.

Untuk memperbarui template dan tag pribadi menjadi publik, ikuti langkah-langkah berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.

    Buka Katalog

  2. Klik Kelola transisi ke Dataplex Universal Catalog.

  3. Klik tab Template tag pribadi.

  4. Klik Kelola template tag.

  5. Di halaman Tag template, klik template tag pribadi yang ingin Anda perbarui.

  6. Di halaman Detail template, klik Edit.

  7. Di bagian Visibilitas, pilih Publik.

  8. Klik Perbarui.

REST

Untuk memperbarui template tag pribadi menjadi publik, gunakan metode tagTemplates.patch.

Mengaktifkan template dan tag publik agar metadata tersedia secara bersamaan di Dataplex Universal Catalog

Jika Anda memberikan izin keikutsertaan, konten template dan tag publik Data Catalog akan otomatis dan terus-menerus disebarkan ke Dataplex Universal Catalog di seluruh organisasi atau project Anda. Google Cloud Template dan tag publik Data Catalog disebarkan ke Dataplex Universal Catalog sebagai jenis dan aspek publik. Definisi jenis aspek global direplikasi ke semua region. Google Cloud

Untuk mengaktifkan template dan tag publik, ikuti langkah-langkah berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.

    Buka Katalog

  2. Klik Kelola transisi ke Dataplex Universal Catalog.

  3. Klik tab Setuju.

  4. Klik Berikan izin untuk menerima pesan.

  5. Pada dialog konfirmasi, masukkan teks yang ditampilkan, lalu klik Konfirmasi.

REST

Untuk memilih ikut serta dalam template tag dan tag, gunakan metode setConfig.

Untuk organisasi dan project, Anda dapat mencabut izin keikutsertaan yang diberikan sebelumnya dengan mengklik Cabut izin keikutsertaan. Google Cloud Saat Anda mencabut keikutsertaan, proses propagasi template tag dan tag Data Catalog ke Katalog Universal Dataplex akan berhenti. Jenis dan aspek Dataplex Universal Catalog yang dibuat oleh proses keikutsertaan, tetapi tidak diupgrade ke Dataplex Universal Catalog, akan dihapus. Proses penghapusan mungkin memerlukan waktu hingga 12 jam.

Mengonfigurasi izin IAM Dataplex Universal Catalog untuk metadata kustom Anda

Jenis aspek dan grup entri kustom Katalog Universal Dataplex yang merepresentasikan template tag dan grup entri dari Data Catalog tidak mewarisi izin IAM Data Catalog asli. Anda harus mengonfigurasi izin IAM Dataplex Universal Catalog secara manual untuk jenis aspek dan grup entri kustom tersebut.

Misalnya, jika Anda ingin membuat aspek menggunakan jenis aspek yang dipropagasi (yang merepresentasikan template tag Data Catalog), Anda harus mengonfigurasi izin IAM yang diperlukan untuk jenis aspek tersebut. Demikian pula, saat Anda menyerap metadata kustom, untuk membuat entri kustom dalam grup entri kustom yang dipropagasi, Anda harus mengonfigurasi izin IAM yang diperlukan untuk grup entri tersebut.

Untuk mengetahui informasi selengkapnya tentang cara izin IAM di Data Catalog sesuai dengan izin di Dataplex Universal Catalog, lihat Pemetaan izin IAM antara Data Catalog dan Dataplex Universal Catalog.

Untuk mengonfigurasi izin IAM Katalog Universal Dataplex yang diperlukan untuk jenis aspek dan grup entri kustom, ikuti langkah-langkah berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.

    Buka Katalog

  2. Klik Kelola transisi ke Dataplex Universal Catalog.

  3. Klik tab Izin IAM Dataplex.

  4. Untuk mengonfigurasi izin IAM Katalog Universal Dataplex untuk jenis aspek, klik Jenis aspek dan template tag.

    1. Untuk template tag yang disebarkan dari Data Catalog, klik > Izin.

    2. Klik Add principals.

    3. Tambahkan akun utama baru, lalu tetapkan peran yang diperlukan.

    4. Klik Simpan.

  5. Untuk mengonfigurasi izin IAM Dataplex Universal Catalog untuk grup entri, klik Grup entri.

    1. Untuk grup entri yang disebarkan dari Katalog Data, klik > Izin.

    2. Klik Add principals.

    3. Tambahkan akun utama baru, lalu tetapkan peran yang diperlukan.

    4. Klik Simpan.

REST

Untuk mengonfigurasi izin IAM Katalog Universal Dataplex untuk jenis aspek, gunakan metode aspectTypes.setIamPolicy.

Untuk mengonfigurasi izin IAM Dataplex Universal Catalog untuk grup entri, gunakan metode entryGroups.setIamPolicy.

Fase upgrade

Fase ini melibatkan tugas untuk memindahkan status aktif (read-write) metadata kustom Data Catalog Anda ke Dataplex Universal Catalog.

Berikut adalah poin-poin penting yang perlu diingat selama fase upgrade:

  • Halaman Penelusuran Dataplex Universal Catalog mengarah ke penelusuran Dataplex Universal Catalog secara default.
  • Anda dapat menemukan dan membaca metadata Data Catalog dan Dataplex Universal Catalog di Dataplex Universal Catalog.
  • Untuk memperbarui metadata di konsol Google Cloud , Anda akan dialihkan ke sumbernya. Misalnya, jika Anda memperbarui template tag Data Catalog, Anda akan dialihkan ke halaman template tag di Data Catalog.

Menetapkan pengalaman UI katalog default ke Katalog Universal Dataplex

Menetapkan pengalaman UI katalog default ke Katalog Universal Dataplex berarti:

  • Saat Anda membuka halaman Penelusuran Dataplex Universal Catalog di konsol Google Cloud , penelusuran Dataplex Universal Catalog (Dataplex Catalog) ditampilkan secara default. Penelusuran Dataplex Universal Catalog beroperasi di Dataplex Universal Catalog dan menemukan semua konten metadata Anda, termasuk konten yang dibuat di Dataplex Universal Catalog dan konten yang dimasukkan dari Data Catalog.

    Penelusuran Data Catalog hanya menemukan konten Data Catalog, bukan konten Dataplex Universal Catalog. Oleh karena itu, sebaiknya gunakan penelusuran Katalog Universal Dataplex.

  • Antarmuka web mendorong Anda untuk membuat resource baru di Dataplex Universal Catalog. Misalnya, secara default, opsi yang dipilih adalah Create Aspect Types, bukan Create Tag Templates, dan Create Entry Group (Dataplex Universal Catalog), bukan Create Entry Group (Data Catalog).

  • Menetapkan pengalaman UI katalog default ke Dataplex Universal Catalog biasanya merupakan operasi satu arah. Namun, Dataplex Universal Catalog memungkinkan Anda mengembalikan perubahan dalam kasus luar biasa, misalnya, saat Anda ingin mengalihkan pengalaman UI Katalog default kembali ke Data Catalog. Jika mengurungkan perubahan, Anda tidak dapat mengakses konten apa pun yang dibuat di Dataplex Universal Catalog, di antarmuka web Data Catalog.

Untuk menyetel pengalaman UI katalog default ke Katalog Universal Dataplex, ikuti langkah-langkah berikut:

Konsol

  1. Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.

    Buka Katalog

  2. Klik Kelola transisi ke Dataplex Universal Catalog.

  3. Klik tab Pengalaman UI katalog default.

  4. Klik Set the default catalog UI experience to Dataplex Universal Catalog.

REST

Untuk menyetel pengalaman UI katalog default ke Katalog Universal Dataplex, gunakan metode setConfig.

Mengupgrade metadata kustom Data Catalog ke Dataplex Universal Catalog

Anda dapat mengupgrade template tag publik Data Catalog (yang Anda pilih untuk diikutsertakan) dan grup entri kustom ke Dataplex Universal Catalog. Pastikan Anda mengupgrade setiap template tag dan grup entri kustom secara terpisah.

Berikut ringkasan proses upgrade:

  • Efek

    • Mentransfer status aktif untuk resource dari Data Catalog ke Dataplex Universal Catalog. Setelah upgrade, untuk mengubah resource atau mengakses statusnya saat ini, Anda harus menggunakan Katalog Universal Dataplex.

  • Perubahan pada konten dan alur data

    • Menandai resource sebagai read-only di Data Catalog.
    • Menandai resource sebagai read-write di Dataplex Universal Catalog.
    • Menghentikan ketersediaan serentak resource ini.

  • Dependensi

    • Mengupgrade template tag juga akan mengupgrade semua tag yang menggunakan template tersebut.
    • Mengupgrade grup entri juga akan mengupgrade semua entri dalam grup tersebut.
    • Mengupgrade entri tidak memengaruhi status upgrade tag dan template tag masing-masing.

Sebelum upgrade, untuk mengubah konteks bisnis entri (misalnya, overview, contacts), Anda dapat menggunakan Data Catalog API dan Dataplex API. Setelah upgrade, Anda hanya boleh menggunakan Dataplex API.

Berikut ini menjelaskan operasi yang diizinkan untuk entri Data Catalog kustom yang diberi tag, bergantung pada status upgrade grup entri kustom dan template tag terkait:

  • Jika template tag aktif di Data Catalog, Anda dapat menggunakan template tag tersebut untuk membuat tag. Setelah mengupgrade template tag ke Katalog Universal Dataplex, Anda tidak dapat menggunakannya untuk membuat tag di Data Catalog.
  • Anda dapat membuat aspek menggunakan jenis aspek yang di-propagate dari template tag Data Catalog, hanya setelah Anda mengupgrade template tag.

Untuk mengupgrade template tag Data Catalog dan grup entri kustom ke Katalog Universal Dataplex, ikuti langkah-langkah berikut:

Konsol

  1. Pastikan setidaknya 48 jam telah berlalu setelah mengaktifkan dan setelah template tag dibuat publik sebelum mengupgrade template tag Data Catalog ke Dataplex Universal Catalog. Waktu ini diperlukan untuk pemrosesan internal.

  2. Di konsol Google Cloud , buka halaman Katalog Dataplex Universal Catalog.

    Buka Katalog

  3. Klik Kelola transisi ke Dataplex Universal Catalog.

  4. Klik tab Upgrade ke Dataplex.

  5. Untuk mengupgrade template tag Data Catalog ke Dataplex Universal Catalog, klik Lihat jenis aspek dan template tag.

    1. Pilih template tag yang ingin Anda upgrade.

    2. Klik Upgrade.

    3. Pada dialog konfirmasi, klik Confirm.

  6. Untuk mengupgrade grup entri kustom Data Catalog ke Dataplex Universal Catalog, klik Lihat grup entri.

    1. Pilih grup entri yang ingin Anda upgrade.

    2. Klik Upgrade.

    3. Pada dialog konfirmasi, klik Confirm.

REST

Pastikan setidaknya 48 jam telah berlalu setelah mengaktifkan dan membuat template tag menjadi publik sebelum mengupgrade template tag Data Catalog ke Dataplex Universal Catalog. Waktu ini diperlukan untuk pemrosesan internal.

Kemudian, untuk mengupgrade template tag Data Catalog dan grup entri kustom ke Dataplex Universal Catalog, gunakan metode tagTemplates.patch.

Setelah Anda menyelesaikan fase upgrade, Dataplex Universal Catalog akan menjadi sumber resmi untuk semua metadata Anda, dan Anda tidak perlu menggunakan Data Catalog.

Memperbarui workload terprogram

Dataplex Universal Catalog dilengkapi dengan API, library klien, modul Terraform, dan perintah Google Cloud CLI baru. Oleh karena itu, Anda harus mengupdate workload yang ada dengan penggunaan Data Catalog secara terprogram ke Katalog Universal Dataplex. Lihat contoh kode untuk Dataplex Universal Catalog.

Pastikan Anda menyelaraskan pembaruan beban kerja terprogram dengan mengupgrade resource dependen, seperti template tag dan grup entri kustom. Hal ini diperlukan karena upgrade memindahkan status aktif (read-write) resource dari Data Catalog ke Dataplex Universal Catalog.

Berikut adalah contoh urutan pembaruan beban kerja terprogram untuk berinteraksi dengan Dataplex Universal Catalog, yang dikoordinasikan dengan mengupgrade resource dependen:

  1. Jika workload Anda dapat mentoleransi konsistensi pada akhirnya, pindahkan operasi read workload ke Dataplex Universal Catalog.

  2. Pindahkan workload yang melakukan operasi pemberian tag write ke Dataplex Universal Catalog yang dikoordinasikan dengan mengupgrade template tag yang sesuai.

  3. Pindahkan workload yang melakukan operasi penyerapan kustom write ke Dataplex Universal Catalog yang dikoordinasikan dengan mengupgrade grup entri kustom masing-masing.

Jika Anda perlu memisahkan update beban kerja dan mengupgrade resource yang sesuai, pertimbangkan untuk menerapkan logika dalam beban kerja untuk merutekan read-write ke Data Catalog atau Dataplex Universal Catalog berdasarkan status upgrade resource. Dengan demikian, workload akan beroperasi secara independen dari status upgrade resource terkait.

Langkah berikutnya