Membangun mesh data

Anda dapat menggunakan Dataplex Universal Catalog untuk membangun arsitektur mesh data. Panduan ini menunjukkan cara menggunakan fitur Dataplex Universal Catalog, seperti lake, zona, dan aset, untuk membangun mesh data.

Mesh data adalah pendekatan organisasi dan teknis yang mendesentralisasi kepemilikan data di antara pemilik data domain. Pemilik ini menyediakan data sebagai produk dengan cara standar dan memfasilitasi komunikasi di antara berbagai bagian organisasi untuk mendistribusikan set data di berbagai lokasi. Pelajari lebih lanjut arsitektur data mesh.

Tujuan

Dalam panduan ini, Anda akan menggunakan entity Dataplex Universal Catalog untuk membangun arsitektur mesh data:

  • Buat data lake Dataplex Universal Catalog yang berfungsi sebagai domain untuk mesh data Anda.
  • Tambahkan zona ke lake Anda yang merepresentasikan setiap tim dalam setiap domain dan menyediakan kontrak data terkelola.
  • Lampirkan aset yang dipetakan ke data yang disimpan di Cloud Storage.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Pembersihan.

Sebelum memulai

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Aktifkan Dataplex Universal Catalog API.

    Mengaktifkan Dataplex API

  4. Buat layanan Dataproc Metastore.

Membuat bucket Cloud Storage

Anda memerlukan bucket Cloud Storage untuk menyimpan aset data dari jaring data.

Untuk membuat bucket Cloud Storage, ikuti petunjuk di bagian membuat bucket Cloud Storage. Saat melakukannya, perhatikan hal berikut:

  • Beri nama bucket Anda.
  • Untuk Location type, pilih Region, lalu pilih us-central1 (Iowa) dari menu.

Membuat domain

  1. Di konsol Google Cloud , buka halaman Dataplex Universal Catalog.

    Buka Katalog Universal Dataplex

  2. Buka tampilan Kelola.

  3. Klik Create untuk membuat data lake baru, yang berfungsi sebagai data mesh Anda.

  4. Di kolom Nama tampilan, masukkan My data mesh.

  5. Untuk Region, pilih us-central1.

  6. Pilih layanan Dataproc Metastore yang Anda buat dan konfigurasi sebelumnya sebagai metastore terkait.

  7. Klik Buat.

Membuat zona di data lake

Setelah membuat domain dengan membuat data lake Dataplex Universal Catalog, Anda dapat menghosting kontrak data terkelola dan tim individual dalam domain menggunakan zona. Terdapat dua jenis zona:

  • Zona mentah biasanya digunakan untuk menyimpan data dalam format apa pun dari sumber eksternal di Cloud Storage. Zona mentah berguna untuk data yang memerlukan pemrosesan lebih lanjut sebelum siap digunakan.

  • Zona yang dikurasi digunakan untuk data terstruktur di Cloud Storage yang harus sesuai dengan format file tertentu, dan disusun dalam tata letak direktori yang kompatibel dengan Hive. Data ini paling berguna untuk data yang siap digunakan dan dianalisis.

Setiap domain (misalnya, sales, customers, products) harus memiliki setidaknya zona mentah dan zona pilihan.

Zona tambahan digunakan untuk mengelola kontrak data antar-tim atau untuk memberikan perincian yang lebih terperinci bagi tim dalam domain tertentu. Misalnya, pengelolaan inventaris dalam domain produk. Pemilik data dapat mengelola data dalam domain mereka dan mengaksesnya.

  1. Di Google Cloud konsol, buka tampilan Dataplex Universal Catalog Kelola.

  2. Klik nama danau (My data mesh) yang ingin Anda tambahi zona.

  3. Di tab Zones, klik Add Zone.

  4. Di kolom Nama tampilan, masukkan My sub domain. Dataplex Universal Catalog secara otomatis membuat ID untuk zona Anda.

  5. Untuk Type, pilih Raw zone.

  6. Klik Buat.

Menghubungkan aset ke zona Anda

Lampirkan aset data ke zona Anda. Aset data, yaitu resource penyimpanan yang berisi data Anda, dapat berupa bucket Cloud Storage atau set data BigQuery. Ini adalah langkah terakhir dalam membuat arsitektur data mesh Anda.

  1. Di tampilan Manage Dataplex Universal Catalog, klik lake yang Anda buat (My data mesh).

  2. Di tab Zones, klik zona (My sub domain) untuk menambahkan aset.

  3. Di tab Aset, klik Tambahkan aset

  4. Klik Tambahkan Aset.

  5. Untuk Type, pilih Cloud Storage bucket.

  6. Di kolom Nama tampilan , masukkan Data mesh asset. Dataplex Universal Catalog akan otomatis membuat ID aset untuk Anda.

  7. Di kolom Bucket, klik Browse.

    1. Pilih bucket Anda dari daftar.
    2. Klik Pilih.

  8. Klik Selesai, lalu klik Lanjutkan.

  9. Klik Lanjutkan untuk menerima Setelan lanjutan default.

  10. Klik Kirim.

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Menghapus arsitektur mesh data Anda

  1. Di Google Cloud konsol, buka tampilan Dataplex Universal Catalog Kelola.

  2. Untuk danau yang ingin Anda hapus, klik Lihat lainnya, lalu klik Hapus.

  3. Untuk mengonfirmasi tindakan, masukkan delete, lalu klik Hapus danau.

Langkah berikutnya