Dokumen ini memberikan panduan dan praktik terbaik untuk menggunakan Katalog Universal Dataplex.
Pilih project untuk danau Anda
Saat Anda memilih project untuk menghosting lake, pertimbangkan faktor-faktor berikut:
Project harus termasuk dalam perimeter Kontrol Layanan VPC yang sama dengan data yang ditujukan untuk berada dalam lake.
Akun layanan lake memerlukan izin administrator pada bucket Cloud Storage atau set data BigQuery. Dataplex Universal Catalog membuat tabel eksternal di BigQuery untuk tabel yang ditemukan di Cloud Storage. Dataplex Universal Catalog juga menyediakan metadata tabel BigQuery, dan tabel yang ditemukan di bucket Cloud Storage, dalam layanan Dataproc Metastore. Dataproc Metastore berada dalam project data lake.
Setelan dan batasan Cloud Storage
Region: Dataplex Universal Catalog mendukung bucket multi-region dan region tunggal di beberapa Google Cloud region.
Kelas penyimpanan: Bucket Cloud Storage dari semua kelas penyimpanan didukung (Standard, Nearline, Coldline, Archive). Biaya pengambilan data tambahan mungkin dikenakan untuk mengakses atau memindai data Nearline, Coldline, atau Archive.
ACL bucket: Katalog Universal Dataplex hanya mendukung bucket Cloud Storage dengan kontrol akses seragam. Kontrol akses terperinci tidak didukung.
Pemohon Membayar: Bucket Cloud Storage dengan fitur Pemohon Membayar yang diaktifkan tidak didukung.
Panduan keamanan dan izin
Dataplex Universal Catalog mengharuskan penambahan akun layanan Dataplex Universal Catalog sebagai akun layanan administratif di bucket dan set data terkelola.
Dataplex Universal Catalog memungkinkan analis mengakses bucket Cloud Storage dan set data BigQuery di banyak project. Untuk mengaktifkan akses ini, akun layanan Dataplex Universal Catalog dengan kontrol administratif harus ditambahkan ke project ini.
Untuk Penemuan, Dataplex Universal Catalog menambahkan akun layanan Dataproc Metastore ke bucket Cloud Storage. Jika memiliki cluster Dataproc Metastore sendiri, Anda dapat membuat data lake Dataplex Universal Catalog menggunakan layanan Dataproc Metastore Anda, yang merupakan opsi saat Anda membuat data lake.
Jika Anda memilih untuk menambahkan bucket Cloud Storage dengan akses terperinci ke data lake, Dataplex Universal Catalog akan memberikan akses penuh ke bucket tersebut melalui data lake karena izin Dataplex Universal Catalog diteruskan ke semua objek dalam bucket. Jika Anda memerlukan akses terperinci, sebaiknya pisahkan data di bucket Anda ke dalam beberapa bucket.