Menyiapkan deployment lintas project

Anda dapat menyiapkan deployment lintas project untuk Dataproc Metastore guna memisahkan resource berikut:

  • Layanan Dataproc Metastore.
  • Cluster Dataproc yang terhubung ke layanan Dataproc Metastore.
  • Jaringan yang digunakan oleh cluster Dataproc.

Sebelum memulai

Peran yang Diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat Dataproc Metastore dan cluster Dataproc, minta administrator untuk memberi Anda peran IAM berikut:

  • Untuk memberikan kontrol penuh atas resource Dataproc Metastore: Dataproc Metastore Editor (roles/metastore.editor) di project metastore.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses dengan IAM.

Tentang deployment lintas project

Deployment lintas project untuk Dataproc Metastore dapat terdiri dari konfigurasi berikut:

  • Dua project:

    • Project satu berisi cluster Dataproc (project cluster).
    • Project dua berisi layanan Dataproc Metastore dan jaringan (project metastore dan project jaringan).

  • Dua project:

    • Project satu berisi cluster Dataproc.
    • Project dua berisi layanan Dataproc Metastore dan jaringan (project metastore dan project jaringan).

  • Dua project:

    • Project satu berisi cluster Dataproc dan layanan Dataproc Metastore (project cluster dan project metastore).
    • Project dua berisi dan jaringan (project jaringan).

  • Tiga project:

    • Project satu berisi cluster Dataproc (project cluster).
    • Project dua berisi layanan Dataproc Metastore (project metastore).
    • Project tiga berisi jaringan (project jaringan).

Diagram berikut memberikan ringkasan kemungkinan konfigurasi project yang dapat Anda gunakan.

Ringkasan kemungkinan konfigurasi project saat men-deploy cluster Dataproc dan Metastore Dataproc

Izin lintas project

Sebelum menyiapkan izin lintas project, tentukan apakah izin tersebut diperlukan untuk konfigurasi Anda:

Anda harus menyiapkan izin lintas project tambahan

  • Jika cluster Dataproc dan layanan Dataproc Metastore Anda berada di project yang berbeda.

  • Jika layanan dan jaringan Dataproc Metastore Anda berada di project yang berbeda.

Menyiapkan izin lintas project

Jika project cluster dan project metastore berada di project terpisah, berikan peran berikut:

  • roles/metastore.user ke akun Agen Layanan Dataproc project cluster (terdapat dalam kebijakan IAM project metastore). Konfigurasi ini berlaku untuk protokol endpoint Thrift dan gRPC.

Jika project jaringan dan project metastore berada di project yang terpisah, berikan peran berikut:

  • roles/metastore.serviceAgent ke Agen Layanan project metastore (terdapat dalam kebijakan IAM project jaringan). Konfigurasi ini hanya berlaku untuk protokol endpoint Thrift.

Konsol

Untuk menemukan nomor project Anda:

  1. Buka tab IAM & Admin Settings.

  2. Dari daftar project di bagian atas halaman, pilih project yang ingin Anda gunakan untuk membuat cluster Dataproc.

  3. Catat nomor project.

Konfigurasi izin:

  1. Buka tab IAM.

  2. Dari daftar project di bagian atas halaman, pilih project metastore.

  3. Klik Tambahkan.

  4. Masukkan akun layanan di kolom New Principals.

  5. Dari menu Roles, pilih Dataproc Metastore > Dataproc Metastore Viewer.

  6. Klik Tambahkan.

Setelah menyelesaikan langkah-langkah sebelumnya, Anda dapat membuat cluster Dataproc yang terhubung ke layanan Dataproc Metastore. Perhatikan bahwa untuk melakukannya, konfigurasi jaringan atau sub-jaringan cluster Dataproc harus cocok dengan jaringan atau sub-jaringan Dataproc Metastore.

Contoh:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Langkah berikutnya