Private Service Connect dengan Dataproc Metastore

Dengan Private Service Connect, Anda dapat membuat layanan Dataproc Metastore yang tidak menggunakan peering VPC. Halaman ini menjelaskan apa itu Private Service Connect dan cara menggunakannya sebagai opsi jaringan alternatif untuk Dataproc Metastore.

Cara kerja Dataproc Metastore dengan VPC

Dataproc Metastore melindungi akses metadatanya dengan hanya mengekspos endpoint IP pribadi. Hal ini juga membatasi konektivitas ke VM di jaringan VPC Anda dengan menggunakan peering VPC.

Dataproc Metastore memerlukan konfigurasi berikut per region untuk setiap jaringan VPC:

Akibatnya, penyiapan peering VPC dan reservasi alamat IP bisa sulit dilakukan di jaringan VPC yang padat. Demikian pula, jaringan VPC mungkin tidak memiliki cukup kuota peering untuk mengakomodasi permintaan peering tambahan. Kedua batasan ini dapat mencegah Anda membuat layanan Dataproc Metastore baru.

Untuk mengatasi masalah ini, Anda dapat menggunakan Dataproc Metastore dengan Private Service Connect.

Cara kerja Dataproc Metastore dengan Private Service Connect

Private Service Connect menyediakan koneksi pribadi ke metadata Dataproc Metastore di seluruh jaringan VPC.

Untuk menggunakan Private Service Connect dengan Dataproc Metastore, konfigurasi berikut diperlukan:

  • Satu reservasi alamat di subnetwork.
  • Aturan penerusan yang menargetkan lampiran layanan yang mengekspos endpoint Dataproc Metastore. Pemesanan alamat dan aturan penerusan dibuat sebagai bagian dari panggilan pembuatan layanan Dataproc Metastore.

Pertimbangan

  • Layanan Dataproc Metastore yang menggunakan Private Service Connect hanya mendukung akses dari jaringan VPC subnetwork yang ditentukan selama pembuatan layanan.

  • Dataproc Metastore mencadangkan alamat dan membuat aturan penerusan di setiap subnetwork yang ditentukan. Setiap subnetwork memiliki URI endpoint Thrift yang dapat Anda gunakan untuk mengakses endpoint metadata Dataproc Metastore.

Batasan

  • Layanan Dataproc Metastore yang menggunakan protokol endpoint gRPC tidak mendukung Private Service Connect.
  • Konektivitas terbalik tidak didukung dengan Private Service Connect. Artinya, Anda tidak dapat menggunakan konfigurasi Kerberos dengan Private Service Connect.
  • Anda tidak dapat menambahkan atau menghapus subnet secara dinamis dari layanan Dataproc Metastore yang dikonfigurasi dengan Private Service Connect. Sebagai gantinya, Anda harus membuat ulang layanan jika ingin menambahkan atau menghapus subnet.
  • Anda tidak dapat mengupdate layanan Dataproc Metastore yang menggunakan Private Service Connect untuk menggunakan VPC atau sebaliknya.

Membuat layanan Dataproc Metastore dengan Private Service Connect

Petunjuk berikut menunjukkan cara mengonfigurasi Private Service Connect selama pembuatan layanan.

Konsol

  1. Di konsol Google Cloud , buka halaman Dataproc Metastore:

    Buka Dataproc Metastore

  2. Di bagian atas halaman Dataproc Metastore, klik Buat.

    Halaman Create service akan terbuka.

  3. Konfigurasi layanan Anda sesuai kebutuhan.

  4. Di bagian Konfigurasi jaringan, klik Buat layanan dapat diakses di beberapa subnetwork VPC.

  5. Pilih Subnetwork. Anda dapat menentukan hingga 5 subnetwork.

  6. Klik Selesai.

  7. Klik Kirim.

Verifikasi konfigurasi jaringan layanan:

  1. Di konsol Google Cloud , buka halaman Dataproc Metastore:

    Buka Dataproc Metastore

  2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda lihat.

    Halaman Detail layanan untuk layanan tersebut akan terbuka.

  3. Di tab Configuration, pastikan detailnya menampilkan beberapa URI subnetwork VPC.

gcloud

  1. Jalankan perintah gcloud metastore services create berikut untuk membuat layanan dengan Private Service Connect:

    gcloud metastore services create SERVICE \
       --location=LOCATION \
       --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"
    

    atau

    gcloud metastore services create SERVICE \
       --location=LOCATION \
       --network-config-from-file=NETWORK_CONFIG_FROM_FILE
    
  2. Pastikan pembuatan berhasil.

REST

Ikuti petunjuk API untuk membuat layanan dengan menggunakan API Explorer.

Di parameter permintaan create, gunakan kolom Network Config untuk mengonfigurasi Private Service Connect. Anda dapat menentukan 1 hingga 5 subnetwork.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }
   

Langkah berikutnya