Ringkasan jaringan Metastore Dataproc

Dokumen ini memberikan ringkasan setelan jaringan yang dapat Anda gunakan untuk menyiapkan layanan Dataproc Metastore.

Referensi cepat untuk topik jaringan

Setelan jaringan default

Bagian berikut menjelaskan setelan jaringan default yang digunakan Dataproc Metastore—jaringan VPC dan Peering Jaringan VPC.

Jaringan VPC

Secara default, layanan Dataproc Metastore menggunakan Jaringan VPC untuk terhubung ke Google Cloud. Jaringan VPC adalah versi virtual dari jaringan fisik yang diterapkan di dalam jaringan produksi Google. Saat Anda membuat Dataproc Metastore, layanan akan otomatis membuat jaringan VPC untuk Anda.

Jika Anda tidak mengubah setelan apa pun saat membuat layanan, Dataproc Metastore akan menggunakan jaringan VPC default. Dengan setelan ini, jaringan VPC yang Anda gunakan dengan layanan Dataproc Metastore dapat berada di project yang sama Google Cloud atau project yang berbeda. Setelan ini juga memungkinkan Anda mengekspos layanan dalam satu jaringan VPC atau membuat layanan dapat diakses dari beberapa jaringan VPC (melalui penggunaan subnet).

Dataproc Metastore memerlukan hal berikut per region untuk setiap jaringan VPC:

• 1 kuota peering
• /17 dan /20 CIDR

Peering Jaringan VPC

Setelah jaringan VPC dibuat, Dataproc Metastore juga secara otomatis mengonfigurasi Peering Jaringan VPC untuk layanan Anda. VPC memberikan akses layanan Anda ke protokol endpoint Dataproc Metastore. Setelah membuat layanan, Anda dapat melihat Peering Jaringan VPC dasarnya di halaman VPC Network Peering di konsol Google Cloud.

Peering Jaringan VPC tidak transitif. Artinya, hanya jaringan yang di-peering langsung yang dapat berkomunikasi satu sama lain. Misalnya, pertimbangkan skenario berikut:

Anda memiliki jaringan berikut, yaitu jaringan VPC N1, N2, dan N3.

• Jaringan VPC N1 dipasangkan dengan N2 dan N3.
• Jaringan VPC N2 dan N3 tidak terhubung langsung.

Apa artinya?

Artinya, melalui Peering Jaringan VPC, jaringan VPC N2 tidak dapat berkomunikasi dengan jaringan VPC N3. Hal ini memengaruhi koneksi Metastore Dataproc dengan cara berikut:

• Virtual machine yang berada di jaringan yang di-peering dengan jaringan project Dataproc Metastore Anda tidak dapat menjangkau Dataproc Metastore.
• Hanya host di jaringan VPC yang dapat menjangkau layanan Dataproc Metastore.

Pertimbangan Keamanan Peering Jaringan VPC

• Traffic melalui Peering Jaringan VPC disediakan dengan tingkat enkripsi tertentu. Untuk mengetahui informasi selengkapnya, lihat Enkripsi dan autentikasi jaringan virtual Google Cloud.

• Membuat satu jaringan VPC untuk setiap layanan dengan alamat IP internal memberikan isolasi jaringan yang lebih baik daripada menempatkan semua layanan dalam jaringan VPC default.

Subnetwork VPC

Private Service Connect (PSC) memungkinkan Anda menyiapkan koneksi pribadi ke metadata Dataproc Metastore di seluruh jaringan VPC. Dengan PSC, Anda dapat membuat layanan tanpa peering VPC. Hal ini memungkinkan Anda menggunakan alamat IP internal Anda sendiri untuk mengakses Dataproc Metastore, tanpa keluar dari jaringan VPC atau menggunakan alamat IP eksternal.

Untuk menyiapkan Private Service Connect saat membuat layanan, lihat Private Service Connect dengan Dataproc Metastore.

Alamat IP

Untuk terhubung ke jaringan dan membantu melindungi metadata Anda, layanan Dataproc Metastore hanya menggunakan alamat IP internal. Artinya, alamat IP publik tidak diekspos atau tersedia untuk tujuan jaringan.

Dengan menggunakan alamat IP internal, Dataproc Metastore hanya dapat terhubung ke Virtual Machine (VM) yang ada di jaringan Virtual Private Cloud (VPC) tertentu atau lingkungan lokal.

Koneksi ke layanan Dataproc Metastore menggunakan alamat IP internal menggunakan rentang alamat RFC 1918. Dengan menggunakan rentang ini, Dataproc Metastore akan mengalokasikan rentang /17 dan rentang /20 dari ruang alamat untuk setiap region. Misalnya, menempatkan layanan Dataproc Metastore di dua region mengharuskan rentang alamat IP yang dialokasikan berisi hal berikut:

• Setidaknya dua blok alamat yang tidak digunakan berukuran /17.
• Setidaknya dua blok alamat yang tidak digunakan berukuran /20.

Jika blok alamat RFC 1918 tidak ditemukan, Dataproc Metastore akan menemukan blok alamat non-RFC 1918 yang sesuai. Perhatikan bahwa alokasi blok non-RFC 1918 tidak mempertimbangkan apakah alamat tersebut sedang digunakan di jaringan VPC atau lokal Anda.

Setelan jaringan tambahan

Jika memerlukan setelan jaringan yang berbeda, Anda dapat menggunakan opsi berikut dengan layanan Dataproc Metastore Anda.

Jaringan VPC yang dibagikan

Anda dapat membuat layanan Dataproc Metastore di jaringan VPC Bersama. VPC Bersama memungkinkan Anda menghubungkan resource Dataproc Metastore dari beberapa project ke jaringan VPC (VPC) umum.

Untuk menyiapkan VPC Bersama saat membuat layanan, lihat Membuat Layanan Dataproc Metastore.

Jaringan lokal

Anda dapat terhubung ke layanan Dataproc Metastore dengan lingkungan lokal menggunakan Cloud VPN atau Cloud Interconnect.

Kontrol Layanan VPC

Kontrol Layanan VPC meningkatkan kemampuan Anda untuk mengurangi risiko pemindahan data yang tidak sah. Dengan Kontrol Layanan VPC, Anda membuat perimeter di sekitar layanan Dataproc Metastore. Kontrol Layanan VPC membatasi akses ke resource dalam perimeter dari luar. Hanya klien dan resource dalam perimeter yang dapat berinteraksi satu sama lain.

Untuk menggunakan Kontrol Layanan VPC dengan Dataproc Metastore, lihat Kontrol Layanan VPC dengan Dataproc Metastore. Tinjau juga batasan Dataproc Metastore saat menggunakan Kontrol Layanan VPC.

Aturan firewall untuk Dataproc Metastore

Di lingkungan non-default atau pribadi dengan jejak keamanan yang telah ditetapkan, Anda mungkin perlu membuat aturan firewall sendiri. Jika Anda melakukannya, jangan buat aturan firewall yang memblokir rentang alamat IP atau port layanan Dataproc Metastore Anda.

Saat membuat layanan Dataproc Metastore, Anda dapat menerima jaringan default untuk layanan tersebut. Jaringan default memastikan akses jaringan IP internal penuh untuk VM Anda.

Untuk mengetahui informasi yang lebih umum tentang aturan firewall, lihat Aturan firewall VPC dan Menggunakan aturan firewall VPC.

Membuat aturan firewall untuk jaringan kustom

Saat Anda menggunakan jaringan kustom, pastikan aturan firewall Anda mengizinkan traffic yang berasal dari dan menuju endpoint Dataproc Metastore. Untuk mengizinkan traffic Dataproc Metastore secara eksplisit, jalankan perintah gcloud berikut:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Untuk DPMS_NET_PREFIX, terapkan subnet mask /17 ke IP layanan Dataproc Metastore Anda. Anda dapat menemukan informasi alamat IP Dataproc Metastore di konfigurasi endpointUri di halaman Detail layanan.

Pertimbangan

Jaringan memiliki aturan izinkan traffic keluar yang tersirat yang biasanya mengizinkan akses dari jaringan Anda ke Dataproc Metastore. Jika Anda membuat aturan tolak traffic keluar yang menggantikan aturan izinkan traffic keluar tersirat, Anda harus membuat aturan izinkan traffic keluar dengan prioritas yang lebih tinggi untuk mengizinkan traffic keluar ke IP Dataproc Metastore.

Beberapa fitur seperti Kerberos mengharuskan Dataproc Metastore untuk memulai koneksi ke host di jaringan project Anda. Semua jaringan memiliki aturan ingress penolakan tersirat yang memblokir koneksi ini dan mencegah fitur tersebut berfungsi. Anda harus membuat aturan firewall yang mengizinkan traffic masuk TCP dan UDP di semua port dari blok IP /17 yang berisi IP Dataproc Metastore.

Pemilihan rute kustom

Rute kustom ditujukan untuk subnet yang menggunakan alamat IP publik yang digunakan secara pribadi (PUPI). Rute kustom memungkinkan jaringan VPC Anda terhubung ke jaringan peer. Rute kustom hanya dapat diterima jika jaringan VPC Anda mengimpornya dan jaringan peer secara eksplisit mengekspornya. Rute kustom dapat berupa rute statis atau dinamis.

Berbagi rute kustom dengan jaringan VPC yang di-peering memungkinkan jaringan "mempelajari" rute langsung dari jaringan yang di-peering. Artinya, saat rute kustom di jaringan yang di-peering diperbarui, jaringan VPC Anda akan otomatis mempelajari dan menerapkan rute kustom tanpa memerlukan tindakan tambahan dari Anda.

Untuk mengetahui informasi selengkapnya tentang pemilihan rute kustom, lihat konfigurasi jaringan.

Contoh Jaringan Dataproc Metastore

Pada contoh berikut, Google mengalokasikan rentang alamat 10.100.0.0/17 dan 10.200.0.0/20 di jaringan VPC pelanggan untuk layanan Google dan menggunakan rentang alamat di jaringan VPC yang di-peering.

Deskripsi contoh jaringan:

• Pada sisi layanan Google dari peering VPC, Google membuat project untuk pelanggan. Project ini terisolasi, sehingga tidak ada pelanggan lain yang membagikannya dan pelanggan hanya ditagih untuk resource yang mereka sediakan.
• Saat membuat layanan Dataproc Metastore pertama di suatu region, Dataproc Metastore mengalokasikan rentang /17 dan rentang /20 di jaringan pelanggan untuk semua penggunaan layanan Dataproc Metastore di masa mendatang di region dan jaringan tersebut. Dataproc Metastore selanjutnya membagi rentang ini untuk membuat subnet dan rentang alamat di project produsen layanan.
• Layanan VM di jaringan pelanggan dapat mengakses resource layanan Dataproc Metastore di region mana pun jika layananGoogle Cloud mendukungnya. Beberapa Google Cloud layanan mungkin tidak mendukung komunikasi lintas region.
• Biaya traffic keluar untuk traffic lintas regional, tempat instance VM berkomunikasi dengan resource di region berbeda, masih berlaku.
• Google menetapkan alamat IP 10.100.0.100 ke layanan Dataproc Metastore. Di jaringan VPC pelanggan, permintaan dengan tujuan 10.100.0.100 dirutekan melalui peering VPC ke jaringan produsen layanan. Setelah mencapai jaringan layanan, jaringan layanan berisi rute yang mengarahkan permintaan ke resource yang benar.
• Traffic antarjaringan VPC berjalan secara internal dalam jaringan Google, bukan melalui internet publik.

Langkah berikutnya

• Kontrol Layanan VPC dengan Dataproc Metastore
• IAM dan kontrol akses Dataproc Metastore
• Private Service Connect dengan Dataproc Metastore