Halaman ini memberikan panduan tentang cara mengonfigurasi konektivitas jaringan untuk cluster Dataproc saat menggunakan Private Service Connect. Dokumen ini menjelaskan interaksi antara Private Service Connect dan peering Virtual Private Cloud untuk berbagai kasus penggunaan Dataproc. Dokumen ini juga merangkum kesamaan dan perbedaan fitur antara Akses Google Pribadi, Private Service Connect, dan Cloud NAT.
Ringkasan
Cluster Dataproc memerlukan konektivitas jaringan ke Google Cloud API dan layanan, seperti Dataproc API, Cloud Storage, dan Cloud Logging, serta ke resource pengguna, seperti sumber data di jaringan Virtual Private Cloud lain atau lingkungan lokal.
Secara default, cluster Dataproc yang dibuat dengan versi image 2.2 dan yang lebih baru
dibuat hanya dengan alamat IP internal. Dataproc secara otomatis mengaktifkan Akses Google Pribadi di subnet regional yang digunakan oleh cluster khusus IP internal untuk mengaktifkan koneksi ke Google API dan layanan Google tanpa terhubung ke internet publik.
Untuk memberikan kontrol jaringan yang lebih terperinci, Anda dapat mengonfigurasi cluster untuk menggunakan Private Service Connect, yang merutekan traffic ke Google API dan layanan yang didukung melalui endpoint pribadi dalam jaringan VPC Anda. Hal ini dapat bermanfaat untuk keamanan dan kepatuhan.
Opsi jaringan pribadi umum
Bagian ini menjelaskan fitur dan perbedaan Private Google Access, Private Service Connect, dan Cloud NAT.
Akses Google Pribadi adalah jalur satu arah bagi VM untuk menjangkau layanan publik Google tanpa menggunakan internet. Hal ini mirip dengan jalan keluar khusus dari lingkungan (subnet VPC) yang mengarah langsung ke pusat layanan Google, dengan melewati jalan umum. Semua orang di lingkungan sekitar dapat menggunakannya. Dataproc otomatis mengaktifkan Private Google Access di subnet regional yang digunakan oleh cluster Dataproc Serverless yang dibuat dengan versi image
2.2dan yang lebih baru.Private Service Connect membuat endpoint dua arah pribadi untuk layanan yang berada dalam jaringan VPC Anda. Hal ini mirip dengan jalur pribadi khusus dari lokasi Anda (jaringan VPC) langsung ke layanan. Alamat ini memiliki alamat di lokasi Anda (alamat IP internal di jaringan VPC Anda) dan hanya Anda yang dapat menggunakannya.
Cloud NAT memungkinkan VM dengan alamat IP pribadi untuk mengakses internet.
Fitur dan perbedaan
| Fitur | Akses Google Pribadi (PGA) | Private Service Connect (PSC) |
|---|---|---|
| Cara kerjanya | Mengarahkan traffic dari VM ke rentang alamat IP Google khusus (private.googleapis.com). |
Membuat aturan penerusan (endpoint) di dalam jaringan VPC Anda yang merepresentasikan layanan Google. |
| Alamat IP | VM Anda terhubung ke alamat IP milik Google. | VM Anda terhubung ke alamat IP internal yang Anda miliki dalam jaringan VPC Anda. |
| Arah | Hanya keluar: VM Anda memulai koneksi ke Google. | Dua arah: VM Anda terhubung ke layanan, dan layanan dapat memulai traffic kembali. |
| Cakupan | Diaktifkan atau dinonaktifkan untuk seluruh subnet. | Di-deploy sebagai resource endpoint tertentu. |
| Layanan | Hanya terhubung ke Google API, seperti Cloud Storage, BigQuery, atau Dataproc API. | Menghubungkan ke Google API, layanan dari perusahaan lain, dan layanan Anda sendiri. |
Untuk Dataproc, Akses Google Pribadi adalah metode tradisional yang lebih sederhana untuk mengizinkan VM cluster menghubungi bidang kontrol Dataproc. Private Service Connect adalah pendekatan yang lebih baru dan fleksibel yang memberi Anda kontrol terperinci, terutama dalam jaringan yang kompleks atau multi-tenant.
Mengapa menggunakan Private Service Connect? Meskipun cluster Dataproc Anda memiliki alamat IP khusus internal dengan Akses Google Pribadi diaktifkan (konfigurasi default untuk cluster versi image 2.2+), Private Service Connect menawarkan keuntungan berikut:
Daripada menggunakan kumpulan endpoint bersama Akses Google Pribadi untuk terhubung ke Google API dan layanan Google, Private Service Connect memungkinkan Anda membuat endpoint pribadi dengan alamat IP internal di dalam jaringan VPC yang dipetakan langsung ke layanan Google tertentu.
Anda dapat membuat aturan firewall yang hanya mengizinkan traffic ke alamat IP endpoint Private Service Connect. Misalnya, Anda dapat mengonfigurasi aturan yang mengizinkan traffic keluar dari VM cluster Dataproc secara eksklusif ke alamat IP internal endpoint Private Service Connect untuk BigQuery, sekaligus menolak semua traffic keluar lainnya. Pendekatan ini lebih aman daripada membuat aturan firewall yang lebih luas dengan Akses Google Pribadi.
Penggunaan endpoint Private Service Connect dalam jaringan VPC Anda membuat jalur jaringan menjadi eksplisit dan lebih mudah diaudit untuk keamanan dan kepatuhan karena traffic ke layanan seperti Cloud Storage tidak berbagi jalur dengan traffic API lainnya.
Jalur pribadi dan publik
Akses Google Pribadi, Private Service Connect, dan Cloud NAT memungkinkan host dengan alamat RFC 1918 menjangkau layananGoogle Cloud . Antarmuka ini juga memungkinkan resource dengan alamat Google Cloud pribadi RFC 1918 memulai koneksi ke layanan Google Cloud .
Perbedaan penting yang harus dibuat saat menilai berbagai opsi koneksi adalah apakah traffic yang menggunakan koneksi tetap bersifat pribadi atau berjalan melalui internet publik.
Akses Google Pribadi dan Private Service Connect mempertahankan traffic dalam jaringan pribadi Google. Data tidak melintas melalui internet publik untuk mencapai layanan Google Cloud , yang ideal untuk keamanan dan performa yang dapat diprediksi.
Cloud NAT menjangkau layanan Google Cloud dengan terhubung ke endpoint publik untuk layanan tersebut. Traffic keluar dari jaringan VPC Anda melalui gateway NAT dan berpindah melalui internet.
Cara kerja setiap opsi
Berikut perincian setiap mekanisme koneksi:
| Metode | Jalur ke layanan | Endpoint tujuan | Kasus penggunaan utama |
|---|---|---|---|
| Akses Google Pribadi | Jaringan pribadi Google | Alamat IP khusus Google (private.googleapis.com) |
Akses tingkat subnet yang sederhana bagi VM untuk menjangkau Google API secara pribadi. |
| Private Service Connect | Jaringan pribadi Google | Endpoint alamat IP pribadi di dalam jaringan VPC Anda | Akses yang terperinci dan aman ke API Google, pihak ketiga, atau layanan Anda sendiri. |
| Cloud NAT | Internet publik | Alamat IP publik layanan | Akses internet keluar untuk tujuan umum bagi VM dengan alamat IP pribadi. |
Mengonfigurasi Private Service Connect
Untuk menggunakan Private Service Connect dengan cluster Dataproc, Anda harus mengonfigurasi endpoint Private Service Connect dan DNS yang diperlukan di jaringan VPC untuk semua Google API yang menjadi dependensi Dataproc. Untuk petunjuk tentang cara menyiapkan subnet dan mengonfigurasi DNS, lihat Tentang mengakses Google API melalui endpoint.
Aktifkan peering jika diperlukan
Meskipun Private Service Connect menyediakan akses pribadi ke banyak layanan Google, Anda mungkin juga perlu mengaktifkan peering VPC, terutama dalam skenario berikut:
Jaringan Virtual Private Cloud lainnya: Private Service Connect terhubung ke layanan yang dikelola Google, bukan langsung ke jaringan VPC pelanggan lain. Jika sumber data, aplikasi kustom, atau layanan lainnya berada di jaringan VPC yang berbeda dengan cluster Dataproc Anda, biasanya peering VPC diperlukan untuk mengaktifkan komunikasi pribadi antarjaringan ini.
Jaringan lokal: Jika cluster Dataproc Anda mengakses data atau layanan di lingkungan lokal, Anda memerlukan koneksi Cloud VPN atau Cloud Interconnect ke jaringan lokal, yang sering kali dikombinasikan dengan peering VPC.
Komunikasi internal yang komprehensif ke layanan Google: Meskipun Private Service Connect menyediakan akses pribadi ke layanan Google yang dikonfigurasi, seperti Cloud Storage dan BigQuery, komunikasi bidang kontrol internal atau fitur Dataproc tertentu mungkin memerlukan peering VPC ke jaringan dengan aksesibilitas layanan Google yang luas untuk mengakses infrastruktur Google yang mendasarinya atau Google API lainnya.
Akses ke sumber data di jaringan VPC lain: Jika tugas Dataproc Anda membaca dari atau menulis ke sumber data, seperti Cloud SQL, database yang dikelola sendiri, dan aplikasi kustom, yang berada di jaringan VPC lain, Anda harus membuat peering VPC antara jaringan VPC cluster Dataproc dan jaringan VPC yang berisi sumber data tersebut. Private Service Connect tidak menyediakan komunikasi antarjaringan VPC antara jaringan milik pelanggan.
Konektivitas hybrid: Untuk deployment cloud hybrid di mana cluster Dataproc perlu berinteraksi dengan resource di pusat data lokal, peering VPC sangat penting untuk menghubungkan jaringan lokal Anda ke jaringan VPC menggunakan Cloud VPN atau Cloud Interconnect. Google Cloud
Memecahkan masalah Private Service Connect
Jika cluster Dataproc Anda dengan Private Service Connect (tanpa peering VPC) gagal dibuat atau mengalami masalah konektivitas, gunakan langkah-langkah berikut untuk membantu memecahkan masalah dan menyelesaikannya:
Konfirmasi akses API yang diperlukan:
- Pastikan semua Google API yang diperlukan telah diaktifkan di project Anda. Google Cloud
Verifikasi konfigurasi endpoint Private Service Connect:
Verifikasi bahwa endpoint Private Service Connect dikonfigurasi dengan benar untuk semua Google API yang diperlukan cluster, seperti
dataproc.googleapis.com,storage.googleapis.com,logging.googleapis.com,bigquery.googleapis.com,compute.googleapis.com.Gunakan alat seperti
digataunslookupdari VM dalam subnet VPC untuk mengonfirmasi bahwa catatan DNS untuk layanan yang diperlukan telah diselesaikan dengan benar ke alamat IP pribadi dalam jaringan VPC Anda menggunakan endpoint Private Service Connect.
Periksa aturan firewall:
Pastikan aturan firewall di jaringan VPC Anda mengizinkan koneksi keluar dari instance cluster Dataproc ke endpoint Private Service Connect.
Jika menggunakan VPC Bersama, pastikan aturan firewall yang sesuai dikonfigurasi di project host.
Periksa log cluster Dataproc:
- Tinjau log pembuatan cluster di Logging untuk mengetahui apakah ada error terkait jaringan, seperti
connection refused,timeout, atau "unreachable host. Error ini dapat menunjukkan rute yang tidak ada atau aturan firewall yang salah. Periksa log konsol serial instance cluster.
- Tinjau log pembuatan cluster di Logging untuk mengetahui apakah ada error terkait jaringan, seperti
Menilai kebutuhan peering VPC:
Berdasarkan dependensi beban kerja, jika cluster Dataproc Anda memerlukan konektivitas ke resource yang tidak dikelola Google, seperti database di jaringan VPC terpisah dan server lokal, buat peering VPC.
Periksa persyaratan jaringan Google Cloud layanan yang berinteraksi dengan cluster Dataproc Anda. Beberapa layanan mungkin memiliki persyaratan peering tertentu meskipun digunakan dengan Private Service Connect.
Mengikuti praktik terbaik
Perencanaan arsitektur jaringan yang komprehensif: Sebelum men-deploy Dataproc dengan Private Service Connect, rancang arsitektur jaringan Anda dengan cermat, dengan mempertimbangkan semua dependensi implisit dan eksplisit serta jalur alur data. Hal ini mencakup mengidentifikasi semua Google API yang berinteraksi dengan cluster Dataproc Anda selama penyediaan dan pengoperasian.
Uji konektivitas: Uji konektivitas jaringan secara menyeluruh dari cluster Dataproc Anda ke semua layanan dan sumber data yang diperlukan selama fase pengembangan dan penyiapan.
Gunakan Network Intelligence Center: Gunakan alat Network Intelligence Center, seperti Uji Konektivitas, untuk mendiagnosis dan memecahkan masalah konektivitas jaringan. Google Cloud
Langkah berikutnya
- Pelajari Private Service Connect lebih lanjut.
- Pahami Peering Jaringan VPC.
- Pelajari konfigurasi jaringan cluster Dataproc.