Konfigurasi jaringan cluster Dataproc

Halaman ini menjelaskan persyaratan dan opsi konfigurasi jaringan cluster Dataproc.

Persyaratan konektivitas Dataproc

Cluster Dataproc Anda harus berada di jaringan VPC yang memenuhi persyaratan rute dan firewall untuk mengakses Google API dan resource lainnya dengan aman.

Persyaratan rute

Agen Dataproc yang berjalan di VM cluster memerlukan rute ke internet untuk mengakses Dataproc Control API guna mendapatkan tugas dan melaporkan status. Saat dibuat, jaringan VPC berisi rute default yang dibuat oleh sistem ke internet. Menghapus rute default ke internet tidak direkomendasikan; sebagai gantinya, gunakan firewall untuk mengontrol akses jaringan. Perhatikan bahwa cluster khusus IP internal juga memerlukan rute default ini ke internet untuk mengakses API kontrol Dataproc dan layanan Google lainnya, seperti Cloud Storage, tetapi trafficnya tidak keluar dari pusat data Google.

Persyaratan firewall

Virtual Machine (VM) kluster Dataproc harus dapat berkomunikasi satu sama lain menggunakan protokol ICMP, TCP (semua port), dan UDP (semua port).

Aturan firewall default-allow-internal jaringan VPC default memenuhi persyaratan konektivitas cluster Dataproc dan mengizinkan traffic masuk dari rentang sumber 10.128.0.0/9 dari semua VM di jaringan VPC sebagai berikut:

• Jika Anda menghapus aturan firewall default-allow-internal, traffic masuk di jaringan default akan diblokir oleh aturan penolakan masuk implisit.

• Jika Anda menghapus aturan firewall default-allow-internal atau tidak menggunakan jaringan VPC default, Anda harus membuat aturan sendiri yang memenuhi persyaratan konektivitas Dataproc, lalu menerapkannya ke jaringan VPC cluster Anda.

Praktik terbaik:

• Buat aturan firewall masuk untuk jaringan VPC cluster Anda yang hanya mengizinkan konektivitas masuk di antara VM cluster dengan menggunakan rentang IP sumber atau dengan mengidentifikasi VM cluster berdasarkan tag jaringan atau akun layanan.
• Untuk akses dan konektivitas jaringan yang lebih aman, gunakan tag aman alih-alih tag jaringan untuk menentukan sumber dan target aturan firewall.

Membuat aturan firewall masuk

Jika Anda atau administrator jaringan atau keamanan Anda membuat aturan firewall traffic masuk untuk diterapkan ke jaringan VPC cluster Dataproc, aturan tersebut harus memiliki karakteristik berikut:

• Parameter sources menentukan sumber untuk paket. Semua VM cluster Dataproc harus dapat berkomunikasi satu sama lain. Anda dapat mengidentifikasi VM dalam cluster berdasarkan rentang alamat IP, tag sumber, atau akun layanan yang terkait dengan VM.

• Target untuk aturan harus mengidentifikasi VM cluster. Target dapat berupa semua VM di jaringan VPC, atau Anda dapat mengidentifikasi VM berdasarkan rentang alamat IP, tag target, atau akun layanan target.

• Aturan harus mencakup protokol dan port berikut:

  • TCP (semua port, 0 hingga 65535)
  • UDP (semua port, 0 hingga 65535)
  • ICMP

  Dataproc menggunakan layanan yang berjalan di beberapa port. Menentukan semua port akan membantu layanan berjalan dengan lancar.

Mendiagnosis aturan firewall VPC

Untuk mengaudit paket yang tidak diproses oleh aturan firewall dengan prioritas yang lebih tinggi, Anda dapat membuat dua aturan firewall penolakan dengan prioritas rendah (65534). Tidak seperti aturan firewall tersirat, Anda dapat mengaktifkan logging aturan firewall pada setiap aturan prioritas rendah ini:

1. Aturan penolakan ingress (sumber 0.0.0.0/0, semua protokol, semua target dalam jaringan VPC)

2. Aturan penolakan keluar (tujuan 0.0.0.0/0, semua protokol, semua target di jaringan VPC)

• Dengan aturan prioritas rendah dan pencatatan log aturan firewall ini, Anda dapat mencatat log paket yang tidak diproses oleh aturan firewall dengan prioritas yang lebih tinggi dan berpotensi lebih spesifik. Kedua aturan prioritas rendah ini juga sesuai dengan praktik terbaik keamanan dengan menerapkan strategi "menjatuhkan paket terakhir".

• Periksa log aturan firewall untuk aturan ini guna menentukan apakah Anda perlu membuat atau mengubah aturan dengan prioritas yang lebih tinggi untuk mengizinkan paket. Misalnya, jika paket yang dikirim di antara VM cluster Dataproc dihentikan, hal ini dapat menjadi sinyal bahwa aturan firewall Anda perlu disesuaikan.

Membuat jaringan VPC

Daripada menggunakan jaringan VPC default, Anda dapat membuat jaringan VPC mode otomatis atau kustom sendiri. Saat membuat cluster, Anda mengaitkan jaringan dengan cluster.

Lingkungan Assured Workloads: Saat Anda menggunakan lingkungan Assured Workloads untuk kepatuhan terhadap peraturan, cluster, jaringan VPC, dan bucket Cloud Storage-nya harus berada dalam lingkungan Assured Workloads.

Buat cluster yang menggunakan jaringan VPC Anda

gcloud dataproc clusters create CLUSTER_NAME \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

gcloud dataproc clusters create CLUSTER_NAMEW \
    --subnet projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
    --region=REGION \
    ... other args ...

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "PROJECT_ID",
  "clusterName": CLUSTER_NAME,
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": SUBNET_NAME,
    },
    ...

Membuat cluster yang menggunakan jaringan VPC di project lain

Cluster Dataproc dapat menggunakan jaringan VPC Bersama yang ditentukan dalam project host. Project tempat cluster Dataproc dibuat disebut sebagai project layanan.

1. Temukan nomor project cluster Dataproc:

   1. Buka halaman IAM & Admin Setelan di Google Cloud console. Pilih project tempat Anda akan membuat cluster Dataproc. Salin project ID.

2. Akun utama dengan peran Admin VPC Bersama harus melakukan langkah-langkah berikut. Lihat petunjuk untuk menyiapkan VPC Bersama untuk mengetahui informasi latar belakang.

   1. Pastikan project host VPC Bersama diaktifkan.

   2. Lampirkan project dengan cluster Dataproc ke project host.

   3. Konfigurasi akun layanan agen layanan Dataproc (service-[project-number]@dataproc-accounts.iam.gserviceaccount.com) agar memiliki peran Network User untuk project host:

      1. Buka halaman IAM & Admin di Google Cloud console.

      2. Gunakan pemilih project untuk memilih project host baru.

      3. Klik Grant Access.

      4. Isi formulir Beri Akses:

         1. Tambahkan prinsipal: Masukkan akun layanan.

         2. Tetapkan peran: Masukkan "Compute Network" di kotak filter, lalu pilih peran Compute Network User.

         3. Klik Simpan.

3. Setelah akun layanan memiliki peran Network User untuk project host, buat cluster yang menggunakan jaringan VPC Bersama.

Membuat cluster yang menggunakan subnetwork VPC di project lain

Cluster Dataproc dapat menggunakan subnetwork VPC Bersama yang ditentukan dalam project host. Project tempat cluster Dataproc dibuat disebut sebagai project layanan.

1. Temukan nomor project cluster Dataproc:

   1. Buka halaman IAM & Admin Setelan di Google Cloud console. Pilih project tempat Anda akan membuat cluster Dataproc. Salin project ID.

2. Akun utama dengan peran Admin VPC Bersama harus melakukan langkah-langkah berikut. Lihat petunjuk untuk menyiapkan VPC Bersama untuk mengetahui informasi latar belakang.

   1. Pastikan project host VPC Bersama diaktifkan.

   2. Lampirkan project dengan cluster Dataproc ke project host.

   3. Konfigurasi akun layanan agen layanan Dataproc (service-[project-number]@dataproc-accounts.iam.gserviceaccount.com) agar memiliki peran Network User untuk project host:

      1. Buka halaman VPC networks di konsol Google Cloud .

      2. Gunakan pemilih project untuk memilih project host.

      3. Klik jaringan yang berisi subnetwork yang akan digunakan cluster Dataproc Anda.

      4. Di halaman VPC Network Details, klik kotak centang di samping nama subnetwork yang akan digunakan cluster Anda.

      5. Jika Panel Info tidak terbuka, klik Tampilkan Panel Info.

      6. Lakukan langkah-langkah berikut untuk setiap akun layanan:

         1. Di Panel Info, klik Tambahkan Akun Utama.

         2. Isi formulir Beri Akses:

            1. Tambahkan prinsipal: Masukkan akun layanan.

            2. Tetapkan peran: Masukkan "Compute Network" di kotak filter, lalu pilih peran Compute Network User.

            3. Klik Simpan.

3. Setelah akun layanan memiliki peran Network User untuk project host, buat cluster yang menggunakan subnetwork VPC Bersama.

Membuat cluster Dataproc dengan alamat IP internal saja

Anda dapat membuat cluster Dataproc yang diisolasi dari internet publik yang instance VM-nya berkomunikasi melalui subnetwork IP pribadi (VM cluster tidak diberi alamat IP publik). Saat Anda melakukannya, subnetwork cluster harus mengaktifkan Akses Google Pribadi agar node cluster dapat mengakses API dan layanan Google, seperti Cloud Storage, dari IP internal.

Anda dapat menggunakan konsol Google Cloud , gcloud CLI, atau Dataproc API untuk mengaktifkan alamat IP internal saja saat Anda membuat cluster.

gcloud dataproc clusters create CLUSTER_NAME \
    --no-address \
    --network NETWORK_NAME \
    --region=REGION \
    ... other args ...

gcloud dataproc clusters create cluster-name \
    --no-address \
    --subnet projects/project-id/regions/region/subnetworks/subnetwork-name \
    --region=region \
    ... other args ...

POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
  "projectId": "my-project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "custom-subnet-1",
      "zoneUri": "us-central1-b",
      "internalIpOnly": true
    },
    ...

Mendownload dependensi dengan cluster khusus IP internal

Secara default, cluster khusus IP internal tidak memiliki akses ke internet. Oleh karena itu, tugas yang mendownload dependensi dari internet, misalnya tugas yang mendownload paket dependensi Spark dari Maven Central, akan gagal. Ada beberapa solusi untuk menghindari masalah ini:

1. Gunakan Cloud NAT untuk mengaktifkan akses cluster ke internet.

2. Buat image kustom yang menyertakan dependensi (misalnya, paket dependensi Spark di /usr/lib/spark/jars/).

3. Upload dependensi ke bucket Cloud Storage, lalu gunakan tindakan inisialisasi untuk mendownload dependensi dari bucket selama pembuatan cluster.

Jaringan Dataproc dan Kontrol Layanan VPC

Dengan Kontrol Layanan VPC, administrator dapat menentukan perimeter keamanan di sekitar resource layanan yang dikelola Google untuk mengontrol komunikasi ke dan di antara layanan tersebut.

Perhatikan batasan dan strategi berikut saat menggunakan jaringan Kontrol Layanan VPC dengan cluster Dataproc:

• Untuk menginstal komponen di luar perimeter Kontrol Layanan VPC, buat image kustom Dataproc yang telah menginstal komponen sebelumnya, lalu buat cluster menggunakan image kustom.

• Lihat Langkah khusus Dataproc untuk melindungi menggunakan Kontrol Layanan VPC.