Konfigurasi keamanan Dataproc

Saat membuat cluster Dataproc, Anda dapat mengaktifkan Hadoop Secure Mode melalui Kerberos untuk menyediakan multi-tenancy melalui autentikasi, isolasi, dan enkripsi pengguna di dalam cluster Dataproc.

Autentikasi Pengguna dan Layanan Google Cloud Platform Lainnya. Autentikasi per pengguna menggunakan Kerberos hanya berlaku dalam cluster. Interaksi dengan layanan Google Cloud lain, seperti Cloud Storage, akan terus diautentikasi sebagai akun layanan untuk cluster.

Mengaktifkan Hadoop Secure Mode menggunakan Kerberos

Mengaktifkan Kerberos dan Hadoop Secure Mode untuk cluster akan mencakup distribusi MIT Kerberos dan mengonfigurasi Apache Hadoop YARN, HDFS, Hive, Spark, dan komponen terkait untuk menggunakannya dalam autentikasi.

Mengaktifkan Kerberos akan membuat Key Distribution Center (KDC) di cluster, yang berisi akun utama layanan dan akun utama root. Principal root adalah akun dengan izin administrator ke KDC dalam cluster. KDC juga dapat berisi akun utama pengguna standar atau terhubung melalui kepercayaan lintas realm ke KDC lain yang berisi akun utama pengguna.

Membuat cluster Kerberos

Anda dapat menggunakan Google Cloud CLI, Dataproc API, atau Google Cloud konsol untuk mengaktifkan Kerberos di cluster yang menggunakan versi image Dataproc 1.3 dan yang lebih baru.

gcloud dataproc clusters create cluster-name \
    --image-version=2.0 \
    --enable-kerberos

Membuat cluster Kerberos dengan sandi utama root Anda sendiri

Siapkan sandi utama root Kerberos Anda, lalu buat cluster.

Menyiapkan sandi utama root Kerberos Anda

Principal root Kerberos adalah akun dengan izin administrator ke KDC dalam cluster. Untuk memberikan sandi dengan aman untuk prinsipal root Kerberos, pengguna dapat mengenkripsinya dengan kunci Key Management Service (KMS), lalu menyimpannya di bucket Google Cloud Storage yang dapat diakses oleh akun layanan cluster. Akun layanan cluster harus diberi cloudkms.cryptoKeyDecrypter peran IAM.

1. Berikan peran Pengenkripsi/Pendekripsi CryptoKey Cloud KMS ke akun layanan cluster:

   gcloud projects add-iam-policy-binding project-id \
       --member serviceAccount:project-number-compute@developer.gserviceaccount.com \
       --role roles/cloudkms.cryptoKeyDecrypter
   

2. Buat key ring:

   gcloud kms keyrings create my-keyring --location global
   

3. Buat kunci di key ring:

   gcloud kms keys create my-key \
       --location global \
       --keyring my-keyring \
       --purpose encryption
   

4. Enkripsi sandi utama root Kerberos Anda:

   echo "my-password" | \
     gcloud kms encrypt \
       --location=global \
       --keyring=my-keyring \
       --key=my-key \
       --plaintext-file=- \
       --ciphertext-file=kerberos-root-principal-password.encrypted
   

   1. Upload sandi terenkripsi ke bucket Cloud Storage di project Anda.
      1. Contoh:

         gcloud storage cp kerberos-root-principal-password.encrypted gs://my-bucket
         

Membuat cluster

Anda dapat menggunakan perintah gcloud atau Dataproc API untuk mengaktifkan Kerberos di cluster dengan sandi utama root Anda sendiri.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --image-version=2.0 \
    --kerberos-root-principal-password-uri=gs://my-bucket/kerberos-root-principal-password.encrypted \
    --kerberos-kms-key=projects/project-id/locations/global/keyRings/my-keyring/cryptoKeys/my-key

Login OS

Pengelolaan KDC dalam cluster dapat dilakukan dengan perintah kadmin menggunakan akun utama pengguna Kerberos root atau menggunakan sudo kadmin.local. Aktifkan Login OS untuk mengontrol siapa yang dapat menjalankan perintah superuser.

Sertifikat SSL

Sebagai bagian dari pengaktifan Hadoop Secure Mode, Dataproc membuat sertifikat yang ditandatangani sendiri untuk mengaktifkan enkripsi SSL cluster. Sebagai alternatif, Anda dapat memberikan sertifikat untuk enkripsi SSL cluster dengan menambahkan setelan berikut ke file konfigurasi saat Anda membuat cluster kerberos:

• ssl:keystore_password_uri: Lokasi di Cloud Storage dari file yang dienkripsi dengan KMS yang berisi sandi ke file keystore.
• ssl:key_password_uri: Lokasi di Cloud Storage untuk file yang dienkripsi dengan KMS yang berisi sandi ke kunci dalam file keystore.
• ssl:keystore_uri: Lokasi di Cloud Storage untuk file keystore yang berisi sertifikat karakter pengganti dan kunci pribadi yang digunakan oleh node cluster.
• ssl:truststore_password_uri: Lokasi di Cloud Storage dari file yang dienkripsi dengan KMS yang berisi sandi ke file truststore.
• ssl:truststore_uri: Lokasi di Cloud Storage untuk file trust store yang berisi sertifikat tepercaya.

Contoh file konfigurasi:

root_principal_password_uri: gs://my-bucket/kerberos-root-principal-password.encrypted
kms_key_uri: projects/project-id/locations/global/keyRings/mykeyring/cryptoKeys/my-key
ssl:
  key_password_uri: gs://bucket/key_password.encrypted
  keystore_password_uri: gs://bucket/keystore_password.encrypted
  keystore_uri: gs://bucket/keystore.jks
  truststore_password_uri: gs://bucket/truststore_password.encrypted
  truststore_uri: gs://bucket/truststore.jks

Setelan Kerberos Tambahan

Untuk menentukan realm Kerberos, buat cluster kerberos dengan menambahkan properti berikut di file konfigurasi Kerberos:

• realm: Nama realm Kerberos di cluster.

Jika properti ini tidak ditetapkan, domain nama host (dalam huruf besar) akan menjadi realm.

Untuk menentukan kunci master database KDC, buat cluster kerberos dengan properti berikut yang ditambahkan dalam file konfigurasi Kerberos:

• kdc_db_key_uri: Lokasi di Cloud Storage dari file yang dienkripsi KMS yang berisi kunci master database KDC.

Jika properti ini tidak disetel, Dataproc akan membuat kunci utama.

Untuk menentukan masa aktif maksimum tiket pemberian tiket (dalam jam), buat cluster kerberos dengan properti berikut ditambahkan dalam file konfigurasi Kerberos:

• tgt_lifetime_hours: Masa berlaku maksimum tiket autentikasi dalam jam.

Jika properti ini tidak ditetapkan, Dataproc akan menetapkan masa aktif tiket pemberian tiket menjadi 10 jam.

Kepercayaan lintas realm

KDC di cluster awalnya hanya berisi akun utama administrator root dan akun utama layanan. Anda dapat menambahkan akun utama pengguna secara manual atau menetapkan kepercayaan lintas realm dengan KDC eksternal atau server Active Directory yang berisi akun utama pengguna. Cloud VPN atau Cloud Interconnect direkomendasikan untuk terhubung ke KDC/Active Directory lokal.

Untuk membuat cluster kerberos yang mendukung kepercayaan lintas realm, tambahkan setelan berikut ke file konfigurasi Kerberos saat Anda membuat cluster kerberos. Enkripsi sandi bersama dengan KMS dan simpan di bucket Cloud Storage yang dapat diakses oleh akun layanan cluster.

• cross_realm_trust:admin_server: hostname atau alamat server admin jarak jauh
• cross_realm_trust:kdc: nama host atau alamat KDC jarak jauh
• cross_realm_trust:realm: nama realm jarak jauh yang akan dipercayai
• cross_realm_trust:shared_password_uri: Lokasi sandi bersama yang dienkripsi KMS di Cloud Storage

Contoh file konfigurasi:

root_principal_password_uri: gs://my-bucket/kerberos-root-principal-password.encrypted
kms_key_uri: projects/project-id/locations/global/keyRings/mykeyring/cryptoKeys/my-key
cross_realm_trust:
  admin_server: admin.remote.realm
  kdc: kdc.remote.realm
  realm: REMOTE.REALM
  shared_password_uri: gs://bucket/shared_password.encrypted

Untuk mengaktifkan kepercayaan lintas realm ke KDC jarak jauh, ikuti langkah-langkah berikut:

1. Tambahkan kode berikut di file /etc/krb5.conf di KDC jarak jauh:

   [realms]
   DATAPROC.REALM = {
     kdc = MASTER-NAME-OR-ADDRESS
     admin_server = MASTER-NAME-OR-ADDRESS
   }

2. Buat pengguna tepercaya:

   kadmin -q "addprinc krbtgt/DATAPROC.REALM@REMOTE.REALM"
   

3. Jika diminta, masukkan sandi pengguna. Sandi harus cocok dengan isi file sandi bersama terenkripsi

Untuk mengaktifkan kepercayaan lintas realm dengan Active Directory, jalankan perintah berikut di PowerShell sebagai Administrator:

1. Buat definisi KDC di Active Directory.

   ksetup /addkdc DATAPROC.REALM DATAPROC-CLUSTER-MASTER-NAME-OR-ADDRESS
   

2. Buat kepercayaan di Active Directory.

   netdom trust DATAPROC.REALM /Domain AD.REALM /add /realm /passwordt:TRUST-PASSWORD
   

   Sandi harus cocok dengan isi file sandi bersama terenkripsi.

dataproc utama

Saat Anda mengirimkan tugas menggunakan jobs API Dataproc ke cluster Kerberos Dataproc, tugas tersebut akan berjalan sebagai akun utama Kerberos dataproc dari realm Kerberos cluster.

Multi-tenancy didukung dalam cluster Kerberos Dataproc jika Anda mengirimkan tugas secara langsung, ke cluster, misalnya menggunakan SSH. Namun, jika tugas membaca atau menulis ke layanan Google Cloud lain, seperti Cloud Storage, tugas akan bertindak sebagai akun layanan cluster.

Properti cluster default dan kustom

Hadoop secure mode dikonfigurasi dengan properti dalam file konfigurasi. Dataproc menetapkan nilai default untuk properti ini.

Anda dapat mengganti properti default saat membuat cluster dengan tanda gcloud dataproc clusters create --properties atau dengan memanggil API clusters.create dan menyetel properti SoftwareConfig (lihat contoh properti cluster).

Mode Ketersediaan Tinggi

Dalam mode Ketersediaan Tinggi (HA), cluster kerberos akan memiliki 3 KDC: satu di setiap master. KDC yang berjalan di master "pertama" ($CLUSTER_NAME-m-0) akan menjadi KDC master dan juga berfungsi sebagai server admin. Database KDC master akan disinkronkan ke dua KDC replika dengan interval 5 menit melalui cron job, dan 3 KDC akan melayani traffic baca.

Kerberos tidak mendukung replikasi real-time atau failover otomatis secara native jika KDC master tidak berfungsi. Untuk melakukan failover manual:

1. Di semua mesin KDC, dalam /etc/krb5.conf, ubah admin_server ke FQDN (Nama Domain yang Sepenuhnya Memenuhi Syarat) master baru. Hapus master lama dari daftar KDC.
2. Di KDC master baru, siapkan cron job untuk menyebarkan database.
3. Di KDC master baru, mulai ulang proses admin_server (krb5-admin-server).
4. Di semua mesin KDC, mulai ulang proses KDC (krb5-kdc).

Konfigurasi jaringan

Untuk memastikan bahwa node pekerja dapat berkomunikasi dengan KDC dan Server admin Kerberos yang berjalan di master, pastikan aturan firewall VPC mengizinkan traffic TCP dan UDP masuk di port 88 dan traffic TCP masuk di port 749 di master. Dalam mode Ketersediaan Tinggi, pastikan aturan firewall VPC mengizinkan traffic TCP masuk pada port 754 di master untuk mengizinkan propagasi perubahan yang dilakukan pada KDC master. Kerberos memerlukan DNS terbalik disiapkan dengan benar. Selain itu, untuk kanonisasi nama utama layanan berbasis host, pastikan DNS terbalik disiapkan dengan benar untuk jaringan cluster.

Langkah berikutnya

• Lihat dokumentasi MIT Kerberos.