Saat membuat cluster Dataproc, Anda dapat mengaktifkan Hadoop Secure Mode melalui Kerberos untuk menyediakan multi-tenancy melalui autentikasi, isolasi, dan enkripsi pengguna di dalam cluster Dataproc.
Autentikasi Pengguna dan Layanan Google Cloud Platform Lainnya. Autentikasi per pengguna menggunakan Kerberos hanya berlaku dalam cluster. Interaksi dengan layanan Google Cloud lain, seperti Cloud Storage, akan terus diautentikasi sebagai akun layanan untuk cluster.
Mengaktifkan Hadoop Secure Mode menggunakan Kerberos
Mengaktifkan Kerberos dan Hadoop Secure Mode untuk cluster akan mencakup distribusi MIT Kerberos dan mengonfigurasi Apache Hadoop YARN, HDFS, Hive, Spark, dan komponen terkait untuk menggunakannya dalam autentikasi.
Mengaktifkan Kerberos akan membuat Key Distribution Center (KDC) di cluster, yang berisi akun utama layanan dan akun utama root. Principal root adalah akun dengan izin administrator ke KDC dalam cluster. KDC juga dapat berisi akun utama pengguna standar atau terhubung melalui kepercayaan lintas realm ke KDC lain yang berisi akun utama pengguna.
Membuat cluster Kerberos
Anda dapat menggunakan Google Cloud CLI, Dataproc API, atau Google Cloud konsol untuk mengaktifkan Kerberos di cluster yang menggunakan versi image Dataproc 1.3 dan yang lebih baru.
Perintah gcloud
Untuk mengonfigurasi cluster Dataproc Kerberos baru secara otomatis (versi image
1.3 dan yang lebih baru), gunakan perintah gcloud dataproc clusters create
.
gcloud dataproc clusters create cluster-name \ --image-version=2.0 \ --enable-kerberos
Properti cluster: Daripada menggunakan flag --enable-kerberos
seperti yang ditunjukkan dalam contoh sebelumnya, Anda dapat mengonfigurasi
Kerberos secara otomatis dengan meneruskan
flag --properties "dataproc:kerberos.beta.automatic-config.enable=true"
ke perintah pembuatan cluster
(lihat
Properti layanan Dataproc).
REST API
Cluster Kerberos dapat dibuat melalui
ClusterConfig.SecurityConfig.KerberosConfig
sebagai bagian dari permintaan
clusters.create. Anda harus menetapkan enableKerberos
ke true
.
Konsol
Anda dapat mengonfigurasi Kerberos secara otomatis di cluster baru dengan memilih "Aktifkan" dari bagian Kerberos dan Hadoop Secure Mode di panel Kelola keamanan pada halaman Buat cluster di konsol Google Cloud .
Membuat cluster Kerberos dengan sandi utama root Anda sendiri
Siapkan sandi utama root Kerberos Anda, lalu buat cluster.
Menyiapkan sandi utama root Kerberos Anda
Principal root Kerberos adalah akun
dengan izin administrator ke KDC dalam cluster. Untuk memberikan sandi
dengan aman untuk prinsipal root Kerberos, pengguna dapat mengenkripsinya dengan kunci
Key Management Service (KMS), lalu
menyimpannya di bucket Google Cloud Storage yang dapat diakses oleh
akun layanan cluster. Akun layanan cluster harus diberi
cloudkms.cryptoKeyDecrypter
peran IAM.
Berikan peran Pengenkripsi/Pendekripsi CryptoKey Cloud KMS ke akun layanan cluster:
gcloud projects add-iam-policy-binding project-id \ --member serviceAccount:project-number-compute@developer.gserviceaccount.com \ --role roles/cloudkms.cryptoKeyDecrypter
Buat key ring:
gcloud kms keyrings create my-keyring --location global
Buat kunci di key ring:
gcloud kms keys create my-key \ --location global \ --keyring my-keyring \ --purpose encryption
Enkripsi sandi utama root Kerberos Anda:
echo "my-password" | \ gcloud kms encrypt \ --location=global \ --keyring=my-keyring \ --key=my-key \ --plaintext-file=- \ --ciphertext-file=kerberos-root-principal-password.encrypted
- Upload sandi terenkripsi ke
bucket Cloud Storage di project Anda.
- Contoh:
gcloud storage cp kerberos-root-principal-password.encrypted gs://my-bucket
- Contoh:
- Upload sandi terenkripsi ke
bucket Cloud Storage di project Anda.
Membuat cluster
Anda dapat menggunakan perintah gcloud
atau Dataproc API untuk
mengaktifkan Kerberos di cluster dengan sandi utama root Anda sendiri.
Perintah gcloud
Untuk membuat cluster Dataproc Kerberos (versi image 1.3 dan yang lebih baru), gunakan perintah gcloud dataproc clusters create
.
gcloud dataproc clusters create cluster-name \ --region=region \ --image-version=2.0 \ --kerberos-root-principal-password-uri=gs://my-bucket/kerberos-root-principal-password.encrypted \ --kerberos-kms-key=projects/project-id/locations/global/keyRings/my-keyring/cryptoKeys/my-key
Gunakan file konfigurasi YAML (atau JSON). Daripada meneruskan tanda kerberos-*
ke perintah gcloud
seperti yang ditunjukkan di atas, Anda dapat menempatkan setelan kerberos dalam file konfigurasi YAML (atau JSON), lalu merujuk file konfigurasi untuk membuat cluster kerberos.
- Buat file konfigurasi (lihat
Sertifikat SSL,
Setelan Kerberos Tambahan, dan
Kepercayaan lintas-realm
untuk setelan konfigurasi tambahan yang dapat disertakan dalam file):
root_principal_password_uri: gs://my-bucket/kerberos-root-principal-password.encrypted kms_key_uri: projects/project-id/locations/global/keyRings/mykeyring/cryptoKeys/my-key
- Gunakan perintah
gcloud
berikut untuk membuat cluster kerberos:gcloud dataproc clusters create cluster-name \ --region=region \ --kerberos-config-file=local path to config-file \ --image-version=2.0
Pertimbangan Keamanan. Dataproc menghapus
sandi yang telah didekripsi setelah menambahkan utama root ke KDC.
Untuk tujuan keamanan, setelah membuat cluster, Anda dapat memutuskan untuk menghapus file sandi dan kunci yang digunakan untuk mendekripsi secret, serta menghapus akun layanan dari peran kmsKeyDecrypter
. Jangan lakukan hal ini jika Anda berencana
menskalakan cluster, yang memerlukan file sandi dan kunci, serta
peran akun layanan.
REST API
Cluster Kerberos dapat dibuat melalui
ClusterConfig.SecurityConfig.KerberosConfig
sebagai bagian dari permintaan
clusters.create. Tetapkan enableKerberos
ke benar (true) dan tetapkan kolom
rootPrincipalPasswordUri
dan kmsKeyUri
.
Konsol
Saat membuat cluster dengan versi image 1.3+, pilih "Aktifkan" dari bagian Kerberos dan Hadoop Secure Mode di panel Manage security pada halaman Create a cluster Dataproc di konsol Google Cloud , lalu selesaikan opsi keamanan (dibahas di bagian berikut).
Login OS
Pengelolaan KDC dalam cluster dapat dilakukan dengan perintah kadmin
menggunakan akun utama pengguna Kerberos root atau menggunakan sudo kadmin.local
.
Aktifkan Login OS
untuk mengontrol siapa yang dapat menjalankan perintah superuser.
Sertifikat SSL
Sebagai bagian dari pengaktifan Hadoop Secure Mode, Dataproc membuat sertifikat yang ditandatangani sendiri untuk mengaktifkan enkripsi SSL cluster. Sebagai alternatif, Anda dapat memberikan sertifikat untuk enkripsi SSL cluster dengan menambahkan setelan berikut ke file konfigurasi saat Anda membuat cluster kerberos:
ssl:keystore_password_uri
: Lokasi di Cloud Storage dari file yang dienkripsi dengan KMS yang berisi sandi ke file keystore.ssl:key_password_uri
: Lokasi di Cloud Storage untuk file yang dienkripsi dengan KMS yang berisi sandi ke kunci dalam file keystore.ssl:keystore_uri
: Lokasi di Cloud Storage untuk file keystore yang berisi sertifikat karakter pengganti dan kunci pribadi yang digunakan oleh node cluster.ssl:truststore_password_uri
: Lokasi di Cloud Storage dari file yang dienkripsi dengan KMS yang berisi sandi ke file truststore.ssl:truststore_uri
: Lokasi di Cloud Storage untuk file trust store yang berisi sertifikat tepercaya.
Contoh file konfigurasi:
root_principal_password_uri: gs://my-bucket/kerberos-root-principal-password.encrypted kms_key_uri: projects/project-id/locations/global/keyRings/mykeyring/cryptoKeys/my-key ssl: key_password_uri: gs://bucket/key_password.encrypted keystore_password_uri: gs://bucket/keystore_password.encrypted keystore_uri: gs://bucket/keystore.jks truststore_password_uri: gs://bucket/truststore_password.encrypted truststore_uri: gs://bucket/truststore.jks
Setelan Kerberos Tambahan
Untuk menentukan realm Kerberos, buat cluster kerberos dengan menambahkan properti berikut di file konfigurasi Kerberos:
realm
: Nama realm Kerberos di cluster.
Jika properti ini tidak ditetapkan, domain nama host (dalam huruf besar) akan menjadi realm.
Untuk menentukan kunci master database KDC, buat cluster kerberos dengan properti berikut yang ditambahkan dalam file konfigurasi Kerberos:
kdc_db_key_uri
: Lokasi di Cloud Storage dari file yang dienkripsi KMS yang berisi kunci master database KDC.
Jika properti ini tidak disetel, Dataproc akan membuat kunci utama.
Untuk menentukan masa aktif maksimum tiket pemberian tiket (dalam jam), buat cluster kerberos dengan properti berikut ditambahkan dalam file konfigurasi Kerberos:
tgt_lifetime_hours
: Masa berlaku maksimum tiket autentikasi dalam jam.
Jika properti ini tidak ditetapkan, Dataproc akan menetapkan masa aktif tiket pemberian tiket menjadi 10 jam.
Kepercayaan lintas realm
KDC di cluster awalnya hanya berisi akun utama administrator root dan akun utama layanan. Anda dapat menambahkan akun utama pengguna secara manual atau menetapkan kepercayaan lintas realm dengan KDC eksternal atau server Active Directory yang berisi akun utama pengguna. Cloud VPN atau Cloud Interconnect direkomendasikan untuk terhubung ke KDC/Active Directory lokal.
Untuk membuat cluster kerberos yang mendukung kepercayaan lintas realm, tambahkan setelan berikut ke file konfigurasi Kerberos saat Anda membuat cluster kerberos. Enkripsi sandi bersama dengan KMS dan simpan di bucket Cloud Storage yang dapat diakses oleh akun layanan cluster.
cross_realm_trust:admin_server
: hostname atau alamat server admin jarak jauhcross_realm_trust:kdc
: nama host atau alamat KDC jarak jauhcross_realm_trust:realm
: nama realm jarak jauh yang akan dipercayaicross_realm_trust:shared_password_uri
: Lokasi sandi bersama yang dienkripsi KMS di Cloud Storage
Contoh file konfigurasi:
root_principal_password_uri: gs://my-bucket/kerberos-root-principal-password.encrypted kms_key_uri: projects/project-id/locations/global/keyRings/mykeyring/cryptoKeys/my-key cross_realm_trust: admin_server: admin.remote.realm kdc: kdc.remote.realm realm: REMOTE.REALM shared_password_uri: gs://bucket/shared_password.encrypted
Untuk mengaktifkan kepercayaan lintas realm ke KDC jarak jauh, ikuti langkah-langkah berikut:
Tambahkan kode berikut di file
/etc/krb5.conf
di KDC jarak jauh:[realms] DATAPROC.REALM = { kdc = MASTER-NAME-OR-ADDRESS admin_server = MASTER-NAME-OR-ADDRESS }
Buat pengguna tepercaya:
kadmin -q "addprinc krbtgt/DATAPROC.REALM@REMOTE.REALM"
Jika diminta, masukkan sandi pengguna. Sandi harus cocok dengan isi file sandi bersama terenkripsi
Untuk mengaktifkan kepercayaan lintas realm dengan Active Directory, jalankan perintah berikut di PowerShell sebagai Administrator:
Buat definisi KDC di Active Directory.
ksetup /addkdc DATAPROC.REALM DATAPROC-CLUSTER-MASTER-NAME-OR-ADDRESS
Buat kepercayaan di Active Directory.
Sandi harus cocok dengan isi file sandi bersama terenkripsi.netdom trust DATAPROC.REALM /Domain AD.REALM /add /realm /passwordt:TRUST-PASSWORD
dataproc
utama
Saat Anda mengirimkan tugas menggunakan
jobs API Dataproc
ke cluster Kerberos Dataproc, tugas tersebut akan berjalan sebagai akun utama Kerberos dataproc
dari realm Kerberos cluster.
Multi-tenancy didukung dalam cluster Kerberos Dataproc jika Anda mengirimkan tugas secara langsung, ke cluster, misalnya menggunakan SSH. Namun, jika tugas membaca atau menulis ke layanan Google Cloud lain, seperti Cloud Storage, tugas akan bertindak sebagai akun layanan cluster.
Properti cluster default dan kustom
Hadoop secure mode dikonfigurasi dengan properti dalam file konfigurasi. Dataproc menetapkan nilai default untuk properti ini.
Anda dapat mengganti properti default saat membuat cluster dengan tanda
gcloud dataproc clusters create
--properties
atau dengan memanggil API clusters.create dan menyetel
properti SoftwareConfig (lihat
contoh properti cluster).
Mode Ketersediaan Tinggi
Dalam mode Ketersediaan Tinggi (HA),
cluster kerberos akan memiliki 3 KDC: satu di setiap master. KDC yang berjalan di master "pertama" ($CLUSTER_NAME-m-0
) akan menjadi KDC master dan juga berfungsi sebagai server admin.
Database KDC master akan disinkronkan ke dua KDC replika dengan interval 5 menit melalui cron job, dan 3 KDC akan melayani traffic baca.
Kerberos tidak mendukung replikasi real-time atau failover otomatis secara native jika KDC master tidak berfungsi. Untuk melakukan failover manual:
- Di semua mesin KDC, dalam
/etc/krb5.conf
, ubahadmin_server
ke FQDN (Nama Domain yang Sepenuhnya Memenuhi Syarat) master baru. Hapus master lama dari daftar KDC. - Di KDC master baru, siapkan cron job untuk menyebarkan database.
- Di KDC master baru, mulai ulang proses admin_server (
krb5-admin-server
). - Di semua mesin KDC, mulai ulang proses KDC (
krb5-kdc
).
Konfigurasi jaringan
Untuk memastikan bahwa node pekerja dapat berkomunikasi dengan KDC dan Server admin Kerberos yang berjalan di master, pastikan aturan firewall VPC mengizinkan traffic TCP dan UDP masuk di port 88 dan traffic TCP masuk di port 749 di master. Dalam mode Ketersediaan Tinggi, pastikan aturan firewall VPC mengizinkan traffic TCP masuk pada port 754 di master untuk mengizinkan propagasi perubahan yang dilakukan pada KDC master. Kerberos memerlukan DNS terbalik disiapkan dengan benar. Selain itu, untuk kanonisasi nama utama layanan berbasis host, pastikan DNS terbalik disiapkan dengan benar untuk jaringan cluster.
Langkah berikutnya
- Lihat dokumentasi MIT Kerberos.