Menggunakan Ranger dengan Kerberos

Contoh berikut membuat dan menggunakan komponen Kerberos yang diaktifkan Cluster Dataproc dengan Ranger dan Solr komponen untuk mengontrol akses oleh pengguna ke resource Hadoop, YARN.

Catatan:

  • UI Ranger Web dapat diakses melalui Gateway Komponen.

  • Di Ranger dengan cluster Kerberos, Dataproc memetakan pengguna Kerberos ke pengguna sistem dengan menghapus realm dan instance pengguna Kerberos. Misalnya, user1/cluster-m@MY.REALM utama Kerberos dipetakan ke user1 sistem, dan kebijakan Ranger ditentukan untuk mengizinkan atau menolak izin bagi user1.

  1. Siapkan sandi admin Ranger.

  2. Siapkan sandi utama root Kerberos.

  3. Buat cluster.

    1. Perintah gcloud berikut dapat dijalankan di jendela terminal lokal atau dari Cloud Shell project. 
      gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR,RANGER \
    --enable-component-gateway \
    --properties="dataproc:ranger.kms.key.uri=projects/project-id/locations/global/keyRings/keyring/cryptoKeys/key,dataproc:ranger.admin.password.uri=gs://bucket/admin-password.encrypted" \
    --kerberos-root-principal-password-uri=gs://bucket/kerberos-root-principal-password.encrypted \
    --kerberos-kms-key=projects/project-id/locations/global/keyRings/keyring/cryptoKeys/key

  4. Setelah cluster berjalan, buka halaman Clusters Dataproc di Konsol Google Cloud, lalu pilih nama cluster untuk membuka halaman Detail cluster. Klik tab Web Interfaces untuk menampilkan daftar link Gateway Komponen ke antarmuka web komponen default dan opsional yang diinstal pada cluster. Klik link Penjaga Penjaga.

  5. Login ke Ranger dengan memasukkan nama pengguna "admin" dan sandi admin Ranger.

  6. UI admin Ranger akan terbuka di browser lokal.

Kebijakan akses YARN

Contoh ini membuat kebijakan Ranger untuk mengizinkan dan menolak akses pengguna ke antrean root.default YARN.

  1. Pilih yarn-dataproc dari UI Ranger Admin.

  2. Di halaman kebijakan yarn-dataproc, klik Tambahkan Kebijakan Baru. Di halaman Create Policy, kolom berikut dimasukkan atau dipilih:

    • Policy Name: "kebijakan-yarn-1"
    • Queue: "root.default"
    • Audit Logging: "Ya"
    • Allow Conditions:
      • Select User: "userone"
      • Permissions: "Pilih Semua" untuk memberikan semua izin

    • Deny Conditions:

      • Select User: "usertwo"
      • Permissions: "Pilih Semua" untuk menolak semua izin

      Klik Add untuk menyimpan kebijakan. Kebijakan ini tercantum di halaman Kebijakan yarn-dataproc:

  3. Jalankan tugas mapReduce Hadoop di jendela sesi SSH master sebagai userone: 

    userone@example-cluster-m:~$ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduced-examples.
jar pi 5 10

    1. UI Ranger menunjukkan bahwa userone diizinkan untuk mengirimkan tugas.

  4. Jalankan tugas mapReduce Hadoop dari jendela sesi SSH master VM sebagai usertwo: 

    usertwo@example-cluster-m:~$ hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduced-examples.
jar pi 5 10

    1. UI Ranger menunjukkan bahwa akses usertwo ditolak untuk mengirimkan tugas.

Kebijakan akses HDFS

Contoh ini membuat kebijakan Ranger untuk mengizinkan dan menolak akses pengguna ke direktori /tmp HDFS.

  1. Pilih hadoop-dataproc dari UI Ranger Admin.

  2. Di halaman Kebijakan hadoop-dataproc, klik Tambahkan Kebijakan Baru. Di halaman Create Policy, kolom berikut dimasukkan atau dipilih:

    • Policy Name: "kebijakan-hadoop-1"
    • Resource Path: "/tmp"
    • Audit Logging: "Ya"
    • Allow Conditions:
      • Select User: "userone"
      • Permissions: "Pilih Semua" untuk memberikan semua izin

    • Deny Conditions:

      • Select User: "usertwo"
      • Permissions: "Pilih Semua" untuk menolak semua izin

      Klik Add untuk menyimpan kebijakan. Kebijakan ini tercantum di halaman Kebijakan hadoop-dataproc:

  3. Akses direktori /tmp HDFS sebagai userone: 

    userone@example-cluster-m:~$ hadoop fs -ls /tmp

    1. UI Ranger menunjukkan bahwa userone diizinkan mengakses direktori HDFS /tmp.

  4. Akses direktori /tmp HDFS sebagai usertwo: 

    usertwo@example-cluster-m:~$ hadoop fs -ls /tmp

    1. UI Ranger menunjukkan bahwa usertwo ditolak aksesnya ke direktori HDFS /tmp.

Kebijakan akses Hive

Contoh ini membuat kebijakan Ranger untuk mengizinkan dan menolak akses pengguna ke tabel Hive.

  1. Buat tabel employee kecil menggunakan CLI hive pada instance master. 

    hive> CREATE TABLE IF NOT EXISTS employee (eid int, name String); INSERT INTO employee VALUES (1 , 'bob') , (2 , 'alice'), (3 , 'john');

  2. Pilih hive-dataproc dari UI Ranger Admin.

  3. Di halaman hive-dataproc Policies, klik Add New Policy. Di halaman Create Policy, kolom berikut dimasukkan atau dipilih:

    • Policy Name: "kebijakan-hive-1"
    • database: "default"
    • table: "karyawan"
    • Hive Column: "*"
    • Audit Logging: "Ya"
    • Allow Conditions:
      • Select User: "userone"
      • Permissions: "Pilih Semua" untuk memberikan semua izin

    • Deny Conditions:

      • Select User: "usertwo"
      • Permissions: "Pilih Semua" untuk menolak semua izin

      Klik Add untuk menyimpan kebijakan. Kebijakan ini tercantum di halaman Kebijakan Hive-dataproc:

  4. Jalankan kueri dari sesi SSH master VM terhadap tabel karyawan Hive sebagai userone: 

    userone@example-cluster-m:~$ beeline -u "jdbc:hive2://$(hostname -f):10000/default;principal=hive/$(hostname -f)@REALM" -e "select * from employee;"

    1. Kueri userone berhasil: 
      Connected to: Apache Hive (version 2.3.6)
Driver: Hive JDBC (version 2.3.6)
Transaction isolation: TRANSACTION_REPEATABLE_READ
+---------------+----------------+
| employee.eid  | employee.name  |
+---------------+----------------+
| 1             | bob            |
| 2             | alice          |
| 3             | john           |
+---------------+----------------+
3 rows selected (2.033 seconds)

  5. Jalankan kueri dari sesi SSH master VM terhadap tabel karyawan Hive sebagai usertwo: 

    usertwo@example-cluster-m:~$ beeline -u "jdbc:hive2://$(hostname -f):10000/default;principal=hive/$(hostname -f)@REALM" -e "select * from employee;"

    1. usertwo ditolak akses ke tabel: 
      Error: Could not open client transport with JDBC Uri:
...
Permission denied: user=usertwo, access=EXECUTE, inode="/tmp/hive"

Akses Jalur Halus

Ranger mendukung Masking dan Filter Level Baris di Hive. Contoh ini dibuat berdasarkan hive-policy-1 sebelumnya dengan menambahkan kebijakan masking dan filter.

  1. Pilih hive-dataproc dari UI Ranger Admin, lalu pilih tab Masking dan klik Add New Policy.

    1. Di halaman Create Policy, kolom berikut dimasukkan atau dipilih untuk membuat kebijakan guna menyamarkan (nullify) kolom nama karyawan:

      • Policy Name: "kebijakan penyamaran sarang"
      • database: "default"
      • table: "karyawan"
      • Hive Column: "nama"
      • Audit Logging: "Ya"
      • Mask Conditions:
        • Select User: "userone"
        • Access Types: "pilih" izin tambahkan/edit
        • Select Masking Option: "nullify"

          Klik Add untuk menyimpan kebijakan.

  2. Pilih hive-dataproc dari UI Ranger Admin, lalu pilih tab Row Level Filter dan klik Add New Policy.

    1. Di halaman Create Policy, kolom berikut dimasukkan atau dipilih untuk membuat kebijakan guna memfilter (menampilkan) baris dengan eid yang tidak sama dengan 1:

      • Policy Name: "kebijakan filter sarang"
      • Hive Database: "default"
      • Hive Table: "karyawan"
      • Audit Logging: "Ya"
      • Mask Conditions:
        • Select User: "userone"
        • Access Types: "pilih" izin tambahkan/edit
        • Row Level Filter: Ekspresi filter "eid != 1"

          Klik Add untuk menyimpan kebijakan.

    2. Ulangi kueri sebelumnya dari sesi SSH master VM terhadap tabel karyawan Hive sebagai userone: 

      userone@example-cluster-m:~$ beeline -u "jdbc:hive2://$(hostname -f):10000/default;principal=hive/$(hostname -f)@REALM" -e "select * from employee;"

      1. Kueri menampilkan kolom nama yang disamarkan dan bob (eid=1) difilter dari hasil: 
        Transaction isolation: TRANSACTION_REPEATABLE_READ
+---------------+----------------+
| employee.eid  | employee.name  |
+---------------+----------------+
| 2             | NULL           |
| 3             | NULL           |
+---------------+----------------+
2 rows selected (0.47 seconds)