Configura Kerberos per gli endpoint gRPC di Dataproc Metastore

Questa pagina spiega come configurare Kerberos per il servizio Dataproc Metastore che utilizza il protocollo dell'endpoint gRPC. Se il servizio Dataproc Metastore utilizza il protocollo dell'endpoint Thrift, consulta Configurare Kerberos per gli endpoint Thrift.

Prima di iniziare

  • Comprendi le nozioni di base di Kerberos.

    In queste istruzioni, utilizzi un cluster Dataproc per creare le seguenti risorse Kerberos:

    • Un file keytab.
    • Un file krb5.conf.
    • Un'entità Kerberos.

    Per ulteriori informazioni su come funzionano queste risorse Kerberos con un servizio Dataproc Metastore, consulta la sezione Informazioni su Kerberos.

  • Crea e ospita il tuo KDC Kerberos o scopri come utilizzare il KDC locale di un cluster Dataproc.

  • Crea un bucket Cloud Storage o ottieni l'accesso a uno esistente. Devi archiviare il file krb5.conf in questo bucket.

Ruoli obbligatori

Per ottenere l'autorizzazione necessaria per creare un Dataproc Metastore configurato con Kerberos, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto, in base al principio del privilegio minimo:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene l'autorizzazione metastore.services.create necessaria per creare un Dataproc Metastore configurato con Kerberos .

Potresti anche ottenere questa autorizzazione con ruoli personalizzati o altri ruoli predefiniti.

Per saperne di più su ruoli e autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso con IAM.

Per maggiori informazioni, consulta IAM e controllo dell'accesso di Dataproc Metastore.

Configura Kerberos per Dataproc Metastore

Le seguenti istruzioni mostrano come configurare Kerberos per un servizio Dataproc Metastore che utilizza l'endpoint gRPC.

Innanzitutto, crea un Dataproc Metastore che utilizza l'endpoint gRPC. Dopodiché, crea un cluster Dataproc configurato con Kerberos e connettiti.

Crea un servizio Dataproc Metastore con l'endpoint gRPC

Per creare un Dataproc Metastore che utilizza l'endpoint gRPC, esegui il seguente comando gcloud metastore services create:

gcloud

gcloud metastore services create SERVICE \
     --instance-size=medium \
     --endpoint-protocol=grpc

Sostituisci:

  • SERVICE: il nome del servizio Dataproc Metastore

Crea un cluster Dataproc e connettiti al servizio

Per creare un cluster Dataproc configurato con Kerberos, esegui il comando gcloud dataproc clusters create seguente.

In questo comando, l'opzione --enable-kerberos crea il file Keytab Kerberos, il file krb5.conf e il principal. Questi valori vengono creati utilizzando nomi e impostazioni predefiniti impostati dal cluster Dataproc.

gcloud

gcloud dataproc clusters create CLUSTER_NAME \
    --project PROJECT_ID \
    --region REGION \
    --image-version 2.0-debian10 \
    --dataproc-metastore DATAPROC_METASTORE_NAME \
    --enable-kerberos \
    --scopes 'https://www.googleapis.com/auth/cloud-platform'

Sostituisci:

  • CLUSTER_NAME: il nome del cluster Dataproc.
  • PROJECT_ID: l'ID del tuo progetto Google Cloud.
  • REGION: la Google Cloud regione in cui vuoi creare il cluster Dataproc.
  • DATAPROC_METASTORE_NAME: il nome del servizio Dataproc Metastore che stai collegando al cluster, nel seguente formato: projects/<my_project>/locations/<location>/services/<service_id>.

Configura Dataproc prima di inviare i job

Per eseguire i job Dataproc, devi aggiungere l'utente hive alla proprietà allowed.system.users nel file Hadoop container-executor.cfg. In questo modo, gli utenti possono eseguire query per accedere ai dati, ad esempio select * from.

Le seguenti istruzioni mostrano come connettersi tramite SSH al cluster Dataproc principale associato al servizio Dataproc Metastore e aggiornare il file container-executor.cfg.

  1. Nella console Google Cloud , vai alla pagina Istanze VM.

  2. Nell'elenco delle istanze di macchine virtuali, fai clic su SSH nella riga del nodo primario Dataproc (your-cluster-name-m).

    Si apre una finestra del browser nella tua home directory sul nodo.

  3. Nella sessione SSH, apri il file Hadoop container-executor.cfg.

    sudo vim /etc/hadoop/conf/container-executor.cfg

    Aggiungi la seguente riga a ogni nodo Dataproc.

    allowed.system.users=hive

Ottenere un ticket Kerberos

Le seguenti istruzioni mostrano come generare un ticket Kerberos.

  1. Nella sessione SSH del cluster Dataproc, genera un ticket Kerberos e connettiti al servizio Dataproc Metastore.

    Questo comando utilizza il nome del keytab predefinito generato dal tuo cluster Dataproc.

    sudo klist -kte /etc/security/keytab/hive.service.keytab
sudo kinit -kt /etc/security/keytab/hive.service.keytab hive/_HOST@${realm}
sudo klist # gets the ticket information.

    Il valore _HOST viene recuperato quando il file keytab viene elencato utilizzando il comando klist -kte. Contiene il nome host del nodo primario.

(Facoltativo) Aggiungere una nuova entità

  1. Per aggiungere un nuovo principal, esegui questo comando.

    sudo kadmin.local -q "addprinc -randkey PRINCIPAL"
sudo kadmin.local -q "ktadd -k /etc/security/keytab/hive.service.keytab PRINCIPAL"

  2. Recupera la richiesta di Kerberos.

    sudo klist -kte /etc/security/keytab/hive.service.keytab
sudo kinit -kt /etc/security/keytab/hive.service.keytab PRINCIPAL
sudo klist
sudo hive

Passaggi successivi