Configurer Kerberos pour les points de terminaison gRPC de Dataproc Metastore

Cette page explique comment configurer Kerberos pour votre service Dataproc Metastore qui utilise le protocole de point de terminaison gRPC. Si votre service Dataproc Metastore utilise le protocole de point de terminaison Thrift, consultez Configurer Kerberos pour les points de terminaison Thrift.

Avant de commencer

  • Comprendre les bases de Kerberos.

    Dans ces instructions, vous allez utiliser un cluster Dataproc pour créer les composants Kerberos suivants :

    • Un fichier Keytab.
    • Un fichier krb5.conf.
    • Un compte principal Kerberos.

    Pour en savoir plus sur le fonctionnement de ces ressources Kerberos avec un service Dataproc Metastore, consultez À propos de Kerberos.

  • Créez et hébergez votre propre KDC Kerberos, ou découvrez comment utiliser le KDC local d'un cluster Dataproc.

  • Créez un bucket Cloud Storage ou accédez-en à un existant. Vous devez stocker votre fichier krb5.conf dans ce bucket.

Rôles requis

Pour obtenir l'autorisation nécessaire pour créer un Dataproc Metastore configuré avec Kerberos, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet, en fonction du principe du moindre privilège :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient l'autorisation metastore.services.create, qui est requise pour créer un Dataproc Metastore configuré avec Kerberos .

Vous pouvez également obtenir cette autorisation avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur les rôles et autorisations Dataproc Metastore spécifiques, consultez Gérer les accès avec IAM.

Pour en savoir plus, consultez la page IAM et contrôle des accès Dataproc Metastore.

Configurer Kerberos pour Dataproc Metastore

Les instructions suivantes vous montrent comment configurer Kerberos pour un service Dataproc Metastore qui utilise le point de terminaison gRPC.

Tout d'abord, vous devez créer un metastore Dataproc qui utilise le point de terminaison gRPC. Ensuite, créez un cluster Dataproc configuré avec Kerberos et connectez-vous à celui-ci.

Créer un service Dataproc Metastore avec le point de terminaison gRPC

Pour créer un metastore Dataproc qui utilise le point de terminaison gRPC, exécutez la commande gcloud metastore services create suivante :

gcloud

gcloud metastore services create SERVICE \
     --instance-size=medium \
     --endpoint-protocol=grpc

Remplacez :

  • SERVICE : nom de votre service Dataproc Metastore

Créer un cluster Dataproc et se connecter à votre service

Pour créer un cluster Dataproc configuré avec Kerberos, exécutez la commande gcloud dataproc clusters create suivante.

Dans cette commande, l'option --enable-kerberos crée le fichier keytab Kerberos, le fichier krb5.conf et le principal. Ces valeurs sont toutes créées à l'aide des noms et des paramètres par défaut définis par le cluster Dataproc.

gcloud

gcloud dataproc clusters create CLUSTER_NAME \
    --project PROJECT_ID \
    --region REGION \
    --image-version 2.0-debian10 \
    --dataproc-metastore DATAPROC_METASTORE_NAME \
    --enable-kerberos \
    --scopes 'https://www.googleapis.com/auth/cloud-platform'

Remplacez :

  • CLUSTER_NAME : nom de votre cluster Dataproc.
  • PROJECT_ID : ID de votre projet Google Cloud.
  • REGION : région Google Cloud dans laquelle vous souhaitez créer votre cluster Dataproc.
  • DATAPROC_METASTORE_NAME : nom du service Dataproc Metastore que vous associez au cluster, au format suivant : projects/<my_project>/locations/<location>/services/<service_id>.

Configurer Dataproc avant d'envoyer des jobs

Pour exécuter vos jobs Dataproc, vous devez ajouter l'utilisateur hive à la propriété allowed.system.users dans le fichier container-executor.cfg Hadoop. Cela permet aux utilisateurs d'exécuter des requêtes pour accéder aux données, comme select * from.

Les instructions suivantes vous montrent comment vous connecter en SSH à votre cluster Dataproc principal associé à votre service Dataproc Metastore et comment mettre à jour le fichier container-executor.cfg.

  1. Dans la console Google Cloud , accédez à la page Instances de VM.

  2. Dans la liste des instances de machine virtuelle, cliquez sur SSH sur la ligne du nœud principal Dataproc (your-cluster-name-m).

    Une fenêtre de navigateur s'ouvre dans votre répertoire de base sur le nœud.

  3. Dans la session SSH, ouvrez le fichier container-executor.cfg Hadoop.

    sudo vim /etc/hadoop/conf/container-executor.cfg

    Ajoutez la ligne suivante sur chaque nœud Dataproc.

    allowed.system.users=hive

Obtenir un ticket Kerberos

Les instructions suivantes vous expliquent comment générer un ticket Kerberos.

  1. Dans la session SSH du cluster Dataproc, générez un ticket Kerberos et connectez-vous à votre service Dataproc Metastore.

    Cette commande utilise le nom de keytab par défaut généré par votre cluster Dataproc.

    sudo klist -kte /etc/security/keytab/hive.service.keytab
sudo kinit -kt /etc/security/keytab/hive.service.keytab hive/_HOST@${realm}
sudo klist # gets the ticket information.

    La valeur _HOST est récupérée lorsque le fichier keytab est listé à l'aide de la commande klist -kte. Il contient le nom d'hôte du nœud principal.

(Facultatif) Ajouter une entité principale

  1. Pour ajouter un principal, exécutez la commande suivante.

    sudo kadmin.local -q "addprinc -randkey PRINCIPAL"
sudo kadmin.local -q "ktadd -k /etc/security/keytab/hive.service.keytab PRINCIPAL"

  2. Obtenez le ticket Kerberos.

    sudo klist -kte /etc/security/keytab/hive.service.keytab
sudo kinit -kt /etc/security/keytab/hive.service.keytab PRINCIPAL
sudo klist
sudo hive

Étapes suivantes