Configura Kerberos para los extremos de gRPC de Dataproc Metastore

En esta página, se explica cómo configurar Kerberos para tu servicio de Dataproc Metastore que usa el protocolo de extremo gRPC. Si tu servicio de Dataproc Metastore usa el protocolo de extremo de Thrift, consulta Configura Kerberos para extremos de Thrift.

Antes de comenzar

  • Comprende los conceptos básicos de Kerberos.

    En estas instrucciones, usarás un clúster de Dataproc para crear los siguientes recursos de Kerberos:

    • Un archivo Keytab
    • Un archivo krb5.conf
    • Es un principal de Kerberos.

    Para obtener más información sobre cómo funcionan estos recursos de Kerberos con un servicio de Dataproc Metastore, consulta Acerca de Kerberos.

  • Crea y aloja tu propio KDC de Kerberos, o bien aprende a usar el KDC local de un clúster de Dataproc.

  • Crea un bucket de Cloud Storage o accede a uno existente. Debes almacenar tu archivo krb5.conf en este bucket.

Funciones requeridas

Para obtener el permiso que necesitas para crear un almacén de metadatos de Dataproc configurado con Kerberos, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto, según el principio de privilegio mínimo:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene el permiso metastore.services.create, que se requiere para crear un metastore de Dataproc configurado con Kerberos .

También puedes obtener este permiso con roles personalizados o con otros roles predefinidos.

Para obtener más información sobre los roles y permisos específicos de Dataproc Metastore, consulta Administra el acceso con IAM.

Para obtener más información, consulta la IAM y el control de acceso de Dataproc Metastore.

Configura Kerberos para Dataproc Metastore

En las siguientes instrucciones, se muestra cómo configurar Kerberos para un servicio de Dataproc Metastore que usa el extremo de gRPC.

Primero, crea un Dataproc Metastore que use el extremo de gRPC. Luego, crearás un clúster de Dataproc configurado con Kerberos y te conectarás a él.

Crea un servicio de Dataproc Metastore con el extremo de gRPC

Para crear un Dataproc Metastore que use el extremo de gRPC, ejecuta el siguiente comando gcloud metastore services create:

gcloud

gcloud metastore services create SERVICE \
     --instance-size=medium \
     --endpoint-protocol=grpc

Reemplaza lo siguiente:

  • SERVICE: Es el nombre de tu servicio de Dataproc Metastore.

Crea un clúster de Dataproc y conéctate a tu servicio

Para crear un clúster de Dataproc configurado con Kerberos, ejecuta el siguiente comando gcloud dataproc clusters create.

En este comando, la opción --enable-kerberos crea el archivo keytab de Kerberos, el archivo krb5.conf y el principal. Todos estos valores se crean con los nombres y la configuración predeterminados establecidos por el clúster de Dataproc.

gcloud

gcloud dataproc clusters create CLUSTER_NAME \
    --project PROJECT_ID \
    --region REGION \
    --image-version 2.0-debian10 \
    --dataproc-metastore DATAPROC_METASTORE_NAME \
    --enable-kerberos \
    --scopes 'https://www.googleapis.com/auth/cloud-platform'

Reemplaza lo siguiente:

  • CLUSTER_NAME: Es el nombre de tu clúster de Dataproc.
  • PROJECT_ID es el ID del proyecto de Google Cloud.
  • REGION: Es la Google Cloud región en la que deseas crear tu clúster de Dataproc.
  • DATAPROC_METASTORE_NAME: Es el nombre del servicio de Dataproc Metastore que adjuntarás al clúster, con el siguiente formato: projects/<my_project>/locations/<location>/services/<service_id>.

Configura Dataproc antes de enviar trabajos

Para ejecutar tus trabajos de Dataproc, debes agregar el usuario hive a la propiedad allowed.system.users en el archivo container-executor.cfg de Hadoop. Esto permite a los usuarios ejecutar consultas para acceder a datos, como select * from.

En las siguientes instrucciones, se muestra cómo acceder a tu clúster principal de Dataproc asociado con tu servicio de Dataproc Metastore a través de SSH y actualizar el archivo container-executor.cfg.

  1. En la Google Cloud consola, ve a la página Instancias de VM.

  2. En la lista de instancias de máquina virtual, haz clic en SSH en la fila del nodo principal de Dataproc (your-cluster-name-m).

    Se abrirá una ventana del navegador en tu directorio principal del nodo.

  3. En la sesión de SSH, abre el archivo container-executor.cfg de Hadoop.

    sudo vim /etc/hadoop/conf/container-executor.cfg

    Agrega la siguiente línea en cada nodo de Dataproc.

    allowed.system.users=hive

Obtén un ticket de Kerberos

En las siguientes instrucciones, se muestra cómo generar un ticket de Kerberos.

  1. En la sesión de SSH del clúster de Dataproc, genera un ticket de Kerberos y conéctate a tu servicio de Dataproc Metastore.

    Este comando usa el nombre de keytab predeterminado que genera tu clúster de Dataproc.

    sudo klist -kte /etc/security/keytab/hive.service.keytab
sudo kinit -kt /etc/security/keytab/hive.service.keytab hive/_HOST@${realm}
sudo klist # gets the ticket information.

    El valor de _HOST se recupera cuando se muestra el archivo de keytab con el comando klist -kte. Contiene el nombre de host del nodo principal.

(Opcional) Agrega una principal nueva

  1. Para agregar una entidad principal nueva, ejecuta el siguiente comando.

    sudo kadmin.local -q "addprinc -randkey PRINCIPAL"
sudo kadmin.local -q "ktadd -k /etc/security/keytab/hive.service.keytab PRINCIPAL"

  2. Obtén el ticket de Kerberos.

    sudo klist -kte /etc/security/keytab/hive.service.keytab
sudo kinit -kt /etc/security/keytab/hive.service.keytab PRINCIPAL
sudo klist
sudo hive

¿Qué sigue?