Configurar una implementación entre proyectos

Puedes configurar una implementación entre proyectos para Dataproc Metastore con el fin de separar los siguientes recursos:

  • El servicio Dataproc Metastore.
  • El clúster de Dataproc asociado al servicio Dataproc Metastore.
  • La red que usa el clúster de Dataproc.

Antes de empezar

Roles obligatorios

Para obtener los permisos que necesitas para crear un metastore de Dataproc y un clúster de Dataproc, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos:

  • Para conceder control total sobre los recursos de Dataproc Metastore, haz lo siguiente: Editor de Dataproc Metastore (roles/metastore.editor) en el proyecto del metastore.

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos.

Para obtener más información sobre roles y permisos específicos de Dataproc Metastore, consulta Gestionar el acceso con IAM.

Acerca de los despliegues entre proyectos

Una implementación entre proyectos de Dataproc Metastore puede constar de las siguientes configuraciones:

  • Dos proyectos:

    • El proyecto 1 contiene el clúster de Dataproc (clusterproject).
    • El proyecto dos contiene el servicio Dataproc Metastore y la red (proyecto de metastore y proyecto de red).

  • Dos proyectos:

    • El proyecto 1 contiene el clúster de Dataproc.
    • El proyecto dos contiene el servicio Dataproc Metastore y la red (proyecto de metastore y proyecto de red).

  • Dos proyectos:

    • El proyecto 1 contiene el clúster de Dataproc y el servicio Dataproc Metastore (proyecto de clúster y proyecto de metastore).
    • El proyecto dos contiene la red (proyecto de red).

  • Tres proyectos:

    • El proyecto 1 contiene el clúster de Dataproc (clusterproject).
    • El proyecto dos contiene el servicio Dataproc Metastore (proyecto de metastore).
    • El proyecto tres contiene la red (proyecto de red).

En el siguiente diagrama se muestra un resumen de las configuraciones de proyecto que puede usar.

Descripción general de las posibles configuraciones de proyectos al desplegar un clúster de Dataproc y Dataproc Metastore

Permisos entre proyectos

Antes de configurar los permisos entre proyectos, determina si es necesario para tu configuración:

Debe configurar permisos entre proyectos adicionales

  • Si tu clúster de Dataproc y tu servicio de Dataproc Metastore están en proyectos independientes.

  • Si tu servicio y tu red de Dataproc Metastore están en proyectos independientes.

Configurar permisos entre proyectos

Si el proyecto del clúster y el proyecto del metastore están en proyectos independientes, asigna los siguientes roles:

  • roles/metastore.user a la cuenta de agente de servicio de Dataproc del proyecto del clúster (incluida en la política de gestión de identidades y accesos del proyecto de metastore). Esta configuración se aplica a los protocolos de endpoint Thrift y gRPC.

Si el proyecto de red y el proyecto de metastore están en proyectos independientes, concede los siguientes roles:

  • roles/metastore.serviceAgent al agente de servicio del proyecto de metastore (incluido en la política de gestión de identidades y accesos del proyecto de red). Esta configuración solo se aplica al protocolo de endpoint de Thrift.

Consola

Para encontrar tu número de proyecto, sigue estos pasos:

  1. Ve a la pestaña IAM y administración > Configuración.

  2. En la lista de proyectos situada en la parte superior de la página, selecciona el proyecto que quieras usar para crear el clúster de Dataproc.

  3. Anota el número de proyecto.

Configura los permisos:

  1. Ve a la pestaña Gestión de identidades y accesos.

  2. En la lista de proyectos situada en la parte superior de la página, selecciona el proyecto de metastore.

  3. Haz clic en Añadir.

  4. Introduce la cuenta de servicio en el campo Principales nuevas.

  5. En el menú Roles, selecciona Dataproc Metastore > Dataproc Metastore Viewer.

  6. Haz clic en Añadir.

Una vez que hayas completado los pasos anteriores, puedes crear un clúster de Dataproc que esté asociado a un servicio Dataproc Metastore. Ten en cuenta que, para ello, la configuración de la red o subred del clúster de Dataproc debe coincidir con la de Dataproc Metastore.

Por ejemplo:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Siguientes pasos