Private Service Connect con Dataproc Metastore

Con Private Service Connect, puedes crear un servicio de Dataproc Metastore que no utilice el peering de VPC. En esta página se explica qué es Private Service Connect y cómo usarlo como opción de red alternativa para Dataproc Metastore.

Cómo funciona Dataproc Metastore con VPC

Dataproc Metastore protege el acceso a sus metadatos exponiendo únicamente endpoints de IP privados. También restringe la conectividad a las VMs de tu red de VPC mediante el peering de VPC.

Dataproc Metastore requiere las siguientes configuraciones por región para cada red de VPC:

Por lo tanto, configurar el emparejamiento de VPC y las reservas de direcciones IP puede ser difícil en redes de VPC saturadas. Del mismo modo, es posible que una red de VPC no tenga suficiente cuota de emparejamiento para admitir solicitudes de emparejamiento adicionales. Ambas limitaciones pueden impedir que crees un servicio de Dataproc Metastore.

Para evitar estos problemas, puedes usar Dataproc Metastore con Private Service Connect.

Cómo funciona Dataproc Metastore con Private Service Connect

Private Service Connect proporciona una conexión privada a los metadatos de Dataproc Metastore en redes de VPCs.

Para usar Private Service Connect con Dataproc Metastore, se necesitan las siguientes configuraciones:

  • Una única reserva de dirección en la subred.
  • Una regla de reenvío dirigida al adjunto de servicio que expone el endpoint de Dataproc Metastore. La reserva de direcciones y la regla de reenvío se crean como parte de la llamada de creación del servicio Dataproc Metastore.

Cuestiones importantes

  • Los servicios de Dataproc Metastore que usan Private Service Connect solo admiten el acceso desde las redes de VPC de las subredes especificadas durante la creación del servicio.

  • Dataproc Metastore reserva direcciones y crea reglas de reenvío en cada una de las subredes especificadas. Cada subred tiene un URI de endpoint de Thrift que puedes usar para acceder al endpoint de metadatos de Dataproc Metastore.

Limitaciones

  • Los servicios de Dataproc Metastore que usan el protocolo de endpoints gRPC no admiten Private Service Connect.
  • Private Service Connect no admite la conectividad inversa. Esto significa que no puedes usar una configuración de Kerberos con Private Service Connect.
  • No puedes añadir ni quitar subredes de forma dinámica de un servicio Dataproc Metastore que esté configurado con Private Service Connect. En su lugar, debes volver a crear un servicio si quieres añadir o quitar subredes.
  • No puedes actualizar un servicio de Dataproc Metastore que use Private Service Connect para que use una VPC ni viceversa.

Crear un servicio de Dataproc Metastore con Private Service Connect

En las siguientes instrucciones se muestra cómo configurar Private Service Connect durante la creación del servicio.

Consola

  1. En la Google Cloud consola, abre la página Dataproc Metastore:

    Ir a Dataproc Metastore

  2. En la parte superior de la página Dataproc Metastore, haz clic en Crear.

    Se abrirá la página Crear servicio.

  3. Configura el servicio según sea necesario.

  4. En Configuración de red, haga clic en Hacer que los servicios sean accesibles en varias subredes de VPC.

  5. Selecciona Subredes. Puedes especificar hasta 5 subredes.

  6. Haz clic en Listo.

  7. Haz clic en Enviar.

Verifica la configuración de red del servicio:

  1. En la Google Cloud consola, abre la página Dataproc Metastore:

    Ir a Dataproc Metastore

  2. En la página Dataproc Metastore, haga clic en el nombre del servicio que quiera ver.

    Se abrirá la página Detalles del servicio de ese servicio.

  3. En la pestaña Configuración, comprueba que los detalles muestran varios URIs de subred de VPC.

gcloud

  1. Ejecuta el siguiente comando gcloud metastore services create para crear un servicio con Private Service Connect:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    o

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Verifica que la creación se haya realizado correctamente.

REST

Sigue las instrucciones de la API para crear un servicio con el Explorador de APIs.

En los parámetros de solicitud create, usa el campo Network Config para configurar Private Service Connect. Puede especificar de 1 a 5 subredes.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Siguientes pasos