Información general sobre las redes de Dataproc Metastore

En este documento se ofrece una descripción general de los ajustes de red que puedes usar para configurar un servicio de Dataproc Metastore.

Referencia rápida de temas de redes

Configuración de red predeterminada

En la siguiente sección se describen los ajustes de red predeterminados que usa Dataproc Metastore: redes de VPC y emparejamiento entre redes de VPC.

Redes de VPC

De forma predeterminada, los servicios de Dataproc Metastore usan redes de VPC para conectarse a Google Cloud. Una red de VPC es una versión virtual de una red física que se implementa en la red de producción de Google. Cuando creas un servicio de Dataproc Metastore, este crea automáticamente la red VPC.

Si no cambias ningún ajuste al crear el servicio, Dataproc Metastore usará la red de VPC default. Con este ajuste, la red de VPC que utilices con tu servicio Dataproc Metastore puede pertenecer al mismo proyecto o a otro. Google Cloud Este ajuste también te permite exponer tu servicio en una sola red de VPC o hacer que tu servicio sea accesible desde varias redes de VPC (mediante el uso de subredes).

Dataproc Metastore requiere lo siguiente por región para cada red de VPC:

• 1 cuota de emparejamiento
• /17 y /20 CIDR

Emparejamiento entre redes VPC

Una vez creada la red de VPC, Dataproc Metastore también configura automáticamente el emparejamiento de redes de VPC para tu servicio. La VPC proporciona a tu servicio acceso a los protocolos de endpoint de Dataproc Metastore. Una vez que hayas creado el servicio, podrás ver el emparejamiento entre redes de VPC subyacente en la página Emparejamiento entre redes de VPC de la consola de Google Cloud.

El emparejamiento entre redes de VPC no es transitivo. Esto significa que solo las redes con emparejamiento directo pueden comunicarse entre sí. Por ejemplo, supongamos que se da la siguiente situación:

Tienes las siguientes redes de VPC: N1, N2 y N3.

• La red de VPC N1 está emparejada con N2 y N3.
• Las redes de VPC N2 y N3 no están conectadas directamente.

¿Qué significa esto?

Esto significa que, a través del emparejamiento entre redes de VPC, la red de VPC N2 no puede comunicarse con la red de VPC N3. Esto afecta a las conexiones de Dataproc Metastore de las siguientes formas:

• Las máquinas virtuales que se encuentran en redes emparejadas con la red de tu proyecto de Dataproc Metastore no pueden acceder a Dataproc Metastore.
• Solo los hosts de la red VPC pueden acceder a un servicio de Dataproc Metastore.

Consideraciones de seguridad del emparejamiento entre redes de VPC

• El tráfico a través del emparejamiento entre redes de VPC se proporciona con un determinado nivel de cifrado. Para obtener más información, consulta Encriptado y autenticación de la red virtual de Google Cloud.

• Crear una red VPC para cada servicio con una dirección IP interna proporciona un mejor aislamiento de la red que poner todos los servicios en la red VPC default.

Subredes de VPC

Private Service Connect (PSC) te permite configurar una conexión privada a los metadatos de Dataproc Metastore en redes VPC. Con PSC, puedes crear un servicio sin emparejamiento de VPC. De esta forma, puedes usar tus propias direcciones IP internas para acceder a Dataproc Metastore sin salir de tus redes de VPC ni usar direcciones IP externas.

Para configurar Private Service Connect al crear un servicio, consulta Private Service Connect con Dataproc Metastore.

Direcciones IP

Para conectarse a una red y proteger tus metadatos, los servicios de Dataproc Metastore solo usan direcciones IP internas. Esto significa que las direcciones IP públicas no están expuestas ni disponibles para fines de redes.

Al usar una dirección IP interna, Dataproc Metastore solo puede conectarse a máquinas virtuales que se encuentren en redes de nube privada virtual (VPC) especificadas o en un entorno on-premise.

Las conexiones a un servicio de Dataproc Metastore que usa una dirección IP interna utilizan intervalos de direcciones RFC 1918. Al usar estos intervalos, Dataproc Metastore asigna un intervalo /17 y un intervalo /20 del espacio de direcciones a cada región. Por ejemplo, para colocar servicios de Dataproc Metastore en dos regiones, el intervalo de direcciones IP asignado debe contener lo siguiente:

• Al menos dos bloques de direcciones sin usar de tamaño /17.
• Al menos dos bloques de direcciones sin usar de tamaño /20.

Si no se encuentran bloques de direcciones RFC 1918, Dataproc Metastore buscará bloques de direcciones no RFC 1918 adecuados. Ten en cuenta que la asignación de bloques que no son RFC 1918 no tiene en cuenta si esas direcciones se están usando en tu red de VPC o en tu red local.

Configuración de red adicional

Si necesitas una configuración de red diferente, puedes usar las siguientes opciones con tu servicio Dataproc Metastore.

Red VPC compartida

Puedes crear servicios de Dataproc Metastore en una red de VPC compartida. Una VPC compartida te permite conectar recursos de Dataproc Metastore de varios proyectos a una red de VPC común.

Para configurar una VPC compartida al crear un servicio, consulta Crear un servicio de Dataproc Metastore.

Redes on-premise

Puedes conectarte a un servicio de Dataproc Metastore con un entorno local mediante Cloud VPN o Cloud Interconnect.

Controles de Servicio de VPC

Controles de Servicio de VPC te permite mitigar el riesgo de filtración externa de datos. Con Controles de Servicio de VPC, puedes crear perímetros alrededor del servicio Dataproc Metastore. Controles de Servicio de VPC restringe el acceso a los recursos del perímetro desde fuera. Solo los clientes y los recursos que se encuentren dentro del perímetro pueden interactuar entre sí.

Para usar Controles de Servicio de VPC con Dataproc Metastore, consulta Controles de Servicio de VPC con Dataproc Metastore. Consulta también las limitaciones de Dataproc Metastore al usar Controles de Servicio de VPC.

Reglas de cortafuegos de Dataproc Metastore

En entornos no predeterminados o privados con una superficie de seguridad establecida, es posible que tengas que crear tus propias reglas de cortafuegos. Si lo haces, no crees una regla de cortafuegos que bloquee el intervalo de direcciones IP o el puerto de tus servicios de Dataproc Metastore.

Cuando crea un servicio de Dataproc Metastore, puede aceptar la red predeterminada del servicio. La red predeterminada asegura el acceso completo a la red IP interna de tus VMs.

Para obtener información más general sobre las reglas de cortafuegos, consulta Reglas de cortafuegos de VPC y Usar reglas de cortafuegos de VPC.

Crear una regla de cortafuegos para una red personalizada

Si usas una red personalizada, asegúrate de que tu regla de cortafuegos permita el tráfico que va y viene del endpoint de Dataproc Metastore. Para permitir explícitamente el tráfico de Dataproc Metastore, ejecuta los siguientes comandos de gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

En DPMS_NET_PREFIX, aplica una máscara de subred /17 a la IP de tu servicio Dataproc Metastore. Puedes encontrar la información de la dirección IP de Dataproc Metastore en la configuración de endpointUri en la página Detalles del servicio.

Cuestiones importantes

Las redes tienen una regla de salida implícita que normalmente permite el acceso desde tu red a Dataproc Metastore. Si crea reglas de denegación de salida que anulan la regla de salida implícita, debe crear una regla de salida con una prioridad más alta para permitir la salida a la IP de Dataproc Metastore.

Algunas funciones, como Kerberos, requieren que Dataproc Metastore inicie conexiones con hosts de la red de tu proyecto. Todas las redes tienen una regla de denegación de entrada implícita que bloquea estas conexiones e impide que funcionen esas funciones. Debes crear una regla de cortafuegos que permita la entrada de TCP y UDP en todos los puertos del bloque de IPs /17 que contenga la IP de Dataproc Metastore.

Enrutamiento personalizado

Las rutas personalizadas son para subredes que usan direcciones IP públicas utilizadas de forma privada (PUPI). Las rutas personalizadas permiten que tu red de VPC se conecte a una red de emparejamiento. Las rutas personalizadas solo se pueden recibir cuando tu red de VPC las importa y la red de peer las exporta explícitamente. Las rutas personalizadas pueden ser estáticas o dinámicas.

Compartir rutas personalizadas con redes de VPC emparejadas permite que las redes "aprendan" rutas directamente de sus redes emparejadas. Esto significa que, cuando se actualiza una ruta personalizada en una red emparejada, tu red VPC la aprende e implementa automáticamente sin que tengas que hacer nada más.

Para obtener más información sobre el enrutamiento personalizado, consulta la configuración de red.

Ejemplo de red de Dataproc Metastore

En el ejemplo siguiente, Google asigna los intervalos de direcciones 10.100.0.0/17 y 10.200.0.0/20 en la red de VPC del cliente a los servicios de Google y usa los intervalos de direcciones en una red de VPC emparejada.

Descripción del ejemplo de redes:

• En el lado de los servicios de Google del emparejamiento de VPCs, Google crea un proyecto para el cliente. El proyecto está aislado, lo que significa que ningún otro cliente lo comparte y que al cliente solo se le factura por los recursos que aprovisiona.
• Cuando se crea el primer servicio de Dataproc Metastore en una región, Dataproc Metastore asigna un intervalo /17 y un intervalo /20 en la red del cliente para todos los servicios de Dataproc Metastore que se utilicen en esa región y en esa red. Dataproc Metastore subdivide aún más estos intervalos para crear subredes e intervalos de direcciones en el proyecto del productor de servicios.
• Los servicios de VM de la red del cliente pueden acceder a los recursos del servicio Dataproc Metastore de cualquier región si elGoogle Cloud servicio lo admite. Es posible que algunos Google Cloud servicios no admitan la comunicación entre regiones.
• Los costes de salida del tráfico entre regiones, en los que una instancia de VM se comunica con recursos de otra región, siguen aplicándose.
• Google asigna al servicio Dataproc Metastore la dirección IP 10.100.0.100. En la red de VPC del cliente, las solicitudes con el destino 10.100.0.100 se enrutan a través del emparejamiento de VPC a la red del productor de servicios. Una vez que llega a la red de servicios, esta contiene rutas que dirigen la solicitud al recurso correcto.
• El tráfico entre redes de VPC se desplaza internamente por la red de Google, no por la red pública de Internet.

Siguientes pasos

• Controles de Servicio de VPC con Dataproc Metastore
• Gestión de identidades y accesos y control de acceso de Dataproc Metastore
• Private Service Connect con Dataproc Metastore