Visão geral da rede do Dataproc Metastore

Este documento apresenta uma visão geral das configurações de rede que podem ser usadas para configurar um serviço do metastore do Dataproc.

Referência rápida com tópicos de rede

Configurações de rede padrão

A seção a seguir descreve as configurações de rede padrão usadas pelo Dataproc Metastore: redes VPC e peering de rede VPC.

Redes VPC

Por padrão, os serviços do Dataproc Metastore usam VPC redes para se conectar ao Google Cloud. Uma rede VPC é uma versão virtual de uma rede física implementada na rede de produção do Google. Quando você cria um Dataproc Metastore, o serviço cria a rede VPC para você.

Se você não mudar nenhuma configuração ao criar o serviço, o metastore do Dataproc vai usar a rede VPC default. Com essa configuração, a rede VPC que você usa com seu metastore do Dataproc podem pertencer ao mesmo projeto do Google Cloud ou a um projeto diferente. Essa configuração também permite expor seu serviço em uma única rede VPC ou tornar seu serviço acessível a partir de várias redes VPC (com o uso de sub-redes).

O metastore do Dataproc requer o seguinte por região para cada rede VPC:

• 1 cota de peering
• /17 e /20 CIDR

Peering de rede VPC

Depois da criação da rede VPC, o metastore do Dataproc também configura automaticamente o peering de rede VPC para seu serviço. VPC concede ao seu serviço acesso ao metastore do Dataproc protocolos do endpoint. Depois durante a criação do serviço, é possível conferir o peering de rede VPC página Peering de rede VPC no Google Cloud no console do Google Cloud.

O peering de rede VPC não é transitivo. Ou seja, apenas os peerings diretos como as redes podem se comunicar entre si. Por exemplo, considere o seguinte cenário:

Você tem as redes VPC N1, N2 e N3.

• A rede VPC N1 está pareada com a N2 e a N3.
• Rede VPC N2 e N3 não estão diretamente conectadas.

O que isso significa?

Com o peering, a rede VPC N2 não consegue se comunicar com a rede VPC N3. Isso afeta as conexões do metastore do Dataproc das seguintes maneiras:

• Máquinas virtuais em redes com peering na sua rede de projetos do metastore do Dataproc não conseguem acessar o metastore do Dataproc.
• Somente hosts na rede VPC podem acessar um metastore do Dataproc serviço.

Considerações sobre a segurança do peering de rede VPC

• O tráfego por peering de rede VPC é fornecido com um determinado nível de criptografia. Para mais informações, consulte Rede virtual do Google Cloud criptografia e autenticação.

• A criação de uma rede VPC para cada serviço com um endereço IP interno oferece um isolamento de rede melhor do que colocar todos os serviços na rede VPC default.

Sub-redes VPC

O Private Service Connect (PSC) permite configurar uma conexão particular com os metadados do metastore do Dataproc nas redes VPC. Com o PSC, você podem criar um serviço sem peering de VPC. Assim, você pode usar seu próprio IP interno para acessar o metastore do Dataproc sem sair da sua VPC redes VPC ou usar endereços IP externo.

Para configurar o Private Service Connect ao criar um serviço, consulte Private Service Connect com o Metastore do Dataproc

Endereços IP

Para se conectar a uma rede e ajudar a proteger seus metadados, Os serviços do Dataproc Metastore usam apenas endereços IP internos. Isso significa que os endereços IP públicos não estão expostos nem estão disponíveis para rede propósitos.

Com um endereço IP interno, o metastore do Dataproc só pode conectar-se a máquinas virtuais (VMs) existentes em uma nuvem privada virtual especificada (VPC) ou um ambiente local.

Conexões com um serviço do metastore do Dataproc usando um IP interno usam intervalos de endereços RFC 1918. O uso desses intervalos significa que o metastore do Dataproc aloca um intervalo /17 e um intervalo /20 do espaço de endereço para cada região. Por exemplo, colocar Os serviços do Dataproc Metastore em duas regiões exigem que o o intervalo de endereços IP alocado contém o seguinte:

• Pelo menos dois blocos de endereços não utilizados de tamanho /17.
• Pelo menos dois blocos de endereços não utilizados de tamanho /20.

Se os blocos de endereços RFC 1918 não forem encontrados, o Metastore do Dataproc vai encontrar blocos de endereços não RFC 1918 adequados. A alocação de blocos não RFC 1918 não considera se esses endereços estão em uso na sua rede VPC ou no local.

Outras configurações de rede

Se você precisar de configurações de rede diferentes, use as opções a seguir com seu serviço do metastore do Dataproc.

Rede VPC compartilhada

Você pode criar serviços do Dataproc Metastore em um rede VPC compartilhada. Com uma VPC compartilhada, você conecta Recursos do metastore do Dataproc de vários projetos em um rede VPC do Google (VPC).

Para configurar uma VPC compartilhada ao criar um serviço, consulte Criar um serviço do metastore do Dataproc.

Rede no local

É possível se conectar a um serviço Metastore do Dataproc com uma usando o Cloud VPN ou o Cloud Interconnect.

VPC Service Controls

O VPC Service Controls melhora sua capacidade de reduzir o risco de dados vazamentos de dados. Com o VPC Service Controls, você cria perímetros em torno serviço Metastore do Dataproc. O VPC Service Controls restringe o acesso de fora do perímetro dentro do perímetro. Somente clientes e recursos dentro do perímetro possam interagir entre si.

Para usar o VPC Service Controls com o metastore do Dataproc, consulte VPC Service Controls com o Metastore do Dataproc. Analise também as limitações do metastore do Dataproc ao usar o VPC Service Controls.

Regras de firewall para o metastore do Dataproc

Em ambientes não padrão ou particulares com um espaço de segurança estabelecido, talvez seja necessário criar suas próprias regras de firewall. Nesse caso, não crie uma regra de firewall que bloqueie o intervalo de endereços IP ou dos serviços do Dataproc Metastore.

Quando você cria um serviço Metastore do Dataproc, é possível aceitar a rede padrão do serviço. A rede padrão garante acesso total de rede IP às VMs.

Para mais informações gerais sobre regras de firewall, consulte Regras de firewall de VPC e Como usar regras de firewall da VPC.

Criar uma regra de firewall para uma rede personalizada

Ao usar uma rede personalizada, verifique se a regra de firewall permite o tráfego proveniente do e para o endpoint do metastore do Dataproc. Para permitir explicitamente o tráfego do metastore do Dataproc, execute o seguinte Comandos gcloud:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Para DPMS_NET_PREFIX, aplique uma máscara de sub-rede /17 ao IP de serviço do metastore do Dataproc. Encontre seus Informações de endereço IP do metastore do Dataproc no endpointUri na página Detalhes do serviço.

Considerações

As redes têm uma regra de permissão de saída implícita que normalmente permite o acesso da sua rede ao metastore do Dataproc. Se você criar regras de saída de negação que modifiquem a regra implícita de permissão de saída, crie uma regra de permissão de saída com prioridade mais alta para permitir a saída para o IP do metastore do Dataproc.

Alguns recursos, como o Kerberos, exigem que o Metastore do Dataproc inicie conexões com hosts na rede do projeto. Todas as redes têm um Regra implícita "negar entrada" que bloqueia essas conexões e impede o funcionamento desses recursos. Crie uma regra de firewall que permita a entrada TCP e UDP em todas as portas do bloco de IP /17 que contém o IP do metastore do Dataproc.

Roteamento personalizado

Rotas personalizadas são para sub-redes que usam IP público usado de maneira privada endereços IP internos (PUPI). As rotas personalizadas permitem que sua rede VPC se conecte a uma rede com peering. As rotas personalizadas só podem ser recebidas quando sua rede VPC as importa e a e a rede de peering os exporta explicitamente. As rotas personalizadas podem ser estáticas ou dinâmicas.

O compartilhamento de rotas personalizadas com redes VPC com peering permite que as redes "aprendam" rotas diretamente das redes com peering. Isso significa que, quando uma rota personalizada em uma rede com peering é atualizada, a rede VPC aprende e implementa a rota personalizada automaticamente sem exigir nenhuma ação adicional.

Para mais informações sobre roteamento personalizado, consulte configuração de rede.

Exemplo de rede do metastore do Dataproc

No exemplo a seguir, o Google aloca os atributos 10.100.0.0/17 e 10.200.0.0/20 intervalos de endereços na rede VPC do cliente para Serviços do Google e usa os intervalos de endereços em uma VPC com peering em uma rede VPC.

Descrição do exemplo de rede:

• No lado dos Serviços do Google em relação ao peering de VPC, o Google cria um projeto para o cliente. O projeto é isolado, ou seja, não há Outros clientes compartilham, e o cliente é cobrado apenas pelos recursos provisionados pelo cliente.
• Ao criar o primeiro serviço Metastore do Dataproc em um região, o metastore do Dataproc aloca um intervalo de /17 e um Intervalo /20 na rede do cliente para todos os períodos uso dos serviços do Dataproc Metastore nessa região e em uma rede VPC. O metastore do Dataproc subdivida ainda mais esses intervalos para criar sub-redes e intervalos de endereços no projeto de produtor de serviços.
• Os serviços de VM na rede do cliente podem acessar Recursos do serviço Metastore do Dataproc em qualquer região se o serviço do Google Cloud oferece suporte. Alguns serviços do Google Cloud podem não oferecer suporte à comunicação entre regiões.
• Custos de saída para tráfego entre regiões em que uma instância de VM se comunica com recursos em uma região diferente, ainda se aplicam.
• O Google atribui ao serviço do metastore do Dataproc o endereço IP 10.100.0.100. Na rede VPC do cliente, as solicitações com um destino de 10.100.0.100 são roteadas por meio do peering de VPC para a rede do fornecedor de serviços. Quando elas alcançam a rede do serviço, essa rede encaminha a solicitação para o recurso correto.
• O tráfego entre redes VPC é transmitido internamente pela rede do Google, e não pela Internet pública.

A seguir

• VPC Service Controls com o metastore do Dataproc
• IAM do Dataproc e controle de acesso do metastore
• Private Service Connect com o metastore do Dataproc