Perfil de rede RDMA RoCE
Nesta página, você encontra uma visão geral do perfil de rede de acesso direto à memória remota (RDMA) (link em inglês) em Ethernet convergente (RoCE) no Google Cloud.
Visão geral
O perfil de rede RDMA RoCE permite criar uma rede de nuvem privada virtual (VPC) que oferece comunicação RDMA de baixa latência e alta largura de banda entre as GPUs de VMs criadas na rede usando o protocolo RoCE v2. Uma rede VPC que usa o perfil de rede RoCE é chamada de rede VPC RoCE.
As redes VPC RoCE são úteis para executar cargas de trabalho de IA. Para mais informações sobre como executar cargas de trabalho de IA no Google Cloud, consulte a visão geral do Hipercomputador de IA.
O nome do recurso de um perfil de rede RoCE tem o seguinte formato:
ZONE-vpc-roce
, por exemplo, europe-west1-b-vpc-roce
.
Para conferir nomes de perfis de rede específicos, consulte
Listar perfis de rede.
Zonas com suporte
O perfil de rede RoCE está disponível em um conjunto limitado de zonas. Só é possível criar uma rede VPC RoCE em uma zona em que o perfil de rede RoCE está disponível.
Para conferir as zonas aceitas, consulte listar perfis de rede.
Como alternativa, é possível conferir as zonas compatíveis com o tipo de máquina de GPU que você pretende criar na rede VPC RoCE. O perfil de rede RoCE está disponível nas mesmas zonas que os tipos de máquina compatíveis descritos em Especificações. Para mais informações, consulte Regiões e zonas de disponibilidade de GPU.
Especificações
As redes VPC RoCE têm as seguintes especificações:
NICs NVIDIA ConnectX. As NICs NVIDIA ConnectX aparecem como interfaces de rede
MRDMA
em Google Cloud.Restrição zonal. Os recursos que usam uma rede VPC RoCE são limitados à mesma zona do perfil de rede RoCE associado à rede VPC RoCE durante a criação da rede RoCE. Esse limite zonal tem os seguintes efeitos:
Todas as instâncias com interfaces de rede em uma rede VPC RoCE precisam ser criadas na zona que corresponde à zona do perfil de rede RoCE usado pela rede VPC RoCE.
Todas as sub-redes criadas em uma rede VPC RoCE precisam estar localizadas na região que contém a zona do perfil de rede RoCE usado pela rede VPC RoCE.
Somente interfaces de rede MRDMA. As redes VPC RoCE são compatíveis apenas com interfaces de rede (NICs)
MRDMA
, que estão disponíveis apenas nas séries de máquinas A3 Ultra, A4 e A4X.Todas as NICs não MRDMA de uma instância de máquina virtual (VM) precisam estar anexadas a uma rede VPC comum.
MTU de 8.896 bytes. Para ter o melhor desempenho, recomendamos uma unidade máxima de transmissão (MTU) de
8896
bytes para redes VPC RoCE. Isso permite que o driver RDMA no sistema operacional convidado da VM use MTUs menores, se necessário.Se você criar uma rede VPC RoCE usando a CLI gcloud ou a API,
8896
bytes será a MTU padrão. Se você criar uma rede VPC RoCE usando o console do Google Cloud , defina a MTU como8896
.Diferenças de firewall. As redes VPC RoCE usam regras de firewall implícitas diferentes. Elas só são compatíveis com políticas de firewall de rede regionais que têm um tipo de política de firewall RoCE. O conjunto de parâmetros para regras em uma política de firewall de rede regional compatível é limitado. Para mais informações, consulte Cloud NGFW para redes VPC RoCE.
Sem suporte para registros de fluxo da VPC. As redes VPC RoCE não são compatíveis com registros de fluxo de VPC, mesmo que você ative os registros de fluxo de VPC para uma sub-rede em uma rede VPC RoCE.
Sem suporte para testes de conectividade. Os Testes de conectividade não são compatíveis com redes VPC RoCE.
Outros recursos da VPC. As redes VPC RoCE são compatíveis com um conjunto limitado de outros recursos de VPC. Para mais informações, consulte a seção Recursos compatíveis e incompatíveis.
Recursos compatíveis e incompatíveis
A tabela a seguir lista os recursos da VPC compatíveis com redes VPC RoCE.
Recurso | Com suporte | Propriedade do perfil de rede | Valor da propriedade do perfil de rede | Detalhes |
---|---|---|---|---|
MRDMA NICs |
interfaceTypes |
MRDMA |
As redes VPC RoCE são compatíveis apenas com NICs |
|
Multi-NIC na mesma rede | allowMultiNicInSameNetwork |
MULTI_NIC_IN_SAME_NETWORK_ALLOWED |
As redes VPC RoCE são compatíveis com VMs multi-NIC, permitindo que duas ou mais NICs de VM |
|
Sub-redes somente IPv4 | subnetworkStackTypes |
SUBNET_STACK_TYPE_IPV4_ONLY |
As redes VPC RoCE são compatíveis com sub-redes somente IPv4, incluindo os mesmos intervalos IPv4 válidos das redes VPC comuns. As redes VPC RoCE não são compatíveis com sub-redes de pilha dupla ou somente IPv6. Para mais informações, consulte Tipos de sub-redes. |
|
Finalidade da sub-rede PRIVATE |
subnetworkPurposes |
SUBNET_PURPOSE_PRIVATE |
As redes VPC RoCE são compatíveis com sub-redes regulares, que têm um valor de atributo As redes VPC RoCE não são compatíveis com sub-redes do Private Service Connect, sub-redes somente de proxy ou sub-redes NAT particulares. Para mais informações, consulte Finalidades das sub-redes. |
|
Finalidade do endereço GCE_ENDPOINT |
addressPurposes |
GCE_ENDPOINT |
As redes VPC RoCE são compatíveis com endereços IP com um valor de atributo As redes VPC RoCE não são compatíveis com endereços IP de uso especial, como o propósito |
|
Anexos de nic0 |
allowDefaultNicAttachment |
DEFAULT_NIC_ATTACHMENT_BLOCKED |
As redes VPC RoCE não são compatíveis com a anexação das interfaces de rede nic0 de uma VM à rede. Cada NIC MRDMA anexada
a uma rede VPC RoCE não pode ser nic0 . |
|
Endereços IP externos para VMs | allowExternalIpAccess |
EXTERNAL_IP_ACCESS_BLOCKED |
As redes VPC RoCE não aceitam a atribuição de endereços IP externos a interfaces de rede de MDRMA VMs. Como consequência, as NICs de VM MDRMA não têm acesso à Internet. |
|
Interfaces de rede dinâmica | allowSubInterfaces |
SUBINTERFACES_BLOCKED |
As redes VPC RoCE não são compatíveis com NICs dinâmicas. | |
Intervalos de IP de alias | allowAliasIpRanges |
ALIAS_IP_RANGE_BLOCKED |
As redes VPC RoCE não são compatíveis com a atribuição de intervalos de IP de alias a NICs MRDMA . |
|
Encaminhamento de IP | allowIpForwarding |
IP_FORWARDING_BLOCKED |
As redes VPC RoCE não são compatíveis com encaminhamento de IP. | |
Migração de rede de VM | allowNetworkMigration |
NETWORK_MIGRATION_BLOCKED |
As redes VPC RoCE não são compatíveis com migração de NICs de VM entre redes. | |
Automática | allowAutoModeSubnet |
AUTO_MODE_SUBNET_BLOCKED |
As redes VPC RoCE não podem ser de modo automático. Para mais informações, consulte Modo de criação da sub-rede. | |
Peering de rede VPC | allowVpcPeering |
VPC_PEERING_BLOCKED |
As redes VPC RoCE não são compatíveis com a conexão a outras redes VPC usando o peering de rede VPC. Consequentemente, as redes VPC RoCE não oferecem suporte à conexão com serviços usando o acesso a serviços particulares. | |
Rotas estáticas | allowStaticRoutes |
STATIC_ROUTES_BLOCKED |
As redes VPC RoCE não são compatíveis com rotas estáticas. | |
Espelhamento de pacotes | allowPacketMirroring |
PACKET_MIRRORING_BLOCKED |
As redes VPC RoCE não são compatíveis com espelhamento de pacotes. | |
Cloud NAT | allowCloudNat |
CLOUD_NAT_BLOCKED |
As redes VPC RoCE não são compatíveis com o Cloud NAT. | |
Cloud Router | allowCloudRouter |
CLOUD_ROUTER_BLOCKED |
As redes VPC do RoCE não são compatíveis com Cloud Routers e rotas dinâmicas. | |
Cloud Interconnect | allowInterconnect |
INTERCONNECT_BLOCKED |
As redes VPC RoCE não são compatíveis com anexos de VLAN do Cloud Interconnect. | |
Cloud VPN | allowVpn |
VPN_BLOCKED |
As redes VPC RoCE não são compatíveis com túneis do Cloud VPN. | |
Network Connectivity Center | allowNcc |
NCC_BLOCKED |
As redes VPC RoCE não são compatíveis com o Network Connectivity Center. Não é possível adicionar uma rede VPC RoCE como um spoke VPC a um hub do Network Connectivity Center. | |
Cloud Load Balancing | allowLoadBalancing |
LOAD_BALANCING_BLOCKED |
As redes VPC RoCE não são compatíveis com o Cloud Load Balancing. Como consequência, as redes VPC RoCE não são compatíveis com recursos de balanceador de carga, incluindo o Google Cloud Armor. | |
Acesso privado do Google | allowPrivateGoogleAccess |
PRIVATE_GOOGLE_ACCESS_BLOCKED |
As redes VPC RoCE não são compatíveis com o Acesso privado do Google. | |
Private Service Connect | allowPsc |
PSC_BLOCKED |
As redes VPC RoCE não são compatíveis com o Private Service Connect. |
Considerações sobre várias NICs da rede VPC RoCE
Para oferecer suporte a cargas de trabalho que se beneficiam da comunicação GPU a GPU entre trilhos, as redes VPC RoCE são compatíveis com VMs que têm várias NICs MRDMA
na rede. Cada NIC MRDMA
precisa estar em uma sub-rede exclusiva. Colocar duas ou mais NICs MRDMA
na mesma rede VPC RoCE pode afetar o desempenho da rede, incluindo o aumento da latência. MRDMA
As NICs usam o
NCCL. A NCCL tenta alinhar todas as transferências de rede, mesmo para comunicação entre trilhos. Por exemplo, ele usa o PXN para copiar
dados por NVlink para uma GPU alinhada a um trilho antes de transferi-los pela
rede.
A seguir
- Perfis de rede para casos de uso específicos
- Criar uma rede VPC para NICs RDMA
- NGFW do Cloud para redes VPC RoCE