Perfil de rede RDMA RoCE

Nesta página, você encontra uma visão geral do perfil de rede de acesso direto à memória remota (RDMA) (link em inglês) em Ethernet convergente (RoCE) no Google Cloud.

Visão geral

O perfil de rede RDMA RoCE permite criar uma rede de nuvem privada virtual (VPC) que oferece comunicação RDMA de baixa latência e alta largura de banda entre as GPUs de VMs criadas na rede usando o protocolo RoCE v2. Uma rede VPC que usa o perfil de rede RoCE é chamada de rede VPC RoCE.

As redes VPC RoCE são úteis para executar cargas de trabalho de IA. Para mais informações sobre como executar cargas de trabalho de IA no Google Cloud, consulte a visão geral do Hipercomputador de IA.

O nome do recurso de um perfil de rede RoCE tem o seguinte formato: ZONE-vpc-roce, por exemplo, europe-west1-b-vpc-roce. Para conferir nomes de perfis de rede específicos, consulte Listar perfis de rede.

Zonas com suporte

O perfil de rede RoCE está disponível em um conjunto limitado de zonas. Só é possível criar uma rede VPC RoCE em uma zona em que o perfil de rede RoCE está disponível.

Para conferir as zonas aceitas, consulte listar perfis de rede.

Como alternativa, é possível conferir as zonas compatíveis com o tipo de máquina de GPU que você pretende criar na rede VPC RoCE. O perfil de rede RoCE está disponível nas mesmas zonas que os tipos de máquina compatíveis descritos em Especificações. Para mais informações, consulte Regiões e zonas de disponibilidade de GPU.

Especificações

As redes VPC RoCE têm as seguintes especificações:

  • NICs NVIDIA ConnectX. As NICs NVIDIA ConnectX aparecem como interfaces de rede MRDMA em Google Cloud.

  • Restrição zonal. Os recursos que usam uma rede VPC RoCE são limitados à mesma zona do perfil de rede RoCE associado à rede VPC RoCE durante a criação da rede RoCE. Esse limite zonal tem os seguintes efeitos:

    • Todas as instâncias com interfaces de rede em uma rede VPC RoCE precisam ser criadas na zona que corresponde à zona do perfil de rede RoCE usado pela rede VPC RoCE.

    • Todas as sub-redes criadas em uma rede VPC RoCE precisam estar localizadas na região que contém a zona do perfil de rede RoCE usado pela rede VPC RoCE.

  • Somente interfaces de rede MRDMA. As redes VPC RoCE são compatíveis apenas com interfaces de rede (NICs) MRDMA, que estão disponíveis apenas nas séries de máquinas A3 Ultra, A4 e A4X.

    Todas as NICs não MRDMA de uma instância de máquina virtual (VM) precisam estar anexadas a uma rede VPC comum.

  • MTU de 8.896 bytes. Para ter o melhor desempenho, recomendamos uma unidade máxima de transmissão (MTU) de 8896 bytes para redes VPC RoCE. Isso permite que o driver RDMA no sistema operacional convidado da VM use MTUs menores, se necessário.

    Se você criar uma rede VPC RoCE usando a CLI gcloud ou a API, 8896 bytes será a MTU padrão. Se você criar uma rede VPC RoCE usando o console do Google Cloud , defina a MTU como 8896.

  • Diferenças de firewall. As redes VPC RoCE usam regras de firewall implícitas diferentes. Elas só são compatíveis com políticas de firewall de rede regionais que têm um tipo de política de firewall RoCE. O conjunto de parâmetros para regras em uma política de firewall de rede regional compatível é limitado. Para mais informações, consulte Cloud NGFW para redes VPC RoCE.

  • Sem suporte para registros de fluxo da VPC. As redes VPC RoCE não são compatíveis com registros de fluxo de VPC, mesmo que você ative os registros de fluxo de VPC para uma sub-rede em uma rede VPC RoCE.

  • Sem suporte para testes de conectividade. Os Testes de conectividade não são compatíveis com redes VPC RoCE.

  • Outros recursos da VPC. As redes VPC RoCE são compatíveis com um conjunto limitado de outros recursos de VPC. Para mais informações, consulte a seção Recursos compatíveis e incompatíveis.

Recursos compatíveis e incompatíveis

A tabela a seguir lista os recursos da VPC compatíveis com redes VPC RoCE.

Recurso Com suporte Propriedade do perfil de rede Valor da propriedade do perfil de rede Detalhes
MRDMA NICs interfaceTypes MRDMA

As redes VPC RoCE são compatíveis apenas com NICs MRDMA, não com outros tipos, como GVNIC ou VIRTIO_NET.

Multi-NIC na mesma rede allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

As redes VPC RoCE são compatíveis com VMs multi-NIC, permitindo que duas ou mais NICs de VM MRDMA estejam na mesma rede VPC RoCE. Cada NIC precisa ser anexada a uma sub-rede exclusiva na rede VPC do RoCE.

Consulte Considerações sobre vários NICs da rede VPC RoCE.

Sub-redes somente IPv4 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

As redes VPC RoCE são compatíveis com sub-redes somente IPv4, incluindo os mesmos intervalos IPv4 válidos das redes VPC comuns.

As redes VPC RoCE não são compatíveis com sub-redes de pilha dupla ou somente IPv6. Para mais informações, consulte Tipos de sub-redes.

Finalidade da sub-rede PRIVATE subnetworkPurposes SUBNET_PURPOSE_PRIVATE

As redes VPC RoCE são compatíveis com sub-redes regulares, que têm um valor de atributo purpose de PRIVATE.

As redes VPC RoCE não são compatíveis com sub-redes do Private Service Connect, sub-redes somente de proxy ou sub-redes NAT particulares. Para mais informações, consulte Finalidades das sub-redes.

Finalidade do endereço GCE_ENDPOINT addressPurposes GCE_ENDPOINT

As redes VPC RoCE são compatíveis com endereços IP com um valor de atributo purpose de GCE_ENDPOINT, que é usado por endereços IP internos de NICs de VM.

As redes VPC RoCE não são compatíveis com endereços IP de uso especial, como o propósito SHARED_LOADBALANCER_VIP. Para mais informações, consulte a referência do recurso address.

Anexos de nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED As redes VPC RoCE não são compatíveis com a anexação das interfaces de rede nic0 de uma VM à rede. Cada NIC MRDMA anexada a uma rede VPC RoCE não pode ser nic0.
Endereços IP externos para VMs allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED As redes VPC RoCE não aceitam a atribuição de endereços IP externos a interfaces de rede de MDRMA VMs. Como consequência, as NICs de VM MDRMA não têm acesso à Internet.
Interfaces de rede dinâmica allowSubInterfaces SUBINTERFACES_BLOCKED As redes VPC RoCE não são compatíveis com NICs dinâmicas.
Intervalos de IP de alias allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED As redes VPC RoCE não são compatíveis com a atribuição de intervalos de IP de alias a NICs MRDMA.
Encaminhamento de IP allowIpForwarding IP_FORWARDING_BLOCKED As redes VPC RoCE não são compatíveis com encaminhamento de IP.
Migração de rede de VM allowNetworkMigration NETWORK_MIGRATION_BLOCKED As redes VPC RoCE não são compatíveis com migração de NICs de VM entre redes.
Automática allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED As redes VPC RoCE não podem ser de modo automático. Para mais informações, consulte Modo de criação da sub-rede.
Peering de rede VPC allowVpcPeering VPC_PEERING_BLOCKED As redes VPC RoCE não são compatíveis com a conexão a outras redes VPC usando o peering de rede VPC. Consequentemente, as redes VPC RoCE não oferecem suporte à conexão com serviços usando o acesso a serviços particulares.
Rotas estáticas allowStaticRoutes STATIC_ROUTES_BLOCKED As redes VPC RoCE não são compatíveis com rotas estáticas.
Espelhamento de pacotes allowPacketMirroring PACKET_MIRRORING_BLOCKED As redes VPC RoCE não são compatíveis com espelhamento de pacotes.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED As redes VPC RoCE não são compatíveis com o Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED As redes VPC do RoCE não são compatíveis com Cloud Routers e rotas dinâmicas.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED As redes VPC RoCE não são compatíveis com anexos de VLAN do Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED As redes VPC RoCE não são compatíveis com túneis do Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED As redes VPC RoCE não são compatíveis com o Network Connectivity Center. Não é possível adicionar uma rede VPC RoCE como um spoke VPC a um hub do Network Connectivity Center.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED As redes VPC RoCE não são compatíveis com o Cloud Load Balancing. Como consequência, as redes VPC RoCE não são compatíveis com recursos de balanceador de carga, incluindo o Google Cloud Armor.
Acesso privado do Google allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED As redes VPC RoCE não são compatíveis com o Acesso privado do Google.
Private Service Connect allowPsc PSC_BLOCKED As redes VPC RoCE não são compatíveis com o Private Service Connect.

Considerações sobre várias NICs da rede VPC RoCE

Para oferecer suporte a cargas de trabalho que se beneficiam da comunicação GPU a GPU entre trilhos, as redes VPC RoCE são compatíveis com VMs que têm várias NICs MRDMA na rede. Cada NIC MRDMA precisa estar em uma sub-rede exclusiva. Colocar duas ou mais NICs MRDMA na mesma rede VPC RoCE pode afetar o desempenho da rede, incluindo o aumento da latência. MRDMA As NICs usam o NCCL. A NCCL tenta alinhar todas as transferências de rede, mesmo para comunicação entre trilhos. Por exemplo, ele usa o PXN para copiar dados por NVlink para uma GPU alinhada a um trilho antes de transferi-los pela rede.

A seguir