Profil jaringan RDMA RoCE

Halaman ini memberikan ringkasan tentang profil jaringan Remote Direct Memory Access (RDMA) over Converged Ethernet (RoCE) di Google Cloud.

Ringkasan

Profil jaringan RDMA RoCE memungkinkan Anda membuat jaringan Virtual Private Cloud (VPC) yang menyediakan komunikasi RDMA berlatensi rendah dan bandwidth tinggi antara GPU VM yang dibuat di jaringan menggunakan protokol RoCE v2. Jaringan VPC yang menggunakan profil jaringan RoCE disebut jaringan VPC RoCE.

Jaringan VPC RoCE berguna untuk menjalankan workload AI. Untuk mengetahui informasi selengkapnya tentang menjalankan workload AI di Google Cloud, lihat Ringkasan AI Hypercomputer.

Nama resource profil jaringan RoCE memiliki format berikut ZONE-vpc-roce—misalnya europe-west1-b-vpc-roce. Untuk melihat nama profil jaringan tertentu, lihat Mencantumkan profil jaringan.

Zona yang didukung

Profil jaringan RoCE tersedia di sejumlah zona terbatas. Anda hanya dapat membuat jaringan VPC RoCE di zona tempat profil jaringan RoCE tersedia.

Untuk melihat zona yang didukung, lihat list network profiles.

Atau, Anda dapat melihat zona yang didukung untuk jenis mesin GPU yang ingin dibuat di jaringan VPC RoCE. Profil jaringan RoCE tersedia di zona yang sama dengan jenis mesin yang didukung seperti yang dijelaskan dalam Spesifikasi. Untuk mengetahui informasi selengkapnya, lihat Region dan zona ketersediaan GPU.

Spesifikasi

Jaringan VPC RoCE memiliki spesifikasi berikut:

  • NIC NVIDIA ConnectX. NIC NVIDIA ConnectX muncul sebagai antarmuka jaringan MRDMA di Google Cloud.

  • Batasan zona. Resource yang menggunakan jaringan VPC RoCE dibatasi ke zona yang sama dengan profil jaringan RoCE yang terkait dengan jaringan VPC RoCE selama pembuatan jaringan RoCE. Batas zona ini memiliki efek berikut:

    • Semua instance yang memiliki antarmuka jaringan di jaringan VPC RoCE harus dibuat di zona yang cocok dengan zona profil jaringan RoCE yang digunakan oleh jaringan VPC RoCE.

    • Semua subnet yang dibuat di jaringan VPC RoCE harus berada di region yang berisi zona profil jaringan RoCE yang digunakan oleh jaringan VPC RoCE.

  • Hanya antarmuka jaringan MRDMA. Jaringan VPC RoCE hanya mendukung MRDMA antarmuka jaringan (NIC), yang hanya tersedia di seri mesin A3 Ultra, A4, dan A4X.

    Semua NIC non-MRDMA dari instance virtual machine (VM) harus dilampirkan ke jaringan VPC reguler.

  • MTU 8896 byte. Untuk performa terbaik, sebaiknya gunakan unit transmisi maksimum (MTU) sebesar 8896 byte untuk jaringan VPC RoCE. Hal ini memungkinkan driver RDMA di sistem operasi tamu VM menggunakan MTU yang lebih kecil jika diperlukan.

    Jika Anda membuat jaringan VPC RoCE menggunakan gcloud CLI atau API, maka 8896 byte adalah MTU default. Jika Anda membuat jaringan VPC RoCE menggunakan konsol Google Cloud , Anda harus menetapkan MTU ke 8896.

  • Perbedaan firewall. Jaringan VPC RoCE menggunakan aturan firewall tersirat yang berbeda. Kebijakan ini hanya mendukung kebijakan firewall jaringan regional yang memiliki jenis kebijakan firewall RoCE. Kumpulan parameter untuk aturan dalam kebijakan firewall jaringan regional yang didukung terbatas. Untuk mengetahui informasi selengkapnya, lihat Cloud NGFW untuk jaringan VPC RoCE.

  • Tidak ada dukungan Log Aliran VPC. Jaringan VPC RoCE tidak mendukung Log Aliran VPC, meskipun Anda mengaktifkan Log Aliran VPC untuk subnet di jaringan VPC RoCE.

  • Tidak ada dukungan Uji Konektivitas. Uji Konektivitas tidak mendukung jaringan VPC RoCE.

  • Fitur VPC lainnya. Jaringan VPC RoCE mendukung serangkaian fitur VPC lainnya yang terbatas. Untuk mengetahui informasi selengkapnya, lihat bagian Fitur yang didukung dan tidak didukung berikut.

Fitur yang didukung dan tidak didukung

Tabel berikut mencantumkan fitur VPC yang didukung oleh jaringan VPC RoCE.

Fitur Didukung Properti profil jaringan Nilai properti profil jaringan Detail
MRDMA NIC interfaceTypes MRDMA

Jaringan VPC RoCE hanya mendukung NIC MRDMA, bukan jenis lain, seperti GVNIC atau VIRTIO_NET.

Multi-NIC dalam jaringan yang sama allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

Jaringan VPC RoCE mendukung VM multi-NIC, sehingga dua atau lebih NIC VM MRDMA dapat berada di jaringan VPC RoCE yang sama. Setiap NIC harus terhubung ke subnet unik di jaringan VPC RoCE.

Lihat Pertimbangan multi-NIC jaringan VPC RoCE.

Subnet khusus IPv4 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

Jaringan VPC RoCE mendukung subnet khusus IPv4, termasuk Rentang IPv4 yang valid yang sama dengan jaringan VPC reguler.

Jaringan VPC RoCE tidak mendukung subnet stack ganda atau khusus IPv6. Untuk mengetahui informasi selengkapnya, lihat Jenis subnet.

Tujuan subnet PRIVATE subnetworkPurposes SUBNET_PURPOSE_PRIVATE

Jaringan VPC RoCE mendukung subnet reguler, yang memiliki nilai atribut purpose sebesar PRIVATE.

Jaringan VPC RoCE tidak mendukung subnet Private Service Connect, subnet khusus proxy, atau subnet Private NAT. Untuk mengetahui informasi selengkapnya, lihat Tujuan subnet.

GCE_ENDPOINT tujuan alamat addressPurposes GCE_ENDPOINT

Jaringan VPC RoCE mendukung alamat IP dengan nilai atribut purpose GCE_ENDPOINT, yang digunakan oleh alamat IP internal NIC VM.

Jaringan VPC RoCE tidak mendukung alamat IP tujuan khusus, seperti tujuan SHARED_LOADBALANCER_VIP. Untuk mengetahui informasi selengkapnya, lihat referensi resource alamat.

Lampiran dari nic0 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED Jaringan VPC RoCE tidak mendukung pemasangan antarmuka jaringan VM ke jaringan.nic0 Setiap NIC MRDMA yang terpasang ke jaringan VPC RoCE tidak boleh nic0.
Alamat IP eksternal untuk VM allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED Jaringan VPC RoCE tidak mendukung penetapan alamat IP eksternal ke NIC VM MDRMA. Akibatnya, NIC VM MDRMA tidak memiliki akses internet.
Antarmuka Jaringan Dinamis allowSubInterfaces SUBINTERFACES_BLOCKED Jaringan VPC RoCE tidak mendukung NIC Dinamis.
Rentang IP alias allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED Jaringan VPC RoCE tidak mendukung penetapan rentang IP alias ke NIC MRDMA.
Penerusan IP allowIpForwarding IP_FORWARDING_BLOCKED Jaringan VPC RoCE tidak mendukung penerusan IP.
Migrasi jaringan VM allowNetworkMigration NETWORK_MIGRATION_BLOCKED Jaringan VPC RoCE tidak mendukung migrasi NIC VM antarjaringan.
Mode otomatis allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED Jaringan VPC RoCE tidak boleh berupa jaringan mode otomatis. Untuk mengetahui informasi selengkapnya, lihat mode pembuatan subnet.
Peering Jaringan VPC allowVpcPeering VPC_PEERING_BLOCKED Jaringan VPC RoCE tidak mendukung koneksi ke jaringan VPC lain menggunakan Peering Jaringan VPC. Akibatnya, jaringan VPC RoCE tidak mendukung koneksi ke layanan menggunakan akses layanan pribadi.
Rute statis allowStaticRoutes STATIC_ROUTES_BLOCKED Jaringan VPC RoCE tidak mendukung rute statis.
Duplikasi Paket allowPacketMirroring PACKET_MIRRORING_BLOCKED Jaringan VPC RoCE tidak mendukung Duplikasi Paket.
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED Jaringan VPC RoCE tidak mendukung Cloud NAT.
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED Jaringan VPC RoCE tidak mendukung Cloud Router dan rute dinamis.
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED Jaringan VPC RoCE tidak mendukung lampiran VLAN Cloud Interconnect.
Cloud VPN allowVpn VPN_BLOCKED Jaringan VPC RoCE tidak mendukung tunnel Cloud VPN.
Network Connectivity Center allowNcc NCC_BLOCKED Jaringan VPC RoCE tidak mendukung Network Connectivity Center. Anda tidak dapat menambahkan jaringan VPC RoCE sebagai spoke VPC ke hub Network Connectivity Center.
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED Jaringan VPC RoCE tidak mendukung Cloud Load Balancing. Akibatnya, jaringan VPC RoCE tidak mendukung fitur load balancer, termasuk Google Cloud Armor.
Akses Google Pribadi allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED Jaringan VPC RoCE tidak mendukung Akses Google Pribadi.
Private Service Connect allowPsc PSC_BLOCKED Jaringan VPC RoCE tidak mendukung Private Service Connect.

Pertimbangan multi-NIC jaringan VPC RoCE

Untuk mendukung workload yang diuntungkan dari komunikasi GPU-ke-GPU lintas jalur, jaringan VPC RoCE mendukung VM yang memiliki beberapa NIC MRDMA di jaringan. Setiap NIC MRDMA harus berada di subnet yang unik. Menempatkan dua atau beberapa NIC MRDMA di jaringan VPC RoCE yang sama dapat memengaruhi performa jaringan, termasuk peningkatan latensi. MRDMA NIC menggunakan NCCL. NCCL mencoba menyelaraskan semua transfer jaringan, bahkan untuk komunikasi lintas jalur. Misalnya, PXN menggunakan NVlink untuk menyalin data melalui NVlink ke GPU yang selaras dengan rail sebelum mentransfernya melalui jaringan.

Langkah berikutnya