RDMA RoCE ネットワーク プロファイル
このページでは、 Google Cloudの Remote Direct Memory Access（RDMA）over Converged Ethernet（RoCE）ネットワーク プロファイルについて説明します。
概要
RDMA RoCE ネットワーク プロファイルを使用すると、RoCE v2 プロトコルを使用して、ネットワークに作成された VM の GPU 間で低レイテンシ、高帯域幅の RDMA 通信を提供する Virtual Private Cloud（VPC）ネットワークを作成できます。RoCE ネットワーク プロファイルを使用する VPC ネットワークは、RoCE VPC ネットワークと呼ばれます。
RoCE VPC ネットワークは AI ワークロードの実行に役立ちます。 Google Cloudで AI ワークロードを実行する方法の詳細については、AI Hypercomputer の概要をご覧ください。
RoCE ネットワーク プロファイルのリソース名は、ZONE-vpc-roce の形式です（例: europe-west1-b-vpc-roce）。特定のネットワーク プロファイル名を表示するには、ネットワーク プロファイルの一覧を取得するをご覧ください。
サポートされているゾーン
RoCE ネットワーク プロファイルは、一部のゾーンでのみ使用できます。RoCE VPC ネットワークは、RoCE ネットワーク プロファイルが使用可能なゾーンでのみ作成できます。
サポートされているゾーンを確認するには、ネットワーク プロファイルを一覧表示するをご覧ください。
また、RoCE VPC ネットワークで作成する GPU マシンタイプでサポートされているゾーンを確認することもできます。RoCE ネットワーク プロファイルは、仕様で説明されているサポート対象のマシンタイプと同じゾーンで使用できます。詳細については、GPU が利用できるリージョンとゾーンをご覧ください。
仕様
RoCE VPC ネットワークの仕様は次のとおりです。
NVIDIA ConnectX NIC。 Google Cloudでは、NVIDIA ConnectX NIC は
MRDMAネットワーク インターフェースとして表示されます。ゾーン制約。RoCE VPC ネットワークを使用するリソースは、RoCE ネットワークの作成時に RoCE VPC ネットワークに関連付けられた RoCE ネットワーク プロファイルと同じゾーンに制限されます。このゾーン上限には次の影響があります。
RoCE VPC ネットワークにネットワーク インターフェースがあるすべてのインスタンスは、RoCE VPC ネットワークで使用される RoCE ネットワーク プロファイルのゾーンと一致するゾーンで作成する必要があります。
RoCE VPC ネットワークで作成されたすべてのサブネットは、RoCE VPC ネットワークで使用される RoCE ネットワーク プロファイルのゾーンを含むリージョンに配置する必要があります。
MRDMA ネットワーク インターフェースのみ。RoCE VPC ネットワークは
MRDMAネットワーク インターフェース（NIC）のみをサポートします。これは、A3 Ultra、A4、A4X マシンシリーズでのみ使用できます。仮想マシン（VM）インスタンスの MRDMA 以外のすべての NIC は、通常の VPC ネットワークに接続する必要があります。
8,896 バイトの MTU。パフォーマンスを最大限に高めるには、RoCE VPC ネットワークの最大伝送単位（MTU）を
8896バイトにすることをおすすめします。これにより、VM のゲスト オペレーティング システムの RDMA ドライバは、必要に応じてより小さい MTU を使用できます。gcloud CLI または API を使用して RoCE VPC ネットワークを作成する場合、デフォルトの MTU は
8896バイトです。 Google Cloud コンソールを使用して RoCE VPC ネットワークを作成する場合は、MTU を8896に設定する必要があります。ファイアウォールの違い。RoCE VPC ネットワークでは、異なる暗黙のファイアウォール ルールが使用されます。RoCE ファイアウォール ポリシー タイプを持つリージョン ネットワーク ファイアウォール ポリシーのみをサポートします。サポートされているリージョン ネットワーク ファイアウォール ポリシー内のルールのパラメータ セットは制限されています。詳細については、RoCE VPC ネットワーク用の Cloud NGFW をご覧ください。
接続テストはサポートされていません。接続テストは、RoCE VPC ネットワークをサポートしていません。
その他の VPC 機能。RoCE VPC ネットワークは、他の VPC 機能の一部のみをサポートしています。詳細については、次のサポートされている機能とサポートされていない機能をご覧ください。
サポートされている機能とサポートされていない機能
次の表に示すのは、RoCE VPC ネットワークでサポートされている VPC 機能です。
| 機能 | サポート対象 | ネットワーク プロファイルのプロパティ | ネットワーク プロファイルのプロパティ値 | 詳細 |
|---|---|---|---|---|
MRDMA NIC |
interfaceTypes |
MRDMA |
RoCE VPC ネットワークは |
|
| 同じネットワーク内のマルチ NIC | allowMultiNicInSameNetwork |
MULTI_NIC_IN_SAME_NETWORK_ALLOWED |
RoCE VPC ネットワークはマルチ NIC VM をサポートしているため、2 つ以上の RoCE VPC ネットワークのマルチ NIC に関する考慮事項をご覧ください。 |
|
| IPv4 のみのサブネット | subnetworkStackTypes |
SUBNET_STACK_TYPE_IPV4_ONLY |
RoCE VPC ネットワークは、通常の VPC ネットワークと同じ有効な IPv4 範囲を含む、IPv4 のみのサブネットをサポートしています。 RoCE VPC ネットワークは、デュアルスタック サブネットまたは IPv6 のみのサブネットをサポートしていません。詳細については、サブネットの種類をご覧ください。 |
|
PRIVATE サブネットの目的 |
subnetworkPurposes |
SUBNET_PURPOSE_PRIVATE |
RoCE VPC ネットワークは、 RoCE VPC ネットワークは、Private Service Connect サブネット、プロキシ専用サブネット、Private NAT サブネットをサポートしていません。詳細については、サブネットの目的をご覧ください。 |
|
GCE_ENDPOINT アドレスの目的 |
addressPurposes |
GCE_ENDPOINT |
RoCE VPC ネットワークは、VM NIC の内部 IP アドレスで使用される RoCE VPC ネットワークは、 |
|
nic0 からのアタッチメント |
allowDefaultNicAttachment |
DEFAULT_NIC_ATTACHMENT_BLOCKED |
RoCE VPC ネットワークは、VM の nic0 ネットワーク インターフェースをネットワークに接続することをサポートしていません。RoCE VPC ネットワークに接続された各 MRDMA NIC は nic0 であってはなりません。 |
|
| VM の外部 IP アドレス | allowExternalIpAccess |
EXTERNAL_IP_ACCESS_BLOCKED |
RoCE VPC ネットワークは、MDRMA VM NIC への外部 IP アドレスの割り当てをサポートしていません。そのため、MDRMA VM NIC はインターネットにアクセスできません。 |
|
| 動的ネットワーク インターフェース | allowSubInterfaces |
SUBINTERFACES_BLOCKED |
RoCE VPC ネットワークは、Dynamic NIC をサポートしていません。 | |
| エイリアス IP 範囲 | allowAliasIpRanges |
ALIAS_IP_RANGE_BLOCKED |
RoCE VPC ネットワークは、MRDMA NIC へのエイリアス IP 範囲の割り当てをサポートしていません。 |
|
| IP 転送 | allowIpForwarding |
IP_FORWARDING_BLOCKED |
RoCE VPC ネットワークは、IP 転送をサポートしていません。 | |
| VM ネットワークの移行 | allowNetworkMigration |
NETWORK_MIGRATION_BLOCKED |
RoCE VPC ネットワークは、ネットワーク間の VM NIC の移行をサポートしていません。 | |
| 自動モード | allowAutoModeSubnet |
AUTO_MODE_SUBNET_BLOCKED |
RoCE VPC ネットワークは自動モード ネットワークにできません。詳しくは、サブネット作成モードをご覧ください。 | |
| VPC ネットワーク ピアリング | allowVpcPeering |
VPC_PEERING_BLOCKED |
RoCE VPC ネットワークは、VPC ネットワーク ピアリングを使用した他の VPC ネットワークへの接続をサポートしていません。そのため、RoCE VPC ネットワークでは、プライベート サービス アクセスを使用したサービスへの接続はサポートされていません。 | |
| 静的ルート | allowStaticRoutes |
STATIC_ROUTES_BLOCKED |
RoCE VPC ネットワークは、静的ルートをサポートしていません。 | |
| Packet Mirroring | allowPacketMirroring |
PACKET_MIRRORING_BLOCKED |
RoCE VPC ネットワークは、Packet Mirroring をサポートしていません。 | |
| Cloud NAT | allowCloudNat |
CLOUD_NAT_BLOCKED |
RoCE VPC ネットワークは、Cloud NAT をサポートしていません。 | |
| Cloud Router | allowCloudRouter |
CLOUD_ROUTER_BLOCKED |
RoCE VPC ネットワークは、Cloud Router と動的ルートをサポートしていません。 | |
| Cloud Interconnect | allowInterconnect |
INTERCONNECT_BLOCKED |
RoCE VPC ネットワークは、Cloud Interconnect VLAN アタッチメントをサポートしていません。 | |
| Cloud VPN | allowVpn |
VPN_BLOCKED |
RoCE VPC ネットワークは、Cloud VPN トンネルをサポートしていません。 | |
| Network Connectivity Center | allowNcc |
NCC_BLOCKED |
RoCE VPC ネットワークは、Network Connectivity Center をサポートしていません。RoCE VPC ネットワークを Network Connectivity Center ハブの VPC スポークとして追加することはできません。 | |
| Cloud Load Balancing | allowLoadBalancing |
LOAD_BALANCING_BLOCKED |
RoCE VPC ネットワークは、Cloud Load Balancing をサポートしていません。そのため、RoCE VPC ネットワークは、Google Cloud Armor などのロードバランサ機能をサポートしていません。 | |
| プライベート Google アクセス | allowPrivateGoogleAccess |
PRIVATE_GOOGLE_ACCESS_BLOCKED |
RoCE VPC ネットワークは、プライベート Google アクセスをサポートしていません。 | |
| Private Service Connect | allowPsc |
PSC_BLOCKED |
RoCE VPC ネットワークは、Private Service Connect をサポートしていません。 |
RoCE VPC ネットワークのマルチ NIC に関する考慮事項
クロスレール GPU 間通信のメリットを活かせるワークロードをサポートするため、RoCE VPC ネットワークは、ネットワーク内に複数の MRDMA NIC がある VM をサポートします。各 MRDMA NIC は一意のサブネットに存在する必要があります。2 つ以上の MRDMA NIC を同じ RoCE VPC ネットワークに配置すると、レイテンシの増加など、ネットワーク パフォーマンスに影響する可能性があります。MRDMA NIC は NCCL を使用します。NCCL は、クロスレール通信の場合でも、すべてのネットワーク転送を調整しようとします。たとえば、PXN を使用して、ネットワーク経由で転送する前に、NVlink を介してレールに合わせて調整し、GPU にデータをコピーします。