Hyperdisk ML

---

In diesem Dokument werden die Funktionen von Hyperdisk ML beschrieben, die den höchsten Durchsatz aller Google Cloud Hyperdisk-Typen bietet. Google empfiehlt die Verwendung von Hyperdisk ML für maschinelles Lernen und für Arbeitslasten, die einen hohen Lesedurchsatz für unveränderliche Datasets erfordern. Der hohe Durchsatz von Hyperdisk ML führt zu schnelleren Datenladezeiten, kürzeren Inaktivitätszeiten des Accelerators und geringeren Rechenkosten.

Bei großen Inferenz-, Trainings- und HPC-Arbeitslasten können Sie ein einzelnes Hyperdisk-ML-Volume im Lesemodus an mehrere Compute-Instanzen anhängen.

Sie können für ein einzelnes Hyperdisk ML-Volume einen Durchsatz von bis zu 1.200.000 MiB/s angeben. Sie können keine IOPS-Stufe bereitstellen, aber jeder MiB/s des bereitgestellten Durchsatzes bietet 16 IOPS, bis zu 19.200.000 IOPS.

Weitere Informationen zu Hyperdisk und den anderen Hyperdisk-Typen finden Sie unter Informationen zu Hyperdisk.

Informationen zum Erstellen eines Hyperdisk ML-Volumes finden Sie unter Hyperdisk-Volume erstellen.

Anwendungsfälle

Hyperdisk ML eignet sich gut für die folgenden Anwendungsfälle:

• HPC-Arbeitslasten
• Maschinelles Lernen
• Beschleunigungsoptimierte Arbeitslasten

Unterstützung von Maschinenserien

Sie können Hyperdisk ML mit den folgenden Maschinenserien verwenden:

• C3
• C3D
• A3 (H100)
• A2
• G2

Bereitgestellte Leistung

Sie müssen keine Leistung bereitstellen, wenn Sie Hyperdisk-Volumes erstellen. Wenn Sie keine Leistung bereitstellen, erstellt Compute Engine das Volume mit Standardwerten, die Sie später ändern können. Weitere Informationen zu Standardwerten finden Sie unter Standardwerte für IOPS und Durchsatz.

Wenn Sie Ihre Leistungsanforderungen kennen, können Sie beim Erstellen eines Hyperdisk ML-Volumes IOPS- und Durchsatzlimits angeben und die bereitgestellten Werte nach der Volume-Erstellung ändern. Sie können kein IOPS- oder Durchsatzniveau angeben, wenn Sie keine Größe angeben.

Größen- und Leistungsbeschränkungen

Für die Größe, den Durchsatz und die IOPS-Werte, die Sie für ein Hyperdisk ML-Volume angeben können, gelten die folgenden Limits.

• Größe: zwischen 4 GiB und 64 TiB. Die Standardgröße beträgt 100 GiB.

• Durchsatz: zwischen 400 MiB/s und 1.200.000 MiB/s. Sowohl der minimale als auch der maximale Durchsatz haben eigene Grenzwerte, die auf der Größe des Volumes basieren:

  • Mindestdurchsatz: Bei Volumes mit einer Größe von 4 bis 3.341 GiB beträgt der Mindestwert 400 MiB/s. Bei Volumes mit einer Größe von mindestens 3.342 GiB hängt der Mindestwert von der Größe ab und liegt zwischen 401 und 7.680 MiB/s.

  • Maximaler Durchsatz: Für Volumes mit einer Größe von mindestens 750 GiB beträgt der maximale Wert 1.200.000 MiB/s. Bei Volumes mit einer Größe von maximal 749 GiB hängt der maximale Wert von der Größe ab und liegt zwischen 6.400 und 1.200.000 MiB/s.

  Beispiele finden Sie unter Limits für bereitgestellten Durchsatz.

• IOPS: Sie können für Hyperdisk ML-Volumes kein IOPS-Limit angeben. Stattdessen hängen die bereitgestellten IOPS vom bereitgestellten Durchsatz ab. Für jedes Hyperdisk ML-Volume werden 16 IOPS pro MiB/s Durchsatz bereitgestellt, bis zu einem Maximum von 19.200.000 IOPS.

Limits für den bereitgestellten Durchsatz

In der folgenden Tabelle sind die Limits für den bereitgestellten Durchsatz für gängige Volumegrößen aufgeführt. Wenn keine Größe angegeben ist, verwenden Sie die folgende Formel, um die zulässigen Werte zu berechnen. Dabei ist x die Größe des Volumes in GiB:

• Minimaler konfigurierbarer Durchsatz: MAX (400, 0.12x)
• Maximal konfigurierbarer Durchsatz: MIN (1,200,000, 1600x)

Größe	Mindestdurchsatz	Maximaler Durchsatz
4	400	6.400
10	400	16.000
50	400	80.000
64	400	102.400
100	400	160.000
300	400	480.000
500	400	800.000
1.000	400	1200000
5.000	600	1200000
25.000	3.000	1200000
64.000	7.680	1200000

Standardwerte für Größe, IOPS und Durchsatz

Wenn Sie beim Erstellen eines Hyperdisk ML-Volumes keine Größe oder keinen Durchsatzwert angeben, weist Compute Engine Standardwerte zu.

Die Standardgröße für Hyperdisk ML-Volumes beträgt 100 GiB.

Die Standard-IOPS und der Standarddurchsatz basieren auf den folgenden Formeln.

• Standarddurchsatz: MAX (24x, 400) MiB/s, wobei x die Größe des Volumes in GiB ist.
• Standard-IOPS: 16t, wobei t der Standarddurchsatz ist. Sie können die IOPS-Stufe nicht direkt konfigurieren.

Bereitgestellte Leistung oder Größe ändern

Sie können die bereitgestellte Größe alle vier Stunden und den Durchsatz alle sechs Stunden ändern. Eine Anleitung zum Ändern der Größe oder Leistung finden Sie unter Hyperdisk-Volume ändern.

Leistungsgrenzen bei Anhängen an eine Instanz

In diesem Abschnitt sind die Leistungsgrenzen für Hyperdisk ML aufgeführt. Sie können für ein einzelnes Hyperdisk ML-Volume einen Durchsatz von bis zu 1.200.000 MiB/s angeben. Sie können keine IOPS-Stufe bereitstellen, aber jeder MiB/s des bereitgestellten Durchsatzes bietet 16 IOPS, bis zu 19.200.000 IOPS.

In diesem Abschnitt wird die maximale Leistung aufgeführt, die Hyperdisk-ML-Volumes für jede unterstützte Instanz erreichen können. Die Leistung eines Hyperdisk ML-Volumes, wenn es an eine Instanz angehängt ist, darf die Limits für den Maschinentyp der Instanz nicht überschreiten. Die Leistungsgrenzen werden auch für alle Hyperdisk ML-Volumes freigegeben, die an dieselbe Instanz angehängt sind, unabhängig von der bereitgestellten Leistung der einzelnen Volumes.

Szenarien, in denen mehrere Instanzen erforderlich sind, um die bereitgestellte Leistung zu erreichen

Der bereitgestellte Durchsatz für ein Hyperdisk-ML-Volume wird zwischen den einzelnen Instanzen aufgeteilt, an die das Volume angehängt ist, bis zum maximalen Limit für den Maschinentyp, der in der folgenden Tabelle aufgeführt ist. Wenn die bereitgestellte Leistung eines Hyperdisk ML-Volumes höher ist als das Leistungs-Limit einer Instanz, kann das Volume seine bereitgestellte Leistung nur erreichen, wenn es an mehrere Instanzen angehängt ist. a3-ultragpu-8-Instanzen haben ein Durchsatzlimit von 4.000 MiB/s.

Angenommen, Sie haben ein Hyperdisk ML-Volume mit einem bereitgestellten Durchsatz von 500.000 MiB/s und möchten das Volume an a3-ultragpu-8-Instanzen anhängen. Eine einzelne a3-ultragpu-8-Instanz kann nicht mehr als 4.000 MiB/s Durchsatz erreichen. Um den bereitgestellten Durchsatz des Volumes zu erreichen, müssen Sie das Volume daher an mindestens 125 (500.000/4.000) a3-ultragpu-8-Instanzen anhängen. Für den Maschinentyp a2-highgpu-1g wären dagegen 272 Instanzen erforderlich.

Regionale Verfügbarkeit von Hyperdisk ML

Hyperdisk ML ist in den folgenden Regionen und Zonen verfügbar:

Region	Verfügbare Zonen
Bezirk Changhua, Taiwan – asia-east1	asia-east1-a
	asia-east1-b
	asia-east1-c
Tokio, Japan – asia-northeast1	asia-northeast1-a
	asia-northeast1-b
	asia-northeast1-c
Seoul, Südkorea – asia-northeast3	asia-northeast3-a
	asia-northeast3-b
Jurong West, Singapur – asia-southeast1	asia-southeast1-a
	asia-southeast1-b
	asia-southeast1-c
Mumbai, Indien – asia-south1	asia-south1-b
	asia-south1-c
St. Ghislain, Belgien – europe-west1	europe-west1-b
	europe-west1-c
London, England – europe-west2	europe-west2-a
	europe-west2-b
	europe-west3-b
Eemshaven, Niederlande – europe-west4	europe-west4-a
	europe-west4-b
	europe-west4-c
Zürich, Schweiz – europe-west6	europe-west6-b
	europe-west6-c
Tel Aviv, Israel – me-west1	me-west1-b
	me-west1-c
Council Bluffs, Iowa – us-central1	us-central1-a
	us-central1-b
	us-central1-c
	us-central1-f
Moncks Corner, South Carolina – us-east1	us-east1-b
	us-east1-c
	us-east1-d
Ashburn, Virginia – us-east4	us-east4-a
	us-east4-b
	us-east4-c
Columbus, Ohio-us-east5	us-east5-a
	us-east5-b
	us-east5-c
Dallas, Texas—us-south1	us-south1-a
The Dalles, Oregon – us-west1	us-west1-a
	us-west1-b
	us-west1-c
Salt Lake City, Utah – us-west3	us-west3-b
Las Vegas, Nevada – us-west4	us-west4-a
	us-west4-b
	us-west4-c

Schutz vor Katastrophen für Hyperdisk ML-Volumes

Sie können ein Hyperdisk ML-Volume mit Standard-Snapshots sichern. Mit Snapshots werden die Daten auf einem Hyperdisk ML-Volume zu einem bestimmten Zeitpunkt gesichert.

Zonenübergreifende Replikation

Hyperdisk ML-Volumes können nicht in eine andere Zone repliziert werden. Wenn Sie Daten in eine andere Zone in derselben Region replizieren möchten, müssen Sie Hyperdisk mit ausgeglichener Hochverfügbarkeit-Volumes verwenden.

Hyperdisk ML-Volume für VMs freigeben

Bei beschleunigungsoptimierten Arbeitslasten für maschinelles Lernen können Sie dasselbe Hyperdisk ML-Volume an mehrere Instanzen anhängen. Dies ermöglicht den gleichzeitigen Lesezugriff auf ein einzelnes Volume von mehreren VMs. Das ist kostengünstiger als mehrere Laufwerke mit denselben Daten.

Für die gemeinsame Nutzung eines Laufwerks durch mehrere VMs fallen keine zusätzlichen Kosten an. Das Anhängen eines Laufwerks im Lesemodus an mehrere VMs wirkt sich nicht auf die Leistung des Laufwerks aus. Jede VM kann weiterhin die maximale Laufwerksleistung erreichen, die für die Maschinenreihe der VM möglich ist.

Einschränkungen für die gemeinsame Nutzung von Hyperdisk ML zwischen Instanzen

• Hyperdisk ML-Volumes unterstützen den Modus für mehrere Autoren nicht. Sie können ein Hyperdisk ML-Volume für mehrere Instanzen freigeben, wenn sich das Volume im Lesemodus befindet.
• Hyperdisk ML-Volumes können nicht im Lesemodus an eine einzelne Instanz angehängt werden.
• Wenn Sie ein Hyperdisk ML-Volume im Lesemodus freigeben, können Sie den Schreibzugriff auf das Laufwerk nicht wieder aktivieren.
• Sie können ein Hyperdisk-ML-Volume in jedem 30-Sekunden-Intervall an bis zu 100 Instanzen anhängen.
• Bei Hyperdisk ML-Volumes hängt die maximale Anzahl von Instanzen von Folgendem ab:
die bereitgestellte Größe, wie folgt:
• Volumes mit einer Kapazität von bis zu 256 GiB: 2.500 Instanzen
• Volumes mit einer Kapazität zwischen 257 GiB und 1 TiB: 600 Instanzen
• Volumes mit einer Kapazität zwischen 1,001 TiB und 2 TiB: 300 Instanzen
• Volumes mit einer Kapazität zwischen 2,001 TiB und 16 TiB: 128 Instanzen
• Volumes mit einer Kapazität von mindestens 16.001 TiB: 30 Instanzen

Wenn das Volume an mehr als 20 VMs angehängt ist, müssen Sie für jede VM mindestens 100 MiB/s Durchsatz bereitstellen. Wenn Sie beispielsweise ein Laufwerk an 500 VMs anhängen, müssen Sie das Volume mit einem Durchsatz von mindestens 50.000 MiB/s bereitstellen.

Weitere Informationen finden Sie unter Schreibgeschützter Modus für Hyperdisk.

Preise

Ihnen wird die gesamte bereitgestellte Größe und der gesamte bereitgestellte Durchsatz Ihrer Hyperdisk ML-Volumes in Rechnung gestellt, bis Sie sie löschen. Gebühren fallen auch dann an, wenn das Volume an keine Instanzen angehängt ist oder wenn die Instanz ausgesetzt oder beendet ist. Weitere Informationen finden Sie unter Laufwerk-Preise.

Beschränkungen

• Hyperdisk ML-Volumes sind zonal und können nur über die Zone aufgerufen werden, in der Sie das Volume erstellt haben.
• Sie können aus einem Hyperdisk-Volume kein Maschinen-Image erstellen.
• Sie können keinen Instant Snapshot aus einem Hyperdisk ML-Volume erstellen.
• Hyperdisk ML können nicht als Bootlaufwerke verwendet werden.
• Sie können kein Hyperdisk ML-Laufwerk im Lese-/Schreibmodus für einen einzelnen Autor aus einem Snapshot oder einem Laufwerk-Image erstellen. Sie müssen das Laufwerk im Modus „read-only-many“ erstellen.
• Sie können die Größe eines Hyperdisk ML-Volumes alle 4 Stunden und den Durchsatz alle 6 Stunden ändern.

Nächste Schritte

Hyperdisk ML-Volume zu Ihrer VM hinzufügen