Hyperdisk ML

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

---

In diesem Dokument werden die Funktionen von Hyperdisk ML beschrieben, der den höchsten Durchsatz aller Google Cloud Hyperdisk-Typen bietet. Google empfiehlt die Verwendung von Hyperdisk ML für maschinelles Lernen und für Arbeitslasten, die einen hohen Lesedurchsatz bei unveränderlichen Datasets erfordern. Der hohe Durchsatz von Hyperdisk ML führt zu kürzeren Datenladezeiten, kürzeren Inaktivitätszeiten des Accelerators und geringeren Rechenkosten.

Bei großen Inferenz-, Trainings- und HPC-Arbeitslasten können Sie ein einzelnes Hyperdisk-ML-Volume im Lesemodus an mehrere Compute-Instanzen anhängen.

Sie können für ein einzelnes Hyperdisk ML-Volume einen Durchsatz von bis zu 1.200.000 MiB/s angeben. Sie können keine IOPS-Ebene bereitstellen. Jedes MiB/s bereitgestellten Durchsatzes entspricht jedoch 16 IOPS, bis zu 19.200.000 IOPS.

Weitere Informationen zu Hyperdisk und den anderen Hyperdisk-Typen finden Sie unter Informationen zu Hyperdisk.

Informationen zum Erstellen eines Hyperdisk ML-Volumes finden Sie unter Hyperdisk-Volume erstellen.

Anwendungsfälle

Hyperdisk ML eignet sich für die folgenden Anwendungsfälle:

• HPC-Arbeitslasten
• Maschinelles Lernen
• Beschleunigungsoptimierte Arbeitslasten

Unterstützung von Maschinenserien

Sie können Hyperdisk ML mit den folgenden Maschinenserien verwenden:

• C3
• C3D
• A3 (H100)
• A2
• G2

Bereitgestellte Leistung

Beim Erstellen von Hyperdisk-Volumes müssen Sie keine Leistung bereitstellen. Wenn Sie keine Leistung bereitstellen, erstellt die Compute Engine das Volume mit Standardwerten, die Sie später ändern können. Weitere Informationen zu Standardwerten finden Sie unter Standardwerte für IOPS und Durchsatz.

Wenn Sie Ihre Leistungsanforderungen kennen, können Sie beim Erstellen eines Hyperdisk ML-Volumes IOPS- und Durchsatzlimits angeben. Die bereitgestellten Werte können Sie auch nach der Volume-Erstellung ändern. Sie können keine IOPS- oder Durchsatzebene angeben, wenn Sie keine Größe angeben.

Größen- und Leistungsbeschränkungen

Für die Größe, den Durchsatz und die IOPS-Werte, die Sie für ein Hyperdisk-ML-Volume angeben können, gelten die folgenden Limits.

• Größe: zwischen 4 GiB und 64 TiB Die Standardgröße ist 100 GiB.

• Durchsatz: zwischen 400 MiB/s und 1.200.000 MiB/s, mit den folgenden Einschränkungen:

  • Mindestdurchsatz: Bei Volumes mit 6 bis 3.341 GiB beträgt der Mindestdurchsatz 400 MiB/s. Bei Volumes mit mehr als 3.342 GiB liegt der minimale Durchsatz zwischen 401 und 7.680 MiB/s.
  • Maximaler Durchsatz: Bei Volumes mit mehr als 750 GiB beträgt der maximale Durchsatz 1.200.000 MiB/s. Bei Volumes von 4 bis 749 GiB variiert der maximale Durchsatz je nach Größe. Beispiele finden Sie unter Limits für den bereitgestellten Durchsatz.

• IOPS: Sie können für Hyperdisk ML-Volumes kein IOPS-Limit angeben. Stattdessen hängen die bereitgestellten IOPS vom bereitgestellten Durchsatz ab. Für jedes Hyperdisk-ML-Volume werden 16 IOPS pro MiB/s Durchsatz bereitgestellt, bis zu einem Maximum von 19.200.000 IOPS.

Limits für den bereitgestellten Durchsatz

In der folgenden Tabelle sind die Limits für den bereitgestellten Durchsatz für gängige Volumegrößen aufgeführt. Wenn eine Größe nicht aufgeführt ist, können Sie die zulässigen Werte mit der folgenden Formel berechnen. Dabei steht x für die Größe des Volumes in GiB:

• Minimaler konfigurierbarer Durchsatz: MAX (400, 0.12x)
• Maximaler konfigurierbarer Durchsatz: MIN (1200000, 1600x)

Größe	Mindestdurchsatz	Maximaler Durchsatz
4	400	6.400
10	400	16.000
50	400	80.000
64	400	102.400
100	400	160.000
300	400	480.000
500	400	800.000
1.000	400	1200000
5.000	600	1200000
25.000	3.000	1200000
64.000	7.680	1200000

Standardwerte für IOPS und Durchsatz

Wenn Sie beim Erstellen eines Hyperdisk ML-Volumes kein IOPS- oder Durchsatzlimit angeben, weist die Compute Engine Standardwerte zu. Der zugewiesene Wert basiert auf den folgenden Formeln, wobei x die Größe des Volumes in GiB ist.

• Standarddurchsatz: MAX (24x, 400) MiB/s
• Standardgröße: 100 GiB

Bereitgestellte Leistung oder Größe ändern

Sie können die bereitgestellte Größe alle vier Stunden und den Durchsatz alle sechs Stunden ändern. Eine Anleitung zum Ändern der Größe oder Leistung finden Sie unter Hyperdisk-Volume ändern.

Leistungseinschränkungen bei der Bereitstellung an einer Instanz

In diesem Abschnitt sind die Leistungsgrenzen für Hyperdisk ML aufgeführt. Sie können für ein einzelnes Hyperdisk ML-Volume einen Durchsatz von bis zu 1.200.000 MiB/s angeben. Sie können keine IOPS-Ebene bereitstellen. Jedes MiB/s bereitgestellten Durchsatzes entspricht jedoch 16 IOPS, bis zu 19.200.000 IOPS.

In der folgenden Tabelle ist die maximale Leistung aufgeführt, die Hyperdisk-ML-Volumes für jede unterstützte Instanz erreichen können. Die Leistung eines Hyperdisk ML-Volumes, das an eine Instanz angehängt ist, darf die Limits für den Maschinentyp der Instanz nicht überschreiten. Die Leistungslimits werden auch auf alle Hyperdisk ML-Volumes angewendet, die an dieselbe Instanz angehängt sind, unabhängig von der bereitgestellten Leistung der einzelnen Volumes.

Szenarien, in denen mehrere Instanzen erforderlich sind, um die bereitgestellte Leistung zu erreichen

Der bereitgestellte Durchsatz für ein Hyperdisk-ML-Volume wird zwischen allen Instanzen geteilt, an die das Volume angehängt ist, bis zum in der folgenden Tabelle aufgeführten Höchstwert für den Maschinentyp. Wenn die bereitgestellte Leistung eines Hyperdisk ML-Volumes über dem Leistungslimit einer Instanz liegt, kann das Volume seine bereitgestellte Leistung nur erreichen, wenn es an mehrere Instanzen angehängt ist. a3-ultragpu-8-Instanzen haben ein Durchsatzlimit von 4.000 MiB/s.

Angenommen, Sie haben ein Hyperdisk ML-Volume mit einem bereitgestellten Durchsatz von 500.000 MiB/s und möchten das Volume an a3-ultragpu-8 Instanzen anhängen. Eine einzelne a3-ultragpu-8-Instanz kann einen Durchsatz von maximal 4.000 MiB/s erreichen. Um den bereitgestellten Durchsatz des Volumes zu erreichen, müssen Sie es daher an mindestens 125 (500.000 ÷ 4.000) a3-ultragpu-8-Instanzen anhängen. Für den Maschinentyp a2-highgpu-1g wären dagegen 272 Instanzen erforderlich.

Regionale Verfügbarkeit von Hyperdisk ML

Hyperdisk ML ist in den folgenden Regionen und Zonen verfügbar:

Region	Verfügbare Zonen
Bezirk Changhua, Taiwan – asia-east1	asia-east1-a
	asia-east1-b
	asia-east1-c
Tokio, Japan – asia-northeast1	asia-northeast1-a
	asia-northeast1-b
	asia-northeast1-c
Seoul, Südkorea – asia-northeast3	asia-northeast3-a
	asia-northeast3-b
Jurong West, Singapur – asia-southeast1	asia-southeast1-a
	asia-southeast1-b
	asia-southeast1-c
Mumbai, Indien – asia-south1	asia-south1-b
	asia-south1-c
St. Ghislain, Belgien – europe-west1	europe-west1-b
	europe-west1-c
London, England – europe-west2	europe-west2-a
	europe-west2-b
	europe-west3-b
Eemshaven, Niederlande – europe-west4	europe-west4-a
	europe-west4-b
	europe-west4-c
Zürich, Schweiz – europe-west6	europe-west6-b
	europe-west6-c
Tel Aviv, Israel – me-west1	me-west1-b
	me-west1-c
Council Bluffs, Iowa – us-central1	us-central1-a
	us-central1-b
	us-central1-c
	us-central1-f
Moncks Corner, South Carolina – us-east1	us-east1-b
	us-east1-c
	us-east1-d
Ashburn, Virginia – us-east4	us-east4-a
	us-east4-b
	us-east4-c
Columbus, Ohio-us-east5	us-east5-a
	us-east5-b
	us-east5-c
Dallas, Texas –us-south1	us-south1-a
The Dalles, Oregon – us-west1	us-west1-a
	us-west1-b
	us-west1-c
Salt Lake City, Utah – us-west3	us-west3-b
Las Vegas, Nevada – us-west4	us-west4-a
	us-west4-b
	us-west4-c

Notfallwiederherstellung für Hyperdisk ML-Volumes

Sie können ein Hyperdisk ML-Volume mit Standard-Snapshots sichern. Mit Snapshots werden die Daten auf einem Hyperdisk ML-Volume zu einem bestimmten Zeitpunkt gesichert.

Zonenübergreifende Replikation

Hyperdisk ML-Volumes können nicht in eine andere Zone repliziert werden. Wenn Sie Daten in eine andere Zone innerhalb derselben Region replizieren möchten, müssen Sie Hyperdisk-Volumes mit ausgeglichener Hochverfügbarkeit verwenden.

Hyperdisk ML-Volume zwischen VMs freigeben

Bei beschleunigungsoptimierten Arbeitslasten für maschinelles Lernen können Sie dasselbe Hyperdisk ML-Volume an mehrere Instanzen anhängen. Dadurch ist ein gleichzeitiger Lesezugriff auf ein einzelnes Volume von mehreren VMs möglich. Das ist kostengünstiger als mehrere Laufwerke mit denselben Daten.

Für die Freigabe eines Laufwerks für VMs fallen keine zusätzlichen Kosten an. Das Anhängen eines Laufwerks im Lesemodus an mehrere VMs wirkt sich nicht auf die Leistung des Laufwerks aus. Jede VM kann weiterhin die maximale Laufwerksleistung erreichen, die für die Maschinenreihe der VM möglich ist.

Einschränkungen für die Freigabe von Hyperdisk ML zwischen VMs

• Hyperdisk ML-Volumes unterstützen keinen Modus für mehrere Autoren. Sie können ein Hyperdisk ML-Volume für mehrere Instanzen freigeben, wenn sich das Volume im Lesemodus befindet.
• Hyperdisk-ML-Volumes können nicht im Lesemodus an eine einzelne Instanz angehängt werden.
• Wenn Sie ein Hyperdisk ML-Volume im Lesemodus freigeben, können Sie den Schreibzugriff auf das Laufwerk nicht wieder aktivieren.
• Sie können ein Hyperdisk-ML-Volume alle 30 Sekunden an bis zu 100 Instanzen anhängen.
• Bei Hyperdisk ML-Volumes hängt die maximale Anzahl von Instanzen von folgenden Faktoren ab:
die bereitgestellte Größe, wie unten dargestellt:
• Volumes mit einer Größe von weniger als 256 GiB: 2.500 VMs
• Volumes mit einer Kapazität von mindestens 256 GiB und weniger als 1 TiB: 1.500 VMs
• Volumes mit einer Kapazität von mindestens 1 TiB und weniger als 2 TiB: 600 VMs
• Volumes mit einer Kapazität von mindestens 2 TiB: 30 VMs

Wenn das Volume an mehr als 20 VMs angehängt ist, müssen Sie für jede VM mindestens 100 MiB/s Durchsatz bereitstellen. Wenn Sie beispielsweise ein Laufwerk an 500 VMs anhängen, muss das Volume mit einem Durchsatz von mindestens 50.000 MiB/s bereitgestellt werden.

Weitere Informationen finden Sie unter Lesemodus für Hyperdisk.

Preise

Ihnen werden die gesamte bereitgestellte Größe und der gesamte Durchsatz Ihrer Hyperdisk-ML-Volumes in Rechnung gestellt, bis Sie sie löschen. Die Kosten fallen auch an, wenn das Volume an keine Instanzen angehängt ist oder die Instanz ausgesetzt oder beendet wurde. Weitere Informationen finden Sie unter Laufwerk-Preise.

Beschränkungen

• Hyperdisk ML-Volumes sind zonal und können nur von der Zone aus aufgerufen werden, in der Sie das Volume erstellt haben.
• Sie können aus einem Hyperdisk-Volume kein Maschinen-Image erstellen.
• Sie können keinen Instant Snapshot aus einem Hyperdisk ML-Volume erstellen.
• Hyperdisk ML können nicht als Bootlaufwerke verwendet werden.
• Sie können kein Hyperdisk ML-Laufwerk im Lese-/Schreib-Einzelmodus aus einem Snapshot oder einem Laufwerk-Image erstellen. Sie müssen das Laufwerk im Modus „Nur-Lesezugriff – mehrere“ erstellen.
• Sie können die Größe eines Hyperdisk-ML-Volumes alle vier Stunden und den Durchsatz alle sechs Stunden ändern.

Nächste Schritte

• Hyperdisk-ML-Volume zu Ihrer VM hinzufügen