Questo documento descrive le funzionalità di Hyperdisk ML, che offre il throughput più elevato tra tutti i tipi di Google Cloud Hyperdisk. Google consiglia di utilizzare Hyperdisk ML per il machine learning e per i carichi di lavoro che richiedono un'elevata velocità in lettura su set di dati immutabili. L'elevato throughput di Hyperdisk ML consente di ottenere tempi di caricamento dei dati più rapidi, tempi di inattività dell'acceleratore più brevi e costi di calcolo inferiori.
Per carichi di lavoro di inferenza, addestramento e HPC di grandi dimensioni, puoi collegare un singolo volume Hyperdisk per l'ML a più istanze di calcolo in modalità di sola lettura.
Puoi specificare fino a 1.200.000 MiB/s di throughput per un singolo volume Hyperdisk ML. Non puoi eseguire il provisioning a livello di IOPS, ma ogni MiB/s di velocità effettiva sottoposta a provisioning è associato a 16 IOPS, fino a 19.200.000 IOPS.
Per saperne di più su Hyperdisk e sugli altri tipi di Hyperdisk, consulta Informazioni su Hyperdisk.
Per creare un volume Hyperdisk ML, consulta Creare un volume Hyperdisk.
Casi d'uso
Hyperdisk ML è adatto per i seguenti casi d'uso:
- Carichi di lavoro HPC
- Machine learning
- Carichi di lavoro ottimizzati per l'acceleratore
Supporto delle serie di macchine
Puoi utilizzare Hyperdisk ML con le seguenti serie di macchine:
Informazioni sul rendimento previsto
Non devi eseguire il provisioning delle prestazioni quando crei i volumi Hyperdisk. Se non esegui il provisioning delle prestazioni, Compute Engine crea il volume con valori predefiniti che puoi modificare in un secondo momento. Per informazioni dettagliate sui valori predefiniti, consulta Valori predefiniti di IOPS e throughput.
Se conosci le tue esigenze di prestazioni, puoi specificare limiti di IOPS e throughput per un volume Hyperdisk ML durante la creazione e modificare i valori di provisioning dopo la creazione. Non puoi specificare un livello di IOPS o di throughput se non specifichi una dimensione.
Limiti di dimensioni e prestazioni
I seguenti limiti si applicano ai valori di dimensioni, throughput e IOPS che puoi specificare per un volume Hyperdisk ML.
Dimensioni: tra 4 GiB e 64 TiB. La dimensione predefinita è di 100 GiB.
Throughput: tra 400 MiB/s e 1.200.000 MiB/s. Sia la velocità effettiva minima che quella massima hanno i propri limiti in base alle dimensioni del volume, come segue:
Velocità in uscita minima: per i volumi di dimensioni comprese tra 4 e 3341 GiB, il valore minimo è 400 MiB/s. Per i volumi di dimensioni pari o superiori a 3342 GiB, il valore minimo dipende dalle dimensioni e varia da 401 a 7680 MiB/s.
Throughput massimo: per i volumi di dimensioni pari o superiori a 750 GiB, il valore massimo è 1200000 MiB/s. Per i volumi di dimensioni pari o inferiori a 749 GiB, il valore massimo dipende dalle dimensioni e varia da 6400 a 1199999 MiB/s.
Per esempi, consulta Limiti per il throughput provisionato.
IOPS: non puoi specificare un limite di IOPS per i volumi Hyperdisk ML. Invece, le IOPS provisionate dipendono dal throughput provisionato. Per ogni volume Hyperdisk ML viene eseguito il provisioning con 16 IOPS per ogni MiB/s di throughput, fino a un massimo di 19.200.000 IOPS.
Limiti per il throughput riservato
La tabella seguente elenca i limiti per il throughput provisionato per le dimensioni dei volumi comuni. Se una dimensione non è elencata, utilizza la seguente formula per calcolare i valori consentiti, dove x
è la dimensione del volume in GiB:
- Velocità effettiva minima configurabile:
MAX (400, 0.12x)
- Velocità effettiva massima configurabile:
MIN (1200000, 1600x)
Dimensioni | Velocità effettiva minima | Velocità effettiva massima |
---|---|---|
4 | 400 | 6400 |
10 | 400 | 16.000 |
50 | 400 | 80.000 |
64 | 400 | 102.400 |
100 | 400 | 160.000 |
300 | 400 | 480.000 |
500 | 400 | 800.000 |
1000 | 400 | 1200000 |
5000 | 600 | 1200000 |
25.000 | 3000 | 1200000 |
64.000 | 7680 | 1200000 |
Valori predefiniti di IOPS e throughput
Se non specifichi un limite di IOPS o di throughput durante la creazione di un volume Hyperdisk per l'AI, Compute Engine assegna i valori predefiniti. Il valore assegnato si basa sulle seguenti formule, dove x
è la dimensione del volume in GiB.
- Velocità effettiva predefinita:
MAX (24x, 400)
MiB/s - Dimensioni predefinite: 100 GiB
Modificare le dimensioni o le prestazioni di cui è stato eseguito il provisioning
Puoi modificare le dimensioni di cui è stato eseguito il provisioning ogni 4 ore e il relativo throughput ogni 6 ore. Per istruzioni su come modificare le dimensioni o le prestazioni, consulta Modificare un volume Hyperdisk.
Limiti delle prestazioni quando è collegato a un'istanza
Questa sezione elenca i limiti di prestazioni di Hyperdisk ML. Puoi specificare fino a 1.200.000 MiB/s di throughput per un singolo volume Hyperdisk ML. Non puoi eseguire il provisioning a livello di IOPS, ma ogni MiB/s di velocità effettiva sottoposta a provisioning è associato a 16 IOPS, fino a 19.200.000 IOPS.
La tabella seguente elenca le prestazioni massime che i volumi ML Hyperdisk possono raggiungere per ogni istanza supportata. Le prestazioni di un volume ML Hyperdisk quando è collegato a un'istanza non possono superare i limiti per il tipo di macchina dell'istanza. I limiti delle prestazioni sono condivisi anche tra tutti i volumi Hyperdisk ML collegati alla stessa istanza, indipendentemente dalle prestazioni di ogni volume.
Scenari che richiedono più istanze per raggiungere le prestazioni di cui è stato eseguito il provisioning
Il throughput provisionato per un volume Hyperdisk ML viene condiviso tra ogni istanza a cui è collegato il volume, fino al limite massimo per il tipo di macchina elencato nella tabella seguente. Se le prestazioni di un volume ML Hyperdisk sono superiori al limite di prestazioni di un'istanza, il volume può raggiungere le prestazioni di cui è stato eseguito il provisioning solo se è collegato a più istanze. Le istanzea3-ultragpu-8
hanno un limite di velocità effettiva di 4000 MiB/s.
Ad esempio, supponiamo di avere eseguito il provisioning di un volume Hyperdisk ML con un throughput di 500.000 MiB/s e di voler collegare il volume a istanze a3-ultragpu-8
. Una singola istanza a3-ultragpu-8
non può raggiungere una velocità in uscita superiore a 4000 MiB/s. Pertanto, per raggiungere il throughput pianificato del volume, devi collegare il volume almeno a 125 (500.000/4.000) istanze a3-ultragpu-8
. Invece, per il tipo di macchina a2-highgpu-1g
, sono necessarie 272 istanze.
Tipo di macchina dell'istanza | IOPS massimi | Velocità effettiva massima (MiB/s) |
---|---|---|
a2-*-1g |
28.800 | 1800 |
a2-*-2g |
38.400 | 2400 |
a2-*-4g |
38.400 | 2400 |
a2-*-8g |
38.400 | 2400 |
a2-megagpu-16g |
38.400 | 2400 |
a3-*-1g |
28.800 | 1800 |
a3-*-2g |
38.400 | 2400 |
a3-*-4g |
38.400 | 2400 |
a3-*-8g (in modalità di sola lettura)1 |
64.000 | 4000 |
a3-*-8g (in modalità di lettura e scrittura)1 |
38.400 | 2400 |
c3-*-4 |
6400 | 400 |
c3-*-8 |
12.800 | 800 |
c3-*-22 |
28.800 | 1800 |
c3-*-44 |
38.400 | 2400 |
c3-*-88 |
38.400 | 2400 |
c3-*-176 |
38.400 | 2400 |
c3-*-192 |
38.400 | 2400 |
c3d-*-4 |
6400 | 400 |
c3d-*-8 |
12.800 | 800 |
c3d-*-16 |
19.200 | 1200 |
c3d-*-30 |
19.200 | 1200 |
c3d-*-60 |
38.400 | 2400 |
c3d-*-90 |
38.400 | 2400 |
c3d-*-180 |
38.400 | 2400 |
c3d-*-360 |
38.400 | 2400 |
ct6e-standard-1t |
19.200 | 1200 |
ct6e-standard-4t |
28.800 | 1800 |
ct6e-standard-8t |
28.800 | 1800 |
g2-standard-4 |
12.800 | 800 |
g2-standard-8 |
19.200 | 1200 |
g2-standard-12 |
28.800 | 1800 |
g2-standard-16 |
38.400 | 2400 |
g2-standard-24 |
38.400 | 2400 |
g2-standard-32 |
38.400 | 2400 |
g2-standard-48 |
38.400 | 2400 |
g2-standard-96 |
38.400 | 2400 |
1 Per le istanze a3-*-8g
, il rendimento dipende dal fatto che il volume Hyperdisk ML sia collegato all'istanza in modalità di sola lettura o di lettura e scrittura.
Disponibilità regionale per Hyperdisk ML
Hyperdisk ML è disponibile nelle seguenti regioni e zone:
Regione | Zone disponibili |
---|---|
Contea di Changhua, Taiwan:asia-east1 |
asia-east1-a |
asia-east1-b |
|
asia-east1-c |
|
Tokyo, Giappone:asia-northeast1 |
asia-northeast1-a |
asia-northeast1-b |
|
asia-northeast1-c |
|
Seul, Corea del Sud -asia-northeast3 |
asia-northeast3-a |
asia-northeast3-b |
|
Jurong West, Singapore -asia-southeast1 |
asia-southeast1-a |
asia-southeast1-b |
|
asia-southeast1-c |
|
Mumbai, India:asia-south1 |
asia-south1-b |
asia-south1-c |
|
Saint-Ghislain, Belgioeurope-west1 |
europe-west1-b |
europe-west1-c |
|
Londra, Inghilterra -europe-west2 |
europe-west2-a |
europe-west2-b |
|
europe-west3-b |
|
Eemshaven, Paesi Bassieurope-west4 |
europe-west4-a |
europe-west4-b |
|
europe-west4-c |
|
Zurigo, Svizzera:europe-west6 |
europe-west6-b |
europe-west6-c |
|
Tel Aviv, Israele:me-west1 |
me-west1-b |
me-west1-c |
|
Council Bluffs, Iowaus-central1 |
us-central1-a |
us-central1-b |
|
us-central1-c |
|
us-central1-f |
|
Moncks Corner, Carolina del Sud, Stati Uniti -us-east1 |
us-east1-b |
us-east1-c |
|
us-east1-d |
|
Ashburn, Virginia, Stati Uniti -us-east4 |
us-east4-a |
us-east4-b |
|
us-east4-c |
|
Columbus, Ohio -us-east5 |
us-east5-a |
us-east5-b |
|
us-east5-c |
|
Dallas, Texas -us-south1 |
us-south1-a |
The Dalles, Oregon, Stati Unitius-west1 |
us-west1-a |
us-west1-b |
|
us-west1-c |
|
Salt Lake City, Utah -us-west3 |
us-west3-b |
Las Vegas, Nevada -us-west4 |
us-west4-a |
us-west4-b |
|
us-west4-c |
Protezione contro i disastri per i volumi Hyperdisk ML
Puoi eseguire il backup di un volume Hyperdisk ML con snapshot standard. Gli snapshot eseguono il backup dei dati su un volume Hyperdisk ML in un momento specifico.
Replica tra zone
Non puoi replicare i volumi Hyperdisk ML in un'altra zona. Per replicare i dati in un'altra zona all'interno della stessa regione, devi utilizzare i volumi Hyperdisk Equilibrato ad alta disponibilità.
Condividere un volume Hyperdisk ML tra le VM
Per i carichi di lavoro di machine learning ottimizzati per l'acceleratore, puoi collegare lo stesso volume Hyperdisk ML a più istanze. In questo modo, è possibile accedere contemporaneamente in sola lettura a un singolo volume da più VM. Questo è più conveniente rispetto all'utilizzo di più dischi con gli stessi dati.
Non sono previsti costi aggiuntivi per la condivisione di un disco tra le VM. Il collegamento di un disco in modalità di sola lettura a più VM non influisce sulle prestazioni del disco. Ogni VM può comunque raggiungere le prestazioni massime del disco possibili per la serie di macchine della VM.
Limitazioni per la condivisione di Hyperdisk ML tra VM
- I volumi Hyperdisk ML non supportano la modalità multi-writer. Puoi condividere un volume Hyperdisk ML tra più istanze se è in modalità di sola lettura.
- I volumi ML Hyperdisk non possono essere collegati a una singola istanza in modalità di sola lettura.
- Se condividi un volume ML Hyperdisk in modalità di sola lettura, non puoi riattivare l'accesso in scrittura al disco.
- Puoi collegare un volume Hyperdisk ML a un massimo di 100 istanze durante ogni intervallo di 30 secondi.
- Per i volumi Hyperdisk ML, il numero massimo di istanze dipende da le dimensioni di cui è stato eseguito il provisioning, come segue:
- Volume di dimensioni inferiori a 256 GiB: 2500 VM
- Volumi con una capacità di almeno 256 GiB e meno di 1 TiB: 1500 VM
- Volumi con una capacità di almeno 1 TiB e meno di 2 TiB: 600 VM
- Volumi con una capacità di almeno 2 TiB: 30 VM
Se il volume è collegato a più di 20 VM, devi eseguire il provisioning di almeno 100 MiB/s di throughput per ogni VM. Ad esempio, se colleghi un disco a 500 VM, devi eseguire il provisioning del volume con una velocità in uscita di almeno 50.000 MiB/s.
Per saperne di più, consulta la sezione Modalità di sola lettura per Hyperdisk.
Prezzi
Ti viene addebitato il costo delle dimensioni e del throughput totali di provisioning dei volumi Hyperdisk per l'apprendimento automatico finché non li elimini. Gli addebiti vengono effettuati anche se il volume non è collegato a nessuna istanza o se l'istanza è sospesa o interrotta. Per ulteriori informazioni, consulta la sezione Prezzi dei dischi.
Limitazioni
- I volumi Hyperdisk ML sono di zona e sono accessibili solo dalla zona in cui hai creato il volume.
- Non puoi creare un'immagine della macchina da un volume Hyperdisk.
- Non puoi creare uno snapshot istantaneo da un volume ML Hyperdisk.
- Non puoi utilizzare Hyperdisk ML come dischi di avvio.
- Non puoi creare un disco Hyperdisk ML in modalità lettura/scrittura singola da uno snapshot o da un'immagine disco. Devi creare il disco in modalità di sola lettura per più utenti.
- Puoi modificare le dimensioni di un volume ML Hyperdisk ogni 4 ore e il relativo throughput ogni 6 ore.
Passaggi successivi
Aggiungere un volume Hyperdisk ML alla VM