En este documento se describen las características de Hyperdisk ML, que ofrece la mayor cantidad de datos de todos los tipos de Google Cloud Hyperdisk. Google recomienda usar Hyperdisk ML para el aprendizaje automático y para las cargas de trabajo que requieren un alto rendimiento de lectura en conjuntos de datos inmutables. El alto rendimiento de Hyperdisk ML proporciona resultados con tiempos de carga de datos más rápidos, tiempos de inactividad del acelerador más cortos y costes de computación más bajos.
Para cargas de trabajo de inferencia, entrenamiento y HPC de gran tamaño, puedes asociar un solo volumen de Hyperdisk ML a varias instancias de proceso en el modo de solo lectura.
Puedes especificar hasta 1.200.000 MiB/s de cantidad de datos para un solo volumen de Hyperdisk ML. No puedes aprovisionar un nivel de IOPS, pero cada MiB/s de rendimiento aprovisionado incluye 16 IOPS, hasta un máximo de 19.200.000 IOPS.
Para obtener más información sobre Hyperdisk y los otros tipos de Hyperdisk, consulta Información sobre Hyperdisk.
Para crear un volumen de Hyperdisk ML, consulta Crear un volumen de Hyperdisk.
Casos prácticos
Hyperdisk ML es una buena opción para los siguientes casos prácticos:
- Cargas de trabajo de HPC
- Aprendizaje automático
- Cargas de trabajo optimizadas para aceleradores
Compatibilidad con series de máquinas
Puedes usar Hyperdisk ML con las siguientes series de máquinas:
Acerca del rendimiento aprovisionado
No tienes que aprovisionar el rendimiento al crear volúmenes de HyperDisk. Si no aprovisionas el rendimiento, Compute Engine creará el volumen con los valores predeterminados, que podrás modificar más adelante. Para obtener más información sobre los valores predeterminados, consulta Valores predeterminados de IOPS y de rendimiento.
Si conoces tus necesidades de rendimiento, puedes especificar los límites de IOPS y de tasa de transferencia de un volumen de Hyperdisk ML al crearlo. También puedes cambiar los valores aprovisionados después de crear el volumen. No puedes especificar un nivel de IOPS o de rendimiento si no especificas un tamaño.
Límites de tamaño y rendimiento
Los siguientes límites se aplican a los valores de tamaño, rendimiento y IOPS que puede especificar para un volumen de Hyperdisk ML.
Tamaño: entre 4 GiB y 64 TiB. El tamaño predeterminado es de 100 GiB.
Rendimiento: entre 400 MiB/s y 1.200.000 MiB/s. Tanto el rendimiento mínimo como el máximo tienen sus propios límites en función del tamaño del volumen, tal como se indica a continuación:
Rendimiento mínimo: en el caso de los volúmenes de entre 4 y 3341 GiB, el valor mínimo es de 400 MiB/s. En el caso de los volúmenes con un tamaño de 3342 GiB o superior, el valor mínimo depende del tamaño y oscila entre 401 y 7680 MiB/s.
Rendimiento máximo: en el caso de los volúmenes de 750 GiB o más, el valor máximo es de 1.200.000 MiB/s. En el caso de los volúmenes de 749 GiB o menos, el valor máximo depende del tamaño y oscila entre 6400 y 1.200.000 MiB/s.
Para ver ejemplos, consulta Límites del rendimiento aprovisionado.
IOPS: no puedes especificar un límite de IOPS para los volúmenes de Hyperdisk ML. En su lugar, los IOPS aprovisionados dependen del rendimiento aprovisionado. Cada volumen de Hyperdisk ML se aprovisiona con 16 IOPS por cada MiB/s de rendimiento, hasta un máximo de 19.200.000 IOPS.
Límites de la capacidad de procesamiento reservada
En la siguiente tabla se muestran los límites de rendimiento aprovisionado para los tamaños de volumen habituales. Si no aparece ningún tamaño, utilice la siguiente fórmula para calcular los valores permitidos, donde x
es el tamaño del volumen en GiB:
- Rendimiento mínimo configurable:
MAX (400, 0.12x)
- Rendimiento máximo configurable:
MIN (1,200,000, 1600x)
Tamaño | Rendimiento mínimo | Rendimiento máximo |
---|---|---|
4 | 400 | 6400 |
10 | 400 | 16.000 |
50 | 400 | 80.000 |
64 | 400 | 102.400 |
100 | 400 | 160.000 |
300 | 400 | 480.000 |
500 | 400 | 800.000 |
1000 | 400 | 1200000 |
5000 | 600 | 1200000 |
25.000 | 3000 | 1200000 |
64.000 | 7680 | 1200000 |
Valores predeterminados de tamaño, IOPS y rendimiento
Si no especifica un valor de tamaño o de rendimiento al crear un volumen de Hyperdisk ML, Compute Engine asigna valores predeterminados.
El tamaño predeterminado de los volúmenes de Hyperdisk ML es de 100 GiB.
Los IOPS y el rendimiento predeterminados se basan en las siguientes fórmulas.
- Rendimiento predeterminado:
MAX (24x, 400)
MiB/s, dondex
es el tamaño del volumen en GiB. - IOPS predeterminadas:
16t
, dondet
es el rendimiento predeterminado. No puedes configurar directamente el nivel de IOPS.
Cambiar el rendimiento o el tamaño aprovisionados
Puedes cambiar el tamaño aprovisionado cada 4 horas y su capacidad de procesamiento cada 6 horas. Para obtener instrucciones sobre cómo modificar el tamaño o el rendimiento, consulta Modificar un volumen de Hyperdisk.
Límites de rendimiento cuando se adjunta a una instancia
En esta sección se indican los límites de rendimiento de Hyperdisk ML. Puedes especificar hasta 1.200.000 MiB/s de cantidad de datos para un solo volumen de Hyperdisk ML. No puedes aprovisionar un nivel de IOPS, pero cada MiB/s de rendimiento aprovisionado incluye 16 IOPS, hasta un máximo de 19.200.000 IOPS.
En esta sección se indica el rendimiento máximo que pueden alcanzar los volúmenes de Hyperdisk ML en cada instancia admitida. El rendimiento de un volumen de Hyperdisk ML cuando se adjunta a una instancia no puede superar los límites del tipo de máquina de la instancia. Los límites de rendimiento también se comparten entre todos los volúmenes de Hyperdisk ML conectados a la misma instancia, independientemente del rendimiento aprovisionado de cada volumen.
Situaciones que requieren varias instancias para alcanzar el rendimiento aprovisionado
El rendimiento aprovisionado de un volumen de Hyperdisk ML se comparte entre cada instancia a la que esté conectado el volumen, hasta el límite máximo del tipo de máquina que se indica en la siguiente tabla.
Si el rendimiento aprovisionado de un volumen de Hyperdisk ML es superior al límite de rendimiento de una instancia, el volumen solo podrá alcanzar el rendimiento aprovisionado si está conectado a varias instancias.
Las instancias a3-ultragpu-8
tienen un límite de rendimiento de 4000 MiB/s.
Por ejemplo, supongamos que tienes un volumen de Hyperdisk ML aprovisionado con 500.000 MiB/s de cantidad de datos y quieres asociar el volumen a a3-ultragpu-8
instancias. Una sola instancia de a3-ultragpu-8
no puede alcanzar un rendimiento superior a 4000 MiB/s. Por lo tanto, para alcanzar el rendimiento aprovisionado del volumen, debes asociar el volumen a al menos 125 (500.000/4000) instancias a3-ultragpu-8
. Por otro lado, para el tipo de máquina a2-highgpu-1g
, necesitarías 272 instancias.
Tipo de máquina de la instancia | IOPS máximas | Rendimiento máximo (MiB/s) |
---|---|---|
a2-*-1g |
28.800 | 1800 |
a2-*-2g |
38.400 | 2400 |
a2-*-4g |
38.400 | 2400 |
a2-*-8g |
38.400 | 2400 |
a2-megagpu-16g |
38.400 | 2400 |
a3-*-1g |
28.800 | 1800 |
a3-*-2g |
38.400 | 2400 |
a3-*-4g |
38.400 | 2400 |
a3-*-8g (en modo de solo lectura)1 |
64.000 | 4000 |
a3-*-8g (en modo de lectura y escritura)1 |
38.400 | 2400 |
c3-*-4 |
6400 | 400 |
c3-*-8 |
12.800 | 800 |
c3-*-22 |
28.800 | 1800 |
c3-*-44 |
38.400 | 2400 |
c3-*-88 |
38.400 | 2400 |
c3-*-176 |
38.400 | 2400 |
c3-*-192 |
38.400 | 2400 |
c3d-*-4 |
6400 | 400 |
c3d-*-8 |
12.800 | 800 |
c3d-*-16 |
19.200 | 1200 |
c3d-*-30 |
19.200 | 1200 |
c3d-*-60 |
38.400 | 2400 |
c3d-*-90 |
38.400 | 2400 |
c3d-*-180 |
38.400 | 2400 |
c3d-*-360 |
38.400 | 2400 |
ct6e-standard-1t |
19.200 | 1200 |
ct6e-standard-4t |
28.800 | 1800 |
ct6e-standard-8t |
28.800 | 1800 |
g2-standard-4 |
12.800 | 800 |
g2-standard-8 |
19.200 | 1200 |
g2-standard-12 |
28.800 | 1800 |
g2-standard-16 |
38.400 | 2400 |
g2-standard-24 |
38.400 | 2400 |
g2-standard-32 |
38.400 | 2400 |
g2-standard-48 |
38.400 | 2400 |
g2-standard-96 |
38.400 | 2400 |
1 En las instancias a3-*-8g
, el rendimiento depende
de si el volumen de Hyperdisk ML está conectado a la instancia en modo de solo lectura o de lectura y escritura.
Disponibilidad regional de Hyperdisk ML
Hyperdisk ML está disponible en las siguientes regiones y zonas:
Región | Zonas disponibles |
---|---|
Condado de Changhua (Taiwán): asia-east1 |
asia-east1-a |
asia-east1-b |
|
asia-east1-c |
|
Tokio (Japón), asia-northeast1 |
asia-northeast1-a |
asia-northeast1-b |
|
asia-northeast1-c |
|
Seúl (Corea del Sur) — asia-northeast3 |
asia-northeast3-a |
asia-northeast3-b |
|
Jurong West (Singapur) — asia-southeast1 |
asia-southeast1-a |
asia-southeast1-b |
|
asia-southeast1-c |
|
Bombay (India) asia-south1 |
asia-south1-b |
asia-south1-c |
|
Saint-Ghislain (Bélgica)europe-west1 |
europe-west1-b |
europe-west1-c |
|
Londres (Inglaterra) — europe-west2 |
europe-west2-a |
europe-west2-b |
|
europe-west3-b |
|
Eemshaven (Países Bajos) —europe-west4 |
europe-west4-a |
europe-west4-b |
|
europe-west4-c |
|
Zúrich (Suiza) — europe-west6 |
europe-west6-b |
europe-west6-c |
|
Tel Aviv (Israel) me-west1 |
me-west1-b |
me-west1-c |
|
Council Bluffs (Iowa):us-central1 |
us-central1-a |
us-central1-b |
|
us-central1-c |
|
us-central1-f |
|
Moncks Corner (Carolina del Sur): us-east1 |
us-east1-b |
us-east1-c |
|
us-east1-d |
|
Ashburn (Virginia): us-east4 |
us-east4-a |
us-east4-b |
|
us-east4-c |
|
Columbus (Ohio) — us-east5 |
us-east5-a |
us-east5-b |
|
us-east5-c |
|
Dallas (Texas, EE. UU.)—us-south1 |
us-south1-a |
The Dalles (Oregón): us-west1 |
us-west1-a |
us-west1-b |
|
us-west1-c |
|
Salt Lake City (Utah): us-west3 |
us-west3-b |
Las Vegas (Nevada, EE. UU.)—us-west4 |
us-west4-a |
us-west4-b |
|
us-west4-c |
Protección ante desastres para volúmenes de Hyperdisk ML
Puedes crear copias de seguridad de un volumen de Hyperdisk ML con capturas estándar. Las capturas crean copias de seguridad de los datos de un volumen de Hyperdisk ML en un momento específico.
Replicación entre zonas
No puedes replicar volúmenes de Hyperdisk ML en otra zona. Para replicar datos en otra zona de la misma región, debes usar volúmenes Hyperdisk Balanced High Availability.
Compartir un volumen de Hyperdisk ML entre máquinas virtuales
En el caso de las cargas de trabajo de aprendizaje automático optimizadas para aceleradores, puedes conectar el mismo volumen de Hyperdisk ML a varias instancias. Esto permite el acceso simultáneo de solo lectura a un único volumen desde varias máquinas virtuales. Es más rentable que tener varios discos con los mismos datos.
No hay costes adicionales asociados a compartir un disco entre máquinas virtuales. Montar un disco en modo de solo lectura en varias VMs no afecta al rendimiento del disco. Cada máquina virtual puede alcanzar el rendimiento máximo de disco posible para la serie de máquinas de la máquina virtual.
Limitaciones para compartir Hyperdisk ML entre instancias
- Los volúmenes de Hyperdisk ML no admiten el modo de multiescritura. Puedes compartir un volumen de Hyperdisk ML entre varias instancias si el volumen está en modo de solo lectura.
- Los volúmenes de Hyperdisk ML no se pueden adjuntar a una sola instancia en modo de solo lectura.
- Si compartes un volumen de Hyperdisk ML en modo de solo lectura, no podrás volver a habilitar el acceso de escritura al disco.
- Puede asociar un volumen de Hyperdisk ML a un máximo de 100 instancias cada 30 segundos.
- En el caso de los volúmenes de Hyperdisk ML, el número máximo de instancias depende de lo siguiente: el tamaño aprovisionado, como se indica a continuación:
- Volúmenes con una capacidad de hasta 256 GiB: 2500 instancias
- Volúmenes con una capacidad de entre 257 GiB y 1 TiB: 600 instancias
- Volúmenes con una capacidad de entre 1001 TiB y 2 TiB: 300 instancias
- Volúmenes con una capacidad de entre 2,001 TiB y 16 TiB: 128 instancias
- Volúmenes con una capacidad de 16.001 TiB o más: 30 instancias
Si el volumen está asociado a más de 20 máquinas virtuales, debes aprovisionar al menos 100 MiB/s de rendimiento para cada máquina virtual. Por ejemplo, si asocias un disco a 500 máquinas virtuales, debes aprovisionar el volumen con un rendimiento de al menos 50.000 MiB/s.
Para obtener más información, consulta Modo de solo lectura de Hyperdisk.
Precios
Se te facturará el tamaño y el rendimiento totales aprovisionados de tus volúmenes de Hyperdisk ML hasta que los elimines. Los cargos se aplican aunque el volumen no esté conectado a ninguna instancia o si la instancia está suspendida o detenida. Para obtener más información, consulta los precios de los discos.
Limitaciones
- Los volúmenes de Hyperdisk ML son zonales y solo se puede acceder a ellos desde la zona en la que se hayan creado.
- No puedes crear una imagen de máquina a partir de un volumen de Hyperdisk.
- No puedes crear una captura instantánea a partir de un volumen de Hyperdisk ML.
- No puedes usar Hyperdisk ML como discos de arranque.
- No puedes crear un disco Hyperdisk ML en modo de lectura y escritura único a partir de una captura o una imagen de disco. Debes crear el disco en modo de solo lectura para muchos.
- Puedes cambiar el tamaño de un volumen de Hyperdisk ML cada 4 horas y su tasa de transferencia cada 6 horas.
Siguientes pasos
Añadir un volumen de Hyperdisk ML a una VM