Acerca de Hyperdisk ML


En este documento se describen las características de Hyperdisk ML, que ofrece la mayor cantidad de datos de todos los tipos de Google Cloud Hyperdisk. Google recomienda usar Hyperdisk ML para el aprendizaje automático y para las cargas de trabajo que requieren un alto rendimiento de lectura en conjuntos de datos inmutables. El alto rendimiento de Hyperdisk ML proporciona resultados con tiempos de carga de datos más rápidos, tiempos de inactividad del acelerador más cortos y costes de computación más bajos.

Para cargas de trabajo de inferencia, entrenamiento y HPC de gran tamaño, puedes asociar un solo volumen de Hyperdisk ML a varias instancias de proceso en el modo de solo lectura.

Puedes especificar hasta 1.200.000 MiB/s de cantidad de datos para un solo volumen de Hyperdisk ML. No puedes aprovisionar un nivel de IOPS, pero cada MiB/s de rendimiento aprovisionado incluye 16 IOPS, hasta un máximo de 19.200.000 IOPS.

Para obtener más información sobre Hyperdisk y los otros tipos de Hyperdisk, consulta Información sobre Hyperdisk.

Para crear un volumen de Hyperdisk ML, consulta Crear un volumen de Hyperdisk.

Casos prácticos

Hyperdisk ML es una buena opción para los siguientes casos prácticos:

  • Cargas de trabajo de HPC
  • Aprendizaje automático
  • Cargas de trabajo optimizadas para aceleradores

Compatibilidad con series de máquinas

Puedes usar Hyperdisk ML con las siguientes series de máquinas:

Acerca del rendimiento aprovisionado

No tienes que aprovisionar el rendimiento al crear volúmenes de HyperDisk. Si no aprovisionas el rendimiento, Compute Engine creará el volumen con los valores predeterminados, que podrás modificar más adelante. Para obtener más información sobre los valores predeterminados, consulta Valores predeterminados de IOPS y de rendimiento.

Si conoces tus necesidades de rendimiento, puedes especificar los límites de IOPS y de tasa de transferencia de un volumen de Hyperdisk ML al crearlo. También puedes cambiar los valores aprovisionados después de crear el volumen. No puedes especificar un nivel de IOPS o de rendimiento si no especificas un tamaño.

Límites de tamaño y rendimiento

Los siguientes límites se aplican a los valores de tamaño, rendimiento y IOPS que puede especificar para un volumen de Hyperdisk ML.

  • Tamaño: entre 4 GiB y 64 TiB. El tamaño predeterminado es de 100 GiB.

  • Rendimiento: entre 400 MiB/s y 1.200.000 MiB/s. Tanto el rendimiento mínimo como el máximo tienen sus propios límites en función del tamaño del volumen, tal como se indica a continuación:

    • Rendimiento mínimo: en el caso de los volúmenes de entre 4 y 3341 GiB, el valor mínimo es de 400 MiB/s. En el caso de los volúmenes con un tamaño de 3342 GiB o superior, el valor mínimo depende del tamaño y oscila entre 401 y 7680 MiB/s.

    • Rendimiento máximo: en el caso de los volúmenes de 750 GiB o más, el valor máximo es de 1.200.000 MiB/s. En el caso de los volúmenes de 749 GiB o menos, el valor máximo depende del tamaño y oscila entre 6400 y 1.200.000 MiB/s.

    Para ver ejemplos, consulta Límites del rendimiento aprovisionado.

  • IOPS: no puedes especificar un límite de IOPS para los volúmenes de Hyperdisk ML. En su lugar, los IOPS aprovisionados dependen del rendimiento aprovisionado. Cada volumen de Hyperdisk ML se aprovisiona con 16 IOPS por cada MiB/s de rendimiento, hasta un máximo de 19.200.000 IOPS.

Límites de la capacidad de procesamiento reservada

En la siguiente tabla se muestran los límites de rendimiento aprovisionado para los tamaños de volumen habituales. Si no aparece ningún tamaño, utilice la siguiente fórmula para calcular los valores permitidos, donde x es el tamaño del volumen en GiB:

  • Rendimiento mínimo configurable: MAX (400, 0.12x)
  • Rendimiento máximo configurable: MIN (1,200,000, 1600x)
Tamaño Rendimiento mínimo Rendimiento máximo
4 400 6400
10 400 16.000
50 400 80.000
64 400 102.400
100 400 160.000
300 400 480.000
500 400 800.000
1000 400 1200000
5000 600 1200000
25.000 3000 1200000
64.000 7680 1200000

Valores predeterminados de tamaño, IOPS y rendimiento

Si no especifica un valor de tamaño o de rendimiento al crear un volumen de Hyperdisk ML, Compute Engine asigna valores predeterminados.

El tamaño predeterminado de los volúmenes de Hyperdisk ML es de 100 GiB.

Los IOPS y el rendimiento predeterminados se basan en las siguientes fórmulas.

  • Rendimiento predeterminado: MAX (24x, 400) MiB/s, donde x es el tamaño del volumen en GiB.
  • IOPS predeterminadas: 16t, donde t es el rendimiento predeterminado. No puedes configurar directamente el nivel de IOPS.

Cambiar el rendimiento o el tamaño aprovisionados

Puedes cambiar el tamaño aprovisionado cada 4 horas y su capacidad de procesamiento cada 6 horas. Para obtener instrucciones sobre cómo modificar el tamaño o el rendimiento, consulta Modificar un volumen de Hyperdisk.

Límites de rendimiento cuando se adjunta a una instancia

En esta sección se indican los límites de rendimiento de Hyperdisk ML. Puedes especificar hasta 1.200.000 MiB/s de cantidad de datos para un solo volumen de Hyperdisk ML. No puedes aprovisionar un nivel de IOPS, pero cada MiB/s de rendimiento aprovisionado incluye 16 IOPS, hasta un máximo de 19.200.000 IOPS.

En esta sección se indica el rendimiento máximo que pueden alcanzar los volúmenes de Hyperdisk ML en cada instancia admitida. El rendimiento de un volumen de Hyperdisk ML cuando se adjunta a una instancia no puede superar los límites del tipo de máquina de la instancia. Los límites de rendimiento también se comparten entre todos los volúmenes de Hyperdisk ML conectados a la misma instancia, independientemente del rendimiento aprovisionado de cada volumen.

Situaciones que requieren varias instancias para alcanzar el rendimiento aprovisionado

El rendimiento aprovisionado de un volumen de Hyperdisk ML se comparte entre cada instancia a la que esté conectado el volumen, hasta el límite máximo del tipo de máquina que se indica en la siguiente tabla. Si el rendimiento aprovisionado de un volumen de Hyperdisk ML es superior al límite de rendimiento de una instancia, el volumen solo podrá alcanzar el rendimiento aprovisionado si está conectado a varias instancias. Las instancias a3-ultragpu-8 tienen un límite de rendimiento de 4000 MiB/s.

Por ejemplo, supongamos que tienes un volumen de Hyperdisk ML aprovisionado con 500.000 MiB/s de cantidad de datos y quieres asociar el volumen a a3-ultragpu-8 instancias. Una sola instancia de a3-ultragpu-8 no puede alcanzar un rendimiento superior a 4000 MiB/s. Por lo tanto, para alcanzar el rendimiento aprovisionado del volumen, debes asociar el volumen a al menos 125 (500.000/4000) instancias a3-ultragpu-8. Por otro lado, para el tipo de máquina a2-highgpu-1g, necesitarías 272 instancias.

Tipo de máquina de la instancia IOPS máximas Rendimiento máximo (MiB/s)
a2-*-1g 28.800 1800
a2-*-2g 38.400 2400
a2-*-4g 38.400 2400
a2-*-8g 38.400 2400
a2-megagpu-16g 38.400 2400
a3-*-1g 28.800 1800
a3-*-2g 38.400 2400
a3-*-4g 38.400 2400
a3-*-8g (en modo de solo lectura)1 64.000 4000
a3-*-8g (en modo de lectura y escritura)1 38.400 2400
c3-*-4 6400 400
c3-*-8 12.800 800
c3-*-22 28.800 1800
c3-*-44 38.400 2400
c3-*-88 38.400 2400
c3-*-176 38.400 2400
c3-*-192 38.400 2400
c3d-*-4 6400 400
c3d-*-8 12.800 800
c3d-*-16 19.200 1200
c3d-*-30 19.200 1200
c3d-*-60 38.400 2400
c3d-*-90 38.400 2400
c3d-*-180 38.400 2400
c3d-*-360 38.400 2400
ct6e-standard-1t 19.200 1200
ct6e-standard-4t 28.800 1800
ct6e-standard-8t 28.800 1800
g2-standard-4 12.800 800
g2-standard-8 19.200 1200
g2-standard-12 28.800 1800
g2-standard-16 38.400 2400
g2-standard-24 38.400 2400
g2-standard-32 38.400 2400
g2-standard-48 38.400 2400
g2-standard-96 38.400 2400

1 En las instancias a3-*-8g, el rendimiento depende de si el volumen de Hyperdisk ML está conectado a la instancia en modo de solo lectura o de lectura y escritura.

Disponibilidad regional de Hyperdisk ML

Hyperdisk ML está disponible en las siguientes regiones y zonas:

Región Zonas disponibles
Condado de Changhua (Taiwán): asia-east1 asia-east1-a
asia-east1-b
asia-east1-c
Tokio (Japón), asia-northeast1 asia-northeast1-a
asia-northeast1-b
asia-northeast1-c
Seúl (Corea del Sur) — asia-northeast3 asia-northeast3-a
asia-northeast3-b
Jurong West (Singapur) — asia-southeast1 asia-southeast1-a
asia-southeast1-b
asia-southeast1-c
Bombay (India) asia-south1 asia-south1-b
asia-south1-c
Saint-Ghislain (Bélgica)europe-west1 europe-west1-b
europe-west1-c
Londres (Inglaterra) — europe-west2 europe-west2-a
europe-west2-b
europe-west3-b
Eemshaven (Países Bajos) —europe-west4 europe-west4-a
europe-west4-b
europe-west4-c
Zúrich (Suiza) — europe-west6 europe-west6-b
europe-west6-c
Tel Aviv (Israel) me-west1 me-west1-b
me-west1-c
Council Bluffs (Iowa):us-central1 us-central1-a
us-central1-b
us-central1-c
us-central1-f
Moncks Corner (Carolina del Sur): us-east1 us-east1-b
us-east1-c
us-east1-d
Ashburn (Virginia): us-east4 us-east4-a
us-east4-b
us-east4-c
Columbus (Ohio) — us-east5 us-east5-a
us-east5-b
us-east5-c
Dallas (Texas, EE. UU.)—us-south1 us-south1-a
The Dalles (Oregón): us-west1 us-west1-a
us-west1-b
us-west1-c
Salt Lake City (Utah): us-west3 us-west3-b
Las Vegas (Nevada, EE. UU.)—us-west4 us-west4-a
us-west4-b
us-west4-c

Protección ante desastres para volúmenes de Hyperdisk ML

Puedes crear copias de seguridad de un volumen de Hyperdisk ML con capturas estándar. Las capturas crean copias de seguridad de los datos de un volumen de Hyperdisk ML en un momento específico.

Replicación entre zonas

No puedes replicar volúmenes de Hyperdisk ML en otra zona. Para replicar datos en otra zona de la misma región, debes usar volúmenes Hyperdisk Balanced High Availability.

Compartir un volumen de Hyperdisk ML entre máquinas virtuales

En el caso de las cargas de trabajo de aprendizaje automático optimizadas para aceleradores, puedes conectar el mismo volumen de Hyperdisk ML a varias instancias. Esto permite el acceso simultáneo de solo lectura a un único volumen desde varias máquinas virtuales. Es más rentable que tener varios discos con los mismos datos.

No hay costes adicionales asociados a compartir un disco entre máquinas virtuales. Montar un disco en modo de solo lectura en varias VMs no afecta al rendimiento del disco. Cada máquina virtual puede alcanzar el rendimiento máximo de disco posible para la serie de máquinas de la máquina virtual.

Limitaciones para compartir Hyperdisk ML entre instancias

  • Los volúmenes de Hyperdisk ML no admiten el modo de multiescritura. Puedes compartir un volumen de Hyperdisk ML entre varias instancias si el volumen está en modo de solo lectura.
  • Los volúmenes de Hyperdisk ML no se pueden adjuntar a una sola instancia en modo de solo lectura.
  • Si compartes un volumen de Hyperdisk ML en modo de solo lectura, no podrás volver a habilitar el acceso de escritura al disco.
  • Puede asociar un volumen de Hyperdisk ML a un máximo de 100 instancias cada 30 segundos.
  • En el caso de los volúmenes de Hyperdisk ML, el número máximo de instancias depende de lo siguiente:
  • el tamaño aprovisionado, como se indica a continuación:
    • Volúmenes con una capacidad de hasta 256 GiB: 2500 instancias
    • Volúmenes con una capacidad de entre 257 GiB y 1 TiB: 600 instancias
    • Volúmenes con una capacidad de entre 1001 TiB y 2 TiB: 300 instancias
    • Volúmenes con una capacidad de entre 2,001 TiB y 16 TiB: 128 instancias
    • Volúmenes con una capacidad de 16.001 TiB o más: 30 instancias

Si el volumen está asociado a más de 20 máquinas virtuales, debes aprovisionar al menos 100 MiB/s de rendimiento para cada máquina virtual. Por ejemplo, si asocias un disco a 500 máquinas virtuales, debes aprovisionar el volumen con un rendimiento de al menos 50.000 MiB/s.

Para obtener más información, consulta Modo de solo lectura de Hyperdisk.

Precios

Se te facturará el tamaño y el rendimiento totales aprovisionados de tus volúmenes de Hyperdisk ML hasta que los elimines. Los cargos se aplican aunque el volumen no esté conectado a ninguna instancia o si la instancia está suspendida o detenida. Para obtener más información, consulta los precios de los discos.

Limitaciones

  • Los volúmenes de Hyperdisk ML son zonales y solo se puede acceder a ellos desde la zona en la que se hayan creado.
  • No puedes crear una imagen de máquina a partir de un volumen de Hyperdisk.
  • No puedes crear una captura instantánea a partir de un volumen de Hyperdisk ML.
  • No puedes usar Hyperdisk ML como discos de arranque.
  • No puedes crear un disco Hyperdisk ML en modo de lectura y escritura único a partir de una captura o una imagen de disco. Debes crear el disco en modo de solo lectura para muchos.
  • Puedes cambiar el tamaño de un volumen de Hyperdisk ML cada 4 horas y su tasa de transferencia cada 6 horas.

Siguientes pasos

Añadir un volumen de Hyperdisk ML a una VM