À propos de Hyperdisk ML


Ce document décrit les fonctionnalités d'Hyperdisk ML, qui offre le débit le plus élevé de tous les types d'Google Cloud Hyperdisk. Google recommande d'utiliser Hyperdisk ML pour le machine learning et les charges de travail nécessitant un débit de lecture élevé sur des ensembles de données immuables. Le débit élevé d'Hyperdisk ML permet de réduire les temps de chargement des données, de réduire les temps d'inactivité de l'accélérateur et de réduire les coûts de calcul.

Pour les charges de travail d'inférence, d'entraînement et de HPC volumineuses, vous pouvez associer un seul volume Hyperdisk ML à plusieurs instances de calcul en mode lecture seule.

Vous pouvez spécifier jusqu'à 1 200 000 Mo/s de débit pour un seul volume Hyperdisk ML. Vous ne pouvez pas provisionner un niveau d'IOPS, mais chaque Mio/s de débit provisionné est associé à 16 IOPS, jusqu'à 19 200 000 IOPS.

Pour en savoir plus sur Hyperdisk et les autres types d'hyperdisques, consultez la page À propos d'Hyperdisk.

Pour créer un volume Hyperdisk ML, consultez la section Créer un volume Hyperdisk.

Cas d'utilisation

Hyperdisk ML est adapté aux cas d'utilisation suivants:

  • Charges de travail HPC
  • Machine learning
  • Charges de travail optimisées pour les accélérateurs

Compatibilité avec les séries de machines

Vous pouvez utiliser Hyperdisk ML avec les séries de machines suivantes:

À propos des performances provisionnées

Vous n'avez pas besoin de provisionner les performances lorsque vous créez des volumes Hyperdisk. Si vous ne provisionnez pas les performances, Compute Engine crée le volume avec des valeurs par défaut que vous pouvez modifier ultérieurement. Pour en savoir plus sur les valeurs par défaut, consultez la section Valeurs par défaut des IOPS et du débit.

Si vous connaissez vos besoins en performances, vous pouvez spécifier des limites d'IOPS et de débit pour un volume Hyperdisk ML lorsque vous le créez. Vous pouvez également modifier les valeurs provisionnées après avoir créé le volume. Vous ne pouvez pas spécifier de niveau d'IOPS ou de débit si vous ne spécifiez pas de taille.

Limites de taille et de performances

Les limites suivantes s'appliquent aux valeurs de taille, de débit et d'IOPS que vous pouvez spécifier pour un volume Hyperdisk ML.

  • Taille: entre 4 Gio et 64 Tio. La taille par défaut est de 100 Gio.

  • Débit: entre 400 Mio/s et 1 200 000 Mio/s Le débit minimal et maximal ont chacun leurs propres limites en fonction de la taille du volume, comme suit:

    • Débit minimal: pour les volumes de 4 à 3 341 Gio, la valeur minimale est de 400 Mo/s. Pour les volumes de 3 342 Gio ou plus, la valeur minimale dépend de la taille et varie entre 401 et 7 680 Mo/s.

    • Débit maximal: pour les volumes de 750 Gio ou plus, la valeur maximale est de 1 200 000 Mio/s. Pour les volumes de 749 Gio ou moins, la valeur maximale dépend de la taille et varie entre 6 400 et 1 199 999 Mio/s.

    Pour obtenir des exemples, consultez la section Limites du débit provisionné.

  • IOPS: vous ne pouvez pas spécifier de limite d'IOPS pour les volumes Hyperdisk ML. Au lieu de cela, les IOPS provisionnés dépendent du débit provisionné. Chaque volume Hyperdisk ML est provisionné avec 16 IOPS pour chaque MiB/s de débit, jusqu'à un maximum de 19 200 000 IOPS.

Limites du débit provisionné

Le tableau suivant indique les limites de débit provisionné pour les tailles de volume courantes. Si une taille n'est pas indiquée, utilisez la formule suivante pour calculer les valeurs autorisées, où x correspond à la taille du volume en Gio:

  • Débit configurable minimal: MAX (400, 0.12x)
  • Débit configurable maximal: MIN (1200000, 1600x)
Taille Débit minimal Débit maximal
4 400 6 400
10 400 16 000
50 400 80 000
64 400 102 400
100 400 160 000
300 400 480 000
500 400 800 000
1 000 400 1200000
5 000 600 1200000
25 000 3 000 1200000
64 000 7 680 1200000

Valeurs par défaut des IOPS et du débit

Si vous ne spécifiez pas de limite d'IOPS ou de débit lorsque vous créez un volume Hyperdisk ML, Compute Engine attribue des valeurs par défaut. La valeur attribuée est basée sur les formules suivantes, où x correspond à la taille du volume en Gio.

  • Débit par défaut: MAX (24x, 400) Mio/s
  • Taille par défaut: 100 Gio

Modifier les performances ou la taille provisionnées

Vous pouvez modifier la taille provisionnée toutes les quatre heures et son débit toutes les six heures. Pour savoir comment modifier la taille ou les performances, consultez la section Modifier un volume Hyperdisk.

Limites de performances lorsqu'elles sont associées à une instance

Cette section liste les limites de performances du ML Hyperdisk. Vous pouvez spécifier jusqu'à 1 200 000 Mo/s de débit pour un seul volume Hyperdisk ML. Vous ne pouvez pas provisionner un niveau d'IOPS, mais chaque Mio/s de débit provisionné est associé à 16 IOPS, jusqu'à 19 200 000 IOPS.

Le tableau suivant indique les performances maximales que les volumes Hyperdisk ML peuvent atteindre pour chaque instance compatible. Les performances d'un volume Hyperdisk ML lorsqu'il est associé à une instance ne peuvent pas dépasser les limites du type de machine de l'instance. Les limites de performances sont également partagées entre tous les volumes Hyperdisk ML associés à la même instance, quelle que soit la performance provisionnée de chaque volume.

Scénarios nécessitant plusieurs instances pour atteindre les performances provisionnées

Le débit provisionné pour un volume Hyperdisk ML est partagé entre chaque instance à laquelle le volume est associé, jusqu'à la limite maximale du type de machine indiquée dans le tableau suivant. Si les performances provisionnées d'un volume Hyperdisk ML sont supérieures à la limite de performances d'une instance, le volume ne peut atteindre ses performances provisionnées que s'il est associé à plusieurs instances. Les instances a3-ultragpu-8 sont limitées à 4 000 Mio/s.

Par exemple, supposons que vous disposiez d'un volume Hyperdisk ML provisionné avec un débit de 500 000 Mo/s et que vous souhaitiez associer le volume à des instances a3-ultragpu-8. Une seule instance a3-ultragpu-8 ne peut pas atteindre plus de 4 000 Mo/s de débit. Par conséquent, pour atteindre le débit provisionné du volume, vous devez l'associer à au moins 125 (500 000/4 000) instances a3-ultragpu-8. En revanche, pour le type de machine a2-highgpu-1g, vous auriez besoin de 272 instances.

Type de machine de l'instance Nombre maximal d'IOPS Débit maximal (Mio/s)
a2-*-1g 28 800 1 800
a2-*-2g 38 400 2 400
a2-*-4g 38 400 2 400
a2-*-8g 38 400 2 400
a2-megagpu-16g 38 400 2 400
a3-*-1g 28 800 1 800
a3-*-2g 38 400 2 400
a3-*-4g 38 400 2 400
a3-*-8g (en mode lecture seule)1 64 000 4 000
a3-*-8g (en mode lecture-écriture)1 38 400 2 400
c3-*-4 6 400 400
c3-*-8 12 800 800
c3-*-22 28 800 1 800
c3-*-44 38 400 2 400
c3-*-88 38 400 2 400
c3-*-176 38 400 2 400
c3-*-192 38 400 2 400
c3d-*-4 6 400 400
c3d-*-8 12 800 800
c3d-*-16 19 200 1,200
c3d-*-30 19 200 1,200
c3d-*-60 38 400 2 400
c3d-*-90 38 400 2 400
c3d-*-180 38 400 2 400
c3d-*-360 38 400 2 400
ct6e-standard-1t 19 200 1,200
ct6e-standard-4t 28 800 1 800
ct6e-standard-8t 28 800 1 800
g2-standard-4 12 800 800
g2-standard-8 19 200 1,200
g2-standard-12 28 800 1 800
g2-standard-16 38 400 2 400
g2-standard-24 38 400 2 400
g2-standard-32 38 400 2 400
g2-standard-48 38 400 2 400
g2-standard-96 38 400 2 400

1 Pour les instances a3-*-8g, les performances dépendent du mode d'association du volume Hyperdisk ML à l'instance (lecture seule ou lecture/écriture).

Disponibilité régionale pour Hyperdisk ML

Hyperdisk ML est disponible dans les régions et zones suivantes:

Région Zones disponibles
Comté de Changhua, Taïwan : asia-east1 asia-east1-a
asia-east1-b
asia-east1-c
Tokyo, Japon : asia-northeast1 asia-northeast1-a
asia-northeast1-b
asia-northeast1-c
Séoul, Corée du Sud : asia-northeast3 asia-northeast3-a
asia-northeast3-b
Jurong West, Singapour : asia-southeast1 asia-southeast1-a
asia-southeast1-b
asia-southeast1-c
Mumbai, Inde : asia-south1 asia-south1-b
asia-south1-c
Saint-Ghislain, Belgique : europe-west1 europe-west1-b
europe-west1-c
Londres, Angleterre : europe-west2 europe-west2-a
europe-west2-b
europe-west3-b
Eemshaven, Pays-Bas : europe-west4 europe-west4-a
europe-west4-b
europe-west4-c
Zurich, Suisse : europe-west6 europe-west6-b
europe-west6-c
Tel Aviv, Israël : me-west1 me-west1-b
me-west1-c
Council Bluffs, Iowa : us-central1 us-central1-a
us-central1-b
us-central1-c
us-central1-f
Moncks Corner, Caroline du Sud : us-east1 us-east1-b
us-east1-c
us-east1-d
Ashburn, Virginie : us-east4 us-east4-a
us-east4-b
us-east4-c
Columbus, Ohio : us-east5 us-east5-a
us-east5-b
us-east5-c
Dallas, Texas : us-south1 us-south1-a
The Dalles, Oregon : us-west1 us-west1-a
us-west1-b
us-west1-c
Salt Lake City, Utah : us-west3 us-west3-b
Las Vegas, Nevada : us-west4 us-west4-a
us-west4-b
us-west4-c

Protection contre les sinistres pour les volumes Hyperdisk ML

Vous pouvez sauvegarder un volume Hyperdisk ML à l'aide d'instantanés standards. Les instantanés sauvegardent les données d'un volume Hyperdisk ML à un moment précis.

Réplication interzone

Vous ne pouvez pas répliquer des volumes Hyperdisk ML dans une autre zone. Pour répliquer des données vers une autre zone de la même région, vous devez utiliser des volumes Hyperdisk équilibré à haute disponibilité.

Partager un volume Hyperdisk ML entre des VM

Pour les charges de travail de machine learning optimisées pour les accélérateurs, vous pouvez associer le même volume Hyperdisk ML à plusieurs instances. Cela permet un accès simultané en lecture seule à un volume unique à partir de plusieurs VM. Cette solution est plus rentable que d'avoir plusieurs disques contenant les mêmes données.

Le partage d'un disque entre plusieurs VM n'entraîne aucuns frais supplémentaires. Associer un disque en mode lecture seule à plusieurs VM n'a aucune incidence sur ses performances. Chaque VM peut toujours atteindre les performances de disque maximales possibles pour la série de machines de la VM.

Limites du partage de Hyperdisk ML entre des VM

  • Les volumes Hyperdisk ML ne sont pas compatibles avec le mode écriture simultanée. Vous pouvez partager un volume Hyperdisk ML entre plusieurs instances si le volume est en mode lecture seule.
  • Les volumes Hyperdisk ML ne peuvent pas être associés à une seule instance en mode lecture seule.
  • Si vous partagez un volume Hyperdisk ML en mode lecture seule, vous ne pouvez pas réactiver l'accès en écriture au disque.
  • Vous pouvez associer un volume Hyperdisk ML à un maximum de 100 instances toutes les 30 secondes.
  • Pour les volumes Hyperdisk ML, le nombre maximal d'instances dépend de
  • la taille provisionnée, comme suit :
    • Volumes de moins de 256 Gio: 2 500 VM
    • Volumes d'une capacité d'au moins 256 Gio et de moins d'un Tio : 1 500 VM
    • Volumes d'une capacité d'au moins 1 Tio et de moins de 2 Tio : 600 VM
    • Volumes de 2 Tio de capacité ou plus : 30 VM

Si le volume est associé à plus de 20 VM, vous devez provisionner au moins 100 MiB/s de débit pour chaque VM. Par exemple, si vous associez un disque à 500 VM, vous devez provisionner le volume avec un débit d'au moins 50 000 MiB/s.

Pour en savoir plus, consultez la section Mode lecture seule pour Hyperdisk.

Tarifs

La taille et le débit provisionnés au total de vos volumes Hyperdisk ML vous sont facturés jusqu'à ce que vous les supprimiez. Des frais sont facturés, même si le volume n'est associé à aucune instance, ou si l'instance est suspendue ou arrêtée. Pour en savoir plus, consultez la section Tarifs des disques.

Limites

  • Les volumes Hyperdisk ML sont zonaux et ne sont accessibles que depuis la zone dans laquelle vous avez créé le volume.
  • Vous ne pouvez pas créer d'image système à partir d'un volume Hyperdisk.
  • Vous ne pouvez pas créer d'instantané immédiat à partir d'un volume Hyperdisk ML.
  • Vous ne pouvez pas utiliser Hyperdisk ML comme disque de démarrage.
  • Vous ne pouvez pas créer de disque ML Hyperdisk en mode lecture-écriture-unique à partir d'un instantané ou d'une image disque. Vous devez créer le disque en mode lecture seule multiple.
  • Vous pouvez modifier la taille d'un volume Hyperdisk ML toutes les quatre heures et son débit toutes les six heures.

Étapes suivantes

Ajouter un volume Hyperdisk ML à votre VM