Options de stockage pour les données Cloud TPU
Ce document décrit les options de stockage de données disponibles pour l'entraînement de modèles sur Cloud TPU.
Présentation
Cloud TPU nécessite de stocker des données pour les opérations suivantes :
- Téléchargement et prétraitement des ensembles de données
- Traitement du pipeline d'entrée de l'hôte
- Entrées pour l'entraînement de modèle
- Résultats de l'entraînement de modèle
Les options de stockage pour les données d'application et les ensembles de données d'entraînement Cloud TPU sont les suivantes:
- Stockage de blocs durable, y compris le disque de démarrage et les disques de stockage associés
- Buckets Cloud Storage
- Cloud Storage FUSE
- Un partage de fichiers Filestore sur une VM Compute Engine
Pour en savoir plus sur la gestion de l'espace de stockage, consultez les pages suivantes:
- Choisir un type de disque
- Configurer les disques pour répondre aux exigences de performances
- Tarifs des disques et des images
Stockage de blocs durable
Le stockage en bloc durable, également appelé disque ou volume, est destiné aux données que vous souhaitez conserver après avoir arrêté, suspendu ou supprimé votre VM TPU. Le stockage en bloc durable reste disponible même si la VM TPU plante ou échoue. Vous pouvez utiliser le disque de démarrage de la VM TPU ou associer un stockage de blocs supplémentaire à votre TPU.
Vous pouvez associer un disque supplémentaire dans les cas suivants:
- La taille de votre ensemble de données d'entraînement dépasse la taille du disque de démarrage du TPU.
- Vous disposez de données en lecture seule et souhaitez accélérer l'accès en lecture à l'aide d'un volume Hyperdisk ML.
Vous pouvez associer deux types de stockage de blocs durables à un Cloud TPU : Google Cloud Hyperdisk et Persistent Disk. Les disques persistants ne sont pas compatibles avec la dernière série de machines, y compris Cloud TPU v6e. Google vous recommande d'utiliser Google Cloud Hyperdisk pour bénéficier des performances et des fonctionnalités avancées les plus élevées.
Disque de démarrage de la VM TPU
Par défaut, chaque VM Cloud TPU dispose d'un seul disque de démarrage de 100 Go contenant le système d'exploitation. Le disque de démarrage peut également être utilisé pour le stockage temporaire des ensembles de données téléchargés à des fins de prétraitement, ainsi que pour stocker des données d'entrée et de sortie de modèle, à condition que le volume total ne dépasse pas l'espace disponible sur le disque de démarrage.
Vous ne pouvez pas redimensionner le disque de démarrage d'un Cloud TPU. Si votre application nécessite davantage d'espace de stockage au-delà du volume offert par défaut par le disque de démarrage, vous pouvez ajouter un ou plusieurs disques durables à votre instance de VM TPU. Pour en savoir plus, consultez Associer un stockage de blocs durable à une VM TPU.
Stockage associé
Hyperdisk et Persistent Disk sont tous deux des périphériques de stockage réseau durables auxquels vos instances de VM peuvent accéder, comme des disques physiques sur un ordinateur ou un serveur. Les deux types de disques sont créés indépendamment de vos instances de machine virtuelle (VM). Vous pouvez donc conserver vos données même après avoir supprimé vos instances de VM.
L'utilisation d'Hyperdisk par rapport à Persistent Disk présente plusieurs avantages, comme des performances personnalisables, des limites d'IOPS et de débit plus élevées. Pour en savoir plus sur Hyperdisk et Persistent Disk, consultez la section Choisir un type de disque.
Pour en savoir plus sur l'utilisation du stockage de blocs durable avec des VM TPU, consultez Associer un stockage de blocs durable à une VM TPU.
Sauvegardes de disque
Il peut être difficile de récupérer les données du disque de démarrage si la VM TPU se bloque à l'état "inconnu" ou de récupérer les données supprimées. Veillez à sauvegarder vos données à l'aide d'une autre option de stockage, telle que des buckets Cloud Storage.
Si vous stockez des données sur un disque associé, vous pouvez utiliser des instantanés de disque, qui sauvegardent les données d'un disque de manière incrémentielle. Les instantanés de disque ne sont pas compatibles avec le disque de démarrage du TPU. Pour en savoir plus, consultez la section À propos des instantanés de disque.
Buckets Cloud Storage
Les buckets Cloud Storage sont une option de stockage flexible, évolutive et durable pour vos instances de VM. Si votre tâche d'entraînement ne nécessite pas la latence réduite du stockage de blocs durable, vous pouvez stocker votre ensemble de données dans un bucket Cloud Storage.
Les performances des buckets Cloud Storage dépendent de la classe de stockage que vous sélectionnez et de l'emplacement du bucket par rapport à votre instance.
Créer votre bucket Cloud Storage dans la même zone que votre VM TPU offre des performances comparables à celles du stockage de blocs durable, mais avec une latence plus élevée et des caractéristiques de débit moins cohérentes.
Tous les buckets Cloud Storage sont dotés d'une fonction de redondance intégrée qui protège vos données contre les pannes de matériel et assure la disponibilité de celles-ci lors des événements de maintenance du centre de données. Le calcul d'une somme de contrôle pour toutes les opérations Cloud Storage permet de s'assurer que les données lues sont bien identiques à celles qui ont été écrites.
Contrairement au stockage en bloc durable, les buckets Cloud Storage ne sont pas limités à la zone dans laquelle se trouve votre instance. Vous pouvez également lire et écrire des données dans un bucket à partir de plusieurs instances simultanément. Par exemple, vous pouvez configurer des instances dans plusieurs zones pour lire et écrire des données dans le même bucket au lieu de répliquer les données dans un stockage en bloc durable dans plusieurs zones.
Pour en savoir plus sur la connexion de votre VM TPU à un bucket Cloud Storage, consultez Se connecter aux buckets Cloud Storage.
Cloud Storage FUSE
Cloud Storage FUSE vous permet d'installer et d'accéder aux buckets Cloud Storage en tant que systèmes de fichiers locaux. Cela permet aux applications de lire et d'écrire des objets dans votre bucket à l'aide d'une sémantique standard de système de fichiers.
Pour en savoir plus sur le fonctionnement de Cloud Storage FUSE et sur la correspondance des opérations Cloud Storage FUSE avec les opérations Cloud Storage, consultez la documentation de Cloud Storage FUSE. Pour en savoir plus sur l'utilisation de Cloud Storage FUSE, par exemple pour installer la CLI Cloud Storage FUSE et installer des buckets, consultez GitHub.
Partage de fichiers Filestore
Le partage de fichiers Filestore est un stockage en réseau (NAS) entièrement géré pour Compute Engine. Filestore offre une compatibilité avec les applications d'entreprise existantes et prend en charge tous les clients compatibles avec NFSv3.
Filestore offre une latence faible lors des opérations de fichiers. Pour les charges de travail sensibles à la latence, Filestore accepte des capacités allant jusqu'à 100 Tio et des débits de 25 Gio/s et 720 000 IOPS, avec une variabilité minimale des performances.
Filestore vous permet d'installer des partages de fichiers sur des VM TPU.
Étape suivante
- Découvrez comment ajouter un stockage de blocs durable à votre instance.
- Découvrez comment connecter votre instance à un bucket Cloud Storage.