Pilote CSI Parallelstore Google Kubernetes Engine

Parallelstore n'est disponible que sur invitation. Si vous souhaitez demander l'accès à Parallelstore dans votre projet Google Cloud , contactez votre représentant commercial.

Parallelstore est un système de fichiers distribué à faible latence, entièrement géré, conçu pour répondre aux exigences de l'entraînement IA/ML et des charges de travail de calcul hautes performances (HPC) qui nécessitent une latence extrêmement faible (moins d'une milliseconde), une sémantique POSIX complète et un débit élevé des opérations de métadonnées. Parallelstore peut atteindre des vitesses de lecture de 1 To/s et des millions d'IOPS.

Pour connecter un cluster Google Kubernetes Engine (GKE) à une instance Parallelstore, utilisez le pilote CSI (Container Storage Interface) Parallelstore. Le pilote CSI Parallelstore vous permet d'utiliser l'API GKE pour utiliser des instances Parallelstore en tant que volumes pour vos charges de travail avec état (par exemple, des pods et des jobs). Il est optimisé pour les charges de travail d'entraînement d'IA/ML, en particulier celles impliquant des tailles de fichiers plus petites et des lectures aléatoires.

GKE active le pilote CSI par défaut lorsque vous créez un cluster GKE Autopilot. Sur les clusters GKE Standard nouveaux et existants, vous devez activer le pilote CSI.

Avantages

Vous pouvez utiliser le pilote CSI Parallelstore pour bénéficier d'un stockage hautes performances. Avec le pilote CSI Parallelstore, vous pouvez accélérer vos charges de travail de calcul hautes performances et d'entraînement d'IA/ML, avec un accès rapide et cohérent aux données partagées pour un traitement et une analyse efficaces.

  • Vous avez accès à des systèmes de fichiers parallèles entièrement gérés comme espace de stockage via les API Kubernetes.
  • Le pilote CSI Parallelstore de Google Kubernetes Engine est compatible avec les modes d'accès ReadWriteMany, ReadOnlyMany et ReadWriteOnce.
  • Vous pouvez utiliser le pilote CSI Parallelstore de Google Kubernetes Engine pour provisionner vos ressources PersistentVolume de manière dynamique.
  • Vous pouvez accéder aux instances Parallelstore existantes dans les charges de travail Kubernetes. Vous pouvez également créer des instances Parallelstore de manière dynamique et les utiliser dans des charges de travail Kubernetes à l'aide d'un objet StatefulSet ou Deployment.

Limites

  • Persistance des données: Parallelstore est un système de fichiers "scratch plus". Il est basé sur un SSD local avec un codage par effacement 2+1, et le délai moyen de perte de données est de deux mois. Parallelstore n'est pas un espace de stockage à long terme et doit être considéré comme un système de fichiers extrêmement rapide pour des charges de travail spécifiques.

  • Limite par pod: GKE ne permet de monter qu'une seule instance Parallelstore par pod.

Remarque:À partir de la version 1.32.1 de GKE, vous pouvez utiliser la fonctionnalité de montage de nœud du pilote CSI Parallelstore pour monter plusieurs instances Parallelstore par pod.
  • Transferts de données: l'API GKE n'est pas compatible avec le transfert de données de Cloud Storage vers Parallelstore. Pour effectuer le transfert, utilisez l'API Parallelstore.
  • Capacité utilisable: vous pouvez configurer la capacité de stockage entre 12 000 Gio et 100 000 Gio.
  • Zones compatibles: Parallelstore est compatible avec ces zones. Si la région de votre cluster diffère de celle de votre instance Parallelstore, les performances d'E/S diminueront de manière notable.
  • Limites de VPC-SC pour Parallelstore: si vous utilisez à la fois le VPC partagé et VPC Service Controls, vous devez disposer du projet hôte qui fournit le réseau et du projet de service qui contient l'instance Parallelstore dans le même périmètre pour que l'instance Parallelstore puisse fonctionner correctement. La séparation du projet hôte et du projet de service par rapport au périmètre peut rendre les instances existantes indisponibles et empêcher la création d'instances.

Conditions requises

Pour utiliser le pilote CSI Parallelstore, vos clusters doivent répondre aux exigences suivantes:

  • Assurez-vous d'avoir installé la dernière version de Google Cloud CLI. La version minimale de gcloud CLI compatible avec cette fonctionnalité est la version 469.0.0 ou ultérieure.
  • Utilisez la version 1.29 ou ultérieure du cluster Google Kubernetes Engine.

Étape suivante