Parallelstore es un sistema de archivos distribuido completamente administrado y de baja latencia diseñado para satisfacer las demandas del entrenamiento de IA/AA y las cargas de trabajo de computación de alto rendimiento (HPC) que necesitan una latencia extremadamente baja (inferior a un milisegundo), semántica POSIX completa y una alta capacidad de procesamiento de operaciones de metadatos. Parallelstore se adapta a velocidades de lectura de 1 TB/s y millones de IOPS.
Para conectar un clúster de Google Kubernetes Engine (GKE) a una instancia de Parallelstore, usa el controlador de Container Storage Interface (CSI) de Parallelstore. El controlador de CSI de Parallelstore te permite usar la API de GKE para consumir instancias de Parallelstore como volúmenes para tus cargas de trabajo con estado (por ejemplo, Pods y Jobs). Está optimizado para cargas de trabajo de entrenamiento de IA/AA, en particular aquellas que involucran tamaños de archivo más pequeños y lecturas aleatorias.
GKE habilita el controlador de CSI de forma predeterminada cuando creas un clúster de GKE Autopilot nuevo. En los clústeres de GKE Standard nuevos y existentes, deberás habilitar el controlador de CSI.
Beneficios
Puedes usar el controlador de CSI de Parallelstore para aprovechar el almacenamiento de alto rendimiento. Con el controlador CSI de Parallelstore, puedes acelerar tus cargas de trabajo de computación de alto rendimiento y entrenamiento de IA/AA, con un acceso rápido y coherente a los datos compartidos para un procesamiento y análisis eficientes.
- Tienes acceso a sistemas de archivos paralelos completamente administrados como almacenamiento a través de las APIs de Kubernetes.
- El controlador de CSI de Parallelstore de Google Kubernetes Engine admite los modos de acceso ReadWriteMany, ReadOnlyMany y ReadWriteOnce.
- Puedes usar el controlador de CSI de Parallelstore de Google Kubernetes Engine para aprovisionar de forma dinámica tus PersistentVolumes.
- Puedes acceder a instancias de Parallelstore existentes en cargas de trabajo de Kubernetes. También puedes crear instancias de Parallelstore de forma dinámica y usarlas en cargas de trabajo de Kubernetes con un StatefulSet o una Deployment.
Limitaciones
Persistencia de datos: Parallelstore es un sistema de archivos "scratch plus". Está respaldado por un SSD local con codificación de borrado 2+1, y el tiempo medio hasta la pérdida de datos es de dos meses. Parallelstore no es un almacenamiento a largo plazo, sino que debe considerarse un sistema de archivos extremadamente rápido para cargas de trabajo específicas.
Limitación por Pod: GKE admite el montaje de solo una instancia de Parallelstore por Pod.
- Transferencias de datos: La API de GKE no admite la transferencia de datos de Cloud Storage a Parallelstore. Para realizar la transferencia, usa la API de Parallelstore.
- Capacidad utilizable: Puedes configurar la capacidad de almacenamiento de 12,000 GiB a 100,000 GiB.
- Zonas admitidas: Parallelstore se admite en estas zonas. Si la región de tu clúster difiere de la de tu instancia de Parallelstore, habrá una disminución notable en el rendimiento de E/S.
- Limitaciones de los VPC-SC para Parallelstore: Si usas tanto la VPC compartida como los Controles del servicio de VPC, debes tener el proyecto host que proporciona la red y el proyecto de servicio que contiene la instancia de Parallelstore dentro del mismo perímetro para que la instancia de Parallelstore funcione correctamente. Separar el proyecto host y el proyecto de servicio con un perímetro puede hacer que las instancias existentes dejen de estar disponibles y que no se creen instancias nuevas.
- Compatibilidad con máquinas ARM: El controlador CSI de Parallelstore solo admite nodos de arquitectura amd64. Por el momento, no se admiten los nodos basados en ARM.
Requisitos
Para usar el controlador de CSI de Parallelstore, tus clústeres deben cumplir con los siguientes requisitos:
- Asegúrate de haber instalado la versión más reciente de Google Cloud CLI. La versión mínima admitida de gcloud CLI para esta función es la 469.0.0 o una posterior.
- Usa la versión 1.29 o posterior del clúster de Google Kubernetes Engine.
¿Qué sigue?
- Crea y usa un volumen respaldado por una instancia de Parallelstore en Google Kubernetes Engine.
- Accede a una instancia de Parallelstore existente desde Google Kubernetes Engine.