Driver CSI do Parallelstore do Google Kubernetes Engine
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
O Parallelstore só está disponível por convite. Se você quiser solicitar
acesso ao Parallelstore no seu projeto Google Cloud , entre em contato com seu
representante de vendas.
O Parallelstore é um sistema de arquivos distribuído
de baixa latência e totalmente gerenciado, projetado para atender às demandas de treinamento de IA/ML e
cargas de trabalho de computação de alto desempenho (HPC) que precisam de latência extremamente baixa
(submilissegundos), semântica POSIX completa e alta
capacidade de operação de metadados. O Parallelstore é escalonado para velocidades de leitura de 1 TB/s
e milhões de IOPS.
Para conectar um cluster do Google Kubernetes Engine (GKE) a uma instância do Parallelstore,
use o driver da interface de armazenamento do contêiner (CSI, na sigla em inglês) do Parallelstore. O
driver CSI do Parallelstore permite usar a API GKE para consumir
instâncias do Parallelstore como volumes para cargas de trabalho com estado (por exemplo,
pods e jobs). Ele é otimizado para cargas de trabalho de treinamento de IA/ML, principalmente aquelas
que envolvem tamanhos de arquivo menores e leituras aleatórias.
O GKE ativa o driver CSI por padrão quando você cria um
novo cluster do GKE Autopilot. Em clusters novos e
atualizados do GKE Standard, é necessário ativar o
driver CSI.
Benefícios
É possível usar o driver CSI do Parallelstore para aproveitar o armazenamento de alto desempenho.
Com o driver CSI do Parallelstore, você pode acelerar as cargas de trabalho de treinamento de IA/ML e computação de alto desempenho, com acesso rápido e consistente a dados compartilhados para processamento e análise eficientes.
Você tem acesso a sistemas de arquivos paralelos totalmente gerenciados como armazenamento
pelas
APIs do Kubernetes.
O driver CSI do Parallelstore do Google Kubernetes Engine oferece suporte aos modos de acessoReadWriteMany, ReadOnlyMany e ReadWriteOnce.
É possível usar o driver CSI do Parallelstore do Google Kubernetes Engine para provisionar dinamicamente
os PersistentVolumes.
É possível acessar instâncias atuais do Parallelstore em cargas de trabalho do Kubernetes. Também é possível
criar instâncias do Parallelstore de forma dinâmica e usá-las em cargas de trabalho do
Kubernetes com um
StatefulSet
ou uma
Deployment.
Limitações
Persistência de dados: o Parallelstore é um sistema de arquivos "scratch plus". Ele é
apoiado pelo SSD local com codificação de apagamento 2+1, e o tempo médio para perda de dados é
de dois meses. O Parallelstore não é armazenamento de longo prazo e deve ser
considerado um sistema de arquivos extremamente rápido para cargas de trabalho específicas.
Limitação por pod: o GKE oferece suporte à montagem de apenas uma
instância do Parallelstore por pod.
Observação:a partir da versão 1.32.3 do GKE,
é possível usar o recurso montagem de nó
do driver CSI do Parallelstore para montar várias instâncias do Parallelstore
por pod.
Transferências de dados: a API GKE não oferece suporte à transferência de dados do Cloud Storage para o Parallelstore. Para realizar a transferência, use a
API Parallelstore.
Observação:a partir da versão 1.31.1 do GKE,
é possível usar o GKE Volume Populator
para transferir dados do Cloud Storage para o Parallelstore durante o provisionamento dinâmico.
Capacidade utilizável: é possível configurar a capacidade de armazenamento de 12.000 GiB
a 100.000 GiB.
Zonas com suporte: o Parallelstore tem suporte nessas zonas. Se a região do cluster for diferente da instância do Parallelstore, haverá uma queda perceptível no desempenho de E/S.
Limitações do VPC-SC para Parallelstore: se você usa a VPC compartilhada e o VPC Service Controls, é necessário que o projeto host que fornece a rede e o projeto de serviço que contém a instância do Parallelstore estejam no mesmo perímetro para que a instância do Parallelstore funcione corretamente. Separar o
projeto de host e o projeto de serviço com um perímetro pode fazer com que as instâncias
fiquem indisponíveis e impedir a criação de novas instâncias.
Suporte a máquinas ARM: o driver CSI do Parallelstore é compatível apenas com nós de arquitetura amd64. No momento, não há suporte para nós baseados em ARM.
Requisitos
Para usar o driver CSI do Parallelstore, os clusters precisam atender aos seguintes
requisitos:
Verifique se você instalou a versão mais recente da CLI do Google Cloud. A versão mínima da gcloud CLI
compatível com esse recurso é a 469.0.0 ou mais recente.
Use a versão 1.29 ou mais recente do cluster do Google Kubernetes Engine.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-09-04 UTC."],[],[],null,["# Google Kubernetes Engine Parallelstore CSI driver\n\nParallelstore is available by invitation only. If you'd like to request access to Parallelstore in your Google Cloud project, contact your sales representative.\n\n[Parallelstore](/parallelstore/docs/overview) is a fully managed, low-latency\ndistributed file system designed to meet the demands of AI/ML training and\nhigh performance computing (HPC) workloads that need extremely low latency\n(sub-millisecond), full POSIX semantics, and high\nmetadata operation throughput. Parallelstore scales to 1 TB/s read speeds\nand millions of IOPS.\n\nTo connect a Google Kubernetes Engine (GKE) cluster to a Parallelstore instance,\nuse the Parallelstore Container Storage Interface (CSI) driver. The\nParallelstore CSI driver lets you use the GKE API to consume\nParallelstore instances as volumes for your stateful workloads (for example,\nPods and Jobs). It's optimized for AI/ML training workloads, particularly those\ninvolving smaller file sizes and random reads.\n\nGKE enables the CSI driver for you by default when you create a\nnew GKE Autopilot cluster. On new and existing\nGKE Standard clusters, you'll need to enable the\nCSI driver.\n\nBenefits\n--------\n\nYou can use the Parallelstore CSI driver to benefit from high-performance storage.\nWith the Parallelstore CSI driver, you can accelerate your high performance\ncomputing and AI/ML training workloads, with fast, consistent access to shared\ndata for efficient processing and analysis.\n\n- You have access to fully-managed parallel file systems as your storage through the [Kubernetes APIs](https://kubernetes.io/docs/tasks/administer-cluster/access-cluster-api).\n- The Google Kubernetes Engine Parallelstore CSI driver supports the **ReadWriteMany** , **ReadOnlyMany** , and **ReadWriteOnce** [access modes](https://kubernetes.io/docs/concepts/storage/persistent-volumes/#access-modes).\n- You can use the Google Kubernetes Engine Parallelstore CSI driver to dynamically provision your PersistentVolumes.\n- You can access existing Parallelstore instances in Kubernetes workloads. You can also dynamically create Parallelstore instances and use them in Kubernetes workloads with a [StatefulSet](https://kubernetes.io/docs/concepts/workloads/controllers/statefulset/) or a [Deployment](https://kubernetes.io/docs/concepts/workloads/controllers/deployment/).\n\nLimitations\n-----------\n\n- **Data persistence**: Parallelstore is a \"scratch plus\" file system. It's\n backed by Local SSD with 2+1 erasure coding, and the mean time to data loss is\n two months. Parallelstore is not long-term storage and should instead be\n considered an extremely fast file system for specific workloads.\n\n- **Per-Pod limitation**: GKE supports mounting only one\n Parallelstore instance per Pod.\n\n**Note:** Starting with GKE version 1.32.3, you can use the [node mount](/parallelstore/docs/connect-from-kubernetes-engine#node-mount) feature of the Parallelstore CSI driver to mount multiple Parallelstore instances per Pod.\n\n- **Data transfers**: Transferring data from Cloud Storage to Parallelstore is not supported by the GKE API. To perform the transfer, use the Parallelstore API.\n\n**Note:** Starting with GKE version 1.31.1, you can use the [GKE Volume Populator](/kubernetes-engine/docs/how-to/persistent-volumes/volume-populator) to transfer data from Cloud Storage to Parallelstore during dynamic provisioning.\n\n- **Usable capacity**: You can configure storage capacity from 12,000 GiB to 100,000 GiB.\n- **Supported zones** : Parallelstore is supported in [these zones](/parallelstore/docs/locations). If the region of your cluster differs from that of your Parallelstore instance, there will be a noticeable decline in the I/O performance.\n- **VPC-SC limitations for Parallelstore**: If you use both Shared VPC and VPC Service Controls, you must have the host project that provides the network and the service project that contains the Parallelstore instance inside the same perimeter for the Parallelstore instance to function correctly. Separating the host project and service project with a perimeter might cause the existing instances to become unavailable and might not create new instances.\n- **ARM machine support**: The Parallelstore CSI Driver supports only amd64 architecture nodes. ARM-based nodes are not supported at this time.\n\nRequirements\n------------\n\nTo use the Parallelstore CSI driver, your clusters must meet the following\nrequirements:\n\n- Make sure you have installed the latest version of the [Google Cloud CLI](/sdk/gcloud#download_and_install_the). The minimum supported gcloud CLI version for this feature is 469.0.0 or later.\n- Use Google Kubernetes Engine cluster version 1.29 or later.\n\nWhat's next\n-----------\n\n- [Create and use a volume backed by a Parallelstore instance Google Kubernetes Engine](/kubernetes-engine/docs/how-to/persistent-volumes/parallelstore-csi-new-volume).\n- [Access an existing Parallelstore instance from Google Kubernetes Engine](/kubernetes-engine/docs/how-to/persistent-volumes/parallelstore-csi-existing-instance)."]]
