Driver CSI Parallelstore di Google Kubernetes Engine

Parallelstore è disponibile solo su invito. Se vuoi richiedere l'accesso a Parallelstore nel tuo progetto Google Cloud , contatta il tuo rappresentante di vendita.

Parallelstore è un file system distribuito a bassa latenza e completamente gestito progettato per soddisfare le esigenze di addestramento AI/ML e dei workload di computing ad alte prestazioni (HPC) che richiedono una latenza estremamente bassa (inferiore al millisecondo), semantica POSIX completa e un throughput elevato delle operazioni sui metadati. Parallelstore è scalabile fino a velocità di lettura di 1 TB/s e milioni di IOPS.

Per connettere un cluster Google Kubernetes Engine (GKE) a un'istanza Parallelstore, utilizza il driver Container Storage Interface (CSI) di Parallelstore. Il driver CSI Parallelstore ti consente di utilizzare l'API GKE per utilizzare le istanze Parallelstore come volumi per i tuoi carichi di lavoro stateful (ad esempio, pod e job). È ottimizzato per i carichi di lavoro di addestramento AI/ML, in particolare quelli che coinvolgono file di dimensioni più piccole e letture casuali.

GKE abilita il driver CSI per impostazione predefinita quando crei un nuovo cluster GKE Autopilot. Sui cluster GKE Standard nuovi ed esistenti, devi attivare il driver CSI.

Vantaggi

Puoi utilizzare il driver CSI Parallelstore per usufruire di uno spazio di archiviazione ad alte prestazioni. Con il driver CSI Parallelstore, puoi accelerare i carichi di lavoro di computing ad alte prestazioni e di addestramento AI/ML, con un accesso rapido e coerente ai dati condivisi per un'elaborazione e un'analisi efficienti.

Limitazioni

  • Persistenza dei dati: Parallelstore è un file system "scratch plus". È supportato da un SSD locale con codifica di cancellazione 2+1 e il tempo medio alla perdita di dati è di due mesi. Parallelstore non è uno spazio di archiviazione a lungo termine e deve essere considerato un file system estremamente veloce per workload specifici.

  • Limitazione per pod: GKE supporta il montaggio di una sola istanza Parallelstore per pod.

Nota:a partire dalla versione 1.32.3 di GKE, puoi utilizzare la funzionalità node mount del driver CSI Parallelstore per montare più istanze Parallelstore per pod.
  • Trasferimenti di dati: il trasferimento di dati da Cloud Storage a Parallelstore non è supportato dall'API GKE. Per eseguire il trasferimento, utilizza l'API Parallelstore.
Nota:a partire dalla versione 1.31.1 di GKE, puoi utilizzare GKE Volume Populator per trasferire i dati da Cloud Storage a Parallelstore durante il provisioning dinamico.
  • Capacità utilizzabile: puoi configurare la capacità di archiviazione da 12.000 GiB a 100.000 GiB.
  • Zone supportate: Parallelstore è supportato in queste zone. Se la regione del tuo cluster è diversa da quella dell'istanza Parallelstore, si verificherà un calo significativo delle prestazioni di I/O.
  • Limitazioni di VPC-SC per Parallelstore: se utilizzi sia il VPC condiviso sia Controlli di servizio VPC, il progetto host che fornisce la rete e il progetto di servizio che contiene l'istanza Parallelstore devono trovarsi all'interno dello stesso perimetro affinché l'istanza Parallelstore funzioni correttamente. La separazione del progetto host e del progetto di servizio con un perimetro potrebbe rendere non disponibili le istanze esistenti e potrebbe non creare nuove istanze.
  • Supporto delle macchine ARM: il driver CSI di Parallelstore supporta solo i nodi dell'architettura amd64. Al momento i nodi basati su ARM non sono supportati.

Requisiti

Per utilizzare il driver CSI Parallelstore, i cluster devono soddisfare i seguenti requisiti:

  • Assicurati di aver installato l'ultima versione di Google Cloud CLI. La versione minima supportata gcloud CLI per questa funzionalità è 469.0.0 o versioni successive.
  • Utilizza la versione 1.29 o successive del cluster Google Kubernetes Engine.

Passaggi successivi