Google Kubernetes Engine Parallelstore CSI 驅動程式

Parallelstore 僅供受邀者使用。如要在 Google Cloud 專案中要求存取 Parallelstore,請與業務代表聯絡。

Parallelstore 是全代管的低延遲分散式檔案系統,專為滿足 AI/機器學習訓練和高效能運算 (HPC) 工作負載的需求而設計,可提供極低的延遲 (毫秒以下)、完整的 POSIX 語意,以及高元資料作業處理量。Parallelstore 可擴充至 1 TB/s 的讀取速度,以及數百萬 IOPS。

如要將 Google Kubernetes Engine (GKE) 叢集連線至 Parallelstore 執行個體,請使用 Parallelstore 容器儲存介面 (CSI) 驅動程式。有了 Parallelstore CSI 驅動程式,您就能透過 GKE API 將 Parallelstore 執行個體當做有狀態工作負載 (例如 Pod 和 Job) 的磁碟區使用。這項功能已針對 AI/機器學習訓練工作負載進行最佳化,特別是涉及較小檔案大小和隨機讀取的工作負載。

建立新的 GKE Autopilot 叢集時,GKE 預設會為您啟用 CSI 驅動程式。在新叢集和現有 GKE Standard 叢集上,您需要啟用 CSI 驅動程式。

優點

您可以使用 Parallelstore CSI 驅動程式,享有高效能儲存空間的優勢。 透過 Parallelstore CSI 驅動程式,您可以加速高效能運算和 AI/機器學習訓練工作負載,並快速穩定地存取共用資料,有效處理及分析資料。

  • 您可以透過 Kubernetes API 存取全代管的平行檔案系統,做為儲存空間。
  • Google Kubernetes Engine Parallelstore CSI 驅動程式支援 ReadWriteManyReadOnlyManyReadWriteOnce 存取模式
  • 您可以使用 Google Kubernetes Engine Parallelstore CSI 驅動程式,動態佈建 PersistentVolumes。
  • 您可以在 Kubernetes 工作負載中存取現有的 Parallelstore 執行個體。您也可以動態建立 Parallelstore 執行個體,並透過 StatefulSetDeployment,在 Kubernetes 工作負載中使用這些執行個體。

限制

  • 資料持續性:Parallelstore 是「暫存加強版」檔案系統,這項服務以本機 SSD 為後盾,並採用 2+1 抹除編碼,資料遺失的平均時間為兩個月。Parallelstore 並非長期儲存空間,而是適用於特定工作負載的極速檔案系統。

  • 每個 Pod 的限制:GKE 支援每個 Pod 僅掛接一個 Parallelstore 執行個體。

注意:從 GKE 1.32.3 版開始,您可以使用 Parallelstore CSI 驅動程式的節點掛接功能,為每個 Pod 掛接多個 Parallelstore 執行個體。
  • 資料移轉:GKE API 不支援將資料從 Cloud Storage 移轉至 Parallelstore。如要執行轉移作業,請使用 Parallelstore API。
注意:從 GKE 1.31.1 版開始,您可以使用 GKE Volume Populator,在動態佈建期間將資料從 Cloud Storage 轉移至 Parallelstore。
  • 可用容量:您可以將儲存空間容量設為 12,000 GiB 到 100,000 GiB。
  • 支援的區域:Parallelstore 支援這些區域。如果叢集與 Parallelstore 執行個體的區域不同,I/O 效能會明顯下降。
  • Parallelstore 的 VPC-SC 限制:如果您同時使用共用 VPC 和 VPC Service Controls,提供網路的主專案和包含 Parallelstore 執行個體的服務專案必須位於同一範圍內,Parallelstore 執行個體才能正常運作。使用安全防護範圍分隔主專案和服務專案,可能會導致現有執行個體無法使用,且無法建立新的執行個體。
  • 支援 ARM 機器:Parallelstore CSI 驅動程式僅支援 amd64 架構節點。目前不支援以 ARM 為基礎的節點。

需求條件

如要使用 Parallelstore CSI 驅動程式,叢集必須符合下列規定:

  • 請確認您已安裝最新版本的 Google Cloud CLI。這項功能支援的 gcloud CLI 最低版本為 469.0.0 以上。
  • 使用 Google Kubernetes Engine 叢集 1.29 以上版本。

後續步驟