HPC 工作負載適用的平行檔案系統

Last reviewed 2025-05-19 UTC

本文將介紹 Google Cloud 中適用於高效能運算 (HPC) 工作負載的儲存空間選項，並說明何時應為 HPC 工作負載使用平行檔案系統。在平行檔案系統中，多個用戶端會使用平行 I/O 路徑存取儲存在多個網路儲存節點中的共用資料。

本文件中的資訊適用於負責為資料密集型 HPC 工作負載設計、佈建及管理儲存空間的架構師和管理員。本文件假設您已瞭解網路檔案系統 (NFS)、平行檔案系統、POSIX 的概念，以及 HPC 應用程式的儲存空間需求。

什麼是 HPC？

HPC 系統會匯總多個運算資源，快速解決大型運算問題。HPC 可協助醫療照護、生命科學、媒體、娛樂、金融服務和能源等產業推動研究和創新。研究人員、科學家和分析師會使用 HPC 系統執行實驗、模擬和評估原型。地震處理、基因體定序、媒體算繪和氣候模擬等 HPC 工作負載會以不斷提高的資料速率和不斷降低的延遲時間產生及存取大量資料。高效能儲存空間和資料管理是 HPC 基礎架構的重要構成要素。

Google Cloud中的 HPC 工作負載儲存空間選項

on-premises 環境的 HPC 基礎架構設置及運作成本高昂，且需要持續維護。此外，on-premises 基礎架構通常無法迅速配合需求變化調度資源。具體來說，on-premises 硬體的規劃、採購、部署及停用程序曠日廢時，因此難以及時加入或充分運用 HPC 資源。不過在雲端，組織能以高效率佈建採用最新技術的 HPC 基礎架構，並依需求調整容量。

Google Cloud 和我們的技術合作夥伴提供經濟實惠、彈性且可擴充的儲存空間選項，可在雲端部署 HPC 基礎架構，並擴充內部部署 HPC 基礎架構。這樣一來，科學家、研究人員和分析師就能在需要時，立即取得額外的 HPC 容量來執行專案。

如要在 Google Cloud中部署 HPC 工作負載，您可以根據工作負載需求，選擇下列儲存空間服務和產品：

工作負載類型 建議的儲存空間服務和產品
工作負載需要低延遲的資料存取，但不需要對共用資料集進行極端 I/O，且在用戶端之間的資料共用量有限。 使用 NFS 儲存空間。選擇下列其中一個做法：
產生複雜、相互依賴且大規模 I/O 的工作負載，例如使用訊息傳遞介面 (MPI) 進行可靠的處理序間通訊的緊密耦合 HPC 應用程式。 使用平行檔案系統。選擇下列其中一個做法：
如要進一步瞭解平行檔案系統可支援的工作負載需求，請參閱「平行檔案系統的使用時機」。

平行檔案系統的使用時機

在並行檔案系統中，多個用戶端會透過並行 I/O 路徑，在多個網路儲存節點之間儲存及存取共用資料。平行檔案系統非常適合用於緊密連結的 HPC 工作負載，例如資料密集人工智慧 (AI) 工作負載，以及使用 SAS 應用程式的分析工作負載。請考慮使用 Managed Lustre 等平行檔案系統，針對符合下列任一項需求的延遲敏感型 HPC 工作負載：

  • 緊密結合的資料處理作業：天氣模擬和地震探勘等 HPC 工作負載，需要使用在多部伺服器上同時執行的許多相互依存的工作，重複處理資料。這些程序通常會使用 MPI 定期交換資料，並使用檢查點快速從失敗中復原。平行檔案系統可讓相互依賴的用戶端透過低延遲網路，同時儲存及存取大量共用資料。
  • 支援 POSIX I/O API 和語意：Managed Lustre 等平行處理檔案系統非常適合需要同時支援 POSIX API 和語意的負載工作。檔案系統的 API 及其語意是獨立的功能。舉例來說，NFS 支援 POSIX API，應用程式可透過 open()、read() 和 write() 等函式讀取及寫入資料。不過，NFS 協調不同用戶端之間的資料存取方式，與 POSIX 語義協調機器上不同執行緒之間的資料存取方式不同。舉例來說，NFS 不支援在用戶端之間使用 POSIX 寫入後讀取快取一致性；而是依賴 NFSv3 中的弱一致性，以及 NFSv4 中的接近開啟一致性。
  • 容量 (PB)：平行檔案系統可在單一檔案系統命名空間中，擴充至數 PB 的容量。NetApp Volumes 最多支援 1 PB，而 Filestore 區域性和可用區級別最多可支援每個檔案系統 100 TiB。Cloud Storage 提供可自動調整的低成本可靠容量，但可能無法滿足 HPC 工作負載的資料共用意義和低延遲要求。
  • 低延遲和高頻寬：如果 HPC 工作負載需要高速存取超大型檔案或數百萬個小型檔案，平行檔案系統的效能強於 NFS 和物件儲存空間。平行檔案系統提供的毫秒以下延遲時間遠低於物件儲存空間，後者可能會影響最大 IOPS。此外，平行檔案系統支援的頻寬上限，可能比以 NFS 為基礎的系統高出好幾個數量級，這可能會使 VM 的 NIC 飽和。
  • 極端用戶端 擴充：NFS 儲存空間可支援數千個用戶端。並行檔案系統可擴充，支援同時存取超過 10,000 個用戶端共用資料，且無論用戶端數量為何，都能提供高傳輸量。

緊密結合 HPC 應用程式的範例

本節將說明需要平行檔案系統提供的低延遲和高處理量儲存空間，以便緊密結合 HPC 應用程式的範例。

採用 AI 技術的分子模擬

製藥研究是一項耗費心力且需要大量資料的過程。現代藥物研究機構仰賴 AI 技術降低研究與開發成本、有效擴大營運規模，以及加速科學研究。舉例來說，研究人員會使用支援 AI 的應用程式模擬藥物分子之間的互動，並預測藥物中化合物變化所產生的影響。這些應用程式會在強大的平行 GPU 處理器上執行，可載入、整理及分析大量資料，以便快速完成模擬。平行檔案系統可提供儲存空間 IOPS 和總處理量，有助於盡可能提高 AI 應用程式的效能。

使用 SAS 應用程式進行信貸風險分析

抵押貸款機構和投資銀行等金融服務機構，需要持續分析及監控客戶的信用狀況和投資組合。舉例來說，大型房貸機構每天會收集數千名潛在客戶的風險相關資料。信貸分析師團隊會使用分析應用程式，共同審查每位客戶的不同資料部分，例如收入、信用歷史和消費模式。這項分析提供的洞察資料有助於信貸分析師做出準確且及時的放款建議。

為加快及擴大大型資料集的數據分析，金融服務機構會使用 SAS Grid Manager 等網格運算平台。代管 Lustre 等平行檔案系統可滿足多執行緒 SAS 應用程式對高處理量和低延遲儲存空間的需求。

天氣預報

為了預測特定地理區域的天氣模式，氣象學家會將該區域劃分為幾個單元，並在每個單元中部署監控裝置，例如地面雷達和氣象氣球。這些裝置會定期觀察及測量大氣條件。裝置會持續將資料串流傳送至在 HPC 叢集中執行的天氣預測應用程式。

天氣預測應用程式會使用數學模型處理串流資料，這些模型是根據已測量天氣參數之間已知的物理關係建立。個別工作會處理區域中每個單元格中的資料。應用程式收到新測量資料時，每個工作都會依序處理其指派儲存格的最新資料，並與該區域其他儲存格的相應工作交換輸出內容。為了可靠地預測天氣模式，應用程式需要儲存及分享數 TB 的資料，這些資料是由並行執行的數千個工作產生及存取。

航空器設計的 CFD

計算流體力學 (CFD) 會使用數學模型、物理定律和運算邏輯，模擬氣體或液體在移動物體周圍的行為。飛機工程師在設計飛機機身時，會考量空氣動力學因素。有了 CFD，設計人員就能在花費時間和金錢建構昂貴的原型機前，快速模擬設計變更對空氣力學的影響。分析每次模擬運行的結果後，設計人員會調整屬性，例如飛機機身的個別元件的體積和形狀，並重新模擬空氣動力學。有了 CFD，飛機設計人員就能透過協作，快速模擬數百種這類設計變更的效果。

為了有效完成設計模擬，CFD 應用程式需要以小於毫秒的速度存取共用資料，並以高達 100 GBps 的速度儲存大量資料。

平行處理檔案系統選項簡介

本節概略介紹Google Cloud 中可用於平行檔案系統的選項。

Google Cloud Managed Lustre

Managed Lustre 是 Google 管理的服務，可為緊密連結的 HPC 工作負載提供高總處理量和低延遲的儲存空間。提供高處理量、低延遲的大量資料集存取機制，可大幅加快 HPC 工作負載和 AI 訓練與推論速度。如要瞭解如何使用 Managed Lustre 處理 AI 和 ML 工作負載，請參閱「為 AI 和 ML 工作負載設計儲存空間 Google Cloud」。代管 Lustre 會將資料分散至多個儲存節點，讓多個 VM 能同時存取。這種平行存取機制可消除傳統檔案系統的瓶頸，讓工作負載快速擷取並處理所需的大量資料。

DDN Infinia

如果您需要進階的 AI 資料協調功能，可以使用 Google Cloud Marketplace 提供的 DDN Infinia。Infinia 提供以 AI 為重點的資料智慧解決方案，可針對推論、訓練和即時分析進行最佳化。這項服務可實現超快速資料攝入、豐富的結構化資料索引，以及與 TensorFlow 和 PyTorch 等 AI 架構的完美整合。

以下是 DDN Infinia 的主要功能：

  • 高效能：提供不到 1 毫秒的延遲時間和多 TB/s 的傳輸量。
  • 可擴充性：支援從 TB 擴充至 EB，並可在單一部署中容納多達 100,000 個 GPU 和一百萬個同時連線的用戶端。
  • 多租戶環境，可提供可預測的服務品質 (QoS)：為多個租用戶提供安全的隔離環境，並提供可預測的 QoS，以便在各工作負載中提供一致的效能。
  • 統一資料存取：透過內建的多協定支援，可與現有應用程式和工作流程完美整合，包括與 Amazon S3 相容的 CSI 和 Cinder。
  • 進階安全性：提供內建加密、錯誤領域感知式擦除編碼和快照功能，有助於確保資料保護和法規遵循。

採用 IBM Storage Scale 技術的 Sycomp 儲存空間

您可以透過 Google Cloud Marketplace 取得Sycomp Storage Fueled by IBM Storage Scale，執行高效能運算 (HPC)、AI 和機器學習，以及大數據工作負載。 Google Cloud有了 Sycomp Storage，您就能同時存取數千部 VM 的資料、自動管理儲存空間層級以降低成本，以及在地端或 Google Cloud中執行應用程式。Sycomp Storage 可快速部署，並支援透過 NFS 和 IBM Storage Scale 用戶端存取資料。

IBM Storage Scale 是平行檔案系統，可安全管理大量資料 (PB)。Sycomp Storage Scale 是平行處理檔案系統，非常適合 HPC、AI、機器學習、大數據和其他需要符合 POSIX 規範的共用檔案系統的應用程式。透過可調整的儲存空間容量和效能調整功能，Sycomp Storage 可支援小型到大型 HPC、AI 和 ML 工作負載。

在 Google Cloud中部署叢集後，您可以決定要如何使用叢集。選擇要只在雲端或混合模式中使用叢集，方法是連線至現有的內部部署 IBM Storage Scale 叢集、第三方 NFS NAS 解決方案或其他以物件為基礎的儲存空間解決方案。

貢獻者

作者：Kumar Dhanagopal | 跨產品解決方案開發人員

其他貢獻者：