這份指南可協助您評估雲端工作負載的儲存空間需求、瞭解 Google Cloud中可用的儲存空間選項，以及設計出能提供最佳業務價值的儲存空間策略。
如需主要設計建議的視覺摘要，請參閱決策樹狀圖。
如要瞭解如何為 AI 和機器學習工作負載選取儲存空間服務，請參閱「在 Google Cloud中設計 AI 和機器學習工作負載的儲存空間」。
設計程序總覽
身為雲端架構師，在規劃雲端工作負載的儲存空間時，您需要先考量工作負載的功能特性、安全防護限制、復原能力需求、效能期望和成本目標。接著，您需要查看Google Cloud中可用的儲存空間服務和功能。然後根據需求和可用選項，選取所需的儲存服務和功能。下圖顯示這三個階段的設計程序：
定義需求
請使用本節中的問卷，定義要在 Google Cloud中部署的工作負載的主要金鑰儲存空間需求。
定義儲存空間需求的指南
填寫問卷時，請參考下列指引：
詳細定義需求
舉例來說，如果應用程式需要以網路檔案系統 (NFS) 為基礎的檔案儲存空間，請找出所需的 NFS 版本。
考量未來需求
舉例來說，您目前的部署作業可能服務亞洲國家/地區的使用者，但您可能打算將業務擴展到其他大陸。在這種情況下，請考量新業務地域的任何儲存相關法規規定。
考量雲端專屬的商機和需求
把握雲端專屬商機。
舉例來說，如要盡量減少儲存在 Cloud Storage 中的資料儲存費用，您可以使用資料保留政策和生命週期設定來控管儲存時間。
請考量雲端專屬需求。
舉例來說，內部部署資料可能位於單一資料中心，而您可能需要將遷移的資料複製到兩個Google Cloud 位置，以確保資料備援。
問卷
以下問卷調查並非規劃時的完整檢查清單。您可以將這些資料做為起點，有系統地分析要部署到 Google Cloud的工作負載的所有儲存空間需求。
評估工作負載的特性
您需要儲存哪種資料？
範例
- 靜態網站內容
- 備份與封存資料，以利災難復原
- 法規遵循稽核記錄
- 使用者直接下載的大型資料物件
- 交易資料
- 非結構化異質資料
您需要多少容量？考量目前和未來的需求。
容量是否應隨用量自動調整？
What are the access requirements? 舉例來說，資料是否應可從 Google Cloud外部存取？
預期的讀寫模式為何？
範例
- 頻繁寫入和讀取
- 經常寫入，但偶爾讀取
- 偶爾寫入和讀取
- 偶爾寫入，但經常讀取
工作負載是否需要檔案存取權 (例如使用 NFS)？
多個用戶端是否應能同時讀取或寫入資料？
找出安全限制
您對資料加密有什麼要求？舉例來說，您是否需要使用自己控管的金鑰？
是否有任何資料落地需求？
定義資料復原能力需求
- 您的工作負載是否需要低延遲快取或暫存空間？
- 您是否需要複製雲端資料以確保備援？
- 您是否需要複製資料集的嚴格讀寫一致性？
設定成效預期
所需 I/O 速率是多少？
您的應用程式需要哪些讀寫總處理量等級？
您需要為哪些環境提供儲存空間？以特定工作負載為例，您可能需要為正式環境選擇高效能儲存空間，但為非正式環境選擇效能較低的選項。
查看儲存空間選項
Google Cloud 提供所有主要儲存格式的儲存服務：區塊、檔案和物件。針對每種儲存空間格式，查看並評估可用服務的功能、設計選項和相對優勢。
總覽
區塊儲存空間
您儲存在區塊儲存空間的資料會分成多個區塊，每個區塊都會以獨立區塊的形式儲存，並擁有專屬位址。應用程式會參照適當的區塊位址來存取資料。區塊儲存空間經過最佳化調整，可處理高 IOPS 工作負載，例如交易處理。這與內部部署儲存區域網路 (SAN) 和直接連接的儲存空間 (DAS) 系統類似。
區塊儲存空間選項是 Compute Engine 服務的一部分。 Google Cloud
| 選項 | 總覽 |
|---|---|
| Persistent Disk | 專屬硬碟 (HDD) 和固態硬碟 (SSD)，適用於部署到 Compute Engine VM 和 Google Kubernetes Engine (GKE) 叢集的企業和資料庫應用程式。 |
| Google Cloud Hyperdisk | 適用於 Compute Engine VM 和 GKE 叢集的快速備援網路儲存空間，可自行設定效能並動態調整磁碟區大小。 |
| 本機 SSD | 連接本機的暫時性區塊儲存空間，適合用於高效能應用程式。 |
檔案儲存空間
資料會整理成檔案階層，並儲存在資料夾中，類似於地端網路附加儲存裝置 (NAS)。檔案系統可使用 NFS 和伺服器訊息區塊 (SMB) 等通訊協定掛接至用戶端。應用程式會使用相關的檔案名稱和目錄路徑存取資料。
Google Cloud 提供一系列全代管和第三方檔案儲存解決方案。
| 解決方案 | 總覽 |
|---|---|
| Filestore |
使用 NFS 檔案伺服器，為 Compute Engine VM 和 Google Kubernetes Engine 叢集提供檔案式儲存空間。 您可以選擇符合用途的服務層級 (基本、區域或地區)。 |
| Google Cloud Managed Lustre |
適用於 AI、高效能運算 (HPC) 和資料密集型應用程式的低延遲平行處理檔案系統。 |
| NetApp Volumes | 使用 NFS 或 SMB 的檔案儲存空間。 您可以選擇適合用途的服務等級 (彈性、標準、進階或最高級)。 |
| 更多選項 | 請參閱「 檔案伺服器選項摘要」。 |
物件儲存空間
資料會以物件的形式儲存在 bucket 的單層階層中。 每個物件都會指派一個全域專屬 ID。物件可以有系統指派和使用者定義的中繼資料，協助您整理及管理資料。應用程式會使用 REST API 或用戶端程式庫，參照物件 ID 來存取資料。
Cloud Storage 提供低成本、高度耐用且無限制的物件儲存空間，適用於多種資料類型。您儲存在 Cloud Storage 中的資料可從任何位置存取，包括 Google Cloud內外。跨區域的選用備援機制可提供最高可靠性。您可以選取符合資料保留和存取頻率需求的儲存空間級別。
比較分析
下表列出Google Cloud中儲存服務的主要功能。
| Persistent Disk | Hyperdisk | 本機 SSD | Filestore | Managed Lustre | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| 容量 |
每個磁碟 10 GiB 至 64 TiB 每個 VM 最多 257 TiB |
每個磁碟 4 GiB 至 64 TiB 每個 VM 最多 512 TiB 每個儲存空間集區 10 TiB 至 1 PiB |
每個磁碟 375 GiB 每個 VM 最多 12 TiB Titanium SSD 是容量較大的本機 SSD 選項。 |
每個執行個體 1 至 100 TiB | 18 TiB 至 8 PiB | 每個儲存空間集區 1 TiB 至 10 PiB 每個磁碟區 1 GiB 至 1 PiB |
沒有上下限 |
|
縮放 |
|
向上擴充 | 無法擴充 |
|
無法擴充 | 向上擴充及縮減規模 | 根據用量自動調整資源配置 |
| 共用 |
支援 | 支援 | 無法分享 | 可掛接至多個 Compute Engine VM、遠端用戶端和 GKE 叢集 | 可掛接至多個 Compute Engine VM 和 GKE 叢集。 | 可掛接至多個 Compute Engine VM 和 GKE 叢集 |
|
| 加密金鑰選項 |
|
|
Google-owned and Google-managed encryption keys |
|
Google-owned and Google-managed encryption keys |
|
|
| 持續性 |
磁碟的生命週期 | 磁碟的生命週期 | 暫時性 (VM 停止或刪除時，資料會遺失) | Filestore 執行個體的生命週期 | Managed Lustre 執行個體的生命週期 | 磁碟區的生命週期 | 值區的生命週期 |
| 供應情形 |
|
可用區 | 可用區 |
| |||
| 成效 |
線性擴充磁碟大小和 CPU 數量 | 動態調整永久儲存空間 | 高效能暫存儲存空間 | 隨著佈建容量線性調整 | 可擴充的效能 預期時間取決於服務層級 |
| |
| 管理 |
手動格式化及掛接 | 手動格式化及掛接 | 手動格式化、條帶化及掛接 | 全代管 | 全代管 | 全代管 | 全代管 |
下表列出各 Google Cloud儲存空間選項適用的工作負載類型：
| 儲存空間選項 | 工作負載類型 |
|---|---|
| Persistent Disk |
|
| Hyperdisk |
|
| 本機 SSD |
|
| Filestore |
|
| Managed Lustre |
|
| NetApp Volumes |
|
| Cloud Storage |
|
選擇儲存空間方案
選取儲存空間選項時，請注意以下兩點：
- 決定需要的儲存服務。
- 在特定服務中選擇所需功能和設計選項。
服務專屬功能和設計選項範例
Persistent Disk
- 部署區域和可用區
- 區域複製
- 磁碟類型、大小和 IOPS (適用於極端永久磁碟)
- 加密金鑰：Google 擁有及代管、客戶管理或客戶提供
- 快照排程
Hyperdisk
- 部署區域
- 磁碟類型、大小、處理量 (適用於 Hyperdisk Throughput) 和 IOPS (適用於 Hyperdisk Extreme)
- 加密金鑰：Google 擁有及代管、客戶管理或客戶提供
- 快照排程
Filestore
- 部署區域和可用區
- 執行個體層級
- 容量
- IP 範圍：自動分配或自訂
- 存取權控管
NetApp Volumes
- 部署區域
- 儲存空間集區的服務等級
- 集區和磁碟區容量
- 磁碟區通訊協定
- 磁碟區匯出規則
Cloud Storage
- 位置：多區域、雙區域、單一區域
- 儲存空間類別：Standard、Nearline、Coldline、Archive
- 存取權控管機制：統一或精細
- 加密金鑰：Google 擁有及代管、客戶管理或客戶提供
- 資料保留政策
儲存空間建議
請參考下列建議，選擇符合需求的儲存服務和功能。如需 AI 和機器學習工作負載的專屬指引，請參閱「Design storage for AI and ML workloads in Google Cloud」。
本文稍後也會以決策樹的形式，提供一般儲存空間建議。
如要使用平行檔案系統，請使用 Managed Lustre。
如果應用程式需要以檔案為基礎的存取權，請根據存取通訊協定、可用性和效能需求，選擇合適的檔案儲存服務。
存取通訊協定 建議 NFS - 如果您需要地區可用性，以及可隨容量調整的高效能，請使用 Filestore Regional。
- 如果區域可用性足夠，但您需要可隨容量擴充的高效能，請使用 Filestore Zonal 或 NetApp Volumes Premium/Extreme。
- 否則，請使用 Filestore Basic 或 NetApp Volumes。
如要瞭解 Filestore 服務級別的差異，請參閱 服務級別。
SMB 使用 NetApp Volumes。 對於需要高效能主要儲存空間的工作負載，請視需求使用 Hyperdisk、本機 SSD 或 Persistent Disk。
必要條件 建議 運作快速的暫存磁碟或快取 使用本機 SSD 磁碟 (暫時性)。 區塊儲存空間，效能和容量可獨立擴充 使用 Hyperdisk。根據需求選擇適當的磁碟類型：
- 一般用途工作負載：
hyperdisk-balanced - 高 I/O 工作負載，例如高效能資料庫：
hyperdisk-extreme - 向外擴充分析、適用於易受成本影響的應用程式資料硬碟，以及冷儲存空間：
hyperdisk-throughput - 需要以唯讀模式連接至多個 VM 的高處理量 ML 工作負載：
hyperdisk-ml以唯讀模式 - 區域內的多個 VM 同時寫入同一個磁碟：
hyperdisk-balanced-high-availability採用多重寫入模式
詳情請參閱「關於 Google Cloud Hyperdisk」。
可擴充容量的區塊儲存空間 使用 Persistent Disk。根據需求選擇合適的磁碟類型：
- 循序 IOPS：
pd-standard - IOPS 密集型工作負載：
pd-extreme或pd-ssd - 在效能與成本間取得平衡：
pd-balanced
詳情請參閱「關於永久磁碟」一文。
- 請根據備援需求，選擇區域磁碟或地區磁碟。
必要條件 建議 區域中單一可用區內的備援 使用 Hyperdisk 或區域永久磁碟。 區域內多個可用區的備援機制 使用 Hyperdisk 高可用性或區域永久磁碟。
- 一般用途工作負載：
如要使用可無限擴充且全球通用的儲存空間，請使用 Cloud Storage。
根據資料存取頻率和儲存時間，選擇合適的 Cloud Storage 類別。
需求 建議> 存取頻率不一，或資料保留期限不明或無法預測。 使用 Autoclass 功能，根據各物件的存取模式，自動將值區中的物件轉換至適當的儲存空間級別。 儲存經常存取的資料，包括用於高輸送量分析、資料湖泊、網站、串流影片和行動應用程式的資料。 如要快取經常存取的資料，並從靠近用戶端的所在位置提供資料，請使用 Cloud CDN。
對於資料不常變更、但經常讀取的工作負載 (像是機器學習訓練、推論和分析)，您可以使用 Anywhere Cache 提升讀取效能，並降低資料移轉費用。
低成本儲存空間，適合存放至少 30 天的不常存取資料 (例如備份和長尾型多媒體內容)。 使用 Nearline 儲存空間級別。 低成本儲存空間，適合存放至少 90 天的不常存取資料 (例如災難復原)。 使用 Coldline 儲存空間類別。 成本最低的儲存空間，適合儲存不常存取的資料，且儲存時間至少為 365 天，包括監管法規封存檔案。 使用 Archive 儲存空間級別。 如需詳細的比較分析，請參閱 Cloud Storage 類別。
資料移轉選項
選擇合適的 Google Cloud 儲存服務後，如要部署及執行工作負載，您需要將資料轉移至 Google Cloud。您需要遷移的資料可能位於地端部署環境或其他雲端平台。
你可以使用下列方法將資料轉移到 Google Cloud：
- 使用 Storage 移轉服務線上轉移資料： 自動在物件和檔案儲存系統之間轉移大量資料，包括 Cloud Storage、Amazon S3、Azure 儲存空間服務和地端資料來源。
- 使用 Transfer Appliance 離線移轉資料： 在網路連線和頻寬無法使用、有限或費用高昂的情況下，離線移轉及載入大量資料至 Google Cloud 。
- 將資料上傳至 Cloud Storage：使用 Google Cloud 控制台、gcloud CLI、Cloud Storage API 或用戶端程式庫，將資料線上上傳至 Cloud Storage bucket。
選擇資料傳輸方法時，請考量資料大小、時間限制、可用頻寬、費用目標，以及安全性和法規遵循要求等因素。如要瞭解如何規劃及實作資料移轉至 Google Cloud的程序，請參閱「遷移至 Google Cloud：轉移大型資料集」。
儲存空間選項決策樹
下方的決策樹狀圖會引導您瞭解稍早討論的儲存空間建議。 Google Cloud如需 AI 和機器學習工作負載的專屬指南，請參閱「在 Google Cloud 中為 AI 和機器學習工作負載設計儲存空間 Google Cloud」。
後續步驟
- 使用 Google Cloud Pricing Calculator 估算儲存空間費用。
- 瞭解如何運用最佳做法，建構經過最佳化的雲端拓撲，兼顧安全性、彈性、成本和效能。
- 瞭解何時使用 Lustre 等平行檔案系統處理 HPC 工作負載。
貢獻者
作者：Kumar Dhanagopal | 跨產品解決方案開發人員
其他貢獻者：
- Brennan Doyle | 解決方案架構師
- Dean Hildebrand | 技術長辦公室技術總監
- Geoffrey Noer | 產品事業群經理
- Jack Zhou | 技術文件撰稿者
- Jason Wu | 產品管理總監
- Jeff Allen | 解決方案架構師
- Samantha He | 技術文件撰稿者
- Sean Derrington | 儲存空間產品群對外產品經理