本文將說明 Hyperdisk ML 的功能,這項功能可提供所有 Google Cloud Hyperdisk 類型中最高的輸送量。Google 建議您在機器學習,以及需要在不可變資料集上提供高讀取吞吐量的工作負載中,使用 Hyperdisk ML。高輸送量的 Hyperdisk ML 可提供結果,加快資料載入時間、縮短加速器閒置時間,並降低運算成本。
針對大型推論、訓練和 HPC 工作負載,您可以在唯讀模式下,將單一 Hyperdisk ML 磁碟區附加至多個運算執行個體。
您可以為單一 Hyperdisk ML 磁碟區指定最多 1,200,000 MiB/s 的輸送量。您無法佈建 IOPS 等級,但每個 MiB/s 的已佈建總處理量都會搭配 16 IOPS,最高可達 19,200,000 IOPS。
如要進一步瞭解 Hyperdisk 和其他 Hyperdisk 類型,請參閱「關於 Hyperdisk」一文。
如要建立 Hyperdisk ML 磁碟區,請參閱「建立 Hyperdisk 磁碟區」。
用途
Hyperdisk ML 非常適合下列用途:
- HPC 工作負載
- 機器學習
- 加速器最佳化工作負載
支援的機器系列
您可以將 Hyperdisk ML 與下列機器系列搭配使用:
關於已配置的效能
建立 Hyperdisk 磁碟區時,您不必佈建效能。如果您未配置效能,Compute Engine 會使用預設值建立磁碟區,您之後可以修改這些值。如需預設值的詳細資訊,請參閱「預設 IOPS 和傳輸量值」。
如果您知道效能需求,建立 Hyperdisk ML 磁碟區時,可以為該磁碟區指定 IOPS 和吞吐量限制,並在建立磁碟區後變更已配置的值。如未指定大小,就無法指定 IOPS 或處理量等級。
大小和效能限制
以下限制適用於您可為 Hyperdisk ML 磁碟區指定的大小、傳輸量和 IOPS 值。
大小:介於 4 GiB 和 64 TiB 之間。預設大小為 100 GiB。
處理量:介於 400 MiB/秒至 1,200,000 MiB/秒之間。最小和最大處理量都會依據磁碟區的大小而設有限制,如下所示:
最小總處理量:對於大小介於 4 到 3,341 GiB 之間的磁碟區,最小值為 400 MiB/s。如果磁碟區大小為 3,342 GiB 以上,則最小值取決於大小,範圍介於 401 到 7,680 MiB/s 之間。
最大總處理量:對於大小為 750 GiB 或更大的磁區,最大值為 1200000 MiB/s。如果磁碟區大小為 749 GiB 或更小,則最大值取決於大小,範圍為 6,400 到 1,199,999 MiB/s。
如需範例,請參閱「已配置傳輸量限制」。
IOPS:您無法為 Hyperdisk ML 磁碟區指定 IOPS 限制。相反地,佈建的 IOPS 取決於佈建的吞吐量。每個 Hyperdisk ML 磁碟區都會為每 MiB/s 的處理量配置 16 IOPS,最多可達 19,200,000 IOPS。
已佈建處理量限制
下表列出常見磁碟區大小的已配置傳輸量限制。如果沒有列出大小,請使用下列公式計算可接受的值,其中 x
是 GiB 中的卷大小:
- 可設定的總處理量下限:
MAX (400, 0.12x)
- 可設定的處理量上限:
MIN (1200000, 1600x)
大小 | 總處理量下限 | 總處理量上限 |
---|---|---|
4 | 400 | 6,400 |
10 | 400 | 16,000 |
50 | 400 | 80,000 |
64 | 400 | 102,400 |
100 | 400 | 160,000 |
300 | 400 | 480,000 |
500 | 400 | 800,000 |
1,000 | 400 | 1200000 |
5,000 | 600 | 1200000 |
25,000 | 3,000 | 1200000 |
64,000 | 7,680 | 1200000 |
預設 IOPS 和傳輸量值
建立 Hyperdisk ML 磁碟區時,如未指定 IOPS 或處理量限制,Compute Engine 會指派預設值。指派的值會根據下列公式計算,其中 x
是磁碟區的大小 (以 GiB 為單位)。
- 預設處理量:
MAX (24x, 400)
MiB/秒 - 預設大小:100 GiB
變更已配置的效能或大小
您可以每 4 小時變更已配置的大小,每 6 小時變更吞吐量。如需修改大小或效能的操作說明,請參閱「修改 Hyperdisk 磁碟區」。
連接至執行個體時的效能限制
本節列出 Hyperdisk ML 的效能限制。您可以為單一 Hyperdisk ML 磁碟區指定最多 1,200,000 MiB/s 的輸送量。您無法佈建 IOPS 等級,但每個 MiB/s 的已佈建總處理量都會搭配 16 IOPS,最高可達 19,200,000 IOPS。
下表列出 Hyperdisk ML 磁碟區可為每個支援的執行個體提供的最高效能。當 Hyperdisk ML 磁碟區連接至執行個體時,其效能不得超過執行個體機器類型的限制。無論各磁碟區的配置效能為何,效能限制也會套用至連接至同一執行個體的所有 Hyperdisk ML 磁碟區。
需要多個執行個體才能達到已配置效能的情況
Hyperdisk ML 磁碟區的已配置傳輸量會在連結該磁碟區的每個執行個體之間共用,上限為下表所列機器類型的上限。如果 Hyperdisk ML 磁碟區塊的配置效能高於執行個體的效能上限,則只有在連接至多個執行個體時,磁碟區塊才能達到配置效能。a3-ultragpu-8
執行個體的處理量上限為 4,000 MiB/s。
舉例來說,假設您已佈建具有 500,000 MiB/s 輸送量的 Hyperdisk ML 磁碟區,且想要將磁碟區附加至 a3-ultragpu-8
執行個體。單一 a3-ultragpu-8
執行個體的處理量不得超過 4,000 MiB/秒。因此,如要達到已配置的磁碟區處理量,您必須將磁碟區連接至至少 125 (500,000/4,000) 個 a3-ultragpu-8
執行個體。另一方面,如果是 a2-highgpu-1g
機器類型,則需要 272 個執行個體。
執行個體機型 | 最大 IOPS | 最大總處理量 (MiB/秒) |
---|---|---|
a2-*-1g |
28,800 | 1,800 |
a2-*-2g |
38,400 | 2,400 |
a2-*-4g |
38,400 | 2,400 |
a2-*-8g |
38,400 | 2,400 |
a2-megagpu-16g |
38,400 | 2,400 |
a3-*-1g |
28,800 | 1,800 |
a3-*-2g |
38,400 | 2,400 |
a3-*-4g |
38,400 | 2,400 |
a3-*-8g (在唯讀模式下)1 |
64,000 | 4,000 |
a3-*-8g (讀取/寫入模式)1 |
38,400 | 2,400 |
c3-*-4 |
6,400 | 400 |
c3-*-8 |
12,800 | 800 |
c3-*-22 |
28,800 | 1,800 |
c3-*-44 |
38,400 | 2,400 |
c3-*-88 |
38,400 | 2,400 |
c3-*-176 |
38,400 | 2,400 |
c3-*-192 |
38,400 | 2,400 |
c3d-*-4 |
6,400 | 400 |
c3d-*-8 |
12,800 | 800 |
c3d-*-16 |
19,200 | 1,200 |
c3d-*-30 |
19,200 | 1,200 |
c3d-*-60 |
38,400 | 2,400 |
c3d-*-90 |
38,400 | 2,400 |
c3d-*-180 |
38,400 | 2,400 |
c3d-*-360 |
38,400 | 2,400 |
ct6e-standard-1t |
19,200 | 1,200 |
ct6e-standard-4t |
28,800 | 1,800 |
ct6e-standard-8t |
28,800 | 1,800 |
g2-standard-4 |
12,800 | 800 |
g2-standard-8 |
19,200 | 1,200 |
g2-standard-12 |
28,800 | 1,800 |
g2-standard-16 |
38,400 | 2,400 |
g2-standard-24 |
38,400 | 2,400 |
g2-standard-32 |
38,400 | 2,400 |
g2-standard-48 |
38,400 | 2,400 |
g2-standard-96 |
38,400 | 2,400 |
1 對於 a3-*-8g
執行個體,效能取決於 Hyperdisk ML 磁碟區是以唯讀模式還是讀寫模式連接至執行個體。
Hyperdisk ML 的區域可用性
Hyperdisk ML 適用於下列區域和區域:
地區 | 可用區 |
---|---|
臺灣彰化縣—asia-east1 |
asia-east1-a |
asia-east1-b |
|
asia-east1-c |
|
日本東京:asia-northeast1 |
asia-northeast1-a |
asia-northeast1-b |
|
asia-northeast1-c |
|
韓國首爾:asia-northeast3 |
asia-northeast3-a |
asia-northeast3-b |
|
新加坡裕廊西:asia-southeast1 |
asia-southeast1-a |
asia-southeast1-b |
|
asia-southeast1-c |
|
印度孟買:asia-south1 |
asia-south1-b |
asia-south1-c |
|
比利時聖吉斯蘭:europe-west1 |
europe-west1-b |
europe-west1-c |
|
英國倫敦:europe-west2 |
europe-west2-a |
europe-west2-b |
|
europe-west3-b |
|
荷蘭埃姆斯港:europe-west4 |
europe-west4-a |
europe-west4-b |
|
europe-west4-c |
|
瑞士蘇黎世:europe-west6 |
europe-west6-b |
europe-west6-c |
|
以色列特拉維夫:me-west1 |
me-west1-b |
me-west1-c |
|
愛荷華州康索布魯夫:us-central1 |
us-central1-a |
us-central1-b |
|
us-central1-c |
|
us-central1-f |
|
美國南卡羅來納州蒙克斯科納:us-east1 |
us-east1-b |
us-east1-c |
|
us-east1-d |
|
美國維吉尼亞州阿什本:us-east4 |
us-east4-a |
us-east4-b |
|
us-east4-c |
|
俄亥俄州哥倫布市:us-east5 |
us-east5-a |
us-east5-b |
|
us-east5-c |
|
德州達拉斯:us-south1 |
us-south1-a |
美國奧勒岡州達勒斯:us-west1 |
us-west1-a |
us-west1-b |
|
us-west1-c |
|
猶他州鹽湖城:us-west3 |
us-west3-b |
內華達州拉斯維加斯:us-west4 |
us-west4-a |
us-west4-b |
|
us-west4-c |
Hyperdisk ML 磁碟區的災難復原保護
您可以使用標準快照備份 Hyperdisk ML 磁碟區。快照會在特定時間點備份 Hyperdisk ML 磁碟區的資料。
跨可用區複製
您無法將 Hyperdisk ML 磁碟區複製到其他區域。如要將資料複製到同一個地區的其他區域,您必須使用 Hyperdisk Balanced High Availability 磁碟區。
在 VM 之間共用 Hyperdisk ML 磁碟區
對於加速器最佳化機器學習工作負載,您可以將相同的 Hyperdisk ML 磁碟區連接至多個執行個體。這樣一來,您就能從多個 VM 同時存取單一磁區的唯讀權限。這比擁有多個含有相同資料的磁碟更具成本效益。
在 VM 之間共用磁碟不會產生額外費用。將處於唯讀模式的磁碟連接至多個 VM 不會影響磁碟效能。每個 VM 仍可達到 VM 機器系列的最高磁碟效能。
在 VM 之間共用 Hyperdisk ML 的限制
- Hyperdisk ML 磁碟區不支援多重寫入模式;如果磁碟區處於唯讀模式,您可以在多個執行個體之間共用 Hyperdisk ML 磁碟區。
- Hyperdisk ML 磁碟區無法以唯讀模式連接至單一執行個體。
- 如果您以唯讀模式共用 Hyperdisk ML 磁碟區,就無法重新啟用磁碟的寫入存取權。
- 您可以在每個 30 秒間隔內,將 Hyperdisk ML 磁碟區連接至最多 100 個執行個體。
- 對於 Hyperdisk ML 磁碟區,執行個體數量上限取決於 已配置的大小,如下所示:
- 大小小於 256 GiB 的磁碟區:2,500 個 VM
- 容量為 256 GiB 以上,但小於 1 TiB 的磁碟區: 1,500 個虛擬機
- 容量為 1 TiB 以上,但小於 2 TiB 的磁碟區: 600 個虛擬機
- 容量為 2 TiB 以上之磁碟區: 30 個 VM
如果已連結至 20 個以上的 VM,則必須為每個 VM 配置至少 100 MiB/s 的吞吐量。舉例來說,如果您將磁碟連結至 500 個 VM,則必須佈建至少 50,000 MiB/s 總處理量的磁碟區。
詳情請參閱「Hyperdisk 的唯讀模式」。
定價
系統會按照 Hyperdisk ML 磁碟區的總佈建容量和吞吐量計費,直到您刪除這些項目為止。即使磁碟區未連接至任何執行個體,或是執行個體已暫停或停止,仍會產生費用。詳情請參閱「磁碟定價」。
限制
- Hyperdisk ML 磁碟區屬於區域性質,只能由建立磁碟區的區域存取。
- 您無法透過 Hyperdisk 磁碟區建立機器映像檔。
- 您無法透過 Hyperdisk ML 磁碟建立即時快照。
- 您無法將 Hyperdisk ML 做為開機磁碟。
- 您無法透過快照或磁碟映像檔,以讀取/寫入單一模式建立 Hyperdisk ML 磁碟。您必須在唯讀多重模式下建立磁碟。
- 您可以每 4 小時變更 Hyperdisk ML 磁碟區的大小,每 6 小時變更其吞吐量。