關於 Hyperdisk ML


本文將說明 Hyperdisk ML 的功能,這項功能可提供所有 Google Cloud Hyperdisk 類型中最高的輸送量。Google 建議您在機器學習,以及需要在不可變資料集上提供高讀取吞吐量的工作負載中,使用 Hyperdisk ML。高輸送量的 Hyperdisk ML 可提供結果,加快資料載入時間、縮短加速器閒置時間,並降低運算成本。

針對大型推論、訓練和 HPC 工作負載,您可以在唯讀模式下,將單一 Hyperdisk ML 磁碟區附加至多個運算執行個體。

您可以為單一 Hyperdisk ML 磁碟區指定最多 1,200,000 MiB/s 的輸送量。您無法佈建 IOPS 等級,但每個 MiB/s 的已佈建總處理量都會搭配 16 IOPS,最高可達 19,200,000 IOPS。

如要進一步瞭解 Hyperdisk 和其他 Hyperdisk 類型,請參閱「關於 Hyperdisk」一文。

如要建立 Hyperdisk ML 磁碟區,請參閱「建立 Hyperdisk 磁碟區」。

用途

Hyperdisk ML 非常適合下列用途:

  • HPC 工作負載
  • 機器學習
  • 加速器最佳化工作負載

支援的機器系列

您可以將 Hyperdisk ML 與下列機器系列搭配使用:

關於已配置的效能

建立 Hyperdisk 磁碟區時,您不必佈建效能。如果您未配置效能,Compute Engine 會使用預設值建立磁碟區,您之後可以修改這些值。如需預設值的詳細資訊,請參閱「預設 IOPS 和傳輸量值」。

如果您知道效能需求,建立 Hyperdisk ML 磁碟區時,可以為該磁碟區指定 IOPS 和吞吐量限制,並在建立磁碟區後變更已配置的值。如未指定大小,就無法指定 IOPS 或處理量等級。

大小和效能限制

以下限制適用於您可為 Hyperdisk ML 磁碟區指定的大小、傳輸量和 IOPS 值。

  • 大小:介於 4 GiB 和 64 TiB 之間。預設大小為 100 GiB。

  • 處理量:介於 400 MiB/秒至 1,200,000 MiB/秒之間。最小和最大處理量都會依據磁碟區的大小而設有限制,如下所示:

    • 最小總處理量:對於大小介於 4 到 3,341 GiB 之間的磁碟區,最小值為 400 MiB/s。如果磁碟區大小為 3,342 GiB 以上,則最小值取決於大小,範圍介於 401 到 7,680 MiB/s 之間。

    • 最大總處理量:對於大小為 750 GiB 或更大的磁區,最大值為 1200000 MiB/s。如果磁碟區大小為 749 GiB 或更小,則最大值取決於大小,範圍為 6,400 到 1,199,999 MiB/s。

    如需範例,請參閱「已配置傳輸量限制」。

  • IOPS:您無法為 Hyperdisk ML 磁碟區指定 IOPS 限制。相反地,佈建的 IOPS 取決於佈建的吞吐量。每個 Hyperdisk ML 磁碟區都會為每 MiB/s 的處理量配置 16 IOPS,最多可達 19,200,000 IOPS。

已佈建處理量限制

下表列出常見磁碟區大小的已配置傳輸量限制。如果沒有列出大小,請使用下列公式計算可接受的值,其中 x 是 GiB 中的卷大小:

  • 可設定的總處理量下限:MAX (400, 0.12x)
  • 可設定的處理量上限:MIN (1200000, 1600x)
大小 總處理量下限 總處理量上限
4 400 6,400
10 400 16,000
50 400 80,000
64 400 102,400
100 400 160,000
300 400 480,000
500 400 800,000
1,000 400 1200000
5,000 600 1200000
25,000 3,000 1200000
64,000 7,680 1200000

預設 IOPS 和傳輸量值

建立 Hyperdisk ML 磁碟區時,如未指定 IOPS 或處理量限制,Compute Engine 會指派預設值。指派的值會根據下列公式計算,其中 x 是磁碟區的大小 (以 GiB 為單位)。

  • 預設處理量:MAX (24x, 400) MiB/秒
  • 預設大小:100 GiB

變更已配置的效能或大小

您可以每 4 小時變更已配置的大小,每 6 小時變更吞吐量。如需修改大小或效能的操作說明,請參閱「修改 Hyperdisk 磁碟區」。

連接至執行個體時的效能限制

本節列出 Hyperdisk ML 的效能限制。您可以為單一 Hyperdisk ML 磁碟區指定最多 1,200,000 MiB/s 的輸送量。您無法佈建 IOPS 等級,但每個 MiB/s 的已佈建總處理量都會搭配 16 IOPS,最高可達 19,200,000 IOPS。

下表列出 Hyperdisk ML 磁碟區可為每個支援的執行個體提供的最高效能。當 Hyperdisk ML 磁碟區連接至執行個體時,其效能不得超過執行個體機器類型的限制。無論各磁碟區的配置效能為何,效能限制也會套用至連接至同一執行個體的所有 Hyperdisk ML 磁碟區。

需要多個執行個體才能達到已配置效能的情況

Hyperdisk ML 磁碟區的已配置傳輸量會在連結該磁碟區的每個執行個體之間共用,上限為下表所列機器類型的上限。如果 Hyperdisk ML 磁碟區塊的配置效能高於執行個體的效能上限,則只有在連接至多個執行個體時,磁碟區塊才能達到配置效能。a3-ultragpu-8 執行個體的處理量上限為 4,000 MiB/s。

舉例來說,假設您已佈建具有 500,000 MiB/s 輸送量的 Hyperdisk ML 磁碟區,且想要將磁碟區附加至 a3-ultragpu-8 執行個體。單一 a3-ultragpu-8 執行個體的處理量不得超過 4,000 MiB/秒。因此,如要達到已配置的磁碟區處理量,您必須將磁碟區連接至至少 125 (500,000/4,000) 個 a3-ultragpu-8 執行個體。另一方面,如果是 a2-highgpu-1g 機器類型,則需要 272 個執行個體。

執行個體機型 最大 IOPS 最大總處理量 (MiB/秒)
a2-*-1g 28,800 1,800
a2-*-2g 38,400 2,400
a2-*-4g 38,400 2,400
a2-*-8g 38,400 2,400
a2-megagpu-16g 38,400 2,400
a3-*-1g 28,800 1,800
a3-*-2g 38,400 2,400
a3-*-4g 38,400 2,400
a3-*-8g (在唯讀模式下)1 64,000 4,000
a3-*-8g (讀取/寫入模式)1 38,400 2,400
c3-*-4 6,400 400
c3-*-8 12,800 800
c3-*-22 28,800 1,800
c3-*-44 38,400 2,400
c3-*-88 38,400 2,400
c3-*-176 38,400 2,400
c3-*-192 38,400 2,400
c3d-*-4 6,400 400
c3d-*-8 12,800 800
c3d-*-16 19,200 1,200
c3d-*-30 19,200 1,200
c3d-*-60 38,400 2,400
c3d-*-90 38,400 2,400
c3d-*-180 38,400 2,400
c3d-*-360 38,400 2,400
ct6e-standard-1t 19,200 1,200
ct6e-standard-4t 28,800 1,800
ct6e-standard-8t 28,800 1,800
g2-standard-4 12,800 800
g2-standard-8 19,200 1,200
g2-standard-12 28,800 1,800
g2-standard-16 38,400 2,400
g2-standard-24 38,400 2,400
g2-standard-32 38,400 2,400
g2-standard-48 38,400 2,400
g2-standard-96 38,400 2,400

1 對於 a3-*-8g 執行個體,效能取決於 Hyperdisk ML 磁碟區是以唯讀模式還是讀寫模式連接至執行個體。

Hyperdisk ML 的區域可用性

Hyperdisk ML 適用於下列區域和區域:

地區 可用區
臺灣彰化縣—asia-east1 asia-east1-a
asia-east1-b
asia-east1-c
日本東京:asia-northeast1 asia-northeast1-a
asia-northeast1-b
asia-northeast1-c
韓國首爾:asia-northeast3 asia-northeast3-a
asia-northeast3-b
新加坡裕廊西:asia-southeast1 asia-southeast1-a
asia-southeast1-b
asia-southeast1-c
印度孟買:asia-south1 asia-south1-b
asia-south1-c
比利時聖吉斯蘭:europe-west1 europe-west1-b
europe-west1-c
英國倫敦:europe-west2 europe-west2-a
europe-west2-b
europe-west3-b
荷蘭埃姆斯港:europe-west4 europe-west4-a
europe-west4-b
europe-west4-c
瑞士蘇黎世:europe-west6 europe-west6-b
europe-west6-c
以色列特拉維夫:me-west1 me-west1-b
me-west1-c
愛荷華州康索布魯夫:us-central1 us-central1-a
us-central1-b
us-central1-c
us-central1-f
美國南卡羅來納州蒙克斯科納:us-east1 us-east1-b
us-east1-c
us-east1-d
美國維吉尼亞州阿什本:us-east4 us-east4-a
us-east4-b
us-east4-c
俄亥俄州哥倫布市:us-east5 us-east5-a
us-east5-b
us-east5-c
德州達拉斯:us-south1 us-south1-a
美國奧勒岡州達勒斯:us-west1 us-west1-a
us-west1-b
us-west1-c
猶他州鹽湖城:us-west3 us-west3-b
內華達州拉斯維加斯:us-west4 us-west4-a
us-west4-b
us-west4-c

Hyperdisk ML 磁碟區的災難復原保護

您可以使用標準快照備份 Hyperdisk ML 磁碟區。快照會在特定時間點備份 Hyperdisk ML 磁碟區的資料。

跨可用區複製

您無法將 Hyperdisk ML 磁碟區複製到其他區域。如要將資料複製到同一個地區的其他區域,您必須使用 Hyperdisk Balanced High Availability 磁碟區。

在 VM 之間共用 Hyperdisk ML 磁碟區

對於加速器最佳化機器學習工作負載,您可以將相同的 Hyperdisk ML 磁碟區連接至多個執行個體。這樣一來,您就能從多個 VM 同時存取單一磁區的唯讀權限。這比擁有多個含有相同資料的磁碟更具成本效益。

在 VM 之間共用磁碟不會產生額外費用。將處於唯讀模式的磁碟連接至多個 VM 不會影響磁碟效能。每個 VM 仍可達到 VM 機器系列的最高磁碟效能。

在 VM 之間共用 Hyperdisk ML 的限制

  • Hyperdisk ML 磁碟區不支援多重寫入模式;如果磁碟區處於唯讀模式,您可以在多個執行個體之間共用 Hyperdisk ML 磁碟區。
  • Hyperdisk ML 磁碟區無法以唯讀模式連接至單一執行個體。
  • 如果您以唯讀模式共用 Hyperdisk ML 磁碟區,就無法重新啟用磁碟的寫入存取權。
  • 您可以在每個 30 秒間隔內,將 Hyperdisk ML 磁碟區連接至最多 100 個執行個體。
  • 對於 Hyperdisk ML 磁碟區,執行個體數量上限取決於
  • 已配置的大小,如下所示:
    • 大小小於 256 GiB 的磁碟區:2,500 個 VM
    • 容量為 256 GiB 以上,但小於 1 TiB 的磁碟區: 1,500 個虛擬機
    • 容量為 1 TiB 以上,但小於 2 TiB 的磁碟區: 600 個虛擬機
    • 容量為 2 TiB 以上之磁碟區: 30 個 VM

如果已連結至 20 個以上的 VM,則必須為每個 VM 配置至少 100 MiB/s 的吞吐量。舉例來說,如果您將磁碟連結至 500 個 VM,則必須佈建至少 50,000 MiB/s 總處理量的磁碟區。

詳情請參閱「Hyperdisk 的唯讀模式」。

定價

系統會按照 Hyperdisk ML 磁碟區的總佈建容量和吞吐量計費,直到您刪除這些項目為止。即使磁碟區未連接至任何執行個體,或是執行個體已暫停或停止,仍會產生費用。詳情請參閱「磁碟定價」。

限制

  • Hyperdisk ML 磁碟區屬於區域性質,只能由建立磁碟區的區域存取。
  • 您無法透過 Hyperdisk 磁碟區建立機器映像檔
  • 您無法透過 Hyperdisk ML 磁碟建立即時快照。
  • 您無法將 Hyperdisk ML 做為開機磁碟。
  • 您無法透過快照或磁碟映像檔,以讀取/寫入單一模式建立 Hyperdisk ML 磁碟。您必須在唯讀多重模式下建立磁碟。
  • 您可以每 4 小時變更 Hyperdisk ML 磁碟區的大小,每 6 小時變更其吞吐量。

後續步驟

在 VM 中新增 Hyperdisk ML 磁碟區