Hyperdisk ML について


このドキュメントでは、すべての Google Cloud Hyperdisk タイプの中で最も高いスループットを提供する Hyperdisk ML の機能について説明します。Hyperdisk ML は、ML で使用するだけでなく、不変データセットで高い読み取りスループットを必要とするワークロードに使用することをおすすめします。高スループットの Hyperdisk ML により、データの読み込み時間が短縮されます。アクセラレータのアイドル時間も短縮され、コンピューティング費用が削減されます。

大規模な推論、トレーニング、HPC ワークロードの場合、1 つの Hyperdisk ML ボリュームを読み取り専用モードで複数のコンピューティング インスタンスにアタッチできます。

1 つの Hyperdisk ML ボリュームに対して最大 1,200,000 MiB/秒のスループットを指定できます。IOPS レベルをプロビジョニングすることはできませんが、プロビジョニングされたスループットの 1 MiB/秒ごとに 16 IOPS(最大 19,200,000 IOPS)まで返します。

Hyperdisk と他の Hyperdisk タイプの詳細については、Hyperdisk についてをご覧ください。

Hyperdisk ML ボリュームを作成するには、Hyperdisk ボリュームを作成するをご覧ください。

ユースケース

Hyperdisk ML は、次のユースケースに適しています。

  • HPC ワークロード
  • 機械学習
  • アクセラレータ最適化ワークロード

マシンシリーズのサポート

Hyperdisk ML は、次のマシンシリーズで使用できます。

プロビジョニングされたパフォーマンスについて

Hyperdisk ボリュームを作成するときにパフォーマンスをプロビジョニングする必要はありません。パフォーマンスをプロビジョニングしない場合、Compute Engine はデフォルト値でボリュームを作成します。この値は後で変更できます。デフォルト値の詳細については、IOPS とスループットのデフォルト値をご覧ください。

パフォーマンス要件がわかっている場合は、ボリュームの作成時に Hyperdisk ML ボリュームの IOPS とスループットの上限を指定できます。プロビジョニングされた値は、ボリュームの作成後に変更できます。サイズを指定しないと、IOPS またはスループット レベルを指定できません。

サイズとパフォーマンスの上限

Hyperdisk ML ボリュームに指定できるサイズ、スループット、IOPS 値には、次の上限が適用されます。

  • サイズ: 4 GiB ~ 64 TiB。デフォルトのサイズは 100 GiB です。

  • スループット: 400 MiB/秒~ 1,200,000 MiB/秒。最小スループットと最大スループットの両方に、ボリュームのサイズに基づく独自の上限があります。

    • 最小スループット: サイズが 4 ~ 3,341 GiB のボリュームの場合、最小値は 400 MiB/秒です。サイズが 3,342 GiB 以上のボリュームの場合、最小値はサイズによって異なり、401 ~ 7,680 MiB/秒の範囲になります。

    • 最大スループット: サイズが 750 GiB 以上のボリュームの最大値は 1,200,000 MiB/秒です。サイズが 749 GiB 以下のボリュームの場合、最大値はサイズによって異なり、6,400 ~ 1,199,999 MiB/秒の範囲になります。

    例については、プロビジョニングされたスループットの上限をご覧ください。

  • IOPS: Hyperdisk ML ボリュームに IOPS の上限は指定できません。代わりに、プロビジョニングされた IOPS はプロビジョニングされたスループットによって異なります。各 Hyperdisk ML ボリュームは、スループットの MiB/秒ごとに 16 IOPS でプロビジョニングされ、最大 19,200,000 IOPS になります。

プロビジョニングされたスループットの上限

次の表に、一般的なボリューム サイズのプロビジョニングされたスループットの上限を示します。サイズがリストにない場合は、次の式を使用して許容値を計算します。ここで、x はボリュームのサイズ(GiB)です。

  • 構成可能な最小スループット: MAX (400, 0.12x)
  • 構成可能な最大スループット: MIN (1200000, 1600x)
サイズ 最小スループット 最大スループット
4 400 6,400
10 400 16,000
50 400 80,000
64 400 102,400
100 400 160,000
300 400 480,000
500 400 800,000
1,000 400 1200000
5,000 600 1200000
25,000 3,000 1200000
64,000 7,680 1200000

デフォルトの IOPS 値とスループット値

Hyperdisk ML ボリュームの作成時に IOPS またはスループットの上限を指定しない場合、Compute Engine はデフォルト値を割り当てます。割り当てられた値は次の式に基づいています。ここで、x はボリュームのサイズ(GiB)です。

  • デフォルトのスループット: MAX (24x, 400) MiB/秒
  • デフォルト サイズ: 100 GiB

プロビジョニングされたパフォーマンスまたはサイズを変更する

プロビジョニングされたサイズは 4 時間ごとに、スループットは 6 時間ごとに変更できます。サイズまたはパフォーマンスを変更する手順については、Hyperdisk ボリュームを変更するをご覧ください。

インスタンスにアタッチした場合のパフォーマンスの上限

このセクションでは、Hyperdisk ML のパフォーマンスの上限について説明します。1 つの Hyperdisk ML ボリュームに対して最大 1,200,000 MiB/秒のスループットを指定できます。IOPS レベルをプロビジョニングすることはできませんが、プロビジョニングされたスループットの 1 MiB/秒ごとに 16 IOPS(最大 19,200,000 IOPS)まで返します。

次の表に、サポートされているインスタンスごとに Hyperdisk ML ボリュームで達成可能な最大パフォーマンスを示します。インスタンスにアタッチされた Hyperdisk ML ボリュームのパフォーマンスは、インスタンスのマシンタイプの上限を超えることはできません。パフォーマンスの上限は、各ボリュームのプロビジョニングされたパフォーマンスに関係なく、同じインスタンスにアタッチされているすべての Hyperdisk ML ボリューム間で共有されます。

プロビジョニングされたパフォーマンスを達成するために複数のインスタンスが必要になるシナリオ

Hyperdisk ML ボリュームのプロビジョニングされたスループットは、ボリュームがアタッチされている各インスタンス間で、次の表に示すマシンタイプの最大上限まで共有されます。Hyperdisk ML ボリュームのプロビジョニングされたパフォーマンスがインスタンスのパフォーマンスの上限を超える場合、プロビジョニングされたパフォーマンスを達成するには、ボリュームが複数のインスタンスにアタッチされている必要があります。a3-ultragpu-8 インスタンスのスループット上限は 4,000 MiB/秒です。

たとえば、500,000 MiB/秒のスループットでプロビジョニングされた Hyperdisk ML ボリュームがあり、そのボリュームを a3-ultragpu-8 インスタンスにアタッチするとします。1 つの a3-ultragpu-8 インスタンスで 4,000 MiB/秒を超えるスループットを達成することはできません。したがって、ボリュームのプロビジョニングされたスループットを実現するには、ボリュームを少なくとも 125(500,000 ÷ 4,000)個の a3-ultragpu-8 インスタンスにアタッチする必要があります。一方、a2-highgpu-1g マシンタイプの場合は 272 個のインスタンスが必要になります。

インスタンスのマシンタイプ 最大 IOPS 最大スループット(MiB/秒)
a2-*-1g 28,800 1,800
a2-*-2g 38,400 2,400
a2-*-4g 38,400 2,400
a2-*-8g 38,400 2,400
a2-megagpu-16g 38,400 2,400
a3-*-1g 28,800 1,800
a3-*-2g 38,400 2,400
a3-*-4g 38,400 2,400
a3-*-8g(読み取り専用モード)1 64,000 4,000
a3-*-8g(読み取り / 書き込みモード)1 38,400 2,400
c3-*-4 6,400 400
c3-*-8 12,800 800
c3-*-22 28,800 1,800
c3-*-44 38,400 2,400
c3-*-88 38,400 2,400
c3-*-176 38,400 2,400
c3-*-192 38,400 2,400
c3d-*-4 6,400 400
c3d-*-8 12,800 800
c3d-*-16 19,200 1,200
c3d-*-30 19,200 1,200
c3d-*-60 38,400 2,400
c3d-*-90 38,400 2,400
c3d-*-180 38,400 2,400
c3d-*-360 38,400 2,400
ct6e-standard-1t 19,200 1,200
ct6e-standard-4t 28,800 1,800
ct6e-standard-8t 28,800 1,800
g2-standard-4 12,800 800
g2-standard-8 19,200 1,200
g2-standard-12 28,800 1,800
g2-standard-16 38,400 2,400
g2-standard-24 38,400 2,400
g2-standard-32 38,400 2,400
g2-standard-48 38,400 2,400
g2-standard-96 38,400 2,400

1 a3-*-8g インスタンスの場合、Hyperdisk ML ボリュームが読み取り専用モードと読み取り / 書き込みモードのどちらでインスタンスにアタッチされているかによってパフォーマンスが異なります。

Hyperdisk ML のリージョンの可用性

Hyperdisk ML は、次のリージョンとゾーンで使用できます。

リージョン 利用可能なゾーン
彰化県(台湾) - asia-east1 asia-east1-a
asia-east1-b
asia-east1-c
東京(日本) - asia-northeast1 asia-northeast1-a
asia-northeast1-b
asia-northeast1-c
ソウル(韓国) - asia-northeast3 asia-northeast3-a
asia-northeast3-b
ジュロンウェスト(シンガポール) - asia-southeast1 asia-southeast1-a
asia-southeast1-b
asia-southeast1-c
ムンバイ(インド) - asia-south1 asia-south1-b
asia-south1-c
サンギスラン(ベルギー) - europe-west1 europe-west1-b
europe-west1-c
ロンドン(イギリス) - europe-west2 europe-west2-a
europe-west2-b
europe-west3-b
エームスハーヴェン(オランダ) - europe-west4 europe-west4-a
europe-west4-b
europe-west4-c
チューリッヒ(スイス) - europe-west6 europe-west6-b
europe-west6-c
テルアビブ(イスラエル) - me-west1 me-west1-b
me-west1-c
カウンシルブラフス(アイオワ州) - us-central1 us-central1-a
us-central1-b
us-central1-c
us-central1-f
モンクスコーナー(サウスカロライナ州) - us-east1 us-east1-b
us-east1-c
us-east1-d
アッシュバーン(バージニア州) - us-east4 us-east4-a
us-east4-b
us-east4-c
コロンバス(オハイオ州) - us-east5 us-east5-a
us-east5-b
us-east5-c
ダラス(テキサス州) - us-south1 us-south1-a
ザ ダルズ(オレゴン州) - us-west1 us-west1-a
us-west1-b
us-west1-c
ソルトレイクシティ(ユタ州) - us-west3 us-west3-b
ラスベガス(ネバダ州) - us-west4 us-west4-a
us-west4-b
us-west4-c

Hyperdisk ML ボリュームの障害対策

Hyperdisk ML ボリュームは、標準スナップショットでバックアップできます。スナップショットは、特定の時点で Hyperdisk ML ボリューム上のデータをバックアップします。

ゾーン間のレプリケーション

Hyperdisk ML ボリュームを別のゾーンに複製することはできません。同じリージョン内の別のゾーンにデータを複製するには、Hyperdisk Balanced High Availability ボリュームを使用する必要があります。

VM 間で Hyperdisk ML ボリュームを共有する

アクセラレータ最適化 ML ワークロードの場合は、同じ Hyperdisk ML ボリュームを複数のインスタンスにアタッチできます。これにより、複数の VM から単一のボリュームへの同時読み取り専用アクセスが可能になります。これは、同じデータを含む複数のディスクを使用するよりも費用対効果が高くなります。

VM 間でディスクを共有することに対して追加費用は発生しません。読み取り専用モードのディスクを複数の VM にアタッチしても、そのディスクのパフォーマンスには影響しません。各 VM は、VM のマシンシリーズで可能な最大のディスク パフォーマンスを発揮できます。

VM 間で Hyperdisk ML を共有する際の制限事項

  • Hyperdisk ML ボリュームはマルチライター モードをサポートしていません。ボリュームが読み取り専用モードの場合、Hyperdisk ML ボリュームを複数のインスタンス間で共有できます。
  • Hyperdisk ML ボリュームは、読み取り専用モードで単一のインスタンスに接続できません。
  • Hyperdisk ML ボリュームを読み取り専用モードで共有した場合、ディスクへの書き込みアクセスを再度有効にすることはできません。
  • Hyperdisk ML ボリュームは、30 秒間隔で最大 100 個のインスタンスにアタッチできます。
  • Hyperdisk ML ボリュームの場合、インスタンスの最大数は次の要素によって異なります。
  • プロビジョニングされるサイズは次のとおりです。
    • サイズが 256 GiB 未満のボリューム: 2,500 台の VM
    • 容量が 256 GiB~1 TiB 未満のボリューム: 1,500 台の VM
    • 容量が 1 TiB 以上 2 TiB 未満のボリューム: 600 台の VM
    • 容量が 2 TiB 以上のボリューム: 30 台の VM

ボリュームが 20 個を超える VM にアタッチされている場合は、VM ごとに少なくとも 100 MiB/秒のスループットをプロビジョニングする必要があります。たとえば、ディスクを 500 台の VM にアタッチする場合は、少なくとも 50,000 MiB/秒のスループットでボリュームをプロビジョニングする必要があります。

詳細については、Hyperdisk の読み取り専用モードをご覧ください。

料金

Hyperdisk ML ボリュームを削除するまで、プロビジョニングされた合計サイズとスループットに対して課金されます。ボリュームがインスタンスに接続されていない場合や、インスタンスが一時停止または停止されている場合でも、料金が発生します。詳細については、ディスクの料金をご覧ください。

制限事項

  • Hyperdisk ML ボリュームはゾーンに存在し、ボリュームを作成したゾーンからのみアクセスできます。
  • Hyperdisk ボリュームからマシンイメージを作成することはできません。
  • Hyperdisk ML ボリュームからインスタント スナップショットを作成することはできません。
  • Hyperdisk ML は、ブートディスクとして使用できません。
  • スナップショットまたはディスク イメージから、読み取り / 書き込みモードの Hyperdisk ML ディスクは作成できません。ディスクは読み取り専用モードで作成する必要があります。
  • Hyperdisk ML ボリュームのサイズは 4 時間ごとに、スループットは 6 時間ごとに変更できます。

次のステップ

VM に Hyperdisk ML ボリュームを追加する