アクセラレータ最適化 VM を作成する

コンソール

1. Google Cloud コンソールで、[インスタンスの作成] ページに移動します。

   [インスタンスの作成] に移動

2. VM の名前を指定します。リソースの命名規則をご覧ください。

3. GPU が利用可能なリージョンとゾーンを選択します。利用可能な GPU のリージョンとゾーンのリストをご覧ください。

4. [マシンの構成] セクションで、[GPU] マシン ファミリーを選択し、次の操作を行います。

   1. [GPU のタイプ] リストで、GPU のタイプを選択します。

      • A3 アクセラレータ最適化 VM の場合は、NVIDIA H100 80GB または NVIDIA H100 80GB MEGA を選択します。
      • A2 アクセラレータ最適化 VM の場合は、NVIDIA A100 40GB または NVIDIA A100 80GB を選択します。
      • G2 アクセラレータ最適化 VM の場合は、NVIDIA L4 を選択します。

   2. [GPU の数] リストで、GPU の数を選択します。

   3. GPU モデルがグラフィック ワークロード用の NVIDIA RTX 仮想ワークステーション（vWS）をサポートし、この VM でグラフィックを多用するワークロードを実行する予定がある場合は、[仮想ワークステーション（NVIDIA GRID）を有効にする] を選択します。

5. [ブートディスク] セクションで [変更] をクリックします。[ブートディスクの構成] ページが表示されます。

6. [ブートディスクの構成] ページで、次の操作を行います。

   1. [公開イメージ] タブで、サポートされている Compute Engine イメージまたは Deep Learning VM Image を選択します。
   2. ブートディスク サイズは 40 GB 以上で指定します。
   3. ブートディスクのオプションを確認するには、[選択] をクリックします。

7. 省略可: プロビジョニング モデルを構成します。たとえば、ワークロードがフォールト トレラントで、VM のプリエンプションが発生する可能性がある場合は、Spot VM を使用して VM と接続された GPU のコストを削減することを検討してください。詳細については、Spot VM の GPU をご覧ください。その方法は次のとおりです。

   1. [可用性ポリシー] セクションで、[VM プロビジョニング モデル] リストから [スポット] を選択します。これを選択すると、VM の自動再起動とホスト メンテナンス オプションが無効になります。
   2. 省略可: [VM の終了時] リストで、Compute Engine が VM をプリエンプトしたときの動作を選択します。
      • プリエンプション中に VM を停止するには、[停止]を選択します（デフォルト）。
      • VM を削除するには、[削除] をクリックします。

8. VM を作成して起動するには、[作成] をクリックします。

gcloud

VM を作成して起動するには、次のフラグを指定して、gcloud compute instances create コマンドを使用します。GPU を使用した VM はライブ マイグレーションできません。必ず --maintenance-policy=TERMINATE フラグを設定してください。

サンプル コマンドには、以下のオプションのフラグが指定されています。

• VM を Spot VM として構成する --provisioning-model=SPOT フラグ。ワークロードがフォールト トレラントで、VM のプリエンプションが発生する可能性がある場合は、Spot VM を使用して VM と接続された GPU のコストを削減することを検討してください。詳細については、Spot VM の GPU をご覧ください。Spot VM の場合、自動再起動とホスト メンテナンスのオプション フラグは無効になります。
• 仮想ワークステーションを指定する --accelerator フラグ。 NVIDIA RTX 仮想ワークステーション（vWS）は、G2 VM でのみサポートされています。

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      [--provisioning-model=SPOT] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]
  

• VM_NAME: 新しい VM の名前。
• MACHINE_TYPE: 選択したマシンタイプ。次のいずれかを選択します。
  • A3 マシンタイプ。
  • A2 マシンタイプ。
  • G2 マシンタイプ。 G2 マシンタイプはカスタムメモリもサポートしています。メモリは 1,024 MB の倍数とし、サポートされているメモリ範囲内に収める必要があります。たとえば、4 個の vCPU と 19 GB のメモリを備えた VM を作成するには、--machine-type=g2-custom-4-19456 を指定します。
• ZONE: VM のゾーン。このゾーンは、選択した GPU モデルをサポートしている必要があります。
• DISK_SIZE: ブートディスクのサイズ（GB 単位）。ブートディスクのサイズは 40 GB 以上で指定します。
• IMAGE: GPU をサポートするオペレーティング システム イメージ。イメージ ファミリーの最新イメージを使用する場合は、--image フラグを --image-family フラグに置き換え、その値を GPU をサポートするイメージ ファミリーに設定します。例: --image-family=rocky-linux-8-optimized-gcp
  カスタム イメージまたは Deep Learning VM Image を指定することもできます。
• IMAGE_PROJECT: OS イメージが属する Compute Engine イメージ プロジェクト。カスタム イメージまたは Deep Learning VM Image を使用する場合は、それらのイメージが属するプロジェクトを指定します。
• VWS_ACCELERATOR_COUNT: 必要な仮想 GPU の数。

REST

instances.insert メソッドに POST リクエストを送信します。GPU を使用した VM はライブ マイグレーションできません。必ず onHostMaintenance パラメータを TERMINATE に設定してください。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  ["automaticRestart": true]
},
}

• VM_NAME: 新しい VM の名前。
• PROJECT_ID: 実際のプロジェクト ID。
• ZONE: VM のゾーン。このゾーンは、選択した GPU モデルをサポートしている必要があります。
• MACHINE_TYPE: 選択したマシンタイプ。次のいずれかを選択します。
  • A3 マシンタイプ。
  • A2 マシンタイプ。
  • G2 マシンタイプ。 G2 マシンタイプはカスタムメモリもサポートしています。メモリは 1,024 MB の倍数とし、サポートされているメモリ範囲内に収める必要があります。たとえば、4 個の vCPU と 19 GB のメモリを備えた VM を作成するには、--machine-type=g2-custom-4-19456 を指定します。
  SOURCE_IMAGE_URI: 使用する特定のイメージまたはイメージ ファミリーの URI。 次に例を示します。
  • 特定のイメージ: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
  • イメージ ファミリー: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
  イメージ ファミリーを指定すると、Compute Engine はそのファミリー内のサポート対象の最新の OS イメージから VM を作成します。イメージ ファミリーを使用するタイミングについて詳しくは、イメージ ファミリーのベスト プラクティスをご覧ください。
• DISK_SIZE: ブートディスクのサイズ（GB 単位）。ブートディスクのサイズは 40 GB 以上で指定します。
• NETWORK: VM に使用する VPC ネットワーク。デフォルト ネットワークを使用するには、「default」を指定します。

• ワークロードがフォールト トレラントで、VM のプリエンプションが発生する可能性がある場合は、Spot VM を使用して VM と接続された GPU の費用を削減することを検討してください。詳細については、Spot VM の GPU をご覧ください。Spot VM を指定するには、リクエストに "provisioningModel": "SPOT" オプションを追加します。Spot VM の場合、自動再起動とホスト メンテナンスのオプション フラグは無効になります。

  "scheduling":
    {
      "provisioningModel": "SPOT"
    }
  

• G2 VM の場合、NVIDIA RTX 仮想ワークステーション（vWS）がサポートされています。仮想ワークステーションを指定するには、リクエストに「guestAccelerators」オプションを追加します。VWS_ACCELERATOR_COUNT は、必要な仮想 GPU の数に置き換えます。

  "guestAccelerators":
    [
      {
        "acceleratorCount": VWS_ACCELERATOR_COUNT,
        "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
      }
    ]
  

A3 VM

A3 Edge、A3 High、A3 Mega マシンタイプを使用する VM には、次の制限が適用されます。

• A3 マシンタイプを使用する VM は、継続利用割引とフレキシブル確約利用割引の対象外となります。
• A3 マシンタイプは、特定のリージョンとゾーンでのみ使用できます。
• A3 マシンタイプを使用する VM では、リージョン Persistent Disk を使用できません。
• A3 マシンシリーズは、Sapphire Rapids プラットフォームでのみ使用できます。
• VM が A3 マシンタイプを使用している場合、マシンタイプを変更することはできません。マシンタイプを変更するには、新しい VM を作成する必要があります。
• VM のマシンタイプを A3 マシンタイプに変更することはできません。A3 マシンタイプを使用する VM が必要な場合は、新しい VM を作成する必要があります。
• A3 マシンタイプは、単一テナンシーをサポートしません。
• A3 マシンタイプでは Windows オペレーティング システムを実行できません。
• A3 マシンタイプの予約は、特定の予約からのみ可能です。
• a3-highgpu-1g、a3-highgpu-2g、a3-highgpu-4g マシンタイプには、次の制限が適用されます。
  • これらのマシンタイプでは、Spot VM を使用するか、Dynamic Workload Scheduler（DWS）を使用する機能（MIG でのサイズ変更リクエストなど）を使用する必要があります。これらのオプションの詳細な手順については、以下をご覧ください。
    • Spot VM を作成するには、アクセラレータ最適化 VM を作成するをご覧ください。プロビジョニング モデルを SPOT に設定してください。
    • Dynamic Workload Scheduler を使用する MIG でサイズ変更リクエストを作成するには、GPU VM を使用する MIG を作成するをご覧ください。
  • これらのマシンタイプでは Hyperdisk Balanced を使用できません。
  • 予約を作成できません。
  標準プロビジョニングを使用して VM を作成しようとした場合、またはこれらのマシンタイプの予約を作成しようとすると、エラー メッセージが表示されます。

A2 標準 VM

• A2 標準マシンタイプを使用する VM は、継続利用割引とフレキシブル確約利用割引の対象外となります。
• A2 標準マシンタイプは、特定のリージョンとゾーンでのみ使用できます。
• A2 標準マシンタイプを使用する VM では、リージョン Persistent Disk を使用できません。
• A2 標準マシンタイプは、Cascade Lake プラットフォームでのみ使用できます。
• VM が A2 標準マシンタイプを使用している場合は、ある A2 標準マシンタイプから別の A2 標準マシンタイプにのみ切り替えることができます。他のマシンタイプには変更できません。詳細については、アクセラレータ最適化 VM を変更するをご覧ください。
• <codea2-megagpu-16g< code="" dir="ltr" translate="no">A2 標準マシンタイプでは Windows オペレーティング システムを使用できません。Windows オペレーティング システムを使用する場合は、別の A2 標準マシンタイプを選択する必要があります。</codea2-megagpu-16g<>
• A2 標準マシンタイプを使用する Windows VM では、アタッチされたローカル SSD のクイック フォーマットを行うことができません。これらのローカル SSD をフォーマットするには、diskpart ユーティリティを使用し、format fs=ntfs label=tmpfs を指定して完全フォーマットを行う必要があります。
• A2 標準マシンタイプは、単一テナンシーをサポートしません。

A2 Ultra VM

• A2 Ultra マシンタイプを使用する VM は、継続利用割引とフレキシブル確約利用割引の対象外となります。
• A2 Ultra マシンタイプは、特定のリージョンとゾーンでのみ使用できます。
• A2 Ultra マシンタイプを使用する VM では、リージョン Persistent Disk を使用できません。
• A2 Ultra マシンタイプは、Cascade Lake プラットフォームでのみ使用できます。
• VM が A2 Ultra マシンタイプを使用している場合、マシンタイプを変更することはできません。別の A2 Ultra マシンタイプやその他のマシンタイプを使用するには、新しい VM を作成する必要があります。
• 他のマシンタイプを A2 Ultra マシンタイプに変更することはできません。A2 Ultra マシンタイプを使用する VM が必要な場合は、新しい VM を作成する必要があります。
• A2 Ultra マシンタイプを使用する Windows VM では、アタッチされたローカル SSD のクイック フォーマットを行うことができません。これらのローカル SSD をフォーマットするには、diskpart ユーティリティを使用し、format fs=ntfs label=tmpfs を指定して完全フォーマットを行う必要があります。

G2 VM

• G2 マシンタイプを使用する VM は、継続利用割引とフレキシブル確約利用割引の対象外となります。
• G2 マシンタイプは、特定のリージョンとゾーンでのみ使用できます。
• G2 マシンタイプを使用する VM では、リージョン Persistent Disk を使用できません。
• G2 マシンタイプは、Cascade Lake プラットフォームでのみ使用できます。
• 標準 Persistent Disk（pd-standard）は、G2 標準マシンタイプを使用する VM ではサポートされません。サポートされているディスクタイプについては、G2 でサポートされているディスクタイプをご覧ください。
• G2 マシンタイプでマルチインスタンス GPU を作成することはできません。
• G2 VM のマシンタイプを変更する必要がある場合は、アクセラレータ最適化 VM を変更するをご覧ください。
• G2 マシンタイプを使用する VM のブートディスクに Deep Learning VM Image を使用することはできません。
• Container-Optimized OS の現在のデフォルト ドライバは、G2 マシンタイプで実行される L4 GPU をサポートしていません。Container-Optimized OS は、選択されたドライバのセットのみをサポートしています。 G2 マシンタイプで Container-Optimized OS を使用する場合は、次の点に注意してください。
  • 推奨される最小の NVIDIA ドライバ バージョン 525.60.13 以降をサポートする Container-Optimized OS のバージョンを使用します。詳細については、Container-Optimized OS のリリースノートをご覧ください。
  • ドライバをインストールするときに、L4 GPU で動作する最新の最新バージョンを指定します。 例: sudo cos-extensions install gpu -- -version=525.60.13。
• 次のシナリオでは、Google Cloud CLI または REST を使用して G2 VM を作成する必要があります。
  • カスタムメモリ値を指定する必要があります。
  • 表示可能な CPU コアの数をカスタマイズする必要があります。

COS（A3 Edge/High）

Container-Optimized（COS）イメージを使用して、H100 GPU が接続された a3-edgegpu-8g VM または a3-highgpu-8g VM を作成できます。

Container-Optimized OS を使用するこれらの a3-edgegpu-8g VM または a3-highgpu-8g VM の作成方法の詳細については、GPUDirect-TCPX を有効にした A3 VM を作成するをご覧ください。

公開 OS イメージ（G2）

Compute Engine で利用可能な公開イメージまたはカスタム イメージのいずれかを使用する GPU が接続された VM を作成できます。

g2-standard-8 マシンタイプを使用し、NVIDIA RTX 仮想ワークステーションを備えた Google Cloud イメージ ファミリー用に最適化された Rocky Linux 8 の非推奨でない最新のイメージを使用して VM を作成するには、以下の手順を行います。

1. VM を作成します。この例では、ブートディスクのタイプやサイズなどのオプションのフラグも指定されています。

   gcloud compute instances create VM_NAME \
       --project=PROJECT_ID \
       --zone=ZONE \
       --machine-type=g2-standard-8  \
       --maintenance-policy=TERMINATE --restart-on-failure \
       --network-interface=nic-type=GVNIC \
       --accelerator=type=nvidia-l4-vws,count=1 \
       --image-family=rocky-linux-8-optimized-gcp \
       --image-project=rocky-linux-cloud \
       --boot-disk-size=200GB \
       --boot-disk-type=pd-ssd
   

   次のように置き換えます。

   • VM_NAME: VM の名前。
   • PROJECT_ID: プロジェクト ID。
   • ZONE: VM のゾーン。

2. NVIDIA ドライバと CUDA をインストールします。NVIDIA L4 GPU には、CUDA バージョン XX 以降が必要です。

DLVM イメージ（A2）

すでに NVIDIA ドライバと CUDA ライブラリがプリインストールされているため、DLVM イメージを使用するのが最も簡単な方法です。

これらのイメージは、パフォーマンスの最適化にも役立ちます。

NVIDIA A100 では、次の DLVM イメージがサポートされています。

• common-cu110: NVIDIA ドライバと CUDA がプリインストールされています
• tf-ent-1-15-cu110: NVIDIA ドライバ、CUDA、TensorFlow Enterprise 1.15.3 がプリインストールされています
• tf2-ent-2-1-cu110: NVIDIA ドライバ、CUDA、TensorFlow Enterprise 2.1.1 がプリインストールされています
• tf2-ent-2-3-cu110: NVIDIA ドライバ、CUDA、TensorFlow Enterprise 2.3.1 がプリインストールされています
• pytorch-1-6-cu110: NVIDIA ドライバ、CUDA、Pytorch 1.6

使用可能な DLVM イメージと、イメージにインストールされているパッケージの詳細については、ディープ ラーニング VM のドキュメントをご覧ください。

1. tf2-ent-2-3-cu110 イメージと a2-highgpu-1g マシンタイプを使用して VM を作成します。この例では、ブートディスクのサイズやスコープなどのオプションのフラグが指定されています。

   gcloud compute instances create VM_NAME \
      --project PROJECT_ID \
      --zone ZONE \
      --machine-type a2-highgpu-1g \
      --maintenance-policy TERMINATE \
      --image-family tf2-ent-2-3-cu110 \
      --image-project deeplearning-platform-release \
      --boot-disk-size 200GB \
      --metadata "install-nvidia-driver=True,proxy-mode=project_editors" \
      --scopes https://www.googleapis.com/auth/cloud-platform
   

   次のように置き換えます。

   • VM_NAME: VM の名前。
   • PROJECT_ID: プロジェクト ID。
   • ZONE: VM のゾーン。

2. 上記のコマンドの例では、VM の Vertex AI Workbench ユーザー管理ノートブック インスタンスも生成されます。ノートブックにアクセスするには、Google Cloud コンソールで [Vertex AI Workbench] > [User-managed notebooks] ページに移動します。

   [ユーザー管理のノートブック] ページに移動