GPU VM のグループを一括作成する

gcloud

VM のグループを作成するには、gcloud compute instances bulk create コマンドを使用します。パラメータとこのコマンドの使用方法については、VM の一括作成をご覧ください。

コマンドの例では、以下のオプションのフラグが示されています。

• --provisioning-model=SPOT は、VM を Spot VM として構成するオプションのフラグです。ワークロードがフォールト トレラントで、VM のプリエンプションが発生する可能性がある場合は、Spot VM を使用して VM と接続された GPU のコストを削減することを検討してください。詳細については、Spot VM の GPU をご覧ください。Spot VM の場合、自動再起動とホスト メンテナンスのオプション フラグは無効になります。

• 仮想ワークステーションを指定する --accelerator フラグ。NVIDIA RTX 仮想ワークステーション（vWS）は、G2 VM でのみサポートされています。

例

この例では、次の仕様を使用して、GPU がアタッチされた 2 つの VM を作成します。

• VM 名: my-test-vm-1、my-test-vm-2
• 各 VM には 2 つの GPU がアタッチされ、適切なアクセラレータ最適化マシンタイプを使用して指定されます。

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --region=REGION \
    --count=2 \
    --machine-type=MACHINE_TYPE \
    --boot-disk-size=200 \
    --image=IMAGE \
    --image-project=IMAGE_PROJECT \
    --on-host-maintenance=TERMINATE \
    [--provisioning-model=SPOT] \
    [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

以下を置き換えます。

• REGION: VM のリージョン。このリージョンは、選択した GPU モデルをサポートしている必要があります。

• MACHINE_TYPE: 選択したマシンタイプ。 次のいずれかを選択します。

  • A3 マシンタイプ。
  • A2 マシンタイプ。
  • G2 マシンタイプ。G2 マシンタイプはカスタムメモリもサポートしています。メモリは 1,024 MB の倍数で、サポートされているメモリ範囲内にある必要があります。たとえば、4 個の vCPU と 19 GB のメモリを備えた VM を作成するには、--machine-type=g2-custom-4-19456 を指定します。

• IMAGE: GPU をサポートするオペレーティング システム イメージ。

  イメージ ファミリーの最新イメージを使用する場合は、--image フラグを --image-family フラグに置き換え、その値を GPU をサポートするイメージ ファミリーに設定します。例: --image-family=rocky-linux-8-optimized-gcp

  カスタム イメージまたは Deep Learning VM Image を指定することもできます。

• IMAGE_PROJECT: OS イメージが属する Compute Engine イメージ プロジェクト。カスタム イメージまたは Deep Learning VM Image を使用する場合は、それらのイメージが属するプロジェクトを指定します。

• VWS_ACCELERATOR_COUNT: 必要な仮想 GPU の数。

成功すると、出力は次のようになります。

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

必須パラメータによる instances.bulkInsert メソッドを使用して、1 つのゾーンに複数の VM を作成します。パラメータとこのコマンドの使用方法については、VM の一括作成をご覧ください。

例

この例では、次の仕様を使用して、GPU がアタッチされた 2 つの VM を作成します。

• VM 名: my-test-vm-1、my-test-vm-2

• 各 VM には 2 つの GPU がアタッチされ、適切なアクセラレータ最適化マシンタイプを使用して指定されます。

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instances/bulkInsert
  {
  "namePattern":"my-test-vm-#",
  "count":"2",
  "instanceProperties": {
    "machineType":MACHINE_TYPE,
    "disks":[
      {
        "type":"PERSISTENT",
        "initializeParams":{
          "diskSizeGb":"200",
          "sourceImage":SOURCE_IMAGE_URI
        },
        "boot":true
      }
    ],
    "name": "default",
    "networkInterfaces":
    [
      {
        "network": "projects/PROJECT_ID/global/networks/default"
      }
    ],
    "scheduling":{
      "onHostMaintenance":"TERMINATE",
      ["automaticRestart":true]
    }
  }
  }
  

以下を置き換えます。

• PROJECT_ID: プロジェクト ID
• REGION: VM のリージョン。このリージョンは、選択した GPU モデルをサポートしている必要があります。

• MACHINE_TYPE: 選択したマシンタイプ。 次のいずれかの方法を選択します。

  • A2 マシンタイプ。
  • G2 マシンタイプ。G2 マシンタイプはカスタムメモリもサポートしています。メモリは 1,024 MB の倍数で、サポートされているメモリ範囲内にある必要があります。たとえば、4 個の vCPU と 19 GB のメモリを備えた VM を作成するには、--machine-type=g2-custom-4-19456 を指定します。

• SOURCE_IMAGE_URI: 使用する特定のイメージまたはイメージ ファミリーの URI。

  例:

  • 特定のイメージ: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
  • イメージ ファミリー: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"

  イメージ ファミリーを指定すると、Compute Engine はそのファミリー内のサポート対象の最新の OS イメージから VM を作成します。イメージ ファミリーを使用するタイミングについて詳しくは、イメージ ファミリーのベスト プラクティスをご覧ください。

追加の設定:

• ワークロードがフォールト トレラントで、VM のプリエンプションが発生する可能性がある場合は、Spot VM を使用して VM と接続された GPU のコストを削減することを検討してください。詳細については、Spot VM の GPU をご覧ください。Spot VM を使用するには、リクエストに "provisioningModel": "SPOT オプションを追加します。Spot VM の場合、自動再起動とホスト メンテナンス オプションのフラグは無効になります。

  "scheduling":
    {
      "provisioningModel": "SPOT"
    }
  

• G2 VM の場合、NVIDIA RTX 仮想ワークステーション（vWS）がサポートされています。仮想ワークステーションを指定するには、リクエストに guestAccelerators オプションを追加します。VWS_ACCELERATOR_COUNT は、必要な仮想 GPU の数に置き換えます。

  "guestAccelerators":
   [
     {
       "acceleratorCount": VWS_ACCELERATOR_COUNT,
       "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
     }
   ]
  

A3 VM

A3 Edge、A3 High、A3 Mega マシンタイプを使用する VM には、次の制限が適用されます。

• A3 マシンタイプを使用する VM は、継続利用割引とフレキシブル確約利用割引の対象外となります。
• A3 マシンタイプは、特定のリージョンとゾーンでのみ使用できます。
• A3 マシンタイプを使用する VM では、リージョン Persistent Disk を使用できません。
• A3 マシンシリーズは、Sapphire Rapids プラットフォームでのみ使用できます。
• VM が A3 マシンタイプを使用している場合、マシンタイプを変更することはできません。マシンタイプを変更するには、新しい VM を作成する必要があります。
• VM のマシンタイプを A3 マシンタイプに変更することはできません。A3 マシンタイプを使用する VM が必要な場合は、新しい VM を作成する必要があります。
• A3 マシンタイプは、単一テナンシーをサポートしません。
• A3 マシンタイプでは Windows オペレーティング システムを実行できません。
• A3 マシンタイプの予約は、特定の予約からのみ可能です。
• a3-highgpu-1g、a3-highgpu-2g、a3-highgpu-4g マシンタイプには、次の制限が適用されます。
  • これらのマシンタイプでは、Spot VM を使用するか、Dynamic Workload Scheduler（DWS）を使用する機能（MIG でのサイズ変更リクエストなど）を使用する必要があります。これらのオプションの詳細な手順については、以下をご覧ください。
    • Spot VM を作成するには、アクセラレータ最適化 VM を作成するをご覧ください。プロビジョニング モデルを SPOT に設定してください。
    • Dynamic Workload Scheduler を使用する MIG でサイズ変更リクエストを作成するには、GPU VM を使用して MIG を作成するをご覧ください。
  • これらのマシンタイプでは Hyperdisk Balanced を使用できません。
  • 予約を作成できません。
  標準プロビジョニングを使用して VM を作成しようとした場合、またはこれらのマシンタイプの予約を作成しようとすると、エラー メッセージが表示されます。

A2 標準 VM

• A2 標準マシンタイプを使用する VM は、継続利用割引とフレキシブル確約利用割引の対象外となります。
• A2 標準マシンタイプは、特定のリージョンとゾーンでのみ使用できます。
• A2 標準マシンタイプを使用する VM では、リージョン Persistent Disk を使用できません。
• A2 標準マシンタイプは、Cascade Lake プラットフォームでのみ使用できます。
• VM が A2 標準マシンタイプを使用している場合は、ある A2 標準マシンタイプから別の A2 標準マシンタイプにのみ切り替えることができます。他のマシンタイプには変更できません。詳細については、アクセラレータ最適化 VM を変更するをご覧ください。
• <codea2-megagpu-16g< code="" dir="ltr" translate="no">A2 標準マシンタイプでは Windows オペレーティング システムを使用できません。Windows オペレーティング システムを使用する場合は、別の A2 標準マシンタイプを選択する必要があります。</codea2-megagpu-16g<>
• A2 標準マシンタイプを使用する Windows VM では、アタッチされたローカル SSD のクイック フォーマットを行うことができません。これらのローカル SSD をフォーマットするには、diskpart ユーティリティを使用し、format fs=ntfs label=tmpfs を指定して完全フォーマットを行う必要があります。
• A2 標準マシンタイプは、単一テナンシーをサポートしません。

A2 Ultra VM

• A2 Ultra マシンタイプを使用する VM は、継続利用割引とフレキシブル確約利用割引の対象外となります。
• A2 Ultra マシンタイプは、特定のリージョンとゾーンでのみ使用できます。
• A2 Ultra マシンタイプを使用する VM では、リージョン Persistent Disk を使用できません。
• A2 Ultra マシンタイプは、Cascade Lake プラットフォームでのみ使用できます。
• VM が A2 Ultra マシンタイプを使用している場合、マシンタイプを変更することはできません。別の A2 Ultra マシンタイプやその他のマシンタイプを使用するには、新しい VM を作成する必要があります。
• 他のマシンタイプを A2 Ultra マシンタイプに変更することはできません。A2 Ultra マシンタイプを使用する VM が必要な場合は、新しい VM を作成する必要があります。
• A2 Ultra マシンタイプを使用する Windows VM では、アタッチされたローカル SSD のクイック フォーマットを行うことができません。これらのローカル SSD をフォーマットするには、diskpart ユーティリティを使用し、format fs=ntfs label=tmpfs を指定して完全フォーマットを行う必要があります。

G2 VM

• G2 マシンタイプを使用する VM は、継続利用割引とフレキシブル確約利用割引の対象外となります。
• G2 マシンタイプは、特定のリージョンとゾーンでのみ使用できます。
• G2 マシンタイプを使用する VM では、リージョン Persistent Disk を使用できません。
• G2 マシンタイプは、Cascade Lake プラットフォームでのみ使用できます。
• 標準 Persistent Disk（pd-standard）は、G2 標準マシンタイプを使用する VM ではサポートされません。サポートされているディスクタイプについては、G2 でサポートされているディスクタイプをご覧ください。
• G2 マシンタイプでマルチインスタンス GPU を作成することはできません。
• G2 VM のマシンタイプを変更する必要がある場合は、アクセラレータ最適化 VM を変更するをご覧ください。
• G2 マシンタイプを使用する VM のブートディスクに Deep Learning VM Image を使用することはできません。
• Container-Optimized OS の現在のデフォルト ドライバは、G2 マシンタイプで実行される L4 GPU をサポートしていません。Container-Optimized OS は、選択されたドライバのセットのみをサポートしています。 G2 マシンタイプで Container-Optimized OS を使用する場合は、次の点に注意してください。
  • 推奨される最小の NVIDIA ドライバ バージョン 525.60.13 以降をサポートする Container-Optimized OS のバージョンを使用します。詳細については、Container-Optimized OS のリリースノートをご覧ください。
  • ドライバをインストールするときに、L4 GPU で動作する最新の最新バージョンを指定します。 例: sudo cos-extensions install gpu -- -version=525.60.13。
• 次のシナリオでは、Google Cloud CLI または REST を使用して G2 VM を作成する必要があります。
  • カスタムメモリ値を指定する必要があります。
  • 表示可能な CPU コアの数をカスタマイズする必要があります。

gcloud

VM のグループを作成するには、gcloud compute instances bulk create コマンドを使用します。 パラメータとこのコマンドの使用方法については、VM の一括作成をご覧ください。

例

次の例では、以下の仕様を使用して、GPU が接続された 2 つの VM を作成します。

• VM 名: my-test-vm-1、my-test-vm-2
• GPU をサポートする us-central1 の任意のゾーンに作成された VM
• 各 VM に 2 つの T4 GPU が接続されています。この GPU は、アクセラレータ タイプとアクセラレータ数のフラグを使用して指定します。
• 各 VM に GPU ドライバがインストールされている
• 各 VM が Deep Learning VM イメージ pytorch-latest-gpu-v20211028-debian-10 を使用する

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --count=2 \
    --region=us-central1 \
    --machine-type=n1-standard-2 \
    --accelerator type=nvidia-tesla-t4,count=2 \
    --boot-disk-size=200 \
    --metadata="install-nvidia-driver=True" \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --image=pytorch-latest-gpu-v20211028-debian-10 \
    --image-project=deeplearning-platform-release \
    --on-host-maintenance=TERMINATE --restart-on-failure

成功すると、出力は次のようになります。

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

必須パラメータによる instances.bulkInsert メソッドを使用して、1 つのゾーンに複数の VM を作成します。パラメータとこのコマンドの使用方法については、VM の一括作成をご覧ください。

例

次の例では、以下の仕様を使用して、GPU が接続された 2 つの VM を作成します。

• VM 名: my-test-vm-1、my-test-vm-2
• GPU をサポートする us-central1 の任意のゾーンに作成された VM
• 各 VM に 2 つの T4 GPU が接続されています。この GPU は、アクセラレータ タイプとアクセラレータ数のフラグを使用して指定します。
• 各 VM に GPU ドライバがインストールされている
• 各 VM が Deep Learning VM イメージ pytorch-latest-gpu-v20211028-debian-10 を使用する

PROJECT_ID を実際のプロジェクト ID に置き換えます。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/region/us-central1/instances/bulkInsert

{
    "namePattern":"my-test-vm-#",
    "count":"2",
    "instanceProperties": {
      "machineType":"n1-standard-2",
      "disks":[
        {
          "type":"PERSISTENT",
          "initializeParams":{
            "diskSizeGb":"200",
            "sourceImage":"projects/deeplearning-platform-release/global/images/pytorch-latest-gpu-v20211028-debian-10"
          },
          "boot":true
        }
      ],
      "name": "default",
      "networkInterfaces":
      [
        {
          "network": "projects/PROJECT_ID/global/networks/default"
        }
      ],
      "guestAccelerators":
      [
        {
          "acceleratorCount": 2,
          "acceleratorType": "nvidia-tesla-t4"
        }
      ],
      "scheduling":{
        "onHostMaintenance":"TERMINATE",
        "automaticRestart":true
      },
      "metadata":{
        "items":[
          {
            "key":"install-nvidia-driver",
            "value":"True"
          }
        ]
      }
  }
 }