トレーニングで Spot VM を使用する。

概要

Spot VM を使用すると、カスタム トレーニング ジョブの実行コストを削減できます。Spot VM は、Compute Engine の余剰キャパシティを利用する仮想マシン（VM）インスタンスです。Spot VM には大幅な割引がありますが、Compute Engine がそのキャパシティを任意のタイミングで再利用するために、Compute Engine が Spot VM を事前に停止または削除（プリエンプト）する可能性があります。

詳細については、Spot VM をご覧ください。

制限事項と要件

Vertex AI で Spot VM を使用する場合は、次の制限と要件を考慮してください。

• Vertex AI で Spot VM を使用する場合は、すべての Spot VM の制限が適用されます。
• Vertex AI での Spot VM の使用は、カスタム トレーニングと予測でのみサポートされています。
• TPU Pod で Spot VM を使用することはできません。

• Vertex AI トレーニングで使用できる Spot VM は、次のマシンシリーズに限られます。

  • A2
  • A3
• Google Cloud コンソールからジョブを送信することはできません。

課金

ワークロードがフォールト トレラントで、VM のプリエンプションが発生する可能性がある場合、Spot VM を使用すると費用を大幅に削減できます。これらの VM のいくつかが処理中に停止する場合、ジョブは遅くなりますが、完全に停止することはありません。Spot VM は、既存の VM に余分な負荷をかけずにバッチ処理タスクを完了します。標準 VM を追加した場合の正規料金を支払う必要もありません。プリエンプション処理をご覧ください。

Spot VM を使用する場合は、ジョブの所要時間とマシンタイプに基づいて課金されます。ジョブがキュー内にある時間やプリエンプトされた時間は課金されません。

プリエンプション処理

Spot VM は、Compute Engine によっていつでも再利用される可能性があります。したがって、Spot VM を最大限に活用するには、カスタム トレーニング ジョブがフォールト トレラントでなければなりません。Spot VM がプリエンプトされると、カスタム トレーニング ジョブは STOCKOUT エラーで失敗し、Compute Engine はジョブの再起動を最大 6 回試みます。Spot VM を最大限に活用する方法については、Spot VM のベスト プラクティスをご覧ください。

カスタム トレーニング ジョブをフォールト トレラントにするには、次の方法があります。

• チェックポイントを作成して、進行状況を保存する。モデルの進行状況を定期的に保存することで、終了したカスタム トレーニング ジョブを最初からやり直すのではなく、最後に保存したチェックポイントから再開できます。
• Elastic Horovod を使用する。Elastic トレーニングにより、Horovod は再起動やチェックポイントからの再開を必要とせずにコンピューティング リソースをスケーリングできます。詳細については、Elastic Horovod をご覧ください。
• シャットダウン スクリプトを使用する。Compute Engine が Spot VM をプリエンプトする場合は、シャットダウン スクリプトを使用して、VM がプリエンプトされる前にクリーンアップ アクションの実行を試みることができます。詳細については、シャットダウン スクリプトを使用してプリエンプションを処理するをご覧ください。

始める前に

カスタム トレーニング アプリケーションを準備します。

• ビルド済みコンテナを使用するには、ビルド済みコンテナ用の Python トレーニング アプリケーションを作成するをご覧ください。
• カスタム コンテナを使用するには、トレーニング用のカスタム コンテナ イメージを作成するをご覧ください。

Spot VM を使用するようにトレーニング ジョブを構成する

スケジューリング構成で SPOT 戦略を指定すると、Spot VM を使用するようにカスタム トレーニング ジョブを構成できます。

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE"
          }
        },
        "replicaCount": REPLICA_COUNT,

        // Union field task can be only one of the following:
        "containerSpec": {
          "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
          "command": [
            CUSTOM_CONTAINER_COMMAND
          ],
          "args": [
            CUSTOM_CONTAINER_ARGS
          ]
        },
        "pythonPackageSpec": {
          "executorImageUri": EXECUTOR_IMAGE_URI,
          "packageUris": [
            PYTHON_PACKAGE_URIS
          ],
          "pythonModule": PYTHON_MODULE,
          "args": [
            PYTHON_PACKAGE_ARGS
          ]
        }
        // End of list of possible types for union field task.
      }
      // Specify one workerPoolSpec for single replica training, or multiple workerPoolSpecs
      // for distributed training.
    ],
    "scheduling": {
      "strategy": "SPOT"
    }
  }
}

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

{
  "name": "projects/PROJECT_ID/locations/LOCATION/customJobs/JOB_ID",
  "displayName": "JOB_NAME",
  "trainingTaskInputs": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "MACHINE_TYPE"
        },
        "replicaCount": "1",
        "pythonPackageSpec": {
          "executorImageUri": "us-docker.pkg.dev/vertex-ai/training/training-tf-cpu.2-1:latest",
          "packageUris": [
            "gs://BUCKET_NAME/training/hello-custom-training-1.0.tar.gz"
          ],
          "pythonModule": "trainer.task",
          "args": [
            "--model-dir=gs://BUCKET_NAME/output/"
          ]
        }
      }
    ]
  },
  "state": "JOB_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}

customJob = aiplatform.CustomJob(
    display_name=TEST_CASE_NAME,
    worker_pool_specs=worker_pool_spec,
    staging_bucket=OUTPUT_DIRECTORY
)
customJob.run(
    scheduling_strategy=aiplatform.compat.types.custom_job.Scheduling.Strategy.SPOT
)

次のステップ

• Spot VM の詳細を確認する。
• Compute Engine VM 全般について確認する。仮想マシン インスタンスのドキュメントをご覧ください。
• Spot VM の作成方法を確認する。Spot VM の作成と使用をご覧ください。
• Vertex AI Prediction で Spot VM を使用する。