予測クラスタを作成する

予測カスタム リソースは、Infrastructure Operator（IO）が作成する予測クラスタにデプロイする必要があります。オペレーターは、この同じクラスタに予測ワークロードを作成します。

予測クラスタを作成するには、IO と連携して予測プロジェクトを関連付け、Google Distributed Cloud（GDC）エアギャップでオンライン予測に必要なノードプールを割り当てます。

予測クラスタを作成する手順は次のとおりです。

  1. オンライン予測用の新しいクラスタに関連付ける組織内のプロジェクトを特定します。

    プロジェクトを作成するには、Vertex AI 用にプロジェクトを設定するをご覧ください。API 呼び出しを行うには、プロジェクト ID が必要です。

  2. Distributed Cloud の使用可能なマシンタイプのリストから、クラスタでワークロードに必要なノードのマシンタイプを選択します。

    選択するマシンタイプは、予測モデルのサイズと複雑さによって異なります。また、IO がクラスタに提供するコンピューティング リソースとグラフィック処理ユニット（GPU）リソースが決まります。ノードのマシンタイプを選択する際は、ノード選択の推奨事項に従ってください。

  3. 予測クラスタのケース テンプレートを使用して IO にメールを送信し、ケースを開いてクラスタの作成リクエストを送信します。

  4. 必要に応じて、IO と連絡を取り合い、プロジェクトに関連付けられた予測クラスタの作成と、クラスタ内の適切なノードプールの割り当てが完了するまで待ちます。

クラスタのプロビジョニングが完了すると、予測クラスタでオンライン予測の準備が整います。

ノード選択の推奨事項

IO がクラスタにノードプールを作成するときに、Distributed Cloud で使用可能なマシンタイプのいずれかを割り当てて、ワーカーノードの事前定義されたリソースセットを提供します。モデルのサイズと複雑さによって、必要なコンピューティング パフォーマンスが異なり、その結果、特定の量の CPU、メモリ、GPU が必要になります。予測クラスタを作成する場合は、IO との通信でこれらの詳細を指定する必要があります。

予測クラスタに必要なノードプールのマシンタイプを IO で決定する場合は、次のプラクティスを遵守する必要があります。

  • Distributed Cloud は、必須のシステム コンポーネントのノードにコンピューティング オーバーヘッドを追加します。したがって、モデルのリソースプールで使用する予定のマシンタイプよりも大きいマシンタイプをノードプールに選択する必要があります。
  • 要件に必要な最小限のメモリとコンピューティング リソースを提供するソリューションを選択します。たとえば、モデルに 8 個の vCPU が必要な場合は、Distributed Cloud で 8 個の vCPU と 8 GB のメモリを備えた最小のソリューションである n2-highcpu-8-gdc マシンタイプを選択します。
  • 進行するにつれて、小規模なソリューションではニーズとモデルのサイズと複雑さに対応できない場合にのみ、より高性能なソリューションを検討してください。最小権限の原則に従い、特定のワークフローの実行に必要なリソースのみを使用することが重要です。この責任あるアプローチにより、Distributed Cloud 環境でのリソースの適切な使用が保証されます。
  • モデルに GPU が必要な場合にのみ、GPU を含むソリューションを選択します。
  • モデルに GPU が必要な場合は、GPU を提供する最小のソリューションである a2-highgpu-1g-gdc マシンタイプを検討してください。

予測クラスタのケース テンプレート

次のテンプレートを使用して、IO にメールを送信します。メールが届くと、オンライン予測に必要な予測クラスタを作成するケースが開きます。

Good day,

I need to create a prediction cluster and associate it with a project in my organization to use online predictions.

Please use the following information for the creation of the cluster:

- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]

**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster

Thank you,
[Your name]