可建立訓練管線

控制台

1. 在 Google Cloud 控制台的 Vertex AI 專區中，前往「Training pipelines」頁面。

   前往訓練管道

2. 按一下「建立」圖示 add_box，開啟「訓練新模型」窗格。

3. 在「訓練方法」步驟中，指定下列設定：

   1. 如果您想使用代管資料集進行訓練，請指定資料集和註解集。

      否則，請在「Dataset」下拉式清單中，選取「No managed dataset」。

   2. 選取「自訂訓練 (進階)」。

   按一下「繼續」。

4. 在「模型詳細資料」步驟中，選擇「訓練新模型」或「訓練新版本」。如果您選取「訓練新模型」，請為模型輸入所需名稱 MODEL_NAME。按一下「繼續」。

5. 在「Training container」步驟中，指定下列設定：

   1. 選取要使用預先建構的容器還是自訂容器進行訓練。

   2. 視您的選擇而定，請執行下列任一操作：

      • 如果您想使用預建容器進行訓練，請向 Vertex AI 提供所需資訊，讓系統使用您上傳至 Cloud Storage 的訓練套件：

        1. 使用「Model framework」和「Model framework version」下拉式清單，指定要使用的預先建構容器。

        2. 在「Package location」欄位中，指定您建立並上傳的 Python 訓練應用程式的 Cloud Storage URI。這個檔案通常結尾為 .tar.gz。

        3. 在「Python 模組」欄位中，輸入訓練應用程式進入點的模組名稱。

      • 如果您想使用自訂容器進行訓練，請在「Container image」欄位中指定容器映像檔的 Artifact Registry 或 Docker Hub URI。

   3. 在「模型輸出目錄」欄位中，指定您有權存取的值區中目錄的 Cloud Storage URI。目錄尚不需要存在。

      這個值會在 baseOutputDirectory API 欄位中傳遞至 Vertex AI，該欄位會設定訓練應用程式在執行時可存取的多個環境變數。

      在訓練結束後，Vertex AI 會在這個 URI 的子目錄中尋找模型構件，以便建立 Model。(這個子目錄會以 AIP_MODEL_DIR 環境變數的形式提供給訓練程式碼使用)。

      如果您未使用超參數調整，Vertex AI 會在 BASE_OUTPUT_DIRECTORY/model/ 中尋找模型構件。

   4. 選用：您可以在「引數」欄位中指定 Vertex AI 開始執行訓練程式碼時要使用的引數。所有引數的總長度上限為 100,000 個半形字元。這些引數的行為會因您使用的容器類型而有所不同：

      • 如果您使用的是預建容器，Vertex AI 會將引數做為指令列標記傳遞至 Python 模組。

      • 如果您使用的是自訂容器，Vertex AI 會使用引數覆寫容器的 CMD 指令。

   按一下「繼續」。

6. 在「超參數調整」步驟中，確認「啟用超參數調整」核取方塊未選取。按一下「繼續」。

7. 在「運算和定價」步驟中，指定下列設定：

   1. 在「區域」下拉式清單中，選取「支援自訂訓練的區域」。

   2. 在「Worker pool 0」部分，指定要用於訓練的運算資源。

      如果您指定加速器，請確認您選擇的加速器類型在所選區域可用。

      如要執行分散式訓練，請按一下「Add more worker pools」，然後為每個額外的工作站集區指定額外的運算資源組。

   按一下「繼續」。

8. 在「預測容器」步驟中，指定下列設定：

   1. 選取要使用預先建立的容器還是自訂容器，以便從訓練完成的模型提供預測結果。

   2. 視您的選擇而定，請執行下列任一操作：

      • 如果您想使用預先建構的容器提供預測結果，請使用「模型架構」、「模型架構版本」和「加速器類型」欄位，選擇要用於預測的預先建構預測容器。

        將「模型架構」和「模型架構版本」與您用於訓練的機器學習架構相符。只有在日後想使用 GPU 進行線上或批次預測時，才指定加速器類型。

      • 如要使用自訂容器提供預測結果，請按照下列步驟操作：

        1. 在「Container image」欄位中，指定容器映像檔的 Artifact Registry URI。

        2. 您可以視需要指定指令，覆寫容器的 ENTRYPOINT 指令。

   3. 「模型目錄」欄位包含您先前在「訓練容器」步驟的「模型輸出目錄」欄位中設定的值。變更這兩個欄位都會產生相同的效果。如要進一步瞭解這個欄位，請參閱前一個操作說明。

   4. 將「Predict schemata」部分的欄位留空。

9. 按一下「開始訓練」，啟動自訂訓練管道。

REST

使用下列程式碼範例，透過 trainingPipeline 資源的 create 方法建立訓練管道。

注意：如要設定此管道以建立新的模型版本，您可以選擇在 trainingPipeline 欄位中新增 PARENT_MODEL。

如需更多資訊，請參閱「使用 Vertex AI Model Registry 進行模型版本管理」。

使用任何要求資料之前，請先替換以下項目：

• LOCATION_ID：執行訓練程式碼並儲存 Model 的區域。
• PROJECT_ID：您的專案 ID。
• TRAINING_PIPELINE_NAME：必填。trainingPipeline 的顯示名稱。
• 如果訓練應用程式使用 Vertex AI 資料集，請指定下列項目：
  • DATASET_ID：資料集 ID。
  • ANNOTATIONS_FILTER：根據您指定的註解篩選資料集。
  • ANNOTATION_SCHEMA_URI：根據指定的註解結構定義 URI 篩選資料集。
  • 請使用下列其中一個選項，指定資料項目如何分割為訓練集、驗證集和測試集。
    • 如要根據定義各組大小的倍數來分割資料集，請指定下列項目：
      • TRAINING_FRACTION：用於訓練模型的資料集比例。
      • VALIDATION_FRACTION：用於驗證模型的資料集比例。
      • TEST_FRACTION：用於評估模型的資料集比例。
    • 如要根據篩選條件拆分資料集，請指定下列項目：
      • TRAINING_FILTER：將資料集篩選為用於訓練模型的資料項目。
      • VALIDATION_FILTER：將資料集篩選為用於驗證模型的資料項目。
      • TEST_FILTER：將資料集篩選為用於評估模型的資料項目。
    • 如要使用預先定義的分割，請指定下列項目：
      • PREDEFINED_SPLIT_KEY：用來分割資料集的資料欄名稱。這個欄中可接受的值包括 `training`、`validation` 和 `test`。
    • 如要根據資料項上的時間戳記分割資料集，請指定下列項目：
      • TIMESTAMP_TRAINING_FRACTION：用於訓練模型的資料集比例。
      • TIMESTAMP_VALIDATION_FRACTION：用於驗證模型的資料集比例。
      • TIMESTAMP_TEST_FRACTION：用於評估模型的資料集比例。
      • TIMESTAMP_SPLIT_KEY：用於分割資料集的時間戳記資料欄名稱。
  • OUTPUT_URI_PREFIX：Vertex AI 將訓練資料集分割為訓練、驗證和測試資料集後，會將其匯出至 Cloud Storage 位置。
• 定義自訂訓練工作：
  • MACHINE_TYPE：機器類型。請參閱可用於訓練的機器類型。
  • ACCELERATOR_TYPE：(選填) 要附加至每個試用版的加速器類型。
  • ACCELERATOR_COUNT：(選填) 要附加至每個試驗的加速器數量。
  • REPLICA_COUNT：每個測試要使用的 worker 備用資源數量。
  • 如果訓練應用程式是在自訂容器中執行，請指定下列項目：
    • CUSTOM_CONTAINER_IMAGE_URI：Artifact Registry 或 Docker Hub 中容器映像檔的 URI，會在每個 worker 副本上執行。
    • CUSTOM_CONTAINER_COMMAND：(選填) 啟動容器時要叫用的指令。這項指令會覆寫容器的預設進入點。
    • CUSTOM_CONTAINER_ARGS：(選填) 啟動容器時要傳遞的引數。所有引數的總長度上限為 100,000 個半形字元。
  • 如果訓練應用程式是預先建立容器中執行的 Python 套件，請指定下列項目：
    • PYTHON_PACKAGE_EXECUTOR_IMAGE_URI：執行提供的 Python 套件的容器映像檔 URI。請參閱可用於訓練的預先建構容器。
    • PYTHON_PACKAGE_URIS：Python 套件檔案的 Cloud Storage 位置，即訓練程式及其依附元件套件。套件 URI 數量上限為 100。
    • PYTHON_MODULE：安裝套件後要執行的 Python 模組名稱。
    • PYTHON_PACKAGE_ARGS：(選填) 要傳遞至 Python 模組的指令列引數。所有引數的總長度上限為 100,000 個半形字元。
  • TIMEOUT：(選填) 工作的最大執行時間。
• MODEL_NAME：TrainingPipeline 上傳 (建立) 的模型顯示名稱。
• MODEL_DESCRIPTION：模型說明。
• IMAGE_URI：用於執行預測的容器映像檔 URI。例如：us-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-1:latest。使用預先建立的容器或自訂容器。
• modelToUpload.labels：任何一組鍵/值組合，用於整理模型。舉例來說：
  • "env": "prod"
  • "tier": "backend"
• 為要套用至這項訓練管道的任何標籤指定 LABEL_NAME 和 LABEL_VALUE。

HTTP 方法和網址：

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines

JSON 要求主體：

{
  "displayName": "TRAINING_PIPELINE_NAME",
  "inputDataConfig": {
    "datasetId": DATASET_ID,
    "annotationsFilter": ANNOTATIONS_FILTER,
    "annotationSchemaUri": ANNOTATION_SCHEMA_URI,

    // Union field split can be only one of the following:
    "fractionSplit": {
      "trainingFraction": TRAINING_FRACTION,
      "validationFraction": VALIDATION_FRACTION,
      "testFraction": TEST_FRACTION
    },
    "filterSplit": {
      "trainingFilter": TRAINING_FILTER,
      "validationFilter": VALIDATION_FILTER,
      "testFilter": TEST_FILTER
    },
    "predefinedSplit": {
      "key": PREDEFINED_SPLIT_KEY
    },
    "timestampSplit": {
      "trainingFraction": TIMESTAMP_TRAINING_FRACTION,
      "validationFraction": TIMESTAMP_VALIDATION_FRACTION,
      "testFraction": TIMESTAMP_TEST_FRACTION,
      "key": TIMESTAMP_SPLIT_KEY
    }
    // End of list of possible types for union field split.
    "gcsDestination": {
      "outputUriPrefix": OUTPUT_URI_PREFIX
    }
  },
  "trainingTaskDefinition": "gs://google-cloud-aiplatform/schema/trainingjob/definition/custom_task_1.0.0.yaml",
  "trainingTaskInputs": {
    "workerPoolSpecs": [
        {
          "machineSpec": {
            "machineType": MACHINE_TYPE,
            "acceleratorType": ACCELERATOR_TYPE,
            "acceleratorCount": ACCELERATOR_COUNT
          },
          "replicaCount": REPLICA_COUNT,

          // Union field task can be only one of the following:
          "containerSpec": {
            "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
            "command": [
              CUSTOM_CONTAINER_COMMAND
            ],
            "args": [
              CUSTOM_CONTAINER_ARGS
            ]
          },
          "pythonPackageSpec": {
            "executorImageUri": PYTHON_PACKAGE_EXECUTOR_IMAGE_URI,
            "packageUris": [
              PYTHON_PACKAGE_URIS
            ],
            "pythonModule": PYTHON_MODULE,
            "args": [
              PYTHON_PACKAGE_ARGS
            ]
          }
          // End of list of possible types for union field task.
        }
      ],
      "scheduling": {
        "TIMEOUT": TIMEOUT
      }
    }
  },
  "modelToUpload": {
    "displayName": "MODEL_NAME",
    "predictSchemata": {},
    "containerSpec": {
      "imageUri": "IMAGE_URI"
    }
  },
  "labels": {
    LABEL_NAME_1": LABEL_VALUE_1,
    LABEL_NAME_2": LABEL_VALUE_2
  }
}

如要傳送要求，請選擇以下其中一個選項：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines" | Select-Object -Expand Content

回應內容包含規格和 TRAININGPIPELINE_ID 相關資訊。

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines/TRAININGPIPELINE_ID",
  "displayName": "TRAINING_PIPELINE_NAME",
  "input_data_config" {
    "dataset_id": "1234567891011121314"
    "gcs_destination" {
      "output_uri_prefix": "gs://BUCKET_NAME/data/20200915191342"
    }
    "annotation_schema_uri": "gs://google-cloud-aiplatform/schema/dataset/annotation/image_classification_1.0.0.yaml"
  },
  "trainingTaskDefinition": "gs://google-cloud-aiplatform/schema/trainingjob/definition/custom_task_1.0.0.yaml",
  "trainingTaskInputs": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "n1-standard-4"
        },
        "replicaCount": "1",
        "pythonPackageSpec": {
          "executorImageUri": "us-docker.pkg.dev/vertex-ai/training/training-tf-cpu.2-1:latest",
          "packageUris": [
            "gs://BUCKET_NAME/training/hello-custom-training-1.0.tar.gz"
          ],
          "pythonModule": "trainer.task",
          "args": [
            "--model-dir=gs://BUCKET_NAME/output/"
          ]
        }
      }
    ]
  },
  "trainingTaskMetadata": {
    "backingCustomJob": "projects/PROJECT_ID/locations/LOCATION_ID/customJobs/CUSTOM_JOB_ID"
  },
  "modelToUpload": {
    "displayName": "MODEL_NAME",
    "predictSchemata": {},
    "containerSpec": {
      "imageUri": "us-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-1:latest"
    }
  },
  "state": "PIPELINE_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}

Java

在試用這個範例之前，請先按照 Vertex AI 快速入門：使用用戶端程式庫中的操作說明設定 Java。詳情請參閱 Vertex AI Java API 參考說明文件。

如要向 Vertex AI 進行驗證，請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。

import com.google.cloud.aiplatform.v1.LocationName;
import com.google.cloud.aiplatform.v1.Model;
import com.google.cloud.aiplatform.v1.ModelContainerSpec;
import com.google.cloud.aiplatform.v1.PipelineServiceClient;
import com.google.cloud.aiplatform.v1.PipelineServiceSettings;
import com.google.cloud.aiplatform.v1.TrainingPipeline;
import com.google.gson.JsonArray;
import com.google.gson.JsonObject;
import com.google.protobuf.Value;
import com.google.protobuf.util.JsonFormat;
import java.io.IOException;

public class CreateTrainingPipelineCustomJobSample {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String project = "PROJECT";
    String displayName = "DISPLAY_NAME";
    String modelDisplayName = "MODEL_DISPLAY_NAME";
    String containerImageUri = "CONTAINER_IMAGE_URI";
    String baseOutputDirectoryPrefix = "BASE_OUTPUT_DIRECTORY_PREFIX";
    createTrainingPipelineCustomJobSample(
        project, displayName, modelDisplayName, containerImageUri, baseOutputDirectoryPrefix);
  }

  static void createTrainingPipelineCustomJobSample(
      String project,
      String displayName,
      String modelDisplayName,
      String containerImageUri,
      String baseOutputDirectoryPrefix)
      throws IOException {
    PipelineServiceSettings settings =
        PipelineServiceSettings.newBuilder()
            .setEndpoint("us-central1-aiplatform.googleapis.com:443")
            .build();
    String location = "us-central1";

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (PipelineServiceClient client = PipelineServiceClient.create(settings)) {
      JsonObject jsonMachineSpec = new JsonObject();
      jsonMachineSpec.addProperty("machineType", "n1-standard-4");

      // A working docker image can be found at
      // gs://cloud-samples-data/ai-platform/mnist_tfrecord/custom_job
      // This sample image accepts a set of arguments including model_dir.
      JsonObject jsonContainerSpec = new JsonObject();
      jsonContainerSpec.addProperty("imageUri", containerImageUri);
      JsonArray jsonArgs = new JsonArray();
      jsonArgs.add("--model_dir=$(AIP_MODEL_DIR)");
      jsonContainerSpec.add("args", jsonArgs);

      JsonObject jsonJsonWorkerPoolSpec0 = new JsonObject();
      jsonJsonWorkerPoolSpec0.addProperty("replicaCount", 1);
      jsonJsonWorkerPoolSpec0.add("machineSpec", jsonMachineSpec);
      jsonJsonWorkerPoolSpec0.add("containerSpec", jsonContainerSpec);

      JsonArray jsonWorkerPoolSpecs = new JsonArray();
      jsonWorkerPoolSpecs.add(jsonJsonWorkerPoolSpec0);

      JsonObject jsonBaseOutputDirectory = new JsonObject();
      // The GCS location for outputs must be accessible by the project's AI Platform
      // service account.
      jsonBaseOutputDirectory.addProperty("output_uri_prefix", baseOutputDirectoryPrefix);

      JsonObject jsonTrainingTaskInputs = new JsonObject();
      jsonTrainingTaskInputs.add("workerPoolSpecs", jsonWorkerPoolSpecs);
      jsonTrainingTaskInputs.add("baseOutputDirectory", jsonBaseOutputDirectory);

      Value.Builder trainingTaskInputsBuilder = Value.newBuilder();
      JsonFormat.parser().merge(jsonTrainingTaskInputs.toString(), trainingTaskInputsBuilder);
      Value trainingTaskInputs = trainingTaskInputsBuilder.build();
      String trainingTaskDefinition =
          "gs://google-cloud-aiplatform/schema/trainingjob/definition/custom_task_1.0.0.yaml";
      String imageUri = "gcr.io/cloud-aiplatform/prediction/tf-cpu.1-15:latest";
      ModelContainerSpec containerSpec =
          ModelContainerSpec.newBuilder().setImageUri(imageUri).build();
      Model modelToUpload =
          Model.newBuilder()
              .setDisplayName(modelDisplayName)
              .setContainerSpec(containerSpec)
              .build();
      TrainingPipeline trainingPipeline =
          TrainingPipeline.newBuilder()
              .setDisplayName(displayName)
              .setTrainingTaskDefinition(trainingTaskDefinition)
              .setTrainingTaskInputs(trainingTaskInputs)
              .setModelToUpload(modelToUpload)
              .build();
      LocationName parent = LocationName.of(project, location);
      TrainingPipeline response = client.createTrainingPipeline(parent, trainingPipeline);
      System.out.format("response: %s\n", response);
      System.out.format("Name: %s\n", response.getName());
    }
  }
}

Python 適用的 Vertex AI SDK

如要瞭解如何安裝或更新 Python 適用的 Vertex AI SDK，請參閱「安裝 Python 適用的 Vertex AI SDK」。 詳情請參閱 Vertex AI SDK for Python API 參考說明文件。

以下範例說明如何使用 Python 適用的 Vertex AI SDK 建立自訂訓練管道。選擇要使用自訂容器或預先建立的容器進行訓練：

def create_training_pipeline_custom_package_job_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    python_package_gcs_uri: str,
    python_module_name: str,
    container_uri: str,
    model_serving_container_image_uri: str,
    dataset_id: Optional[str] = None,
    model_display_name: Optional[str] = None,
    args: Optional[List[Union[str, float, int]]] = None,
    replica_count: int = 1,
    machine_type: str = "n1-standard-4",
    accelerator_type: str = "ACCELERATOR_TYPE_UNSPECIFIED",
    accelerator_count: int = 0,
    training_fraction_split: float = 0.8,
    validation_fraction_split: float = 0.1,
    test_fraction_split: float = 0.1,
    sync: bool = True,
    tensorboard_resource_name: Optional[str] = None,
    service_account: Optional[str] = None,
):
    aiplatform.init(project=project, location=location, staging_bucket=staging_bucket)

    job = aiplatform.CustomPythonPackageTrainingJob(
        display_name=display_name,
        python_package_gcs_uri=python_package_gcs_uri,
        python_module_name=python_module_name,
        container_uri=container_uri,
        model_serving_container_image_uri=model_serving_container_image_uri,
    )

    # This example uses an ImageDataset, but you can use another type
    dataset = aiplatform.ImageDataset(dataset_id) if dataset_id else None

    model = job.run(
        dataset=dataset,
        model_display_name=model_display_name,
        args=args,
        replica_count=replica_count,
        machine_type=machine_type,
        accelerator_type=accelerator_type,
        accelerator_count=accelerator_count,
        training_fraction_split=training_fraction_split,
        validation_fraction_split=validation_fraction_split,
        test_fraction_split=test_fraction_split,
        sync=sync,
        tensorboard=tensorboard_resource_name,
        service_account=service_account,
    )

    model.wait()

    print(model.display_name)
    print(model.resource_name)
    print(model.uri)
    return model

def create_training_pipeline_custom_job_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    script_path: str,
    container_uri: str,
    model_serving_container_image_uri: str,
    dataset_id: Optional[str] = None,
    model_display_name: Optional[str] = None,
    args: Optional[List[Union[str, float, int]]] = None,
    replica_count: int = 0,
    machine_type: str = "n1-standard-4",
    accelerator_type: str = "ACCELERATOR_TYPE_UNSPECIFIED",
    accelerator_count: int = 0,
    training_fraction_split: float = 0.8,
    validation_fraction_split: float = 0.1,
    test_fraction_split: float = 0.1,
    sync: bool = True,
    tensorboard_resource_name: Optional[str] = None,
    service_account: Optional[str] = None,
):
    aiplatform.init(project=project, location=location, staging_bucket=staging_bucket)

    job = aiplatform.CustomTrainingJob(
        display_name=display_name,
        script_path=script_path,
        container_uri=container_uri,
        model_serving_container_image_uri=model_serving_container_image_uri,
    )

    # This example uses an ImageDataset, but you can use another type
    dataset = aiplatform.ImageDataset(dataset_id) if dataset_id else None

    model = job.run(
        dataset=dataset,
        model_display_name=model_display_name,
        args=args,
        replica_count=replica_count,
        machine_type=machine_type,
        accelerator_type=accelerator_type,
        accelerator_count=accelerator_count,
        training_fraction_split=training_fraction_split,
        validation_fraction_split=validation_fraction_split,
        test_fraction_split=test_fraction_split,
        sync=sync,
        tensorboard=tensorboard_resource_name,
        service_account=service_account,
    )

    model.wait()

    print(model.display_name)
    print(model.resource_name)
    print(model.uri)
    return model

def create_training_pipeline_custom_container_job_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    container_uri: str,
    model_serving_container_image_uri: str,
    dataset_id: Optional[str] = None,
    model_display_name: Optional[str] = None,
    args: Optional[List[Union[str, float, int]]] = None,
    replica_count: int = 1,
    machine_type: str = "n1-standard-4",
    accelerator_type: str = "ACCELERATOR_TYPE_UNSPECIFIED",
    accelerator_count: int = 0,
    training_fraction_split: float = 0.8,
    validation_fraction_split: float = 0.1,
    test_fraction_split: float = 0.1,
    sync: bool = True,
    tensorboard_resource_name: Optional[str] = None,
    service_account: Optional[str] = None,
):
    aiplatform.init(project=project, location=location, staging_bucket=staging_bucket)

    job = aiplatform.CustomContainerTrainingJob(
        display_name=display_name,
        container_uri=container_uri,
        model_serving_container_image_uri=model_serving_container_image_uri,
    )

    # This example uses an ImageDataset, but you can use another type
    dataset = aiplatform.ImageDataset(dataset_id) if dataset_id else None

    model = job.run(
        dataset=dataset,
        model_display_name=model_display_name,
        args=args,
        replica_count=replica_count,
        machine_type=machine_type,
        accelerator_type=accelerator_type,
        accelerator_count=accelerator_count,
        training_fraction_split=training_fraction_split,
        validation_fraction_split=validation_fraction_split,
        test_fraction_split=test_fraction_split,
        sync=sync,
        tensorboard=tensorboard_resource_name,
        service_account=service_account,
    )

    model.wait()

    print(model.display_name)
    print(model.resource_name)
    print(model.uri)
    return model

REST

使用下列程式碼範例，透過 trainingPipeline 資源的 create 方法建立訓練管道。

使用任何要求資料之前，請先替換以下項目：

• LOCATION_ID：專案所在的區域。
• PROJECT_ID：您的專案 ID。
• TRAINING_PIPELINE_NAME：必填。trainingPipeline 的顯示名稱。
• 如果訓練應用程式使用 Vertex AI 資料集，請指定下列項目：
  • DATASET_ID：資料集 ID。
  • ANNOTATIONS_FILTER：根據您指定的註解篩選資料集。
  • ANNOTATION_SCHEMA_URI：根據指定的註解結構定義 URI 篩選資料集。
  • 請使用下列其中一個選項，指定資料項目如何分割為訓練集、驗證集和測試集。
    • 如要根據定義各組大小的倍數來分割資料集，請指定下列項目：
      • TRAINING_FRACTION：用於訓練模型的資料集比例。
      • VALIDATION_FRACTION：用於驗證模型的資料集比例。
      • TEST_FRACTION：用於評估模型的資料集比例。
    • 如要根據篩選條件拆分資料集，請指定下列項目：
      • TRAINING_FILTER：將資料集篩選為用於訓練模型的資料項目。
      • VALIDATION_FILTER：將資料集篩選為用於驗證模型的資料項目。
      • TEST_FILTER：將資料集篩選為用於評估模型的資料項目。
    • 如要使用預先定義的分割，請指定下列項目：
      • PREDEFINED_SPLIT_KEY：用來分割資料集的資料欄名稱。這個欄中可接受的值包括 `training`、`validation` 和 `test`。
    • 如要根據資料項上的時間戳記分割資料集，請指定下列項目：
      • TIMESTAMP_TRAINING_FRACTION：用於訓練模型的資料集比例。
      • TIMESTAMP_VALIDATION_FRACTION：用於驗證模型的資料集比例。
      • TIMESTAMP_TEST_FRACTION：用於評估模型的資料集比例。
      • TIMESTAMP_SPLIT_KEY：用於分割資料集的時間戳記資料欄名稱。
  • OUTPUT_URI_PREFIX：Vertex AI 將訓練資料集拆分為訓練、驗證和測試集後，會將其匯出至 Cloud Storage 位置。
• 指定超參數調整工作：
  • 指定指標：
    • METRIC_ID：這個指標的名稱。
    • METRIC_GOAL：這個指標的目標。可以是 MAXIMIZE 或 MINIMIZE。
  • 指定超參數：
    • PARAMETER_ID：此超參數的名稱。
    • PARAMETER_SCALE：(選填) 參數的縮放方式。請將 CATEGORICAL 參數設為未設定。可以是 UNIT_LINEAR_SCALE、UNIT_LOG_SCALE、UNIT_REVERSE_LOG_SCALE 或 SCALE_TYPE_UNSPECIFIED
    • 如果這個超參數的類型是 DOUBLE，請指定這個超參數的最小值 (DOUBLE_MIN_VALUE) 和最大值 (DOUBLE_MAX_VALUE)。
    • 如果這個超參數的類型是 INTEGER，請指定這個超參數的最小 (INTEGER_MIN_VALUE) 和最大 (INTEGER_MAX_VALUE) 值。
    • 如果這個超參數的類型是 CATEGORICAL，請將可接受的值 (CATEGORICAL_VALUES) 指定為字串陣列。
    • 如果這個超參數的類型是 DISCRETE，請將可接受的值 (DISCRETE_VALUES) 指定為數字陣列。
  • ALGORITHM：(選填) 這個超參數調整工作要使用的搜尋演算法。可以是 ALGORITHM_UNSPECIFIED、GRID_SEARCH 或 RANDOM_SEARCH。
  • MAX_TRIAL_COUNT：在這個工作中執行的試驗次數上限。
  • PARALLEL_TRIAL_COUNT：同時執行的測試數量上限。
  • MAX_FAILED_TRIAL_COUNT：在超參數調整工作失敗前，可能失敗的工作數量。
  • 定義試用自訂訓練工作：
    • MACHINE_TYPE：機器類型。請參閱可用於訓練的機器類型。
    • ACCELERATOR_TYPE：(選填) 要附加至每個試用版的加速器類型。
    • ACCELERATOR_COUNT：(選填) 要附加至每個試驗的加速器數量。
    • REPLICA_COUNT：每個測試要使用的 worker 備用資源數量。
    • 如果訓練應用程式在自訂容器中執行，請指定下列項目：
      • CUSTOM_CONTAINER_IMAGE_URI：Artifact Registry 或 Docker Hub 中容器映像檔的 URI，會在每個 worker 副本上執行。
      • CUSTOM_CONTAINER_COMMAND：(選填) 系統啟動容器時要叫用的指令。這項指令會覆寫容器的預設進入點。
      • CUSTOM_CONTAINER_ARGS：(選填) 啟動容器時要傳遞的引數。
    • 如果訓練應用程式是預先建立容器中執行的 Python 套件，請指定下列項目：
      • PYTHON_PACKAGE_EXECUTOR_IMAGE_URI：執行提供的 Python 套件的容器映像檔 URI。請參閱可用於訓練的預先建構容器。
      • PYTHON_PACKAGE_URIS：Python 套件檔案的 Cloud Storage 位置，即訓練程式及其依附元件套件。套件 URI 數量上限為 100。
      • PYTHON_MODULE：安裝套件後要執行的 Python 模組名稱。
      • PYTHON_PACKAGE_ARGS：(選填) 要傳遞至 Python 模組的指令列引數。
  • 瞭解工作排程選項。
  • TIMEOUT：(選填) 每個測試的最大執行時間。
  • 針對要套用至這項超參數調整工作的任何標籤，指定 LABEL_NAME 和 LABEL_VALUE。
• MODEL_NAME：TrainingPipeline 上傳 (建立) 的模型顯示名稱。
• MODEL_DESCRIPTION：選用。模型的說明。
• PREDICTION_IMAGE_URI：必填。請指定下列兩個選項之一：
  • 用於預測的預先建構容器的映像檔 URI，例如「tf2-cpu.2-1:latest」。
  • 您要用於預測的自訂容器映像檔 URI。
• modelToUpload.labels：選用。任何用於整理模型的鍵/值組合。舉例來說：
  • "env": "prod"
  • "tier": "backend"
• 為要套用至這項訓練管道的任何標籤指定 LABEL_NAME 和 LABEL_VALUE。

HTTP 方法和網址：

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines

JSON 要求主體：

{
  "displayName": "TRAINING_PIPELINE_NAME",
  "inputDataConfig": {
    "datasetId": DATASET_ID,
    "annotationsFilter": ANNOTATIONS_FILTER,
    "annotationSchemaUri": ANNOTATION_SCHEMA_URI,

    // Union field split can be only one of the following:
    "fractionSplit": {
      "trainingFraction": TRAINING_FRACTION,
      "validationFraction": VALIDATION_FRACTION,
      "testFraction": TEST_FRACTION
    },
    "filterSplit": {
      "trainingFilter": TRAINING_FILTER,
      "validationFilter": VALIDATION_FILTER,
      "testFilter": TEST_FILTER
    },
    "predefinedSplit": {
      "key": PREDEFINED_SPLIT_KEY
    },
    "timestampSplit": {
      "trainingFraction": TIMESTAMP_TRAINING_FRACTION,
      "validationFraction": TIMESTAMP_VALIDATION_FRACTION,
      "testFraction": TIMESTAMP_TEST_FRACTION,
      "key": TIMESTAMP_SPLIT_KEY
    }
    // End of list of possible types for union field split.
    "gcsDestination": {
      "outputUriPrefix": OUTPUT_URI_PREFIX
    }
  },
  "trainingTaskDefinition": "gs://google-cloud-aiplatform/schema/trainingjob/definition/hyperparameter_tuning_task_1.0.0.yaml",
  "trainingTaskInputs": {
    "studySpec": {
    "metrics": [
      {
        "metricId": METRIC_ID,
        "goal": METRIC_GOAL
      }
    ],
    "parameters": [
      {
        "parameterId": PARAMETER_ID,
        "scaleType": PARAMETER_SCALE,

        // Union field parameter_value_spec can be only one of the following:
        "doubleValueSpec": {
            "minValue": DOUBLE_MIN_VALUE,
            "maxValue": DOUBLE_MAX_VALUE
        },
        "integerValueSpec": {
            "minValue": INTEGER_MIN_VALUE,
            "maxValue": INTEGER_MAX_VALUE
        },
        "categoricalValueSpec": {
            "values": [
              CATEGORICAL_VALUES
            ]
        },
        "discreteValueSpec": {
            "values": [
              DISCRETE_VALUES
            ]
        }
        // End of list of possible types for union field parameter_value_spec.
      }
    ],
    "ALGORITHM": ALGORITHM
  },
  "maxTrialCount": MAX_TRIAL_COUNT,
  "parallelTrialCount": PARALLEL_TRIAL_COUNT,
  "maxFailedTrialCount": MAX_FAILED_TRIAL_COUNT,
  "trialJobSpec": {
      "workerPoolSpecs": [
        {
          "machineSpec": {
            "machineType": MACHINE_TYPE,
            "acceleratorType": ACCELERATOR_TYPE,
            "acceleratorCount": ACCELERATOR_COUNT
          },
          "replicaCount": REPLICA_COUNT,

          // Union field task can be only one of the following:
          "containerSpec": {
            "imageUri": CUSTOM_CONTAINER_IMAGE_URI,
            "command": [
              CUSTOM_CONTAINER_COMMAND
            ],
            "args": [
              CUSTOM_CONTAINER_ARGS
            ]
          },
          "pythonPackageSpec": {
            "executorImageUri": PYTHON_PACKAGE_EXECUTOR_IMAGE_URI,
            "packageUris": [
              PYTHON_PACKAGE_URIS
            ],
            "pythonModule": PYTHON_MODULE,
            "args": [
              PYTHON_PACKAGE_ARGS
            ]
          }
          // End of list of possible types for union field task.
        }
      ],
      "scheduling": {
        "TIMEOUT": TIMEOUT
      }
    },
    "labels": {
      LABEL_NAME_1": LABEL_VALUE_1,
      LABEL_NAME_2": LABEL_VALUE_2
    }
  },
  "modelToUpload": {
    "displayName": "MODEL_NAME",
    "description": "MODEL_DESCRIPTION",
    "predictSchemata": {},
    "containerSpec": {
      "imageUri": "PREDICTION_IMAGE_URI"
    }
  },
  "labels": {
    LABEL_NAME_1": LABEL_VALUE_1,
    LABEL_NAME_2": LABEL_VALUE_2
  }
}

如要傳送要求，請選擇以下其中一個選項：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines"

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines" | Select-Object -Expand Content

回應內容包含規格和 TRAININGPIPELINE_ID 相關資訊。

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines/TRAININGPIPELINE_ID",
  "displayName": "TRAINING_PIPELINE_NAME",
  "input_data_config" {
    "dataset_id": "1234567891011121314"
    "gcs_destination" {
      "output_uri_prefix": "gs://BUCKET_NAME/data/20200915191342"
    }
    "annotation_schema_uri": "gs://google-cloud-aiplatform/schema/dataset/annotation/image_classification_1.0.0.yaml"
  },
  "trainingTaskDefinition": "gs://google-cloud-aiplatform/schema/trainingjob/definition/custom_task_1.0.0.yaml",
  "trainingTaskInputs": {
    "name": "projects/12345/locations/us-central1/hyperparameterTuningJobs/6789",
  "displayName": "myHyperparameterTuningJob",
  "studySpec": {
    "metrics": [
      {
        "metricId": "myMetric",
        "goal": "MINIMIZE"
      }
    ],
    "parameters": [
      {
        "parameterId": "myParameter1",
        "integerValueSpec": {
          "minValue": "1",
          "maxValue": "128"
        },
        "scaleType": "UNIT_LINEAR_SCALE"
      },
      {
        "parameterId": "myParameter2",
        "doubleValueSpec": {
          "minValue": 1e-07,
          "maxValue": 1
        },
        "scaleType": "UNIT_LINEAR_SCALE"
      }
    ],
    "ALGORITHM": "RANDOM_SEARCH"
  },
  "maxTrialCount": 20,
  "parallelTrialCount": 1,
  "trialJobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "n1-standard-4"
        },
        "replicaCount": "1",
        "pythonPackageSpec": {
          "executorImageUri": "us-docker.pkg.dev/vertex-ai/training/training-tf-cpu.2-1:latest",
          "packageUris": [
            "gs://my-bucket/my-training-application/trainer.tar.bz2"
          ],
          "pythonModule": "my-trainer.trainer"
        }
      }
    ]
  },
  "state": "PIPELINE_STATE_PENDING",
  "createTime": "2020-09-15T19:09:54.342080Z",
  "startTime": "2020-09-15T19:13:42.991045Z",
}