使用端到端 AutoML 训练模型。

Google Cloud 控制台

如需使用 Google Cloud 控制台查找超参数调节结果 URI，请执行以下步骤：

1. 在 Google Cloud 控制台的 Vertex AI 部分中，前往流水线页面。

   前往“流水线”页面

2. 选择运行标签页。

3. 选择要使用的流水线运行。

4. 选择展开工件。

5. 点击组件 exit-handler-1。

6. 点击组件 stage_1_tuning_result_artifact_uri_empty。

7. 查找组件 automl-tabular-cv-trainer-2。

8. 点击关联的工件 tuning_result_output。

9. 选择节点信息标签页。

10. 复制 URI 以在训练模型步骤中使用。

API：Python

以下示例代码演示如何使用 API 加载超参数调节结果。变量 job 是指之前的模型训练流水线运行。

def get_task_detail(
  task_details: List[Dict[str, Any]], task_name: str
) -> List[Dict[str, Any]]:
  for task_detail in task_details:
      if task_detail.task_name == task_name:
          return task_detail

pipeline_task_details = job.gca_resource.job_detail.task_details

stage_1_tuner_task = get_task_detail(
    pipeline_task_details, "automl-tabular-stage-1-tuner"
)
stage_1_tuning_result_artifact_uri = (
    stage_1_tuner_task.outputs["tuning_result_output"].artifacts[0].uri
)

Google Cloud 控制台

如需使用 Google Cloud 控制台训练模型，请执行以下步骤：

1. 在 Google Cloud 控制台的 Vertex AI 部分中，前往流水线页面。

   前往“流水线”页面

2. 选择模板库标签页。

3. 在表格分类/回归 AutoML 卡片中，点击创建运行。

4. 在运行详细信息页面中，按如下方式配置：

   1. 输入流水线运行名称。
   2. 可选：如果要设置 Vertex AI Pipelines 服务账号或 Dataflow Worker 服务账号，请打开高级选项。详细了解服务账号。
   3. 点击继续。

5. 在运行时配置页面中，按如下方式配置：

   1. 输入 Cloud Storage 存储桶或该存储桶中的文件夹以用作根输出目录。此目录将用于保存中间文件，例如具体化数据集和模型。请务必在训练完成后清理目录，并将模型和其他重要工件复制到另一个 Cloud Storage 存储桶。 或者，为 Cloud Storage 存储桶设置存留时间 (TTL)。

      Google Cloud 控制台的 Cloud Storage 部分列出了项目的存储桶。

      转至“存储桶”页面

   2. 点击继续。

6. 在训练方法页面中，按如下方式配置：

   1. 选择要用于训练模型的数据集名称。
   2. 选择目标列。 目标列是模型将预测的值。 详细了解目标列要求。
   3. 输入新模型的显示名。
   4. 可选：如需选择如何在训练集、测试集和验证集之间拆分数据，请打开高级选项。您可以从以下数据拆分选项中进行选择：
      • 随机（默认）：Vertex AI 会随机选择与每个数据集关联的行。默认情况下，Vertex AI 选择 80% 的数据行分配给训练集、10% 分配给验证集、10% 分配给测试集。设置要与每个数据集关联的数据行的百分比。
      • 手动：Vertex AI 会根据数据拆分列中的值为每个数据集选择数据行。提供数据拆分列的名称。
      • 按时间顺序：Vertex AI 根据时间列中的时间戳拆分数据。提供时间列的名称。您还可以设置要与训练集、验证集和测试集关联的数据行的百分比。
      • 分层：Vertex AI 会随机选择与每个数据集关联的行，但保留目标列值的分布。提供目标列的名称。您还可以设置要与训练集、验证集和测试集关联的数据行的百分比。
      详细了解数据拆分。
   5. 可选：您可以在不使用架构搜索的情况下运行流水线。如果您选择跳过架构搜索，系统会提示您在训练选项页面中提供先前流水线中运行的超参数集。
   6. 点击继续。

7. 在训练选项页面中，按如下方式配置：

   1. 可选：点击生成统计信息。生成统计信息会填充转换下拉菜单。
   2. 检查您的列列表，并从训练中排除任何不应用于训练模型的列。
   3. 查看为包含的特征选择的转换，以及是否允许无效数据，并进行任何所需更新。详细了解转换和无效数据。
   4. 如果您在训练方法页面中选择跳过架构搜索，请提供之前流水线运行中的超参数调节结果的路径。
   5. 可选：如果要指定权重列，请打开高级选项并进行选择。详细了解权重列。
   6. 可选：如果您要更改默认优化目标，请打开高级选项并进行选择。详细了解优化目标。
   7. 可选：如果您在训练方法页面中选择执行架构搜索，则可以指定并行试验的次数。打开高级选项，然后输入您的值。
   8. 可选：您可以为部分超参数提供固定值。Vertex AI 会搜索其余非固定超参数的最佳值。如果您非常喜欢模型类型，则此选项是一个不错的选择。您可以根据模型类型在神经网络和提升树之间进行选择。打开高级选项，并以 JSON 格式提供研究规范替换值。

      例如，如果要将模型类型设置为神经网络 (NN)，请输入以下内容：
      

      [
        {
          "parameter_id": "model_type",
          "categorical_value_spec": {
            "values": ["nn"]
          }
        }
      ]
      

   9. 点击继续。

8. 在计算和价格页面中，配置如下：

   1. 输入模型训练的最大小时数。详细了解价格。
   2. 可选：在计算设置部分中，您可以配置工作流的每个阶段的机器类型和机器数量。如果您有大型数据集并希望相应地优化机器硬件，则此选项是一个不错的选择。

9. 点击提交。

API：Python

以下示例代码演示如何运行模型训练流水线：

job = aiplatform.PipelineJob(
    ...
    template_path=template_path,
    parameter_values=parameter_values,
    ...
)
job.run(service_account=SERVICE_ACCOUNT)

您可以使用 job.run() 中的可选 service_account 参数，将 Vertex AI Pipelines 服务账号设置为您选择的账号。

流水线和参数值由以下函数定义。训练数据可以是 Cloud Storage 中的 CSV 文件，也可以是 BigQuery 中的表。

template_path, parameter_values = automl_tabular_utils.get_automl_tabular_pipeline_and_parameters(...)

以下是部分 get_automl_tabular_pipeline_and_parameters 参数：

工作流自定义选项

通过定义在流水线定义期间传入的参数值，您可以自定义端到端 AutoML 工作流。您可以通过以下方式自定义工作流：

• 替换搜索空间
• 配置硬件
• 蒸馏模型
• 跳过架构搜索

替换搜索空间

以下 get_automl_tabular_pipeline_and_parameters 参数可让您为部分超参数提供固定值。Vertex AI 会搜索其余非固定超参数的最佳值。如果要在模型类型中选择神经网络和提升树，请使用此参数。

以下代码演示了如何将模型类型设置为神经网络 (NN)：

study_spec_parameters_override = [
  {
    "parameter_id": "model_type",
    "categorical_value_spec": {
      "values": ["nn"] # The default value is ["nn", "boosted_trees"], this reduces the search space
    }
  }
]

配置硬件

以下 get_automl_tabular_pipeline_and_parameters 参数可让您配置机器类型和用于训练的机器数量。如果您有大型数据集并希望相应地优化机器硬件，则此选项是一个不错的选择。

以下代码演示了如何为 TensorFlow 主节点设置 n1-standard-8 机器类型，以及为 TensorFlow 评估器节点设置 n1-standard-4 机器类型：

worker_pool_specs_override = [
  {"machine_spec": {"machine_type": "n1-standard-8"}}, # override for TF chief node
  {},  # override for TF worker node, since it's not used, leave it empty
  {},  # override for TF ps node, since it's not used, leave it empty
  {
    "machine_spec": {
        "machine_type": "n1-standard-4" # override for TF evaluator node
    }
  }
]

提炼模型

借助以下 get_automl_tabular_pipeline_and_parameters 参数，您可以创建较小的集成学习模型版本。模型越小，预测的延迟时间和费用就越低。

跳过架构搜索

以下 get_automl_tabular_pipeline_and_parameters 参数可让您在不进行架构搜索的情况下运行流水线，并提供上一次流水线运行中的一组超参数。