使用内置图片对象检测算法进行训练

使用 AI Platform Training 中的内置算法进行训练时，您无需编写任何训练代码即可提交数据集并训练模型。本页面介绍了内置图片对象检测算法的工作原理和使用方法。

概览

内置的图片对象检测算法使用训练和验证数据集连续训练模型，然后输出在训练作业过程中生成的最准确的 SavedModel。您还可以使用超参数调节来获得最佳模型准确度。导出的 SavedModel 可直接用于本地预测，也可部署到 AI Platform Prediction 以用于生产环境服务。

限制

图片内置算法支持使用单个 CPU、GPU 或 TPU 进行训练。生成的 SavedModel 适用于在 CPU 和 GPU 上应用。

使用内置图片对象检测算法进行训练时不支持以下功能：

• 分布式训练。如需在 AI Platform Training 上运行 TensorFlow 分布式训练作业，您必须创建一个训练应用。
• 多 GPU 训练。内置算法一次只使用一个 GPU。要在一台机器上充分利用多个 GPU 进行训练，您必须创建一个训练应用。查找关于机器类型的详细信息。

支持的机器类型

以下是系统支持的 AI Platform Training 容量层级和机器类型：

• BASIC 容量层级
• BASIC_TPU 容量层级
• CUSTOM 容量层级和 AI Platform Training 所支持的任何 Compute Engine 机器类型。
• CUSTOM 容量层级和以下任何旧版机器类型：
  • standard
  • large_model
  • complex_model_s
  • complex_model_m
  • complex_model_l
  • standard_gpu
  • standard_p100
  • standard_v100
  • large_model_v100
  • complex_model_m_gpu
  • complex_model_l_gpu
  • complex_model_m_p100
  • complex_model_m_v100
  • complex_model_l_v100
  • TPU_V2（8 个核心）

授权 Cloud TPU 访问项目

请按照以下步骤为 Google Cloud 项目所关联的 Cloud TPU 服务账号名称授权：

1. 通过调用 projects.getConfig 获取 Cloud TPU 服务账号名称。例如：

   PROJECT_ID=PROJECT_ID
   
   curl -H "Authorization: Bearer $(gcloud auth print-access-token)"  \
       https://ml.googleapis.com/v1/projects/$PROJECT_ID:getConfig
   

2. 保存 API 返回的 serviceAccountProject 和 tpuServiceAccount 字段的值。

3. 初始化 Cloud TPU 服务账号：

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)"  \
     -H "Content-Type: application/json" -d '{}'  \
     https://serviceusage.googleapis.com/v1beta1/projects/<serviceAccountProject>/services/tpu.googleapis.com:generateServiceIdentity
   

现在，将该 Cloud TPU 服务账号添加为项目的成员，并为其授予 Cloud ML Service Agent 角色。在 Google Cloud 控制台中或使用 gcloud 命令完成以下步骤：

如需详细了解如何为服务账号授予角色，请参阅 IAM 文档。

设置输入数据的格式以用于训练

内置的图片对象检测算法要求输入数据的格式为 tf.Examples，并保存在 TFRecord 文件中。tf.Example 数据结构和 TFRecord 文件格式均旨在通过 TensorFlow 高效读取数据。

TFRecord 格式是一种用于存储一系列二进制记录的简单格式。 在本例中，所有记录都包含图片的二进制表示形式。每个图片及其类别标签都表示为 tf.Example。您可以将多个 tf.Example 保存到单个 TFRecord 文件中。您还可以将一个大型数据集分片到多个 TFRecord 文件中。

详细了解 TFRecord 和 tf.Example。

将图片转换为 TFRecord 格式

要将图片转换为获取预测结果所需的格式，请按照 TensorFlow Model Garden 的指南来准备用于对象检测的输入。

检查 Cloud Storage 存储分区权限

要存储数据，请使用用于运行 AI Platform Training 作业的同一 Google Cloud 项目中的 Cloud Storage 存储分区。否则，需要向 AI Platform Training 授予对存储数据的 Cloud Storage 存储分区的访问权限。

要求的输入格式

若要使用内置的图片对象检测算法进行训练，您的图片数据的结构必须为 tf.Example，其中包含以下字段：

• image/encoded 是编码为字符串的原始图片。

• image/object/class/label 是相应图片的整数标签列表（每个框一个标签）。

  用于数据集的整数标签集必须是从 1 开始的连续序列。例如，如果您的数据集有五个类，则每个标签必须是区间 [1, 5] 中的一个整数。

• image/object/bbox/xmin 是对应图片的归一化左 x 坐标的列表（每个框一个坐标）。每个坐标都必须在区间 [0, 1] 中。

• image/object/bbox/xmax 是对应图片的归一化右 x 坐标的列表（每个框一个坐标）。每个坐标都必须在区间 [0, 1] 中。

• image/object/bbox/ymin 是对应图片的归一化上 y 坐标的列表（每个框一个坐标）。每个坐标都必须在区间 [0, 1] 中。

• image/object/bbox/ymax 是对应图片的归一化下 y 坐标的列表（每个框一个坐标）。每个坐标都必须在区间 [0, 1] 中。

以下示例显示了包含两个边界框的图片的 tf.Example 结构。第一个框的标签为 1，其左上角位于归一化坐标 (0.1, 0.4) 处，其右下角位于归一化坐标 (0.5, 0.8) 处。第二个框的标签为 2，其左上角位于归一化坐标 (0.3, 0.5) 处，右下角位于归一化坐标 (0.4, 0.7) 处。

{
    'image/encoded': '<encoded image data>',
    'image/object/class/label': [1, 2],
    'image/object/bbox/xmin': [0.1, 0.3],
    'image/object/bbox/xmax': [0.5, 0.4],
    'image/object/bbox/ymin': [0.4, 0.5],
    'image/object/bbox/ymax': [0.8, 0.7]
}

该 tf.Example 格式遵循 TFRecord 对象检测脚本中使用的格式。

获取最佳 SavedModel 作为输出

训练作业完成后，AI Platform Training 会将 TensorFlow SavedModel 写入您在提交作业时指定为 jobDir 的 Cloud Storage 存储分区。SavedModel 写入 jobDir/model。例如，如果您将作业提交到 gs://your-bucket-name/your-job-dir，则 AI Platform Training 会将 SavedModel 写入 gs://your-bucket-name/your-job-dir/model。

如果您启用了超参数调节，AI Platform Training 会返回在训练过程中获得的具有最高准确度的 TensorFlow SavedModel。例如，如果您提交的训练作业包含 2500 个训练步骤，且准确度在 2000 个步骤时最高，您会获得从该特定点保存的 TensorFlow SavedModel。

每次 AI Platform Training 试验都会将具有最高准确度的 TensorFlow SavedModel 写入其在您的 Cloud Storage 存储分区内的专属目录中。例如 gs://your-bucket-name/your-job-dir/model/trial_{trial_id}。

输出 SavedModel 的签名是：

signature_def['serving_default']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['encoded_image'] tensor_info:
        dtype: DT_STRING
        shape: (-1)
        name: encoded_image_string_tensor:0
    inputs['key'] tensor_info:
        dtype: DT_STRING
        shape: (-1)
        name: key:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['detection_boxes'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 100, 4)
        name: detection_boxes:0
    outputs['detection_classes'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 100)
        name: detection_classes:0
    outputs['detection_scores'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 100)
        name: detection_scores:0
    outputs['key'] tensor_info:
        dtype: DT_STRING
        shape: (-1)
        name: Identity:0
    outputs['num_detections'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1)
        name: num_detections:0
  Method name is: tensorflow/serving/predict

输入：

• encoded_image：原始（未解码）图片字节。这与 tf.Example 中存储的 image/encoded 相同。
• key：预测输入的字符串值标识符。此值会传递给输出 key。在批量预测中，这有助于将预测输出映射到输入。

输出：

• num_detections：检测到的边界框的数量。
• detection_boxes：检测边界框的相对（[0,1] 中的值）坐标 ([ymin, xmin, ymax, xmax]) 的列表。
• detection_classes：detection_boxes 中每个检测框的预测类别（整数）标签的列表。
• detection_scores：detection_boxes 中每个检测框的 scores 的列表。
• key：输出键。

以下是预测输出的示例：

{u'detection_classes': [1.0, 3.0, 3.0, ...],
u'key': u'test_key',
u'num_detections': 100.0,
u'detection_scores': [0.24401935935020447, 0.19375669956207275, 0.18359294533729553, ...]]}

配置示例

如果您使用 gcloud 提交作业，则需要针对机器类型和超参数调节规范创建 config.yaml 文件。如果您使用 Google Cloud 控制台，则无需创建此文件。了解如何提交训练作业。

以下示例 config.yaml 文件展示了如何为训练作业分配 TPU 资源：

cat << EOF > config.yaml
trainingInput:
  scaleTier: CUSTOM
  masterType: n1-standard-16
  masterConfig:
    imageUri: gcr.io/cloud-ml-algos/image_object_detection:latest
    acceleratorConfig:
      type: NVIDIA_TESLA_P100
      count: 1
  workerType:  cloud_tpu
  workerConfig:
    imageUri: gcr.io/cloud-ml-algos/image_object_detection:latest
    tpuTfVersion: 1.14
    acceleratorConfig:
      type: TPU_V2
      count: 8
  workerCount: 1
EOF

接下来，使用 config.yaml 文件来提交训练作业。

超参数调节配置

如需使用超参数调节，请将超参数调节配置添加到与机器配置相同的 config.yaml 文件中。

您可以在 Google Cloud 控制台中查找每个超参数的简要说明，并在内置图片对象检测算法参考文档中查看更详细的说明。

以下示例 config.yaml 文件展示了如何为训练作业分配 TPU 资源，并包含超参数调节配置：

cat << EOF > config.yaml
trainingInput:
  # Use a cluster with many workers and a few parameter servers.
  scaleTier: CUSTOM
  masterType: n1-standard-16
  masterConfig:
    imageUri: gcr.io/cloud-ml-algos/image_object_detection:latest
    acceleratorConfig:
      type: NVIDIA_TESLA_P100
      count: 1
  workerType:  cloud_tpu
  workerConfig:
    imageUri: gcr.io/cloud-ml-algos/image_object_detection:latest
    acceleratorConfig:
      type: TPU_V2
      count: 8
  workerCount: 1
  # The following are hyperparameter configs.
  hyperparameters:
   goal: MAXIMIZE
   hyperparameterMetricTag: "AP"
   maxTrials: 6
   maxParallelTrials: 3
   enableTrialEarlyStopping: True
   params:
   - parameterName: initial_learning_rate
     type: DOUBLE
     minValue: 0.001
     maxValue: 0.1
     scaleType: UNIT_LOG_SCALE
EOF

提交图片对象检测训练作业

本部分介绍如何提交使用内置图片对象检测算法的训练作业。

后续步骤

• 了解如何将您自己的数据集与 TFRecord 对象检测脚本结合使用。
• 请参阅内置图片对象检测参考文档，了解所有不同的参数。