内置图片分类算法使用入门

借助 AI Platform Training 中的内置算法，您可以提交训练数据、选择算法，以及让 AI Platform Training 为您处理预处理和训练作业，而无需为训练应用编写任何代码。利用内置图片算法，您只需进行极少的配置即可在 TPU 上进行训练。 生成的 TensorFlow SavedModel 可在 CPU 和 GPU 上运行。

概览

在本教程中，您无需编写任何代码即可训练图片分类模型。您可以将花卉数据集提交给 AI Platform Training 进行训练，然后在 AI Platform Training 上部署该模型以获取预测结果。生成的模型会根据物种（雏菊、郁金香、玫瑰、向日葵或蒲公英）对花卉图片进行分类。

准备工作

如需通过命令行完成本教程的学习，请使用 Cloud Shell 或已安装 Google Cloud CLI 的任何环境。

完成以下步骤以设置 GCP 账号，启用所需的 API，以及安装和激活 Google Cloud CLI。

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

授权 Cloud TPU 访问项目

请按照以下步骤为 Google Cloud 项目所关联的 Cloud TPU 服务账号名称授权：

1. 通过调用 projects.getConfig 获取 Cloud TPU 服务账号名称。例如：

   PROJECT_ID=PROJECT_ID
   
   curl -H "Authorization: Bearer $(gcloud auth print-access-token)"  \
       https://ml.googleapis.com/v1/projects/$PROJECT_ID:getConfig
   

2. 保存 API 返回的 serviceAccountProject 和 tpuServiceAccount 字段的值。

3. 初始化 Cloud TPU 服务账号：

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)"  \
     -H "Content-Type: application/json" -d '{}'  \
     https://serviceusage.googleapis.com/v1beta1/projects/<serviceAccountProject>/services/tpu.googleapis.com:generateServiceIdentity
   

现在，将该 Cloud TPU 服务账号添加为项目的成员，并为其授予 Cloud ML Service Agent 角色。在 Google Cloud 控制台中或使用 gcloud 命令完成以下步骤：

如需详细了解如何为服务账号授予角色，请参阅 IAM 文档。

设置

我们已针对本教程中的操作修改了 TensorFlow Flowers 数据集，并将该数据集托管在公开的 Cloud Storage 存储分区 (gs://cloud-samples-data/ai-platform/built-in/image/flowers/) 中。

PROJECT_ID="YOUR_PROJECT_ID"
BUCKET_NAME="YOUR_BUCKET_NAME"
REGION="us-central1"

gcloud config set project $PROJECT_ID
gcloud config set compute/region $REGION

# Set paths to the training and validation data.
TRAINING_DATA_PATH="gs://cloud-samples-data/ai-platform/built-in/image/flowers/flowers_train*"
VALIDATION_DATA_PATH="gs://cloud-samples-data/ai-platform/built-in/image/flowers/flowers_validation*"

# Specify the Docker container for your built-in algorithm selection.
IMAGE_URI="gcr.io/cloud-ml-algos/image_classification:latest"

提交训练作业

如需提交作业，您必须指定一些基本训练参数，以及一些与图片分类算法相关的基本参数。

训练作业的常规参数：

内置图片分类算法专用参数：

如需所有其他图片分类算法标志的详细列表，请参阅内置图片分类参考文档。

了解作业目录

训练作业成功完成后，AI Platform Training 会在您的 Cloud Storage 存储分区中创建经过训练的模型，以及其他一些工件。您可以在 JOB_DIR 中找到以下目录结构：

• model/（亦包含 deployment_config.yaml 文件的 TensorFlow SavedModel 目录）
  • saved_model.pb
  • deployment_config.yaml
• eval/
  • events.out.tfevents.[timestamp].cmle-training-[timestamp]
  • events.out.tfevents...
  • …
• variables/
  • variables.data-00000-of-00001
  • variables.index

作业目录还包含各种模型检查点文件。

确认您的 JOB_DIR 中的目录结构与上述结构相同：

gcloud storage ls $JOB_DIR/* --all-versions

部署经过训练的模型

AI Platform Training 使用模型和版本资源来组织经过训练的模型。AI Platform Training 模型是存放机器学习模型版本的容器。

如需部署模型，请在 AI Platform Training 中创建模型资源，创建该模型的版本，然后使用所创建的模型和版本请求在线预测。

如需详细了解如何将模型部署到 AI Platform Training，请参阅如何部署 TensorFlow 模型。

获取在线预测结果

请求预测时，您需要确保输入数据为 JSON 格式。

1. 下载训练工件文件：

   gcloud storage cp $JOB_DIR/artifacts/* .
   

2. 为一张图片准备预测输入。

   要使用 Google Cloud CLI 发送在线预测请求，请将每个实例写入以换行符分隔的 JSON 文件中的一行，如以下示例所示。

   在终端运行以下命令，为您可以发送到 AI Platform Prediction 的单个实例创建输入：

   以下 Python 脚本使用 base64 对单张图片进行编码，设置其格式以用于预测，添加实例键，并将结果写入名为 prediction_instances.json 的文件：

   import json
   import base64
   import tensorflow as tf
   
   IMAGE_URI='gs://cloud-samples-data/ai-platform/built-in/image/tutorial_examples/daisy.jpg'
   
   with tf.gfile.Open(IMAGE_URI, 'rb') as image_file:
     encoded_string = base64.b64encode(image_file.read()).decode('utf-8')
   
   image_bytes = {'b64': str(encoded_string)}
   instances = {'image_bytes': image_bytes, 'key': '1'}
   with open("prediction_instances.json","w") as f:
     f.write(json.dumps(instances))
   

3. 发送预测请求：

   gcloud ai-platform predict --model $MODEL_NAME \
    --version $VERSION_NAME \
    --json-instances prediction_instances.json
   

预测输出最有可能包含 daisy 类别，表示已部署的模型已将输入图片归类为雏菊（由于训练具有不确定性，因此您的模型可能会有所不同）。

关于数据

本示例中使用的 Flowers 训练数据集由 TensorFlow 团队提供。

后续步骤

• 详细了解如何使用内置图片分类算法。