部署模型

TensorFlow SavedModel

SAVED_MODEL_DIR=$(ls ./YOUR_EXPORT_DIR_BASE | tail -1)
gcloud storage cp $SAVED_MODEL_DIR gs://YOUR_BUCKET --recursive

从 tf.keras 或从 TensorFlow Estimator 中导出 SavedModel 后，SavedModel 会被另存为您选择的带时间戳的基本导出目录子目录，例如 YOUR_EXPORT_DIR_BASE/1487877383942。此示例展示了如何上传带最近时间戳的目录。 如果您采用其他方式创建了 SavedModel，它可能位于本地文件系统中的其他位置。

scikit-learn 或 XGBoost 模型文件

根据您导出训练模型的方式，您可以上传 model.joblib、model.pkl 或 model.bst 文件。

以下示例展示了如何上传 sklearn.externals.joblib 导出的文件：

gcloud storage cp ./model.joblib gs://YOUR_BUCKET/model.joblib

以下示例展示了如何上传 Python 的 pickle 模块导出的文件：

gcloud storage cp ./model.pkl gs://YOUR_BUCKET/model.pkl

以下示例展示了如何上传 xgboost.Booster 的 save_model 方法导出的文件：

gcloud storage cp ./model.bst gs://YOUR_BUCKET/model.bst

控制台

1. 打开 Google Cloud 控制台中的 AI Platform Prediction 模型页面：

   转到“模型”页面

2. 点击模型页面顶部的新建模型按钮。您随即会进入创建模型页面。

3. 在模型名称字段中，输入一个唯一的模型名称。

4. 选中使用区域端点复选框后，AI Platform Prediction 将使用区域端点。要改为使用全球端点，请清除使用区域端点复选框。

5. 从区域下拉列表中，选择预测节点的位置。可用区域取决于您是使用区域端点还是全球端点。

6. 点击创建。

7. 确认您已返回模型页面，并且新模型显示在列表中。

gcloud

gcloud ai-platform models create MODEL_NAME \
  --region=REGION

gcloud ai-platform models create MODEL_NAME \
  --regions=REGION

REST API

控制台

1. 打开 Google Cloud 控制台中的 AI Platform Prediction 模型页面：

   转到“模型”页面

2. 在模型页面上，选择要用于创建版本的模型资源的名称。您随即会进入模型详情页面。

3. 点击模型详情页面顶部的新建版本按钮。您随即会进入创建版本页面。

4. 在名称字段中输入您的版本名称。（可选）在说明字段中，输入版本的说明。

5. 在相应的下拉框中输入有关您如何训练模型的以下信息：

   • 选择您用于训练模型的 Python 版本。
   • 选择框架和框架版本。如果您要部署自定义预测例程（测试版），请为框架选择“自定义预测例程（测试版）”。
   • 选择机器学习运行时版本。详细了解 AI Platform Prediction 运行时版本。

6. 选择要运行在线预测的机器类型。

7. 在模型 URI 字段中，输入您上传模型文件时使用的 Cloud Storage 存储桶位置。您可以使用浏览按钮查找正确的路径。

   请确保指定的路径指向包含该文件的目录，而非指向模型文件本身。例如，使用 gs://your_bucket_name/model-dir/，而不是 gs://your_bucket_name/model-dir/saved_model.pb 或 gs://your_bucket_name/model-dir/model.pkl。

8. 如果您要部署具有自定义代码的 scikit-learn 流水线（测试版）或自定义预测例程（测试版），请在自定义代码和依赖项下提供所有自定义代码软件包 (.tar.gz) 的 Cloud Storage 路径。如果您要部署自定义预测例程，请在预测类字段中输入 Predictor 类的名称。

9. 选择用于在线预测部署的扩缩选项：

   • 如果选择“自动扩缩”，则系统会显示可选的节点数下限字段。您可以输入当服务规模缩减时应始终保持运行的最小节点数。

   • 如果选择“手动扩缩”，则必须输入您希望始终保持运行的节点数。

   了解扩缩选项如何因机器类型而异。

   如需了解详情，请参阅预测费用的价格。

10. 点击保存即可完成模型版本的创建。

gcloud

1. 设置环境变量，以存储模型二进制文件所在的 Cloud Storage 目录的路径、模型名称、版本名称和框架选项。

   使用 gcloud CLI 创建版本时，您可以提供带下划线的大写字母框架名称（例如 SCIKIT_LEARN）或带连字符的小写字母框架名称（例如 scikit-learn）。这两种方式具有相同的效果。

   将 [VALUES_IN_BRACKETS] 替换为适当的值：

   MODEL_DIR="gs://your_bucket_name/"
   VERSION_NAME="[YOUR-VERSION-NAME]"
   MODEL_NAME="[YOUR-MODEL-NAME]"
   FRAMEWORK="[YOUR-FRAMEWORK_NAME]"
   

   对于具有自定义代码的 scikit-learn 流水线（Beta 版），请使用自定义代码 tar 压缩文件的路径设置其他变量：

   MODEL_DIR="gs://your_bucket_name/"
   VERSION_NAME="[YOUR-VERSION-NAME]"
   MODEL_NAME="[YOUR-MODEL-NAME]"
   FRAMEWORK="scikit-learn"
   CUSTOM_CODE_PATH="gs://your_bucket_name/my_custom_code-0.1.tar.gz"
   

   对于自定义预测例程（Beta 版），请省略 FRAMEWORK 变量并使用自定义代码 tar 压缩文件的路径和 Predictor 类的名称设置其他变量：

   MODEL_DIR="gs://your_bucket_name/"
   VERSION_NAME="[YOUR-VERSION-NAME]"
   MODEL_NAME="[YOUR-MODEL-NAME]"
   CUSTOM_CODE_PATH="gs://your_bucket_name/my_custom_code-0.1.tar.gz"
   PREDICTOR_CLASS="[MODULE_NAME].[CLASS_NAME]"
   

2. 创建版本：

   gcloud ai-platform versions create $VERSION_NAME \
     --model=$MODEL_NAME \
     --origin=$MODEL_DIR \
     --runtime-version=2.11 \
     --framework=$FRAMEWORK \
     --python-version=3.7 \
     --region=REGION \
     --machine-type=MACHINE_TYPE
   

   替换以下内容：

   • REGION：您在其上创建模型的区域端点的区域。如果您在全球端点上创建模型，请省略 --region 标志。

   • MACHINE_TYPE：一种机器类型，用于确定预测节点可使用的计算资源。

   对于具有自定义代码的 scikit-learn 流水线（Beta 版），请使用 gcloud beta 组件并务必设置 --package-uris 标志。要部署自定义代码，您的模型必须使用全球端点。

   gcloud components install beta
   
   gcloud beta ai-platform versions create $VERSION_NAME \
     --model=$MODEL_NAME \
     --origin=$MODEL_DIR \
     --runtime-version=2.11 \
     --framework=$FRAMEWORK \
     --python-version=3.7 \
     --machine-type=mls1-c1-m2 \
     --package-uris=$CUSTOM_CODE_PATH
   

   对于自定义预测例程（Beta 版），请使用 gcloud beta 组件，省略 --framework 标志并设置 --package-uris 和 --prediction-class 标志。要部署自定义代码，您的模型必须使用全球端点。

   gcloud components install beta
   
   gcloud beta ai-platform versions create $VERSION_NAME \
     --model=$MODEL_NAME \
     --origin=$MODEL_DIR \
     --runtime-version=2.11 \
     --python-version=3.7 \
     --machine-type=mls1-c1-m2 \
     --package-uris=$CUSTOM_CODE_PATH \
     --prediction-class=$PREDICTOR_CLASS
   

   创建版本需要几分钟时间。完成后，您应该会看到以下输出：

   Creating version (this might take a few minutes)......done.

3. 获取有关新版本的信息：

   gcloud ai-platform versions describe $VERSION_NAME \
     --model=$MODEL_NAME
   

   您应该会看到如下所示的输出：

   createTime: '2018-02-28T16:30:45Z'
   deploymentUri: gs://your_bucket_name
   framework: [YOUR-FRAMEWORK-NAME]
   machineType: mls1-c1-m2
   name: projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions/[YOUR-VERSION-NAME]
   pythonVersion: '3.7'
   runtimeVersion: '2.11'
   state: READY

REST API

1. 设置请求正文的格式，使其包含版本对象。以下示例指定了版本 name、deploymentUri、runtimeVersion、framework 和 machineType。将 [VALUES_IN_BRACKETS] 替换为适当的值：

   {
     "name": "[YOUR-VERSION-NAME]",
     "deploymentUri": "gs://your_bucket_name/",
     "runtimeVersion": "2.11",
     "framework": "[YOUR_FRAMEWORK_NAME]",
     "pythonVersion": "3.7",
     "machineType": "[YOUR_MACHINE_TYPE]"
   }
   

2. 针对以下路径进行 REST API 调用，将 [VALUES_IN_BRACKETS] 替换为适当的值：

   POST https://REGION-ml.googleapis.com/v1/projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions
   

   将 REGION 替换为您在其上创建了模型的区域端点的区域。如果您是在全球端点上创建的模型，请使用 ml.googleapis.com。

   例如，您可以使用 curl 命令发出以下请求：

   curl -X POST -H "Content-Type: application/json" \
     -d '{"name": "[YOUR-VERSION-NAME]", "deploymentUri": "gs://your_bucket_name/", "runtimeVersion": "2.11", "framework": "[YOUR_FRAMEWORK_NAME]", "pythonVersion": "3.7", "machineType": "[YOUR_MACHINE_TYPE]"}' \
     -H "Authorization: Bearer `gcloud auth print-access-token`" \
     "https://REGION-ml.googleapis.com/v1/projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions"
   

   创建版本需要几分钟时间。完成后，您应该会看到类似如下所示的输出：

   {
     "name": "projects/[YOUR-PROJECT-ID]/operations/create_[YOUR-MODEL-NAME]_[YOUR-VERSION-NAME]-[TIMESTAMP]",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.ml.v1.OperationMetadata",
       "createTime": "2018-07-07T02:51:50Z",
       "operationType": "CREATE_VERSION",
       "modelName": "projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]",
       "version": {
         "name": "projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions/[YOUR-VERSION-NAME]",
         "deploymentUri": "gs://your_bucket_name",
         "createTime": "2018-07-07T02:51:49Z",
         "runtimeVersion": "2.11",
         "framework": "[YOUR_FRAMEWORK_NAME]",
         "machineType": "[YOUR_MACHINE_TYPE]",
         "pythonVersion": "3.7"
       }
     }
   }