使用 scikit-learn 流水线进行预测

macOS

1. 检查 Python 的安装情况
   确认您是否已安装 Python；如有必要，请安装。

   python -V

2. 检查 pip 的安装情况
   pip 是 Python 的软件包管理器，包含在当前版本的 Python 中。请运行 pip --version 来检查您是否已安装 pip。如果未安装，请了解如何安装 pip。

   您可以使用以下命令升级 pip：

   pip install -U pip

   如需了解详情，请参阅 pip 文档。

3. 安装 virtualenv
virtualenv 是用于创建独立 Python 环境的工具。请运行 virtualenv --version 来检查您是否已安装 virtualenv。如果未安装，请安装 virtualenv：

   pip install --user --upgrade virtualenv

   如需为本指南创建一个独立的开发环境，请在 virtualenv 中新建一个虚拟环境。例如，以下命令会激活名为 aip-env 的环境：

   virtualenv aip-env
   source aip-env/bin/activate

4. 在本教程中，请在虚拟环境中运行其余命令。

   详细了解如何使用 virtualenv。如需退出 virtualenv，请运行 deactivate。

Cloud Shell

1. 打开 Google Cloud 控制台。

   Google Cloud 控制台

2. 点击控制台窗口顶部的激活 Google Cloud Shell 按钮。

   

   一个 Cloud Shell 会话随即会在控制台底部的新框内打开，并显示命令行提示符。该 Shell 会话可能需要几秒钟来完成初始化。

   

   您的 Cloud Shell 会话已就绪，可以使用了。

3. 配置 gcloud 命令行工具以使用您所选的项目。

   gcloud config set project [selected-project-id]

   其中，[selected-project-id] 是您的项目 ID。（忽略中括号）。

macOS

在虚拟环境中，您可以运行以下命令，以安装 AI Platform Prediction 运行时版本 2.11 中使用的 scikit-learn 和 Pandas 版本：

(aip-env)$ pip install scikit-learn==1.0.2 pandas==1.3.5

通过在上述命令中提供版本号，您可以确保虚拟环境中的依赖项与运行时版本中的依赖项相匹配。这有助于防止您的代码在 AI Platform Prediction 上运行时出现不符合预期的行为。

如需了解详情、安装选项和问题排查信息，请参阅每个框架的安装说明：

• scikit-learn 安装说明
• Pandas 安装说明

Cloud Shell

运行以下命令可安装 scikit-learn 和 pandas：

pip install --user scikit-learn pandas

如需了解详情、安装选项和问题排查信息，请参阅每个框架的安装说明：

• scikit-learn 安装说明
• Pandas 安装说明

joblib

设置流水线，训练模型，然后使用 joblib 导出 Pipeline 对象：

from sklearn import datasets
from sklearn import svm
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
from sklearn.ensemble import RandomForestClassifier
from sklearn.pipeline import Pipeline

from sklearn.externals import joblib

# Load the Iris dataset
iris = datasets.load_iris()

# Set up a pipeline with a feature selection preprocessor that
# selects the top 2 features to use.
# The pipeline then uses a RandomForestClassifier to train the model.

pipeline = Pipeline([
      ('feature_selection', SelectKBest(chi2, k=2)),
      ('classification', RandomForestClassifier())
    ])

pipeline.fit(iris.data, iris.target)

# Export the classifier to a file
joblib.dump(pipeline, 'model.joblib')

pickle

设置流水线，训练模型，然后使用 pickle 导出 Pipeline 对象：

from sklearn import datasets
from sklearn import svm
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
from sklearn.ensemble import RandomForestClassifier
from sklearn.pipeline import Pipeline

import pickle

# Load the Iris dataset
iris = datasets.load_iris()

# Set up a pipeline with a feature selection preprocessor that
# selects the top 2 features to use.
# The pipeline then uses a RandomForestClassifier to train the model.

pipeline = Pipeline([
      ('feature_selection', SelectKBest(chi2, k=2)),
      ('classification', RandomForestClassifier())
    ])

pipeline.fit(iris.data, iris.target)

# Export the classifier to a file
with open('model.pkl', 'wb') as model_file:
  pickle.dump(pipeline, model_file)

gcloud

创建一个 input.json 文件，其中每个输入实例位于单独的一行：

[6.8,  2.8,  4.8,  1.4]
[6.0,  3.4,  4.5,  1.6]

请注意，输入实例的格式需要与模型要求的格式相匹配。在本例中，Iris 模型需要 4 个特征，因此您的输入必须为形状矩阵 (num_instances, 4)。

REST API

创建一个 input.json 文件，格式采用简单的浮点数列表，其中每个输入实例位于单独的一行：

{
  "instances": [

    [6.8,  2.8,  4.8,  1.4],
    [6.0,  3.4,  4.5,  1.6]

  ]
}

请注意，输入实例的格式需要与模型要求的格式相匹配。在本例中，Iris 模型需要 4 个特征，因此您的输入必须为形状矩阵 (num_instances, 4)。

控制台

1. 打开 Google Cloud 控制台中的 AI Platform Prediction 模型页面：

   转到“模型”页面

2. 点击模型页面顶部的新建模型按钮。您随即会进入创建模型页面。

3. 在模型名称字段中，输入一个唯一的模型名称。

4. 选中使用区域端点复选框后，AI Platform Prediction 将使用区域端点。要改为使用全球端点，请清除使用区域端点复选框。

5. 从区域下拉列表中，选择预测节点的位置。可用区域取决于您是使用区域端点还是全球端点。

6. 点击创建。

7. 确认您已返回模型页面，并且新模型显示在列表中。

gcloud

gcloud ai-platform models create MODEL_NAME \
  --region=REGION

gcloud ai-platform models create MODEL_NAME \
  --regions=REGION

REST API

控制台

1. 打开 Google Cloud 控制台中的 AI Platform Prediction 模型页面：

   转到“模型”页面

2. 在模型页面上，选择要用于创建版本的模型资源的名称。您随即会进入模型详情页面。

3. 点击模型详情页面顶部的新建版本按钮。您随即会进入创建版本页面。

4. 在名称字段中输入您的版本名称。（可选）在说明字段中，输入版本的说明。

5. 在相应的下拉框中输入有关您如何训练模型的以下信息：

   • 选择您用于训练模型的 Python 版本。
   • 选择框架和框架版本。
   • 选择机器学习运行时版本。详细了解 AI Platform Prediction 运行时版本。

6. 选择要运行在线预测的机器类型。

7. 在模型 URI 字段中，输入您上传模型文件时使用的 Cloud Storage 存储桶位置。您可以使用浏览按钮查找正确的路径。

   请确保指定的路径指向包含该文件的目录，而非指向模型文件本身。例如，使用 gs://your_bucket_name/model-dir/，而不是 gs://your_bucket_name/model-dir/saved_model.pb 或 gs://your_bucket_name/model-dir/model.pkl。

8. 选择用于在线预测部署的扩缩选项：

   • 如果选择“自动扩缩”，则系统会显示可选的节点数下限字段。您可以输入当服务规模缩减时应始终保持运行的最小节点数。

   • 如果选择“手动扩缩”，则必须输入您希望始终保持运行的节点数。

   了解扩缩选项如何因机器类型而异。

   如需了解详情，请参阅预测费用的价格。

9. 点击保存即可完成模型版本的创建。

gcloud

1. 设置环境变量，以存储模型二进制文件所在的 Cloud Storage 目录的路径、模型名称、版本名称和框架选项。

   使用 gcloud CLI 创建版本时，您可以提供带下划线的大写字母框架名称（例如 SCIKIT_LEARN）或带连字符的小写字母框架名称（例如 scikit-learn）。这两种方式具有相同的效果。

   将 [VALUES_IN_BRACKETS] 替换为适当的值：

   MODEL_DIR="gs://your_bucket_name/"
   VERSION_NAME="[YOUR-VERSION-NAME]"
   MODEL_NAME="[YOUR-MODEL-NAME]"
   FRAMEWORK="[YOUR-FRAMEWORK_NAME]"
   

2. 创建版本：

   gcloud ai-platform versions create $VERSION_NAME \
     --model=$MODEL_NAME \
     --origin=$MODEL_DIR \
     --runtime-version=2.11 \
     --framework=$FRAMEWORK \
     --python-version=3.7 \
     --region=REGION \
     --machine-type=MACHINE_TYPE
   

   替换以下内容：

   • REGION：您在其上创建模型的区域端点的区域。如果您在全球端点上创建模型，请省略 --region 标志。

   • MACHINE_TYPE：一种机器类型，用于确定预测节点可使用的计算资源。

   创建版本需要几分钟时间。完成后，您应该会看到以下输出：

   Creating version (this might take a few minutes)......done.

3. 获取有关新版本的信息：

   gcloud ai-platform versions describe $VERSION_NAME \
     --model=$MODEL_NAME
   

   您应该会看到如下所示的输出：

   createTime: '2018-02-28T16:30:45Z'
   deploymentUri: gs://your_bucket_name
   framework: [YOUR-FRAMEWORK-NAME]
   machineType: mls1-c1-m2
   name: projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions/[YOUR-VERSION-NAME]
   pythonVersion: '3.7'
   runtimeVersion: '2.11'
   state: READY

REST API

1. 设置请求正文的格式，使其包含版本对象。以下示例指定了版本 name、deploymentUri、runtimeVersion、framework 和 machineType。将 [VALUES_IN_BRACKETS] 替换为适当的值：

   {
     "name": "[YOUR-VERSION-NAME]",
     "deploymentUri": "gs://your_bucket_name/",
     "runtimeVersion": "2.11",
     "framework": "[YOUR_FRAMEWORK_NAME]",
     "pythonVersion": "3.7",
     "machineType": "[YOUR_MACHINE_TYPE]"
   }
   

2. 针对以下路径进行 REST API 调用，将 [VALUES_IN_BRACKETS] 替换为适当的值：

   POST https://REGION-ml.googleapis.com/v1/projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions
   

   将 REGION 替换为您在其上创建了模型的区域端点的区域。如果您是在全球端点上创建的模型，请使用 ml.googleapis.com。

   例如，您可以使用 curl 命令发出以下请求：

   curl -X POST -H "Content-Type: application/json" \
     -d '{"name": "[YOUR-VERSION-NAME]", "deploymentUri": "gs://your_bucket_name/", "runtimeVersion": "2.11", "framework": "[YOUR_FRAMEWORK_NAME]", "pythonVersion": "3.7", "machineType": "[YOUR_MACHINE_TYPE]"}' \
     -H "Authorization: Bearer `gcloud auth print-access-token`" \
     "https://REGION-ml.googleapis.com/v1/projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions"
   

   创建版本需要几分钟时间。完成后，您应该会看到类似如下所示的输出：

   {
     "name": "projects/[YOUR-PROJECT-ID]/operations/create_[YOUR-MODEL-NAME]_[YOUR-VERSION-NAME]-[TIMESTAMP]",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.ml.v1.OperationMetadata",
       "createTime": "2018-07-07T02:51:50Z",
       "operationType": "CREATE_VERSION",
       "modelName": "projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]",
       "version": {
         "name": "projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions/[YOUR-VERSION-NAME]",
         "deploymentUri": "gs://your_bucket_name",
         "createTime": "2018-07-07T02:51:49Z",
         "runtimeVersion": "2.11",
         "framework": "[YOUR_FRAMEWORK_NAME]",
         "machineType": "[YOUR_MACHINE_TYPE]",
         "pythonVersion": "3.7"
       }
     }
   }
   

gcloud

1. 为模型名称、版本名称和输入文件的名称设置环境变量：

   MODEL_NAME="pipeline"
   VERSION_NAME="v1"
   INPUT_FILE="input.json"
   

2. 发送预测请求：

   gcloud ai-platform predict --model $MODEL_NAME --version \
     $VERSION_NAME --json-instances $INPUT_FILE
   

Python

此示例设定您熟悉适用于 Python 的 Google Cloud 客户端库。如果不熟悉，请参阅使用 Python 客户端库。

import googleapiclient.discovery

def predict_json(project, model, instances, version=None):
    """Send json data to a deployed model for prediction.
    Args:
        project (str): project where the AI Platform Prediction Model is deployed.
        model (str): model name.
        instances ([[float]]): List of input instances, where each input
           instance is a list of floats.
        version: str, version of the model to target.
    Returns:
        Mapping[str: any]: dictionary of prediction results defined by the
            model.
    """
    # Create the AI Platform Prediction service object.
    # To authenticate set the environment variable
    # GOOGLE_APPLICATION_CREDENTIALS=<path_to_service_account_file>
    service = googleapiclient.discovery.build('ml', 'v1')
    name = 'projects/{}/models/{}'.format(project, model)

    if version is not None:
        name += '/versions/{}'.format(version)

    response = service.projects().predict(
        name=name,
        body={'instances': instances}
    ).execute()

    if 'error' in response:
        raise RuntimeError(response['error'])

    return response['predictions']