Obtenir des prédictions en ligne avec XGBoost

Cet exemple entraîne un modèle permettant de prédire le niveau de revenu d'une personne en fonction de l'ensemble de données sur le revenu collectées par recensement. Après avoir entraîné et enregistré le modèle localement, vous allez le déployer dans AI Platform Prediction et l'interroger pour obtenir des prédictions en ligne.

Ce contenu est également disponible sur GitHub en tant que notebook Jupyter.

Intégrer le modèle à AI Platform Prediction

Vous pouvez intégrer votre modèle à AI Platform Prediction pour obtenir des prédictions en cinq étapes :

• Enregistrer le modèle dans un fichier
• Transférer le modèle enregistré dans Cloud Storage
• Créer une ressource de modèle sur AI Platform Prediction
• Créer une version du modèle en associant le modèle enregistré
• Effectuer une prédiction en ligne

Avant de commencer

Suivez les étapes ci-dessous pour configurer un compte GCP, activer l'API AI Platform Prediction, puis installer et activer le SDK Cloud.

Configurer le projet GCP

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Configurer votre environnement

Choisissez l'une des options ci-dessous pour configurer votre environnement en local sous macOS ou dans un environnement à distance sur Cloud Shell.

Pour les utilisateurs de macOS, nous vous recommandons de configurer votre environnement à l'aide de l'onglet macOS ci-dessous. Cloud Shell est disponible sous macOS, Linux et Windows (voir l'onglet Cloud Shell). Ce service vous permet d'essayer AI Platform Prediction rapidement. Toutefois, son utilisation n'est pas adaptée aux tâches de développement continu.

Installer des frameworks

(aip-env)$ pip install scikit-learn==1.0.2 xgboost==1.6.2 pandas==1.3.5

pip install --user scikit-learn xgboost pandas

Télécharger les données

L'ensemble de données sur le revenu collectées par recensement que cet exemple utilise pour l'entraînement est hébergé par l'UCI Machine Learning Repository (dépôt de machine learning de l'Université de Californie à Irvine). Pour en savoir plus, consultez la section À propos des données.

• Le fichier d'entraînement est adult.data.
• Le fichier d'évaluation est adult.test.

Entraîner et enregistrer un modèle

Pour entraîner et enregistrer un modèle, procédez comme suit :

1. Chargez les données dans une structure de données Pandas pour pouvoir les utiliser avec XGBoost.
2. Entraînez un modèle simple dans XGBoost.
3. Enregistrez le modèle dans un fichier pouvant être importé sur AI Platform Prediction.

Si vous disposez déjà d'un modèle entraîné à transférer, découvrez comment exporter le modèle.

Charger et transformer des données

Au cours de cette étape, vous chargez les ensembles de données d'entraînement et de test dans une structure de données Pandas, et transformez les données catégoriques en caractéristiques numériques pour les préparer à l'utilisation avec votre modèle.

import json
import numpy as np
import os
import pandas as pd
import pickle
import xgboost as xgb
from sklearn.preprocessing import LabelEncoder

# these are the column labels from the census data files
COLUMNS = (
    'age',
    'workclass',
    'fnlwgt',
    'education',
    'education-num',
    'marital-status',
    'occupation',
    'relationship',
    'race',
    'sex',
    'capital-gain',
    'capital-loss',
    'hours-per-week',
    'native-country',
    'income-level'
)

# categorical columns contain data that need to be turned into numerical
# values before being used by XGBoost
CATEGORICAL_COLUMNS = (
    'workclass',
    'education',
    'marital-status',
    'occupation',
    'relationship',
    'race',
    'sex',
    'native-country'
)

# load training set
with open('./census_data/adult.data', 'r') as train_data:
    raw_training_data = pd.read_csv(train_data, header=None, names=COLUMNS)
# remove column we are trying to predict ('income-level') from features list
train_features = raw_training_data.drop('income-level', axis=1)
# create training labels list
train_labels = (raw_training_data['income-level'] == ' >50K')


# load test set
with open('./census_data/adult.test', 'r') as test_data:
    raw_testing_data = pd.read_csv(test_data, names=COLUMNS, skiprows=1)
# remove column we are trying to predict ('income-level') from features list
test_features = raw_testing_data.drop('income-level', axis=1)
# create training labels list
test_labels = (raw_testing_data['income-level'] == ' >50K.')

# convert data in categorical columns to numerical values
encoders = {col:LabelEncoder() for col in CATEGORICAL_COLUMNS}
for col in CATEGORICAL_COLUMNS:
    train_features[col] = encoders[col].fit_transform(train_features[col])
for col in CATEGORICAL_COLUMNS:
    test_features[col] = encoders[col].fit_transform(test_features[col])

Entraîner et exporter le modèle

Pour exporter votre modèle, vous pouvez utiliser la méthode save_model de l'objet Booster ou la bibliothèque pickle de Python.

# load data into DMatrix object
dtrain = xgb.DMatrix(train_features, train_labels)
dtest = xgb.DMatrix(test_features)

# train XGBoost model
bst = xgb.train({}, dtrain, 20)
bst.save_model('./model.bst')

Règles de dénomination des fichiers de modèle

Le fichier de modèle enregistré que vous importez dans Cloud Storage doit être nommé model.pkl, model.joblib ou model.bst, selon la bibliothèque utilisée. Cette restriction garantit que, lors de l'importation, AI Platform Prediction reconstruit le modèle à l'aide du même schéma que celui utilisé lors de l'exportation.

Pour les futures itérations de votre modèle, organisez votre bucket Cloud Storage de sorte que chaque nouveau modèle dispose d'un répertoire dédié.

Stocker le modèle dans Cloud Storage

Dans le cadre de ce tutoriel, la procédure la plus simple consiste à utiliser un bucket Cloud Storage dédié dans le même projet que pour AI Platform Prediction.

Si vous utilisez un bucket dans un autre projet, vous devez vous assurer que votre compte de service AI Platform Prediction peut accéder à votre modèle dans Cloud Storage. Sans les autorisations appropriées, votre requête de création d'une version de modèle AI Platform Prediction ne peut pas aboutir. En savoir plus sur l'octroi d'autorisations relatives au stockage.

Configurer un bucket Cloud Storage

Vous trouverez dans cette section la procédure à suivre pour créer un bucket. Vous pouvez utiliser un bucket existant, mais il doit se trouver dans la même région que celle où vous prévoyez d'exécuter des tâches AI Platform. En outre, s'il ne fait pas partie du projet que vous utilisez pour exécuter AI Platform Prediction, vous devez accorder l'accès aux comptes de service AI Platform Prediction.

1. Indiquez un nom pour votre nouveau bucket. Ce nom doit être unique par rapport à tous les buckets dans Cloud Storage.

   BUCKET_NAME="YOUR_BUCKET_NAME"

   Par exemple, vous pouvez utiliser le nom de votre projet en ajoutant -aiplatform :

   PROJECT_ID=$(gcloud config list project --format "value(core.project)")
   BUCKET_NAME=${PROJECT_ID}-aiplatform

2. Vérifiez le nom du bucket que vous avez créé.

   echo $BUCKET_NAME

3. Sélectionnez une région pour votre bucket, puis définissez une variable d'environnement REGION.

   Utilisez la même région que celle où vous prévoyez d'exécuter des tâches AI Platform Prediction. Consultez la liste des régions disponibles pour les services AI Platform Prediction.

   Par exemple, le code suivant crée la variable REGION et la définit sur us-central1 :

   REGION=us-central1

4. Créez le bucket :

   gcloud storage buckets create gs://$BUCKET_NAME --location=$REGION

Importer le fichier de modèle exporté dans Cloud Storage

Exécutez la commande suivante pour transférer le modèle que vous avez exporté précédemment dans ce tutoriel vers votre bucket dans Cloud Storage :

gcloud storage cp ./model.bst gs://$BUCKET_NAME/model.bst

Vous pouvez utiliser le même bucket Cloud Storage pour plusieurs fichiers de modèle. Chaque fichier de modèle doit se trouver dans son propre répertoire à l'intérieur du bucket.

Mettre en forme les données pour la prédiction

Avant d'envoyer une requête de prédiction en ligne, vous devez mettre en forme les données de test pour que le service de prédiction d'AI Platform Prediction puisse les utiliser. Assurez-vous que le format des instances d'entrée correspond au format attendu par le modèle.

    [25, "Private", 226802, "11th", 7, "Never-married", "Machine-op-inspct", "Own-child", "Black", "Male", 0, 0, 40, "United-States"]
    [38, "Private", 89814, "HS-grad", 9, "Married-civ-spouse", "Farming-fishing", "Husband", "White", "Male", 0, 0, 50, "United-States"]
    [28, "Local-gov", 336951, "Assoc-acdm", 12, "Married-civ-spouse", "Protective-serv", "Husband", "White", "Male", 0, 0, 40, "United-States"]
    [44, "Private", 160323, "Some-college", 10, "Married-civ-spouse", "Machine-op-inspct", "Husband", "Black", "Male", 7688, 0, 40, "United-States"]
    [18, "?", 103497, "Some-college", 10, "Never-married", "?", "Own-child", "White", "Female", 0, 0, 30, "United-States"]
    [34, "Private", 198693, "10th", 6, "Never-married", "Other-service", "Not-in-family", "White", "Male", 0, 0, 30, "United-States"]
    [29, "?", 227026, "HS-grad", 9, "Never-married", "?", "Unmarried", "Black", "Male", 0, 0, 40, "United-States"]
    [63, "Self-emp-not-inc", 104626, "Prof-school", 15, "Married-civ-spouse", "Prof-specialty", "Husband", "White", "Male", 3103, 0, 32, "United-States"]
    [24, "Private", 369667, "Some-college", 10, "Never-married", "Other-service", "Unmarried", "White", "Female", 0, 0, 40, "United-States"]
    [55, "Private", 104996, "7th-8th", 4, "Married-civ-spouse", "Craft-repair", "Husband", "White", "Male", 0, 0, 10, "United-States"]

{
  "instances": [

    [25, "Private", 226802, "11th", 7, "Never-married", "Machine-op-inspct", "Own-child", "Black", "Male", 0, 0, 40, "United-States"],
    [38, "Private", 89814, "HS-grad", 9, "Married-civ-spouse", "Farming-fishing", "Husband", "White", "Male", 0, 0, 50, "United-States"],
    [28, "Local-gov", 336951, "Assoc-acdm", 12, "Married-civ-spouse", "Protective-serv", "Husband", "White", "Male", 0, 0, 40, "United-States"],
    [44, "Private", 160323, "Some-college", 10, "Married-civ-spouse", "Machine-op-inspct", "Husband", "Black", "Male", 7688, 0, 40, "United-States"],
    [18, "?", 103497, "Some-college", 10, "Never-married", "?", "Own-child", "White", "Female", 0, 0, 30, "United-States"],
    [34, "Private", 198693, "10th", 6, "Never-married", "Other-service", "Not-in-family", "White", "Male", 0, 0, 30, "United-States"],
    [29, "?", 227026, "HS-grad", 9, "Never-married", "?", "Unmarried", "Black", "Male", 0, 0, 40, "United-States"],
    [63, "Self-emp-not-inc", 104626, "Prof-school", 15, "Married-civ-spouse", "Prof-specialty", "Husband", "White", "Male", 3103, 0, 32, "United-States"],
    [24, "Private", 369667, "Some-college", 10, "Never-married", "Other-service", "Unmarried", "White", "Female", 0, 0, 40, "United-States"],
    [55, "Private", 104996, "7th-8th", 4, "Married-civ-spouse", "Craft-repair", "Husband", "White", "Male", 0, 0, 10, "United-States"]
  ]
}

Tester le modèle avec des prédictions locales

Vous pouvez utiliser la commande gcloud ai-platform local predict pour tester la façon dont votre modèle diffuse des prédictions avant de le déployer dans AI Platform Prediction. La commande effectue des prédictions à l'aide des dépendances de votre environnement local et renvoie les résultats au même format que la commande gcloud ai-platform predict lorsqu'elle effectue des prédictions en ligne. Les tests de prédictions en local peuvent vous permettre de détecter les erreurs avant d'engager des coûts pour les requêtes de prédiction en ligne.

Pour l'argument --model-dir, spécifiez un répertoire contenant votre modèle de machine learning exporté sur votre ordinateur local ou dans Cloud Storage. Pour l'argument --framework, spécifiez tensorflow, scikit-learn ou xgboost. Vous ne pouvez pas exécuter la commande gcloud ai-platform local predict avec une routine de prédiction personnalisée.

L'exemple suivant montre comment effectuer une prédiction locale :

gcloud ai-platform local predict --model-dir LOCAL_OR_CLOUD_STORAGE_PATH_TO_MODEL_DIRECTORY/ \
  --json-instances LOCAL_PATH_TO_PREDICTION_INPUT.JSON \
  --framework NAME_OF_FRAMEWORK

Déployer des modèles et des versions

AI Platform Prediction organise vos modèles entraînés à l'aide de ressources de modèle et de version. Un modèle AI Platform Prediction est un conteneur pour les versions de votre modèle de machine learning.

Pour déployer un modèle, vous créez une ressource de modèle dans AI Platform Prediction, vous créez ensuite une version de ce modèle, puis vous associez la version du modèle au fichier de modèle stocké dans Cloud Storage.

Créer une ressource de modèle

AI Platform Prediction organise les différentes versions de votre modèle à l'aide de ressources de modèle.

À ce stade, vous devez décider si vous souhaitez que les versions de modèle appartenant à ce modèle utilisent un point de terminaison régional ou le point de terminaison global. Dans la plupart des cas, choisissez un point de terminaison régional. Si vous avez besoin d'une fonctionnalité disponible seulement sur les anciens types de machines (MLS1), utilisez le point de terminaison global.

Vous devez également décider à ce stade si vous souhaitez que les versions de modèle appartenant à ce modèle exportent les journaux lorsqu'ils diffusent des prédictions. Les exemples suivants n'activent pas la journalisation. Découvrez comment activer la journalisation.

gcloud ai-platform models create MODEL_NAME \
  --region=REGION

gcloud ai-platform models create MODEL_NAME \
  --regions=REGION

Reportez-vous à la page API du modèle AI Platform Prediction pour plus d'informations.

Créer une version de modèle

Vous êtes prêt à créer une version de modèle avec le modèle entraîné que vous avez importé tout à l'heure dans Cloud Storage. Lorsque vous créez une version, vous pouvez spécifier un certain nombre de paramètres. La liste suivante décrit les paramètres courants, dont certains sont obligatoires :

• name : doit être unique dans le modèle AI Platform Prediction.

• deploymentUri : chemin d'accès au répertoire de modèle dans Cloud Storage.

  • Si vous déployez un modèle TensorFlow, il s'agit d'un répertoire SavedModel.
  • Si vous déployez un modèle scikit-learn ou XGBoost, il s'agit du répertoire contenant votre fichier model.joblib, model.pkl ou model.bst.
  • Si vous déployez une routine de prédiction personnalisée, il s'agit du répertoire contenant tous vos artefacts de modèle. La taille totale de ce répertoire doit être inférieure ou égale à 500 Mo.

• framework : TENSORFLOW, SCIKIT_LEARN ou XGBOOST.

• runtimeVersion : version d'exécution basée sur les dépendances dont votre modèle a besoin. Si vous déployez un modèle scikit-learn ou XGBoost, celle-ci doit au moins correspondre à la version 1.4. Si vous prévoyez d'utiliser la version de modèle pour la prédiction par lot, vous devez utiliser la version d'exécution 2.1 ou une version antérieure.

• pythonVersion : la version de Python doit être définie à la valeur 3.5 (pour les versions d'exécution 1.4 à 1.14) ou 3.7 (pour les versions d'exécution 1.15 et ultérieures) afin d'être compatible avec les fichiers de modèle exportés avec Python 3. Ce paramètre peut également être défini sur 2.7 pour les versions d'exécution 1.15 et antérieures.

• machineType (facultatif) : type de machine virtuelle utilisé par AI Platform Prediction pour les nœuds qui diffusent des prédictions. Apprenez-en plus sur les types de machines. Si ce paramètre n'est pas défini, sa valeur par défaut est n1-standard-2 sur les points de terminaison régionaux, et mls1-c1-m2 sur le point de terminaison global.

Pour en savoir plus sur chacun de ces paramètres, ainsi que sur d'autres paramètres moins courants, consultez la documentation de référence de l'API pour la ressource de version.

En outre, si vous avez créé votre modèle sur un point de terminaison régional, assurez-vous également de créer la version sur le même point de terminaison régional.

Envoyer une requête de prédiction en ligne

Une fois que vous avez créé une version de modèle, AI Platform Prediction démarre un nouveau serveur prêt à diffuser les requêtes de prédiction.

import googleapiclient.discovery

# Fill in your PROJECT_ID, VERSION_NAME and MODEL_NAME before running
# this code.

PROJECT_ID = [YOUR PROJECT_ID HERE]
VERSION_NAME = [YOUR VERSION_NAME HERE]
MODEL_NAME = [YOUR MODEL_NAME HERE]

service = googleapiclient.discovery.build('ml', 'v1')
name = 'projects/{}/models/{}'.format(PROJECT_ID, MODEL_NAME)
name += '/versions/{}'.format(VERSION_NAME)

response = service.projects().predict(
    name=name,
    body={'instances': data}
).execute()

if 'error' in response:
  print (response['error'])
else:
  online_results = response['predictions']

Pour XGBoost, les résultats sont des nombres à virgule flottante et doivent être convertis en valeurs booléennes, au seuil approprié pour le modèle. Exemple :

# convert floats to booleans
converted_responses = [x > 0.5 for x in online_results]

Consultez plus d'informations sur les paramètres d'entrée de prédiction dans les détails sur les requêtes de prédiction de l'API AI Platform Prediction.

À propos des données

L'ensemble de données sur le revenu collectées par recensement que cet exemple utilise pour l'entraînement est hébergé par l'UCI Machine Learning Repository (dépôt de machine learning de l'Université de Californie à Irvine).

Données de recensement fournies par : Lichman, M. (2013). UCI Machine Learning Repository : http://archive.ics.uci.edu/ml. Irvine, Californie : Université de Californie, School of Information and Computer Science. Cet ensemble de données est accessible au public et peut être utilisé selon les conditions définies par sa source (http://archive.ics.uci.edu/ml). Il est fourni "EN L'ÉTAT", sans aucune garantie expresse ou implicite de la part de Google. Google décline toute responsabilité pour tout dommage direct ou indirect résultant de l'utilisation de cet ensemble de données.

Étapes suivantes

• Essayez ce tutoriel sous forme de notebook Jupyter sur GitHub.
• Découvrez comment effectuer un prétraitement avec des pipelines scikit-learn dans le notebook scikit-learn disponible sur GitHub.