Premiers pas avec l'algorithme intégré de classification d'images

Grâce aux algorithmes AI Platform Training intégrés, vous pouvez envoyer vos données d'entraînement, sélectionner un algorithme, puis laisser AI Platform Training effectuer les tâches de prétraitement et d'entraînement, sans avoir à écrire le code d'une application d'entraînement. Les algorithmes d'images intégrés vous permettent d'effectuer l'entraînement sur des TPU avec une configuration minimale. Le modèle SavedModel de TensorFlow obtenu est compatible avec les processeurs et les GPU.

Présentation

Dans ce tutoriel, vous allez entraîner un modèle de classification d'images sans écrire de code. Vous soumettez l'ensemble de données Flowers à AI Platform Training pour l'entraînement, puis vous déployez le modèle sur AI Platform Prediction pour obtenir des prédictions. Le modèle obtenu classe les images de fleurs en fonction des espèces (marguerite, tulipe, rose, tournesol ou pissenlit).

Avant de commencer

Pour suivre ce tutoriel sur la ligne de commande, utilisez Cloud Shell ou tout autre environnement dans lequel Google Cloud CLI est installé.

Pour configurer un compte GCP, activer les API requises, puis installer et activer Google Cloud CLI, procédez comme suit :

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Autoriser Cloud TPU à accéder à votre projet

Pour autoriser le nom de compte de service Cloud TPU associé à votre projet Google Cloud, procédez comme suit :

1. Obtenez le nom de votre compte de service Cloud TPU en appelant projects.getConfig. Exemple :

   PROJECT_ID=PROJECT_ID
   
   curl -H "Authorization: Bearer $(gcloud auth print-access-token)"  \
       https://ml.googleapis.com/v1/projects/$PROJECT_ID:getConfig
   

2. Enregistrez les valeurs des champs serviceAccountProject et tpuServiceAccount renvoyées par l'API.

3. Initialisez le compte de service Cloud TPU :

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)"  \
     -H "Content-Type: application/json" -d '{}'  \
     https://serviceusage.googleapis.com/v1beta1/projects/<serviceAccountProject>/services/tpu.googleapis.com:generateServiceIdentity
   

Ajoutez ensuite le compte de service Cloud TPU en tant que membre de votre projet, avec le rôle Agent de service Cloud ML. Effectuez les étapes suivantes dans Google Cloud Console ou à l'aide de l'outil de ligne de commande gcloud :

Pour en savoir plus sur l'attribution de rôles aux comptes de service, consultez la documentation IAM.

Prérequis

Nous avons modifié l'ensemble de données TensorFlow "Flowers" pour l'utiliser dans le cadre de ce tutoriel et l'avons hébergé dans un bucket public de Cloud Storage : gs://cloud-samples-data/ai-platform/built-in/image/flowers/.

PROJECT_ID="YOUR_PROJECT_ID"
BUCKET_NAME="YOUR_BUCKET_NAME"
REGION="us-central1"

gcloud config set project $PROJECT_ID
gcloud config set compute/region $REGION

# Set paths to the training and validation data.
TRAINING_DATA_PATH="gs://cloud-samples-data/ai-platform/built-in/image/flowers/flowers_train*"
VALIDATION_DATA_PATH="gs://cloud-samples-data/ai-platform/built-in/image/flowers/flowers_validation*"

# Specify the Docker container for your built-in algorithm selection.
IMAGE_URI="gcr.io/cloud-ml-algos/image_classification:latest"

Envoyer une tâche d'entraînement

Pour envoyer une tâche, vous devez spécifier certains arguments de base associés à l'entraînement, ainsi qu'à l'algorithme de classification d'images.

Arguments généraux liés à la tâche d'entraînement :

Arguments spécifiques à l'algorithme intégré de classification d'images :

Pour obtenir une liste détaillée de toutes les autres options de l'algorithme de classification d'images, consultez la documentation de référence sur l'algorithme intégré de classification d'images.

Comprendre votre répertoire de tâche

Après avoir terminé une tâche d'entraînement, AI Platform Training crée un modèle entraîné dans votre bucket Cloud Storage, accompagné d'autres artefacts. La structure de répertoire suivante apparaît dans votre répertoire JOB_DIR :

• model/ (un répertoire TensorFlow SavedModel qui contient également un fichier deployment_config.yaml)
  • saved_model.pb.
  • deployment_config.yaml
• eval/
  • events.out.tfevents.[timestamp].cmle-training-[timestamp]
  • events.out.tfevents...
  • …
• variables/
  • variables.data-00000-of-00001
  • variables.index

Le répertoire de tâche contient également divers fichiers de points de contrôle du modèle.

Vérifiez que la structure de répertoire de JOB_DIR correspond à :

gcloud storage ls $JOB_DIR/* --all-versions

Déployer le modèle entraîné

AI Platform Training organise vos modèles entraînés à l'aide de ressources de modèle et de version. Un modèle AI Platform Training est un conteneur qui stocke les versions de votre modèle de machine learning.

Pour déployer un modèle, créez une ressource de modèle dans AI Platform Training, ainsi qu'une version de ce modèle, puis utilisez le modèle et la version pour demander des prédictions en ligne.

Pour savoir comment déployer des modèles dans AI Platform Training, consultez la page expliquant comment déployer un modèle TensorFlow.

Obtenir des prédictions en ligne

Lorsque vous demandez des prédictions, vous devez vous assurer que vos données d'entrée sont au format JSON.

1. Téléchargez les fichiers d'artefact d'entraînement :

   gcloud storage cp $JOB_DIR/artifacts/* .
   

2. Préparez l'entrée de prédiction pour une image.

   Pour envoyer une requête de prédiction en ligne à l'aide de Google Cloud CLI, comme dans cet exemple, écrivez chaque instance sur une ligne dans un fichier JSON délimité par un retour à la ligne.

   Exécutez les commandes suivantes dans votre terminal pour créer une entrée pour une instance unique que vous pouvez envoyer à AI Platform Prediction :

   Le script Python suivant encode une image unique en base64, la met en forme pour la prédiction, ajoute une clé d'instance et écrit le résultat dans un fichier nommé prediction_instances.json :

   import json
   import base64
   import tensorflow as tf
   
   IMAGE_URI='gs://cloud-samples-data/ai-platform/built-in/image/tutorial_examples/daisy.jpg'
   
   with tf.gfile.Open(IMAGE_URI, 'rb') as image_file:
     encoded_string = base64.b64encode(image_file.read()).decode('utf-8')
   
   image_bytes = {'b64': str(encoded_string)}
   instances = {'image_bytes': image_bytes, 'key': '1'}
   with open("prediction_instances.json","w") as f:
     f.write(json.dumps(instances))
   

3. Envoyez la requête de prédiction :

   gcloud ai-platform predict --model $MODEL_NAME \
    --version $VERSION_NAME \
    --json-instances prediction_instances.json
   

Le résultat de la prédiction inclut très probablement la classe daisy. Cela signifie que le modèle déployé a classé l'image d'entrée comme étant une marguerite. (Comme l'entraînement n'est pas déterministe, votre modèle peut être différent.)

À propos des données

L'ensemble de données "Flowers" que cet exemple utilise pour l'entraînement est fourni par l'équipe TensorFlow.

Étape suivante

• Obtenez davantage d'informations sur l'utilisation de l'algorithme intégré de classification d'images.