Comienza a usar el algoritmo integrado de clasificación de imágenes

Con los algoritmos integrados en AI Platform Training, puedes enviar los datos de entrenamiento, seleccionar un algoritmo y permitir que AI Platform Training se encargue del procesamiento previo y el entrenamiento, sin tener que escribir ningún código para una aplicación de entrenamiento. Los algoritmos de imagen integrados te permiten entrenar en TPU con una configuración mínima. El modelo guardado de TensorFlow resultante es compatible con la deriva en CPU y GPU.

Descripción general

En este instructivo, entrenarás un modelo de clasificación de imágenes sin escribir ningún código. Envía el conjunto de datos de flores a AI Platform Training para el entrenamiento e implementa el modelo en AI Platform Prediction para obtener las predicciones. El modelo resultante clasifica las imágenes de flores según las especies (margarita, tulipán, rosa, girasol o diente de león).

Antes de comenzar

Para completar este instructivo en la línea de comandos, usa Cloud Shell o cualquier entorno en el que esté instalado Google Cloud CLI.

Completa los siguientes pasos para configurar una cuenta de GCP, habilitar las API necesarias y, también, instalar y activar Google Cloud CLI.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Autoriza a Cloud TPU para que tenga acceso al proyecto

Sigue estos pasos para autorizar el nombre de la cuenta de servicio de Cloud TPU asociada con tu proyecto de Google Cloud:

1. Llama a projects.getConfig para obtener el nombre de la cuenta de servicio de Cloud TPU. Ejemplo:

   PROJECT_ID=PROJECT_ID
   
   curl -H "Authorization: Bearer $(gcloud auth print-access-token)"  \
       https://ml.googleapis.com/v1/projects/$PROJECT_ID:getConfig
   

2. Guarda el valor de los campos serviceAccountProject y tpuServiceAccount que muestra la API.

3. Inicializa la cuenta de servicio de Cloud TPU:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)"  \
     -H "Content-Type: application/json" -d '{}'  \
     https://serviceusage.googleapis.com/v1beta1/projects/<serviceAccountProject>/services/tpu.googleapis.com:generateServiceIdentity
   

A continuación, agrega la cuenta de servicio de Cloud TPU como miembro del proyecto con la función de agente de servicios de Cloud ML. Completa los siguientes pasos en la consola de Google Cloud o usa el comando gcloud:

Si quieres obtener más detalles para otorgar funciones a las cuentas de servicio, consulta la documentación de IAM.

Configuración

Modificamos el conjunto de datos de flores de TensorFlow para usarlo en este instructivo y lo alojamos en un depósito público de Cloud Storage, gs://cloud-samples-data/ai-platform/built-in/image/flowers/.

PROJECT_ID="YOUR_PROJECT_ID"
BUCKET_NAME="YOUR_BUCKET_NAME"
REGION="us-central1"

gcloud config set project $PROJECT_ID
gcloud config set compute/region $REGION

# Set paths to the training and validation data.
TRAINING_DATA_PATH="gs://cloud-samples-data/ai-platform/built-in/image/flowers/flowers_train*"
VALIDATION_DATA_PATH="gs://cloud-samples-data/ai-platform/built-in/image/flowers/flowers_validation*"

# Specify the Docker container for your built-in algorithm selection.
IMAGE_URI="gcr.io/cloud-ml-algos/image_classification:latest"

Envía un trabajo de entrenamiento

Para enviar un trabajo, debes especificar algunos argumentos básicos de entrenamiento y algunos argumentos básicos relacionados con el algoritmo de clasificación de imágenes.

Argumentos generales para el trabajo de entrenamiento:

Argumentos específicos del algoritmo integrado de clasificación de imágenes:

Para obtener una lista detallada de todas las demás marcas del algoritmo de clasificación de imágenes, consulta la referencia del algoritmo integrado de clasificación de imágenes.

Conoce tu directorio de trabajos

Después de completar con éxito un trabajo de entrenamiento, AI Platform Training crea un modelo entrenado en el bucket de Cloud Storage, junto con otros artefactos. Encontrarás la siguiente estructura de directorio dentro de tu JOB_DIR:

• model/ (un directorio de modelo guardado de TensorFlow que también contiene un archivo deployment_config.yaml)
  • saved_model.pb
  • deployment_config.yaml
• eval/
  • events.out.tfevents.[timestamp].cmle-training-[timestamp]
  • events.out.tfevents...
  • …
• variables/
  • variables.data-00000-of-00001
  • variables.index

El directorio de trabajos también contiene varios archivos de puntos de control del modelo.

Confirma que la estructura de tu directorio en JOB_DIR coincida con la siguiente:

gcloud storage ls $JOB_DIR/* --all-versions

Implementa el modelo entrenado

AI Platform Training organiza los modelos entrenados mediante recursos de modelo y de versión. Un modelo AI Platform Training es un contenedor para las versiones del modelo de aprendizaje automático.

Para implementar un modelo, debes crear un recurso de modelo en AI Platform Training, crear una versión de ese modelo y, luego, usar el modelo y la versión para solicitar predicciones en línea.

Para obtener más información sobre cómo implementar modelos en AI Platform Training, consulta Cómo implementar un modelo de TensorFlow.

Obtén predicciones en línea

Cuando solicitas predicciones, debes asegurarte de que tus datos de entrada tengan el formato JSON.

1. Descarga los archivos de artefactos de entrenamiento:

   gcloud storage cp $JOB_DIR/artifacts/* .
   

2. Prepara la entrada de predicción para una imagen.

   Para enviar una solicitud de predicción en línea mediante la CLI de Google Cloud, como en este ejemplo, escribe cada instancia en una fila del archivo JSON delimitado por saltos de línea.

   Ejecuta los siguientes comandos en tu terminal a fin de crear entradas para una sola instancia que puedas enviar a AI Platform Prediction:

   Con la siguiente secuencia de comandos de Python, se codifica una sola imagen con base64, se le da el formato adecuado para la predicción, se agrega una clave de instancia y se escribe el resultado en un archivo llamado prediction_instances.json:

   import json
   import base64
   import tensorflow as tf
   
   IMAGE_URI='gs://cloud-samples-data/ai-platform/built-in/image/tutorial_examples/daisy.jpg'
   
   with tf.gfile.Open(IMAGE_URI, 'rb') as image_file:
     encoded_string = base64.b64encode(image_file.read()).decode('utf-8')
   
   image_bytes = {'b64': str(encoded_string)}
   instances = {'image_bytes': image_bytes, 'key': '1'}
   with open("prediction_instances.json","w") as f:
     f.write(json.dumps(instances))
   

3. Envía la solicitud de predicción:

   gcloud ai-platform predict --model $MODEL_NAME \
    --version $VERSION_NAME \
    --json-instances prediction_instances.json
   

Lo más probable es que el resultado de la predicción incluya la clase daisy, lo que indica que el modelo implementado clasificó la imagen de entrada como una margarita. (Debido a que el entrenamiento no es determinista, el modelo puede variar).

Acerca de los datos

El equipo de TensorFlow proporciona el conjunto de datos de flores que se usa en este ejemplo para el entrenamiento.

¿Qué sigue?

• Obtén más información sobre cómo usar el algoritmo integrado de clasificación de imágenes.