Realizar entrenamiento con el algoritmo distribuido XGBoost integrado

El entrenamiento mediante algoritmos integrados en AI Platform Training te permite enviar el conjunto de datos y entrenar un modelo sin escribir ningún código de entrenamiento. En esta página, se explica cómo funciona el algoritmo integrado y distribuido XGBoost y cómo usarlo.

Descripción general

El algoritmo integrado y distribuido XGBoost es un wrapper para el algoritmo XGBoost que se puede ejecutar en AI Platform Training.

A diferencia del algoritmo integrado XGBoost de réplica única, este algoritmo te permite usar varias máquinas virtuales en paralelo para realizar entrenamientos en conjuntos de datos grandes. Este algoritmo también te permite usar GPU para el entrenamiento, lo que puede acelerar dicho proceso.

AI Platform Training ejecuta el entrenamiento mediante el algoritmo distribuido XGBoost en función de tu conjunto de datos y los parámetros del modelo que proporcionaste. La implementación actual se basa en la versión 0.81 de XGBoost.

Limitaciones

Las siguientes características no son compatibles para el entrenamiento con el algoritmo integrado y distribuido XGBoost:

• Procesamiento previo: Este algoritmo no es compatible con el procesamiento previo automático. Los datos de entrenamiento y validación se deben preparar de forma manual en grupos separados de archivos que cumplan con los requisitos descritos en la siguiente sección sobre cómo darle formato a los datos de entrada.
• Entrenamiento de una sola réplica: Este algoritmo se diseñó para usar varias máquinas virtuales en el entrenamiento. Si quieres realizar el entrenamiento con una sola máquina virtual, usa el algoritmo integrado XGBoost de una sola réplica.

Tipos de máquina admitidos

Con este algoritmo, puedes usar cualquier combinación válida de tipos de máquinas o nivel de escala de AI Platform Training, siempre y cuando la configuración cumpla con los siguientes requisitos:

• Especifica un trabajador principal y, al menos, un trabajador.
• Si deseas obtener el mejor rendimiento, especifica el mismo tipo de máquina para el trabajador principal y los trabajadores.
• No especifiques ningún servidor de parámetros.
• Asegúrate de que la memoria total de las máquinas virtuales que especificas sea, por lo menos, un 20% mayor que el tamaño total del archivo de los datos de entrenamiento. Esto permite que las máquinas virtuales carguen todos los datos de entrenamiento en la memoria y, además, que usen una memoria adicional para el entrenamiento.
• Si usas GPU, asegúrate de que cada máquina virtual use solo una GPU y de usar el mismo tipo de GPU para el trabajador principal y los trabajadores. Asegúrate de que el tipo de máquina que especificaste sea compatible con la configuración de la GPU.
• No uses ninguna TPU.

Establece el formato de los datos de entrada

El algoritmo integrado y distribuido XGBoost funciona con datos tabulares numéricos. Cada fila de un conjunto de datos representa una instancia, y cada columna de un conjunto de datos representa un valor de atributo. La columna de destino representa el valor que deseas predecir.

Prepara archivos CSV

Los datos de entrada deben ser uno o más archivos CSV con codificación UTF-8. Cada archivo debe cumplir con los siguientes requisitos:

• Los archivos CSV no deben tener ninguna fila de encabezado. Si los archivos CSV tienen filas de encabezado que etiquetan cada columna, quita esta primera fila de cada archivo.
• La columna de destino debe ser la primera columna.
• En los trabajos de entrenamiento de clasificación, la columna de destino puede contener valores no numéricos. Todas las demás columnas deben contener solo datos numéricos.
• En los trabajos de entrenamiento de regresión, normaliza tus valores objetivo, de manera que cada valor esté entre 0 y 1. Todas las demás columnas deben contener solo datos numéricos.

Divide los datos para el entrenamiento distribuido

Si quieres proporcionar datos de varios archivos CSV cuando envías un trabajo de entrenamiento, usa comodines en las rutas de acceso de Cloud Storage que especificas para los argumentos training_data_path y validation_data_path. Todos los archivos CSV deben usar el mismo esquema de columnas y deben cumplir con los requisitos descritos en la sección anterior.

El algoritmo integrado y distribuido XGBoost distribuye los datos de entrenamiento en las máquinas virtuales mediante uno de los siguientes métodos:

• Si la cantidad de archivos CSV es mayor o igual que la cantidad de máquinas virtuales, el algoritmo distribuye los datos por archivo en orden rotativo. En otras palabras, el trabajador principal carga el primer archivo CSV, el primer trabajador carga el segundo archivo CSV y, así, de forma sucesiva. Este método de asignación de archivos se repite de manera indefinida a fin de que cada máquina virtual cargue más o menos la misma cantidad de archivos.

• Si la cantidad de archivos CSV es inferior a la cantidad de máquinas virtuales, el algoritmo distribuye los datos por instancia en orden rotativo. En otras palabras, el trabajador principal carga la primera fila de cada archivo CSV, el primer trabajador carga la segunda fila de cada archivo CSV y, así, de forma sucesiva. Este método de asignación de instancias se repite de manera indefinida a fin de que cada máquina virtual cargue más o menos la misma cantidad de instancias.

Si especificas el argumento validation_data_path, el algoritmo también cargará los datos de validación mediante uno de estos métodos. Sin embargo, ten en cuenta que el algoritmo carga los datos de entrenamiento y los de validación por separado. Por ejemplo, si proporcionas muchos archivos de datos de entrenamiento, pero solo un archivo de datos de validación, puede que el algoritmo cargue los datos de entrenamiento por archivo y los de validación por instancia.

Para obtener el mejor rendimiento, divide los datos de entrenamiento en varios archivos CSV que cumplan con los siguientes lineamientos:

• Cada archivo debe tener menos de 1 GB de tamaño.
• Cada archivo debe contener más o menos la misma cantidad de instancias.
• La cantidad de archivos debe ser divisible por la cantidad total de máquinas virtuales. Por ejemplo, si entrenas con un trabajador principal y dos trabajadores, la cantidad de archivos debe ser un múltiplo de 3.

Verifica los permisos del bucket de Cloud Storage

A fin de almacenar tus datos, usa un bucket de Cloud Storage en el mismo proyecto de Google Cloud que usas para ejecutar trabajos de AI Platform Training. De lo contrario, otorga acceso a AI Platform Training al depósito de Cloud Storage en el que se almacenan tus datos.

Uso de GPU

Como se describe en la sección anterior sobre los tipos de máquinas, el algoritmo integrado y distribuido XGBoost admite el uso de una sola GPU por máquina virtual para el entrenamiento.

Para aprovechar las GPU, establece el hiperparámetro tree_method en gpu_exact o gpu_hist cuando envíes el trabajo de entrenamiento.

Obtén más información sobre la asistencia de XGBoost para las GPU.

Envía un trabajo de entrenamiento distribuido de XGBoost

En esta sección, se explica cómo enviar un trabajo de entrenamiento integrado y distribuido de XGBoost. Usa la consola de Google Cloud o Google Cloud CLI para enviar tu trabajo.

En la referencia del algoritmo integrado y distribuido XGBoost, puedes encontrar descripciones completas de los hiperparámetros y de otros argumentos que se pueden ajustar a este algoritmo.

En el siguiente ejemplo, se da por sentado que entrenas un clasificador en los datos del censo que dividiste en tres archivos de datos de entrenamiento y tres archivos de datos de validación:

• train-0.csv
• train-1.csv
• train-2.csv
• eval-0.csv
• eval-1.csv
• eval-2.csv

Supongamos que ninguno de estos archivos tiene filas de encabezado y que los subiste a Cloud Storage. En el ejemplo, se crea un trabajo de entrenamiento que usa tres máquinas virtuales, de las cuales cada una usa una GPU NVIDIA Tesla P100. El trabajo se ejecuta en la región us-central1.

¿Qué sigue?

• Obtén más información sobre XGBoost.
• Consulta la referencia de XGBoost integrado y distribuido para obtener información sobre todos los distintos parámetros.