Vertex AI Experiments es una herramienta que te ayuda a monitorizar y analizar diferentes arquitecturas de modelos, hiperparámetros y entornos de entrenamiento, lo que te permite hacer un seguimiento de los pasos, las entradas y las salidas de una ejecución de un experimento. Vertex AI Experiments también puede evaluar el rendimiento agregado de tu modelo, así como su rendimiento en conjuntos de datos de prueba y durante la ejecución del entrenamiento. Después, puede usar esta información para seleccionar el mejor modelo para su caso práctico concreto.
Los experimentos no conllevan cargos adicionales. Solo se te cobrarán los recursos que utilices durante el experimento, tal como se describe en la página de precios de Vertex AI.
| ¿Qué quieres hacer? | Consultar el cuaderno de ejemplo |
|---|---|
| Métricas y parámetros de seguimiento | Comparar modelos |
| hacer un seguimiento del linaje de experimentos | Entrenamiento de modelos |
| hacer un seguimiento de las ejecuciones de flujos de procesamiento | Comparar ejecuciones de la canalización |
Monitorizar pasos, entradas y salidas
Vertex AI Experiments te permite hacer un seguimiento de lo siguiente:
- Pasos de una ejecución de experimento, como el preprocesamiento, el entrenamiento,
- entradas, como algoritmos, parámetros o conjuntos de datos,
- Resultados de esos pasos, como modelos, puntos de control y métricas.
De esta forma, podrás determinar qué ha funcionado y qué no, así como identificar otras vías para seguir experimentando.
Para ver ejemplos de recorridos de usuario, consulta los siguientes artículos:
Analizar el rendimiento de los modelos
Vertex AI Experiments te permite monitorizar y evaluar el rendimiento del modelo en conjunto, en comparación con los conjuntos de datos de prueba y durante la ejecución del entrenamiento. Esta capacidad ayuda a comprender las características de rendimiento de los modelos, es decir, cómo funciona un modelo concreto en general, dónde falla y dónde destaca.
Para ver ejemplos de recorridos de usuario, consulta los siguientes artículos:
Comparar el rendimiento de los modelos
Vertex AI Experiments te permite agrupar y comparar varios modelos en ejecuciones de experimentos. Cada modelo tiene sus propios parámetros, técnicas de modelado, arquitecturas y entradas especificados. Este enfoque ayuda a seleccionar el mejor modelo.
Para ver ejemplos de recorridos de usuario, consulta los siguientes artículos:
Buscar experimentos
La Google Cloud consola ofrece una vista centralizada de los experimentos, una vista transversal de las ejecuciones de los experimentos y los detalles de cada ejecución. El SDK de Vertex AI para Python proporciona APIs para consumir experimentos, ejecuciones de experimentos, parámetros de ejecuciones de experimentos, métricas y artefactos.
Vertex AI Experiments, junto con Vertex ML Metadata, ofrece una forma de encontrar los artefactos monitorizados en un experimento. De esta forma, puede ver rápidamente el linaje del artefacto y los artefactos consumidos y producidos por los pasos de una ejecución.
Cobertura de la asistencia
Vertex AI Experiments admite el desarrollo de modelos con Vertex AI Custom Training, cuadernos de Vertex AI Workbench y Notebooks, así como todos los frameworks de aprendizaje automático de Python en la mayoría de los frameworks de aprendizaje automático. En algunos frameworks de aprendizaje automático, como TensorFlow, Vertex AI Experiments ofrece integraciones profundas en el framework que hacen que la experiencia de usuario sea mágica. En el caso de otros frameworks de aprendizaje automático, Vertex AI Experiments proporciona un SDK de Vertex AI para Python independiente del framework que puedes usar. Consulta la sección Contenedores predefinidos para obtener información sobre TensorFlow, scikit-learn, PyTorch y XGBoost.
Modelos y conceptos de datos
Vertex AI Experiments es un contexto
en Vertex ML Metadata donde un experimento
puede contener n ejecuciones de experimento, además de n ejecuciones de flujo de trabajo. Una ejecución de experimento consta de parámetros, métricas de resumen, métricas de series temporales y recursos de Vertex AI PipelineJob, Artifact y Execution.
Vertex AI TensorBoard, una versión gestionada de TensorBoard de código abierto, se usa para almacenar métricas de series temporales. Las ejecuciones y los artefactos de una ejecución de un flujo de trabajo se pueden ver en la Google Cloud consola.
Términos de Vertex AI Experiments
Experimento, ejecución de experimento y ejecución de flujo de trabajo
experimento
- Un experimento es un contexto que puede contener un conjunto de n ejecuciones de experimentos, además de ejecuciones de la canalización, en el que un usuario puede investigar, como grupo, diferentes configuraciones, como artefactos de entrada o hiperparámetros.
ejecución del experimento
- Una ejecución específica y monitorizable dentro de un experimento de Vertex AI que registra entradas (como algoritmos, parámetros y conjuntos de datos) y salidas (como modelos, puntos de control y métricas) para monitorizar y comparar las iteraciones de desarrollo de aprendizaje automático. Para obtener más información, consulta el artículo Crear y gestionar ejecuciones de experimentos.
ejecución de flujo de procesamiento
- Se pueden asociar uno o varios Vertex PipelineJobs a un experimento, donde cada PipelineJob se representa como una sola ejecución. En este contexto, los parámetros de la ejecución se infieren a partir de los parámetros de PipelineJob. Las métricas se infieren del sistema.Artefactos de métricas producidos por ese PipelineJob. Los artefactos de la ejecución se infieren a partir de los artefactos producidos por ese PipelineJob.
PipelineJob de Vertex AI
a un recurso ExperimentRun.
En este contexto, los parámetros, las métricas y los artefactos no se infieren.
Consulta Asociar una canalización a un experimento.
Parámetros y métricas
Consulta Parámetros de registro.
Métricas de resumen
- Las métricas de resumen son un valor único para cada clave de métrica de una prueba. Por ejemplo, la exactitud de prueba de un experimento es la exactitud calculada con respecto a un conjunto de datos de prueba al final del entrenamiento, que se puede registrar como una métrica de resumen de un solo valor.
Consulta Métricas de resumen de registros.
Métricas de series temporales
- Las métricas de series temporales son valores de métricas longitudinales en los que cada valor representa un paso de la parte de entrenamiento de una carrera. Las métricas de series temporales se almacenan en Vertex AI TensorBoard. Vertex AI Experiments almacena una referencia al recurso Vertex TensorBoard.
Consulta Registrar métricas de series temporales.
Tipos de recursos
trabajo de flujo de procesamiento
- Una tarea o una ejecución de un flujo de procesamiento corresponde al recurso PipelineJob de la API Vertex AI. Es una instancia de ejecución de la definición de tu canalización de AA, que se define como un conjunto de tareas de AA interconectadas por dependencias de entrada y salida.
artefacto
- Un artefacto es una entidad o un fragmento de datos discretos que produce y consume un flujo de trabajo de aprendizaje automático. Entre los artefactos se incluyen conjuntos de datos, modelos, archivos de entrada y registros de entrenamiento.
Vertex AI Experiments te permite usar un esquema para definir el tipo de artefacto. Por ejemplo, los tipos de esquema admitidos son system.Dataset, system.Model y system.Artifact. Para obtener más información, consulta Esquemas del sistema.