Una parte fundamental del método científico es registrar tanto tus observaciones como los parámetros de un experimento. En la ciencia de datos, también es fundamental hacer un seguimiento de los parámetros, los artefactos y las métricas que se usan en un experimento de aprendizaje automático (ML). Estos metadatos te ayudan a lo siguiente:
- Analiza las ejecuciones de un sistema de aprendizaje automático de producción para comprender los cambios en la calidad de las predicciones.
- Analiza experimentos de aprendizaje automático para comparar la eficacia de diferentes conjuntos de hiperparámetros.
- Monitoriza el linaje de los artefactos de aprendizaje automático, como los conjuntos de datos y los modelos, para saber qué ha contribuido a la creación de un artefacto o cómo se ha usado ese artefacto para crear otros.
- Vuelve a ejecutar un flujo de trabajo de aprendizaje automático con los mismos artefactos y parámetros.
- Monitorizar el uso de artefactos de aprendizaje automático para fines de gestión.
Vertex ML Metadata te permite registrar los metadatos y los artefactos producidos por tu sistema de aprendizaje automático, así como consultar esos metadatos para analizar, depurar y auditar el rendimiento de tu sistema de aprendizaje automático o los artefactos que produce.
Vertex ML Metadata se basa en los conceptos utilizados en la biblioteca de código abierto ML Metadata (MLMD), desarrollada por el equipo de TensorFlow Extended de Google.
Información general de Vertex ML Metadata
Vertex ML Metadata captura los metadatos de tu sistema de aprendizaje automático como un gráfico.
En el gráfico de metadatos, los artefactos y las ejecuciones son nodos, y los eventos son aristas que vinculan los artefactos como entradas o salidas de las ejecuciones. Los contextos representan subgrafos que se usan para agrupar de forma lógica conjuntos de artefactos y ejecuciones.
Puede aplicar metadatos de pares clave-valor a artefactos, ejecuciones y contextos. Por ejemplo, un modelo podría tener metadatos que describan el framework usado para entrenarlo y métricas de rendimiento, como la exactitud, la precisión y la recuperación del modelo.
Consulta más información sobre cómo hacer un seguimiento de los metadatos de tu sistema de aprendizaje automático. Si te interesa analizar los metadatos de Vertex AI Pipelines, consulta este tutorial paso a paso.
Linaje de artefactos de aprendizaje automático
Para entender los cambios en el rendimiento de tu sistema de aprendizaje automático, debes poder analizar los metadatos que genera tu flujo de trabajo de aprendizaje automático y el linaje de sus artefactos. El linaje de un artefacto incluye todos los factores que han contribuido a su creación, así como los artefactos y los metadatos que proceden de este artefacto.
Por ejemplo, el linaje de un modelo podría incluir lo siguiente:
- Los datos de entrenamiento, prueba y evaluación que se han usado para crear el modelo.
- Los hiperparámetros utilizados durante el entrenamiento del modelo.
- El código que se ha usado para entrenar el modelo.
- Metadatos registrados durante el proceso de entrenamiento y evaluación, como la exactitud del modelo.
- Artefactos que proceden de este modelo, como los resultados de las predicciones por lotes.
Si monitorizas los metadatos de tu sistema de aprendizaje automático con Vertex ML Metadata, puedes responder a preguntas como las siguientes:
- ¿Qué conjunto de datos se ha usado para entrenar un modelo concreto?
- ¿Qué modelos de mi organización se han entrenado con un determinado conjunto de datos?
- ¿Qué ejecución ha producido el modelo más preciso y qué hiperparámetros se han usado para entrenarlo?
- ¿En qué destinos de implementación se ha implementado un modelo concreto y cuándo se ha implementado?
- ¿Qué versión de tu modelo se ha usado para crear una predicción en un momento dado?
Más información sobre cómo analizar los metadatos de tu sistema de aprendizaje automático