Una parte fundamental del método científico es registrar tanto tus observaciones como los parámetros de un experimento. En la ciencia de datos, también es fundamental realizar un seguimiento de los parámetros, los artefactos y las métricas que se usan en un experimento de aprendizaje automático (AA). Estos metadatos te ayudan a lograr lo siguiente:
- Analizar las ejecuciones de un sistema de AA de producción para comprender los cambios en la calidad de las predicciones.
- Analizar los experimentos de AA para comparar la eficacia de diferentes conjuntos de hiperparámetros.
- Realizar un seguimiento del linaje de los artefactos del AA, por ejemplo, los conjuntos de datos y los modelos, para comprender qué contribuyó a la creación de un artefacto o cómo se usó ese artefacto a fin de crear artefactos descendientes.
- Volver a ejecutar un flujo de trabajo de AA con los mismos artefactos y parámetros.
- Realizar un seguimiento del uso descendiente de los artefactos de AA para fines de administración.
Vertex ML Metadata te permite registrar metadatos y artefactos generados por el sistema de AA y consultar esos metadatos para ayudar a analizar, depurar y auditar el rendimiento del sistema de AA o los artefactos que produce.
Vertex ML Metadata se basa en los conceptos usados en la biblioteca de código abierto ML Metadata (MLMD) que desarrolló el equipo de TensorFlow Extended de Google.
Descripción general de Vertex ML Metadata
Vertex ML Metadata captura los metadatos de tu sistema de AA como un grafo.
En el gráfico de metadatos, los artefactos y las ejecuciones son nodos, y los eventos son bordes que vinculan los artefactos como entradas o salidas de las ejecuciones. Los contextos representan subgráficos que se usan para agrupar de forma lógica conjuntos de artefactos y ejecuciones.
Puedes aplicar metadatos de pares clave-valor a artefactos, ejecuciones y contextos. Por ejemplo, un modelo podría tener metadatos que describen el framework que se usa para entrenar el modelo y las métricas de rendimiento, como la exactitud, precisión y recuperación del modelo.
Obtén más información para hacer un seguimiento de los metadatos de tu sistema de AA. Si deseas analizar los metadatos de Vertex Pipelines AI, consulta este instructivo paso a paso.
Linaje de artefactos del AA
Para comprender los cambios en el rendimiento de tu sistema de AA de máquina, debes poder analizar los metadatos que produce el flujo de trabajo del AA y el linaje de sus artefactos. El historial de un artefacto incluye todos los factores que contribuyeron a su creación, así como los artefactos y los metadatos que descienden de él.
Por ejemplo, el linaje del modelo podría incluir lo siguiente:
- Los datos de entrenamiento, prueba y evaluación que se usan para crear el modelo
- Los hiperparámetros usados durante el entrenamiento del modelo
- El código que se usó para entrenar el modelo.
- Metadatos registrados del proceso de entrenamiento y evaluación, como la exactitud del modelo.
- Artefactos que descienden de este modelo, como los resultados de las predicciones por lotes.
Si realizas un seguimiento de los metadatos de tu sistema de AA con Vertex ML Metadata, puedes responder preguntas como las siguientes:
- ¿Qué conjunto de datos se usó para entrenar un modelo determinado?
- ¿Cuáles de los modelos de mi organización se entrenaron con un conjunto de datos determinado?
- ¿Qué ejecución produjo el modelo más exacto y qué hiperparámetros se usaron para entrenar el modelo?
- ¿En qué objetivos de implementación se implementó un modelo determinado y cuándo se implementó?
- ¿Qué versión de tu modelo se usó para crear una predicción en un momento determinado?
Obtén más información para analizar los metadatos de tu sistema del AA.