Realizar un seguimiento del linaje de los artefactos de canalización

Cada ejecución de canalización creada con Vertex AI Pipelines tiene varios artefactos y parámetros asociados, como modelos, conjuntos de datos, plantillas de canalizaciones y componentes. El linaje de un artefacto de canalización incluye los factores que contribuyeron a su creación, así como los artefactos y los metadatos derivados de él. Por ejemplo, en el linaje del modelo se puede incluir lo siguiente:

  • Los datos de entrenamiento, prueba y evaluación que se usan para crear el modelo

  • Los hiperparámetros usados durante el entrenamiento del modelo

  • Los metadatos que se obtuvieron del proceso de entrenamiento y evaluación, como la exactitud del modelo

  • Los artefactos que descienden de este modelo, como los resultados de las predicciones por lotes

Puedes usar estos metadatos para responder preguntas como las siguientes:

  • ¿Por qué una ejecución de canalización determinada produjo un modelo muy exacto?

  • ¿Qué ejecución de canalización produjo el modelo más exacto y qué hiperparámetros se usaron para entrenar el modelo?

  • Según los pasos en la canalización, es posible que puedas responder preguntas sobre la administración del sistema. Por ejemplo, puedes usar los metadatos para determinar qué versión de tu modelo estuvo en producción en un momento determinado.

Para ver y analizar el linaje de los artefactos de canalización, puedes usar Vertex ML Metadata o Dataplex.

En la siguiente tabla, se describen las diferencias entre Vertex ML Metadata y Dataplex:

Atributo Vertex ML Metadata Dataplex
Tipos de metadatos de canalización capturados Todos los artefactos de entrada y salida que produce una ejecución de canalización. Son artefactos de entrada y salida que se pueden asignar a nombres completamente calificados (FQN) compatibles con Dataplex, generalmente con los componentes de canalización de Google Cloud.
Datos geográficos Lecturas de una sola región Lecturas globales, es decir, en varias regiones
Proyectos Lecturas de un solo proyecto. Lecturas en toda la organización en varios proyectos
Servicios integrados Se integra en Vertex AI Pipelines, Vertex AI Experiments, Vertex AI Model Registry y conjuntos de datos. Está integrado en varios productos de Google Cloud, como Vertex AI, BigQuery, Cloud Composer y Dataproc.
¿Habilitar? No, siempre activado. Habilita la API de Data Lineage para habilitar la opción por proyecto.

Asigna artefactos de Vertex ML Metadata a Dataplex

Para asignar artefactos de Vertex ML Metadata a los FQDN en Dataplex, debes hacer lo siguiente:

  • Usa los componentes de canalización de Google Cloud cuando crees modelos de Vertex AI y conjuntos de datos administrados.

  • Usa títulos de esquemas personalizados (google.VertexDataset o google.VertexModel) mientras especificas el nombre del recurso del modelo o del conjunto de datos administrado en el campo metadata, como se ilustra en el siguiente ejemplo:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Analiza el linaje de los artefactos de canalización con Vertex ML Metadata

Cuando ejecutas una canalización con Vertex AI Pipelines, los artefactos y parámetros de la ejecución de tu canalización se almacenan con Vertex ML Metadata. Vertex ML Metadata te permiten analizar el linaje de los artefactos de tu canalización con más facilidad, ya que evitan la dificultad de realizar un seguimiento de los metadatos de la canalización.

Si es la primera vez que usas los metadatos de AA de Vertex, lee la introducción a Vertex ML Metadata.

Sigue estas instrucciones para ver el gráfico de linaje de un artefacto de canalización con Vertex ML Metadata:

  1. En la sección Vertex AI de la consola de Google Cloud, ve a la página Metadatos.

    Ir a metadatos

    En la página de metadatos, se enumeran los artefactos que se crearon en el almacén de metadatos predeterminado.

  2. En la lista desplegable Región, selecciona la región en la que se creó la ejecución.

  3. Haz clic en el Nombre visible de un artefacto para ver el gráfico de linaje.

    Aparece un gráfico estático que muestra los artefactos y las ejecuciones que forman parte de este gráfico de linaje.

  4. Haz clic en un artefacto o una ejecución para obtener más información.

Cómo analizar el linaje de los artefactos de canalización con Dataplex

Dataplex Data Catalog descubre los metadatos de los recursos de Google Cloud, que incluyen artefactos de Vertex AI Pipelines, como los modelos de Vertex AI, los conjuntos de datos administrados y otros recursos de Google Cloud detectables en Data Catalog. Puedes descubrir estos artefactos mediante la función de búsqueda de metadatos de Data Catalog y ver sus gráficos de linaje.

Para obtener más información sobre la función de búsqueda de metadatos de Data Catalog, consulta Busca y visualiza recursos de datos con Data Catalog.

Ten en cuenta que es posible que Data Catalog no esté disponible en todas las regiones en las que se admite Vertex AI Pipelines. Si Data Catalog no es compatible con tu región, usa Vertex ML Metadata. Consulta la lista de regiones compatibles con Data Catalog.

Sigue estas instrucciones para ver el gráfico de linaje de un artefacto de canalización en Dataplex:

  1. Para iniciar una búsqueda de Dataplex en la consola de Google Cloud, ve a la página Búsqueda de Dataplex.

    Ir a Búsqueda de Dataplex

  2. Usa los filtros para buscar los artefactos. Por ejemplo, puedes usar el filtro Tipos de datos para especificar el tipo de artefacto, como modelo, conjunto de datos o tabla de BigQuery. Para obtener más información sobre la búsqueda de Data Catalog, consulta Busca recursos de datos.

    También puedes definir tu consulta en el campo de búsqueda.

  3. Para ver el linaje de un artefacto, haz clic en su nombre y, luego, en la pestaña Lineage.

    En el gráfico de linaje, los procesos de Vertex AI están precedidos por Ícono de linaje de Vertex AI. Estos incluyen artefactos, componentes y plantillas de canalización.

    • Para ver los detalles de un proceso, haz clic en él en el gráfico de linaje.

    • En el caso de los procesos basados en tareas de canalización de ejecuciones de canalización, puedes hacer lo siguiente:

      • Para ver la ejecución de la canalización en Vertex AI, haz clic en Abrir en Vertex AI en la pestaña Detalles. Para ver los detalles del entorno de ejecución de una ejecución de canalización, como los estados, las marcas de tiempo y los atributos, haz clic en Más. Para ver la canalización que se ejecuta en Vertex AI, haz clic en Abrir en Vertex AI.

    • En el caso de los procesos basados en una plantilla de canalización, puedes hacer lo siguiente:

      • Para ver los detalles de la plantilla en Vertex AI, haz clic en Open in Vertex AI en la pestaña Details.

      • Consulta la lista de tareas de canalización creadas en las ejecuciones de canalización en la pestaña Ejecuciones. Para ver los detalles de la plantilla de canalización en Vertex AI, haz clic en Más y, luego, en Abrir en Vertex AI.

¿Qué sigue?