Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
Cada execução de pipeline criada usando o Vertex AI Pipelines tem vários artefatos
e parâmetros associados, como modelos, conjuntos de dados, modelos de pipeline e
componentes. A linhagem de um artefato de pipeline inclui os fatores que contribuíram para a criação, bem como artefatos e metadados derivados desse artefato. Por exemplo, a linhagem de um modelo pode incluir o seguinte:
Os dados de treinamento, teste e avaliação usados para criar o modelo.
Os hiperparâmetros usados durante o treinamento do modelo.
Os metadados gravados do processo de treinamento e avaliação, como a acurácia do modelo.
Artefatos descendentes desse modelo, como os resultados de previsões em lote.
Use esses metadados para responder a perguntas como as seguintes:
por que um pipeline específico executou um modelo especialmente preciso?
Qual execução de pipeline produziu o modelo mais preciso e quais hiperparâmetros foram usados para treinar o modelo?
Dependendo das etapas no pipeline, talvez seja possível responder a perguntas sobre a governança do sistema. Por exemplo, é possível usar metadados para determinar qual versão do seu modelo estava em produção em um determinado momento.
Para conferir e analisar a linhagem de artefatos do pipeline, é possível usar o Vertex ML Metadata ou o Catálogo universal do Dataplex.
A tabela a seguir descreve as diferenças entre o Vertex ML Metadata e o catálogo universal do Dataplex:
Recurso
Vertex ML Metadata
Dataplex Universal Catalog
Tipos de metadados de pipeline capturados
Todos os artefatos de entrada e saída produzidos por uma execução de pipeline.
Artefatos de entrada e saída que podem ser mapeados para nomes totalmente qualificados (FQNs) compatíveis com o Dataplex Universal Catalog, geralmente usando Google Cloud componentes de pipeline.
Geografia
Leituras de região única.
Leituras globais, ou seja, em várias regiões.
Projetos
Leituras de projeto único.
Faz leituras em vários projetos em toda a organização.
Serviços integrados
Integrado com o Vertex AI Pipelines, os Experimentos da Vertex AI, o Vertex AI Model Registry e os conjuntos de dados.
Integrado com vários produtos do Google Cloud , como Vertex AI, BigQuery, Cloud Composer e Dataproc.
Ativar?
Não, sempre ativado.
Ative a API Data Lineage para cada projeto.
Mapear artefatos do Vertex ML Metadata para o Dataplex Universal Catalog
Para mapear artefatos do Vertex ML Metadata para FQNs no Dataplex Universal Catalog,
você precisa fazer o seguinte:
Use Google Cloud componentes de pipeline ao criar modelos da Vertex AI e
conjuntos de dados gerenciados.
Use títulos de esquema personalizados (google.VertexDataset ou google.VertexModel)
ao especificar o nome do recurso do modelo ou do conjunto de dados gerenciado no campo
metadata, conforme ilustrado no exemplo a seguir:
Analisar a linhagem de artefatos de pipeline usando o Vertex ML Metadata
Ao executar um pipeline usando o Vertex AI Pipelines, os artefatos e
os parâmetros da execução do pipeline são armazenados usando o Vertex ML Metadata.
O Vertex ML Metadata facilita a análise da linhagem dos artefatos do pipeline, poupando a dificuldade de acompanhar os metadados do pipeline.
A página "Metadados" lista os artefatos criados no armazenamento de metadados padrão.
Na lista suspensa Região, selecione a região em que sua execução foi criada.
Clique no Nome do artefato de um artefato para ver o gráfico de linhagem dele.
Será exibido um gráfico estático mostrando os artefatos e as execuções que fazem parte desse gráfico de linhagem.
Clique em um artefato ou execução para saber mais sobre ele.
Analisar a linhagem de artefatos de pipeline usando o Dataplex Universal Catalog
O Dataplex Universal Catalog descobre metadados dos
recursos doGoogle Cloud , que incluem artefatos do Vertex AI Pipelines, como modelos da Vertex AI, conjuntos de dados gerenciados e outros
recursos doGoogle Cloud que podem ser descobertos no Dataplex Universal Catalog. É possível
descobrir esses artefatos usando o recurso de pesquisa de metadados do
Dataplex Universal Catalog e visualizar os respectivos gráficos de linhagem.
Siga estas instruções para visualizar o gráfico de linhagem de um artefato de pipeline
no Dataplex Universal Catalog:
Para iniciar uma consulta de pesquisa do Universal Catalog do Dataplex no console Google Cloud , acesse a página Pesquisa do Universal Catalog do Dataplex.
Selecione Dataplex Catalog como o modo de pesquisa.
Use os filtros para pesquisar os artefatos. Por exemplo, use o filtro Tipos de dados para especificar o tipo de artefato, como modelo, conjunto de dados ou tabela do BigQuery. Para mais informações, consulte Pesquisar recursos no Dataplex Universal Catalog.
Para visualizar a linhagem de um artefato, clique no nome do artefato e, em seguida, na guia Linhagem.
No gráfico de linhagem, os processos da Vertex AI são precedidos por
.
Isso inclui artefatos e componentes de pipeline e modelos de pipeline.
Para visualizar os detalhes de um processo, clique nele no gráfico de linhagem.
Para processos com base em tarefas de pipeline de execuções de pipeline, é possível fazer o seguinte:
Para conferir a execução do pipeline na Vertex AI, clique em Abrir na Vertex AI na guia Detalhes. Para visualizar os detalhes do ambiente de execução de uma execução de pipeline, como estados, carimbos de data/hora e atributos, clique em Mais. Para conferir a execução do pipeline na Vertex AI,
clique em Abrir na Vertex AI.
Para processos baseados em um modelo de pipeline, faça o seguinte:
Para conferir os detalhes do modelo na Vertex AI, clique em Abrir na Vertex AI na guia Detalhes.
Veja a lista de tarefas de pipeline criadas em execuções de pipeline na guia Execuções. Para conferir os detalhes do modelo de pipeline na
Vertex AI, clique em Mais e, em seguida, em
Abrir na Vertex AI.
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-08-19 UTC."],[],[],null,["# Track the lineage of pipeline artifacts\n\nEach pipeline run created using Vertex AI Pipelines has several associated\nartifacts and parameters, such as models, datasets, pipeline templates, and\ncomponents. The lineage of a pipeline artifact includes the factors that\ncontributed to its creation, as well as artifacts and metadata derived from\nthe artifact. For example, a model's lineage can include the following:\n\n- The training, test, and evaluation data used to create the model.\n\n- The hyperparameters used during model training.\n\n- Metadata recorded from the training and evaluation process, such as the model's accuracy.\n\n- Artifacts that descend from this model, such as the results of batch predictions.\n\nYou can use this metadata to help answer questions like the following:\n\n- Why did a certain pipeline run produce an especially accurate model?\n\n- Which pipeline run produced the most accurate model, and what hyperparameters were used to train the model?\n\n- Depending on the steps in your pipeline, you might be able to answer system\n governance questions. For example, you could use metadata to determine which\n version of your model was in production at a given point in time.\n\nTo view and analyze the pipeline artifact lineage, you can use either Vertex ML Metadata or Dataplex Universal Catalog.\n\nThe following table outlines the differences between Vertex ML Metadata and Dataplex Universal Catalog:\n\nMap Vertex ML Metadata artifacts to Dataplex Universal Catalog\n--------------------------------------------------------------\n\nTo map Vertex ML Metadata artifacts to FQNs in Dataplex Universal Catalog,\nyou need to do the following:\n\n- Use Google Cloud Pipeline Components while creating Vertex AI models and\n managed datasets.\n\n- Use custom schema titles (`google.VertexDataset` or `google.VertexModel`)\n while specifying the model or managed dataset resource name in the `metadata`\n field, as illustrated in the following sample:\n\n {\n \"name\": \"projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact\",\n \"displayName\": \"My dataset\",\n \"uri\": \"https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset\",\n ...\n \"schemaTitle\": \"google.VertexDataset\",\n \"schemaVersion\": \"0.0.1\",\n \"metadata\": {\n \"resourceName\": \"projects/example-project/locations/us-central1/datasets/example-dataset\"\n }\n }\n\nAnalyze the lineage of pipeline artifacts using Vertex ML Metadata\n------------------------------------------------------------------\n\nWhen you run a pipeline using Vertex AI Pipelines, the artifacts and\nparameters of your pipeline run are stored using Vertex ML Metadata.\nVertex ML Metadata makes it easier to analyze the *lineage* of your\npipeline's artifacts, by saving you the difficulty of keeping track of your\npipeline's metadata.\n\nIf you're new to Vertex ML Metadata, read the [introduction to\nVertex ML Metadata](/vertex-ai/docs/ml-metadata/introduction).\n| For a step-by-step tutorial on analyzing artifacts and metadata generated across your Vertex AI Pipelines executions, see the [Using Vertex ML Metadata with Vertex AI Pipelines](https://codelabs.developers.google.com/vertex-mlmd-pipelines#0) codelab.\n\nFollow these instructions to view the lineage graph for a pipeline\nartifact using Vertex ML Metadata:\n\n1. In the Google Cloud console, in the Vertex AI section, go\n to the **Metadata** page.\n\n [Go to Metadata](https://console.cloud.google.com/vertex-ai/metadata)\n\n The Metadata page lists the artifacts that have been created in the\n **default** metadata store.\n2. In the **Region** drop-down list, select the region that your run was\n created in.\n\n3. Click the **Display name** of an artifact to see its lineage graph.\n\n A static graph showing the artifacts and executions that are a part of this\n lineage graph appears.\n4. Click an artifact or execution to learn more about it.\n\nAnalyze the lineage of pipeline artifacts using Dataplex Universal Catalog\n--------------------------------------------------------------------------\n\nDataplex Universal Catalog discovers metadata from\nGoogle Cloud resources, which include Vertex AI Pipelines\nartifacts like Vertex AI models, managed datasets, and other\nGoogle Cloud resources discoverable in Dataplex Universal Catalog. You can\ndiscover these artifacts using the metadata search capability of\nDataplex Universal Catalog and view their lineage graphs.\n\nFor more information about the Dataplex Universal Catalog metadata search capability,\nsee [Search for resources in Dataplex Universal Catalog](/dataplex/docs/search-assets).\n\nNote that Dataplex Universal Catalog might not be available in all regions where\nVertex AI Pipelines is supported. If Dataplex Universal Catalog is\nunsupported in your region, use Vertex ML Metadata.\n[View the list of supported regions for Dataplex Universal Catalog.](/dataplex/docs/locations)\n\nFollow these instructions to view the lineage graph for a pipeline artifact\non Dataplex Universal Catalog:\n\n1. To launch a Dataplex Universal Catalog search query in the Google Cloud console,\n go to the Dataplex Universal Catalog **Search** page.\n\n [Go to Search](https://console.cloud.google.com/dataplex/dp-search)\n2. Select **Dataplex Universal Catalog** as the search mode.\n\n3. Use the filters to search for the artifacts. For example, you can use the\n **Data types** filter to specify the type of artifact, such as model, dataset,\n or BigQuery table. For more information,\n see [Search for resources in Dataplex Universal Catalog](/dataplex/docs/search-assets).\n\n You can also [define your query in the search field](/dataplex/docs/search-syntax).\n4. To view the lineage of an artifact, click the name of the artifact, and then click the **Lineage** tab.\n\n On the lineage graph, Vertex AI processes are preceded by\n .\n These include pipeline artifacts, pipeline components, and pipeline templates.\n - To view the details of a process, click the process in the lineage graph.\n\n | **Note:** The process details are available only if the process has been catalogued in Dataplex Universal Catalog using a fully qualified name (FQN).\n - For processes based on pipeline tasks from pipeline runs, you can do the following:\n\n - View the pipeline run in Vertex AI by clicking **Open in Vertex AI** in the **Details tab** . To view the runtime details of a pipeline run, such as states, timestamps, and attributes, click **More** . To view the pipeline run in Vertex AI, click **Open in Vertex AI**.\n - For processes based on a pipeline template, you can do the following:\n\n - View the template details in Vertex AI by clicking **Open in Vertex AI** in the **Details tab**.\n\n - View the list of pipeline tasks created in pipeline runs in the\n **Runs** tab. To view the details of the pipeline template in\n Vertex AI, click **More** , and then click\n **Open in Vertex AI**.\n\nWhat's next\n-----------\n\n- Learn how to [run a pipeline](/vertex-ai/docs/pipelines/run-pipeline).\n- Get started [visualizing and analyzing pipeline\n results](/vertex-ai/docs/pipelines/visualize-pipeline).\n- Learn how to [build a machine learning pipeline](/vertex-ai/docs/pipelines/build-pipeline)."]]