Rastrear a linhagem de artefatos de pipeline

Cada execução de pipeline criada usando o Vertex AI Pipelines tem vários artefatos e parâmetros associados, como modelos, conjuntos de dados, modelos de pipeline e componentes. A linhagem de um artefato de pipeline inclui os fatores que contribuíram para a criação, bem como artefatos e metadados derivados desse artefato. Por exemplo, a linhagem de um modelo pode incluir o seguinte:

• Os dados de treinamento, teste e avaliação usados para criar o modelo.

• Os hiperparâmetros usados durante o treinamento do modelo.

• Os metadados gravados do processo de treinamento e avaliação, como a acurácia do modelo.

• Artefatos descendentes desse modelo, como os resultados de previsões em lote.

Use esses metadados para responder a perguntas como as seguintes:

• por que um pipeline específico executou um modelo especialmente preciso?

• Qual execução de pipeline produziu o modelo mais preciso e quais hiperparâmetros foram usados para treinar o modelo?

• Dependendo das etapas no pipeline, talvez seja possível responder a perguntas sobre a governança do sistema. Por exemplo, é possível usar metadados para determinar qual versão do seu modelo estava em produção em um determinado momento.

Para conferir e analisar a linhagem de artefatos do pipeline, é possível usar o Vertex ML Metadata ou o catálogo universal do Dataplex.

A tabela a seguir descreve as diferenças entre o Vertex ML Metadata e o catálogo universal do Dataplex:

Mapear artefatos do Vertex ML Metadata para o Dataplex Universal Catalog

Para mapear artefatos do Vertex ML Metadata para FQNs no Dataplex Universal Catalog, você precisa fazer o seguinte:

• Use Google Cloud componentes de pipeline ao criar modelos da Vertex AI e conjuntos de dados gerenciados.

• Use títulos de esquema personalizados (google.VertexDataset ou google.VertexModel) ao especificar o nome do recurso do modelo ou do conjunto de dados gerenciado no campo metadata, conforme ilustrado no exemplo a seguir:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Analisar a linhagem de artefatos de pipeline usando o Vertex ML Metadata

Ao executar um pipeline usando o Vertex AI Pipelines, os artefatos e os parâmetros da execução do pipeline são armazenados usando o Vertex ML Metadata. O Vertex ML Metadata facilita a análise da linhagem dos artefatos do pipeline, poupando a dificuldade de acompanhar os metadados do pipeline.

Se você não conhece o Vertex ML Metadata, leia a introdução ao Vertex ML Metadata.

Siga estas instruções para visualizar o gráfico de linhagem de um artefato de pipeline usando o Vertex ML Metadata:

1. No console Google Cloud , na seção "Vertex AI", acesse a página Metadados.

   Acessar a página "Metadados"

   A página "Metadados" lista os artefatos criados no armazenamento de metadados padrão.

2. Na lista suspensa Região, selecione a região em que sua execução foi criada.

3. Clique no Nome do artefato de um artefato para ver o gráfico de linhagem dele.

   Será exibido um gráfico estático mostrando os artefatos e as execuções que fazem parte desse gráfico de linhagem.

4. Clique em um artefato ou execução para saber mais sobre ele.

Analisar a linhagem de artefatos de pipeline usando o Dataplex Universal Catalog

O Dataplex Universal Catalog descobre metadados dos recursos doGoogle Cloud , que incluem artefatos do Vertex AI Pipelines, como modelos da Vertex AI, conjuntos de dados gerenciados e outros recursos doGoogle Cloud que podem ser descobertos no Dataplex Universal Catalog. É possível descobrir esses artefatos usando o recurso de pesquisa de metadados do Catálogo universal do Dataplex e visualizar os respectivos gráficos de linhagem.

Para mais informações sobre o recurso de pesquisa de metadados do Dataplex Universal Catalog, consulte Pesquisar recursos no Dataplex Universal Catalog.

O Dataplex Universal Catalog pode não estar disponível em todas as regiões em que o Vertex AI Pipelines é compatível. Se o Dataplex Universal Catalog não tiver suporte na sua região, use o Vertex ML Metadata. Confira a lista de regiões com suporte para o Dataplex Universal Catalog.

Siga estas instruções para visualizar o gráfico de linhagem de um artefato de pipeline no Dataplex Universal Catalog:

1. Para iniciar uma consulta de pesquisa do Dataplex Universal Catalog no Google Cloud console, acesse a página Pesquisar do Dataplex Universal Catalog.

   Acesse Pesquisar

2. Selecione Dataplex Catalog como o modo de pesquisa.

3. Use os filtros para pesquisar os artefatos. Por exemplo, use o filtro Tipos de dados para especificar o tipo de artefato, como modelo, conjunto de dados ou tabela do BigQuery. Para mais informações, consulte Pesquisar recursos no Dataplex Universal Catalog.

   Também é possível definir sua consulta no campo de pesquisa.

4. Para visualizar a linhagem de um artefato, clique no nome do artefato e, em seguida, na guia Linhagem.

   No gráfico de linhagem, os processos da Vertex AI são precedidos por . Isso inclui artefatos e componentes de pipeline e modelos de pipeline.

   • Para visualizar os detalhes de um processo, clique nele no gráfico de linhagem.

   • Para processos com base em tarefas de pipeline de execuções de pipeline, é possível fazer o seguinte:

     • Para conferir a execução do pipeline na Vertex AI, clique em Abrir na Vertex AI na guia Detalhes. Para visualizar os detalhes do ambiente de execução de uma execução de pipeline, como estados, carimbos de data/hora e atributos, clique em Mais. Para conferir a execução do pipeline na Vertex AI, clique em Abrir na Vertex AI.

   • Para processos baseados em um modelo de pipeline, faça o seguinte:

     • Para conferir os detalhes do modelo na Vertex AI, clique em Abrir na Vertex AI na guia Detalhes.

     • Veja a lista de tarefas de pipeline criadas em execuções de pipeline na guia Execuções. Para conferir os detalhes do modelo de pipeline na Vertex AI, clique em Mais e, em seguida, em Abrir na Vertex AI.

A seguir

• Saiba como executar um pipeline.
• Comece a visualizar e analisar os resultados do pipeline.
• Saiba como criar um pipeline de machine learning.