Avaliar modelos usando a Vertex AI

Nesta página, descrevemos como avaliar modelos usando a Vertex AI. Para uma visão geral, consulte avaliação de modelo na Vertex AI.

Pré-requisitos

1. Siga as etapas em Configurar um projeto e um ambiente para desenvolvedores. Além disso, ative os seguintes serviços:

   • API Compute Engine
   • API Dataflow

2. A Vertex AI pode avaliar modelos treinados pelo AutoML ou por treinamento personalizado. Para o guia do console Google Cloud , você precisa ter um modelo treinado importado para o Vertex AI Model Registry.

3. Faça o upload do conjunto de dados de teste para o BigQuery ou Cloud Storage. O conjunto de dados de teste precisa ter a verdade, que é o resultado real esperado para uma inferência. Consiga o link para o arquivo ou o ID do conjunto de dados.

4. Ter uma saída de inferência em lote na forma de uma tabela do BigQuery ou do URI do Cloud Storage.

5. Verifique se a conta de serviço padrão do Compute Engine tem as permissões de IAM a seguir:

   • Administrador da Vertex AI (aiplatform.admin)
   • Agente de serviço da Vertex AI (aiplatform.serviceAgent)
   • Administrador de objetos do Storage (storage.objectAdmin)
   • Worker do Dataflow (dataflow.worker)
   • Editor de dados do BigQuery (bigquery.dataEditor) (obrigatório apenas se você fornecer dados na forma de tabelas do BigQuery)

Criar uma avaliação

A Vertex AI envia automaticamente uma notificação por e-mail quando um job de avaliação de modelo é concluído.

Ver métricas de avaliação

Comparar métricas de avaliação

É possível comparar os resultados da avaliação em diferentes modelos, versões de modelos e jobs de avaliação. Para mais informações sobre o controle de versões de modelos, consulte Controle de versões no registro de modelos.

Só é possível comparar modelos do mesmo tipo, como de classificação, regressão ou previsão. Ao comparar modelos diferentes, todas as versões de modelo precisam ser do mesmo tipo.

Só é possível comparar cinco ou menos avaliações por vez.

1. Acesse o Vertex AI Model Registry no console Google Cloud :

   Acessar a página "Modelos"

2. Navegue até seu modelo ou versão de modelo:

   • Para comparar diferentes modelos na página Modelos, marque as caixas de seleção ao lado dos nomes dos modelos que você quer comparar.

   • Para comparar entre as diferentes versões de modelo:

     1. Clique no nome do seu modelo na página Modelos para abrir a lista de versões de modelo.

     2. Marque as caixas de seleção ao lado das versões que você quer comparar.

   • Para comparar jobs de avaliação em relação à mesma versão do modelo, faça o seguinte:

     1. Clique no nome do seu modelo na página Modelos para abrir a lista de versões de modelo.

     2. Clique no número da versão.

     3. Marque as caixas de seleção ao lado dos jobs de avaliação que você quer comparar.

3. Clique em Comparar.

A seguir

• Saiba como iterar no modelo.