Métricas de monitoramento de modelos

A IA generativa na Vertex AI oferece um painel de observabilidade de modelos pré-criados para ajudar você a ver o comportamento, a integridade e o desempenho de modelos totalmente gerenciados. Os modelos totalmente gerenciados, também conhecidos como modelo como serviço (MaaS), são modelos fornecidos e hospedados pelo Google, como os modelos Gemini do Google e modelos de parceiros com endpoints gerenciados. O painel não inclui métricas de modelos auto-hospedados.

A IA generativa na Vertex AI coleta e informa automaticamente a atividade dos modelos de MaaS para ajudar você a resolver problemas de latência e monitorar a capacidade.

Um painel de observabilidade de modelo de amostra no console do Cloud
Exemplo de painel de observabilidade do modelo

Por que usar o painel de observabilidade do modelo

O painel de observabilidade do modelo ajuda você a entender o desempenho e o uso dos seus modelos. Como desenvolvedor de aplicativos, você pode usar o painel para as seguintes tarefas:

  • Monitore a interação do usuário: veja tendências no uso do modelo, como solicitações por segundo e latências de invocação, para entender como os usuários interagem com seus modelos.
  • Estimar custos: use métricas de uso do modelo para aproximar os custos associados à execução de cada modelo.
  • Resolver problemas: diagnostique problemas monitorando taxas de erros da API, latências do primeiro token e capacidade de processamento de tokens para verificar se os modelos estão respondendo de maneira confiável e eficiente.

Métricas de monitoramento disponíveis

O painel de observabilidade do modelo mostra um subconjunto das métricas coletadas pelo Cloud Monitoring. As principais métricas incluem:

  • Solicitações de modelo por segundo (QPS)
  • Capacidade de processamento de tokens
  • Latências do primeiro token
  • Taxas de erro da API

Para conferir todas as métricas disponíveis e suas descrições, consulte a seção "aiplatform" na página Google Cloud metrics.

Limitações

A Vertex AI captura métricas do painel apenas para chamadas de API ao endpoint de um modelo. O painel não inclui métricas de uso do console Google Cloud , como o Vertex AI Studio.

Ver o painel

  1. Na seção "Vertex AI" do console Google Cloud , acesse a página Painel.

    Acessar a Vertex AI

  2. Na seção Observabilidade do modelo, clique em Mostrar todas as métricas para acessar o painel de observabilidade do modelo no console do Google Cloud Observability.

  3. Para conferir as métricas de um modelo específico ou em um local específico, defina um ou mais filtros na parte de cima da página do painel.

Outros recursos