Gerar métricas do Gemini Code Assist

Este documento descreve como gerar métricas do Gemini Code Assist. Por exemplo, é possível gerar métricas que informam o uso ativo diário ou a aceitação de recomendações de código para vários produtos do Google Cloud , incluindo o Cloud Logging, a Google Cloud CLI, o Cloud Monitoring e o BigQuery.

Se você precisar ativar e conferir os registros de comandos, respostas e metadados do Gemini para Google Cloud, consulte Ver registros do Gemini para Google Cloud .

Antes de começar

Listar o número de usuários únicos

As instruções a seguir descrevem como usar a CLI gcloud para listar o número de usuários únicos do Gemini Code Assist no período de 28 dias mais recente:

  1. Em um ambiente shell, verifique se você atualizou todos os componentes instalados da CLI gcloud para a versão mais recente:

    gcloud components update

  2. Leia as entradas de registro para usuários e uso do Gemini Code Assist:

    gcloud logging read 'resource.type=cloudaicompanion.googleapis.com/Instance labels.product=~"code_assist"' \
--freshness 28d \
--project PROJECT_ID \
--format "csv(timestamp.date('%Y-%m-%d'),labels.user_id)"

    Substitua PROJECT_ID pelo ID do seu projeto Google Cloud .

    Use o comando Unix uniq para identificar usuários de forma exclusiva por dia.

    O resultado será assim:

    2024-10-30,user1@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user1@company.com
2024-10-28,user1@company.com

Criar um gráfico que mostre o uso diário

As etapas a seguir mostram como usar o Monitoring para criar gráficos de uso diário que mostram o total agregado de usuários ativos diários do Gemini Code Assist e o número de solicitações por dia.

  1. Crie uma métrica do Monitoring com base nos dados de registro que grave o número de usuários do Gemini Code Assist:

    1. No console Google Cloud , acesse a página Análise de registros.

      Acessar a Análise de registros

      Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

    2. No painel de consultas, insira a consulta a seguir e clique em Executar consulta:

       resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist" AND jsonPayload.@type="type.googleapis.com/google.cloud.cloudaicompanion.logging.v1.ResponseLog"

    3. Na barra de ferramentas, clique em Ações e selecione Criar métrica.

      A caixa de diálogo Criar métrica com base em registros aparece.

    4. Configure os seguintes detalhes da métrica:

      • Verifique se o Tipo de métrica está definido como Contador.
      • Nomeie a métrica code_assist_example.

      • Verifique se a Seleção de filtro está definida para apontar para o local em que os registros estão sendo armazenados, seja Projeto ou Bucket.

        Para informações sobre como gerar métricas do Monitoring com base nos dados de registro, consulte Visão geral das métricas com base em registros.

    5. Clique em Criar métrica.

      Um banner de sucesso é exibido, explicando que a métrica foi criada.

    6. No banner de sucesso, clique em Ver no Metrics Explorer.

      O Metrics Explorer é aberto e mostra um gráfico pré-configurado.

  2. Salve o gráfico em um painel:

    1. Na barra de ferramentas, clique em Salvar gráfico.
    2. Opcional: atualize o título do gráfico.
    3. Use o menu Painel para selecionar um painel personalizado ou criar um novo.
    4. Clique em Salvar gráfico.

Analisar o uso com o BigQuery

As etapas a seguir mostram como usar o BigQuery para analisar seus dados de registro.

Há duas abordagens que podem ser usadas para analisar os dados de registro no BigQuery:

Com as duas abordagens, é possível usar o SQL para consultar e analisar os dados de registro e representar os resultados dessas consultas em um gráfico. Se você usa o Log Analytics, pode salvar seus gráficos em um painel personalizado. No entanto, há diferenças nos preços. Para mais detalhes, consulte Preços do Log Analytics e Preços do BigQuery.

Esta seção descreve como criar um coletor de registros para exportar entradas de registro selecionadas para o BigQuery e fornece uma lista de exemplos de consultas. Para saber mais sobre a Análise de registros, consulte Consultar e analisar registros com a Análise de registros e Consultar um conjunto de dados vinculado do BigQuery.

Crie um coletor de registros

  1. No console Google Cloud , acesse a página Roteador de registros:

    Acessar o roteador de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Selecione o projeto Google Cloud em que as entradas de registro que você quer encaminhar foram criadas.
  3. Selecione Criar coletor.

  4. No painel Detalhes do coletor, insira os seguintes detalhes:

    • Em Nome do coletor, forneça um identificador para o coletor. Depois de criar o coletor, não será possível renomeá-lo, mas você poderá excluí-lo e criar um novo coletor.

    • Em Descrição do coletor, descreva a finalidade ou o caso de uso do coletor.

  5. No painel Destino do coletor, configure os seguintes detalhes:

    • Em Selecionar serviço de coletor, escolha o Conjunto de dados do BigQuery.
    • Em Selecionar conjunto de dados do BigQuery, crie um conjunto de dados do BigQuery e nomeie-o como code_assist_bq.

  6. Abra o painel Escolher registros para incluir no coletor e, no campo Criar filtro de inclusão, insira o seguinte:

    resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist"

  7. Opcional: para verificar se você inseriu o filtro correto, selecione Visualizar registros. O Explorador de registros é aberto em uma nova guia com o filtro pré-preenchido.

  8. Clique em Criar coletor.

Autorizar o coletor de registros a gravar entradas de registro no conjunto de dados

Quando você tem acesso de proprietário ao conjunto de dados do BigQuery, o Cloud Logging concede ao coletor de registros as permissões necessárias para gravar dados de registro.

Se você não tiver acesso de proprietário ou não encontrar entradas no conjunto de dados, talvez o coletor de registros não tenha as permissões necessárias. Para resolver essa falha, siga as instruções em Definir permissões de destino.

Consultas

Use as consultas de exemplo do BigQuery a seguir para gerar dados no nível do usuário e agregados sobre o uso ativo diário e as sugestões geradas.

Antes de usar as consultas de exemplo a seguir, obtenha o caminho totalmente qualificado do coletor recém-criado. Para conseguir o caminho, faça o seguinte:

  1. No console Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. Na lista de recursos, localize o conjunto de dados chamado code_assist_bq. Esses dados são o destino do coletor.

  3. Selecione a tabela de respostas abaixo de code_assist_bq_dataset, clique no ícone e em Copiar ID para gerar o ID do conjunto de dados. Anote para usar nas seções a seguir como a variável GENERATED_BIGQUERY_TABLE.

Listar usuários individuais por dia

SELECT DISTINCT labels.user_id as user, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
ORDER BY use_date

Substitua GENERATED_BIGQUERY_TABLE pelo caminho totalmente qualificado da tabela de resposta do BigQuery que você anotou nas etapas anteriores para criar um gravador.

Listar usuários agregados por dia

SELECT COUNT(DISTINCT labels.user_id) as total_users, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

Listar solicitações individuais por dia e por usuário

SELECT COUNT(*), DATE(timestamp) as use_date, labels.user_id as user
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date, user
ORDER BY use_date

Listar solicitações agregadas por dia e data

SELECT COUNT(*), DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

A seguir