Generar métricas de Gemini Code Assist

En este documento se describe cómo generar métricas de Gemini Code Assist. Por ejemplo, puedes generar métricas que informen sobre el uso activo diario o la aceptación de recomendaciones de código para varios productos, como Cloud Logging, la CLI de Google Cloud, Cloud Monitoring y BigQuery. Google Cloud

Si necesitas habilitar y ver los registros de peticiones, respuestas y metadatos de Gemini para Google Cloud , consulta Ver registros de Gemini para Google Cloud .

Antes de empezar

Lista el número de usuarios únicos

En las siguientes instrucciones se describe cómo usar gcloud CLI para consultar el número de usuarios únicos de Gemini Code Assist en los últimos 28 días:

  1. En un entorno de shell, asegúrate de haber actualizado todos los componentes instalados de la CLI de gcloud a la versión más reciente:

    gcloud components update

  2. Lee las entradas de registro de los usuarios y el uso de Gemini Code Assist:

    gcloud logging read 'resource.type=cloudaicompanion.googleapis.com/Instance labels.product=~"code_assist"' \
--freshness 28d \
--project PROJECT_ID \
--format "csv(timestamp.date('%Y-%m-%d'),labels.user_id)"

    Sustituye PROJECT_ID por el ID de tu proyecto. Google Cloud

    Puedes usar el comando de Unix uniq para identificar de forma única a los usuarios cada día.

    El resultado debería ser similar al siguiente:

    2024-10-30,user1@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user1@company.com
2024-10-28,user1@company.com

Crea un gráfico que muestre el uso diario

En los pasos siguientes se explica cómo usar Monitoring para crear gráficos de uso diario que muestren el total agregado de usuarios activos diarios de Gemini Code Assist y el número de sus solicitudes por día.

  1. Crea una métrica de Monitoring a partir de tus datos de registro que registre el número de usuarios de Gemini Code Assist:

    1. En la Google Cloud consola, ve a la página Explorador de registros:

      Ve al Explorador de registros.

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Registro.

    2. En el panel de consultas, introduce la siguiente consulta y haz clic en Ejecutar consulta:

       resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist" AND jsonPayload.@type="type.googleapis.com/google.cloud.cloudaicompanion.logging.v1.ResponseLog"

    3. En la barra de herramientas, haga clic en Acciones y, a continuación, seleccione Crear métrica.

      Aparecerá el cuadro de diálogo Crear métrica basada en registros.

    4. Configure los siguientes detalles de la métrica:

      • Comprueba que el Tipo de métrica sea Contador.
      • Asigna el nombre code_assist_example a la métrica.

      • Asegúrate de que la opción Selección de filtros apunte a la ubicación en la que se almacenan los registros, ya sea Proyecto o Contenedor.

        Para obtener información sobre cómo generar métricas de Monitoring a partir de los datos de registro, consulta el artículo Información general sobre las métricas basadas en registros.

    5. Haz clic en Crear métrica.

      Se muestra un banner de éxito que explica que se ha creado la métrica.

    6. En ese banner de éxito, haz clic en Ver en el explorador de métricas.

      Se abre Explorador de métricas y se muestra un gráfico preconfigurado.

  2. Para guardar el gráfico en un panel de control, sigue estos pasos:

    1. En la barra de herramientas, haz clic en Guardar gráfico.
    2. Opcional: Cambia el título del gráfico.
    3. Usa el menú Panel de control para seleccionar un panel de control personalizado o crear uno.
    4. Haz clic en Guardar gráfico.

Analizar el uso con BigQuery

En los pasos que se incluyen a continuación se explica cómo usar BigQuery para analizar los datos de registro.

Hay dos métodos que puede usar para analizar sus datos de registro en BigQuery:

  • Crea un receptor de registro y exporta tus datos de registro a un conjunto de datos de BigQuery.
  • Actualiza el segmento de registro que almacena tus datos de registro para usar Analíticas de registros y, a continuación, crea un conjunto de datos de BigQuery vinculado.

Con ambos enfoques, puedes usar SQL para consultar y analizar tus datos de registro, así como representar los resultados de esas consultas en gráficos. Si usas Analíticas de registros, puedes guardar tus gráficos en un panel de control personalizado. Sin embargo, hay diferencias en los precios. Para obtener más información, consulta los precios de Log Analytics y los precios de BigQuery.

En esta sección se describe cómo crear un sumidero de registros para exportar entradas de registro concretas a BigQuery y se proporciona una lista de consultas de ejemplo. Si quieres obtener más información sobre Log Analytics, consulta Consultar y analizar registros con Log Analytics y Consultar un conjunto de datos de BigQuery vinculado.

Crear un sumidero de registros

  1. En la Google Cloud consola, ve a la página Enrutador de registros:

    Ve a Enrutador de registros.

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Registro.

  2. Selecciona el Google Cloud proyecto en el que se originan las entradas de registro que quieres enrutar.
  3. Selecciona Crear sumidero.

  4. En el panel Detalles del receptor, introduce los siguientes datos:

    • En Sink name (Nombre del sumidero), proporciona un identificador para el sumidero. Una vez que hayas creado el receptor, no podrás cambiarle el nombre, pero sí eliminarlo y crear uno nuevo.

    • En Descripción del sumidero, describe el propósito o el caso práctico del sumidero.

  5. En el panel Destino de sincronización, configura los siguientes detalles:

    • En Seleccionar servicio de receptor, selecciona Conjunto de datos de BigQuery.
    • En Seleccionar conjunto de datos de BigQuery, crea un conjunto de datos de BigQuery y llámalo code_assist_bq.

  6. Abre el panel Seleccionar los registros que se incluirán en el sumidero y, en el campo Crear filtro de inclusión, introduce lo siguiente:

    resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist"

  7. Opcional: Para verificar que has introducido el filtro correcto, selecciona Vista previa de los registros. El Explorador de registros se abre en una pestaña nueva con el filtro rellenado automáticamente.

  8. Haz clic en Crear sumidero.

Autorizar el sumidero de registros para que escriba entradas de registro en el conjunto de datos

Si tienes acceso de propietario al conjunto de datos de BigQuery, Cloud Logging concede al receptor de registro los permisos necesarios para escribir datos de registro.

Si no tienes acceso de propietario o no ves ninguna entrada en tu conjunto de datos, es posible que el receptor de registro no tenga los permisos necesarios. Para resolver este error, siga las instrucciones que se indican en Definir permisos de destino.

Consultas

Puedes usar las siguientes consultas de BigQuery de ejemplo para generar datos a nivel de usuario y agregados sobre el uso activo diario y las sugerencias generadas.

Antes de usar las siguientes consultas de ejemplo, debes obtener la ruta completa del nuevo receptor creado. Para obtener la ruta, haz lo siguiente:

  1. En la Google Cloud consola, ve a la página BigQuery.

    Ir a BigQuery

  2. En la lista de recursos, busca el conjunto de datos llamado code_assist_bq. Estos datos son el destino del sumidero.

  3. Seleccione la tabla de respuestas de debajo de code_assist_bq_dataset, haga clic en el icono y, a continuación, en Copiar ID para generar el ID del conjunto de datos. Anota este valor para usarlo en las secciones siguientes como la variable GENERATED_BIGQUERY_TABLE.

Mostrar los usuarios concretos por día

SELECT DISTINCT labels.user_id as user, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
ORDER BY use_date

Sustituye GENERATED_BIGQUERY_TABLE por la ruta completa de la tabla de respuesta de BigQuery que has anotado en los pasos anteriores para crear un sink.

Lista de usuarios agregados por día

SELECT COUNT(DISTINCT labels.user_id) as total_users, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

Lista de solicitudes individuales por día y usuario

SELECT COUNT(*), DATE(timestamp) as use_date, labels.user_id as user
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date, user
ORDER BY use_date

Lista de solicitudes agregadas por día y fecha

SELECT COUNT(*), DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

Siguientes pasos