Consulta y analiza registros con el Análisis de registros

En este documento, se describe cómo consultar y analizar los datos de registro almacenados en los buckets de registros que se actualizaron para usar el Análisis de registros. Puedes consultar los registros de estos buckets con SQL, lo que te permite filtrar y agregar tus registros. Para ver los resultados de tu consulta, puedes usar el formulario tabular o visualizar los datos con gráficos. Estas tablas y gráficos se pueden guardar en tus paneles personalizados.

Puedes consultar una vista de registro en un bucket de registros o una vista de estadísticas. Cuando consultas una vista de registro, el esquema corresponde al de la estructura de datos LogEntry. Dado que el creador de una vista de estadísticas determina el esquema, un caso de uso para las vistas de estadísticas es transformar los datos de registro del formato LogEntry en un formato que sea más adecuado para ti.

Puedes usar el Explorador de registros para ver las entradas de registro almacenadas en los buckets de registros de tu proyecto, independientemente de si el bucket de registros se actualizó para usar Log Analytics.

Log Analytics no quita las entradas de registro duplicadas, lo que podría afectar la forma en que escribes tus consultas. Además, existen algunas restricciones cuando se usa Log Analytics. Para obtener más información sobre estos temas, consulta los siguientes documentos:

Acerca de los conjuntos de datos vinculados

El Análisis de registros admite la creación de conjuntos de datos de BigQuery vinculados, que permiten que BigQuery tenga acceso de lectura a los datos subyacentes. Si decides crear un conjunto de datos vinculado, puedes hacer lo siguiente:

En este documento, no se describe cómo crear un conjunto de datos vinculado ni cómo configurar Log Analytics para ejecutar consultas en los espacios reservados. Si te interesan esos temas, consulta Cómo consultar un conjunto de datos vinculado en BigQuery.

Antes de comenzar

En esta sección, se describen los pasos que debes completar antes de poder usar Log Analytics.

Configura buckets de registros

Asegúrate de que tus buckets de registros se hayan actualizado para usar el Análisis de registros:

  1. En la consola de Google Cloud, ve a la página Explorador de registros:

    Ir al Almacenamiento de registros

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

  2. Para cada bucket de registros que tenga una vista de registros que deseas consultar, asegúrate de que la columna Log Analytics disponible muestre Abierto. Si aparece Upgrade, haz clic en Upgrade y completa el diálogo.

Configura roles y permisos de IAM

En esta sección, se describen los roles o los permisos de IAM necesarios para usar Log Analytics:

  • Para obtener los permisos que necesitas para usar Log Analytics y consultar vistas de registro, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:

    Puedes restringir un principal a una vista de registro específica agregando una condición de IAM a la concesión de rol de Acceso a la vista de registros que se realiza a nivel del proyecto o agregando una vinculación de IAM al archivo de política de la vista de registro. Para obtener más información, consulta Controla el acceso a una vista de registro.

    Estos son los mismos permisos que necesitas para ver las entradas de registro en la página Explorador de registros. Para obtener información sobre los roles adicionales que necesitas para consultar vistas en buckets definidos por el usuario o para consultar la vista _AllLogs del bucket de registro _Default, consulta Roles de Cloud Logging.

  • Para obtener los permisos que necesitas para consultar las vistas de estadísticas, pídele a tu administrador que te otorgue el rol de IAM de Usuario de estadísticas de Observabilidad (roles/observability.analyticsUser) en tu proyecto.

Cómo consultar una vista de registro o una vista de estadísticas

Cuando soluciones un problema, te recomendamos que cuentes las entradas de registro con un campo que coincida con un patrón o que calcules la latencia promedio de la solicitud HTTP. Para realizar estas acciones, ejecuta una consulta de SQL en una vista de registro.

Para emitir una consulta de SQL a una vista de registro, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Análisis de registros:

    Ir a Análisis de registros

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

  2. Si deseas cargar la consulta predeterminada, haz lo siguiente:

    1. En el menú Views, ve a la sección Logs o Analytics Views y selecciona la vista que deseas consultar.

      Para encontrar una vista, puedes usar la barra Filtro o desplazarte por la lista:

      • Las vistas de registro se enumeran por BUCKET_ID.LOG_VIEW_ID, donde estos campos hacen referencia a los IDs del bucket de registro y la vista de registro.

      • Las vistas de Analytics se enumeran por LOCATION.ANALYTICS_VIEW_ID, en los que estos campos hacen referencia a la ubicación y el ID de una vista de Analytics. Las vistas de Analytics están en versión preliminar pública.

    2. En la barra de herramientas Esquema, haz clic en Consulta.

      El panel Consulta se actualiza con una consulta de SQL que consulta la vista de estadísticas que seleccionaste.

  3. Si quieres ingresar una consulta, haz lo siguiente:

    • Para especificar un período, te recomendamos que uses el selector de períodos. Si puedes agregar una cláusula WHERE que especifique el campo timestamp, ese valor anula la configuración del selector de período y se inhabilita ese selector.

    • Para ver ejemplos, consulta Consultas de ejemplo.

    • Para consultar una vista de registro, la cláusula FROM de tu consulta debe tener el siguiente formato:

      FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`

    • Para consultar una vista de estadísticas, la cláusula FROM de tu consulta debe tener el siguiente formato:

      FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`

    A continuación, se describe el significado de los campos de las expresiones anteriores:

    • PROJECT_ID: Es el identificador del proyecto.
    • LOCATION: Es la ubicación de la vista de registro o de la vista de estadísticas.
    • BUCKET_ID: Es el nombre o el ID del bucket de registros.
    • LOG_VIEW_ID: Es el identificador de la vista de registro, que se limita a 100 caracteres y solo puede incluir letras, dígitos, guiones bajos y guiones.
    • ANALYTICS_VIEW_ID: Es el ID de la vista de estadísticas, que se limita a 100 caracteres y solo puede incluir letras, dígitos, guiones bajos y guiones.

  4. En la barra de herramientas, asegúrate de que se muestre un botón con la etiqueta Ejecutar consulta.

    Si la barra de herramientas muestra Run in BigQuery, haz clic en Settings y selecciona Log Analytics (default).

  5. Ejecuta tu consulta.

    Se ejecuta la consulta y el resultado se muestra en la pestaña Resultados.

    Puedes usar las opciones de la barra de herramientas para dar formato a la consulta, borrarla y abrir la documentación de referencia de BigQuery SQL.

  6. Explora los resultados de la consulta. Puedes ver los resultados como una tabla o un gráfico. Los gráficos se pueden guardar en un panel personalizado. Para obtener más información, consulta Cómo graficar los resultados de las consultas de SQL.

Cómo mostrar el esquema

El esquema define su estructura y el tipo de datos para cada campo. Esta información es importante para ti porque determina cómo construyes tus consultas. Por ejemplo, supongamos que deseas calcular la latencia promedio de las solicitudes HTTP. Debes saber cómo acceder al campo de latencia y si se almacena como un número entero, como 100, o como una cadena, como "100". Cuando los datos de latencia se almacenan como una cadena, la consulta debe transmitir el valor a un valor numérico antes de calcular un promedio.

Cuando el tipo de datos de una columna es JSON, el esquema no muestra los campos disponibles para esa columna. Por ejemplo, una entrada de registro puede tener un campo con el nombre json_payload. Cuando se actualiza un bucket de registros para usar el Análisis de registros, ese campo se asigna a una columna con un tipo de datos JSON. El esquema no indica los campos secundarios de la columna. Es decir, no puedes usar el esquema para determinar si json_payload.url es una referencia válida.

Para identificar el esquema, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Análisis de registros:

    Ir a Análisis de registros

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

  2. En el panel Views, busca la vista de registro o la vista de análisis y, luego, selecciónala.

    Se muestra el esquema. En el caso de las vistas de registro, el esquema es fijo y corresponde a la estructura de datos LogEntry. En el caso de las vistas de estadísticas, puedes modificar la consulta de SQL para cambiar el esquema.

¿Qué sigue?