Consultar un conjunto de datos de BigQuery vinculado

En este documento se describe cómo crear un conjunto de datos vinculado para un contenedor de registro y cómo consultar y ver los registros de ese conjunto de datos. Por ejemplo, puedes crear un conjunto de datos vinculado para ejecutar consultas en Log Analytics usando tus slots de BigQuery reservados. Del mismo modo, puede que quieras un conjunto de datos vinculado para poder escribir consultas en BigQuery o en Looker Studio que combinen tus datos de registro con otros datos empresariales.

No puedes crear un conjunto de datos de BigQuery vinculado para una vista de Analytics.

Si no conoce Log Analytics, consulte el resumen de Log Analytics.

Cuándo necesitas un conjunto de datos vinculado

No necesitas un conjunto de datos de BigQuery vinculado para enviar consultas a una vista de registro en la página Analíticas de registros cuando usas el servicio predeterminado de Cloud Logging. Puedes guardar y compartir tus consultas, así como guardar los resultados en un panel de control personalizado.

Necesitas un conjunto de datos de BigQuery vinculado si quieres hacer lo siguiente:

Un conjunto de datos de BigQuery vinculado a un segmento de registro permite que BigQuery lea los datos del segmento de registro.

Si ejecutas tus consultas en ranuras de BigQuery reservadas, se te aplicarán los precios de computación de capacidad. Además, si consultas tus datos mediante un servicio distinto de Analíticas de registros, es posible que se te apliquen otros cargos en función de ese servicio. Consulta la página de precios del servicio que estés usando.

Cómo se asignan los contenedores y las vistas de registros a los objetos de BigQuery

Cuando creas un conjunto de datos de BigQuery vinculado a un contenedor de registro, BigQuery puede acceder a un nuevo conjunto de datos. Especifica el nombre del conjunto de datos vinculado durante el proceso de vinculación. Las vistas de registro del segmento se asignan automáticamente a vistas virtuales del conjunto de datos. El nombre de una vista virtual es el mismo que el de la vista de registro correspondiente.

Por ejemplo, supongamos que el proyecto my_project tiene un segmento de registro llamado example y que este segmento tiene una vista de registro llamada _AllLogs. Si creas un conjunto de datos vinculado para ese contenedor de registro con el nombre my_dataset, la página Explorador de BigQuery mostrará una entrada my_project. Un elemento secundario de la entrada my_project es un conjunto de datos con el nombre my_dataset, y ese conjunto de datos incluye una vista virtual llamada _AllLogs.

Implicaciones del control de acceso al usar conjuntos de datos vinculados

Cuando una entidad consulta una vista de un conjunto de datos de BigQuery vinculado, la consulta se ejecuta a través de la capa de permisos de BigQuery, no de la capa de permisos de Cloud Logging. Por lo tanto, los roles y permisos de BigQuery concedidos a la entidad de seguridad en el conjunto de datos vinculado determinan si puede consultar el conjunto de datos.

No puedes restringir un principal a una vista virtual específica de un conjunto de datos vinculado. Cuando se ha concedido acceso a un principal al conjunto de datos vinculado, puede consultar todas las vistas de ese conjunto de datos.

Antes de empezar

En esta sección se describen los pasos que debe completar para poder usar Log Analytics.

Configurar segmentos de registros

Comprueba que tus contenedores de registros se hayan actualizado para usar Analíticas de registros:

  1. En la Google Cloud consola, ve a la página Almacenamiento de registros:

    Ve a Almacenamiento de registros.

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Registro.

  2. En cada contenedor de registros que tenga una vista de registro que quieras consultar, comprueba que en la columna Analíticas de registros disponibles se muestre Abrir. Si se muestra Cambiar a plan superior, haz clic en Cambiar a plan superior y completa el cuadro de diálogo.

Configurar roles y permisos de gestión de identidades y accesos

En esta sección se describen los roles o permisos de gestión de identidades y accesos que se necesitan para usar Log Analytics:

  • Para obtener los permisos que necesitas para usar Log Analytics y consultar vistas de registro, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos en tu proyecto:

    Puede restringir un principal a una vista de registro específica añadiendo una condición de IAM a la concesión del rol de acceso a la vista de registros que se haya hecho a nivel de proyecto o añadiendo un enlace de IAM al archivo de política de la vista de registro. Para obtener más información, consulta Controlar el acceso a una vista de registro.

    Estos son los mismos permisos que necesitas para ver las entradas de registro en la página Explorador de registros. Para obtener información sobre los roles adicionales que necesitas para consultar vistas en segmentos definidos por el usuario o para consultar la vista _AllLogs del segmento de registro _Default, consulta Roles de Cloud Logging.

  • Para obtener los permisos que necesitas para crear y consultar conjuntos de datos vinculados, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos en el proyecto que almacena el segmento de registro:

    • Para crear y ver conjuntos de datos vinculados, sigue estos pasos: Escritor de configuración de registros (roles/logging.configWriter)
    • Para ejecutar consultas en conjuntos de datos vinculados mediante slots de BigQuery reservados, sigue estos pasos:
    • Para ver los conjuntos de datos vinculados en BigQuery Studio, asigna todos los roles mencionados en este paso y el siguiente. Puede asignar este rol a un conjunto de datos o a su proyecto: Lector de datos de BigQuery (roles/bigquery.dataViewer)

Verificar tu edición de BigQuery

Si quieres consultar tus datos de registro desde la página Analíticas de registros usando las ranuras reservadas de BigQuery y si usas proyectos con Controles de Servicio de VPC, asegúrate de usar la edición Enterprise de BigQuery. Para obtener más información, consulta Información sobre las ediciones de BigQuery.

Si quieres usar las funciones de BigQuery para analizar tus datos de registro, actualiza un contenedor de registro para que use Analíticas de registros y, a continuación, crea un conjunto de datos vinculado. Con esta configuración, Logging almacena los datos de registro, pero BigQuery puede leerlos.

Google Cloud consola

Para crear un enlace a un conjunto de datos de BigQuery para un segmento de registro, siga estos pasos:

  1. En la Google Cloud consola, ve a la página Almacenamiento de registros:

    Ve a Almacenamiento de registros.

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Registro.

  2. Busque el contenedor de registro y compruebe que en la columna Log Analytics available (Log Analytics disponible) se muestre Open (Abrir).

    Si en esta columna se muestra Actualizar, significa que el contenedor de registros no se ha actualizado para usar Analíticas de registros. Configura Log Analytics:

    1. Haz clic en Actualizar.
    2. En el cuadro de diálogo, haz clic en Confirmar.

    Cuando se haya completado la actualización, ve al siguiente paso.

  3. En el registro de eventos, haga clic en Más. A continuación, haga clic en Editar registro de eventos.

    Se abrirá el cuadro de diálogo Editar contenedor de registro.

  4. Selecciona Crear un conjunto de datos de BigQuery que se vincule a este contenedor e introduce el nombre del nuevo conjunto de datos.

    El nombre del conjunto de datos debe ser único en cada Google Cloud proyecto. Si introduces el nombre de un conjunto de datos que ya existe, recibirás el siguiente error: Dataset name must be unique in the selected region.

  5. Haz clic en Hecho y, a continuación, en Actualizar contenedor.

    Después de que Logging muestre el nombre del conjunto de datos vinculado en la página Almacenamiento de registros, pueden pasar varios minutos hasta que BigQuery reconozca el conjunto de datos.

gcloud

Para crear un conjunto de datos vinculado para un contenedor de registros que se haya actualizado para usar Analíticas de registros, ejecuta el comando gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

El LINK_ID que proporciones se usará como nombre del conjunto de datos de BigQuery y el valor de este campo debe ser único para tu proyecto de Google Cloud .

El comando links create es asíncrono. El valor devuelto de un método asíncrono es un objeto Operation, que contiene información sobre el progreso del método. Cuando se completa el método, el objeto Operation contiene el estado. Para obtener más información, consulta Métodos de API asíncronos.

El comando links create tarda varios minutos en completarse.

Por ejemplo, el siguiente comando crea un conjunto de datos vinculado llamado mylink para el segmento de registro my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

El nombre del conjunto de datos debe ser único en cada Google Cloud proyecto. Si intentas crear un conjunto de datos con el mismo nombre que otro, recibirás el siguiente error:

BigQuery dataset with name "LINK_ID" already exists.

Si intenta crear un conjunto de datos vinculado para un contenedor de registros que no se ha actualizado para usar Log Analytics, se mostrará el siguiente error:

A link can only be created for an analytics-enabled bucket.

REST

Para crear un conjunto de datos de BigQuery vinculado a un bucket de registro actualizado, usa Analíticas de registros y llama al método asíncrono projects.locations.buckets.links.create de la API Cloud Logging.

Prepara los argumentos del método de la siguiente manera:

  1. Crea el cuerpo de la solicitud del comando create. El cuerpo de la solicitud tiene el formato de un objeto Link.
  2. Para el parámetro de consulta del comando, usa linkId=LINK_ID. El LINK_ID que proporciones se usará como nombre del conjunto de datos de BigQuery y el valor de este campo debe ser único para tu proyecto Google Cloud .

La respuesta a los métodos asíncronos es un objeto Operation. Este objeto contiene información sobre el progreso del método. Cuando se completa el método, el objeto Operation contiene el estado. Para obtener más información, consulta Métodos de API asíncronos.

El método links.create tarda varios minutos en completarse.

El nombre del conjunto de datos debe ser único en cada Google Cloud proyecto. Si intentas crear un conjunto de datos con el mismo nombre que otro, recibirás el siguiente error:

BigQuery dataset with name "LINK_ID" already exists.

Si intenta crear un conjunto de datos vinculado para un contenedor de registros que no se ha actualizado para usar Log Analytics, se mostrará el siguiente error:

A link can only be created for an analytics-enabled bucket.

Ejecutar consultas desde BigQuery

Si tiene un bucket de registro que usa Log Analytics y conjuntos de datos vinculados, puede ver y consultar sus conjuntos de datos vinculados en la página BigQuery Studio. Con esta configuración, puedes analizar tus conjuntos de datos mediante comandos, flujos de trabajo y conjuntos de datos disponibles solo en BigQuery Studio.

Para abrir BigQuery desde Log Analytics y, a continuación, consultar el conjunto de datos vinculado, siga estos pasos:

  1. Asegúrate de que haya un conjunto de datos vinculado al contenedor de registros que aloja la vista de registro que quieres consultar:

    1. En la Google Cloud consola, ve a la página Almacenamiento de registros:

      Ve a Almacenamiento de registros.

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Registro.

    2. Busca el contenedor de registros y comprueba que la columna Conjunto de datos vinculado de BigQuery muestra una URL. Si la entrada está vacía, debes crear un conjunto de datos vinculado. Para obtener información sobre estos pasos, consulta Crear un conjunto de datos de BigQuery vinculado.

  2. En la Google Cloud consola, ve a la página Analíticas de registros:

    Vaya a Analíticas de registros.

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Registro.

  3. En la lista Vistas de registro, busque y seleccione la vista de registro.

  4. En el panel Esquema, selecciona Consulta.

    El panel Consulta se rellena con una consulta predeterminada. También puedes introducir una consulta en el panel Consulta o editar una consulta que se muestre.

  5. En la barra de herramientas, despliega el botón Ejecutar consulta o Ejecutar en BigQuery y selecciona Abrir en BigQuery.

    Se abre la página BigQuery Studio. La instrucción FROM de la consulta se modifica para especificar la ruta a la vista de registro del conjunto de datos vinculado mediante la sintaxis de ruta de tabla de BigQuery.

    También puedes editar la consulta que se muestra.

  6. En la página BigQuery Studio, haga clic en Ejecutar consulta.

Ejecutar consultas de Analíticas de registros en tus ranuras de BigQuery reservadas

Si quieres minimizar el tiempo de ejecución de tus consultas de Log Analytics, ejecútalas en tus ranuras de BigQuery reservadas. La página Analíticas de registros está preconfigurada para usar el servicio Analíticas de registros predeterminado, lo que significa que tus consultas deben competir por un espacio de ranura limitado con otras consultas. Si no hay ranuras disponibles, la ejecución de la consulta se retrasa. Puedes eliminar estos retrasos ejecutando tus consultas en ranuras de BigQuery reservadas.

Para enviar una consulta SQL a una vista de registro, haz lo siguiente:

  1. Asegúrate de que haya un conjunto de datos vinculado al contenedor de registros que aloja la vista de registro que quieres consultar:

    1. En la Google Cloud consola, ve a la página Almacenamiento de registros:

      Ve a Almacenamiento de registros.

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Registro.

    2. Busca el contenedor de registros y comprueba que la columna Conjunto de datos vinculado de BigQuery muestra una URL. Si la entrada está vacía, debes crear un conjunto de datos vinculado. Para obtener información sobre estos pasos, consulta Crear un conjunto de datos de BigQuery vinculado.

  2. Asegúrate de haber configurado tus ranuras de BigQuery reservadas:

    1. Crear una reserva con horas disponibles específicas
    2. Crear asignaciones de reserva

  3. Configura Analíticas de registros para ejecutar tus consultas en las ranuras de BigQuery reservadas:

    1. En la Google Cloud consola, ve a la página Analíticas de registros:

      Vaya a Analíticas de registros.

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Registro.

    2. En la lista Vistas de registro, busca la vista y, a continuación, selecciona Consulta o introduce una consulta.

      Si en el panel de consultas se muestra un mensaje de error que hace referencia a la instrucción FROM, significa que no se puede resolver la tabla en una vista de registro específica. Para obtener información sobre cómo solucionar este error, consulta Error FROM clause must contain exactly one log view.

    3. Ve a la barra de herramientas y comprueba que se muestre un botón con la etiqueta Ejecutar en BigQuery.

      Si en la barra de herramientas se muestra Ejecutar consulta, haz clic en Configuración y selecciona BigQuery.

      Si el botón Ejecutar en BigQuery está inhabilitado, debes crear un conjunto de datos vinculado.

    4. Ejecuta la consulta.

      Puedes usar las opciones de la barra de herramientas para dar formato a tu consulta, borrarla y abrir la documentación de referencia de SQL de BigQuery.

Siguientes pasos