Datos de Google Security Operations en BigQuery

Se admite en los siguientes países:

Google Security Operations proporciona un data lake administrado de telemetría normalizada y enriquecida con inteligencia contra amenazas mediante la exportación de datos a BigQuery. Esto te permite hacer lo siguiente:

  • Ejecuta consultas ad hoc directamente en BigQuery.
  • Usa tus propias herramientas de inteligencia empresarial, como Looker o Microsoft Power BI, para crear paneles, informes y estadísticas.
  • Combina los datos de Google Security Operations con conjuntos de datos de terceros.
  • Ejecuta análisis con herramientas de ciencia de datos o de aprendizaje automático.
  • Ejecuta informes con paneles predeterminados y personalizados predefinidos.

Google Security Operations exporta las siguientes categorías de datos a BigQuery:

  • Registros de eventos de la AUA: Son registros de la AUA creados a partir de datos de registro que transfieren los clientes. Estos registros se enriquecen con información de alias.
  • Coincidencias de reglas (detección): Son instancias en las que una regla coincide con uno o más eventos.
  • Coincidencias de IoC: artefactos (por ejemplo, dominios, direcciones IP) de eventos que coinciden con los feeds de indicadores de compromiso (IoC). Esto incluye las coincidencias de feeds globales y feeds específicos del cliente.
  • Métricas de transferencia: Incluyen estadísticas, como la cantidad de líneas de registro transferidas, la cantidad de eventos producidos a partir de los registros, la cantidad de errores de registro que indican que no se pudieron analizar los registros y el estado de los reenviadores de Operaciones de seguridad de Google. Para obtener más información, consulta Esquema de BigQuery de las métricas de transferencia.
  • Gráfico de entidades y relaciones entre entidades: Almacena la descripción de las entidades y sus relaciones con otras entidades.

Flujo de exportación de datos

El flujo de exportación de datos es el siguiente:

  1. Un conjunto de datos de Google Security Operations, específico de un caso de uso, se exporta a una instancia de BigQuery que existe en un proyecto de Google Cloud específico del cliente y que administra Google. Los datos de cada caso de uso se exportan a una tabla independiente. Se exporta de Google Security Operations a BigQuery en un proyecto específico del cliente.
  2. Como parte de la exportación, Google Security Operations crea un modelo de datos de Looker predefinido para cada caso de uso.
  3. Los paneles predeterminados de Google Security Operations se crean con los modelos de datos predefinidos de Looker. Puedes crear paneles personalizados en Google Security Operations con los modelos de datos predefinidos de Looker.
  4. Los clientes pueden escribir consultas ad hoc en los datos de Google Security Operations almacenados en las tablas de BigQuery.

  5. Los clientes también pueden crear estadísticas más avanzadas con otras herramientas de terceros que se integran en BigQuery.

    Exportación de datos para procesarlos en BigQuery

La instancia de BigQuery se crea en la misma región que el inquilino de Google Security Operations. Se crea una instancia de BigQuery para cada ID de cliente. Los registros sin procesar no se exportan al lago de datos de Google Security Operations en BigQuery. Los datos se exportan de forma progresiva. A medida que los datos se transfieren y se normalizan en Google Security Operations, se exportan a BigQuery. No puedes reabastecer los datos transferidos anteriormente. El período de retención de los datos en todas las tablas de BigQuery es de 365 días.

Para las conexiones de Looker, comunícate con tu representante de Google Security Operations para obtener las credenciales de la cuenta de servicio que te permitan conectar tu instancia de Looker a los datos de Google Security Operations en BigQuery. La cuenta de servicio tendrá permiso de solo lectura.

Descripción general de las tablas

Google Security Operations crea el conjunto de datos datalake en BigQuery y las siguientes tablas:

  • entity_enum_value_to_name_mapping: En el caso de los tipos enumerados en la tabla entity_graph, asigna los valores numéricos a los valores de cadena.
  • entity_graph: Almacena datos sobre las entidades del UDM.
  • events: Almacena datos sobre los eventos de UDM.
  • ingestion_metrics: Almacena estadísticas relacionadas con la transferencia y la normalización de datos de fuentes de transferencia específicas, como los reenvíos de Google Security Operations, los feeds y la API de transferencia.
  • ioc_matches: Almacena las coincidencias de IOC que se encontraron con los eventos de la AUA.
  • job_metadata: Es una tabla interna que se usa para hacer un seguimiento de la exportación de datos a BigQuery.
  • rule_detections: Almacena las detecciones que muestran las reglas que se ejecutan en Google Security Operations.
  • rulesets: Almacena información sobre las detecciones seleccionadas de Google Security Operations, incluida la categoría a la que pertenece cada conjunto de reglas, si está habilitado y el estado actual de las alertas.
  • udm_enum_value_to_name_mapping: Para los tipos enumerados en la tabla de eventos, asigna los valores numéricos a los valores de cadena.
  • udm_events_aggregates: Almacena datos agregados resumidos por hora de eventos normalizados.

Accede a los datos en BigQuery

Puedes ejecutar consultas directamente en BigQuery o conectar tu propia herramienta de inteligencia empresarial, como Looker o Microsoft Power BI, a BigQuery.

Para habilitar el acceso a la instancia de BigQuery, usa la CLI de Google Security Operations o la API de acceso a BigQuery de Google Security Operations. Puedes proporcionar una dirección de correo electrónico de un usuario o un grupo que te pertenezca. Si configuras el acceso a un grupo, úsalo para administrar qué miembros del equipo pueden acceder a la instancia de BigQuery.

Para conectar Looker o alguna otra herramienta de inteligencia empresarial a BigQuery, comunícate con tu representante de Google Security Operations para obtener credenciales de cuenta de servicio que te permitan conectar una aplicación al conjunto de datos de BigQuery de Google Security Operations. La cuenta de servicio tendrá el rol de visualizador de datos de BigQuery de IAM (roles/bigquery.dataViewer) y el rol de visualizador de trabajos de BigQuery (roles/bigquery.jobUser).

¿Qué sigue?