Datos de Google Security Operations en BigQuery

Compatible con:

Google Security Operations proporciona un data lake administrado de inteligencia de amenazas normalizada y enriquecida telemetría mediante la exportación de datos a BigQuery. Esto te permite hacer lo siguiente: lo siguiente:

  • Ejecutar consultas ad hoc directamente en BigQuery
  • Usa tus propias herramientas de inteligencia empresarial, como Looker o Microsoft Power BI, para crear paneles, informes y estadísticas.
  • Une los datos de Google Security Operations con conjuntos de datos de terceros.
  • Ejecuta análisis con herramientas de ciencia de datos o aprendizaje automático.
  • Ejecuta informes con paneles predeterminados predefinidos y paneles personalizados.

Google Security Operations exporta las siguientes categorías de datos a BigQuery:

  • Registros de eventos de UDM: Registros de UDM creados a partir de los datos de registro transferidos por los clientes Estos registros están enriquecidos con información de alias.
  • Coincidencias de reglas (detecciones): instancias en las que una regla coincide con uno o más eventos.
  • Coincidencias de IoC: artefactos (por ejemplo, dominios, direcciones IP) de eventos que con los feeds del indicador de compromiso (IoC). Esto incluye las coincidencias con valores feeds y feeds específicos de clientes.
  • Métricas de transferencia: Incluyen estadísticas, como la cantidad de líneas de registro transferidas, la cantidad de eventos producidos a partir de los registros, la cantidad de errores de registro que indican que no se pudieron analizar los registros y el estado de los reenvío de operaciones de seguridad de Google. Para obtener más información, consulta Esquema de BigQuery de las métricas de transferencia.
  • Gráfico de entidades y relaciones de entidades: Almacena la descripción de entidades y sus relaciones con otras entidades.

Flujo de exportación de datos

El flujo de exportación de datos es el siguiente:

  1. Se exporta un conjunto de datos de Google Security Operations, específicos para un caso de uso, a un Instancia de BigQuery que existe en un proyecto de Google Cloud específico del cliente y Google la administra. Los datos de cada caso de uso se exportan a una tabla independiente. Se exporta de Google Security Operations a BigQuery en un proyecto específico del cliente.
  2. Como parte de la exportación, Google Security Operations crea un modelo de datos predefinido de Looker para cada caso de uso.
  3. Los paneles predeterminados de Google Security Operations se crean usando los datos predefinidos de Looker e implementar modelos automáticamente. Puedes crear paneles personalizados en Google Security Operations con el Modelos de datos de Looker.
  4. Los clientes pueden escribir consultas ad hoc en los datos de Google Security Operations almacenados en Tablas de BigQuery.

  5. Los clientes también pueden crear estadísticas más avanzadas con otras herramientas de terceros integradas en BigQuery.

    Exportación de datos para procesarlos en BigQuery

La instancia de BigQuery se crea en la misma región que Google Security Operations usuario. Se crea una instancia de BigQuery para cada ID de cliente. Los registros sin procesar no se exportan al data lake de Google Security Operations en BigQuery. Los datos se exportan de forma progresiva. A medida que los datos se transfieren y se normalizan en Google Security Operations, se exportan a BigQuery. No puedes reabastecer una transferencia anterior de datos no estructurados. El período de retención de los datos en todas las tablas de BigQuery es de 365 días.

En el caso de las conexiones de Looker, comunícate con tu representante de Google Security Operations para solicitar el servicio credenciales de la cuenta que te permiten conectar tu instancia de Looker a Google Security Operations en BigQuery. La cuenta de servicio tendrá permiso de solo lectura.

Descripción general de las tablas

Google Security Operations crea el conjunto de datos datalake en BigQuery y las siguientes tablas:

  • entity_enum_value_to_name_mapping: Para los tipos enumerados en la La tabla entity_graph asigna los valores numéricos a los valores de string.
  • entity_graph: Almacena datos sobre entidades UDM.
  • events: Almacena datos sobre eventos de UDM.
  • ingestion_metrics: almacena estadísticas relacionadas con la transferencia y normalización de datos de fuentes de transferencia, como los servidores de reenvío de Google Security Operations, los feeds y la API de transferencia
  • ioc_matches: Almacena las coincidencias de IOC encontradas en función de eventos de UDM.
  • job_metadata: una tabla interna que se usa para hacer un seguimiento de la exportación de datos a en BigQuery.
  • rule_detections: Almacena las detecciones que muestran las reglas que se ejecutan en Google Security Operations.
  • rulesets: Almacena información sobre las detecciones seleccionadas de Google Security Operations. incluida la categoría a la que pertenece cada conjunto de reglas, si está habilitada y el estado de alerta actual.
  • udm_enum_value_to_name_mapping: Para los tipos enumerados en los eventos asigna los valores numéricos a los valores de cadena.
  • udm_events_aggregates: Almacena datos agregados resumidos por hora de eventos normalizados.

Accede a datos en BigQuery

Puedes ejecutar consultas directamente en BigQuery o conectar tu propio negocio de Google, como Looker o Microsoft Power BI, a BigQuery.

Para habilitar el acceso a la instancia de BigQuery, usa el CLI de Google Security Operations o API de acceso a BigQuery de Google Security Operations. Puedes proporcionar una dirección de correo electrónico para un usuario o un grupo de tu propiedad. Si configurar el acceso a un grupo, usar el grupo para administrar qué miembros del equipo pueden acceder a la instancia de BigQuery.

Para conectar Looker o alguna otra herramienta de inteligencia empresarial a BigQuery, comunícate con tu representante de Google Security Operations para obtener credenciales de cuenta de servicio que te permitan conectar una aplicación al conjunto de datos de BigQuery de Google Security Operations. El servicio tendrá el rol de visualizador de datos de BigQuery de IAM (roles/bigquery.dataViewer) y visualizador de trabajos de BigQuery (roles/bigquery.jobUser).

¿Qué sigue?