Cómo Google Security Operations enriquece los datos de eventos y entidades

En este documento, se describe cómo Google Security Operations enriquece los datos y los campos del modelo de datos unificado (UDM) en los que se almacenan.

Para habilitar una investigación de seguridad, Google Security Operations transfiere datos contextuales de diferentes fuentes, realiza un análisis de los datos y proporciona contexto adicional sobre los artefactos en un entorno del cliente. Los analistas pueden usar datos enriquecidos de manera contextual en las reglas del motor de detección, las búsquedas investigativas o los informes.

Google Security Operations realiza los siguientes tipos de enriquecimiento:

• Enriquece las entidades con el gráfico de entidades y la combinación.
• Calcula y enriquece cada entidad con una estadística de prevalencia que indica su popularidad en el entorno.
• Calcula la primera vez que se vieron ciertos tipos de entidades en el entorno o la más reciente.
• Enriquece las entidades con información de las listas de amenazas de Navegación segura.
• Enriquece los eventos con datos de ubicación geográfica.
• Enriquece las entidades con datos de WHOIS.
• Enriquece los eventos con metadatos de archivos de VirusTotal.
• Enriquece las entidades con datos de relaciones de VirusTotal.
• Transferir y almacenar datos de Google Cloud Threat Intelligence

entity_type, product_name y vendor_name identifican los datos enriquecidos de WHOIS, Navegación segura, GCTI Threat Intelligence, los metadatos de VirusTotal y la relación de VirusTotal. Cuando crees una regla que use estos datos enriquecidos, te recomendamos que incluyas un filtro en la regla que identifique el tipo de enriquecimiento específico que deseas incluir. Este filtro ayuda a mejorar el rendimiento de la regla. Por ejemplo, incluye los siguientes campos de filtro en la sección events de la regla que une los datos de WHOIS.

$enrichment.graph.metadata.entity_type = "DOMAIN_NAME"
$enrichment.graph.metadata.product_name = "WHOISXMLAPI Simple Whois"
$enrichment.graph.metadata.vendor_name = "WHOIS"

Enriquece las entidades con el grafo de entidades y la combinación

El gráfico de entidades identifica las relaciones entre las entidades y los recursos de tu entorno. Cuando se transfieren entidades de diferentes fuentes a Google Security Operations, el gráfico de entidades mantiene una lista de adyacencia según la relación entre las entidades. El gráfico de entidades realiza la enriquecimiento del contexto mediante la anulación de duplicación y la combinación.

Durante la anulación de duplicación, se eliminan los datos redundantes y se forman intervalos para crear una entidad común. Por ejemplo, considera dos entidades e1 y e2 con marcas de tiempo t1 y t2, respectivamente. Las entidades e1 y e2 se eliminan y las marcas de tiempo que son diferentes no se usan durante la eliminación. Los siguientes campos no se usan durante la anulación de duplicación:

• collected_timestamp
• creation_timestamp
• interval

Durante la combinación, se forman relaciones entre las entidades durante un intervalo de tiempo de un día. Por ejemplo, considera un registro de entidad de user A que tiene acceso a un bucket de Cloud Storage. Hay otro registro de entidad de user A que es propietario de un dispositivo. Después de la combinación, estas dos entidades dan como resultado una sola entidad user A que tiene dos relaciones. Una relación es que user A tiene acceso al bucket de Cloud Storage y la otra es que user A es el propietario del dispositivo. Google Security Operations realiza un período de visualización de cinco días cuando crea datos de contexto de la entidad. Esto controla los datos tardíos y crea un tiempo de vida implícito en los datos de contexto de la entidad.

Google Security Operations usa alias para enriquecer los datos de telemetría y gráficos de entidades para enriquecer las entidades. Las reglas del motor de detección unen las entidades combinadas con los datos de telemetría enriquecidos para proporcionar estadísticas adaptadas al contexto.

Un evento que contiene un sustantivo de entidad se considera una entidad. Estos son algunos tipos de eventos y sus correspondientes tipos de entidades:

• ASSET_CONTEXT corresponde a ASSET.
• RESOURCE_CONTEXT corresponde a RESOURCE.
• USER_CONTEXT corresponde a USER.
• GROUP_CONTEXT corresponde a GROUP.

El gráfico de entidades distingue entre los datos contextuales y los indicadores de compromiso (IOC) con la información de amenaza.

Cuando uses datos enriquecidos contextualmente, ten en cuenta el siguiente comportamiento del gráfico de entidades:

• No agregues intervalos en la entidad, sino que permite que el gráfico de la entidad crearlos. Esto se debe a que los intervalos se generan durante la anulación de duplicación, a menos que se especifique lo contrario.
• Si se especifican los intervalos, solo se eliminan los duplicados de los mismos eventos y se conserva la entidad más reciente.
• Para garantizar que las reglas activas y las retrocazas funcionen como se espera, las entidades deben transferirse al menos una vez al día.
• Si las entidades no se transfieren a diario y solo se transfieren una vez en dos o más días, es posible que las reglas publicadas funcionen como se espera. Sin embargo, es posible que las búsquedas retroactivas pierdan el contexto del evento.
• Si las entidades se transfieren más de una vez al día, se eliminan las duplicaciones para que quede una sola entidad.
• Si faltan los datos de eventos de un día, se usarán temporalmente los datos del día anterior para garantizar que las reglas activas funcionen correctamente.

El gráfico de entidades también combina eventos con identificadores similares para obtener una vista consolidada de los datos. Esta combinación se realiza según la siguiente lista de identificadores:

• Asset
  • entity.asset.product_object_id
  • entity.asset.hostname
  • entity.asset.asset_id
  • entity.asset.mac
• User
  • entity.user.product_object_id
  • entity.user.userid
  • entity.user.windows_sid
  • entity.user.email_addresses
  • entity.user.employee_id
• Resource
  • entity.resource.product_object_id
  • entity.resource.name
• Group
  • entity.group.product_object_id
  • entity.group.email_addresses
  • entity.group.windows_sid

Cómo calcular estadísticas de prevalencia

Google Security Operations realiza análisis estadísticos de los datos existentes y entrantes, y enriquece los registros de contexto de la entidad con métricas relacionadas con la prevalencia.

La prevalencia es un valor numérico que indica qué tan popular es una entidad. La popularidad se define por la cantidad de recursos que acceden a un artefacto, como un dominio, un hash de archivo o una dirección IP. Cuanto mayor sea el número, más popular será la entidad. Por ejemplo, google.com tiene valores de prevalencia altos porque se accede a él con frecuencia. Si se accede a un dominio con poca frecuencia, tendrá valores de prevalencia más bajos. Por lo general, es menos probable que las entidades más populares sean maliciosas.

Estos valores enriquecidos son compatibles con el dominio, la IP y el archivo (hash). Los valores se calculan y almacenan en los siguientes campos.

Las estadísticas de prevalencia de cada entidad se actualizan todos los días. Los valores se almacenan en un contexto de entidad independiente que puede usar el motor de detección, pero no se muestra en las vistas de investigación de Operaciones de seguridad de Google ni en la búsqueda de la UDM.

Puedes usar los siguientes campos cuando crees reglas del motor de detección.

Los valores de day_max y rolling_max se calculan de manera diferente. Los campos se calculan de la siguiente manera:

• day_max se calcula como la puntuación de prevalencia máxima del artefacto durante el día, donde un día se define como de 12:00:00 a.m. a 11:59:59 p.m. (UTC).
• rolling_max se calcula como la puntuación de prevalencia máxima por día (es decir, day_max) del artefacto durante el período anterior de 10 días.
• day_count se usa para calcular rolling_max y siempre es el valor 10.

Cuando se calcula para un dominio, la diferencia entre day_max y day_max_sub_domains (y rolling_max y rolling_max_sub_domains) es la siguiente:

• rolling_max y day_max representan la cantidad de direcciones IP internas únicas diarias que acceden a un dominio determinado (sin incluir subdominios).
• rolling_max_sub_domains y day_max_sub_domains representan la cantidad de direcciones IP internas únicas que acceden a un dominio determinado (incluidos los subdominios).

Las estadísticas de prevalencia se calculan en los datos de entidades transferidos recientemente. Los cálculos no se realizan de forma retroactiva en los datos transferidos anteriormente. Las estadísticas tardan aproximadamente 36 horas en calcularse y almacenarse.

Calcula la primera vez que se vio y la última vez que se vio una entidad

Google Security Operations realiza un análisis estadístico de los datos entrantes y enriquece los registros de contexto de la entidad con las horas de primera y última aparición de una entidad. El campo first_seen_time almacena la fecha y la hora en que se vio la entidad por primera vez en el entorno del cliente. El campo last_seen_time almacena la fecha y hora de la observación más reciente.

Dado que varios indicadores (campos de la AUA) pueden identificar un activo o un usuario, la primera vez que se ve es la primera vez que se ve cualquiera de los indicadores que identifican al usuario o al activo en el entorno del cliente.

Los siguientes son todos los campos de la UDM que describen un recurso:

• entity.asset.hostname
• entity.asset.ip
• entity.asset.mac
• entity.asset.asset_id
• entity.asset.product_object_id

Los siguientes son todos los campos de la AUA que describen a un usuario:

• entity.user.windows_sid
• entity.user.product_object_id
• entity.user.userid
• entity.user.employee_id
• entity.user.email_addresses

La primera vez que se ve un elemento y la última vez que se ve permiten que un analista correlacione cierta actividad que se produjo después de que se vio por primera vez un dominio, un archivo (hash), un recurso, un usuario o una dirección IP, o que dejó de producirse después de que se vio por última vez el dominio, el archivo (hash) o la dirección IP.

Los campos first_seen_time y last_seen_time se completan con entidades que describen un dominio, una dirección IP y un archivo (hash). Para las entidades que describen un usuario o un recurso, solo se propaga el campo first_seen_time. Estos valores no se calculan para las entidades que describen otros tipos, como un grupo o un recurso.

Las estadísticas se calculan para cada entidad en todos los espacios de nombres. Google Security Operations no calcula las estadísticas de cada entidad dentro de espacios de nombres individuales. Actualmente, estas estadísticas no se exportan al esquema events de Google Security Operations en BigQuery.

Los valores enriquecidos se calculan y almacenan en los siguientes campos de la UDM:

Enriquece los eventos con datos de ubicación geográfica

Los datos de registro entrantes pueden incluir direcciones IP externas sin la información de ubicación correspondiente. Esto es común cuando un evento registra información sobre la actividad del dispositivo que no está en una red empresarial. Por ejemplo, un evento de acceso a un servicio en la nube contendría una dirección IP de origen o de cliente según la dirección IP externa de un dispositivo que devuelve la NAT del operador.

Google Security Operations proporciona datos enriquecidos con geolocalización para las direcciones IP externas para permitir detecciones de reglas más potentes y un mayor contexto para las investigaciones. Por ejemplo, Google Security Operations podría usar una dirección IP externa para enriquecer el evento con información sobre el país (como Estados Unidos), un estado específico (como Alaska) y la red en la que se encuentra la dirección IP (como el ASN y el nombre del operador).

Google Security Operations usa los datos de ubicación que proporciona Google para brindar una ubicación geográfica aproximada y la información de red de una dirección IP. Puedes escribir reglas del motor de detección en estos campos de los eventos. Los datos de eventos enriquecidos también se exportan a BigQuery, donde se pueden usar en los informes y paneles de Google Security Operations.

Las siguientes direcciones IP no se enriquecen:

• Espacios de direcciones IP privadas RFC 1918, ya que son internos a la red empresarial.
• Espacio de direcciones IP de multidifusión RFC 5771, ya que las direcciones de multidifusión no pertenecen a una sola ubicación.
• Direcciones locales únicas IPv6
• Direcciones IP del servicio de Google Cloud Las excepciones son las direcciones IP externas de Compute Engine de Google Cloud, que se enriquecen.

Google Security Operations enriquece los siguientes campos de la AUA con datos de geolocalización:

• principal
• target
• src
• observer

En el siguiente ejemplo, se muestra el tipo de información geográfica que se agregaría a un evento de la AUA con una dirección IP etiquetada en los Países Bajos:

Inconsistencias

La tecnología de ubicación geográfica de IP de Google usa una combinación de datos de red y otras entradas y métodos para proporcionar la ubicación de la dirección IP y la resolución de red a nuestros usuarios. Es posible que otras organizaciones usen indicadores o métodos diferentes, lo que, en ocasiones, puede generar resultados distintos.

Si surgen casos en los que experimentas una incoherencia en los resultados de la geolocalización de IP que proporciona Google, abre un caso de asistencia al cliente para que podamos investigar y, si corresponde, corregir nuestros registros en el futuro.

Enriquece las entidades con información de las listas de amenazas de la Navegación segura

Google Security Operations transfiere datos de Navegación segura relacionados con los valores hash de los archivos. Los datos de cada archivo se almacenan como una entidad y proporcionan contexto adicional sobre el archivo. Los analistas pueden crear reglas del motor de detección que consulten estos datos de contexto de la entidad para crear estadísticas adaptadas al contexto.

La siguiente información se almacena con el registro de contexto de la entidad.

Enriquece las entidades con datos de WHOIS

Google Security Operations transfiere datos de WHOIS a diario. Durante la transferencia de datos entrantes de los dispositivos de los clientes, Google Security Operations evalúa los dominios en los datos de los clientes en función de los datos de WHOIS. Cuando hay una coincidencia, Google Security Operations almacena los datos de WHOIS relacionados con el registro de entidad del dominio. Para cada entidad, donde entity.metadata.entity_type = DOMAIN_NAME, Google Security Operations enriquece la entidad con información de WHOIS.

Google Security Operations propaga los datos enriquecidos de WHOIS en los siguientes campos del registro de entidad:

• entity.domain.admin.attribute.labels
• entity.domain.audit_update_time
• entity.domain.billing.attribute.labels
• entity.domain.billing.office_address.country_or_region
• entity.domain.contact_email
• entity.domain.creation_time
• entity.domain.expiration_time
• entity.domain.iana_registrar_id
• entity.domain.name_server
• entity.domain.private_registration
• entity.domain.registrant.company_name
• entity.domain.registrant.office_address.state
• entity.domain.registrant.office_address.country_or_region
• entity.domain.registrant.email_addresses
• entity.domain.registrant.user_display_name
• entity.domain.registrar
• entity.domain.registry_data_raw_text
• entity.domain.status
• entity.domain.tech.attribute.labels
• entity.domain.update_time
• entity.domain.whois_record_raw_text
• entity.domain.whois_server
• entity.domain.zone

Para obtener una descripción de estos campos, consulta el documento de la lista de campos del modelo de datos unificado.

Transferir y almacenar datos de la inteligencia de amenazas de Google Cloud

Google Security Operations transfiere datos de las fuentes de datos de Google Cloud Threat Intelligence (GCTI) que te proporcionan información contextual que puedes usar cuando investigas la actividad en tu entorno. Puedes consultar las siguientes fuentes de datos:

• Nodos de salida de Tor de GCTI: Direcciones IP que son nodos de salida conocidos de Tor.
• Objetos binarios benignos de GCTI: Son archivos que forman parte de la distribución original del sistema operativo o que se actualizaron con un parche oficial del sistema operativo. Algunos objetos binarios oficiales del sistema operativo que un adversario abusó a través de una actividad común en los ataques de ataque de supervivencia se excluyen de esta fuente de datos, como los que se enfocan en los vectores de entrada iniciales.

• Herramientas de acceso remoto de GCTI: Archivos que los agentes maliciosos suelen usar con frecuencia. Por lo general, estas herramientas son aplicaciones legítimas que, a veces, se usan de forma inadecuada para conectarse de forma remota a sistemas comprometidos.

  Estos datos contextuales se almacenan de forma global como entidades. Puedes consultar los datos con las reglas del motor de detección. Incluye los siguientes campos y valores de la UDM en la regla para consultar estas entidades globales:

• graph.metadata.vendor_name = Google Cloud Threat Intelligence

• graph.metadata.product_name = GCTI Feed

En este documento, el marcador de posición <variable_name> representa el nombre de la variable única que se usa en una regla para identificar un registro de la AUA.

Fuentes de datos de Google Cloud Threat Intelligence con y sin tiempo

Las fuentes de datos de Google Cloud Threat Intelligence son temporales o atemporales.

Las fuentes de datos con tiempo tienen un período asociado con cada entrada. Esto significa que, si se genera una detección el día 1, se espera que se genere la misma detección para el día 1 durante una búsqueda retrospectiva.

Las fuentes de datos atemporales no tienen un período asociado. Esto se debe a que solo se debe considerar el conjunto de datos más reciente. Las fuentes de datos intemporales se usan con frecuencia para datos como los valores hash de archivos que no se espera que cambien. Si no se genera ninguna detección el día 1, es posible que se genere una detección para el día 1 durante una búsqueda retroactiva porque se agregó una entrada nueva.

Datos sobre las direcciones IP de los nodos de salida de Tor

Google Security Operations transfiere e almacena las direcciones IP que son nodos de salida de Tor conocidos. Los nodos de salida de Tor son puntos en los que el tráfico sale de la red de Tor. La información transferida de esta fuente de datos se almacena en los siguientes campos de la AUA. Los datos de esta fuente tienen un horario.

Datos sobre archivos del sistema operativo benignos

Google Security Operations transfiere y almacena los valores hash de archivos de la fuente de datos de objetos binarios benignos de GCTI. La información transferida desde esta fuente de datos se almacena en los siguientes campos de la UDM. Los datos de esta fuente son atemporales.

Datos sobre las herramientas de acceso remoto

Las herramientas de acceso remoto incluyen valores hash de archivos para herramientas de acceso remoto conocidas, como los clientes de VNC que los actores maliciosos suelen usar. Por lo general, estas herramientas son aplicaciones legítimas que, a veces, se usan de forma abusiva para conectarse de forma remota a sistemas comprometidos. La información transferida desde esta fuente de datos se almacena en los siguientes campos de la AUA. Los datos de esta fuente son atemporales.

Enriquece eventos con metadatos de archivos de VirusTotal

Google Security Operations enriquece los valores hash de los archivos en los eventos de la UDM y proporciona contexto adicional durante una investigación. Los eventos de la AUA se enriquecen a través del seudónimo de hash en un entorno de cliente. El seudónimo de hash combina todos los tipos de hashes de archivos y proporciona información sobre un hash de archivo durante una búsqueda.

La integración de los metadatos de archivos de VirusTotal y el enriquecimiento de relaciones con Google SecOps se puede usar para identificar patrones de actividad maliciosa y hacer un seguimiento de los movimientos de software malicioso en una red.

Un registro sin procesar proporciona información limitada sobre el archivo. VirusTotal enriquece el evento con metadatos de archivos para proporcionar un volcado de hashes no válidos junto con metadatos sobre el archivo no válido. Los metadatos incluyen información como nombres de archivo, tipos, funciones importadas y etiquetas. Puedes usar esta información en el motor de búsqueda y detección de la UDM con YARA-L para comprender los eventos de archivos dañados y, en general, durante la búsqueda de amenazas. Un ejemplo de caso de uso es detectar cualquier modificación en el archivo original, que, a su vez, importaría los metadatos del archivo para la detección de amenazas.

La siguiente información se almacena con el registro. Para obtener una lista de todos los campos del UDM, consulta Lista de campos del modelo de datos unificado.