Usar la desduplicación en búsquedas y paneles de control

Disponible en:

En este documento se explica qué ocurre cuando buscas datos en Google Security Operations. A veces, los resultados pueden incluir duplicados. Esto suele ocurrir porque la infraestructura de las empresas genera registros del mismo evento desde varios sistemas. Por ejemplo, tanto tu sistema de autenticación como tu sistema de seguridad pueden registrar un único evento de inicio de sesión.

Para reducir los resultados duplicados, usa los campos UDM en la sección dedup de tu sintaxis YARA-L. Añada campos de UDM a esta sección para devolver un solo resultado por cada combinación de valores distinta. .

Anulación de duplicación en consultas

La desduplicación se aplica a los siguientes tipos de consultas de búsqueda y de panel de control:

  • Consultas de búsqueda agregadas: incluye las secciones match, match y outcome, o aggregated outcome. La deduplicación se produce después de determinar los resultados.

    En el caso de las consultas de búsqueda agregadas, incluya estos campos en la sección dedup:

    • Campos de la sección match
    • Campos de la sección outcome

  • Consultas de búsqueda de UDM: excluye las secciones match, outcome o aggregated outcome. Tenga en cuenta que las consultas de búsqueda de UDM pueden incluir una sección outcome siempre que no haya agregaciones ni una sección match.

    En las consultas de UDM, añade estos campos a la sección dedup:

    • Cualquier campo de evento que no sea repetido, de matriz ni agrupado
    • Campos de marcador de posición de la sección events
    • Variables de resultados de la sección outcome

En esta sección se muestra la sintaxis de YARA-L, que se puede ejecutar en Búsqueda.

Ejemplo: búsqueda sencilla de direcciones IP únicas

La siguiente búsqueda de ejemplo muestra las conexiones de red entre eventos en los que una dirección IP única de su empresa (principal.ip) se conecta a una dirección IP externa única fuera de su empresa (target.ip). Los eventos se desduplican en función de principal.ip.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
dedup:
   principal.ip

Ejemplo: direcciones IP únicas

Al igual que en el ejemplo anterior, la siguiente búsqueda muestra eventos de conexión de red con direcciones IP únicas. Al aplicar dedup a principal.ip, los resultados se limitan a los eventos asociados a IPs únicas. En la sección outcome se muestra el total de bytes enviados entre principal.ip y target.ip, y los resultados se ordenan de mayor a menor volumen de tráfico.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.ip
order:
   $total_bytes desc

Ejemplo: Búsqueda sencilla de nombres de host únicos

En el siguiente ejemplo se busca cada nombre de host único al que se ha accedido desde tu empresa. Aplicar dedup a target.hostname reduce los resultados a eventos asociados a nombres de host externos únicos.

metadata.log_type != ""
dedup:
    target.hostname

A continuación, se muestra un ejemplo equivalente sin la opción dedup. Normalmente, devuelve muchos más eventos.

metadata.log_type != "" AND target.hostname != ""

Ejemplo: Nombres de host únicos

Al igual que en el ejemplo anterior, esta búsqueda muestra eventos de conexión de red con nombres de host únicos. Si aplicas la opción dedup a principal.hostname los resultados se limitarán a los eventos asociados a hosts únicos:

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""
match:
   target.hostname, principal.hostname
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.hostname
order:
   $total_bytes desc

¿Necesitas más ayuda? Recibe respuestas de los miembros de la comunidad y de los profesionales de Google SecOps.