Cómo usar la eliminación de duplicados en la búsqueda y los paneles

Compatible con:

En este documento, se explica qué sucede cuando buscas datos en Google Security Operations. A veces, los resultados pueden incluir duplicados. Esto suele ocurrir porque la infraestructura empresarial genera registros para el mismo evento desde varios sistemas. Por ejemplo, es posible que tus sistemas de autenticación y seguridad registren un solo evento de acceso.

Para reducir los resultados duplicados, usa los campos del UDM en la sección dedup de tu sintaxis de YARA-L. Agrega campos de UDM a esta sección para devolver un solo resultado por cada combinación distinta de valores. .

Anulación de duplicación en las consultas

La eliminación de duplicados se aplica a los siguientes tipos de búsquedas y consultas del panel:

  • Búsquedas agregadas: Incluye las secciones match, match y outcome, o aggregated outcome. La deduplicación se produce después de que se determinan los resultados.

    Para las búsquedas agregadas, incluye estos campos en la sección dedup:

    • Campos de la sección match
    • Campos de la sección outcome

  • Búsquedas de UDM: Excluye las secciones match, outcome o aggregated outcome. Ten en cuenta que las búsquedas de UDM pueden incluir una sección outcome, siempre y cuando no haya agregaciones ni una sección match.

    Para las consultas de UDM, agrega estos campos a la sección dedup:

    • Cualquier campo de evento que no sea repetido, de array ni agrupado
    • Campos de marcador de posición de la sección events
    • Variables de resultado de la sección outcome

En esta sección, se muestra la sintaxis de YARA-L y se puede ejecutar en Search.

Ejemplo: Búsqueda simple de direcciones IP únicas

En la siguiente búsqueda de ejemplo, se muestran las conexiones de red entre eventos en los que una dirección IP única dentro de tu empresa (principal.ip) se conecta a una dirección IP externa única fuera de tu empresa (target.ip). Los eventos se anulan según la dirección principal.ip.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
dedup:
   principal.ip

Ejemplo: Direcciones IP únicas

Al igual que en el ejemplo anterior, la siguiente búsqueda de ejemplo muestra eventos de conexión de red con direcciones IP únicas. Aplicar dedup a principal.ip reduce los resultados a los eventos asociados con IPs únicas. En la sección outcome, se muestran los bytes totales enviados entre principal.ip y target.ip, y se ordenan los resultados del volumen de tráfico más alto al más bajo.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.ip
order:
   $total_bytes desc

Ejemplo: Búsqueda simple de nombres de host únicos

En el siguiente ejemplo, se busca cada nombre de host único al que se accedió desde tu empresa. Aplicar dedup a target.hostname reduce los resultados a eventos asociados con nombres de host externos únicos.

metadata.log_type != ""
dedup:
    target.hostname

A continuación, se muestra un ejemplo equivalente sin la opción dedup. Por lo general, devuelve muchos más eventos.

metadata.log_type != "" AND target.hostname != ""

Ejemplo: Nombres de host únicos

Al igual que en el ejemplo anterior, esta búsqueda muestra eventos de conexión de red con nombres de host únicos. Si aplicas la opción dedup a principal.hostname, se reducen los resultados a los eventos asociados con hosts únicos:

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""
match:
   target.hostname, principal.hostname
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.hostname
order:
   $total_bytes desc

¿Necesitas más ayuda? Obtén respuestas de miembros de la comunidad y profesionales de Google SecOps.