Utiliser la déduplication dans la recherche et les tableaux de bord

Compatible avec :

Ce document explique ce qui se passe lorsque vous recherchez des données dans Google Security Operations. Il peut arriver que les résultats incluent des doublons. Cela se produit souvent parce que l'infrastructure d'entreprise génère des journaux pour le même événement à partir de plusieurs systèmes. Par exemple, vos systèmes d'authentification et de sécurité peuvent tous deux consigner un même événement de connexion.

Pour réduire les résultats en double, utilisez les champs UDM dans la section dedup de votre syntaxe YARA-L. Ajoutez des champs UDM à cette section pour renvoyer un seul résultat pour chaque combinaison distincte de valeurs. .

Déduplication dans les requêtes

La déduplication s'applique aux types de requêtes de recherche et de tableau de bord suivants :

  • Requêtes de recherche agrégées : incluent les sections match, match et outcome, ou aggregated outcome. La déduplication a lieu une fois les résultats déterminés.

    Pour les requêtes de recherche agrégées, incluez les champs suivants dans la section dedup :

    • Champs de la section match
    • Champs de la section outcome

  • Requêtes de recherche UDM : excluez les sections match, outcome ou aggregated outcome. Notez que les requêtes de recherche UDM peuvent inclure une section outcome tant qu'il n'y a pas d'agrégats ni de section match.

    Pour les requêtes UDM, ajoutez les champs suivants à la section dedup :

    • Tous les champs d'événement non répétés, non matriciels et non groupés
    • Champs d'espace réservé de la section events
    • Variables de résultat de la section outcome

Cette section présente la syntaxe YARA-L et peut être exécutée dans Recherche.

Exemple : Recherche simple d'adresses IP uniques

L'exemple de recherche suivant affiche les connexions réseau entre les événements où une adresse IP unique de votre entreprise (principal.ip) se connecte à une adresse IP externe unique en dehors de votre entreprise (target.ip). Les événements sont dédupliqués en fonction de principal.ip.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
dedup:
   principal.ip

Exemple : Adresses IP uniques

Comme dans l'exemple précédent, la requête de recherche suivante affiche les événements de connexion réseau avec des adresses IP uniques. L'application de dedup à principal.ip permet de limiter les résultats aux événements associés à des adresses IP uniques. La section outcome affiche le nombre total d'octets envoyés entre principal.ip et target.ip, en classant les résultats du volume de trafic le plus élevé au plus faible.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.ip
order:
   $total_bytes desc

Exemple : Recherche simple de noms d'hôte uniques

L'exemple suivant recherche chaque nom d'hôte unique auquel votre entreprise a accédé. L'application de dedup à target.hostname permet de limiter les résultats aux événements associés à des noms d'hôte externes uniques.

metadata.log_type != ""
dedup:
    target.hostname

Voici un exemple équivalent sans l'option dedup. Il renvoie généralement beaucoup plus d'événements.

metadata.log_type != "" AND target.hostname != ""

Exemple : Noms d'hôte uniques

Comme dans l'exemple précédent, cette recherche affiche les événements de connexion réseau avec des noms d'hôte uniques. L'application de l'option dedup à principal.hostname permet de limiter les résultats aux événements associés à des hôtes uniques :

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""
match:
   target.hostname, principal.hostname
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.hostname
order:
   $total_bytes desc

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.