Usar a remoção de duplicação em pesquisas e painéis

Compatível com:

Neste documento, explicamos o que acontece quando você pesquisa dados no Google Security Operations. Às vezes, os resultados podem incluir duplicatas. Isso geralmente acontece porque a infraestrutura empresarial gera registros para o mesmo evento de vários sistemas. Por exemplo, seus sistemas de autenticação e segurança podem registrar um único evento de login.

Para reduzir os resultados duplicados, use campos da UDM na seção dedup da sintaxe YARA-L. Adicione campos da UDM a essa seção para retornar um único resultado para cada combinação distinta de valores. .

Eliminação de duplicidades em consultas

A remoção de duplicidades se aplica aos seguintes tipos de consultas de pesquisa e painel:

  • Consultas de pesquisa agregadas: incluem seções match, match e outcome ou aggregated outcome. A remoção de duplicidades ocorre depois que os resultados são determinados.

    Para consultas de pesquisa agregadas, inclua estes campos na seção dedup:

    • Campos da seção match
    • Campos da seção outcome

  • Consultas de pesquisa do UDM: exclua as seções match, outcome ou aggregated outcome. As consultas de pesquisa da UDM podem incluir uma seção outcome, desde que não haja agregações nem uma seção match.

    Para consultas da UDM, adicione estes campos à seção dedup:

    • Todos os campos de evento não repetidos, não de matriz e não agrupados
    • Campos de marcador de posição da seção events
    • Variáveis de resultado da seção outcome

Esta seção mostra a sintaxe YARA-L e pode ser executada na Pesquisa.

Exemplo: pesquisa simples de endereços IP exclusivos

A pesquisa de exemplo a seguir mostra conexões de rede entre eventos em que um endereço IP exclusivo na sua empresa (principal.ip) se conecta a um endereço IP externo exclusivo fora da sua empresa (target.ip). Os eventos são duplicados com base no principal.ip.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
dedup:
   principal.ip

Exemplo: endereços IP exclusivos

Semelhante ao exemplo anterior, a pesquisa abaixo mostra eventos de conexão de rede com endereços IP exclusivos. Aplicar dedup a principal.ip restringe os resultados a eventos associados a IPs únicos. A seção outcome mostra o total de bytes enviados entre principal.ip e target.ip, ordenando os resultados do maior para o menor volume de tráfego.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.ip
order:
   $total_bytes desc

Exemplo: pesquisa simples de nomes de host exclusivos

O exemplo a seguir pesquisa cada nome de host exclusivo acessado na sua empresa. Aplicar dedup a target.hostname restringe os resultados a eventos associados a nomes de host externos exclusivos.

metadata.log_type != ""
dedup:
    target.hostname

Confira abaixo um exemplo equivalente sem a opção dedup. Normalmente, ele retorna muito mais eventos.

metadata.log_type != "" AND target.hostname != ""

Exemplo: nomes de host exclusivos

Semelhante ao exemplo anterior, essa pesquisa mostra eventos de conexão de rede com nomes de host exclusivos. Aplicar a opção dedup a principal.hostname restringe os resultados a eventos associados a hosts únicos:

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""
match:
   target.hostname, principal.hostname
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.hostname
order:
   $total_bytes desc

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.