Use a remoção de duplicados na pesquisa e nos painéis de controlo

Compatível com:

Este documento explica o que acontece quando pesquisa dados no Google Security Operations. Por vezes, os resultados podem incluir duplicados. Isto ocorre frequentemente porque a infraestrutura empresarial gera registos para o mesmo evento a partir de vários sistemas. Por exemplo, os seus sistemas de autenticação e segurança podem registar um único evento de início de sessão.

Para reduzir os resultados duplicados, use campos UDM na secção dedup na sintaxe YARA-L. Adicione campos de UDM a esta secção para devolver um único resultado para cada combinação distinta de valores. .

Remoção de duplicados em consultas

A eliminação de duplicados aplica-se aos seguintes tipos de consultas de pesquisa e painel de controlo:

  • Consultas de pesquisa agregadas: inclui as secções match, match e outcome ou aggregated outcome. A eliminação de duplicados ocorre depois de os resultados serem determinados.

    Para consultas de pesquisa agregadas, inclua estes campos na secção dedup:

    • Campos da secção match
    • Campos da secção outcome

  • Consultas de pesquisa de UDM: exclua as secções match, outcome ou aggregated outcome. Tenha em atenção que as consultas de pesquisa de UDM podem incluir uma secção outcome desde que não existam agregações nem uma secção match.

    Para consultas UDM, adicione estes campos à secção dedup:

    • Quaisquer campos de eventos não repetidos, não externos à matriz e não agrupados
    • Campos de marcadores de posição da secção events
    • Variáveis de resultado da secção outcome

Esta secção mostra a sintaxe YARA-L e pode ser executada na Pesquisa.

Exemplo: pesquisa simples de endereços IP únicos

A pesquisa de exemplo seguinte apresenta ligações de rede entre eventos em que um endereço IP exclusivo na sua empresa (principal.ip) se liga a um endereço IP externo exclusivo fora da sua empresa (target.ip). Os eventos são desduplicados com base no principal.ip.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
dedup:
   principal.ip

Exemplo: endereços IP únicos

Semelhante ao exemplo anterior, a pesquisa de exemplo seguinte apresenta eventos de ligação de rede com endereços IP únicos. A aplicação de dedup a principal.ip restringe os resultados a eventos associados a IPs únicos. A secção outcome apresenta o total de bytes enviados entre principal.ip e target.ip, ordenando os resultados do volume de tráfego mais elevado para o mais baixo.

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.ip
order:
   $total_bytes desc

Exemplo: pesquisa simples de nomes de anfitrião únicos

O exemplo seguinte pesquisa cada nome de anfitrião único acedido a partir da sua empresa. A aplicação de dedup a target.hostname restringe os resultados a eventos associados a nomes de anfitriões externos únicos.

metadata.log_type != ""
dedup:
    target.hostname

Segue-se um exemplo equivalente sem a opção dedup. Normalmente, devolve substancialmente mais eventos.

metadata.log_type != "" AND target.hostname != ""

Exemplo: nomes de anfitriões únicos

Semelhante ao exemplo anterior, esta pesquisa apresenta eventos de ligação de rede com nomes de anfitrião exclusivos. A aplicação da opção dedup restringe os resultados a eventos associados a anfitriões únicos:principal.hostname

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""
match:
   target.hostname, principal.hostname
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.hostname
order:
   $total_bytes desc

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais da Google SecOps.