Estatísticas e agregações na pesquisa usando a YARA-L 2.0

Compatível com:

Nesta página, descrevemos como executar consultas estatísticas em eventos da UDM e agrupar os resultados para análise usando o YARA-L 2.0.

Ao processar um grande volume de eventos da UDM gerados no seu ambiente, é importante entender as tendências nos dados de pesquisa da UDM. É possível usar estatísticas e funções de agregação para receber insights úteis dos registros da UDM. A pesquisa do UDM é compatível com todas as funções de agregação no YARA-L 2.0.

Casos de uso para consultas estatísticas

É possível usar consultas estatísticas para os seguintes casos de uso:

  • Acompanhe métricas importantes: é possível medir a distribuição e a frequência de eventos da UDM e ativos associados, como hosts que se comunicam com endereços IP maliciosos conhecidos.

  • Detectar comportamento anômalo: é possível identificar picos de atividade que podem indicar incidentes de segurança, como aumentos inesperados no tráfego de rede ou logins fora do horário de expediente.

  • Analise tendências ao longo do tempo: você pode avaliar as mudanças na postura de segurança para avaliar a eficácia do controle ou identificar áreas de melhoria, como monitorar flutuações na contagem de vulnerabilidades ao longo do tempo.

É possível agrupar e ordenar os resultados da consulta de pesquisa da UDM usando uma sintaxe semelhante à YARA-L estruturada usada nas regras do mecanismo de detecção. Para mais informações, consulte Sintaxe da linguagem YARA-L 2.0.

A estrutura da consulta YARA-L 2.0 é a seguinte:

  • Instrução de filtragem: especifica as condições para filtrar eventos.

  • Correspondência (opcional): define os campos para agrupar por. Para mais informações, consulte Sintaxe da seção de correspondência.

  • Resultado: especifica as saídas da consulta. Para mais informações, consulte Sintaxe da seção de resultados.

  • Ordem: determina a ordem dos resultados da consulta como asc (crescente) ou desc (decrescente). Se a ordem (asc ou desc) não for especificada, o padrão será asc.

  • Limite (opcional): define o número máximo de linhas que a consulta retorna.

Confira um exemplo de uso de ordem e limite:

metadata.log_type = "OKTA"

match:
    principal.ip
Outcome:
    $user_count_by_ip = count(principal.user.userid)

order:
 $user_count_by_ip desc

limit:
    20

Agregações

A pesquisa da UDM é compatível com as seguintes funções de agregação:

matriz

array(expression)

Descrição

A função array retorna todos os valores em forma de lista. Ela trunca a lista para um máximo de 25 elementos aleatórios.

Tipos de dados de parâmetros

STRING

Tipo de retorno

LIST

Exemplos de código

Exemplo

Retorna uma matriz que contém tipos de eventos.

  $event_type = metadata.event_type
  outcome:
    $event_type_array = array($event_type)

array_distinct

array_distinct(expression)

Descrição

A função array_distinct retorna todos os valores distintos em forma de lista. Ela trunca a lista para um máximo de 25 elementos aleatórios. A deduplicação para gerar uma lista distinta é aplicada antes do truncamento.

Tipos de dados de parâmetros

STRING

Tipo de retorno

LIST

Exemplos de código

Exemplo

Retorna uma matriz que contém tipos de eventos distintos.

  $event_type = metadata.event_type
  outcome:
    $event_type_array = array_distinct($event_type)

méd.

avg(numericExpression)

Descrição

A função avg retorna a média dos valores em uma coluna numérica. Ele ignora os valores NULL durante o cálculo. Ela é usada com frequência com match para calcular as médias em grupos específicos nos dados.

Tipos de dados de parâmetros

NUMBER

Tipo de retorno

NUMBER

Exemplos de código

Exemplo

Encontre todos os eventos em que target.ip não está vazio. Para todos os eventos que corresponderem a principal.ip, armazene a média de metadata.event_timestamp.seconds em uma variável chamada avg_seconds.

  target.ip != ""
  match:
    principal.ip
  outcome:
    $avg_seconds = avg(metadata.event_timestamp.seconds)

contagem

count(expression)

Descrição

A função count retorna o número de linhas em um grupo. Ele é usado com frequência com match para receber contagens de grupos específicos nos dados.

Tipos de dados de parâmetros

STRING

Tipo de retorno

NUMBER

Exemplos de código

Exemplo

Retorna a contagem de logins de usuários bem-sucedidos ao longo do tempo.

  metadata.event_type = "USER_LOGIN"
  $security_result = security_result.action
  $security_result = "ALLOW"
  $date = timestamp.get_date(metadata.event_timestamp.seconds, "America/Los_Angeles")
  match:
      $security_result, $date
  outcome:
      $event_count = count(metadata.id)

count_distinct

count_distinct(expression)

Descrição

A função count_distinct retorna o número de linhas que têm valores distintos em um grupo. Ela é usada com frequência com match para receber contagens de grupos específicos nos dados.

Tipos de dados de parâmetros

STRING

Tipo de retorno

NUMBER

Exemplos de código

Exemplo

Retorna a contagem de logins de usuários distintos bem-sucedidos ao longo do tempo.

  metadata.event_type = "USER_LOGIN"
  $security_result = security_result.action
  $security_result = "ALLOW"
  $date = timestamp.get_date(metadata.event_timestamp.seconds, "America/Los_Angeles")
  match:
      $security_result, $date
  outcome:
      $event_count = count_distinct(metadata.id)

max

max(numericExpression)

Descrição

A função max retorna o máximo dos valores em uma coluna numérica. Geralmente é usado com match para extrair o valor máximo de cada grupo nos dados.

Tipos de dados de parâmetros

NUMBER

Tipo de retorno

NUMBER

Exemplos de código

Exemplo

Encontre todos os eventos em que target.ip não está vazio. Para todos os eventos que corresponderem a principal.ip, armazene o máximo de metadata.event_timestamp.seconds em uma variável chamada max_seconds.

  target.ip != ""
  match:
    principal.ip
  outcome:
    $max_seconds = max(metadata.event_timestamp.seconds)

min

min(numericExpression)

Descrição

A função min retorna o mínimo dos valores em uma coluna numérica. Ele é usado com frequência com match para extrair o valor mínimo de cada grupo nos dados.

Tipos de dados de parâmetros

NUMBER

Tipo de retorno

NUMBER

Exemplos de código

Exemplo

Encontre todos os eventos em que target.ip não está vazio. Para todos os eventos que correspondem a principal.ip, armazene o mínimo de metadata.event_timestamp.seconds em uma variável chamada min_seconds.

  target.ip != ""
  match:
    principal.ip
  outcome:
    $min_seconds = min(metadata.event_timestamp.seconds)

ponderada

sum(numericExpression)

Descrição

A função sum retorna a soma dos valores em uma coluna numérica. Ela ignora os valores NULL durante o cálculo. Ele é usado com frequência com match para calcular as somas em diferentes grupos nos dados.

Tipos de dados de parâmetros

NUMBER

Tipo de retorno

NUMBER

Exemplos de código

Exemplo

Encontre todos os eventos em que target.ip não está vazio. Para todos os eventos que corresponderem a principal.ip, armazene uma soma de network.sent_bytes em uma variável chamada sent_bytes.

  target.ip != ""
  match:
    principal.ip
  outcome:
    $sent_bytes = sum(network.sent_bytes)

stddev

stddev(numericExpression)

Descrição

A função stddev retorna o desvio padrão em todos os valores possíveis.

Tipos de dados de parâmetros

NUMBER

Tipo de retorno

NUMBER

Exemplos de código

Exemplo

Encontre todos os eventos em que target.ip não está vazio. Para todos os eventos que correspondem a principal.ip, armazene o desvio padrão de metadata.event_timestamp.seconds em uma variável chamada stddev_seconds.

  target.ip != ""
  match:
    principal.ip
  outcome:
    $stddev_seconds = stddev(metadata.event_timestamp.seconds)

mais antiga

earliest(timestamp)

Descrição

A função earliest retorna o carimbo de data/hora mais antigo de um conjunto de registros com resolução de microssegundos.

Tipos de dados de parâmetros

TIMESTAMP

Tipo de retorno

TIMESTAMP

Exemplos de código

Exemplo

Para todos os eventos que correspondem a hostname, armazene o mais antigo de metadata.event_timestamp na variável start.

  $hostname = principal.hostname
  match:
    $hostname
  outcome:
    $start = earliest(metadata.event_timestamp)

mais recente

latest(timestamp)

Descrição

A função latest retorna o carimbo de data/hora mais recente de um conjunto de registros com resolução de microssegundos.

Tipos de dados de parâmetros

TIMESTAMP

Tipo de retorno

TIMESTAMP

Exemplos de código

Exemplo

Para todos os eventos que correspondem a hostname, armazene o mais recente de metadata.event_timestamp na variável end.

  $hostname = principal.hostname
  match:
    $hostname
  outcome:
    $end = latest(metadata.event_timestamp)

YARA-L 2.0: pesquisa x uso do UDM

  • A palavra-chave over, usada para pesquisas de janela de evento, não é compatível com a pesquisa.

  • As consultas de pesquisa da UDM não incluem as seções condition e option.

Agrupar por granularidade de tempo

É possível agrupar campos de evento e marcadores de posição na seção match por uma granularidade de tempo especificada, semelhante ao agrupamento de uma coluna em SQL.

A sintaxe é a seguinte:

match:
  ... [BY|OVER EVERY] [FIRST] [TIME_GRANULARITY]

Para agrupar por granularidade de tempo, use a palavra-chave by ou over every. As granularidades de tempo permitidas são as seguintes:

  • MINUTE ou m
  • HOUR ou h
  • DAY ou d
  • WEEK ou w
  • MONTH ou mo

As palavras-chave by e over every são funcionalmente equivalentes. Você pode usar uma sobre a outra.

Exemplos

Agrupe o endereço IP e o nome do host por hora.

$hostname = principal.hostname
match:
  $hostname, target.ip by hour

Agrupe a contagem de todos os eventos por nome do host e pelo dia em que o evento ocorreu.

$hostname = target.hostname
match:
  $hostname over every day
outcome:
  $events_count = count($hostname)

Algumas fontes de dados, como o contexto da entidade, são válidas em um período (<start_time>, <end_time>) e não têm carimbos de data/hora únicos.

A palavra-chave first é opcional e se aplica a um único carimbo de data/hora. Isso significa que, para uma fonte de dados válida em um período, a palavra-chave first considera apenas o horário de início (<start_time>).

Por exemplo, considere uma entidade com um período de (1m, 5m) e uma granularidade de tempo de 1m. Se os resultados forem agrupados por hosts (h1,h2), as colunas retornadas serão (h1, 1m) e (h2, 1m), e o restante do período será ignorado.

A palavra-chave first pode ser adicionada a by e over every, resultando no mesmo comportamento para ambas. O uso de by first é equivalente a over every first.

Confira a seguir um exemplo de consulta que usa o operador by com a fonte de dados de contexto de entidade válida em um período. Nessa consulta, todo o período é considerado porque a palavra-chave first é omitida.

graph.entity.hostname != ""
match:
  graph.entity.ip by hour
outcome:
  $min_seconds = min(graph.metadata.event_metadata.event_timestamp.seconds)

Criar e salvar visualizações na pesquisa

Esta seção descreve os recursos de visualização de dados na pesquisa do modelo de dados unificado (UDM) do Google SecOps. Com esse recurso, os analistas da central de operações de segurança (SOC) podem detectar, investigar e responder a ameaças com eficiência criando visualizações com base nos resultados da pesquisa e salvando-as em painéis.

Criar e salvar visualizações no painel

Para criar e salvar visualizações que serão adicionadas ao painel, faça o seguinte:

  1. Escreva uma consulta em YARA-L com seções match e outcome.

  2. Selecione um período e clique em Executar pesquisa para executar a consulta. Confira os resultados nas guias Estatísticas e Visualizar.

  3. Na guia Visualizar, faça o seguinte: a. Selecione um tipo de gráfico na lista Tipo de gráfico. b. Ajuste as configurações em Configurações de dados para personalizar o gráfico.

  4. Na tela Adicionar ao painel, faça o seguinte: a. Insira um nome do gráfico, uma descrição e um período. b. Escolha adicionar o gráfico a um painel atual ou criar um novo.

  5. Clique em Adicionar ao painel para incluir o gráfico no painel.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.