Como o Google SecOps enriquece os dados de eventos e entidades

Este documento descreve como o Google Security Operations enriquece os dados e os campos do Modelo de dados unificado (UDM) em que os dados são armazenados.

Para permitir uma investigação de segurança, o Google SecOps ingere dados contextuais de diferentes fontes, realiza análises e fornece mais contexto sobre artefatos em um ambiente do cliente. Os analistas podem usar dados contextualmente enriquecidos em regras do Detection Engine, pesquisas investigativas ou relatórios.

O Google SecOps realiza os seguintes tipos de enriquecimento:

• Enriquece entidades usando o gráfico e a fusão de entidades.
• Calcula e enriquece cada entidade com uma estatística de prevalência que indica a popularidade dela no ambiente.
• Calcula a primeira vez que determinados tipos de entidades foram vistos no ambiente ou a vez mais recente.
• Aprimora entidades com informações das listas de ameaças da Navegação segura.
• Enriquece eventos com dados de geolocalização.
• Aprimora entidades com dados do WHOIS.
• Enriquece eventos com metadados de arquivos do VirusTotal.
• Enriquece entidades com dados de relacionamento do VirusTotal.
• Ingerir e armazenar dados de inteligência de ameaças do Google Cloud.

Os dados enriquecidos do WHOIS, da Navegação segura, da inteligência contra ameaças do GCTI, dos metadados e do relacionamento do VirusTotal são identificados por entity_type, product_name e vendor_name. Ao criar uma regra que usa esses dados enriquecidos, recomendamos incluir um filtro que identifique o tipo de enriquecimento específico a ser incluído. Esse filtro ajuda a melhorar a performance da regra. Por exemplo, inclua os seguintes campos de filtro na seção events da regra que une dados do WHOIS.

$enrichment.graph.metadata.entity_type = "DOMAIN_NAME"
$enrichment.graph.metadata.product_name = "WHOISXMLAPI Simple Whois"
$enrichment.graph.metadata.vendor_name = "WHOIS"

Aprimorar entidades usando o gráfico de entidades e a fusão

O gráfico de entidades identifica relações entre entidades e recursos no seu ambiente. Quando entidades de diferentes fontes são ingeridas no Google SecOps, o gráfico de entidades mantém uma lista de adjacências com base na relação entre elas. O gráfico de entidades realiza o enriquecimento de contexto fazendo a remoção de duplicação e a fusão.

Durante a remoção de duplicações, os dados redundantes são eliminados e intervalos são formados para criar uma entidade comum. Por exemplo, considere duas entidades e1 e e2 com carimbos de data/hora t1 e t2, respectivamente. As entidades e1 e e2 são duplicadas, e os carimbos de data/hora diferentes não são usados durante a duplicação. Os seguintes campos não são usados durante a remoção de duplicidades:

• collected_timestamp
• creation_timestamp
• interval

Durante a fusão, as relações entre entidades são formadas por um intervalo de um dia. Por exemplo, considere um registro de entidade de user A que tem acesso a um bucket do Cloud Storage. Há outro registro de entidade de user A que é proprietário de um dispositivo. Depois da fusão, essas duas entidades resultam em uma única entidade user A com duas relações. Uma relação é que user A tem acesso ao bucket do Cloud Storage, e a outra é que user A é proprietário do dispositivo. O Google SecOps faz uma análise retrospectiva de cinco dias ao criar dados de contexto de entidade. Isso processa dados que chegam atrasados e cria um tempo de vida implícito nos dados de contexto da entidade.

O Google SecOps usa o aliasing para enriquecer os dados de telemetria e gráficos de entidades para enriquecer as entidades. As regras do mecanismo de detecção combinam as entidades mescladas com os dados de telemetria enriquecidos para fornecer análises baseadas no contexto.

Um evento que contém um substantivo de entidade é considerado uma entidade. Confira alguns tipos de eventos e os tipos de entidades correspondentes:

• ASSET_CONTEXT corresponde a ASSET.
• RESOURCE_CONTEXT corresponde a RESOURCE.
• USER_CONTEXT corresponde a USER.
• GROUP_CONTEXT corresponde a GROUP.

O gráfico de entidades distingue entre dados contextuais e indicadores de comprometimento (IOCs) usando as informações de ameaça.

Ao usar dados enriquecidos contextualmente, considere o seguinte comportamento do gráfico de entidades:

• Não adicione intervalos na entidade. Em vez disso, deixe o gráfico de entidade criar intervalos. Isso acontece porque os intervalos são gerados durante a remoção de duplicidades, a menos que especificado de outra forma.
• Se os intervalos forem especificados, apenas os mesmos eventos serão duplicados, e a entidade mais recente será mantida.
• Para garantir que as regras ativas e as retrocaças funcionem como esperado, as entidades precisam ser ingeridas pelo menos uma vez por dia.
• Se as entidades não forem ingeridas diariamente e forem ingeridas apenas uma vez em dois ou mais dias, as regras ativas poderão funcionar como esperado, mas as pesquisas retroativas poderão perder o contexto do evento.
• Se as entidades forem ingeridas mais de uma vez por dia, elas serão duplicadas para uma única entidade.
• Se os dados de um dia estiverem faltando, os dados do dia anterior serão usados temporariamente para garantir que as regras ativas funcionem bem.

O gráfico de entidade também mescla eventos com identificadores semelhantes para gerar uma visão consolidada dos dados. Essa fusão acontece com base na seguinte lista de identificadores:

• Asset
  • entity.asset.product_object_id
  • entity.asset.hostname
  • entity.asset.asset_id
  • entity.asset.mac
• User
  • entity.user.product_object_id
  • entity.user.userid
  • entity.user.windows_sid
  • entity.user.email_addresses
  • entity.user.employee_id
• Resource
  • entity.resource.product_object_id
  • entity.resource.name
• Group
  • entity.group.product_object_id
  • entity.group.email_addresses
  • entity.group.windows_sid

Calcular estatísticas de prevalência

O Google SecOps realiza análises estatísticas em dados atuais e futuros e enriquece os registros de contexto da entidade com métricas relacionadas à prevalência.

A prevalência é um valor numérico que indica a popularidade de uma entidade. A popularidade é definida pelo número de recursos que acessam um artefato, como um domínio, um hash de arquivo ou um endereço IP. Quanto maior o número, mais popular é a entidade. Por exemplo, google.com tem valores de prevalência altos porque é acessado com frequência. Se um domínio for acessado com pouca frequência, ele terá valores de prevalência mais baixos. Entidades mais conhecidas geralmente têm menos probabilidade de serem maliciosas.

Esses valores enriquecidos são aceitos para domínio, IP e arquivo (hash). Os valores são calculados e armazenados nos seguintes campos.

As estatísticas de prevalência de cada entidade são atualizadas diariamente. Os valores são armazenados em um contexto de entidade separado que pode ser usado pelo Detection Engine, mas não é mostrado nas visualizações de investigação do Google SecOps e na pesquisa de UDM.

Os campos a seguir podem ser usados ao criar regras do Detection Engine.

Os valores "day_max" e "rolling_max" são calculados de maneira diferente. Os campos são calculados da seguinte forma:

• day_max é calculado como a pontuação máxima de prevalência do artefato durante o dia, que é definido como 00:00:00 - 23:59:59 UTC.
• rolling_max é calculado como a pontuação máxima de prevalência por dia (ou seja, day_max) do artefato na janela dos últimos 10 dias.
• day_count é usado para calcular rolling_max e é sempre o valor 10.

Quando calculada para um domínio, a diferença entre day_max e day_max_sub_domains (e rolling_max e rolling_max_sub_domains) é a seguinte:

• rolling_max e day_max representam o número de endereços IP internos únicos diários que acessam um determinado domínio (excluindo subdomínios).
• rolling_max_sub_domains e day_max_sub_domains representam o número de endereços IP internos exclusivos que acessam um determinado domínio (incluindo subdomínios).

As estatísticas de prevalência são calculadas com base nos dados de entidade recém-ingeridos. Os cálculos não são realizados retroativamente em dados ingeridos anteriormente. Leva aproximadamente 36 horas para que as estatísticas sejam calculadas e armazenadas.

Calcular o horário da primeira e da última visualização de entidades

O Google SecOps realiza análises estatísticas dos dados recebidos e enriquece os registros de contexto da entidade com os horários da primeira e da última vez em que ela foi vista. O campo first_seen_time armazena a data e a hora em que a entidade foi vista pela primeira vez no ambiente do cliente. O campo last_seen_time armazena a data e a hora da observação mais recente.

Como vários indicadores (campos UDM) podem identificar um recurso ou um usuário, o primeiro horário de detecção é a primeira vez que qualquer um dos indicadores que identificam o usuário ou o recurso foi detectado no ambiente do cliente.

Todos os campos da UDM que descrevem um recurso são os seguintes:

• entity.asset.hostname
• entity.asset.ip
• entity.asset.mac
• entity.asset.asset_id
• entity.asset.product_object_id

Todos os campos da UDM que descrevem um usuário são os seguintes:

• entity.user.windows_sid
• entity.user.product_object_id
• entity.user.userid
• entity.user.employee_id
• entity.user.email_addresses

Com os horários da primeira e da última vez que um domínio, arquivo (hash), recurso, usuário ou endereço IP foi visto, um analista pode correlacionar determinadas atividades que ocorreram depois da primeira vez ou que pararam de ocorrer depois da última vez.

Os campos first_seen_time e last_seen_time são preenchidos com entidades que descrevem um domínio, um endereço IP e um arquivo (hash). Para entidades que descrevem um usuário ou recurso, apenas o campo first_seen_time é preenchido. Esses valores não são calculados para entidades que descrevem outros tipos, como um grupo ou recurso.

As estatísticas são calculadas para cada entidade em todos os namespaces. O Google SecOps não calcula as estatísticas de cada entidade em namespaces individuais. No momento, essas estatísticas não são exportadas para o esquema do Google SecOps events no BigQuery.

Os valores enriquecidos são calculados e armazenados nos seguintes campos da UDM:

Aprimorar eventos com dados de geolocalização

Os dados de registros recebidos podem incluir endereços IP externo sem informações de local correspondentes. Isso é comum quando um evento registra informações sobre a atividade de um dispositivo que não está em uma rede corporativa. Por exemplo, um evento de login em um serviço de nuvem teria um endereço IP de origem ou cliente com base no endereço IP externo de um dispositivo retornado pelo NAT da operadora.

O Google SecOps fornece dados enriquecidos com geolocalização para endereços IP externo, permitindo detecções de regras mais eficientes e mais contexto para investigações. Por exemplo, o Google SecOps pode usar um endereço IP externo para enriquecer o evento com informações sobre o país (como os Estados Unidos), um estado específico (como o Alasca) e a rede em que o endereço IP está (como o ASN e o nome da operadora).

O Google SecOps usa dados de localização fornecidos pelo Google para informar um local geográfico aproximado e informações de rede para um endereço IP. Você pode escrever regras do Detection Engine para esses campos nos eventos. Os dados de eventos enriquecidos também são exportados para o BigQuery, onde podem ser usados em painéis e relatórios do Google SecOps.

Os seguintes endereços IP não são enriquecidos:

• Espaços de endereços IP particulares RFC 1918 porque são internos à rede empresarial.
• Espaço de endereço IP multicast RFC 5771 porque os endereços multicast não pertencem a um único local.
• Endereços locais exclusivos IPv6.
• Endereços IP de serviçoGoogle Cloud . As exceções são os endereços IP externo do Compute Engine, que são enriquecidos. Google Cloud

O Google SecOps otimiza os seguintes campos do UDM com dados de geolocalização:

• principal
• target
• src
• observer

O exemplo a seguir mostra o tipo de informação geográfica que seria adicionada a um evento da UDM com um endereço IP marcado para os Países Baixos:

Inconsistências

A tecnologia de geolocalização de IP proprietária do Google usa uma combinação de dados de rede e outras entradas e métodos para fornecer a localização do endereço IP e a resolução de rede aos nossos usuários. Outras organizações podem usar sinais ou métodos diferentes, o que pode levar a resultados diferentes.

Se você encontrar uma inconsistência nos resultados de geolocalização de IP fornecidos pelo Google, abra um caso de suporte ao cliente para que possamos investigar e, se for o caso, corrigir nossos registros daqui para frente.

Aprimorar entidades com informações das listas de ameaças da Navegação segura

O Google SecOps ingere dados da Navegação segura relacionados a hashes de arquivos. Os dados de cada arquivo são armazenados como uma entidade e fornecem mais contexto sobre o arquivo. Os analistas podem criar regras do Detection Engine que consultam esses dados de contexto da entidade para criar análises com reconhecimento de contexto.

As seguintes informações são armazenadas com o registro de contexto da entidade.

Aprimorar entidades com dados do WHOIS

O Google SecOps ingere dados do WHOIS diariamente. Durante a ingestão de dados de dispositivos de clientes, o Google SecOps avalia os domínios nos dados do cliente em relação aos dados do WHOIS. Quando há uma correspondência, o Google SecOps armazena os dados relacionados do WHOIS com o registro da entidade para o domínio. Para cada entidade, em que entity.metadata.entity_type = DOMAIN_NAME, o Google SecOps enriquece a entidade com informações do WHOIS.

O Google SecOps preenche os dados do WHOIS enriquecidos nos seguintes campos do registro de entidade:

• entity.domain.admin.attribute.labels
• entity.domain.audit_update_time
• entity.domain.billing.attribute.labels
• entity.domain.billing.office_address.country_or_region
• entity.domain.contact_email
• entity.domain.creation_time
• entity.domain.expiration_time
• entity.domain.iana_registrar_id
• entity.domain.name_server
• entity.domain.private_registration
• entity.domain.registrant.company_name
• entity.domain.registrant.office_address.state
• entity.domain.registrant.office_address.country_or_region
• entity.domain.registrant.email_addresses
• entity.domain.registrant.user_display_name
• entity.domain.registrar
• entity.domain.registry_data_raw_text
• entity.domain.status
• entity.domain.tech.attribute.labels
• entity.domain.update_time
• entity.domain.whois_record_raw_text
• entity.domain.whois_server
• entity.domain.zone

Para uma descrição desses campos, consulte o documento da lista de campos do Modelo de dados unificado.

Ingerir e armazenar dados de Google Cloud inteligência contra ameaças

O Google SecOps ingere dados de fontes de inteligência contra ameaças (GCTI) que fornecem informações contextuais para usar ao investigar atividades no seu ambiente. Google Cloud É possível consultar as seguintes fontes de dados:

• Nós de saída do Tor da GCTI: endereços IP conhecidos como nós de saída do Tor.
• Binários benignos do GCTI: arquivos que fazem parte da distribuição original do sistema operacional ou foram atualizados por um patch oficial do sistema operacional. Alguns binários oficiais de sistemas operacionais que foram usados indevidamente por um adversário em atividades comuns em ataques de living-off-the-land são excluídos dessa fonte de dados, como aqueles focados em vetores de entrada inicial.

• Ferramentas de acesso remoto da GCTI: arquivos usados com frequência por agentes maliciosos. Essas ferramentas geralmente são aplicativos legítimos que às vezes são usados indevidamente para se conectar remotamente a sistemas comprometidos.

  Esses dados contextuais são armazenados globalmente como entidades. É possível consultar os dados usando regras do mecanismo de detecção. Inclua os seguintes campos e valores da UDM na regra para consultar essas entidades globais:

• graph.metadata.vendor_name = Google Cloud Threat Intelligence

• graph.metadata.product_name = GCTI Feed

Neste documento, o marcador de posição <variable_name> representa o nome exclusivo da variável usada em uma regra para identificar um registro da UDM.

Fontes de dados de inteligência contra ameaças com e sem carimbo de data/hora Google Cloud

Google Cloud As fontes de dados de inteligência contra ameaças são temporizadas ou atemporais.

As fontes de dados com carimbo de data/hora têm um período associado a cada entrada. Isso significa que, se uma detecção for gerada no dia 1, em qualquer dia no futuro, a mesma detecção será gerada para o dia 1 durante uma busca retroativa.

As fontes de dados atemporais não têm um período associado. Isso acontece porque apenas o conjunto de dados mais recente deve ser considerado. As fontes de dados atemporais são usadas com frequência para dados como hashes de arquivos que não devem mudar. Se nenhuma detecção for gerada no dia 1, no dia 2 uma detecção poderá ser gerada para o dia 1 durante uma busca retroativa porque uma nova entrada foi adicionada.

Dados sobre endereços IP de nós de saída do Tor

O Google SecOps ingere e armazena endereços IP que são nós de saída do Tor conhecidos. Os nós de saída do Tor são pontos em que o tráfego sai da rede. As informações ingeridas dessa fonte de dados são armazenadas nos seguintes campos da UDM. Os dados nessa origem são marcados com carimbo de data/hora.

Dados sobre arquivos benignos do sistema operacional

O Google SecOps ingere e armazena hashes de arquivos da fonte de dados GCTI Benign Binaries. As informações ingeridas dessa fonte de dados são armazenadas nos seguintes campos da UDM. Os dados nessa fonte são atemporais.

Dados sobre ferramentas de acesso remoto

As ferramentas de acesso remoto incluem hashes de arquivos para ferramentas conhecidas, como clientes VNC, que têm sido usadas com frequência por agentes maliciosos. Essas ferramentas geralmente são aplicativos legítimos que às vezes são usados indevidamente para se conectar remotamente a sistemas comprometidos. As informações ingeridas dessa fonte de dados são armazenadas nos seguintes campos da UDM. Os dados nessa fonte são atemporais.

Enriquecer eventos com metadados de arquivos do VirusTotal

O Google SecOps enriquece os hashes de arquivo em eventos do UDM e fornece mais contexto durante uma investigação. Os eventos da UDM são enriquecidos com o uso de pseudônimos de hash em um ambiente do cliente. O aliasing de hash combina todos os tipos de hashes de arquivo e fornece informações sobre um hash de arquivo durante uma pesquisa.

A integração dos metadados de arquivos e do enriquecimento de relacionamentos do VirusTotal com o Google SecOps pode ser usada para identificar padrões de atividades maliciosas e rastrear movimentos de malware em uma rede.

Um registro bruto fornece informações limitadas sobre o arquivo. O VirusTotal enriquece o evento com metadados de arquivo para fornecer um despejo de hashes ruins junto com metadados sobre o arquivo malicioso. Os metadados incluem informações como nomes de arquivos, tipos, funções importadas e tags. Você pode usar essas informações no mecanismo de pesquisa e detecção da UDM com YARA-L para entender eventos de arquivos maliciosos e, em geral, durante a busca de ameaças. Um exemplo de caso de uso é detectar modificações no arquivo original, o que, por sua vez, importa os metadados do arquivo para detecção de ameaças.

As seguintes informações são armazenadas com o registro. Para conferir uma lista de todos os campos do UDM, consulte Lista de campos do modelo de dados unificado.