Visão geral da extração automática

Compatível com:

Este documento fornece uma visão geral de como os dados são extraídos automaticamente para melhorar a capacidade de ingestão, processamento e análise de dados.

As operações de segurança do Google usam analisadores pré-criados para extrair e estruturar dados de registro usando o esquema do modelo de dados unificado (UDM). Gerenciar e manter esses analisadores pode ser desafiador devido a várias limitações: extração de dados incompleta, o número crescente de analisadores a serem gerenciados e a necessidade de atualizações frequentes à medida que os formatos de registro evoluem.

Para resolver esses desafios, use o recurso de extração automática. Esse recurso extrai automaticamente pares de chave-valor de registros formatados em JSON ingeridos no Google SecOps. Esses dados extraídos são armazenados em um campo do tipo mapa do UDM chamado extracted. Em seguida, use esses dados nas consultas de pesquisa do UDM, painéis nativos e regras do YARA-L. A análise autônoma oferece suporte a registros no formato JSON.

Como prática recomendada, as pesquisas do UDM que usam campos extraídos precisam incluir metadata.log_type na consulta para melhorar a performance da pesquisa.

O benefício da extração automática é a redução da dependência de analisadores, garantindo que os dados continuem disponíveis, mesmo quando um analisador não está presente ou não consegue analisar um registro.

Analisar e extrair dados do registro bruto

  1. Análise: o Google SecOps tenta analisar registros usando um analisador específico para o tipo de registro, se disponível. Se não houver um analisador específico ou se a análise falhar, o Google SecOps vai usar um analisador geral para extrair informações básicas, como carimbo de data/hora ingerido, tipo de registro e rótulos de metadados.

  2. Extração de dados: todos os pontos de dados são extraídos automaticamente dos registros.

  3. Enriquecimento de eventos: o Google SecOps combina os dados analisados e todos os campos com formato personalizado para criar eventos enriquecidos, oferecendo mais contexto e detalhes.

  4. Transferência de dados downstream: esses eventos enriquecidos são enviados a outros sistemas para análise e processamento.

Trabalhar com extratores

Os extratores permitem extrair campos de origens de registro de grande volume e foram projetados para otimizar o gerenciamento de registros. Ao usar extratores, você pode reduzir o tamanho do evento, melhorar a eficiência da análise e ter mais controle sobre a extração de dados. Isso é especialmente útil para gerenciar novos tipos de registro ou minimizar o tempo de processamento.

É possível criar extratores usando o menu SIEM Settings ou realizando uma pesquisa de registro bruto.

Criar extratores

  1. Acesse o painel Extrair outros campos usando um dos seguintes métodos:

    • Clique em Configurações do SIEM > Parcializadores e faça o seguinte:
      1. Na tabela PARSERS que aparece, identifique um analisador (origem de registro) e clique em Menu > Extend Parser > Extract Additional Fields.
    • Use a Verificação de registro bruto e faça o seguinte:
      1. Selecione as origens de registro (parsers) necessárias no menu Origens de registro.
      2. Nos resultados de registro bruto, selecione uma origem de registro para abrir o painel DADOS DO EVENTO.
      3. No painel EVENT DATA, clique em Manage Parser > Extend Parser > Extract Additional Fields.
    • Use a pesquisa do UDM e faça o seguinte:
      1. Na guia EVENTOS nos resultados da pesquisa da UDM, selecione uma origem de registro para abrir o painel Visualizador de eventos.
      2. Na guia Registro bruto, clique em Gerenciar analisador > Estender analisador > Extrair outros campos.

  2. Na guia Select Extractors do painel Extract Additional fields, selecione os campos de registro bruto necessários. Por padrão, é possível selecionar até 100 campos. Se não houver campos adicionais disponíveis para extração, uma mensagem de aviso vai aparecer.

    Clique na guia Reference Raw Log para conferir os dados brutos e ter uma prévia da saída do UDM.

  3. Clique em Salvar.

O extrator recém-criado é rotulado como EXTRACTOR. Os campos extraídos são mostrados na saída do UDM como extracted.field{"fieldName"}.

Conferir detalhes do extrator

  1. Acesse a linha do extrator na tabela PARSERS e clique em Menu > Extend Parser > View Extension.
  2. Na página VIEW CUSTOM PARSERS, clique na guia Extensions and Extracted Fields.

Essa guia mostra informações sobre extensões de analisador e campos de extrator. É possível modificar ou remover campos e visualizar a saída do analisador na página VIEW CUSTOM PARSERS.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.