Dados do Google SecOps no BigQuery

Compatível com:

O Google SecOps oferece um data lake gerenciado de telemetria normalizada e enriquecida com informações sobre ameaças exportando dados para o BigQuery. Isso permite que você faça o seguinte:

  • Execute consultas ad hoc diretamente no BigQuery.
  • Use suas próprias ferramentas de Business Intelligence, como o Looker ou o Microsoft Power BI, para criar painéis, relatórios e análises.
  • Combine os dados do Google SecOps com conjuntos de dados de terceiros.
  • Execute análises usando ferramentas de ciência de dados ou machine learning.
  • Gerar relatórios usando painéis padrão predefinidos e painéis personalizados.

O Google SecOps exporta as seguintes categorias de dados para o BigQuery:

  • Registros de eventos da UDM:registros da UDM criados com base em dados de registro ingeridos pelos clientes. Esses registros são enriquecidos com informações de pseudônimo.
  • Correspondências de regras (detecções): instâncias em que uma regra corresponde a um ou mais eventos.
  • Correspondências de IoC: artefatos (por exemplo, domínios, endereços IP) de eventos que correspondem aos feeds de indicadores de comprometimento (IoC). Isso inclui correspondências de feeds globais e específicos do cliente.
  • Métricas de ingestão:incluem estatísticas, como o número de linhas de registro ingeridas, o número de eventos produzidos a partir de registros, o número de erros de registro indicando que os registros não puderam ser analisados e o estado dos encaminhadores do Google SecOps. Para mais informações, consulte Esquema do BigQuery para métricas de ingestão.
  • Gráfico de entidades e relacionamentos de entidades: armazena a descrição de entidades e os relacionamentos delas com outras entidades.

Fluxo de exportação de dados

O fluxo de exportação de dados é o seguinte:

  1. Um conjunto de dados do Google SecOps, específico para um caso de uso, é exportado para uma instância do BigQuery que existe em um projeto Google Cloud específico do cliente e é gerenciado pelo Google. Os dados de cada caso de uso são exportados para uma tabela separada. Isso é exportado do Google SecOps para o BigQuery em um projeto específico do cliente.
  2. Como parte da exportação, o Google SecOps cria um modelo de dados predefinido do Looker para cada caso de uso.
  3. Os painéis padrão do Google SecOps são criados usando os modelos de dados predefinidos do Looker. É possível criar painéis personalizados no Google SecOps usando os modelos de dados predefinidos do Looker.
  4. Os clientes podem escrever consultas ad hoc com base nos dados do Google SecOps armazenados em tabelas do BigQuery.

  5. Os clientes também podem criar análises mais avançadas usando outras ferramentas de terceiros integradas ao BigQuery.

    Exportação de dados para processamento no BigQuery

A instância do BigQuery é criada na mesma região do locatário do Google SecOps. Uma instância do BigQuery é criada para cada ID do cliente. Os registros brutos não são exportados para o lago de dados do Google SecOps no BigQuery. Os dados são exportados com base no preenchimento. À medida que os dados são ingeridos e normalizados no Google SecOps, eles são exportados para o BigQuery. Não é possível preencher dados ingeridos anteriormente.

Para conexões do Looker, entre em contato com seu representante do Google SecOps para receber as credenciais da conta de serviço que permitem conectar sua instância do Looker aos dados do Google SecOps no BigQuery. A conta de serviço terá permissão de leitura somente.

Visão geral das tabelas

O Google SecOps cria o conjunto de dados datalake no BigQuery e as seguintes tabelas:

  • entity_enum_value_to_name_mapping: para tipos enumerados na tabela entity_graph, mapeia os valores numéricos para os valores de string.
  • entity_graph: armazena dados sobre entidades do UDM.
  • events: armazena dados sobre eventos do UDM.
  • ingestion_metrics: armazena estatísticas relacionadas à ingestão e à normalização de dados de fontes de ingestão específicas, como encaminhadores do Google SecOps, feeds e a API Ingestion.
  • ioc_matches: armazena correspondências de IOC encontradas em eventos do UDM.
  • job_metadata: uma tabela interna usada para acompanhar a exportação de dados para o BigQuery.
  • rule_detections: armazena as detecções retornadas pelas regras executadas no Google SecOps.
  • rulesets: armazena informações sobre as detecções selecionadas do Google SecOps, incluindo a categoria a que cada conjunto de regras pertence, se está ativado e o status atual do alerta.
  • udm_enum_value_to_name_mapping: para tipos enumerados na tabela de eventos, mapeia os valores numéricos para os valores de string.
  • udm_events_aggregates: armazena dados agregados resumidos por hora de eventos normalizados.

Acessar dados no BigQuery

É possível executar consultas diretamente no BigQuery ou conectar sua própria ferramenta de inteligência de negócios, como o Looker ou o Microsoft Power BI, ao BigQuery.

Para ativar o acesso à instância do BigQuery, use o CLI do Google SecOps ou a API Google SecOps BigQuery Access. Você pode informar o endereço de e-mail de um usuário ou grupo que você possui. Se você configurar o acesso a um grupo, use-o para gerenciar quais membros da equipe podem acessar a instância do BigQuery.

Para conectar o Looker ou outra ferramenta de business intelligence ao BigQuery, entre em contato com seu representante do Google SecOps para receber as credenciais da conta de serviço que permitem conectar um aplicativo ao conjunto de dados do BigQuery do Google SecOps. A conta de serviço terá a função de leitor de dados do BigQuery do IAM (roles/bigquery.dataViewer) e a função de leitor de jobs do BigQuery (roles/bigquery.jobUser).

A seguir

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.