Configurar a exportação de dados para o BigQuery em um projeto Google Cloud autogerenciado

Com as Operações de segurança do Google, é possível exportar dados do modelo unificado de dados (UDM, na sigla em inglês) para um projeto autogerenciado de sua propriedade. É possível vincular seu próprio projeto Google Cloud à instância do Google SecOps e gerenciar de forma independente as permissões do IAM sem depender das configurações gerenciadas pelo Google. Você também pode ativar e configurar o recurso Traga seu próprio BigQuery (BYOBQ) selecionando Configurações do SIEM > Exportação de dados.

O Google SecOps exporta as seguintes categorias de dados para seu projeto do BigQuery:

  • udm_events: dados de registro normalizados no esquema do UDM.
  • udm_events_aggregates: dados agregados resumidos por cada hora de eventos normalizados.
  • entity_graph: o gráfico de entidade tem três dimensões (dados contextuais, dados derivados e contexto global). Todos os dados contextuais e derivados, bem como parte dos dados de contexto global, são gravados e armazenados como UDM.
  • rule_detections: detecções retornadas por regras executadas no Google SecOps.
  • ioc_matches: correspondências de IOC encontradas em eventos do UDM.
  • ingestion_metrics: métricas relacionadas ao pipeline de ingestão e normalização (exportadas por padrão).
  • udm_enum_value_to_name_mapping: mapeia valores de enumeração para nomes de campos da UDM (exportados por padrão).
  • entity_enum_value_to_name_mapping: mapeia valores de enumeração para nomes de campos de entidade (exportados por padrão).

Período de armazenamento

Se você já é cliente, o período de armazenamento definido determina por quanto tempo os dados exportados do BigQuery ficam no seu projeto gerenciado pelo Google.

O período de armazenamento começa na data do registro exportado mais antigo. É possível configurar um período de armazenamento separado para cada fonte de dados, até um máximo que corresponda ao período de armazenamento de registros padrão no Google SecOps.

Se nenhum período de armazenamento for especificado, o comportamento padrão será continuar exportando dados sem limpeza ou remoção para limitar o período de armazenamento.

Nesse caso, você pode definir o período de armazenamento como Ilimitado:

  • Clique em Configurações do SIEM > Exportação de dados.
  • Na coluna Período de retenção da tabela Exportação de dados, selecione Ilimitado na lista do tipo de dados relevante.

Em seguida, configure uma regra de ciclo de vida de objetos no seu bucket de armazenamento do Google Cloud para excluir objetos conforme necessário.

Migração de dados para clientes atuais

Se você já for cliente, os dados do projeto gerenciado pelo Google não serão migrados para o projeto autogerenciado. Como os dados não são migrados, eles ficam em dois projetos separados. Para consultar os dados em um período que inclua a data de ativação do projeto autogerenciado, conclua uma das seguintes ações:

  • Use uma única consulta que une dados dos dois projetos.
  • Execute duas consultas separadas nos respectivos projetos, uma para dados anteriores à data de ativação do projeto autogerenciado e outra para dados posteriores. Quando o período de armazenamento do seu projeto gerenciado pelo Google expira, esses dados são excluídos. Só é possível consultar dados que estejam no seu projeto Google Clouddepois desse ponto.

Permissões necessárias para exportar dados

Para acessar os dados do BigQuery, execute as consultas no próprio BigQuery. Atribua os seguintes papéis do IAM a qualquer usuário que precise de acesso:

Iniciar a exportação de dados do BigQuery para seu projeto autogerenciado

  1. Crie um projeto Google Cloud para exportar seus dados. Para mais informações, consulte Configurar um projeto do Google Cloud para o Google SecOps.

  2. Vincule seu projeto autogerenciado à instância do Google SecOps para estabelecer uma conexão entre o Google SecOps e seu projeto autogerenciado. Para mais informações, consulte Vincular o Google Security Operations aos serviços do Google Cloud . Você também pode ativar e configurar o recurso Traga seu próprio BigQuery (BYOBQ) selecionando Configurações do SIEM > Exportação de dados.

  3. Para validar se os dados foram exportados para seu projeto autogerenciado, verifique as tabelas no conjunto de dados datalake no BigQuery.

É possível escrever consultas ad hoc nos dados do Google SecOps armazenados em tabelas do BigQuery. Também é possível criar análises mais avançadas usando outras ferramentas de terceiros que se integram ao BigQuery.

Todos os recursos criados no projeto autogerenciado do Google Cloud para ativar exportações, incluindo o bucket do Cloud Storage e as tabelas do BigQuery, estão na mesma região do Google SecOps.

Se você receber um erro como Unrecognized name: <field_name> at [<some_number>:<some_number>] ao consultar o BigQuery, isso significa que o campo que você está tentando acessar não está no conjunto de dados e que o esquema é gerado dinamicamente durante o processo de exportação.

Para mais informações sobre os dados do Google SecOps no BigQuery, consulte Dados do Google SecOps no BigQuery.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.