Configure a exportação de dados para o BigQuery num Google Cloud projeto autogerido

O Google Security Operations permite-lhe exportar dados do modelo de dados unificado (UDM) para um projeto autogerido que lhe pertence e que gere. Pode associar o seu próprio Google Cloud projeto à sua instância do Google SecOps e gerir de forma independente as autorizações do IAM sem dependência das definições geridas pela Google. Também pode ativar e configurar a funcionalidade Use o seu próprio BigQuery (BYOBQ) selecionando Definições de SIEM > Exportação de dados.

O Google SecOps exporta as seguintes categorias de dados para o seu projeto do BigQuery:

  • udm_events: dados de registo normalizados no esquema do UDM.
  • udm_events_aggregates: dados agregados resumidos por cada hora de eventos normalizados.
  • entity_graph: existem três dimensões (dados contextuais, dados derivados e contexto global) no gráfico de entidades. Todos os dados contextuais e dados derivados, bem como parte dos dados de contexto global, são dados escritos e armazenados como UDM.
  • rule_detections: deteções devolvidas por regras executadas no Google SecOps.
  • ioc_matches: correspondências de IOCs encontradas em relação a eventos UDM.
  • ingestion_metrics: métricas relacionadas com o pipeline de carregamento e normalização (exportadas por predefinição).
  • udm_enum_value_to_name_mapping: mapeia os valores de enumeração para os nomes dos campos da UDM (exportados por predefinição).
  • entity_enum_value_to_name_mapping: mapeia os valores enum para os nomes dos campos das entidades (exportados por predefinição).

Período de retenção

Se for um cliente existente, o período de retenção que definir define durante quanto tempo os dados exportados para o BigQuery permanecem no seu projeto gerido pela Google.

O período de retenção começa a partir da data do registo exportado mais antigo. Pode configurar um período de retenção separado para cada origem de dados, até um máximo que corresponda ao período de retenção de registos predefinido no Google SecOps.

Se não for especificado nenhum período de retenção, o comportamento predefinido é manter a exportação de dados sem limpeza nem remoção completa para limitar o período de retenção.

Neste caso, pode definir o período de retenção como Ilimitado:

  • Clique em Definições de SIEM > Exportação de dados.
  • Na coluna Período de retenção da tabela Exportação de dados, selecione Ilimitado na lista para o tipo de dados relevante.

Em seguida, pode configurar uma regra do ciclo de vida de objetos no seu Google Cloud contentor de armazenamento para eliminar objetos conforme necessário.

Migração de dados para clientes existentes

Se for um cliente existente, os dados do projeto gerido pela Google existente não são migrados para o projeto autogerido. Uma vez que os dados não são migrados, os seus dados estão localizados em dois projetos separados. Para consultar os dados num intervalo de tempo que inclua a data de ativação do projeto autogerido, tem de concluir uma das seguintes ações:

  • Use uma única consulta que associe dados de ambos os projetos.
  • Execute duas consultas separadas nos respetivos projetos, uma para os dados anteriores à data de ativação do projeto autogerido e outra para os dados posteriores. Quando o período de retenção do seu projeto gerido pela Google expira, os dados são eliminados. Depois disso, só pode consultar dados que estejam no seu projeto Google Cloud.

Autorizações necessárias para exportar dados

Para aceder aos seus dados do BigQuery, execute as consultas no próprio BigQuery. Atribua as seguintes funções do IAM a qualquer utilizador que precise de acesso:

Inicie a exportação de dados do BigQuery para o seu projeto autogerido

  1. Crie um Google Cloud projeto onde quer que os seus dados sejam exportados. Para mais informações, consulte o artigo Configure um Google Cloud projeto para o Google SecOps.

  2. Associe o seu projeto autogerido à instância do Google SecOps para estabelecer uma ligação entre o Google SecOps e o seu projeto autogerido. Para mais informações, consulte o artigo Associe o Google Security Operations aos Google Cloud serviços. Também pode ativar e configurar a funcionalidade Bring Your Own BigQuery (BYOBQ) selecionando Definições de SIEM > Exportação de dados.

  3. Para validar que os dados são exportados para o seu projeto autogerido, verifique as tabelas no conjunto de dados datalake no BigQuery.

Pode escrever consultas ad hoc em dados do Google SecOps armazenados em tabelas do BigQuery. Também pode criar estatísticas mais avançadas com outras ferramentas de terceiros que se integram com o BigQuery.

Todos os recursos criados no seu projeto autogerido Google Cloud para ativar as exportações, incluindo o contentor do Cloud Storage e as tabelas do BigQuery, estão na mesma região que o Google SecOps.

Se receber um erro como Unrecognized name: <field_name> at [<some_number>:<some_number>] ao consultar o BigQuery, significa que o campo ao qual está a tentar aceder não se encontra no seu conjunto de dados e porque o seu esquema é gerado dinamicamente durante o processo de exportação.

Para mais informações sobre os dados do Google SecOps no BigQuery, consulte o artigo Dados do Google SecOps no BigQuery.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais da Google SecOps.