Configurar a exportação de dados para o BigQuery em um projeto Google Cloud autogerenciado

Com as Operações de segurança do Google, você pode exportar dados do modelo unificado de dados (UDM, na sigla em inglês) para um projeto que você possui e gerencia. É possível usar exclusivamente um projeto autogerido vinculado à sua instância do Google SecOps e configurar as permissões do IAM de forma independente, sem depender do Google.

O Google SecOps exporta as seguintes categorias de dados para seu projeto do BigQuery:

  • udm_events: dados de registro normalizados no esquema do UDM.
  • udm_events_aggregates: dados agregados resumidos por cada hora de eventos normalizados.
  • entity_graph: há três dimensões (dados contextuais, dados derivados e contexto global) no gráfico de entidades. Todos os dados contextuais e derivados, bem como parte dos dados de contexto global, são dados gravados e armazenados como UDM.
  • rule_detections: detecções retornadas por regras executadas no Google SecOps.
  • ioc_matches: correspondências de IOC encontradas em eventos do UDM.
  • ingestion_metrics: métricas relacionadas ao pipeline de ingestão e normalização.
  • udm_enum_value_to_name_mapping: mapeia valores de tipo enumerado para nomes de campo do UDM (exportados por padrão).
  • entity_enum_value_to_name_mapping: mapeia os valores de tipo enumerado para nomes de campos de entidade (exportados por padrão).

Período de armazenamento

Se você já for cliente e ativar esse recurso, os dados do BigQuery exportados para seu projeto gerenciado pelo Google vão permanecer no projeto pelo período de retenção especificado.

O período de retenção começa na data da primeira exportação de dados:

  • O período de retenção para a exportação do BigQuery é configurável por fonte de dados e pode ser definido como um período de retenção máximo equivalente ao período de retenção de registro padrão no Google SecOps.
  • Se nenhum período de retenção for especificado, o comportamento padrão será continuar exportando dados sem limpeza ou eliminação para limitar o período de retenção. Nesse caso, é possível criar políticas de retenção personalizadas diretamente para o bucket do Cloud Storage, em que os dados são exportados no projeto "Traga seu próprio projeto" (BYOP) para consumo como uma tabela externa no BigQuery.

Migração de dados para clientes

Se você já for cliente, seus dados do projeto gerenciado pelo Google não serão migrados para o projeto autogerenciado. Como os dados não são migrados, eles ficam em dois projetos separados. Para consultar os dados em um período que inclua a data de ativação do projeto autogerido, é necessário realizar uma das seguintes ações:

  • Use uma única consulta que mescle dados dos dois projetos.
  • Execute duas consultas separadas nos respectivos projetos, uma para dados anteriores à data de ativação do projeto autogerenciado e outra para dados posteriores. Quando o período de retenção do seu projeto gerenciado pelo Google expirar, esses dados serão excluídos. Só é possível consultar dados que estão no projeto Google Cloud após esse ponto.

Permissões necessárias para exportar dados

Para acessar seus dados do BigQuery, execute as consultas no próprio BigQuery. Atribua os seguintes papéis do IAM a qualquer usuário que precise de acesso:

Iniciar a exportação de dados do BigQuery para seu projeto autogerenciado

  1. Crie um projeto Google Cloud para exportar seus dados. Para mais informações, consulte Configurar um projeto Google Cloud para o Google SecOps.

  2. Vincule seu projeto autogerenciado à instância do Google SecOps para estabelecer uma conexão entre o Google SecOps e seu projeto autogerenciado. Para mais informações, consulte Vincular as operações de segurança do Google a Google Cloud serviços. Depois que o representante do Google SecOps ativar a exportação dos dados selecionados, o processo de exportação de dados vai começar.

  3. Para validar se os dados são exportados para seu projeto autogerenciado, verifique as tabelas no conjunto de dados datalake no BigQuery.

É possível escrever consultas ad hoc com base nos dados do Google SecOps armazenados em tabelas do BigQuery. Também é possível criar análises mais avançadas usando outras ferramentas de terceiros integradas ao BigQuery.

Todos os recursos criados no projeto Google Cloud autogerenciado para ativar as exportações, incluindo o bucket do Cloud Storage e as tabelas do BigQuery, estão na mesma região do Google SecOps.

Se você receber um erro como Unrecognized name: <field_name> at [<some_number>:<some_number>] ao consultar o BigQuery, significa que o campo que você está tentando acessar não está no conjunto de dados e que o esquema é gerado dinamicamente durante o processo de exportação.

Para mais informações sobre os dados do Google SecOps no BigQuery, consulte Dados do Google SecOps no BigQuery.

Precisa de mais ajuda? Receba respostas de membros da comunidade e profissionais do Google SecOps.