在自行管理的 Google Cloud 项目中配置数据导出到 BigQuery

借助 Google Security Operations,您可以将统一数据模型 (UDM) 数据导出到您拥有和管理的自管理项目中。您可以将自己的 Google Cloud 项目关联到 Google SecOps 实例,并独立管理 IAM 权限,而无需依赖 Google 管理的设置。您还可以选择 SIEM 设置 > 数据导出,以启用和配置 Bring Your Own BigQuery (BYOBQ) 功能。

Google SecOps 会将以下类别的数据导出到您的 BigQuery 项目:

  • udm_events:已归一化为 UDM 架构的日志数据。
  • udm_events_aggregates:按标准化事件的每个小时汇总的数据。
  • entity_graph:实体图有三个维度(情境数据、派生数据和全局情境)。所有情境数据和派生数据,以及部分全局情境数据都是以 UDM 格式写入和存储的数据。
  • rule_detections:在 Google SecOps 中运行规则后返回的检测结果。
  • ioc_matches:根据 UDM 事件发现的 IOC 匹配项。
  • ingestion_metrics:与提取和归一化流水线相关的指标(默认情况下会导出)。
  • udm_enum_value_to_name_mapping:将枚举值映射到 UDM 字段名称(默认情况下会导出)。
  • entity_enum_value_to_name_mapping:将枚举值映射到实体字段名称(默认情况下会导出)。

保留期限

如果您是现有客户,您设置的保留期限将决定导出到 BigQuery 的数据在 Google 管理的项目中保留的时间。

保留期从最早导出的记录的日期开始计算。您可以为每个数据源配置单独的保留期限,最长保留期限与 Google SecOps 中的默认日志保留期限相同。

如果未指定保留期限,默认行为是继续导出数据,而不进行任何清理或清除,以限制保留期限。

在这种情况下,您可以将保留期限设置为无限期

  • 依次点击 SIEM 设置 > 数据导出
  • 数据导出表格的保留期限列中,从列表中为相关数据类型选择无限制

然后,您可以在 Google Cloud 存储桶中设置对象生命周期规则,以便根据需要删除对象。

现有客户的数据迁移

如果您是现有客户,则现有 Google 管理的项目中的数据不会迁移到自行管理的项目中。由于数据未迁移,因此您的数据位于两个不同的项目中。如需查询时间范围包含自行管理的项目激活日期的数据,您需要完成以下操作之一:

  • 使用单个查询联接两个项目中的数据。
  • 针对相应项目运行两个单独的查询,一个查询用于获取自行管理型项目激活日期之前的数据,另一个查询用于获取之后的数据。当 Google 管理的项目的保留期限到期时,相应数据会被删除。之后,您只能查询 Google Cloud项目中的数据。

导出数据所需的权限

如需访问 BigQuery 数据,请在 BigQuery 本身中运行查询。将以下 IAM 角色分配给需要访问权限的任何用户:

启动 BigQuery 数据导出到您的自行管理的项目

  1. 创建要将数据导出到的 Google Cloud 项目。 如需了解详情,请参阅为 Google SecOps 配置 Google Cloud 项目

  2. 将自行管理的项目关联到 Google SecOps 实例,以在 Google SecOps 与自行管理的项目之间建立连接。如需了解详情,请参阅将 Google Security Operations 与 Google Cloud 服务相关联。 您还可以选择 SIEM 设置 > 数据导出,启用和配置 Bring Your Own BigQuery (BYOBQ) 功能。

  3. 如需验证数据是否已导出到您的自行管理的项目,请检查 BigQuery 中 datalake 数据集下的表。

您可以针对存储在 BigQuery 表中的 Google SecOps 数据编写临时查询。您还可以使用与 BigQuery 集成的其他第三方工具创建更高级的分析。

在您的自管理 Google Cloud 项目中为启用导出功能而创建的所有资源(包括 Cloud Storage 存储桶和 BigQuery 表)都与 Google SecOps 位于同一区域。

如果您在查询 BigQuery 时遇到类似 Unrecognized name: <field_name> at [<some_number>:<some_number>] 的错误,则表示您尝试访问的字段不在您的数据集中,这是因为您的架构是在导出过程中动态生成的。

如需详细了解 BigQuery 中的 Google SecOps 数据,请参阅 BigQuery 中的 Google SecOps 数据

需要更多帮助?从社区成员和 Google SecOps 专业人士那里获得解答。