在自托管 Google Cloud 项目中配置将数据导出到 BigQuery

借助 Google Security Operations，您可以将统一数据模型 (UDM) 数据导出到您拥有和管理的项目。您可以专用与 Google SecOps 实例关联的自有管理项目，并独立配置 IAM 权限，而无需依赖 Google。

Google SecOps 会将以下类别的数据导出到您的 BigQuery 项目：

  • udm_events：归一化为 UDM 架构的日志数据。
  • udm_events_aggregates：按每小时归一化事件汇总的汇总数据。
  • entity_graph：实体图有三个维度（情境数据、派生数据和全局情境）。所有情境数据和派生数据，以及部分全局情境数据都是以 UDM 格式写入和存储的数据。
  • rule_detections：Google SecOps 中运行的规则返回的检测结果。
  • ioc_matches：针对 UDM 事件找到的 IOC 匹配项。
  • ingestion_metrics：与提取和标准化流水线相关的指标。
  • udm_enum_value_to_name_mapping：将枚举值映射到 UDM 字段名称（默认情况下会导出）。
  • entity_enum_value_to_name_mapping：将枚举值映射到实体字段名称（默认情况下会导出）。

保留期限

如果您是现有客户，并且启用了此功能，则导出到 Google 管理的项目中的 BigQuery 数据会在相应项目中保留指定的保留期限。

保留期从最早的数据导出日期开始：

  • BigQuery 导出的保留期限可按数据源进行配置，并且可以设置为与 Google SecOps 中的默认日志保留期限相当的最大保留期限。
  • 如果未指定保留期限，默认行为是继续导出数据，而不会进行任何清理或清除操作，以限制保留期限。在这种情况下，您可以直接为 Cloud Storage 存储分区创建自定义保留政策，将数据导出到“自带项目”(BYOP) 项目中，以便在 BigQuery 中作为外部表使用。

现有客户的数据迁移

如果您是现有客户，则现有 Google 管理项目中的数据不会迁移到自有管理项目。由于数据未迁移，因此您的数据位于两个单独的项目中。如需查询包含自助管理项目激活日期的时间范围内的数据，您需要完成以下操作之一：

  • 使用单个查询联接这两个项目中的数据。
  • 针对各个项目分别运行两个查询，一个查询针对自行管理型项目激活日期之前的数据，另一个查询针对之后的数据。当 Google 管理的项目的保留期限到期后，系统会删除相应数据。之后，您只能查询 Google Cloud项目中的数据。

导出数据所需的权限

如需访问 BigQuery 数据，请在 BigQuery 中运行查询。将以下 IAM 角色分配给需要访问权限的任何用户：

启动将 BigQuery 数据导出到您自行管理的项目

  1. 创建要将数据导出到的 Google Cloud 项目。如需了解详情，请参阅为 Google SecOps 配置 Google Cloud 项目。

  2. 将您的自有管理项目关联到 Google SecOps 实例，以便在 Google SecOps 和自有管理项目之间建立连接。如需了解详情，请参阅将 Google 安全运营与 Google Cloud 服务相关联。 Google SecOps 代表为您选择的数据启用导出功能后，系统会开始数据导出流程。

  3. 如需验证数据是否已导出到您自行管理的项目，请在 BigQuery 中查看 datalake 数据集下的表。

您可以针对存储在 BigQuery 表中的 Google SecOps 数据编写临时查询。您还可以使用与 BigQuery 集成的其他第三方工具创建更高级的分析。

在自托管 Google Cloud 项目中创建的所有用于启用导出的资源（包括 Cloud Storage 存储分区和 BigQuery 表）都位于与 Google SecOps 相同的区域。

如果您在查询 BigQuery 时收到 Unrecognized name: <field_name> at [<some_number>:<some_number>] 等错误，则表示您尝试访问的字段不在数据集中，因为架构是在导出过程中动态生成的。

如需详细了解 BigQuery 中的 Google SecOps 数据，请参阅 BigQuery 中的 Google SecOps 数据。

需要更多帮助？向社区成员和 Google SecOps 专业人士寻求解答。