BigQuery 中的 Google Security Operations 数据

支持的平台：

Google 安全运营通过将数据导出到 BigQuery，提供一个托管式数据湖，其中包含标准化数据和经过威胁情报丰富的遥测数据。这样一来，您将能够：

  • 直接在 BigQuery 中运行临时查询。
  • 使用您自己的商业智能工具（例如 Looker 或 Microsoft Power BI）创建信息中心、报告和分析。
  • 将 Google Security Operations 数据与第三方数据集联接。
  • 使用数据科学或机器学习工具运行分析。
  • 使用预定义的默认信息中心和自定义信息中心生成报告。

Google Security Operations 会将以下类别的数据导出到 BigQuery：

  • UDM 事件记录：根据客户提取的日志数据创建的 UDM 记录。这些记录会添加别名信息。
  • 规则匹配（检测）：规则与一个或多个事件匹配的情况。
  • IoC 匹配：与失陷指标 (IoC) Feed 匹配的事件中的工件（例如网域、IP 地址）。这包括与全局 Feed 和客户专用 Feed 中的商品进行匹配。
  • 提取指标：包括统计信息，例如提取的日志行数、从日志生成的事件数、指示无法解析日志的日志错误数，以及 Google 安全运营转发器的状态。如需了解详情，请参阅提取指标 BigQuery 架构。
  • 实体图和实体关系：存储实体的说明及其与其他实体的关系。

数据导出流程

数据导出流程如下：

  1. 一组特定于用例的 Google Security Operations 数据会导出到客户专用 Google Cloud 项目中存在且由 Google 管理的 BigQuery 实例。系统会将每个用例的数据导出到单独的表中。这些数据会从 Google Security Operations 导出到客户专用项目中的 BigQuery。
  2. 在导出过程中，Google 安全运营团队会为每种使用情形创建一个预定义的 Looker 数据模型。
  3. Google Security Operations 默认信息中心是使用预定义的 Looker 数据模型构建的。您可以在 Google 安全运营中心使用预定义的 Looker 数据模型创建自定义信息中心。
  4. 客户可以针对存储在 BigQuery 表中的 Google Security Operations 数据编写临时查询。

  5. 客户还可以使用与 BigQuery 集成的其他第三方工具创建更高级的分析。

    将数据导出到 BigQuery 进行处理

BigQuery 实例会在与 Google 安全运营租户相同的区域中创建。系统会为每个客户 ID 创建一个 BigQuery 实例。系统不会将原始日志导出到 BigQuery 中的 Google Security Operations 数据湖。系统会按填充方式导出数据。在 Google Security Operations 中提取和标准化数据后，系统会将其导出到 BigQuery。您无法回填之前提取的数据。所有 BigQuery 表中的数据保留期限均为 365 天。

对于 Looker 连接，请与您的 Google Security Operations 代表联系，获取服务账号凭据，以便将 Looker 实例连接到 BigQuery 中的 Google Security Operations 数据。该服务账号将具有只读权限。

表概览

Google Security Operations 会在 BigQuery 中创建 datalake 数据集以及以下表：

  • entity_enum_value_to_name_mapping：对于 entity_graph 表中的枚举类型，将数值映射到字符串值。
  • entity_graph：存储与 UDM 实体相关的数据。
  • events：存储与 UDM 事件相关的数据。
  • ingestion_metrics：存储与从特定提取来源（例如 Google Security Operations 转发器、Feed 和 Ingestion API）提取和标准化数据相关的统计信息。
  • ioc_matches：存储与 UDM 事件匹配的 IOC。
  • job_metadata：用于跟踪数据导出到 BigQuery 的内部表。
  • rule_detections：存储在 Google Security Operations 中运行的规则返回的检测结果。
  • rulesets：存储与 Google Security Operations 管理的检测相关的信息，包括每个规则集所属的类别、是否已启用以及当前的提醒状态。
  • udm_enum_value_to_name_mapping：对于事件表中的枚举类型，将数值映射到字符串值。
  • udm_events_aggregates：按标准化事件的小时数汇总存储汇总数据。

访问 BigQuery 中的数据

您可以直接在 BigQuery 中运行查询，也可以将您自己的商务智能工具（例如 Looker 或 Microsoft Power BI）连接到 BigQuery。

如需启用对 BigQuery 实例的访问权限，请使用 Google Security Operations CLI 或 Google Security Operations BigQuery Access API。您可以提供您拥有的用户或群组的电子邮件地址。如果您配置了对群组的访问权限，则可以使用该群组来管理哪些团队成员可以访问 BigQuery 实例。

如需将 Looker 或其他商业智能工具连接到 BigQuery，请与您的 Google Security Operations 代表联系，获取服务账号凭据，以便将应用连接到 Google Security Operations BigQuery 数据集。该服务账号将具有 IAM BigQuery Data Viewer 角色 (roles/bigquery.dataViewer) 和 BigQuery Job Viewer 角色 (roles/bigquery.jobUser)。

后续步骤