自动提取概览

支持的语言:

本文档概述了如何自动注入数据,以增强数据注入、处理和分析能力。

Google Security Operations 使用预构建的解析器,通过统一数据模型 (UDM) 架构提取日志数据并将其结构化。由于存在以下几项限制,管理和维护这些解析器可能具有挑战性:数据提取不完整、需要管理的解析器数量不断增加,以及随着日志格式的演变,需要频繁更新。

为了应对这些挑战,您可以使用自动提取功能。此功能可自动从提取到 Google SecOps 中的 JSON 格式日志中提取键值对。它还支持包含 JSON 消息的 Syslog 格式日志。提取的这些数据存储在名为 extracted 的 UDM 地图类型字段中。然后,您可以在 UDM 搜索查询、原生信息中心和 YARA-L 规则中使用这些数据。

最佳实践是,使用已提取字段的 UDM 搜索必须在其查询中包含 metadata.log_type,以提高搜索查询性能。

自动提取的优势在于减少了对解析器的依赖,即使在没有解析器或解析器无法解析日志的情况下,也能确保数据可用。

解析原始日志并从中提取数据

  1. 解析:Google SecOps 会尝试使用特定于日志类型的解析器(如果可用)来解析日志。如果不存在特定的解析器,或者解析失败,Google SecOps 会使用通用解析器提取基本信息,例如提取时间戳、日志类型和元数据标签。

  2. 数据提取:系统会自动从日志中提取所有数据点。

  3. 事件丰富:Google SecOps 会将解析后的数据和任何自定义格式的字段相结合,以创建丰富的事件,从而提供更多背景信息和详细信息。

  4. 下游数据传输:然后,这些经过丰富处理的事件会被发送到其他系统,以供进一步分析和处理。

使用提取器

提取器可用于从大量日志源中提取字段,旨在优化日志管理。通过使用提取器,您可以减小事件大小、提高解析效率,并更好地控制数据提取。 这对于管理新的日志类型或最大限度地缩短处理时间特别有用。

您可以使用 SIEM 设置菜单或通过执行原始日志搜索来创建提取器。

创建提取器

  1. 使用以下任一方法前往提取其他字段窗格:

    • 依次点击 SIEM 设置 > 解析器,然后执行以下操作:
      1. 在显示的 PARSERS 表格中,找到一个解析器(日志来源),然后依次点击 菜单 > 扩展解析器 > 提取其他字段
    • 使用原始日志扫描并执行以下操作:
      1. 日志源菜单中选择所需的日志源(解析器)。
      2. 在原始日志结果中,选择一个日志来源以打开事件数据窗格。
      3. 事件数据窗格中,依次点击管理解析器 > 扩展解析器 > 提取其他字段
    • 使用 UDM 搜索并执行以下操作:
      1. 在 UDM 搜索结果的事件标签页中,选择一个日志来源以查看事件查看器窗格。
      2. 原始日志标签页上,依次点击管理解析器 > 扩展解析器 > 提取其他字段
  2. 提取其他字段窗格的选择提取器标签页中,选择所需的原始日志字段。默认情况下,您最多可以选择 100 个字段。 如果没有其他字段可供提取,系统会显示警告通知。

    点击 Reference Raw Log 标签页,查看原始日志数据并预览 UDM 输出。

  3. 点击保存

新创建的提取器标记为 EXTRACTOR。 提取的字段在 UDM 输出中显示为 extracted.field{"fieldName"}

查看提取器详细信息

  1. 前往 PARSERS 表格中的提取器行,然后依次点击 菜单 > 扩展解析器 > 查看扩展
  2. 查看自定义解析器页面上,点击扩展和提取的字段标签页。

此标签页会显示有关解析器扩展程序和提取器字段的信息。 您可以在查看自定义解析器页面中修改或移除字段,并预览解析器输出。

需要更多帮助?从社区成员和 Google SecOps 专业人士那里获得解答。