自动提取功能概览

支持的平台：

本文档简要介绍了如何自动注入数据，以增强数据注入、处理和分析能力。

Google 安全运营团队使用预构建的解析器，通过统一数据模型 (UDM) 架构提取和结构化日志数据。由于存在以下几项限制，因此管理和维护这些解析器可能具有挑战性：数据提取不完整、需要管理的解析器数量不断增加，以及随着日志格式的演变而需要频繁更新。

为了应对这些挑战，您可以使用自动提取功能。此功能可自动从提取到 Google SecOps 的 JSON 格式日志中提取键值对。这些提取的数据存储在名为 extracted 的 UDM 地图类型字段中。然后，您可以在 UDM 搜索查询、原生信息中心和 YARA-L 规则中使用这些数据。自动解析支持 JSON 格式日志。

最佳实践是，使用已提取字段的 UDM 搜索必须在其查询中包含 metadata.log_type，以提高搜索查询性能。

自动提取的好处是减少对解析器的依赖，确保数据始终可用，即使没有解析器或解析器未能解析日志也是如此。

解析原始日志并提取数据

  1. 解析：Google SecOps 会尝试使用特定于日志类型的解析器（如果有）解析日志。如果不存在特定解析器，或者解析失败，Google SecOps 会使用通用解析器提取基本信息，例如提取时间戳、日志类型和元数据标签。

  2. 数据提取：系统会自动从日志中提取所有数据点。

  3. 事件丰富功能：Google SecOps 会将解析的数据和任何自定义格式的字段组合起来，以创建经过丰富的事件，从而提供更多背景信息和详细信息。

  4. 下游数据传输：然后，这些经过丰富的事件会发送到其他系统，以进行进一步分析和处理。

使用提取器

借助提取器，您可以从大量日志源中提取字段，这些提取器旨在优化日志管理。通过使用提取器，您可以缩减事件大小、提高解析效率，并更好地控制数据提取。这对于管理新日志类型或尽可能缩短处理时间特别有用。

您可以使用 SIEM 设置菜单或执行原始日志搜索来创建提取器。

创建提取器

  1. 使用以下任一方法前往提取其他字段窗格：

    • 依次点击 SIEM Settings（SIEM 设置）> Parsers（解析器），然后执行以下操作：
      1. 在随即显示的 PARSERS 表中，找到一个解析器（日志来源），然后依次点击 Menu > Extend Parser > Extract Additional Fields。
    • 使用原始日志扫描，然后执行以下操作：
      1. 从 Log Sources（日志来源）菜单中选择所需的日志来源（解析器）。
      2. 从原始日志结果中，选择一个日志源以打开 EVENT DATA 窗格。
      3. 在事件数据窗格中，依次点击管理解析器 > 扩展解析器 > 提取其他字段。
    • 使用 UDM 搜索，然后执行以下操作：
      1. 在 UDM 搜索结果的事件标签页中，选择一个日志源以查看事件查看器窗格。
      2. 在原始日志标签页中，依次点击管理解析器 > 扩展解析器 > 提取其他字段。

  2. 在提取其他字段窗格中的选择提取器标签页中，选择所需的原始日志字段。默认情况下，您最多可以选择 100 个字段。如果没有其他字段可提取，系统会显示一条警告通知。

    点击参考原始日志标签页可查看原始日志数据并预览 UDM 输出。

  3. 点击保存。

新创建的提取器标记为 EXTRACTOR。提取的字段在 UDM 输出中显示为 extracted.field{"fieldName"}。

查看提取器详情

  1. 前往 PARSERS 表中的提取器行，然后依次点击 Menu（菜单）> Extend Parser（扩展解析器）> View Extension（查看扩展程序）。
  2. 在查看自定义解析器页面上，点击扩展程序和提取的字段标签页。

此标签页会显示有关解析器扩展程序和提取器字段的信息。 您可以在查看自定义解析器页面中修改或移除字段，并预览解析器输出。

需要更多帮助？向社区成员和 Google SecOps 专业人士寻求解答。