收集 Datadog 日志

概览

此解析器从 Datadog 日志中提取字段，执行多项突变和 Grok 匹配来构建数据，并将提取的字段映射到 UDM。它可处理 message 字段中的不同日志格式（包括键值对和 JSON 对象），并将特定字段转换为符合 UDM 标准的标签和其他字段。

准备工作

确保您满足以下前提条件：

• Google SecOps 实例。
• 对 Google Cloud IAM 的特权访问权限。
• 对 Cloud Storage 的特权访问权限。
• logs_write_archive 用户对 Datadog 的访问权限。

方法 1：通过 Cloud Storage 配置实现 Datadog 日志共享

配置 Datadog 与 Google Cloud 平台的集成

• 在 Datadog 中为 Google Cloud Platform 设置集成。如需了解详情，请参阅 Datadog Google Cloud 集成设置。

创建 Google Cloud 存储分区

1. 登录 Google Cloud 控制台。

2. 前往 Cloud Storage 存储分区页面。

   进入“存储桶”

3. 点击创建。

4. 在创建存储桶页面上，输入您的存储桶信息。完成以下每一步后，点击继续以继续执行后续步骤：

   1. 在开始使用部分中，执行以下操作：

      1. 输入符合存储桶名称要求的唯一名称（例如 datadog-data）。

      2. 如需启用分层命名空间，请点击展开箭头以展开优化文件导向型和数据密集型工作负载部分，然后选择在此存储桶上启用分层命名空间。

      3. 如需添加存储桶标签，请点击展开箭头以展开标签部分。

      4. 点击添加标签，然后为标签指定键和值。

   2. 在选择数据存储位置部分中，执行以下操作：

      1. 选择位置类型。
      2. 使用位置类型下拉菜单选择一个位置，用于永久存储存储桶中的对象数据。
         • 如果您选择双区域位置类型，还可以使用相关复选框选择启用增强型复制。
      3. 如需设置跨存储桶复制，请展开设置跨存储桶复制部分。

   3. 在为数据选择一个存储类别部分中，为存储桶选择默认存储类别，或者选择 Autoclass 对存储桶数据进行自动存储类别管理。

   4. 在选择如何控制对对象的访问权限部分中，选择不强制执行禁止公开访问，然后为存储桶对象选择访问权限控制模型。

   5. 在选择如何保护对象数据部分中，执行以下操作：

      1. 在数据保护下，选择您要为存储桶设置的任何选项。
      2. 如需选择对象数据的加密方式，请点击标有数据加密的展开箭头，然后选择数据加密方法。

5. 点击创建。

创建 Google Cloud 服务账号

1. 前往 IAM 和管理 > 服务账号。
2. 创建新的服务账号。
3. 为其指定一个描述性名称（例如，datadog-user）。
4. 向服务账号授予您在上一步中创建的 Cloud Storage 存储桶的 Storage Object Admin 角色。
5. 为服务账号创建 SSH 密钥。
6. 下载服务账号的 JSON 密钥文件。请妥善保管此文件。

配置 Datadog 以将日志发送到 Cloud Storage

1. 使用特权账号登录 Datadog。
2. 依次前往日志 > 日志转发。
3. 点击 + 创建新归档文件。
4. 选择 Google Cloud Storage。
5. 输入必需参数，然后点击保存。

方法 2：通过 Webhook 配置共享 Datadog 日志

设置 Feed

如需配置 Feed，请按以下步骤操作：

1. 依次前往 SIEM 设置 > Feed。
2. 点击添加新 Feed。
3. 在下一页上，点击配置单个 Feed。
4. 在 Feed 名称字段中，输入 Feed 的名称（例如 Datadog 日志）。
5. 选择 Webhook 作为来源类型。
6. 选择 Datadog 作为日志类型。
7. 点击下一步。
8. 可选：为以下输入参数指定值：
   • 拆分分隔符：用于分隔日志行的分隔符，例如 \n。
9. 点击下一步。
10. 在最终确定界面中检查 Feed 配置，然后点击提交。
11. 点击生成密钥，生成用于对此 Feed 进行身份验证的密钥。
12. 复制并存储密钥。您将无法再次查看此密钥。如有需要，您可以重新生成新的 Secret 密钥，但此操作会使之前的 Secret 密钥失效。
13. 在详情标签页中，从端点信息字段复制 Feed 端点网址。您需要在客户端应用中指定此端点网址。
14. 点击完成。

为 Webhook Feed 创建 API 密钥

1. 前往 Google Cloud 控制台 > 凭据。

   转到“凭据”页面

2. 点击创建凭据，然后选择 API 密钥。

3. 将 API 密钥访问权限限制为 Chronicle API。

指定端点网址

1. 在客户端应用中，指定 webhook Feed 中提供的 HTTPS 端点网址。

2. 通过在自定义标头中指定 API 密钥和密钥来启用身份验证，格式如下：

   X-goog-api-key = API_KEY
   X-Webhook-Access-Key = SECRET
   

   建议：将 API 密钥指定为标头，而不是在网址中指定。

3. 如果您的 Webhook 客户端不支持自定义标头，您可以使用以下格式的查询参数指定 API 密钥和密钥：

   ENDPOINT_URL?key=API_KEY&secret=SECRET
   

   替换以下内容：

   • ENDPOINT_URL：Feed 端点网址。
   • API_KEY：用于向 Google SecOps 进行身份验证的 API 密钥。
   • SECRET：您生成的用于验证 Feed 的密钥。

配置 Datadog 以将日志发送到网络钩子

1. 使用特权账号登录 Datadog。
2. 依次前往日志 > 日志转发。
3. 选择自定义目的地。
4. 点击 + 创建新目标。
5. 为以下输入参数指定值：
   1. 选择目标类型：选择 HTTP。
   2. 为目的地命名：为网络钩子提供一个描述性名称（例如 Google SecOps 网络钩子）。
   3. 配置目的地：输入 ENDPOINT_网址，然后输入 API_KEY 和 SECRET。
   4. 配置身份验证设置：添加如下所示的常规标头，这样就不会使 HTTP 请求格式有误，并且允许 Datadog 完成网络钩子创建。
      • 标头名称：Accept。
      • 标头值：application/json。
   5. 点击保存。

参考链接

• 将日志共享到 Cloud Storage
• 将日志转发到 Webhook

UDM 映射表

需要更多帮助？从社区成员和 Google SecOps 专业人士那里获得解答。