使用 Feed 管理界面创建和管理 Feed

本文档介绍了如何使用 Feed 管理界面创建、管理 Feed 并排查 Feed 问题。管理 Feed 包括修改、启用和删除 Feed。

准备工作

每个数据 Feed 都有自己的一组前提条件，必须先满足这些条件，然后才能在 Google Security Operations 中设置相应 Feed。如需了解特定于 Feed 类型的前提条件，请参阅按来源类型进行配置。 搜索您需要设置的数据 Feed 类型，然后按照提供的说明操作。

支持的压缩格式

Feed 提取支持的压缩格式包括：.gz、.tar.gz、.tar、.targz 和 solr.gz。 下表概述了 Google SecOps Feed 转换支持的不同文件大小：

设置 Feed 的方式

Google SecOps 客户可以通过两种方式在平台中设置此 Feed。请使用最适合您环境的方法：

• SIEM 设置 > Feed
• 内容中心 > 内容包

查看已配置的 Feed

Feed 页面会显示您配置的所有 Feed。

1. 依次前往 SIEM 设置> Feed。主页面会显示所有已配置的 Feed。
2. 将指针悬停在每一行上，以显示 more_vert 更多菜单。
3. 在菜单中，您可以查看 Feed 详情、修改、停用或删除 Feed。

为产品系列配置多个 Feed（仅限 Google SecOps 客户）

您可以根据日志类型，为每个产品系列配置多个 Feed。Google 已确定为基准的日志类型标记为必需。 该平台提供设置说明、所需程序以及所有配置参数的说明。某些参数是预定义的，可简化配置设置。 例如，您可以为 CrowdStrike Falcon 在必需和可选日志类型下创建多个 Feed。如需了解详情，请参阅配置多个 Feed。

添加 Feed

如需向您的 Google SecOps 账号添加 Feed，请完成以下步骤：

请按照以下步骤通过 SIEM 设置* {and_then} Feed 页面添加 Feed。

1. 在 Google SecOps 菜单中，选择设置，然后点击 Feed。 Feed 页面上列出的数据 Feed 除了您配置的 Feed 之外，还包括 Google 为您的账号配置的所有 Feed。

2. 点击添加新 Feed。

3. 在下一页上，点击配置单个 Feed。对于使用 Google SecOps SIEM 独立平台的客户，此步骤不适用。

4. 添加 Feed 名称。

5. 在来源类型列表中，选择将数据导入 Google SecOps 的来源类型。您可以从以下 Feed 源类型中进行选择：

   • Amazon Data Firehose
   • Amazon S3
   • Amazon S3（预览版）
   • Amazon SQS
   • Amazon SQS（预览版）
   • Azure Blob Storage
   • Azure Blob Storage（预览版）
   • Google Cloud Pub/Sub
   • Cloud Storage
   • Cloud Storage（预览版）
   • Cloud Storage Event Driven（预览版）
   • HTTP(S) 文件（非 API）
   • 第三方 API
   • Webhook

6. 在日志类型列表中，选择与您要注入的日志对应的日志类型。可供搜索的日志会因您之前选择的来源类型而异。

   如果您选择 Cloud Storage 作为来源类型，请使用获取服务账号选项来获取唯一的服务账号。请参阅 Google Cloud Storage Feed 设置示例。

7. 点击下一步。

8. 在输入参数标签页中指定所需的参数。此处显示的选项因您在设置属性标签页上选择的来源和日志类型而异。 将指针悬停在每个字段的问号图标上，即可获取有关您需要提供的信息的更多信息。

9. 可选：您可以在设置属性标签页中指定命名空间。 如需详细了解命名空间，请参阅使用资源命名空间。

10. 点击下一步。

11. 在最终确定标签页上查看新 Feed 配置。

12. 点击提交。Google SecOps 完成对新 Feed 的验证检查。如果 Feed 通过检查，系统会为该 Feed 生成一个名称，并将其提交给 Google SecOps，然后 Google SecOps 会开始尝试提取数据。

    

Google Cloud Storage Feed 设置示例

1. 在 Google SecOps 菜单中，选择设置，然后点击 Feed。
2. 点击添加新 Feed。
3. 在下一页上，点击配置单个 Feed。如果您使用的是 Google SecOps SIEM 独立平台，则无需执行此步骤。
4. 选择 Cloud Storage 作为来源类型。
5. 选择日志类型。例如，如需为 Google Kubernetes Engine 审核日志创建 Feed，请选择 Google Kubernetes Engine 审核日志作为日志类型。
6. 点击获取服务账号。Google SecOps 提供了一个唯一的服务账号，Google SecOps 使用该账号来注入数据。
7. 可选：配置服务账号。如需了解详情，请参阅向 Google SecOps 服务账号授予访问权限。
8. 点击下一步。

9. 根据您创建的 Cloud Storage 配置，为以下字段指定值：

   • 存储桶 URI

   • 来源删除选项

   如需详细了解如何设置 Cloud Storage 存储分区，请参阅创建存储分区。

10. 点击下一步，然后点击提交。 注意：您必须启用许可名单，并为从第三方 API 注入数据的所有日志类型添加 IP 范围。

IP 许可名单

本部分介绍了第三方 Feed 和 Storage Transfer Service (STS) 的许可名单要求。

将第三方 API Feed 列入许可名单

启用许可名单，并为从第三方 API 注入数据的所有日志类型添加 Google IP 范围。

为 Amazon S3 和 Azure Storage 启用 STS 访问权限

以下 Google Cloud Storage Feed 使用 STS 将数据从 Amazon S3 和 Azure Storage Blob 存储区转移到 Google SecOps：

• Amazon S3（预览版）
• Amazon SQS（预览版）
• Azure Blob Storage（预览版）

STS 会从一组已定义的 STS IP 地址范围向 Amazon S3 和 Azure 存储服务发送数据转移请求。这些 STS IP 地址范围发布在以下 JSON 文件中： https://www.gstatic.com/storage-transfer-service/ipranges.json

如需使用这些 STS Feed 源类型，您可能需要允许访问您的 Amazon S3 和 Azure 存储 Blob 存储区，以处理源自 STS IP 地址范围中定义的 IP 地址的查询。

您可能需要调整 IP 访问限制，以使 STS 能够访问您的 Amazon S3 和 Azure 存储服务：

1. 从 JSON 文件中拉取最新的 IP 范围。

   我们建议您至少每周从这个 JSON 文件中读取一次数据，以确保您的安全配置保持最新。向文件添加新范围后，系统至少会等待 7 天，之后才会使用该范围处理来自 STS 的请求。

   如需查看从 JSON 文件提取 IP 范围的示例 Python 脚本，请参阅默认网域的 IP 地址。

2. 将当前 IP 范围 creationTime 与从上一个 JSON 文件读取的 IP 范围 creationTime 进行比较。如果这些 IP 地址不同，请更新 Amazon S3 和 Azure Storage Blob 存储区中的 IP 访问权限限制。

   • 对于 Amazon S3

     如需更新 Amazon S3 Blobstore 中的 IP 访问权限限制，请执行以下操作：

     如果您的 AWS 项目通过 IP 来限制对存储空间的访问权限，您必须将 STS 工作器使用的 IP 范围添加到允许的 IP 列表。

     如需将这些范围添加为允许的 IP，请在 bucket policy 中使用 Condition 字段，详情请参阅 AWS S3 文档：基于特定 IP 地址管理访问权限。

   • 对于 Azure Storage

     如需更新 Azure Storage Blobstore 中的 IP 访问限制，请执行以下操作：

     如果您使用 Azure Storage 防火墙限制对 Azure 资源的访问，则必须将 STS 工作器使用的 IP 范围添加到允许的 IP 列表。

     如需将这些范围添加为允许的 IP，请按照以下说明操作：配置 Azure 存储防火墙和虚拟网络。

删除源文件

借助源删除选项，您可以在成功转移后从存储空间中删除 Feed 源对象（文件和文件夹）。此选项仅适用于所选的 Feed 源类型，包括 Cloud Storage。这些 Feed 源类型在其添加新 Feed 和修改 Feed 工作流程中包含来源删除选项字段。

来源删除选项

• 对于受支持的 Feed 源类型（包括 Cloud Storage），SOURCE DELETION OPTION 字段提供以下选项：

  • 永不删除文件
  • 删除已转移的文件和空目录
  • 删除已传输的文件

• Microsoft Azure Blob Storage (AZURE_BLOBSTORE) 不支持删除源文件。对于来源删除选项字段，请仅选择永不删除文件选项。

• 对于以下 Feed 源 ("feedSourceType")：GOOGLE_CLOUD_STORAGE_V2、GOOGLE_CLOUD_STORAGE_EVENT_DRIVEN、AMAZON_S3_V2、AMAZON_SQS_V2 和 AZURE_BLOBSTORE_V2，SOURCE DELETION OPTION 字段提供以下两个选项：

  • 永不：永不删除转移后的任何文件。
  • ON_SUCCESS：在转移完成后删除所有文件和空目录。

设置 Pub/Sub 推送 Feed

如需设置 Pub/Sub 推送 Feed，请执行以下操作：

1. 创建 Pub/Sub 推送 Feed。
2. 在 Pub/Sub 订阅中指定端点网址。

创建 Pub/Sub 推送 Feed

1. 在 Google SecOps 菜单中，选择设置，然后点击 Feed。
2. 点击新增。
3. 在Feed 名称字段中，输入 Feed 的名称。
4. 在来源类型列表中，选择 Google Cloud Pub/Sub 推送。
5. 选择日志类型。例如，如需为开放网络安全架构框架创建 Feed，请选择开放网络安全架构框架 (OCSF) 作为日志类型。
6. 点击下一步。
7. 可选：为以下输入参数指定值：
   • 拆分分隔符：用于分隔日志行的分隔符，例如 \n。
   • 资源命名空间：资源命名空间。
   • 注入标签：要应用于此 Feed 中事件的标签。
8. 点击下一步。
9. 在最终确定界面中查看新的 Feed 配置，然后点击提交。
10. 在详情标签页中，从端点信息字段复制 Feed 端点网址。 您需要此端点网址才能在 Pub/Sub 中创建推送订阅。
11. 可选：点击启用 Feed 切换开关以停用 Feed。该 Feed 默认处于启用状态。
12. 点击完成。

指定端点网址

创建 Pub/Sub 推送 Feed 后，请按如下方式指定端点网址：在 Pub/Sub 中，创建推送订阅，指定 HTTPS 端点。选择启用身份验证，然后选择服务账号。

1. 在 Pub/Sub 中创建推送订阅。如需详细了解如何创建推送订阅，请参阅创建推送订阅。
2. 指定端点网址，该网址可在 Google Cloud Pub/Sub 推送 Feed 中找到。
3. 选择启用身份验证，然后选择一个服务账号。

设置 Amazon Data Firehose Feed

如需设置 Amazon Data Firehose Feed，请执行以下操作：

1. 创建 Amazon Data Firehose Feed，然后复制端点网址和密钥。
2. 创建 API 密钥，以便向 Google SecOps 进行身份验证。您还可以重复使用现有的 API 密钥向 Google SecOps 进行身份验证。
3. 在 Amazon Data Firehose 中指定端点网址。

创建 Amazon Data Firehose Feed

1. 在 Google SecOps 菜单中，选择设置，然后点击 Feed。
2. 点击新增。
3. 在Feed 名称字段中，输入 Feed 的名称。
4. 在来源类型列表中，选择 Amazon Data Firehose。
5. 选择日志类型。例如，如需为开放网络安全架构框架创建 Feed，请选择开放网络安全架构框架 (OCSF) 作为日志类型。
6. 点击下一步。
7. 可选：为以下输入参数指定值：
   • 拆分分隔符：用于分隔日志行的分隔符，例如 \n。
   • 资源命名空间：资源命名空间。
   • 注入标签：要应用于此 Feed 中事件的标签。
8. 点击下一步。
9. 在最终确定界面中查看新的 Feed 配置，然后点击提交。
10. 点击生成密钥，生成用于对此 Feed 进行身份验证的密钥。
11. 复制并存储密钥，因为您无法再次查看此密钥。您可以再次生成新的密钥，但重新生成密钥会使之前的密钥失效。
12. 在详情标签页中，从端点信息字段复制 Feed 端点网址。 在 Amazon Data Firehose 中为交付流指定目标设置时，您需要此端点网址。
13. 可选：点击启用 Feed 切换开关以停用 Feed。该 Feed 默认处于启用状态。
14. 点击完成。

为 Amazon Data Firehose Feed 创建 API 密钥

如需为 Amazon Data Firehose Feed 创建 API 密钥，请执行以下操作： 1. 前往 Google Cloud 控制台中的凭据页面。 1. 点击创建凭据，然后选择 API 密钥。 1. 将 API 密钥访问权限限制为 Chronicle API。

指定端点网址

在 Amazon Data Firehose 中，指定 HTTPS 端点和访问密钥，如下所示：

1. 将 API 密钥附加到 Feed 端点网址，并指定此网址作为 HTTP 端点网址，格式如下：

     ENDPOINT_URL?key=API_KEY
   

   替换以下内容：

   • ENDPOINT_URL：Feed 端点网址。
   • API_KEY：用于向 Google SecOps 进行身份验证的 API 密钥。

2. 对于访问密钥，请指定您在创建 Amazon Data Firehose Feed 时获得的密钥。

设置 HTTPS Webhook Feed

如需设置 HTTPS 网络钩子 Feed，请执行以下操作：

1. 创建 HTTPS 网络钩子 Feed，然后复制端点网址和密钥。
2. 创建通过端点网址指定的 API 密钥。您还可以重复使用现有的 API 密钥向 Google SecOps 进行身份验证。
3. 在应用中指定端点网址。

前提条件

• 确保已配置 Google SecOps 的Google Cloud 项目，并且已为该项目启用 Chronicle API。

• 将 Google SecOps 实例与 Google Cloud 服务相关联。

创建 HTTPS 网络钩子 Feed

1. 在 Google SecOps 菜单中，选择设置，然后点击 Feed。
2. 点击新增。
3. 在Feed 名称字段中，输入 Feed 的名称。
4. 在来源类型列表中，选择 Webhook。
5. 选择日志类型。例如，如需为开放网络安全架构框架创建 Feed，请选择开放网络安全架构框架 (OCSF) 作为日志类型。
6. 点击下一步。
7. 可选：为以下输入参数指定值：
   • 拆分分隔符：用于分隔日志行的分隔符，例如 \n。
   • 资源命名空间：资源命名空间。
   • 注入标签：要应用于此 Feed 中事件的标签。
8. 点击下一步。
9. 在最终确定界面中查看新的 Feed 配置，然后点击提交。
10. 点击生成密钥，生成用于对此 Feed 进行身份验证的密钥。
11. 复制并存储密钥，因为您无法再次查看此密钥。您可以再次生成新的密钥，但重新生成密钥会使之前的密钥失效。
12. 在详情标签页中，从端点信息字段复制 Feed 端点网址。 您需要在客户端应用中指定此端点网址。
13. 可选：点击启用 Feed 切换开关以停用 Feed。该 Feed 默认处于启用状态。
14. 点击完成。

为 Webhook Feed 创建 API 密钥

1. 前往 Google Cloud 控制台中的凭据页面。
2. 点击创建凭据，然后选择 API 密钥。
3. 将 API 密钥访问权限限制为 Chronicle API。

指定端点网址

1. 在客户端应用中，指定可在 Webhook Feed 中找到的 HTTPS 端点。

2. 通过在自定义标头中指定 API 密钥和密钥来启用身份验证，格式如下：

   X-goog-api-key = API_KEY

   X-Webhook-Access-Key = SECRET

   我们建议您将 API 密钥指定为标头，而不是在网址中指定。如果您的 Webhook 客户端不支持自定义标头，您可以使用以下格式的查询参数指定 API 密钥和密钥：

     ENDPOINT_URL?key=API_KEY&secret=SECRET
   

   替换以下内容：

   • ENDPOINT_URL：Feed 端点网址。
   • API_KEY：用于向 Google SecOps 进行身份验证的 API 密钥。
   • SECRET：您生成的用于验证 Feed 的密钥。

向 Google SecOps 服务账号授予访问权限

1. 在 Google Cloud 控制台中，转到 Cloud Storage 存储桶页面。
   

   进入“存储桶”

2. 向服务账号授予对相关 Cloud Storage 对象的访问权限。

   • 如需向特定文件授予读取权限，请完成以下步骤：

     1. 选择相应文件，然后点击修改权限。
     2. 点击添加主账号。
     3. 在新的主账号字段中，输入 Google SecOps 服务账号的名称。
     4. 为 Google SecOps 服务账号分配包含读取权限的角色。例如，Storage Object Viewer (roles/storage.objectViewer)。只有在未启用统一存储桶级访问权限的情况下，才能执行此操作。
     5. 点击保存。

   • 如需向多个文件授予读取权限，请按如下方式授予存储桶级访问权限：

     • 对于 "feedSourceType": "GOOGLE_CLOUD_STORAGE"：

       1. 将 Google SecOps 服务账号添加为主账号，并向其授予 IAM Storage Object Viewer (roles/storage.objectViewer) 角色。
       2. 如果您将 Feed 配置为删除源文件，则必须将 Google SecOps 服务账号添加为存储桶的主账号，并为其授予 IAM Storage Object Admin (roles/storage.objectAdmin) 角色。

     • 对于 "feedSourceType": "GOOGLE_CLOUD_STORAGE_V2"：

       1. 授予以下任一角色：

          • Storage Object Viewer (roles/storage.objectViewer)（如果要转移到其他 Cloud Storage 存储桶）。
          • Storage Object Creator (roles/storage.objectCreator)（如果要转移到文件系统）。

       2. 授予以下任一角色：

          • Storage Legacy Bucket Writer (roles/storage.legacyBucketWriter)（如果需要对象删除权限）。
          • Storage Legacy Bucket Reader (roles/storage.legacyBucketReader)（如果不需要对象删除权限）。

     • 对于 "feedSourceType": "GOOGLE_CLOUD_STORAGE_EVENT_DRIVEN"：

       1. 授予以下任一角色：

          • Storage Object Viewer (roles/storage.objectViewer)（如果要转移到其他 Cloud Storage 存储桶）。
          • Storage Object Creator (roles/storage.objectCreator)（如果要转移到文件系统）。

       2. 授予以下任一角色：

          • Storage Legacy Bucket Writer (roles/storage.legacyBucketWriter)（如果需要对象删除权限）。
          • Storage Legacy Bucket Reader (roles/storage.legacyBucketReader)（如果不需要对象删除权限）。

配置 VPC Service Controls

如果启用了 VPC Service Controls，则需要入站流量规则才能提供对 Cloud Storage 存储桶的访问权限。

入站规则中必须允许以下 Cloud Storage 方法：

• google.storage.objects.list。对于单个文件 Feed，此属性是必需的。
• google.storage.objects.get。对于需要目录或子目录访问权限的 Feed，此权限是必需的。
• google.storage.objects.delete。对于需要删除源文件的 Feed，此属性为必需属性。

入站规则示例

- ingressFrom:
  identities:
    - serviceAccount:8911409095528497-0-account@partnercontent.gserviceaccount.com
  sources:
  - accessLevel: "*"
  ingressTo:
  operations:
  - serviceName: storage.googleapis.com
    methodSelectors:
    - method: google.storage.objects.list
    - method: google.storage.objects.get
    - method: google.storage.objects.delete
  resources:
  - projects/PROJECT_ID

Feed 状态

您可以在初始Feed页面上监控 Feed 的状态。Feed 可以具有以下状态：

• 有效：Feed 已配置完毕，可以开始将数据注入到您的 Google SecOps 账号中。
• InProgress：Google SecOps 尝试从已配置的第三方拉取数据。
• 已完成：此 Feed 已成功检索到数据。
• 已归档：已停用的 Feed。

• 失败：Feed 无法成功提取数据。这很可能是配置问题所致。点击相应问题即可显示配置错误。修正错误并重新提交 Feed 后，请返回Feed 页面，确定 Feed 现在是否正常运行。

修改 Feed

在Feed页面上，您可以按如下方式修改现有 Feed：

1. 将光标悬停在现有 Feed 上，然后点击右列中的 more_vert。

2. 点击修改 Feed。您现在可以修改 Feed 的输入参数，然后将其重新提交给 Google SecOps，后者会尝试使用更新后的 Feed。

启用和停用 Feed

在状态列中，已启用的 Feed 会标记为有效、正在进行、已完成或失败。已停用的字段会标记为已归档。如需了解说明，请参阅Feed 状态。

在Feed 页面中，您可以启用或停用任何现有 Feed：

1. 将光标悬停在现有 Feed 上，然后点击右列中的 more_vert。

2. 可选：点击启用 Feed 切换开关以停用 Feed。

3. 可选：点击停用 Feed 切换开关以停用 Feed。相应 Feed 现已标记为已归档。

删除 Feed

在Feed 页面上，您还可以删除现有 Feed：

1. 将光标悬停在现有 Feed 上，然后点击右列中的 more_vert。

2. 点击删除 Feed。系统会打开 DELETE FEED 窗口。如需永久删除该动态，请点击是，删除。

控制注入速率

当租户的数据注入速率达到一定阈值时，Google Security Operations 会限制新数据源的提取速率，以防止提取速率较高的来源影响其他数据源的提取速率。在这种情况下，虽然会有延迟，但不会丢失数据。阈值由提取量和租户的使用情况历史记录决定。

您可以联系 Cloud Customer Care 来申请提高速率限制。

问题排查

在 Feed 页面上，您可以查看现有 Feed 的详细信息，例如来源类型、日志类型、Feed ID 和状态，如下所示：

1. 将光标悬停在现有 Feed 上，然后点击右列中的 more_vert。

2. 点击查看 Feed。系统会显示一个对话框，其中包含 Feed 详细信息。对于失败的 Feed，您可以在详细信息 > 状态下找到错误详情。

对于失败的 Feed，详细信息包括错误原因和修正步骤。 下表介绍了您在处理数据 Feed 时可能会遇到的错误消息：

需要更多帮助？从社区成员和 Google SecOps 专业人士那里获得解答。