收集 MISP IOC 日志

本指南概述了使用 Bindplane 将 MISP（恶意软件信息共享平台）IOC（入侵指标）日志注入到 Google Security Operations 的步骤。解析器从以 JSON 或 CSV 格式设置的 MISP 数据中提取 IOC。它会解析输入内容，将字段映射到统一数据模型 (UDM)，处理各种 IOC 类型（例如 IP、网域和文件哈希），并使用置信度和严重程度等威胁情报上下文来丰富数据。解析器还会针对不同的数据格式执行特定逻辑，并处理缺少字段或字段不受支持的情况。

准备工作

请确保满足以下前提条件：

• Google SecOps 实例
• 搭载 systemd 的 Linux 主机
• 如果在代理后运行，防火墙端口处于开放状态
• 对 MISP 服务器的特权访问权限

获取 MISP API 密钥

1. 以管理员身份登录 MISP 网页界面。
2. 依次前往管理 > 列出授权密钥。
3. 点击添加身份验证密钥。
4. 提供以下密钥配置：
   • 用户：选择与密钥关联的用户账号。
   • 允许使用的 IP 地址：您可以选择为密钥指定允许使用的 IP 地址。
   • 复制密钥并将其保存在安全的位置。
   • 点击我已记下密钥。

配置 MISP 日志导出

1. 使用 SSH 登录您的 MISP 实例。

2. 使用以下命令安装 PyMISP：

   pip3 install pymisp 
   

3. 使用以下内容修改 get_csv.py 导出脚本：

   #!/usr/bin/env python3
   # -*- coding: utf-8 -*-
   
   import argparse
   
   from pymisp import ExpandedPyMISP
   from keys import misp_url, misp_key, misp_verifycert
   
   if __name__ == '__main__':
       parser = argparse.ArgumentParser(description='Get MISP data in a CSV format.')
       parser.add_argument("--controller", default='attributes', help="Attribute to use for the search (events, objects, attributes)")
       parser.add_argument("-e", "--event_id", help="Event ID to fetch. Without it, it will fetch the whole database.")
       parser.add_argument("-a", "--attribute", nargs='+', help="Attribute column names")
       parser.add_argument("-o", "--object_attribute", nargs='+', help="Object attribute column names")
       parser.add_argument("-t", "--misp_types", nargs='+', help="MISP types to fetch (ip-src, hostname, ...)")
       parser.add_argument("-c", "--context", action='store_true', help="Add event level context (tags...)")
       parser.add_argument("-f", "--outfile", help="Output file to write the CSV.")
       parser.add_argument("-l", "--last", required=True, help="can be defined in days, hours, minutes (for example 5d or 12h or 30m).")
   
       args = parser.parse_args()
       pymisp = ExpandedPyMISP(misp_url, misp_key, misp_verifycert, debug=True)
       attr = []
       if args.attribute:
           attr += args.attribute
       if args.object_attribute:
           attr += args.object_attribute
       if not attr:
           attr = None
       print(args.context)
       response = pymisp.search(return_format='csv', controller=args.controller, eventid=args.event_id, requested_attributes=attr, publish_timestamp=args.last,
                               type_attribute=args.misp_types, include_context=args.context)
   
       if args.outfile:
           with open(args.outfile, 'w') as f:
               f.write(response)
       else:
           print(response)
   

4. 修改 keys.py 文件，使其包含您的 MISP API 凭据和网址，如下所示：

   misp_url = 'https://<MISP_URL>'
   misp_key = '<MISP_API_KEY>'
   misp_verifycert = False
   misp_client_cert = ''
   

   • 将 <MISP_URL> 替换为您的 MISP IP 或主机名。
   • 将 <MISP_API_KEY 替换为之前生成的实际 API 密钥。

5. 使用 crontab -e 命令打开 crontab，然后输入以下内容：

   0 20 * * * python3 /opt/misp/<YOUR_EXPORT_SCRIPT_PATH> -f /opt/misp/ioc_export/url.log -t "url" -l 1d -c
   0 20 * * * python3 /opt/misp/<YOUR_EXPORT_SCRIPT_PATH> -f /opt/misp/ioc_export/ip-dst.log -t "ip-dst" -l 1d -c
   0 20 * * * python3 /opt/misp/<YOUR_EXPORT_SCRIPT_PATH> -f /opt/misp/ioc_export/ip-src.log -t "ip-src" -l 1d -c
   0 20 * * * python3 /opt/misp/<YOUR_EXPORT_SCRIPT_PATH> -f /opt/misp/ioc_export/domain.log -t "domain" -l 1d -c
   0 20 * * * python3 /opt/misp/<YOUR_EXPORT_SCRIPT_PATH> -f /opt/misp/ioc_export/sha256.log -t "sha256" -l 1d -c
   0 20 * * * python3 /opt/misp/<YOUR_EXPORT_SCRIPT_PATH> -f /opt/misp/ioc_export/file.log -t "filename" -l 1d -c
   0 20 * * * python3 /opt/misp/<YOUR_EXPORT_SCRIPT_PATH> -f /opt/misp/ioc_export/registry.log -t "registry" -l 1d -c
   0 20 * * * python3 /opt/misp/<YOUR_EXPORT_SCRIPT_PATH> -f /opt/misp/ioc_export/mutex.log -t "mutex" -l 1d -c
   0 20 * * * python3 /opt/misp/<YOUR_EXPORT_SCRIPT_PATH> -f /opt/misp/ioc_export/threat-actor.log -t "threat-actor" -l 1d -c
   

   • 根据实际的导出脚本位置更新 <YOUR_EXPORT_SCRIPT_PATH>。

获取 Google SecOps 注入身份验证文件

1. 登录 Google SecOps 控制台。
2. 依次前往 SIEM 设置 > 收集代理。
3. 下载注入身份验证文件。将该文件安全地保存在将要安装 Bindplane 的系统上。

获取 Google SecOps 客户 ID

1. 登录 Google SecOps 控制台。
2. 依次前往 SIEM 设置 > 配置文件。
3. 复制并保存组织详细信息部分中的客户 ID。

在 MISP 服务器上安装 Bindplane 代理

Linux 安装

1. 打开具有 root 或 sudo 权限的终端。

2. 运行以下命令：

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

其他安装资源

如需了解其他安装选项，请参阅安装指南。

配置 Bindplane 代理以注入 MISP 日志文件并将其发送到 Google SecOps

1. 访问配置文件：
   • 找到 config.yaml 文件。通常，它位于 Linux 上的 /etc/bindplane-agent/ 目录中。
   • 使用文本编辑器（例如 nano、vi 或记事本）打开该文件。

2. 按如下方式修改 config.yaml 文件：

   receivers:
       filelog:
           file_path: /opt/misp/ioc_export/*.log
           log_type: 'file'
   
   exporters:
       chronicle/chronicle_w_labels:
           compression: gzip
           # Adjust the path to the credentials file you downloaded in Step 1
           creds_file_path: '/path/to/ingestion-authentication-file.json'
           # Replace with your actual customer ID from Step 2
           customer_id: <customer_id>
           endpoint: malachiteingestion-pa.googleapis.com
           # Add optional ingestion labels for better organization
           ingestion_labels:
               log_type: 'MISP_IOC'
               raw_log_field: body
   
   service:
       pipelines:
           logs/source0__chronicle_w_labels-0:
               receivers:
                 - filelog
               exporters:
                   - chronicle/chronicle_w_labels
   

   • 根据基础架构的需要替换端口和 IP 地址。
   • 将 <customer_id> 替换为实际的客户 ID。
   • 将 /path/to/ingestion-authentication-file.json 更新为获取 Google SecOps 提取身份验证文件部分中保存身份验证文件的路径。

重启 Bindplane 代理以应用更改

如需在 Linux 中重启 Bindplane 代理，请运行以下命令：

  sudo systemctl restart bindplane-agent

UDM 映射表

需要更多帮助？从社区成员和 Google SecOps 专业人士那里获得解答。