收集 Apache Cassandra 日志

支持的语言:

本文档介绍了如何使用 Bindplane 将 Apache Cassandra 日志注入到 Google Security Operations。解析器会提取字段,并将其转换为统一数据模型 (UDM)。它使用 grok 模式解析初始消息,然后使用 JSON 过滤器处理嵌套数据,并执行条件转换以将各种字段映射到其 UDM 等效项,同时处理不同的日志级别并使用元数据丰富输出。

准备工作

确保您满足以下前提条件:

  • Google SecOps 实例
  • Windows 2016 或更高版本,或者具有 systemd 的 Linux 主机
  • 如果在代理后运行,防火墙端口处于开放状态
  • 对 Apache Cassandra 实例的特权访问权限

获取 Google SecOps 注入身份验证文件

  1. 登录 Google SecOps 控制台。
  2. 依次前往 SIEM 设置 > 收集代理
  3. 下载注入身份验证文件。将该文件安全地保存在将要安装 Bindplane 的系统上。

获取 Google SecOps 客户 ID

  1. 登录 Google SecOps 控制台。
  2. 依次前往 SIEM 设置 > 配置文件
  3. 复制并保存组织详细信息部分中的客户 ID

安装 Bindplane 代理

Windows 安装

  1. 以管理员身份打开命令提示符PowerShell
  2. 运行以下命令:

    msiexec /i `https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi` /quiet
    

Linux 安装

  1. 打开具有 root 或 sudo 权限的终端。
  2. 运行以下命令:

    sudo sh -c `$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)` install_unix.sh
    

其他安装资源

如需了解其他安装选项,请参阅安装指南

配置 Bindplane 代理以注入 Syslog 并将其发送到 Google SecOps

  1. 访问配置文件:
    • 找到 config.yaml 文件。通常,它位于 Linux 上的 /etc/bindplane-agent/ 目录中或 Windows 上的安装目录中。
    • 使用文本编辑器(例如 nanovi 或记事本)打开该文件。
  2. 按如下方式修改 config.yaml 文件:

    receivers:
        udplog:
            # Replace the port and IP address as required
            listen_address: `0.0.0.0:514`
    
    exporters:
        chronicle/chronicle_w_labels:
            compression: gzip
            # Adjust the path to the credentials file you downloaded in Step 1
            creds: '/path/to/ingestion-authentication-file.json'
            # Replace with your actual customer ID from Step 2
            customer_id: <customer_id>
            endpoint: malachiteingestion-pa.googleapis.com
            # Add optional ingestion labels for better organization
            ingestion_labels:
                log_type: 'CASSANDRA'
                raw_log_field: body
    
    service:
        pipelines:
            logs/source0__chronicle_w_labels-0:
                receivers:
                    - udplog
                exporters:
                    - chronicle/chronicle_w_labels
    
  3. 根据基础架构的需要替换端口和 IP 地址。

  4. <customer_id> 替换为实际的客户 ID。

  5. /path/to/ingestion-authentication-file.json 更新为获取 Google SecOps 提取身份验证文件部分中保存身份验证文件的路径。

重启 Bindplane 代理以应用更改

  • 如需在 Linux 中重启 Bindplane 代理,请运行以下命令:

    sudo systemctl restart bindplane-agent
    
  • 如需在 Windows 中重启 Bindplane 代理,您可以使用服务控制台,也可以输入以下命令:

    net stop BindPlaneAgent && net start BindPlaneAgent
    

在 Apache Cassandra 中配置 Syslog 导出

  1. 使用 SSH 登录 Apache Cassandra 主机。
  2. 打开配置文件 logback.xml,并在第 28 行插入以下代码:
    • 对于大多数版本的 Apache Cassandra,该位置为 $(CASSANDRA_HOME)/conf
    • 如果 Datastax Enterprise 是通过软件包安装的,则位置将为 /etc/dse
    • 对于 DSE 的 tar 文件安装,位置为 $(TARBALL_ROOT)/resources/cassandra/conf
  3. 将以下 Appender 定义添加到第 28 行的 logback.xml 文件中:

    <appender name="SYSLOG" class="ch.qos.logback.classic.net.SyslogAppender">
        <syslogHost>bindplane-ip</syslogHost>
        <port>bindplane-port</port>
        <facility>LOCAL7</facility>
        <throwableExcluded>true</throwableExcluded>
        <suffixPattern>%thread:%level:%logger{36}:%msg</suffixPattern>
    </appender>
    
  4. bindplane-ipbindplane-port 替换为实际的 Bindplane 代理 IP 地址和端口。

  5. 将以下代码添加到 logback.xml 文件中的根记录器块 <root level=INFO>

    1. 此行的插入位置取决于您的 Apache Cassandra 版本:

      • Apache Cassandra 5.0.x,第 123 行。
      • Apache Cassandra 4.0.x 和 4.1.x,第 115 行。
      • Apache Cassandra 3.11.x 和 3.0.x,第 92 行。
      • Datastax Enterprise(所有版本),第 121 行。
      <appender-ref ref=`SYSLOG` />
      

UDM 映射表

日志字段 UDM 映射 逻辑
agent.ephemeral_id observer.labels.value 内部 JSON 消息中 agent.ephemeral_id 的值。
agent.hostname observer.hostname 内部 JSON 消息中 agent.hostname 的值。
agent.id observer.asset_id filebeat: 与内部 JSON 消息中的 agent.id 值的串联。
agent.name observer.user.userid 内部 JSON 消息中 agent.name 的值。
agent.type observer.application 内部 JSON 消息中 agent.type 的值。
agent.version observer.platform_version 内部 JSON 消息中 agent.version 的值。
cloud.availability_zone principal.cloud.availability_zone 内部 JSON 消息中 cloud.availability_zone 的值。
cloud.instance.id principal.resource.product_object_id 内部 JSON 消息中 cloud.instance.id 的值。
cloud.instance.name principal.resource.name 内部 JSON 消息中 cloud.instance.name 的值。
cloud.machine.type principal.resource.attribute.labels.value 内部 JSON 消息中 cloud.machine.type 的值,其中对应的 keymachine_type
cloud.provider principal.resource.attribute.labels.value 内部 JSON 消息中 cloud.provider 的值,其中对应的 keyprovider
event_metadata._id metadata.product_log_id 内部 JSON 消息中 event_metadata._id 的值。
event_metadata.version metadata.product_version 内部 JSON 消息中 event_metadata.version 的值。
host.architecture target.asset.hardware.cpu_platform 内部 JSON 消息中 host.architecture 的值。
host.fqdn target.administrative_domain 内部 JSON 消息中 host.fqdn 的值。
host.hostname target.hostname 内部 JSON 消息中 host.hostname 的值。
host.id target.asset.asset_id Host Id: 与内部 JSON 消息中的 host.id 值的串联。
host.ip target.asset.ip 内部 JSON 消息中 host.ip 的 IP 地址数组。
host.mac target.mac 内部 JSON 消息中 host.mac 的 MAC 地址数组。
host.os.kernel target.platform_patch_level 内部 JSON 消息中 host.os.kernel 的值。
host.os.platform target.platform 如果 host.os.platformdebian,则设置为 LINUX
host.os.version target.platform_version 内部 JSON 消息中 host.os.version 的值。
hostname principal.hostname 使用 grok 从 message 字段中提取的 hostname 值。
key security_result.detection_fields.value 使用 grok 从 message 字段提取的 key 值,其中对应的 keykey
log.file.path principal.process.file.full_path 内部 JSON 消息中 log.file.path 的值。
log_level security_result.severity 根据 log_level 的值进行映射:DEBUGINFOAUDIT 映射到 INFORMATIONALERROR 映射到 ERRORWARNING 映射到 MEDIUM
log_level security_result.severity_details 使用 grok 从 message 字段中提取的 log_level 值。
log_type metadata.log_type 原始日志中的 log_type 值。
message security_result.description 使用 grok 从 message 字段中提取的说明。
message target.process.command_line 使用 grok 从 message 字段中提取的命令行。
now security_result.detection_fields.value 使用 grok 从 message 字段提取的 now 值,其中对应的 keynow。使用 grok 从 message 字段提取的 event_time 字段解析而来。如果 hostnamehost.hostname 都存在,则设置为 USER_RESOURCE_ACCESS;否则设置为 GENERIC_EVENT。设置为 CASSANDRA。设置为 CASSANDRA。设置为 ephemeral_id。如果存在 cloud.instance.name,则设置为 VIRTUAL_MACHINE。对于相应的检测字段,设置为 keynow
timestamp timestamp 来自原始日志的 create_time 字段。

需要更多帮助?从社区成员和 Google SecOps 专业人士那里获得解答。