收集 Apache Cassandra 日志
本文档介绍了如何使用 Bindplane 将 Apache Cassandra 日志注入到 Google Security Operations。解析器会提取字段,并将其转换为统一数据模型 (UDM)。它使用 grok 模式解析初始消息,然后使用 JSON 过滤器处理嵌套数据,并执行条件转换以将各种字段映射到其 UDM 等效项,同时处理不同的日志级别并使用元数据丰富输出。
准备工作
确保您满足以下前提条件:
- Google SecOps 实例
- Windows 2016 或更高版本,或者具有 systemd 的 Linux 主机
- 如果在代理后运行,防火墙端口处于开放状态
- 对 Apache Cassandra 实例的特权访问权限
获取 Google SecOps 注入身份验证文件
- 登录 Google SecOps 控制台。
- 依次前往 SIEM 设置 > 收集代理。
- 下载注入身份验证文件。将该文件安全地保存在将要安装 Bindplane 的系统上。
获取 Google SecOps 客户 ID
- 登录 Google SecOps 控制台。
- 依次前往 SIEM 设置 > 配置文件。
- 复制并保存组织详细信息部分中的客户 ID。
安装 Bindplane 代理
Windows 安装
- 以管理员身份打开命令提示符或 PowerShell。
运行以下命令:
msiexec /i `https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi` /quiet
Linux 安装
- 打开具有 root 或 sudo 权限的终端。
运行以下命令:
sudo sh -c `$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)` install_unix.sh
其他安装资源
如需了解其他安装选项,请参阅安装指南。
配置 Bindplane 代理以注入 Syslog 并将其发送到 Google SecOps
- 访问配置文件:
- 找到
config.yaml
文件。通常,它位于 Linux 上的/etc/bindplane-agent/
目录中或 Windows 上的安装目录中。 - 使用文本编辑器(例如
nano
、vi
或记事本)打开该文件。
- 找到
按如下方式修改
config.yaml
文件:receivers: udplog: # Replace the port and IP address as required listen_address: `0.0.0.0:514` exporters: chronicle/chronicle_w_labels: compression: gzip # Adjust the path to the credentials file you downloaded in Step 1 creds: '/path/to/ingestion-authentication-file.json' # Replace with your actual customer ID from Step 2 customer_id: <customer_id> endpoint: malachiteingestion-pa.googleapis.com # Add optional ingestion labels for better organization ingestion_labels: log_type: 'CASSANDRA' raw_log_field: body service: pipelines: logs/source0__chronicle_w_labels-0: receivers: - udplog exporters: - chronicle/chronicle_w_labels
根据基础架构的需要替换端口和 IP 地址。
将
<customer_id>
替换为实际的客户 ID。将
/path/to/ingestion-authentication-file.json
更新为获取 Google SecOps 提取身份验证文件部分中保存身份验证文件的路径。
重启 Bindplane 代理以应用更改
如需在 Linux 中重启 Bindplane 代理,请运行以下命令:
sudo systemctl restart bindplane-agent
如需在 Windows 中重启 Bindplane 代理,您可以使用服务控制台,也可以输入以下命令:
net stop BindPlaneAgent && net start BindPlaneAgent
在 Apache Cassandra 中配置 Syslog 导出
- 使用 SSH 登录 Apache Cassandra 主机。
- 打开配置文件
logback.xml
,并在第 28 行插入以下代码:- 对于大多数版本的 Apache Cassandra,该位置为
$(CASSANDRA_HOME)/conf
。 - 如果 Datastax Enterprise 是通过软件包安装的,则位置将为
/etc/dse
。 - 对于 DSE 的 tar 文件安装,位置为
$(TARBALL_ROOT)/resources/cassandra/conf
。
- 对于大多数版本的 Apache Cassandra,该位置为
将以下 Appender 定义添加到第 28 行的
logback.xml
文件中:<appender name="SYSLOG" class="ch.qos.logback.classic.net.SyslogAppender"> <syslogHost>bindplane-ip</syslogHost> <port>bindplane-port</port> <facility>LOCAL7</facility> <throwableExcluded>true</throwableExcluded> <suffixPattern>%thread:%level:%logger{36}:%msg</suffixPattern> </appender>
将
bindplane-ip
和bindplane-port
替换为实际的 Bindplane 代理 IP 地址和端口。将以下代码添加到
logback.xml
文件中的根记录器块<root level=
INFO>
:此行的插入位置取决于您的 Apache Cassandra 版本:
- Apache Cassandra 5.0.x,第 123 行。
- Apache Cassandra 4.0.x 和 4.1.x,第 115 行。
- Apache Cassandra 3.11.x 和 3.0.x,第 92 行。
- Datastax Enterprise(所有版本),第 121 行。
<appender-ref ref=`SYSLOG` />
UDM 映射表
日志字段 | UDM 映射 | 逻辑 |
---|---|---|
agent.ephemeral_id |
observer.labels.value |
内部 JSON 消息中 agent.ephemeral_id 的值。 |
agent.hostname |
observer.hostname |
内部 JSON 消息中 agent.hostname 的值。 |
agent.id |
observer.asset_id |
filebeat: 与内部 JSON 消息中的 agent.id 值的串联。 |
agent.name |
observer.user.userid |
内部 JSON 消息中 agent.name 的值。 |
agent.type |
observer.application |
内部 JSON 消息中 agent.type 的值。 |
agent.version |
observer.platform_version |
内部 JSON 消息中 agent.version 的值。 |
cloud.availability_zone |
principal.cloud.availability_zone |
内部 JSON 消息中 cloud.availability_zone 的值。 |
cloud.instance.id |
principal.resource.product_object_id |
内部 JSON 消息中 cloud.instance.id 的值。 |
cloud.instance.name |
principal.resource.name |
内部 JSON 消息中 cloud.instance.name 的值。 |
cloud.machine.type |
principal.resource.attribute.labels.value |
内部 JSON 消息中 cloud.machine.type 的值,其中对应的 key 为 machine_type 。 |
cloud.provider |
principal.resource.attribute.labels.value |
内部 JSON 消息中 cloud.provider 的值,其中对应的 key 为 provider 。 |
event_metadata._id |
metadata.product_log_id |
内部 JSON 消息中 event_metadata._id 的值。 |
event_metadata.version |
metadata.product_version |
内部 JSON 消息中 event_metadata.version 的值。 |
host.architecture |
target.asset.hardware.cpu_platform |
内部 JSON 消息中 host.architecture 的值。 |
host.fqdn |
target.administrative_domain |
内部 JSON 消息中 host.fqdn 的值。 |
host.hostname |
target.hostname |
内部 JSON 消息中 host.hostname 的值。 |
host.id |
target.asset.asset_id |
Host Id: 与内部 JSON 消息中的 host.id 值的串联。 |
host.ip |
target.asset.ip |
内部 JSON 消息中 host.ip 的 IP 地址数组。 |
host.mac |
target.mac |
内部 JSON 消息中 host.mac 的 MAC 地址数组。 |
host.os.kernel |
target.platform_patch_level |
内部 JSON 消息中 host.os.kernel 的值。 |
host.os.platform |
target.platform |
如果 host.os.platform 为 debian ,则设置为 LINUX 。 |
host.os.version |
target.platform_version |
内部 JSON 消息中 host.os.version 的值。 |
hostname |
principal.hostname |
使用 grok 从 message 字段中提取的 hostname 值。 |
key |
security_result.detection_fields.value |
使用 grok 从 message 字段提取的 key 值,其中对应的 key 为 key 。 |
log.file.path |
principal.process.file.full_path |
内部 JSON 消息中 log.file.path 的值。 |
log_level |
security_result.severity |
根据 log_level 的值进行映射:DEBUG 、INFO 、AUDIT 映射到 INFORMATIONAL ;ERROR 映射到 ERROR ;WARNING 映射到 MEDIUM 。 |
log_level |
security_result.severity_details |
使用 grok 从 message 字段中提取的 log_level 值。 |
log_type |
metadata.log_type |
原始日志中的 log_type 值。 |
message |
security_result.description |
使用 grok 从 message 字段中提取的说明。 |
message |
target.process.command_line |
使用 grok 从 message 字段中提取的命令行。 |
now |
security_result.detection_fields.value |
使用 grok 从 message 字段提取的 now 值,其中对应的 key 为 now 。使用 grok 从 message 字段提取的 event_time 字段解析而来。如果 hostname 和 host.hostname 都存在,则设置为 USER_RESOURCE_ACCESS ;否则设置为 GENERIC_EVENT 。设置为 CASSANDRA 。设置为 CASSANDRA 。设置为 ephemeral_id 。如果存在 cloud.instance.name ,则设置为 VIRTUAL_MACHINE 。对于相应的检测字段,设置为 key 和 now 。 |
timestamp |
timestamp |
来自原始日志的 create_time 字段。 |
需要更多帮助?从社区成员和 Google SecOps 专业人士那里获得解答。