家庭网络防御系统搭建-将NDR系统的zeek日志集成到security onion-编程知识

在前面的文章中安装了zeek,这里，安装了securityonion，这里，本文讲述如何将zeek生成的日志发送到siem security onion之中。

所有日志集成的步骤分为如下几步：

日志收集配置
日志发送接收
日志解析配置
日志展示配置

ZEEK日志收集配置

在之前raspiberry 上安装的zeek日志存在如下目录：
在这里插入图片描述

JSON 格式日志

默认的zeek日志格式为log后缀的文本格式，需要将日志格式改为json格式送往securityonion方便解析。因此需要在/opt/zeek/share/zeek/site/local.zeek添加json格式的解析脚本

#output to json
@load policy/tuning/json-logs.zeek

如下
在这里插入图片描述
在/opt/zeek/logs/current使用./zeekctl deploy重新启动zeek，即可以得到json格式的 zeek的日志，如下：

理论上只要将这些日志通过syslog发送给siem即可，但是基于elastic stack的securityonion可以使用elastic agent进行日志的收集和发送，接收日志收集策略，因此采用elastic agent 更加的方便。

elastic agent发送&接收

elastic使用elastic agent在对应的机器上收集日志，使用fleet来管理所有的elastic agent。因此首先在管理端fleet需要设置好对应的agent管理配置，详细参考连接，这里，如下图：
在这里插入图片描述
agent policy指的是收集日志的策略，方便起见这里先选择so-grid_general，虽然该策略无法生效，但是后续会新建一个收集日志的策略。同时选择enroll in fleet模式。

将步骤三中的命令拷贝到对应的机器上执行就会下载安装elastic agent,安装，并通过API注册到fleet中，如下图：
在这里插入图片描述

ARM版本的elastic agent

由于是raspiberry 是arm架构的机器，需要使用arm64位的安装包，不能使用默认的linux安装包，8.10版本的arm版本下载见这里，最新arm版本的elastic下载，这里，如下：
在这里插入图片描述
下载8.10.4的原因在于securityonion 2.4.60版本中带的kibana版本为8.10.4，因此只需要更换命令中下载源，其他的安装注册的命令保持不变即可。由于自签证书的问题，因此需要在注册的时候加上–insecure参数，参考链接这里，需要将原有的命令：

curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.10.4-linux-x86_64.tar.gz
tar xzvf elastic-agent-8.10.4-linux-x86_64.tar.gz
cd elastic-agent-8.10.4-linux-x86_64
sudo ./elastic-agent install --url=https://192.168.233.136:8220 --enrollment-token=Z2xIYWJvNEJrd1VWTEF6Vi1LamE6VGRnVnB5WEFRX1dRUkFPSlhTOWllUQ==

更换为

curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.10.4-linux-arm64.tar.gz
tar xzvf elastic-agent-8.10.4-linux-arm64.tar.gz
cd elastic-agent-8.10.4-linux-arm64
sudo ./elastic-agent install --url=https://192.168.0.15:8220 --enrollment-token=Z2xIYWJvNEJrd1VWTEF6Vi1LamE6VGRnVnB5WEFRX1dRUkFPSlhTOWllUQ== --insecure

由于elastic的证书为自签的证书，因此需要加上–insecure参数，不然会提示错误，成功执行如下图：
在这里插入图片描述
这个地方需要注意的是，由于我的securityonion安装是在虚拟机中，因此需要做宿主机和虚拟机的端口映射，一些网络不通的汇总见之前的文章，这里。因此raspiberry在向对应的IP地址注册的时候，首先注册地址应该写宿主机器的IP地址而不是虚拟机的IP地址。除了初始注册连接的端口外，后续elastic agent 还会连接fleet的其他端口，因此在elastic agent 内部如果在IP地址寻址不成功，会使用对securityonion域名解析，因此需要在raspiberry主机上配置该域名解析为宿主机的IP地址，如下：
在这里插入图片描述
同时由于使用elastic agent 向security onion 发起连接，因此需要设置securityonion自带的防火墙，允许对应的请求连接通过，不然会注册不成功，如下：

设置elastic_agent_point对应的IP地址，允许对应的请求通过，生效时间大概在15分钟。

日志解析配置

上述命令执行成功，在fleet管理端会出现1 agent has been enrolled的标志，如下图：
在这里插入图片描述
可以看到agent名称是按照sensor的主机名来命名的，当前没有配置策略，处于unhealthy状态。

前面提到由于默认的policy中的配置不适合当前的agent，因此需要给当前用于收集zeek日志的agent重新配置policy，创建一个收集zeek日志的policy,采用默认配置即可如下：
在这里插入图片描述
在当前的policy下，创建解析zeek日志的Integrations，由于目前V2.4.60版本的securityonion集成的kibana版本为V 8.10.4，其中只有130+的特定日志解析功能，不支持zeek日志的解析，如下：

像zeek等日志解析功能需要在8.12以上版本才能提供，详见这里，如下：
在这里插入图片描述

因此使用自定义的custom logs,由于在我的raspiberry上的zeek日志存储在/opt/zeek/logs/current中，因此配置的路径如下：
在这里插入图片描述
需要注意的是advance 中的配置如下图：

其中的内容是复制so-grid-nodes_general中的zeek-logs的内容即可，只要把对应的路径改为当前raspiberry上的zeek路径即可。这样做的目的是借助security onion内置的脚本解析zeek的json日志，即把每一行json日志解析成为一个个field。如果不配置processors的话，zeek json只会被按行读取在message字段展示，不会做解析。关于processor的脚本解释，参考这里。

新创建Network-logs的policy之后，需要修改raspiberry的policy，保存生效即可，如下图：
在这里插入图片描述

日志展示配置

参考链接https://docs.securityonion.net/en/2.4/zeek.html#community-id

默认elastic agent会每隔5分钟检查current目录会不会有文件的变化，如果有的话便会上传日志。可以在fleet中查看对应agent 的日志记录，查看日志传输有没有问题，如下：
在这里插入图片描述
在security onion的dashboads中按照oberver.name进行过滤，查看raspiberry agent上传上来的日志，如下：

可以看到之前配置的processors起用了，其中message为zeek日志中conn.log中的一行，可以看到通过前图的processors设置，使用内置的脚本，会将每一行的日志进行解析，解析到destination.ip，destination.port以及log.id.uid中，如果之前没有配置processors，每条记录是没有message详细的字段内容的，如下：
在这里插入图片描述