分布式应用之监控Zabbix
一、什么是Zabbix?
●zabbix 是一个基于 Web 界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。
●zabbix 能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。
●zabbix 由 2 部分构成，zabbix server 与可选组件 zabbix agent。通过 C/S 模式采集数据，通过 B/S 模式在 Web 端展示和配置。
●zabbix server 可以通过 zabbix agent，SNMP协议，端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它可以运行在 Linux 等平台上。
●zabbix agent 需要安装在被监视的目标服务器上，它主要完成对硬件信息或与操作系统有关的内存，CPU 等信息的收集。
二、Zabbix 监控原理
zabbix agent 安装在被监控的主机上，zabbix agent 负责定期收集客户端本地各项数据，并发送至 zabbix server 端。zabbix server 收到数据后， 将数据存储到数据库中，用户基于 Zabbix Web 可以看到数据在前端展现图像。当 zabbix 监控某个具体的项目， 该项目会设置一个触发器阈值， 当被监控的指标超过该触发器设定的阈值，会进行一些必要的动作，动作包括：发送信息（邮件、微信、短信）、发送命令（shell 命令、reboot、restart、 install 等）。
三、Zabbix6.0相关介绍
1.特性
1、Zabbix server高可用防止硬件故障或计划维护期的停机：
•原生选择加入HA群集配置
•定义一个或多个备用节点
•实时监控Zabbix server群集节点的状态
•不需要外部工具即可将Zabbix server配置为HA群集模式2、Zabbix 6.0 LTS新增Kubernetes监控功能，可以在Kubernetes系统从多个维度采集指标：
•Kubernetes节点和pods的自动发现和监控
•无代理方式采集Kubernetes pods和节点的信息
•获取Kubernetes节点主机高水平信息2.功能组件
●Zabbix Server
zabbix 服务端守护进程，是 Zabbix 软件的核心组件，Zabbix Agent 向其报告可用性、系统完整性信息和统计信息。
Zabbix Server 也是存储所有配置信息、统计信息和操作信息的核心存储库。
Zabbix Server 也是 Zabbix 监控系统的告警中心。在监控的系统中出现任何异常，将发出通知给管理员。基本的 Zabbix Server 的功能分解成为三个不同的组件。他们是：Zabbix server、Web 前端、数据库。Zabbix 的所有配置信息都存储在 Server 和 Web 前端进行交互的数据库中。例如，当你通过 Web 前端（或者API）新增一个监控项时， 它会被添加到数据库的监控项表里。然后，Zabbix server 以每分钟一次的频率查询监控项表中的有效项，接着将它存储在 Zabbix server 中的缓存里。 这就是为什么 Zabbix 前端所做的任何更改需要花费两分钟左右才能显示在最新的数据段的原因。●数据库
所有配置信息以及 Zabbix 采集到的数据都被持久存储在数据库中。
可以支持 MySQL、PostgreSQL、Oracle、DB2、TimescaleDB 等多种数据库。●Web 界面
Web 界面是 Zabbix Server 的一部分，用于实现展示和配置的界面。通常（但不一定）和 Zabbix server 运行在同一台物理机器上。
基于 Apache/Nginx + PHP 实现，早期只支持 LAMP 架构，从 Zabbix5.0 开始支持 LNMP 。●Zabbix Agent
客户端守护进程，部署在被监控目标上，用于主动监控本地资源和应用程序，并将收集的数据发送给 Zabbix Server。从 Zabbix5.0 开始支技 Zabbix Agent2 。●Zabbix Proxy
zabbix 分布式代理守护进程，可以代替 Zabbix Server 采集性能和可用性数据。Zabbix Proxy 在 Zabbix 的部署是可选部分。
Zabbix Proxy 的部署可以很好的分担单个 Zabbix Server 的负载。
通常监控大于 500 台主机时使用，需要进行分布式监控架构部署。●Java Gateway
Zabbix 要监控 Tomcat 服务或其它 JAVA 程序（比例 Elasticsearch、ZooKeeper），需要使用 Java Gateway 做为代理，才能从 JAVA 程序中获取数据。
四、Zabbix部署
1.部署 zabbix 服务端
//关闭 selinux 与防火墙
systemctl disable --now firewalld
setenforce 0
hostnamectl set-hostname zbx-server//部署 Nginx + PHP 环境并测试
#安装 nginx
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true
EOFyum install -y nginx#安装 php
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum install -y epel-release
rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm
yum -y install php72w php72w-cli php72w-common php72w-devel php72w-embedded php72w-gd php72w-mbstring php72w-pdo php72w-xml php72w-fpm php72w-mysqlnd php72w-opcache php72w-ldap php72w-bcmath#修改 nginx 配置
vim /etc/nginx/conf.d/default.conf
server {listen 80;server_name zbx.xjx.com;root /var/www/zbx;location / {root /var/www/zbxindex index.php;}location ~ \.php$ {fastcgi_pass 127.0.0.1:9000;fastcgi_index index.php;fastcgi_param SCRIPT_FILENAME /var/www/zbx$fastcgi_script_name;include fastcgi_params;}
}#修改 php 配置
vim /etc/php-fpm.d/www.conf
user = nginx
group = nginxvim /etc/php.ini
max_execution_time = 300 # 368行
max_input_time = 600 # 378行
post_max_size = 80M # 656行
date.timezone = Asia/Shanghai # 877行#创建目录和测试文件
mkdir -p /var/www/zbxvim /var/www/zbx/index.php
<?php
phpinfo();
?>#启动服务
systemctl enable --now nginx php-fpm#测试访问（hosts解析）
修改 C:\Windows\System32\drivers\etc\hosts
192.168.111.70 zbx.xjx.com浏览器访问：http://zbx.xjx.com/index.php//部署数据库，要求 MySQL 5.7 或 Mariadb 10.5 及以上版本
#配置 Mariadb yum源
cat > /etc/yum.repos.d/mariadb.repo << EOF
[mariadb]
name = MariaDB
baseurl = http://mirrors.aliyun.com/mariadb/yum/10.5/centos7-amd64/
gpgkey = http://mirrors.aliyun.com/mariadb/yum/RPM-GPG-KEY-MariaDB
gpgcheck = 1
enabled=1
EOFyum install -y mariadb-server mariadbsystemctl enable --now mariadb#初始化数据库
mysql_secure_installation
分别输入 回车 -> n -> Y (设置root密码，如abc123) -> 后面一路 Ymysql -u root -pabc123#创建数据库并指定字符集
CREATE DATABASE zabbix character set utf8 collate utf8_bin;#创建 zabbix 数据库用户并授权
GRANT all ON zabbix.* TO 'zabbix'@'localhost' IDENTIFIED BY 'zabbix';
GRANT all ON zabbix.* TO 'zabbix'@'%' IDENTIFIED BY 'zabbix';
flush privileges;#向数据库导入 zabbix 数据
上传源码包 zabbix-6.0.13.tar.gz 到 /opt 目录
cd /opt
tar xf zabbix-6.0.13.tar.gzls /opt/zabbix-6.0.13/database/mysql
data.sql double.sql history_pk_prepare.sql images.sql Makefile.am Makefile.in schema.sql#按照顺序导入数据库
cd /opt/zabbix-6.0.13/database/mysql
mysql -uroot -pabc123 zabbix < schema.sql
mysql -uroot -pabc123 zabbix < images.sql
mysql -uroot -pabc123 zabbix < data.sql
mysql -uroot -pabc123 zabbix < double.sql
mysql -uroot -pabc123 zabbix < history_pk_prepare.sql//编译安装 zabbix Server 服务端
#安装依赖包，创建 zabbix 用户
yum install -y mysql-devel pcre-devel openssl-devel zlib-devel libxml2-devel net-snmp-devel net-snmp libssh2-devel OpenIPMI-devel libevent-devel openldap-devel libcurl-devel fping gcc gcc-c++ makeuseradd -s /sbin/nologin -M zabbix#编译安装
cd /opt/zabbix-6.0.13/./configure \
--sysconfdir=/etc/zabbix/ \
--enable-server \
--with-mysql \
--with-net-snmp \
--with-libxml2 \
--with-ssh2 \
--with-openipmi \
--with-zlib \
--with-libpthread \
--with-libevent \
--with-openssl \
--with-ldap \
--with-libcurl \
--with-libpcremake install#检查版本
zabbix_server --version
zabbix_server (Zabbix) 6.0.13#修改 zabbix server 配置文件，修改数据库的密码
vim /etc/zabbix/zabbix_server.conf
......
LogFile=/var/log/zabbix_server.log # 38行，指定 zabbix 日志路径
DBPassword=zabbix # 123行，指定 zabbix 数据库的密码#准备 systemctl 服务管理文件
cat > /usr/lib/systemd/system/zabbix-server.service << EOF
[Unit]
Description=Zabbix Server with MySQL DB
After=syslog.target network.target mysqld.service[Service]
Type=simple
ExecStart=/usr/local/sbin/zabbix_server -f
User=zabbix[Install]
WantedBy=multi-user.target
EOFtouch /var/log/zabbix_server.log
chown zabbix:zabbix /var/log/zabbix_server.log
systemctl daemon-reload
systemctl enable --now zabbix-servernetstat -lntp | grep 10051 #zabbix_server 默认监听 10051 端口//部署 Web 前端，进行访问
cp -r /opt/zabbix-6.0.13/ui/* /var/www/zbxchown -R nginx.nginx /var/www/zbx浏览器访问：http://zbx.xjx.com/index.php
【Default language】选择 Chinese(zh_CN)，点击下一步
【密码】输入 zabbix，点击下一步
【Zabbix主机名称】输入 Zabbix-监控；【默认时区】选择 Asia/Shanghai，点击下一步安装完成后，默认的登录账号和密码为：Admin/zabbix//安装 zabbix 客户端，实现 zabbix 服务端自我监控
rpm -ivh https://repo.zabbix.com/zabbix/6.0/rhel/7/x86_64/zabbix-release-6.0-4.el7.noarch.rpm
sed -i 's#https://repo.zabbix.com#https://mirrors.aliyun.com/zabbix#' /etc/yum.repos.d/zabbix.repo#zabbix 5.0 版本开始采用 golang 语言开发的新版本客户端 agent2
yum install -y zabbix-agent2systemctl enable --now zabbix-agent2netstat -lntp | grep 10050 #客户端 zabbix_agent2 默认监听 10050 端口//解决 zabbix-server Web页面中文乱码问题
yum install -y wqy-microhei-fonts\cp -f /usr/share/fonts/wqy-microhei/wqy-microhei.ttc /var/www/zbx/assets/fonts/DejaVuSans.ttf刷新浏览器页面
2.zabbix客户端部署
-------------------- 添加 zabbix 客户端主机 --------------------
systemctl disable --now firewalld
setenforce 0
hostnamectl set-hostname zbx-agent01//服务端和客户端都配置时间同步
yum install -y ntpdate
ntpdate -u ntp.aliyun.com//服务端和客户端都设置 hosts 解析
cat > /etc/hosts << EOF
192.168.111.70 zbx-server
192.168.111.60 zbx-agent01
EOF//设置 zabbix 的下载源，安装 zabbix-agent2
rpm -ivh https://repo.zabbix.com/zabbix/6.0/rhel/7/x86_64/zabbix-release-6.0-4.el7.noarch.rpm
sed -i 's#https://repo.zabbix.com#https://mirrors.aliyun.com/zabbix#' /etc/yum.repos.d/zabbix.repoyum install -y zabbix-agent2//修改 agent2 配置文件
vim /etc/zabbix/zabbix_agent2.conf
......
Server=192.168.111.70 #80行，指定 zabbix 服务端的 IP 地址
ServerActive=192.168.111.70 #133行，指定 zabbix 服务端的 IP 地址
Hostname=zbx-agent01 #144行，指定当前 zabbix 客户端的主机名//启动 zabbix-agent2
systemctl start zabbix-agent2
systemctl enable zabbix-agent2netstat -natp | grep zabbix
tcp6 0 0 :::10050 :::* LISTEN 43654/zabbix_agent2 //在服务端验证 zabbix-agent2 的连通性
yum install -y zabbix-get #安装 zabbix 主动获取数据的命令zabbix_get -s '192.168.111.60' -p 10050 -k 'agent.ping'
1zabbix_get -s '192.168.111.60' -p 10050 -k 'system.hostname'
zbx-agent01#常用的键值
agent.ping #服务端与客户端是否连通，返回1表示可达，返回非表示不可达
system.hostname #系统主机名
agent.hostname #客户端主机名
net.if.in[if,<mode>] #网络接口进入的流量统计，if表示网卡名称，带<>的参数表示可以省略
net.if.out[if,<mode>] #网络接口流出的流量统计
proc.num[<name>,<user>,<state>,<cmdline>,<zone>] #进程数
net.tcp.port[<ip>,port] #检查是否能建立tcp连接到指定端口，返回0表示不能连接，返回1表示可以连接
3.web页面添加客户端
//在 Web 页面中添加 agent 主机
点击左边菜单栏【配置】中的【主机】，点击【创建主机】
【主机名称】输入 zbx-agent01
【可见的名称】输入 zbx-agent01-192.168.111.60
【模板】搜索 Linux ，选择 Linux by Zabbix agent
【群组】选择 Linux servers
【Interfaces】点击添加 客户端，【IP地址】输入 192.168.111.60
五、自定义监控模板
1.主流监控模板下载地址
#监控模板下载地址
https://share.zabbix.com/
https://monitoringartist.github.io/zabbix-searcher/
https://git.zabbix.com/projects/ZBX/repos/zabbix/browse/templates2.自定义监控模板步骤
1) 明确获取监控指标数值的命令或者脚本
2)在被监控主机配置文件目录/etc/zabbix/zabbix agent2.d中创建以.conf为后缀的监控项配置文件，自定义获取监控指标数据的 键值格式: UserParameter=键名，获取值的命令/脚本路径
3) 在服务端web管理页面中依次添加 模板 - 监控项 - 触发器 - 图形
4) 将监控模板与被监控主机相关联
3.配置邮件报警
1) 在服务端web管理页面的 [管理]-[报警媒介类型] 中设置报警类型和报警内容
2）在[user settings] -[profile] -[报警媒介]中设置 类型 收件人 启用时间 故障严重级别
3) 在[配置]-[动作]-[Trigger actions] 中添加 报警触发器和操作内容
4）测试
4.案例分析
4.1自定义监控登陆用户数不能超过5个
客户端自定义键
//在客户端创建自定义 key
1.明确需要执行的 linux 命令
who | wc -l2.创建 zabbix 的监控项配置文件，用于自定义 key
vim /etc/zabbix/zabbix_agent2.conf
#可以将自定义的监控项配置文件创建在 zabbix_agent2.d 目录中
281 Include=/etc/zabbix/zabbix_agent2.d/*.conf
#自定义监控项的格式如下
321 # Format: UserParameter=<key>,<shell command>cd /etc/zabbix/zabbix_agent2.d/vim UserParameter_login.conf
UserParameter=login.user,who|wc -lsystemctl restart zabbix-agent23.在服务端验证新建的监控项
zabbix_get -s '192.168.111.60' -p 10050 -k 'login.user'
Web 页面创建自定义监控项模板
1.创建模板
点击左边菜单栏【配置】中的【模板】，点击【创建模板】
【模板名称】设置成 Template Login User
【可见的名称】设置成 Template Login User
【群组】选择 Template
【描述】可自定义
点击 【添加】，此时就可在【名称】中搜索到 Template Login User 了2.创建监控项
点击 Template Login User 模板进入
点击上方菜单栏【监控项】，点击【创建监控项】
【名称】设置成 Number of login users
【键值】设置成 login.user #键值必须要与自定义的监控项配置文件中设置的保持一致
【更新间隔】设置成 10s
【历史数据保留时长】Storage period 30d #保留时间可自定义设置
点击 【添加】3.创建触发器（当监控项获取到监控的值后和触发器预设的值进行对比，判断是否报警）
点击上方菜单栏【触发器】，点击【创建触发器】
【名称】设置成 Number of login users is greater than 3
【严重性】设置成 一般严重 #根据严重程度可自定义设置
【表达式】点击添加，【监控项】点击选择 Number of login users，【功能】选择 last()，【结果】选择 > 3，点击 【插入】
点击 【添加】5.创建图形
点击上方菜单栏【图形】，点击【创建图形】
【名称】设置成 Number of login users
【宽】、【高】可直接采用默认值
【监控项】点击添加勾选相关监控项 Number of login users，【功能】选择 最大，其它可保持默认值
点击 【添加】6.将主机与模板关联起来（一个主机可以关联多个模板）
点击左边菜单栏【配置】中的【主机】，点击你要关联的主机
【模板】搜索 login，选择 Template Login User，点击【更新】此时就点击【监测】中的【主机】，点击你关联主机的【图形】，即可查看到相关的监控项指标7.设置邮件报警
点击左边菜单栏【管理】中的【报警媒介类型】，点击【创建媒体类型】
【名称】设置成 qq_Email
【SMTP服务器】设置成 smtp.qq.com
【SMTP服务器端口】设置成 25
【SMTP HELO】设置成 qq.com
【SMTP电邮】设置成 自己的邮箱地址，例如 qwe4546456@qq.com
【认证】选择 用户名和密码
【用户名称】设置成 自己的邮箱地址，例如 qwe4546456@qq.com
【密码】可登录QQ邮箱页面，点击【设置】-->【账户】中的【生成授权码】，通过短信获取授权码
【描述】可自定义
点击上方菜单栏【Message templates】，点击【添加】，【Message type】选择 问题，点击【更新】
点击 【添加】，并测试功能点击左边菜单栏【User settings】-->【Profile】-->【报警媒介】，点击【添加】
【类型】选择 qq_Email
【收件人】设置成 qwe4546456@wo.cn
【当启用时】设置成 1-7,00:00-24:00
【如果存在严重性则使用】勾选需要的严重性
点击 【添加】
再点击 【更新】点击左边菜单栏【配置】->【动作】->【Trigger actions】
选择相对应的动作名称点击进入，点击 【添加】
【类型】选择 触发器，【操作者】选择 等于，【触发器】点击选择 Nunber of login users is greater than 3
点击【添加】
勾选 【已启动】
点击 【更新】//测试邮件报警
增加测试客户端的用户登录数超过触发器预设的值，查看【监测】-->【仪表板】，确认报警
六、Zabbix 自动发现与自动注册
1.Zabbix自动发现
zabbix server 主动的去发现所有的客户端，然后将客户端的信息登记在服务端上。
缺点是如果定义的网段中的主机数量多，zabbix server 登记耗时较久，且压力会较大。
zabbix客户端需要在配置文件中指向服务端的IP地址
1.1.操作步骤
1.确保客户端上的 zabbix-agent2 服务状态正常
systemctl is-active zabbix-agent2.service
active2.在 Web 页面删除原有的客户端主机
点击左边菜单栏【配置】中的【主机】，勾选原有的客户端主机，点击 删除3.在服务端和客户端上配置 hosts 解析
vim /etc/hosts
192.168.111.70 zbx-server
192.168.111.60 zbx-agent01
192.168.111.50 zbx-agent024.在 Web 页面配置自动发现
点击左边菜单栏【配置】中的【自动发现】，点击【创建发现规则】
【名称】设置成 mynetwork
【IP范围】设置成 192.168.111.1-254
【更新间隔】设置成 30s
【检查】点击【添加】，【检查类型】选择 Zabbix 客户端，【端口范围】设置成 10050，【键值】设置成 system.uname
【设备唯一性准则】选择 IP地址
【主机名称】选择 DNS名称
【可见的名称】选择 主机名称
勾选 【已启用】，点击 【添加】点击左边菜单栏【配置】中的【动作】，上方菜单选择 【发现动作】
勾选 【Auto discovery. Linux servers.】，点击 【启用】点击左边菜单栏【配置】中的【主机】刷新，等待一段时间后即可刷新出自动发现的客户端主机可在服务端查看 zabbix 日志
tail -f /var/log/zabbix_server.log
......6601:20210922:225044.115 enabling Zabbix agent checks on host "zbx-agent02": interface became available
2.Zabbix自动注册
//zabbix 自动注册（对于 agent2 是主动模式）
zabbix agent2 会主动上报自己的信息，发给 zabbix server。
缺点是可能因为配置文件配置错误或者网络不通等原因导致 zabbix agent2 可能找不到 zabbix server。
2.1部署步骤
1.环境准备
点击左边菜单栏【配置】中的【发现动作】，勾选发现规则，点击 禁用
点击左边菜单栏【配置】中的【主机】，勾选原有的客户端主机，点击 删除vim /etc/hosts
192.168.111.70 zbx-server
192.168.111.60 zbx-agent01
192.168.111.50 zbx-agent022.修改 zabbix-agent2 配置文件
vim /etc/zabbix/zabbix_agent2.conf
......
HostnameItem=system.hostname #152行，取消注释egrep -v "^#|^$" /etc/zabbix/zabbix_agent2.conf
PidFile=/var/run/zabbix/zabbix_agent2.pid
LogFile=/var/log/zabbix/zabbix_agent2.log
LogFileSize=0
Server=192.168.111.70
ServerActive=192.168.111.70
Hostname=zbx-agent01
HostnameItem=system.hostname
Include=/etc/zabbix/zabbix_agent2.d/*.conf
ControlSocket=/tmp/agent.socksystemctl restart zabbix-agent23.在 Web 页面配置自动注册
点击左边菜单栏【配置】中的【动作】，上方菜单选择 【自动注册动作】，点击【创建动作】
【名称】设置成 Auto registration
点击 【添加】，【类型】选择 主机名称，【操作者】选择 包含，【值】设置成 zbx-agent
点击上方菜单栏【操作】，点击【添加】，【操作类型】选择 添加主机，点击 【Add】
再点击【添加】，【操作类型】选择 添加到主机群组，【主机群组】选择 Linux servers，点击 【Add】
再点击【添加】，【操作类型】选择 与模板关联，【模板】搜索 Linux，选择 Linux by Zabbix agent，点击 【Add】
点击下方的【添加】等待一段时间后，点击左边菜单栏【配置】中的【主机】刷新，即可刷新出自动发现的客户端主机在服务端查看 zabbix 日志
tail -f /var/log/zabbix_server.log
3.总结
zabbix 自动发现 server端主动去发现agent客户端1）在【配置】-【自动发现】中设置 IP范围 检查的键值system.uname2）在【配置】-【动作】启用自动发现动作自动注册 agent客户端主动找server端注册1）agent客户端 修改配置文件 取消配置项 HostnameItem=system.hostname 的注释2）在【配置】-【动作】-【自动注册动作】设置 条件 操作，并启动自动注册动作
