背景
Java项目,使用Redis集群。
现象
Redis集群,单台流量增加过多。
在redis服务器上:iftop -npP
排查过程
发现流量上涨是同一台机器IP尾号3。到这台机器上查看。
top 命令查看进程id
top -H -p 1748 查看具体线程信息,可以看到,有三个线程执行100多小时,而且占用较多cpu资源,线程没有办法查看对应占用端口,所以怀疑二者有关联。
然后查看线程堆栈信息,确定出现问题的代码位置。
jstack 1748 > jstack.log,查看线程堆栈信息。将图中标出的进程号换算成16进制,找到对应的线程堆栈信息。三个都在执行同一个redis操作。
找到对应代码,发现当Zset中为空时,会导致死循环的代码段,一直在进行redis查询操作。
为了确认,在对应服务器上抓包
tcpdump -i eth0 -t -s 0 -c 100 port 39868 -w package.cap
在Wireshark打开,可以看到,程序一直在发送ZRANGE 请求,请求参数都一样,redis返回为空。
结论与修正
根据排查现象和代码,可以得出结论:是因为代码考虑不全面,Sorted Set 中没有数据,导致一直循环请求,陷入死循环,一直执行redis请求,导致流量上涨。找负责同事进行修复后问题解决。