排查线上JVM CPU飙升使用率高和线程死锁问题-编程知识

排查线上JVM CPU飙升使用率高和线程死锁问题

一、排查CPU飙升使用率高问题

在开始前新建一个 SpringBoot 项目构建CPU使用率高的场景：

@RestController
public class JvmThread1Controller {ThreadPoolExecutor executor = new ThreadPoolExecutor(10,15,2,TimeUnit.SECONDS,new LinkedBlockingDeque<>(50),new ThreadPoolExecutor.CallerRunsPolicy());@GetMapping("/cpuUsageRate")public String cpuUsageRate() {executor.submit(() -> {int i = 0;while (true) {i = i++ * 10 + 5;System.out.println(i);}});return "success";}
}

上面声明了一个线程池，每次使用线程就从这个里面取，在cpuUsageRate接口中，写了一个死循环，每次都对i进行计算，程序运行起来，肯定cpu的使用率特别高。

启动应用，调用cpuUsageRate接口。

通过 top 查看 cpu 使用情况：

在这里插入图片描述

可以看到有个 java 应用的 cpu 使用率已经达到了 100% ，不出意外这就是上面启动的 java服务，下面假设不知道问题在哪，看是否能分析出问题点。

排查过程

使用 jcmd 查看所有java进程：

jcmd

在这里插入图片描述

这个就是上面启动的java服务，上面的 top 中已经看出就是他 cpu 占用非常高，下面使用 top -Hp 查看该进程下的线程资源占用情况：

top -Hp 30038

在这里插入图片描述
可以看到线程ID为 30077 的使用率非常高，下面可以通过 jstack 查看该线程的详细情况，但 jstack 中的 ID 是 16 机制的，30077 是10进制的，因此需要通过 printf '%x\n' 转换：

printf '%x\n' 30077

在这里插入图片描述

有了线程ID后，就可以通过 jstack 查看详情， -A 50表示关键位置后面50行的信息都取出来：

jstack 30038 | grep -A 50 757d

在这里插入图片描述

从提示的位置查找代码，可以非常清晰的找到问题所在：

在这里插入图片描述

二、排查线程死锁问题

上面我们定位到 cpu 使用率大的线程及定位到了具体位置，这里我们继续定位线程死锁问题，在开始前我们先构建一个死锁的环境：

@RestController
public class JvmThread2Controller {ThreadPoolExecutor executor = new ThreadPoolExecutor(10,15,2,TimeUnit.SECONDS,new LinkedBlockingDeque<>(50),new ThreadPoolExecutor.CallerRunsPolicy());@GetMapping("/threadLock")public String threadLock() {Object resourceA = new Object();Object resourceB = new Object();executor.submit(() -> {synchronized (resourceA) {try {TimeUnit.SECONDS.sleep(1);} catch (InterruptedException e) {e.printStackTrace();}synchronized (resourceB) {}}});executor.submit(() -> {synchronized (resourceB) {try {TimeUnit.SECONDS.sleep(1);} catch (InterruptedException e) {e.printStackTrace();}synchronized (resourceA) {}}});return "success";}
}