【开源分享】轻量级动态可监控线程池解决方案:dynamic-tp

 欢迎来到百战百胜!我们致力于为广大IT从业者、学生和爱好者提供全面、实用的资源和服务。加入我们的聊天群,这里有专业大佬为你提供有价值的建议和指导!

微信搜索:IT开DD那点小事

更多访问:www.besthub.tech

前言

使用线程池 ThreadPoolExecutor 过程中你是否有以下痛点呢?

  1. 代码中创建了一个 ThreadPoolExecutor,但是不知道那几个核心参数设置多少比较合适

  2. 凭经验设置参数值,上线后发现需要调整,改代码重新发布服务,非常麻烦

  3. 线程池相对开发人员来说是个黑盒,运行情况不能及时感知到,直到出现问题
    如果有以上痛点,动态可监控线程池框架(DynamicTp)或许能帮助到你。

项目介绍

image.png

🔥🔥🔥 一款基于配置中心的轻量级动态可监控线程池。

动态调参

在运行时动态调整线程池参数,包括核心线程数、最大线程数、空闲线程超时时间、任务队列大小等

通知报警

目前支持调参通知、活性、队列容量、拒绝策略、超时共六类通知报警维度,在运行时实时+定时检测,触发阈值进行推送

运行监控

定时采集线程池运行指标数据,提供 jsonlog、micrometer、endpoint、jmx 四种指标数据采集方式,可灵活选择

三方包集成

集成三方中间件线程池管理,已接入dubbo、rocketmq、hystrix、grpc、tomcat、undertow、jetty、grpc、okhttp等组件线程池管理

image.png

功能特性

  • 代码零侵入:我们改变了线程池以往的使用姿势,所有配置均放在配置中心,服务启动时会从配置中心拉取配置生成线程池对象放到 Spring 容器中,使用时直接从 Spring 容器中获取,对业务代码零侵入

  • 通知告警:提供多种通知告警维度(配置变更通知、活性报警、队列容量阈值报警、拒绝触发报警、任务执行或等待超时报警),触发配置阈值实时推送告警信息,已支持企微、钉钉、飞书、邮件、云之家报警,同时提供 SPI 接口可自定义扩展实现

  • 运行监控:定时采集线程池指标数据(20 多种指标,包含线程池维度、队列维度、任务维度、tps、tp99等),支持通过 MicroMeter、JsonLog 两种方式,也可以通过 SpringBoot Endpoint 端点实时获取最新指标数据,同时提供 SPI 接口可自定义扩展实现

  • 任务增强:提供任务包装功能(比 Spring 线程池任务包装更强大),实现 TaskWrapper 接口即可,如 MdcTaskWrapper、TtlTaskWrapper、SwTraceTaskWrapper、OpenTelemetryWrapper,可以支持线程池上下文信息传递

  • 多配置中心支持:支持多种主流配置中心,包括 Nacos、Apollo、Zookeeper、Consul、Etcd、Polaris、ServiceComb,同时也提供 SPI 接口可自定义扩展实现

  • 中间件线程池管理:集成管理常用第三方组件的线程池,已集成 Tomcat、Jetty、Undertow、Dubbo、RocketMq、Hystrix、Grpc、Motan、Okhttp3、Brpc、Tars、SofaRpc、RabbitMq 等组件的线程池管理(调参、监控报警)

  • 轻量简单:使用起来极其简单,引入相应依赖,接入只需简单 4 步就可完成,顺利 3 分钟搞定,相当丝滑

  • 多模式:提供了增强线程池 DtpExecutor,IO 密集型场景使用的线程池 EagerDtpExecutor,调度线程池 ScheduledDtpExecutor,有序线程池 OrderedDtpExecutor,可以根据业务场景选择合适的线程池

  • 兼容性:JUC 普通线程池和 Spring 中的 ThreadPoolTaskExecutor 也可以被框架管理,@Bean 定义时加 @DynamicTp 注解即可

  • 可靠性:依靠 Spring 生命周期管理,可以做到优雅关闭线程池,在 Spring 容器关闭前尽可能多的处理队列中的任务

  • 高可扩展:框架核心功能都提供 SPI 接口供用户自定义个性化实现(配置中心、配置文件解析、通知告警、监控数据采集、任务包装等等)

  • 线上大规模应用:参考美团线程池实践,美团内部已经有该理论成熟的应用经验

在SpringBoot环境集成

源码地址

https://github.com/dromara/dynamic-tp

技术架构

image.png

模块介绍

image.png

  1. adapter 模块:主要是适配一些第三方组件的线程池管理,目前已经实现的有 SpringBoot 内置的三大 web 容器(Tomcat、Jetty、Undertow)、Dubbo、RocketMq、Hystrix、Grpc、Motan、Okhttp3、Brpc、Tars、SofaRpc、RabbitMq 的线程池管理, 后续会接入其他常用组件的线程池管理

  2. common 模块:主要是一些各个模板都会用到的类,解耦依赖,复用代码,大家日常开发中可能也经常会这样组织代码

  3. core 模块:该框架的核心代码都在这个模块里,包括动态调整参数,监控报警,以及串联整个项目流程都在此处

  4. example 模块:提供一个简单使用示例,方便使用者参照

  5. extension 模块:放一些扩展功能实现,比如基于 redis 的流控扩展、邮件发送扩展、skywalking 上下文传递扩展等

  6. logging 模块:用于配置框架内部日志的输出,目前主要用于输出线程池监控指标数据到指定文件

  7. starter 模块:提供独立功能模块的依赖封装、自动配置等相关

  8. test 模块:主要是一些单元测试

1.引入maven依赖

  • SpringBoot1x、2x、Spring6 以下用此依赖

<dependency><groupId>org.dromara.dynamictp</groupId><artifactId>dynamic-tp-dependencies</artifactId><version>1.1.6.1</version><type>pom</type><scope>import</scope>
</dependency>
  • SpringBoot3x、Spring6 以上用此依赖

<dependency><groupId>org.dromara.dynamictp</groupId><artifactId>dynamic-tp-dependencies</artifactId><version>1.1.6.1-3.x</version><type>pom</type><scope>import</scope>
</dependency>

2.配置线程池实例

spring:dynamic:tp:enabled: true                               # 是否启用 dynamictp,默认trueenabledCollect: true                        # 是否开启监控指标采集,默认truecollectorTypes: micrometer,logging          # 监控数据采集器类型(logging | micrometer | internal_logging | JMX),默认micrometerlogPath: /home/logs/dynamictp/user-center/  # 监控日志数据路径,默认 ${user.home}/logs,采集类型非logging不用配置monitorInterval: 5                          # 监控时间间隔(报警检测、指标采集),默认5splatforms:                                  # 通知报警平台配置- platform: wechatplatformId: 1                            # 平台id,自定义urlKey: 3a700-127-4bd-a798-c53d8b69c     # webhook 中的 keyreceivers: test1,test2                   # 接受人企微账号- platform: dingplatformId: 2                            # 平台id,自定义urlKey: f80dad441fcd655438f4a08dcd6a     # webhook 中的 access_tokensecret: SECb5441fa6f375d5b9d21           # 安全设置在验签模式下才的秘钥,非验签模式没有此值receivers: 18888888888                   # 钉钉账号手机号- platform: larkplatformId: 3urlKey: 0d944ae7-b24a-40                 # webhook 中的 tokensecret: 3a750012874bdac5c3d8b69c         # 安全设置在签名校验模式下才的秘钥,非验签模式没有此值receivers: test1,test2                   # 接受人username / openid- platform: emailplatformId: 4receivers: 123456@qq.com,789789@qq.com   # 收件人邮箱,多个用逗号隔开executors:                                   # 动态线程池配置,都有默认值,采用默认值的可以不配置该项,减少配置量- threadPoolName: dtpExecutor1threadPoolAliasName: 测试线程池        # 线程池别名executorType: common                 # 线程池类型 common、eager、ordered、scheduled、priority,默认 commoncorePoolSize: 6                      # 核心线程数,默认1maximumPoolSize: 8                   # 最大线程数,默认cpu核数queueCapacity: 2000                  # 队列容量,默认1024queueType: VariableLinkedBlockingQueue         # 任务队列,查看源码QueueTypeEnum枚举类,默认VariableLinkedBlockingQueuerejectedHandlerType: CallerRunsPolicy          # 拒绝策略,查看RejectedTypeEnum枚举类,默认AbortPolicykeepAliveTime: 60                              # 空闲线程等待超时时间,默认60threadNamePrefix: test                         # 线程名前缀,默认dtpallowCoreThreadTimeOut: false                  # 是否允许核心线程池超时,默认falsewaitForTasksToCompleteOnShutdown: true         # 参考spring线程池设计,优雅关闭线程池,默认falseawaitTerminationSeconds: 5                     # 优雅关闭线程池时,阻塞等待线程池中任务执行时间,默认0,单位(s)preStartAllCoreThreads: false                  # 是否预热所有核心线程,默认falserunTimeout: 200                                # 任务执行超时阈值,目前只做告警用,单位(ms),默认0queueTimeout: 100                              # 任务在队列等待超时阈值,目前只做告警用,单位(ms),默认0taskWrapperNames: ["ttl", "mdc"]               # 任务包装器名称,继承TaskWrapper接口notifyEnabled: true                            # 是否开启报警,默认truenotifyItems:                     # 报警项,不配置自动会按默认值配置(变更通知、容量报警、活性报警、拒绝报警、任务超时报警)- type: changeenabled: true- type: capacity               # 队列容量使用率,报警项类型,查看源码 NotifyTypeEnum枚举类enabled: truethreshold: 80                # 报警阈值,默认70,意思是队列使用率达到70%告警interval: 120                # 报警间隔(单位:s),默认120- type: liveness               # 线程池活性enabled: truethreshold: 80                # 报警阈值,默认 70,意思是活性达到70%告警- type: reject                 # 触发任务拒绝告警enabled: truethreshold: 100               # 默认阈值10- type: run_timeout            # 任务执行超时告警enabled: truethreshold: 100               # 默认阈值10- type: queue_timeout          # 任务排队超时告警enabled: truethreshold: 100               # 默认阈值10

3.启动类加@EnableDynamicTp注解

4.依赖注入

  • 依赖注入方式使用,优先推荐依赖注入方式,不能使用依赖注入的场景可以使用方式2

@Resource
private ThreadPoolExecutor dtpExecutor1;public void exec() {dtpExecutor1.execute(() -> System.out.println("test"));
}
  • 从 DtpRegistry 注册器获取(接口场景可用)

public static void main(String[] args) {DtpExecutor dtpExecutor = DtpRegistry.getDtpExecutor("dtpExecutor1");dtpExecutor.execute(() -> System.out.println("test"));
}

通知报警

  • 触发报警阈值会推送相应报警消息(活性、容量、拒绝、任务等待超时、任务执行超时),且会高亮显示相应字段

    image.png

  • 配置变更会推送通知消息,且会高亮变更的字段
     

    image.png


    更多见官网文档,通知报警

监控

image.png

image.png

image.png

目前框架提供了四种监控数据采集方式,通过 collectorTypes 属性配置监控指标采集类型,默认 Micrometer

  1. Logging:线程池指标数据会以 Json 格式输出到指定的日志文件里

  2. Internal_logging:线程池指标数据会以 Json 格式输出到项目日志文件里

  3. Micrometer:采用监控门面,通过引入相关 Micrometer 依赖采集到相应的存储平台里(如 Prometheus,InfluxDb...)

  4. Endpoint:暴露 Endpoint 端点,可以通过 http 方式实时获取指标数据

更多见官网文档,监控

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/494286.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

软件开发工程师的岗位任职资格

软件工程师是指从事软件开发的人&#xff0c;主要的工作涉及到项目培训和项目设计两个方面。在实际工作中&#xff0c;软件工程师是一个广义的概念&#xff0c;包括了很多与软件相关的人员。除开最基础的编程语言&#xff0c;还有数据库语言等等。从事这份工作&#xff0c;需要…

每日一题 2867统计树中的合法路径

2867. 统计树中的合法路径数目 题目描述&#xff1a; 给你一棵 n 个节点的无向树&#xff0c;节点编号为 1 到 n 。给你一个整数 n 和一个长度为 n - 1 的二维整数数组 edges &#xff0c;其中 edges[i] [ui, vi] 表示节点 ui 和 vi 在树中有一条边。 请你返回树中的 合法路…

编曲学习:和声小调 终止式 离调和弦 转调应用

和声小调 音阶 大调音程关系排列:全 全 半 全 全 全 半 小调音程关系排列:全 半 全 全 半 全 全 C大调音阶: 1 2 3 4 5 6 7 1 C小调音阶: 1 2 b3 4 5 b6 b7 1 C大调基本音级构成的和弦: Cmaj7 Dmin7 Emin7 Fmaj7 G7 Amin7 Bm7-5 C小调基本音级构成的和弦: Cmin7 D…

python Matplotlib Tkinter-->tab切换1

环境 python:python-3.12.0-amd64 包: matplotlib 3.8.2 pillow 10.1.0 import matplotlib.pyplot as plt from matplotlib.backends.backend_tkagg import FigureCanvasTkAgg, NavigationToolbar2Tk import tkinter as tk import tkinter.messagebox as messagebox import …

键盘锁住了怎么解锁?这4个方法轻松帮你解决!

“我在使用电脑输入文字时不知道按错了什么键&#xff0c;导致键盘锁住了。有什么简单的方法可以帮助键盘快速解锁吗&#xff1f;” 当我们在使用电脑时&#xff0c;突然发现键盘被锁住&#xff0c;无法输入任何字符&#xff0c;这无疑会让人感到困扰。但请别担心&#xff0c;这…

无刷电机的2种电流采样方式以及优缺点比较

低端电流采样&#xff1a; 在低端采样方式中&#xff0c;电流检测电阻&#xff08;分流电阻&#xff09;通常被放置在逆变器下桥臂MOSFET或IGBT的低端&#xff0c;即靠近电机绕组的地线侧。这种情况下&#xff0c;只有当对应相位的下管导通时&#xff0c;才能通过这个电阻来测量…

雾锁王国Enshrouded多人联机专用服务器配置要求

雾锁王国/Enshrouded服务器CPU内存配置如何选择&#xff1f;阿里云服务器网aliyunfuwuqi.com建议选择8核32G配置&#xff0c;支持4人玩家畅玩&#xff0c;自带10M公网带宽&#xff0c;1个月90元&#xff0c;3个月271元&#xff0c;幻兽帕鲁服务器申请页面 https://t.aliyun.com…

Leetcode——hot3最长连续序列

最长连续序列 class Solution {public int longestConsecutive(int[] nums) {if(nums.length 0 || nums.length 1){return nums.length;}Arrays.sort(nums);int count 1;int max 1;for(int i 0; i < nums.length - 1; i){if(nums[i1] - nums[i] 1){count;if(count &…

【C++】---内存管理new和delete详解

一、C/C内存分布 C/C内存被分为6个区域&#xff1a; &#xff08;1&#xff09; 内核空间&#xff1a;存放内核代码和环境变量。 &#xff08;2&#xff09;栈区&#xff1a;向下增长&#xff08;存放非静态局部变量&#xff0c;函数参数&#xff0c;返回值等等&#xff09; …

理解npm run dev 和 npm run serve的区别

文章目录 1. 分析npm run2. dev与serve的区别 1. 分析npm run npm npm 是 Node.js 的包管理器&#xff0c;它允许你安装、更新、删除和管理 Node.js 的模块和应用程序。 run run 是 npm 的一个子命令&#xff0c;用于执行在 package.json 文件的 scripts 部分定义的脚本。 dev…

C#中字典Dictionary的实现原理

在 C# 中&#xff0c;字典的实现通常使用哈希表。Dictionary<TKey, TValue> 类就是 C# 中的哈希表实现之一。 哈希表的数据结构&#xff1a; Dictionary<TKey, TValue> 内部使用了哈希表的数据结构来存储键值对。哈希表通常是一个数组&#xff0c;每个数组元素通常…