欢迎来到百战百胜!我们致力于为广大IT从业者、学生和爱好者提供全面、实用的资源和服务。加入我们的聊天群,这里有专业大佬为你提供有价值的建议和指导!
微信搜索:IT开DD那点小事
更多访问:www.besthub.tech
前言
使用线程池 ThreadPoolExecutor 过程中你是否有以下痛点呢?
-
代码中创建了一个 ThreadPoolExecutor,但是不知道那几个核心参数设置多少比较合适
-
凭经验设置参数值,上线后发现需要调整,改代码重新发布服务,非常麻烦
-
线程池相对开发人员来说是个黑盒,运行情况不能及时感知到,直到出现问题
如果有以上痛点,动态可监控线程池框架(DynamicTp)或许能帮助到你。
项目介绍
🔥🔥🔥 一款基于配置中心的轻量级动态可监控线程池。
动态调参
在运行时动态调整线程池参数,包括核心线程数、最大线程数、空闲线程超时时间、任务队列大小等
通知报警
目前支持调参通知、活性、队列容量、拒绝策略、超时共六类通知报警维度,在运行时实时+定时检测,触发阈值进行推送
运行监控
定时采集线程池运行指标数据,提供 jsonlog、micrometer、endpoint、jmx 四种指标数据采集方式,可灵活选择
三方包集成
集成三方中间件线程池管理,已接入dubbo、rocketmq、hystrix、grpc、tomcat、undertow、jetty、grpc、okhttp等组件线程池管理
功能特性
-
代码零侵入:我们改变了线程池以往的使用姿势,所有配置均放在配置中心,服务启动时会从配置中心拉取配置生成线程池对象放到 Spring 容器中,使用时直接从 Spring 容器中获取,对业务代码零侵入
-
通知告警:提供多种通知告警维度(配置变更通知、活性报警、队列容量阈值报警、拒绝触发报警、任务执行或等待超时报警),触发配置阈值实时推送告警信息,已支持企微、钉钉、飞书、邮件、云之家报警,同时提供 SPI 接口可自定义扩展实现
-
运行监控:定时采集线程池指标数据(20 多种指标,包含线程池维度、队列维度、任务维度、tps、tp99等),支持通过 MicroMeter、JsonLog 两种方式,也可以通过 SpringBoot Endpoint 端点实时获取最新指标数据,同时提供 SPI 接口可自定义扩展实现
-
任务增强:提供任务包装功能(比 Spring 线程池任务包装更强大),实现 TaskWrapper 接口即可,如 MdcTaskWrapper、TtlTaskWrapper、SwTraceTaskWrapper、OpenTelemetryWrapper,可以支持线程池上下文信息传递
-
多配置中心支持:支持多种主流配置中心,包括 Nacos、Apollo、Zookeeper、Consul、Etcd、Polaris、ServiceComb,同时也提供 SPI 接口可自定义扩展实现
-
中间件线程池管理:集成管理常用第三方组件的线程池,已集成 Tomcat、Jetty、Undertow、Dubbo、RocketMq、Hystrix、Grpc、Motan、Okhttp3、Brpc、Tars、SofaRpc、RabbitMq 等组件的线程池管理(调参、监控报警)
-
轻量简单:使用起来极其简单,引入相应依赖,接入只需简单 4 步就可完成,顺利 3 分钟搞定,相当丝滑
-
多模式:提供了增强线程池 DtpExecutor,IO 密集型场景使用的线程池 EagerDtpExecutor,调度线程池 ScheduledDtpExecutor,有序线程池 OrderedDtpExecutor,可以根据业务场景选择合适的线程池
-
兼容性:JUC 普通线程池和 Spring 中的 ThreadPoolTaskExecutor 也可以被框架管理,@Bean 定义时加 @DynamicTp 注解即可
-
可靠性:依靠 Spring 生命周期管理,可以做到优雅关闭线程池,在 Spring 容器关闭前尽可能多的处理队列中的任务
-
高可扩展:框架核心功能都提供 SPI 接口供用户自定义个性化实现(配置中心、配置文件解析、通知告警、监控数据采集、任务包装等等)
-
线上大规模应用:参考美团线程池实践,美团内部已经有该理论成熟的应用经验
在SpringBoot环境集成
源码地址
https://github.com/dromara/dynamic-tp
技术架构
模块介绍
adapter 模块:主要是适配一些第三方组件的线程池管理,目前已经实现的有 SpringBoot 内置的三大 web 容器(Tomcat、Jetty、Undertow)、Dubbo、RocketMq、Hystrix、Grpc、Motan、Okhttp3、Brpc、Tars、SofaRpc、RabbitMq 的线程池管理, 后续会接入其他常用组件的线程池管理
common 模块:主要是一些各个模板都会用到的类,解耦依赖,复用代码,大家日常开发中可能也经常会这样组织代码
core 模块:该框架的核心代码都在这个模块里,包括动态调整参数,监控报警,以及串联整个项目流程都在此处
example 模块:提供一个简单使用示例,方便使用者参照
extension 模块:放一些扩展功能实现,比如基于 redis 的流控扩展、邮件发送扩展、skywalking 上下文传递扩展等
logging 模块:用于配置框架内部日志的输出,目前主要用于输出线程池监控指标数据到指定文件
starter 模块:提供独立功能模块的依赖封装、自动配置等相关
test 模块:主要是一些单元测试
1.引入maven依赖
-
SpringBoot1x、2x、Spring6 以下用此依赖
<dependency><groupId>org.dromara.dynamictp</groupId><artifactId>dynamic-tp-dependencies</artifactId><version>1.1.6.1</version><type>pom</type><scope>import</scope>
</dependency>
-
SpringBoot3x、Spring6 以上用此依赖
<dependency><groupId>org.dromara.dynamictp</groupId><artifactId>dynamic-tp-dependencies</artifactId><version>1.1.6.1-3.x</version><type>pom</type><scope>import</scope>
</dependency>
2.配置线程池实例
spring:dynamic:tp:enabled: true # 是否启用 dynamictp,默认trueenabledCollect: true # 是否开启监控指标采集,默认truecollectorTypes: micrometer,logging # 监控数据采集器类型(logging | micrometer | internal_logging | JMX),默认micrometerlogPath: /home/logs/dynamictp/user-center/ # 监控日志数据路径,默认 ${user.home}/logs,采集类型非logging不用配置monitorInterval: 5 # 监控时间间隔(报警检测、指标采集),默认5splatforms: # 通知报警平台配置- platform: wechatplatformId: 1 # 平台id,自定义urlKey: 3a700-127-4bd-a798-c53d8b69c # webhook 中的 keyreceivers: test1,test2 # 接受人企微账号- platform: dingplatformId: 2 # 平台id,自定义urlKey: f80dad441fcd655438f4a08dcd6a # webhook 中的 access_tokensecret: SECb5441fa6f375d5b9d21 # 安全设置在验签模式下才的秘钥,非验签模式没有此值receivers: 18888888888 # 钉钉账号手机号- platform: larkplatformId: 3urlKey: 0d944ae7-b24a-40 # webhook 中的 tokensecret: 3a750012874bdac5c3d8b69c # 安全设置在签名校验模式下才的秘钥,非验签模式没有此值receivers: test1,test2 # 接受人username / openid- platform: emailplatformId: 4receivers: 123456@qq.com,789789@qq.com # 收件人邮箱,多个用逗号隔开executors: # 动态线程池配置,都有默认值,采用默认值的可以不配置该项,减少配置量- threadPoolName: dtpExecutor1threadPoolAliasName: 测试线程池 # 线程池别名executorType: common # 线程池类型 common、eager、ordered、scheduled、priority,默认 commoncorePoolSize: 6 # 核心线程数,默认1maximumPoolSize: 8 # 最大线程数,默认cpu核数queueCapacity: 2000 # 队列容量,默认1024queueType: VariableLinkedBlockingQueue # 任务队列,查看源码QueueTypeEnum枚举类,默认VariableLinkedBlockingQueuerejectedHandlerType: CallerRunsPolicy # 拒绝策略,查看RejectedTypeEnum枚举类,默认AbortPolicykeepAliveTime: 60 # 空闲线程等待超时时间,默认60threadNamePrefix: test # 线程名前缀,默认dtpallowCoreThreadTimeOut: false # 是否允许核心线程池超时,默认falsewaitForTasksToCompleteOnShutdown: true # 参考spring线程池设计,优雅关闭线程池,默认falseawaitTerminationSeconds: 5 # 优雅关闭线程池时,阻塞等待线程池中任务执行时间,默认0,单位(s)preStartAllCoreThreads: false # 是否预热所有核心线程,默认falserunTimeout: 200 # 任务执行超时阈值,目前只做告警用,单位(ms),默认0queueTimeout: 100 # 任务在队列等待超时阈值,目前只做告警用,单位(ms),默认0taskWrapperNames: ["ttl", "mdc"] # 任务包装器名称,继承TaskWrapper接口notifyEnabled: true # 是否开启报警,默认truenotifyItems: # 报警项,不配置自动会按默认值配置(变更通知、容量报警、活性报警、拒绝报警、任务超时报警)- type: changeenabled: true- type: capacity # 队列容量使用率,报警项类型,查看源码 NotifyTypeEnum枚举类enabled: truethreshold: 80 # 报警阈值,默认70,意思是队列使用率达到70%告警interval: 120 # 报警间隔(单位:s),默认120- type: liveness # 线程池活性enabled: truethreshold: 80 # 报警阈值,默认 70,意思是活性达到70%告警- type: reject # 触发任务拒绝告警enabled: truethreshold: 100 # 默认阈值10- type: run_timeout # 任务执行超时告警enabled: truethreshold: 100 # 默认阈值10- type: queue_timeout # 任务排队超时告警enabled: truethreshold: 100 # 默认阈值10
3.启动类加@EnableDynamicTp注解
4.依赖注入
-
依赖注入方式使用,优先推荐依赖注入方式,不能使用依赖注入的场景可以使用方式2
@Resource
private ThreadPoolExecutor dtpExecutor1;public void exec() {dtpExecutor1.execute(() -> System.out.println("test"));
}
-
从 DtpRegistry 注册器获取(接口场景可用)
public static void main(String[] args) {DtpExecutor dtpExecutor = DtpRegistry.getDtpExecutor("dtpExecutor1");dtpExecutor.execute(() -> System.out.println("test"));
}
通知报警
-
触发报警阈值会推送相应报警消息(活性、容量、拒绝、任务等待超时、任务执行超时),且会高亮显示相应字段
-
配置变更会推送通知消息,且会高亮变更的字段
更多见官网文档,通知报警
监控
目前框架提供了四种监控数据采集方式,通过 collectorTypes 属性配置监控指标采集类型,默认 Micrometer
Logging:线程池指标数据会以 Json 格式输出到指定的日志文件里
Internal_logging:线程池指标数据会以 Json 格式输出到项目日志文件里
Micrometer:采用监控门面,通过引入相关 Micrometer 依赖采集到相应的存储平台里(如 Prometheus,InfluxDb...)
Endpoint:暴露 Endpoint 端点,可以通过 http 方式实时获取指标数据
更多见官网文档,监控