golang 记录一次协程和协程池的使用,利用ants协程池来处理定时器导致服务全部阻塞

前言

在实习的项目中有一个地方遇到了需要协程池的地方,在mt推荐下使用了ants库。因此在此篇记录一下自己学习使用此库的情况。
在这里插入图片描述

场景描述

此服务大致是一个kafka消息接收、发送相关。接收消息,根据参数设置定时器进行重发。
通过这里新建kafka服务,并在kratos框架的依赖注入使用。

func NewxxxxKafka {
RegisterSubscriber(context.TODO(), t, c.Group, false, handler.HandlerFunc(), nil)
}

这是其中的HandlerFunc,在其中调用到Save部分逻辑操作。


func (h *xxxxxxxxxxx) HandlerFunc() broker.Handler {return func(ctx context.Context, event broker.Event) error {return h.uc.Save(ctx, msg)}
}

这个是我的逻辑部分,其中RetryAtTime中,会设置定时器,并进行执行。在此之前涉及部分数据库操作。


func (uc *xxxx) Save() error {//部分数据库操作go uc.ms.RetryAtTime(ctx, id, UnixNextRetryTime)//其中有定时器
}

如果此处不使用协程,那么所有消息接收,都会因为定时器而卡死在主线程。

单使用wg.group的方案

单给定时器加协程


func (uc *xxxx) Save() error {var wg sync.WaitGroup//部分数据库操作go uc.ms.RetryAtTime(ctx, id, UnixNextRetryTime)//其中有定时器wg.Add(1)defer wg.Done()return nil
}

单给定时器使用协程,并没有实现真正的并发,只是在协程中去运行了定时器的逻辑,其他所有操作依旧是单线程的。
这样可以解决定时器阻塞的问题,但系统性能并没有提升。

消费消息时候加协程

将加协程移到HandlerFunc处,可以实现并发的处理消息。


func (h *xxxxx) HandlerFunc() broker.Handler {return func(ctx context.Context, event broker.Event) error {h.wg.Add(1) // 增加等待组计数go func() {defer h.wg.Done() // 完成后减少等待组计数err := h.uc.Save(ctx, msg); err != nil }()return nil}
}

这里需要注意,不能在handlerfunc中去var wg sync.waitgroup。因为这样的话每次调用都会新声明一个,那么每一个wg也只和一个goroutine关联了。需要写到结构体中。

但毕竟涉及到数据库操作,协程中操作数据库,可能会导致一些问题。(虽然我这里业务逻辑好像只有一个增和查,没什么影响)

使用ants协程池

使用协程池管理协程:struct中新增pool

type xxxx struct {
//    xxxxxxxxxxxxx//wg     sync.WaitGroupPool *ants.Pool
}

初始化,在此处设置协程池的容量。因为考虑到有大量的定时器,所以选择了一个相较于目前数据,较大的协程池。


func Newxxxx(xxxxx
) *xxxx {pool, err := ants.NewPool(10000)if err != nil {log.Fatalf("failed to create ants Pool: %v", err)}return &xxxx{//xxxxxPool:   pool,}
}

使用,主要是pool.Submit(func())函数,像池子中添加一个用于并发执行的函数即可。其余就交给池子底层去解决了。


func (h *xxx) HandlerFunc() broker.Handler {return func(ctx context.Context, event broker.Event) error {return h.Pool.Submit(func() {//xxxxxxif err := h.uc.Save(ctx, msg); err != nil {h.logger.Error("failed to save message", "error", err)}})}
}

记得在外层关闭池子


func NewxxxxxKafka()  {for _, t := range c.Topics {if err := ks.RegisterSubscriber(context.TODO(), t, c.Group, false, handler.HandlerFunc(), nil); err != nil {log.Fatal(err)}defer handler.Pool.Release()}}

总结

主要是记录了一次自己对协程池的使用,在此过程中,从仅使用协程处理定时器,到使用协程处理整个方法实现并发,再到使用协程池。后续会进行ants库底层源码的学习。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/336371.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

淘宝商品数据采集订单数据采集店铺数据采集API演示

淘宝商品数据采集代码 -- 请求示例 url 默认请求参数已经URL编码处理 curl -i "https://api-gw.cn/taobao/item_get/?key<您自己的apiKey>&secret<您自己的apiSecret>&num_iid652874751412&is_promotion1" 商品详情页与获取到的返回数据示…

深入理解 Hadoop (五)YARN核心工作机制浅析

概述 YARN 的核心设计理念是 服务化&#xff08;Service&#xff09; 和 事件驱动&#xff08;Event EventHandler&#xff09;。服务化 和 事件驱动 软件设计思想的引入&#xff0c;使得 YARN 具有低耦合、高内聚的特点&#xff0c;各个模块只需完成各自功能&#xff0c;而模…

springcloud工地智慧云平台源码

智慧工地云平台是一种基于云计算和物联网技术的解决方案&#xff0c;旨在提升工地管理的效率和安全性。它通过集成多种传感器、设备和软件系统&#xff0c;实现对工地各个环节的实时监控、数据采集和分析&#xff0c;从而实现对工地运营的全面管理和智能化决策。 智慧工地利用…

java项目启动报错排查过程——mysql服务挂了

来自前端同事无法启动后台项目的案例 Caused by: java.net.ConnectException Create breakpoint : Connection refused: connect The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server. 大致…

flex布局(3)

九、骰子 *{margin:0;padding: 0;box-sizing: border-box; } .flex{display: flex;flex-flow: row wrap;justify-content: space-between;align-items: center;align-content: space-between;padding:20px; } .touzi{width: 120px;height: 120px;background-color: aliceblue;…

SSL证书不受信任怎么办? SSL证书不受信任解决方案汇总

随着网络安全问题日益凸显&#xff0c;网站使用SSL证书以实现HTTPS加密及身份的可信认证&#xff0c;防止传输数据的泄露或篡改&#xff0c;已成为互联网人的共识。但SSL证书并不是部署了就能正常使用的&#xff0c;有时浏览器会提示“SSL证书不受信任”&#xff0c;这种时候该…

sg - 8503 ca双可选可编程晶体振荡器 (SPXO)

SG-8503CA可编程晶体振荡器&#xff0c;7050六引脚石英晶振&#xff0c;LV-PECL差分石英晶体振荡器&#xff0c;尺寸7.0 5.0 1.5mm轻薄型、低抖动、低耗能、低相位等特点&#xff0c;差分输出晶振非常适用于蓝牙模块、网络设备、智能家居、无线设备、OTN, BTS&#xff0c;测试…

vue配置qiankun及打包上线

项目结构 基座&#xff1a;vue3 子应用A&#xff1a;vue3 子应用B&#xff1a; react 子应用C&#xff1a;vue3vite 项目目录&#xff1a; 配置基座 首先下载qiankun yarn add qiankun # 或者 npm i qiankun -S 所有子应用也要安装&#xff0c;vue-vite项目安装 cnpm ins…

小红书达人投放策略,如何做好达人筛选工作?

随着社交媒体的发展&#xff0c;品牌投放策略也在不断变化和创新。作为一个快速崛起的社区平台&#xff0c;小红书已经成为众多品牌进行市场营销的热门选择之一。本文我们将详细描述小红书达人投放策略&#xff0c;如何做好达人筛选工作&#xff1f; 一、品牌投放策略 在小红书…

【Go】excelize库实现excel导入导出封装(三),基于excel模板导出excel

前言 大家好&#xff0c;这里是符华~ 关于excelize库实现excel导入导出封装&#xff0c;我已经写了两篇了&#xff0c;我想要的功能基本已经实现了&#xff0c;现在还差一个模板导出&#xff0c;这篇文章就来讲讲如何实现用模板导出excel。 前两篇&#xff1a; 【Go】excel…

伺服电机:伺服电机的控制方式(脉冲控制)

脉冲控制是伺服系统最常见的一种控制方式&#xff0c;基本上每家的伺服驱动器都支持脉冲模式。脉冲模式一般用于轴比较少的场合&#xff08;4轴及以下&#xff09;&#xff0c;轴数比较多的话就需要用总线来控制&#xff0c;毕竟伺服控制器的脉冲输入输出口的数量是有限的。 一…