C/C++ 线程池工作原理 代码实现

1. 线程池作用

如果多次使用线程，那么就需要多次的创建并撤销线程。但是创建/撤销的过程会消耗资源。线程池是一种数据结构，其中维护着多个线程，这避免了在处理短时间任务时，创建与销毁线程的代价。即在程序开始运行前预先创建一定数量的线程放入空闲队列中，这些线程都是处于阻塞状态，基本不消耗CPU，只占用较小的内存空间，程序在运行时，只需要从线程池中拿来用就可以了，大大提高了程序运行效率。

2. 线程池结构

线程池基本结构

任务结构体

  • 任务函数地址：任务本身就是让线程执行的函数，这里存函数指针
  • 任务函数参数：函数的参数，使用void*类型万能转换

线程池结构体

  • 任务相关
    • 任务队列：存储当前线程池中的任务，C语言中使用任务结构体的数组来存
    • 最大任务数量 ：队列中可以排队的最大任务数量
  • 工作线程相关：
    • 线程ID数组：存储工作的线程，长度为最大线程数量
    • 最小线程数量：线程池中存活的最小线程数量
    • 最大线程数量：线程池中存活的最大线程数量
    • 活跃线程数：当前存活线程数，可以作为管理线程工作的依据
    • 当前忙碌线程数：当前正在处理任务的线程数量，可以作为管理线程工作的依据
  • 管理相关：
    • 管理线程ID：管理线程的线程ID，管理线程根据当前任务数量、活跃线程数、忙碌线程数来判断是否需要增加/减少线程池中线程的数量，这样可以最大化利用系统资源。
    • 剩余删除的线程数量：每次需要删除线程时，管理线程会给当前变量赋值，这样工作线程如果判断该变量不为0，则工作线程自发exit
    • 销毁线程flag：判断是否要销毁整个线程池，初始化为0，为1时销毁。
  • 锁相关
    • 线程池临界资源互斥锁：
    • 多线程共享线程池中临界资源时，需要使用互斥锁进行线程同步
    • 任务队列满条件锁：任务队列满的时候，如果还有新的任务需要添加，则需要wait阻塞等待；同时每次工作线程取出一个任务，还需要signal操作来解除阻塞
    • 任务队列空条件锁：任务队列空的时候，工作线程拿任务的操作需要被阻塞；同时每次用户添加了一个任务，还需要signal操作来解除阻塞

线程工作函数

  • 工作线程工作函数：用于控制工作线程的工作流程，阻塞式从任务队列中拿任务并执行。还需要响应删除线程、销毁线程池的操作。
  • 管理线程工作函数：用于控制管理线程的工作流程，循环检测并控制当前线程池中线程的数目。还需要响应销毁线程池的操作

用户接口：

  • 新建线程池：新建一个线程池，需要指定最大线程数，最小线程数，任务队列长度
  • 添加任务：向线程池中添加一个任务
  • 销毁线程池：销毁线程池并释放资源
  • 查看当前任务数量：返回任务队列中任务的数量
  • 查看当前线程数量：返回当前存活线程数量
  • 查看当前忙线程数量：返回当前忙碌线程数量

3. C语言实现代码及注释

3.1 结构概述：

  • myThreadPool.h：定义线程池的结构体，并声明相关函数
  • myThreadPool.c：实现MyThreadPool中的声明的函数
  • main.c：测试代码

3.2 myThreadPool.h 头文件

#include <stdio.h>
#include<pthread.h>
#include<unistd.h>
typedef struct Task{ //任务结构体void (*function) (void *arg); //函数指针void* arg; //函数的参数
}Task;
typedef struct threadPool{//任务相关Task *task; //任务队列的指针int taskMaxNum; //任务队列的最大长度int taskNum; //任务数量int head; //任务队列的队头，C语言没有queue，需要手写queueint tail; //任务队列的队尾//普通线程相关pthread_t *workId; //线程数组的指针int minNum; //线程池最小线程数，用户指定int maxNum; //线程池最大线程数，用户指定int liveNum; //线程池当前存活线程数int busyNum; //线程池当前忙碌线程数，作为是否需要增加/减少线程数量的依据//管理线程相关pthread_t manageId;int deleteNum; //线程太多时，每一次要取消的线程数量int shutDown; //判断线程池是否要销毁，1表示要销毁//锁相关pthread_mutex_t mutexPool; //互斥锁，锁住整个线程池pthread_cond_t condFull; //条件锁，任务队列满了则阻塞，用于添加任务pthread_cond_t condEmpty; //条件锁，任务队列空了则阻塞，用于取出任务}threadPool;
//普通线程工作函数
void* worker(void* arg);//管理线程工作函数
void* manager(void* arg);//新建线程池
threadPool* createPool(int minNum, int maxNum, int taskMaxNum);//添加任务,pool表示线程池，task表示任务的函数指针，arg表示函数的参数
int addtask(threadPool *pool, void (*func)(void*), void* arg);//查看线程数量
int getThreadNum(threadPool *pool);//查看忙线程数量
int getBusyThreadNum(threadPool *pool);//查看任务数量
int getTaskNum(threadPool *pool);//销毁线程池
int deletePool(threadPool *pool);

3.3 myThreadPool.c 函数实现

#include<stdio.h>
#include "C-myThreadPool.h"
#include<stdlib.h>// 普通线程工作函数，每次从任务队头取出任务并执行，如果没有任务则阻塞，参数为线程池
void* worker(void* arg){threadPool* pool = (threadPool *)arg;//循环执行while(1){pthread_mutex_lock(&pool->mutexPool);//上锁，线程池为临界资源，需要进行线程同步//销毁线程池if(pool->shutDown){pthread_mutex_unlock(&pool->mutexPool);pthread_exit(NULL);}//线程终止，即管理线程中设置了要取消的线程deleteNum的值，让空闲的线程自己自杀while(pool->deleteNum>0){ //deleteNum大于0pool->deleteNum--;pool->liveNum--;pthread_mutex_unlock(&pool->mutexPool);for(int i=0;i<pool->maxNum;++i){ //找到当前线程if(pool->workId[i] == pthread_self()){pool->workId[i] = 0; //重置线程池中线程数组的编号，0表示空闲}}pthread_exit(NULL); //终止当前线程}//从任务队列中取出任务，并执行int taskNum = pool->taskNum;while(!pool->shutDown && taskNum==0){ // 如果当前没有任务pthread_cond_wait(&pool->condEmpty, &pool->mutexPool); // 阻塞等待}//如果在等待任务的时候，客户端调用销毁线程池，则需要再次判断一次if(pool->shutDown){pthread_mutex_unlock(&pool->mutexPool);pthread_exit(NULL);}Task task;task.function= pool->task[pool->head].function; //取出任务队列头结点task.arg = pool->task[pool->head].arg;pool->head = (++pool->head) % pool->taskMaxNum; //头结点后移，%操作模拟队列pool->taskNum--;  //任务数量-1pthread_mutex_unlock(&pool->mutexPool); // 解锁pthread_cond_signal(&pool->condFull); //对该条件锁解锁，这样如果任务队列满了，告诉生产者就可以生产任务了printf("thread %ld begin working\n", (long)pthread_self());task.function(task.arg); //执行任务pthread_mutex_lock(&pool->mutexPool); //上锁pool->busyNum++;pthread_mutex_unlock(&pool->mutexPool); // 解锁printf("thread %ld end working\n", (long)pthread_self());pthread_mutex_lock(&pool->mutexPool); //上锁pool->busyNum--;pthread_mutex_unlock(&pool->mutexPool); // 解锁}return NULL;
}// 管理线程工作函数
void* manager(void* arg){threadPool* pool = (threadPool *)arg;while(!pool->shutDown){  //如果线程池没有被销毁sleep(5);//每隔5秒检测一次pthread_mutex_lock(&pool->mutexPool);int liveNum = pool->liveNum;int taskNum = pool->taskNum;pthread_mutex_unlock(&pool->mutexPool);//如果存活的线程太少，则增加线程，每次增加2个if(taskNum > liveNum && liveNum < pool->maxNum){pthread_mutex_lock(&pool->mutexPool);int num=0; //已经增加的线程数量，假设每次增加2个线程for(int i=0;i<pool->maxNum && num<2 && pool->liveNum<pool->maxNum; ++i){if(pool->workId[i]==0){pthread_create(&pool->workId[i], NULL, worker, pool); //新建线程num++;pool->liveNum++;}}pthread_mutex_unlock(&pool->mutexPool);printf("2 threads are added by manager\n");}//如果存活的线程太多，则减少线程，每次减少2个if(taskNum*2 < liveNum && liveNum > pool->minNum){pthread_mutex_lock(&pool->mutexPool);if(pool->liveNum-2 >= pool->minNum)pool->deleteNum=2;  //这里不能指定杀死某个线程，因为并不知道线程的状态，要让空闲的线程自己自杀pthread_mutex_unlock(&pool->mutexPool);printf("2 threads are deleted by manager\n");}}return NULL;
}// 新建线程池
threadPool* createPool(int minNum, int maxNum, int taskMaxNum){// 任务相关threadPool *pool = (threadPool*)(malloc(sizeof(threadPool)));pool->task = (Task*)(malloc(sizeof(Task)*taskMaxNum));pool->taskMaxNum = taskMaxNum;pool->head = 0;pool->tail = 0;// 普通线程相关pool->workId = (pthread_t *)(malloc(sizeof(pthread_t)*maxNum));pool->minNum = minNum;pool->maxNum = maxNum;pool->liveNum = 3;pool->busyNum = 0;for(int i=0;i<pool->maxNum;++i){pool->workId[i]=0;  // 初始化id均为0，0表示该位置没有对应的线程}for(int i=0;i<pool->minNum;++i){ // 开始启动最小数量的线程pthread_create(&pool->workId[i], NULL, worker, pool);}// 管理线程相关，直接启动管理线程pthread_create(&pool->manageId, NULL, manager, pool);pool->deleteNum = 1; // 每次取消一个线程pool->shutDown = 0;// 锁相关pthread_mutex_init(&pool->mutexPool, NULL);pthread_cond_init(&pool->condFull, NULL);pthread_cond_init(&pool->condEmpty, NULL);return pool; //pool在共享堆内存，所以不会自动释放
}//添加任务,pool表示线程池，task表示任务的函数指针，arg表示函数的参数
int addtask(threadPool *pool, void (*func)(void*), void* arg){pthread_mutex_lock(&pool->mutexPool); //加锁//任务队列满了，则阻塞等待while(pool->taskNum == pool->taskMaxNum && !pool->shutDown){pthread_cond_wait(&pool->condFull, &pool->mutexPool);}if(pool->shutDown){pthread_mutex_unlock(&pool->mutexPool);}pool->task[pool->tail].function = func;pool->task[pool->tail].arg = arg;pool->taskNum++;pool->tail = (++pool->tail) % pool->taskMaxNum; //任务队列尾部向后移动1pthread_cond_signal(&pool->condEmpty); //对该条件变量进行解锁，这样等待的线程可以拿任务了pthread_mutex_unlock(&pool->mutexPool);return 0;
}//查看线程数量
int getThreadNum(threadPool *pool){pthread_mutex_lock(&pool->mutexPool); //读加锁是为了防止极端情况：读了一半然后被其它线程修改int liveNum = pool->liveNum;pthread_mutex_unlock(&pool->mutexPool);return liveNum;
}//查看忙线程数量
int getBusyThreadNum(threadPool *pool){pthread_mutex_lock(&pool->mutexPool); //读加锁是为了防止极端情况：读了一半然后被其它线程修改int BusyThreadNum = pool->busyNum;pthread_mutex_unlock(&pool->mutexPool);return BusyThreadNum;
}//查看任务数量
int getTaskNum(threadPool *pool){pthread_mutex_lock(&pool->mutexPool); //读加锁是为了防止极端情况：读了一半然后被其它线程修改int taskNum = pool->taskNum;pthread_mutex_unlock(&pool->mutexPool);return taskNum;
}// 销毁线程池
int deletePool(threadPool *pool){if(pool==NULL){return -1; // 如果线程池已经不存在了，则返回-1}pool->shutDown=1;pthread_join(pool->manageId, NULL); //阻塞回收管理子线程for(int i=0;i<pool->maxNum;++i) //唤醒所有等待任务的普通子线程pthread_cond_broadcast(&pool->condEmpty);//释放pool中的两个堆内存if(pool->task)free(pool->task);if(pool->workId) free(pool->workId);//回收锁pthread_mutex_destroy(&pool->mutexPool);pthread_cond_destroy(&pool->condFull);pthread_cond_destroy(&pool->condEmpty);//回收线程池free(pool);pool=NULL;return 0;
}

3.4 main.c 测试代码

#include <stdio.h>
#include <stdlib.h>
#include "C-myThreadPool.h"void test_task(void *arg){int num = *(int*)arg;printf("thread %ld is working, number = %d\n", (long)pthread_self(), num);sleep(1);
}
int main(int count, char** arg){  //测试代码threadPool* pool =createPool(3, 10, 50);for(int i=0;i<100;++i){int *num = (int*)malloc(sizeof(int));*num = i;addtask(pool, test_task, num);}//每两秒检测一次，如果还存在任务或者忙的线程，则等待while( getTaskNum(pool) || getBusyThreadNum(pool) ){sleep(2);}//销毁线程池deletePool(pool);return 0;
}

部分运行结果
（注意：在linux命令行下运行gcc，需要 -l 指定链接的库文件pthread，执行 gcc main.c -l pthread -o output即可）
在这里插入图片描述

4. 总结

  • 本代码中可能有些地方存在不足
    • 如有些地方可能没有free堆内存
    • 没有考虑空间分配失败的情况，如果考虑，可以在每次申请内存的时候判断即可
  • C语言中由于没有对象的概念，并且没有STL容器，所以很多结构都需要自己手写，比较麻烦，并且没有封装成一个类，看起来结构性不强。
  • C语言改C++：
    • 可以将结构体和相关函数都封装在一个线程池类中
    • 表示线程可以使用C++11中的线程类std::thread
    • 任务队列可以使用STL中的queue
    • 存工作线程的数组，可以使用STL中的vector替代

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/1423.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

记录STM32使用udp通信的一个大坑

记录STM32使用udp通信的一个大坑

TOCfreeRTOSlwip实现udp通信 问题说明 在使用MCU和其他终端udp通信时遇见这样的一个大坑&#xff0c;整个通信过程如下图所示 问题出在mcu与其他设备通过udp交互&#xff0c;但在调试的过程中发现MCU给其他设备发消息的时候&#xff0c;虽然看起来成功了&#xff0c;但实际上…
阅读更多...
支持刷机(OpenWrt)的路由器大全

支持刷机(OpenWrt)的路由器大全

2023年上半年最热门的刷机路由器当然是360T7、小米WR30U这两款&#xff0c;主要是性价比高&#xff0c;闲鱼100多搞定&#xff0c;支持刷OpenWrt、支持WiFi6&#xff0c;采用MTK798X系列处理器&#xff0c;性能强&#xff0c;轻松跑满千兆&#xff0c;如果你想追新&#xff0c;…
阅读更多...
学习c++第01天

学习c++第01天

学习c的第01天 前言1、变量是声明&#xff1f;2.建议定义数据都对其进行初始化3.有符号数和无符号数4.进制间的相互转换5.原反补码6.const 、register 、volatile和typedef关键字7.数据类型的自动转换8.左移<< &右移操作>>9.将data的指定位数进行0、1转化的应用…
阅读更多...
Unity | HDRP高清渲染管线学习笔记：HDRP Custom Pass

Unity | HDRP高清渲染管线学习笔记：HDRP Custom Pass

目录 一、Custom Pass Volume组件介绍 1.Mode&#xff08;模式&#xff09; 2.Injection Point&#xff08;注入点&#xff09; 3.Priority 4.Fade Radius 5.custom passes 二、查看Custom Pass的渲染阶段 Custom Pass允许你执行以下操作&#xff08;官方文档&#xff0…
阅读更多...
基于改进ISODATA算法的负荷场景曲线聚类MATLAB程序

基于改进ISODATA算法的负荷场景曲线聚类MATLAB程序

参考文献&#xff1a; 基于机器学习的短期电力负荷预测和负荷曲线聚类研究_张辰睿&#xff08;硕士论文&#xff09; 参考其第三章 主要内容&#xff1a; 主要包含四种聚类算法&#xff0c;K-means聚类、ISODATA聚类、L-ISODATA聚类及K-L-ISODATA聚类&#xff0c;并且包含了…
阅读更多...
【玩转Linux操作】Linux服务管理

【玩转Linux操作】Linux服务管理

&#x1f38a;专栏【玩转Linux操作】 &#x1f354;喜欢的诗句&#xff1a;更喜岷山千里雪 三军过后尽开颜。 &#x1f386;音乐分享【如愿】 大一同学小吉&#xff0c;欢迎并且感谢大家指出我的问题&#x1f970; 文章目录 &#x1f354;服务(service)管理⭐service管理指令 &…
阅读更多...
(0017) H5-vue创建项目vue init webpack

(0017) H5-vue创建项目vue init webpack

1、初始化项目 1、vue 命令讲解 vue list &#xff1a;查看可以基于那些模板创建vue应用vue init <template-name> <project-name>init&#xff1a;表示要用vue-cli来初始化项目 <template-name>&#xff1a;表示模板名称&#xff0c;vue-cli官方提供的5种…
阅读更多...
输入框设置placeholder的文字居中

输入框设置placeholder的文字居中

<input classlogin-form-pwd placeholder请输入商家登录密码 placeholder-class"center"></input> .center{ text-align: center; }
阅读更多...
ChatGLM-6B微调p tuning v2和lora对比

ChatGLM-6B微调p tuning v2和lora对比

官方项目地址&#xff1a;https://github.com/THUDM/ChatGLM-6B 参考本人之前的博客下载ChatGLM-6B模型&#xff1a; https://blog.csdn.net/Acecai01/article/details/131221676 设备 一张3090Ti&#xff0c; 24G显卡 实验目的 通过微调的方法&#xff0c;训练ChatGLM-6B模…
阅读更多...
oracle 重复启动监听程序故障

oracle 重复启动监听程序故障

又是一起 oracle 无法连接问题&#xff0c;检查配置都是正常的。 原来是碰到一个oralce的bugl了。 还真就是这个问题&#xff0c;子进程一kill掉&#xff0c;就恢复了。
阅读更多...
《算法设计与分析》学习笔记

《算法设计与分析》学习笔记

目录 算法基本概念 算法的定义 算法复杂度分析 渐近记号 ①渐近上界记号O ②渐近下界记号Ω ③渐近紧确界记号 Θ ④非渐近紧确上界记号o ⑤非渐近紧确下界记号ω 渐进记号极限定义 分治 分治步骤 递归树 ​编辑代入法 主方法 改变变量 二叉树 堆 建堆 堆排…
阅读更多...
Nvidia官方视频编解码性能

Nvidia官方视频编解码性能

NVIDIA VIDEO CODEC SDK | NVIDIA Developer 1080P解码性能&#xff1a; 720P解码性能&#xff1a; 详细的参见官方的链接地址&#xff0c;对于GPU的解码fps能力&#xff0c;可以作为评估参照&#xff01;
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023