【APUE】补充 — 基于管道的线程池

目录

一、引言

二、代码实现 

三、思考 


一、引言

在线程章节的 3.2 部分,我们曾经提到过线程池的实现

在当时的代码中,我们仅仅用的一个 int 类型的变量来表示这个“池”,用来存放任务

显然这个池太小了,如果下游线程很多,可能会出现以下情况:

我们只需要将任务池的容量增大点,就可以很好地减少上述提到的多次调度带来的上下文切换开销

池需要用一个数据结构来维护其池中的任务(数据),我们选用队列进行实现

其实队列这个数据结构的特征和管道非常类似,数据从队列尾入队,从队列首出队数据写入管道的写端,然后从管道的读端读取数据

我们接下来将动手实现一个队列(管道),并基于该管道扩充池的容量。其实内核也提供了现成的管道,我们不直接使用内核提供的管道主要有以下两点考虑:

  • 内核提供的管道可用于进程间通信,线程间通信没必要用内核提供的机制,用的话就有点儿大材小用了
  • 自己实现管道能够深入了解管道的特点,为后续讲解进程间通信做铺垫(到时候会用到内核提供的管道)

二、代码实现 

mypipe.h,暴露接口

#ifndef MYPIPE_H__
#define MYPIPE_H__#define PIPESIZE 1024
#define MYPIPE_READ 0b00000001UL
#define MYPIPE_WRITE 0b00000010ULtypedef void mypipe_t;mypipe_t* mypipe_init(void);	// 创建(初始化)一个管道int mypipe_register(mypipe_t *, int opmap);	// 注册用户身份int mypipe_unregister(mypipe_t *, int opmap);	// 取消注册用户身份int mypipe_read(mypipe_t *, int *buf, size_t count);	// 读管道int mypipe_write(mypipe_t *, const int *buf, size_t count);	// 写管道int mypipe_destroy(mypipe_t *);	// 销毁管道	#endif

mypipe.c,实现接口。注意如何将在 mypipe.h 中隐藏的数据结构解除隐藏

#include <stdio.h>
#include <stdlib.h>
#include <pthread.h>
#include <unistd.h>#include "mypipe.h"struct mypipe_st {	// 并发队列int head;	// 指向队头int tail;	// 指向队尾int data[PIPESIZE];	// 存放数据的地方int datasize;	// 队列中有效数据的个数pthread_mutex_t mutex;	// 互斥量pthread_cond_t cond;	// 条件变量int count_rd, count_wr;	// 读者写者计数// 从这里看出,我们需要用户指定其读者/写者的身份
};mypipe_t * mypipe_init(void) {	// 初始化一个管道struct mypipe_st *me;me = malloc(sizeof(*me));if (me == NULL)return NULL;me->head = 0;me->tail = 0;me->datasize = 0;me->count_rd = 0;	// 读者个数为0me->count_wr = 0;	// 写者个数为0pthread_mutex_init(&me->mutex, NULL);pthread_cond_init(&me->cond, NULL);return me;
}int mypipe_register(mypipe_t *ptr, int opmap) {	// 用户通过该函数指定其身份struct mypipe_st * me = ptr;	// 之前在.h文件中隐藏了ptr所表征的数据结构,在这里取消隐藏pthread_mutex_lock(&me->mutex);	// 可能多个线程同时注册身份,需要互斥if (opmap & MYPIPE_READ)	// 将宏看成位图,注意位图操作me->count_rd++;if (opmap & MYPIPE_WRITE)me->count_wr++;pthread_mutex_unlock(&me->mutex);	return 0;
}int mypipe_unregister(mypipe_t *ptr, int opmap) {	// 用户通过该函数取消注册其身份struct mypipe_st * me = ptr;pthread_mutex_lock(&me->mutex);if (opmap & MYPIPE_READ)me->count_rd--;if (opmap & MYPIPE_WRITE)me->count_wr--;pthread_cond_broadcast(&me->cond);	// 可能读者或者写者被减为0了,需要通知一下read及writepthread_mutex_unlock(&me->mutex);return 0;
}int mypipe_read(mypipe_t * ptr, int *buf, size_t count) {struct mypipe_st * me = ptr;pthread_mutex_lock(&me->mutex);while (me->datasize <= 0 && me->count_wr > 0)	// 当管道中没有数据,但是还有写者,就继续等待{pthread_cond_wait(&me->cond, &me->mutex);	// 等待管道中有数据// 等待写者数量变为0}if (me->datasize <= 0 && me->count_wr <= 0){pthread_mutex_unlock(&me->mutex);	// 没有写者且管道中没有数据,就直接返回读取到的字节数为0return 0;}int i;for (i = 0; i < count; ++i) {	// 读取if (me->datasize <= 0)break;*(buf+i) = me->data[me->head];me->head = (me->head + 1)%PIPESIZE;	// 读出来了,相当于队列首出队了一个元素me->datasize--;}pthread_cond_broadcast(&me->cond);	// 告诉写者能写了pthread_mutex_unlock(&me->mutex);return i;
}int mypipe_write(mypipe_t *ptr, const int *buf, size_t count) {struct mypipe_st * me = ptr;pthread_mutex_lock(&me->mutex);while (me->datasize >= PIPESIZE && me->count_rd > 0)	// 当管道满,但是还有读者,就继续等待 pthread_cond_wait(&me->cond, &me->mutex);	// 等待读者读出数据,使管道不满// 等待读者数量变为0if (me->datasize >= PIPESIZE && me->count_rd <= 0)	// 没有读者后,且管道已经满了,就没必要继续写了,直接返回{pthread_mutex_unlock(&me->mutex);return 0;}int i;for (i = 0; i < count; ++i) {	// 写入if (me->datasize == PIPESIZE)break;me->data[me->tail] = *(buf+i);me->tail = (me->tail + 1)%PIPESIZE;me->datasize++;}pthread_cond_broadcast(&me->cond);	// 告诉读者能读了pthread_mutex_unlock(&me->mutex);return i;
}int mypipe_destroy(mypipe_t * ptr) {struct mypipe_st * me = ptr;pthread_mutex_destroy(&me->mutex);pthread_cond_destroy(&me->cond);free(ptr);return 0;
}

main.c,演示用户如何使用接口。main 首先创建 10 个线程(这 10 个线程负责从池中获取数据并判断是否为质数),然后 main 线程自身源源不断往池中写入数据。我们需要用我们上述写的管道来表征这个池,注意如何使用我们的接口:

  1. 创建管道
  2. 往管道写入数据前需要注册写者身份,写入完毕后需要取消注册的身份
  3. 从管道读取数据前需要注册读者身份,读取完毕后需要取消注册的身份
  4. 管道用完后需要销毁管道
#include <stdio.h>
#include <stdlib.h>
#include <pthread.h>
#include <unistd.h>
#include "mypipe.h"#define NUM_THREADS 10
#define START_NUM 30000000
#define END_NUM 30000200// 质数判断函数
int is_prime(int number) {if (number <= 1) return 0;for (int i = 2; i * i <= number; i++) {if (number % i == 0) return 0;}return 1;
}// 线程函数
void *reader_function(void *arg) {mypipe_t *pipe = (mypipe_t *)arg;int number;mypipe_register(pipe, MYPIPE_READ);while (mypipe_read(pipe, &number, 1) > 0) {if (is_prime(number)) {printf("Prime number: %d\n", number);}}mypipe_unregister(pipe, MYPIPE_READ);return NULL;
}int main() {pthread_t threads[NUM_THREADS];mypipe_t *pipe = mypipe_init();// 创建读线程for (int i = 0; i < NUM_THREADS; i++) {pthread_create(&threads[i], NULL, reader_function, pipe);}// 主线程写入数据mypipe_register(pipe, MYPIPE_WRITE);for (int i = START_NUM; i <= END_NUM; i++) {mypipe_write(pipe, &i, 1);}mypipe_unregister(pipe, MYPIPE_WRITE);// 等待所有读线程完成for (int i = 0; i < NUM_THREADS; i++) {pthread_join(threads[i], NULL);}// 销毁管道mypipe_destroy(pipe);return 0;
}

结果示例如下

我们判断的是从 30000000 到 30000200 之间的质数,结果和线程章节的 3.2 中所实现代码的运行结果一致,说明代码没毛病 

我们从我们自己创建的管道,可以看出管道的如下几个特点

  • 管道通信是单工的。一方作为读者,另一方作为写者。写永远写在尾部,读永远是从首部读
  • 管道必须凑齐读写双方才能正常运行。注意 mypipe_read 和 mypipe_write 中的 while 循环条件:只要缺失读者或者写者,另一方就可能直接返回而不会等待新的数据(哪怕后面可能有新的读者或者写者加入并读写管道)
  • 管道内部自带同步与互斥机制

三、思考 

上述代码的一个缺陷是:没有办法约束用户的行为!

比如我是一个用户,我注册了写者身份后却调用的 write......

那可不妥!!一种好的思路是引入权限的概念,并对上述接口再封装一层......

上述蓝色字体表示封装出来的新的接口,以供用户调用绿色字体介绍了这样封装的思想和逻辑。其实这就是 UNIX “一切皆文件”思想的部分实现方式!即:就算最底层可能是完全不一样的东东(操作管道、操作设备、操作普通文件......),也会再封装一层,并提供通用的接口(如 open、read、write、close 和文件描述符 fd......)。这样一来,在用户的视角里,操作文件的接口也可以操作很多不一样的东东,因此“一切皆文件”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/191286.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

肖sir__linux讲解vim命令(3.1)

vim 命令 一、 vi/vim 编辑器共分为三种模式&#xff1a; 格式 &#xff1a;vim 文件名 命令模式&#xff08;Command mode&#xff09;&#xff0c;“ESC”或ctrlc键 输入模式&#xff08;Insert mode&#xff09; 底线命令模式&#xff08;Last line mode&#xff09; …

GamingTcUI.dll丢失修复,最全面的GamingTcUI.dll修复指南

热衷于电脑游戏的用户可能会在启动游戏时遇到这样的错误信息&#xff1a;"无法启动应用&#xff0c;因为找不到GamingTcUI.dll"。那么这个GamingTcUI.dll文件是什么&#xff1f;如何解决这个问题呢&#xff1f;我们将在本文中进行详细讲解。 一.GamingTcUI.dll是什么…

十个一手app拉新地推拉新推广接单平台,放单/接任务渠道

做过地推拉新的朋友一定都非常清楚&#xff0c;app拉新推广一手接单平台&#xff0c;和非一手接任务平台之间的收益差&#xff0c;可以用天壤之别来形容。那么一手app拉新渠道应该怎么找&#xff1f;下面这十个常见的地推拉新app接单平台&#xff0c;一定要收藏。 1. 聚量推客…

Gem5模拟器学习之旅

安装gem5 模拟器 翻译自官网&#xff08;https://www.gem5.org/documentation/learning_gem5/part1/building/&#xff09; 支持的操作系统和环境 gem5的设计考虑到了Linux环境。我们定期在 Ubuntu 18.04、Ubuntu 20.04 和 Ubuntu 22.04 上进行测试&#xff0c;以确保 gem5 在…

一文带你了解QT Model/View框架的设计思想和实现机制

目录 1、QT Model/View框架简介 1.1、QT Model/View是什么&#xff1f; 1.2、QT Model/View框架核心思想 1.3、Model/View框架工作机制 1.4、Model/View框架的类 2、Model 2.1模型简介 2.2、模型索引 2.3、数据角色 2.4、QStringListModel 2.5、QFileSystemModel 2…

Nginx反向代理和负载均衡

1.反向代理 反向代理&#xff08;Reverse Proxy&#xff09;方式是指以代理服务器来接受internet上的连接请求&#xff0c;然后将请求转发给内部网络上的服务器&#xff0c;并将从服务器上得到的结果返回给internet上请求连接的客户端&#xff0c;此时代理服务器对外就表现为一…

IPv4数据报格式

IPv4是IP协议的第四个版本(版本1-3和版本5都未曾使用过)IP地址不能反映任何有关主机位置的地理信息以前还有个逆地址解析协议RAPR(Reverse APR)&#xff0c;它的作用是使只知道自己MAC地址的主机能通过RAPR找到其IP地址&#xff0c;而现在的DHCP(Dynamic Host Configuration Pr…

Linux网络——HTTP

一.应用层 我们程序员写的一个个解决我们实际问题, 满足我们日常需求的网络程序, 都是在应用层. 我们上一次写的网络版本计算器就是一个应用层的网络程序。 我们约定了数据的读取&#xff0c;一端发送时构造的数据, 在另一端能够正确的进行解析, 就是ok的. 这种约定, 就是应…

macbook ntfs能读不能复制 c盘ntfs拒绝访问怎么解决

如果你是一位Mac用户&#xff0c;你可能会遇到这样的问题&#xff1a;你的Mac能够读取NTFS格式的移动硬盘或U盘&#xff0c;但是不能往里面复制或者修改文件。或者&#xff0c;你的Windows电脑出现了C盘NTFS拒绝访问的错误&#xff0c;导致你无法正常使用系统。这些问题都是由于…

vue使用navigator.mediaDevices.getUserMedia调用相机功能

目录 前言&#xff1a; API&#xff1a; API简单示例&#xff1a; 拍照功能 实现效果&#xff1a; 前言&#xff1a; 本文将介绍Vue中如何使用navigator.mediaDevices.getUserMedia调用相机功能&#xff0c;实现拍照使用实例&#xff0c;需要的朋友可以参考一下。 注意…

C++ STL之string初始

我最近开了几个专栏&#xff0c;诚信互三&#xff01; > |||《算法专栏》&#xff1a;&#xff1a;刷题教程来自网站《代码随想录》。||| > |||《C专栏》&#xff1a;&#xff1a;记录我学习C的经历&#xff0c;看完你一定会有收获。||| > |||《Linux专栏》&#xff1…

Java学习之路 —— Java高级

文章目录 前言1. 单元测试2. 反射2.1 获取Class对象的三种方式2.2 获取类的构造器的方法2.3 获取类的成员变量2.4 获取类的成员方法2.5 反射的作用 3. 注解3.1 自定义注解3.2 注解的原理3.3 元注解3.4 注解的解析 4. 动态代理5. 总结 前言 终于走到新手村的末端了&#xff0c;…