【Linux】生产者消费者模型{基于BlockingQueue的PC模型/RAII风格的加锁方式/串行,并行,并发}

文章目录

  • 1.认识PC模型
  • 2.基于BlockingQueue的PC模型
    • 2.1串行,并行,并发
    • 2.2理解linux下的并发
    • 2.2RAII风格的加锁方式
    • 2.3阻塞队列
    • 2.4深入理解pthread_cond_wait
    • 2.5整体代码
      • 1.Task.hpp
      • 2.lockGuard.hpp
      • 3.BlockQueue.hpp
      • 4.pcModel.cc
  • 3.总结PC模型

1.认识PC模型

知乎好文

「生产者 - 消费者」模型

图解PC模型

在这里插入图片描述

通常所说的条件满足时去唤醒线程,如何知道条件满足

生产者产生数据,所以能确定“有”数据
消费者消费数据,所以能确定“没有”数据

3种关系:生产者和生产者【互斥】,消费者和消费者【互斥】,生产者和消费者【互斥/同步】

生产者和生产者:竞争和互斥关系,多个生产者不能同时进行生产操作。
消费者和消费者:竞争和互斥关系,多个消费者不能同时进行消费操作。
生产者和消费者:互斥和同步调关系,生产者和消费者不能同时进行生产和消费操作;生产者和消费者要能够互相通知,来确定资源是否就绪。

2种角色:生产者/消费者

生产者线程和消费者线程

1个交易场所:超市

数据结构实现的缓冲区

目的/意义

  1. 完成对生产者和消费者的解耦,提高整个过程的效率。
  2. 生产者和消费者模型实现了线程的角色化,使不同角色的线程执行特定的工作。
  3. 生产者能够确定容器中有数据,而消费者能够确定容器中没有数据。以此来为条件变量发送信号唤醒线程提供依据。
  4. 生产者消费者模型中的容器实际上就是以一定形式组织的(数据结构)一段内存空间(缓冲区)
    生产者消费者模型的优点
  5. 解耦:通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯,而是通过阻塞队列来进行通讯,所以生产者生产完数据之后不用等待消费者处理,直接扔给阻塞队列;消费者不找生产者要数据,而是直接从阻塞队列里取。阻塞队列就相当于一个缓冲区,平衡了生产者和消费者的处理能力。这个阻塞队列就是用来给生产者和消费者解耦的。
  6. 提高效率:缓冲区的存在,实现了生产者和消费者的并发执行。多生产多消费模型,实现了生产者和生产者,消费者和消费者的并发执行。

2.基于BlockingQueue的PC模型

2.1串行,并行,并发

串行、并行和并发是计算机科学中常用来描述任务执行方式的重要概念。它们各自有着独特的特性和应用场景。以下是这三个概念的简要解释:

串行(Serial):
定义:在串行执行中,任务按照严格的顺序一个接一个地执行,前一个任务完成之前,下一个任务不会开始。
特性:没有两个任务会同时执行;资源利用率较低,因为处理器或其他资源在大部分时间可能处于空闲状态。
应用:在单核心处理器上,或者当任务之间存在严格的依赖关系时,通常会使用串行执行。
并行(Parallel):
定义:并行执行指的是多个任务同时执行,没有相互等待的情况。每个任务都在其自己的执行单元(如处理器核心)上独立运行。
特性:可以显著提高整体执行速度,因为多个任务可以同时进行;需要更多的硬件资源(如多核心处理器)来支持。
应用:适用于可以独立执行且没有相互依赖关系的任务。在科学计算、图形处理、大数据分析等领域广泛应用。
并发(Concurrency):
定义:并发执行指的是多个任务看起来是同时进行的,但实际上可能由于任务切换、资源争用等原因,并不是真正的同时执行。
特性:通过任务切换来模拟并行执行,使得多个任务能够在单个处理器核心上交替执行;并发控制机制(如锁、信号量等)用于管理对共享资源的访问,以避免数据不一致。
应用:在操作系统、多线程编程、网络编程等领域广泛应用。它允许程序在等待I/O操作(如网络请求或磁盘读写)时继续执行其他任务,从而提高整体性能。
区别与联系:

并行是真正的同时执行多个任务,而并发则更侧重于多个任务在逻辑上的同时执行,实际上可能由于任务切换等原因并不是真正的同时执行。
串行是最基本的执行方式,而并行和并发则是为了提高性能而采用的技术。
在多核心处理器上,可以实现真正的并行执行,而在单核心处理器上,则通常通过并发技术来模拟并行执行。
需要注意的是,虽然并行和并发都能提高性能,但它们也带来了复杂性,如同步问题、资源争用等,需要开发者仔细考虑和处理。

2.2理解linux下的并发

Linux下的并发主要涉及到多任务、多线程和进程间通信等多个方面。要理解Linux下的并发,我们可以从以下几个关键点出发:

多任务处理:Linux是一个多任务操作系统,这意味着它可以同时处理多个任务或进程。这些任务可以是用户级别的程序,也可以是系统级别的服务。操作系统通过时间片轮转或优先级调度等方式,使得这些任务看起来是同时执行的。

进程与线程:

进程:在Linux中,进程是资源分配的基本单位。每个进程都有自己的地址空间、文件描述符、信号处理器等。进程之间的通信和同步通常通过管道、消息队列、共享内存等方式实现。
线程:线程是CPU调度的基本单位。与进程相比,线程共享进程的地址空间和资源,因此线程间的通信和同步相对简单,但也需要小心处理共享数据的访问冲突。Linux通过POSIX线程(pthread)库支持多线程编程。
并发控制:当多个任务或线程需要访问共享资源时,就需要进行并发控制。这主要通过互斥锁(mutex)、读写锁、条件变量、信号量等机制实现。这些机制可以确保同一时间只有一个任务或线程能够访问共享资源,从而避免数据竞争和不一致。

异步编程:异步编程是处理并发的一种常见方法。在Linux中,可以使用异步I/O(如epoll)、事件驱动编程等方式实现异步处理。这种方式允许程序在等待某些操作(如网络请求或文件读写)完成时,继续执行其他任务,从而提高整体性能。

进程间通信(IPC):在Linux中,进程间通信是并发编程中不可或缺的一部分。常见的IPC机制包括管道、命名管道(FIFO)、消息队列、共享内存、信号和套接字等。这些机制允许不同进程之间交换数据和协调行动。

调度器与内核:Linux内核负责管理和调度进程和线程的执行。调度器根据进程的优先级、状态和资源需求等因素,决定哪个进程或线程应该获得CPU的使用权。内核还提供了各种系统调用和接口,支持并发编程的各种需求。

综上所述,Linux下的并发是一个复杂而丰富的领域,涉及到多任务处理、进程与线程、并发控制、异步编程、进程间通信以及内核调度等多个方面。理解这些概念和机制,对于编写高效、稳定的并发程序至关重要。

2.2RAII风格的加锁方式

RAII(Resource Acquisition Is Initialization)风格的加锁方式是一种在C++等编程语言中常见的资源管理技术,其核心思想是将资源的获取(如加锁)与对象的初始化绑定在一起,资源的释放(如解锁)则与对象的析构绑定在一起。通过这种方式,可以确保在对象的生命周期内,资源始终保持有效状态,并且无需显式地调用释放资源的函数。

在加锁的场景中,RAII风格的加锁方式通常是通过创建一个锁对象来实现的。当这个锁对象被创建时,它会自动地获取锁,而当对象离开其作用域或被销毁时,它会自动地释放锁。这样,程序员就无需在每个可能的退出路径上都显式地调用解锁函数,从而减少了出错的可能性,并提高了代码的可读性和可维护性。

例如,在C++中,可以使用智能指针或自定义的锁类来实现RAII风格的加锁。当智能指针或锁类的对象被创建时,它们会自动地获取锁;当这些对象离开其作用域或被销毁时(例如,在函数返回或异常发生时),它们的析构函数会自动地释放锁。

这种加锁方式不仅简化了代码,还提高了程序的健壮性。它可以帮助程序员避免忘记解锁或多次解锁等常见的并发问题,从而减少了死锁和竞态条件的风险。同时,由于锁的获取和释放是自动进行的,因此也可以提高程序的性能。

需要注意的是,虽然RAII风格的加锁方式可以简化并发编程,但并不能完全解决所有的并发问题。在编写并发程序时,还需要考虑其他因素,如线程间的通信、同步机制的选择等。因此,在使用RAII风格的加锁方式时,应结合具体的应用场景和需求来选择合适的解决方案。

2.3阻塞队列

在多线程编程中,阻塞队列(Blocking Queue)是一种常用于实现生产者和消费者模型的数据结构。与普通的队列区别在于,当队列为空时,从队列获取元素的操作将会被阻塞,直到队列中被放入了元素;当队列满时,往队列里存放元素的操作也会被阻塞,直到有元素被从队列中取出(以上的操作都是基于不同的线程来说的,线程在对阻塞队列进行操作时会被阻塞)。在进程间管道通信中,管道就是一个简单的阻塞队列,当管道中没有数据时,读端需要阻塞等待;当管道中的数据存满时,写端需要阻塞等待。

2.4深入理解pthread_cond_wait

  1. 一个要访问临界资源的线程,在访问前先检测当前的临界资源是否满足访问条件。如果不满足,则去等待,在临界区中调用pthread_cond_wait时是持有锁的状态,当成功调用wait之后,会自动释放所持有的锁,这也是设计这个接口的设计者考虑周到的一方面:持有锁的线程检测到资源未就绪而去等待,他去等待了需要保证其他线程可以去访问临界资源,而访问临界资源就需要锁,所以调用wait的线程等待前会先释放所持有的锁,不影响其他线程获取锁
  2. 等待的线程被唤醒时是从被阻塞的地方唤醒,即被唤醒时仍处于临界区,wait函数的另一功能就是被唤醒的时候,会自动帮助线程获取锁,但是只要是一个函数,就可能调用失败,如果调用失败,该线程在应该等待的情况下没有执行等待,即发生了不合理的情况:队列已满还去执行push。也可能存在 伪唤醒 的情况,即对方线程在不应该唤醒的情况下唤醒了当前线程。为了防止上述两种情况,我们把if ⇒ while,即如果函数调用失败此时while条件仍满足,那么他就再次调用。如果被伪唤醒,那么它在被唤醒后,再调用while如果条件满足,再次去等待,直到被真正唤醒。

伪唤醒

条件变量的伪唤醒是指在没有满足特定条件的情况下,条件变量的等待操作被唤醒。这种情况可能是由于操作系统的调度策略或其他因素导致的,而不是由于满足了条件。
伪唤醒可能会导致程序的错误行为或不正确的结果。当一个线程被伪唤醒时,它会重新获得互斥锁并从等待操作的地方继续执行,但实际上条件并没有满足。这可能会导致线程在不正确的状态下执行,或者导致竞争条件的发生。
为了防止条件变量的伪唤醒,通常需要将条件的检查与等待操作放在一个while循环中。在等待操作被唤醒后,线程会再次检查条件是否满足,如果条件不满足,则继续等待。这样可以确保线程只在满足条件时才继续执行,避免了伪唤醒带来的问题。

signa放在解锁前和解锁后的问题:

放在解锁前,向目标进程发送唤醒信号,【此时未执行解锁】,目标线程被唤醒后,等待锁,即这个情况没有影响,目标线程从等待条件变量变成了等待锁。如果在向目标进程发送唤醒信号前,有其他线程处于被唤醒且等锁状态,那么目标线程被唤醒后,也没有影响:和其他线程竞争锁即可。
放在解锁后,在锁已经被释放的前提下,目标线程被唤醒,获取对应的锁即可。

2.5整体代码

1.Task.hpp

#pragma once#include <iostream>
#include <functional>typedef std::function<int(int, int)> func_t;class Task
{
public:Task() {}Task(int x, int y, func_t func): _x(x),_y(y),_func(func){}int operator()(){return _func(_x, _y);}public:int _x;int _y;func_t _func;
};

2.lockGuard.hpp

#pragma once#include <iostream>
#include <pthread.h>class Mutex
{
public:Mutex(pthread_mutex_t *mtx): pmtx_(mtx){}void lock(){//std::cout << "加锁中..." << std::endl;pthread_mutex_lock(pmtx_);}void unlock(){//std::cout << "解锁中..." << std::endl;pthread_mutex_unlock(pmtx_);}~Mutex(){}private:pthread_mutex_t *pmtx_;
};// RAII风格的加锁方式
class lockGuard
{
public:lockGuard(pthread_mutex_t *mtx): _mtx(mtx){_mtx.lock();}~lockGuard(){_mtx.unlock();}private:Mutex _mtx;
};

3.BlockQueue.hpp

#pragma once#include <iostream>
#include <queue>
#include <mutex>
#include <pthread.h>
#include "lockGuard.hpp"// #define INI_MTX(mtx) pthread_mutex_init(&mtx, nullptr)
// #define INI_COND(cond) pthread_cond_init(&_Empty, nullptr);
// #define INI_COND(cond) pthread_cond_init(&_Full, nullptr);const int g_DefaultCap = 5;template <class T>
class BlockQueue
{
private:bool isQueueEmpty(){return _bq.size() == 0;}bool isQueueFull(){return _bq.size() == _capacity;}public:BlockQueue(int capacity = g_DefaultCap): _capacity(capacity){pthread_mutex_init(&_mtx, nullptr);pthread_cond_init(&_Empty, nullptr);pthread_cond_init(&_Full, nullptr);}void push(const T &in){lockGuard lockguard(&_mtx); // 自动调用构造函数申请锁while (isQueueFull()) // 用while而非if==>访问临界资源100%确定资源就绪pthread_cond_wait(&_Full, &_mtx);_bq.push(in);pthread_cond_signal(&_Empty);} // 自动调用lockguard析构函数解锁void pop(T *out){lockGuard lockguard(&_mtx);while (isQueueEmpty())pthread_cond_wait(&_Empty, &_mtx);*out = _bq.front();_bq.pop();pthread_cond_signal(&_Full);}~BlockQueue(){pthread_mutex_destroy(&_mtx);pthread_cond_destroy(&_Empty);pthread_cond_destroy(&_Full);}private:std::queue<T> _bq;     // 阻塞队列int _capacity;         // 队列容量pthread_mutex_t _mtx;  // 互斥锁pthread_cond_t _Empty; // 用它来表示bq 是否空的条件pthread_cond_t _Full;  // 用它来表示bq 是否满的条件
};

4.pcModel.cc

#include <pthread.h>
#include <unistd.h>
#include <ctime>#include "Task.hpp"
#include "BlockQueue.hpp"int myAdd(int x, int y)
{return x + y;
}// 生产者启动例程
void *producer(void *args)
{BlockQueue<Task> *bq = (BlockQueue<Task> *)args;while (true){//生产数据(自己生产/网络获取/用户输入)int x = rand() % 10 + 1;usleep(rand() % 1000);int y = rand() % 5 + 1;Task t(x, y, myAdd);//发送数据bq->push(t);//for debug:输出消息std::cout << pthread_self() << " productor: " << t._x << "+" << t._y << "= ?" << std::endl;sleep(1);}return nullptr;
}// 消费者启动例程
void *consumer(void *args)
{BlockQueue<Task> *bq = (BlockQueue<Task> *)args;while (true){//接收数据Task t;bq->pop(&t);//处理数据std::cout << pthread_self() << " consumer : " << t._x << "+" << t._y << "=" << t() << std::endl;}return nullptr;
}int main()
{srand((uint64_t)time(nullptr) ^ getpid() ^ 0x13254);BlockQueue<Task> *bq = new BlockQueue<Task>();pthread_t consmr[2], prodcr[2];pthread_create(consmr, nullptr, consumer, bq);pthread_create(consmr + 1, nullptr, consumer, bq);pthread_create(prodcr, nullptr, producer, bq);pthread_create(prodcr + 1, nullptr, producer, bq);pthread_join(consmr[0], nullptr);pthread_join(consmr[1], nullptr);pthread_join(prodcr[0], nullptr);pthread_join(prodcr[1], nullptr);delete bq;return 0;
}

在这里插入图片描述

单线程生产/单线程消费PC模型生产/消费速度对结果影响

  1. 速度相当
    在这里插入图片描述
    在这里插入图片描述
  2. 生产速度快
    在这里插入图片描述
  3. 生产者通过用户输入的信息获取数据
    在这里插入图片描述

3.总结PC模型

  1. 生产者获取数据(发送数据数据前即他生产数据/创造数据)需要花时间,例如访问网络获取数据,读取磁盘数据;消费者处理数据(消费数据后)也需要花时间,例如进行数据计算,或者IO操作。
  2. 发送数据和接收数据必须串行执行(互斥),但是生产数据和处理数据可以并行执行。当消费者处理数据时,生产者可以向缓冲区发送数据,也可以生产数据;当生产者生产数据时,消费者可以从缓冲区接收数据,也可以处理数据。
  3. 缓冲区是通过实现生产者线程和消费者线程的并发执行来提高效率的
  4. 多个生产者线程在发送数据时必须串行执行(互斥),但在生产数据时(生产前)可以并发执行:当一个生产者正在生产数据时,其他生产者可以生产数据,也可以发送数据。
  5. 多个消费者线程在接收数据时必须串行执行(互斥),但在处理数据时(消费后)可以并发执行:当一个消费者正在处理数据时,其他消费者可以接收数据,也可以处理数据。
  6. 多生产多消费模型是通过实现生产者和生产者,消费者和消费者的并发执行来提高效率的。
  7. 多生产多消费模型适用于生产数据或处理数据比较花时间的场景,如IO操作,访问网络等。如果只是简单的处理过程就没有必要使用多生产多消费,因为线程切换反而成为效率的影响方。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/570996.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器学习笔记(2)—单变量线性回归

单变量线性回归 单变量线性回归(Linear Regression with One Variable)1.1 模型表示1.2 代价函数1.3 代价函数的直观理解1.4 梯度下降1.5 梯度下降的直观理解1.6 梯度下降的线性回归 单变量线性回归(Linear Regression with One Variable) ps:...今天很倒霉 一名小女孩悄悄地碎…

以Pycharm为例的生成requirements.txt

一、什么是requirements.txt 通常用于Python项目&#xff0c;其中列出了项目依赖的软件包及其版本号。通过在requirements.txt中列出这些依赖项&#xff0c;可以确保其他用户或开发人员能够轻松地安装项目所需的所有软件包及其特定版本&#xff0c;以便项目能够正常运行。一般…

【Java核心能力】RocketMQ 针对消息有序和消息积压的处理

欢迎关注公众号&#xff08;通过文章导读关注&#xff1a;【11来了】&#xff09;&#xff0c;及时收到 AI 前沿项目工具及新技术的推送&#xff01; 在我后台回复 「资料」 可领取编程高频电子书&#xff01; 在我后台回复「面试」可领取硬核面试笔记&#xff01; 文章导读地址…

linux 网卡配置 vlan/bond/bridge/macvlan/ipvlan 模式

linux 网卡模式 linux网卡支持非vlan模式、vlan模式、bond模式、bridge模式&#xff0c;macvlan模式、ipvlan模式等&#xff0c;下面介绍交换机端及服务器端配置示例。 前置要求&#xff1a; 准备一台物理交换机&#xff0c;以 H3C S5130 三层交换机为例准备一台物理服务器&…

5个免费的3D钣金CAD软件

如果你正在设计简单的折叠钣金零件&#xff0c;则只需设计一些具有圆角半径的法兰&#xff1a;一个简单的钣金模块。 首先&#xff0c;你可以采用老式方式绘图并以 2D 方式完成所有操作。 许多传统制造商仍在使用 2D DWG 和 DXF 图纸。 因此&#xff0c;你很有可能只需快速起草…

工具推荐-eNSP(Enterprise Network Simulation Platform)

一.简介 1.1 一款由华为提供的免费的、可扩展的、图形化操作的网络仿真工具平台。 1.2 主要对企业网络路由器、交换机进行软件仿真&#xff0c;完美呈现真实设备实景&#xff0c;支持大型网络模拟。 1.3 让广大用户有机会在没有真实设备的情况下能够模拟,进行模拟网络架构和建…

HTTP 请求走私实现以及攻击案例

HTTP 请求走私实现以及攻击案例。 HTTP请求走私(HTTP Request Smuggling)是一种Web安全漏洞,它涉及到HTTP协议的不安全实现,特别是在处理多个HTTP请求时。这种漏洞可以被利用在多种场景中,导致不同的安全问题。以下是一些主要的漏洞和应用场景: 1. 缓存投毒(Cache Pois…

鸿蒙操作系统-初识

HarmonyOS-初识 简述安装配置hello world1.创建项目2.目录解释3.构建页面4.真机运行 应用程序包共享包HARHSP 快速修复包 官方文档请参考&#xff1a;HarmonyOS 简述 1.定义&#xff1a;HarmonyOS是分布式操作系统&#xff0c;它旨在为不同类型的智能设备提供统一的操作系统&a…

Python 全栈体系【四阶】(二十)

第五章 深度学习 二、推荐系统 1. 推荐算法介绍 1.1 个性化推荐算法 人口属性 地理属性 资产属性 兴趣属性 1.2 推荐算法分支 协同过滤推荐算法基于内容的推荐算法混合推荐算法流行度推荐算法 1.3 推荐算法 为推荐系统选择正确的推荐算法是非常重要的决定。目前为止…

【Python】搭建 Python 环境

目 录 一.安装 Python二.安装 PyCharm 要想能够进行 Python 开发&#xff0c;就需要搭建好 Python 的环境 需要安装的环境主要是两个部分&#xff1a; 运行环境: Python开发环境: PyCharm 一.安装 Python (1) 找到官方网站 (2) 找到下载页面 选择 “Download for Windows”…

【linux深入剖析】基础IO操作 | 使用Linux库函数实现读写操作 | 文件相关系统调用接口

&#x1f341;你好&#xff0c;我是 RO-BERRY &#x1f4d7; 致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 &#x1f384;感谢你的陪伴与支持 &#xff0c;故事既有了开头&#xff0c;就要画上一个完美的句号&#xff0c;让我们一起加油 目录 前言1.复习C文件IO相关操…

机器学习K-means算法

K-Means 算法&#xff08;K-Means算法、K-Means 中心值计算、K-Means 距离计算公式、K-Means 算法迭代步骤、K-Means算法实例&#xff09; 问题引入 给你如下两种图片&#xff0c;快读回答2个问题&#xff0c;问 图1 中有几类五谷杂粮&#xff1f;问 图2 中有几类五谷杂粮&…