常用语言的线程模型(Java、go、C++、python3) | 京东云技术团队

背景知识

  1. 软件是如何驱动硬件的?
    硬件是需要相关的驱动程序才能执行,而驱动程序是安装在操作系统内核中。如果写了一个程序A,A程序想操作硬件工作,首先需要进行系统调用,由内核去找对应的驱动程序驱使硬件工作。而驱动程序怎么让硬件工作的呢?驱动程序作为硬件和操作系统之间的媒介,可以把操作系统中相关的指令翻译成硬件能够识别的电信号,同时,驱动程序也可以将硬件的电信号转为操作系统能够识别的指令。
  2. 进程、轻量级进程、线程关系
    一个进程由于所运行的空间不同,被分为内核线程和用户进程,之所有称之为内核线程,是因为其不拥有虚拟地址空间。如果创建一个新的用户进程,会分配一个新的虚拟地址空间,不同用户进程之间资源是隔离的。由于创建一个新的进程需要消耗很多的资源,并且在进程之间切换的代价也很昂贵,因此引入了轻量级进程。轻量级进行本质上也是对内核线程的高层抽象,虽然不同的轻量级进程之间可以共享某些资源,但由于轻量级进程本质上还是内核线程,如果进行轻量级线程之间的切换,需要进行系统调用,代价也是比较昂贵的。内核本质上只能感知到进程的存在,像不同语言的多线程技术,是在用户进程的基础上创建的线程库,线程本身不参与处理器竞争,而是由其所属的用户进程参与处理器的竞争。
  3. 如何理解用户态和内核态
    首先我们需要理解到计算机资源是有限的,不管是CPU资源、内存资源、IO资源、网络资源,为了保证这些资源的合理利用,需要有一个管控机制,而这个管控机制都是交于操作系统来处理的。用户态和内核态是操作系统的一种逻辑划分,本质上是进行权限控制,处于用户态的进程可以直接使用分配给其的内存空间,但如果想使用CPU等稀缺资源,处于用户态的进程就没有这个权限了,必须通过系统调用,让当前进程进入内核态,这样可以有更大的权限去申请CPU资源、内存资源、IO资源等;

操作系统线程模型

java语言

线程模型

在Java诞生之初,在Java中就引入了线程,最初称之为“绿色线程”,完全由JVM进行管理,这和操作系统用户线程是多对一的实现,但随着操作系统对线程支持越来越强大,java中的线程实现采用了一对一的实现,即一个java线程对应于一个操作系统用户线程,但是这个线程的堆栈大小是固定的,随着线程数量创建过多,可能导致内存溢出。在java19版本中引入了虚拟线程的概念,虚拟线程有一个动态的堆栈,可以增大和缩小,这和操作系统用户线程之间是一个多对多的关系,随着后面的发展,java中的线程模型会变得越来越强大。

优缺点

作为一对一的线程模型维护起来比较简单,但是由于每一个线程栈信息是固定的,不利于创建大量的线程,并且多线程操作时可能涉及频繁的系统调用,上下文切换代价高。

使用方式(以生产者消费者模型来说明)

 public class ThreadTest {public static final Object P = new Object();static List<Integer> list = new ArrayList<>();@Testpublic void test() throws Exception {Thread thread1 = new Thread(()-> {while(true) {try {product();}catch (Exception e) {e.printStackTrace();}}});Thread thread2 = new Thread(() -> {while(true) {try {consume();}catch (Exception e) {e.printStackTrace();}}});thread1.start();thread2.start();thread1.join();thread2.join();}private static void product() throws Exception {synchronized (P) {if(list.size() == 1) {// 让出锁P.wait();}list.add(1);System.out.println("produce");P.notify();}}private static void consume() throws Exception {synchronized (P) {if(list.size() == 0) {P.wait();}list.remove(list.size() - 1);System.out.println("consume");P.notify();}}
}

go语言

go语言线程模型

在go语言中,线程模型就是比较强大了,包含了三个概念:内核线程(M)、goroutine(G)、G的上下文环境(P)。其中G表示基于协程创建的用户线程,M直接关联一个内核线程,P里面一般存放正在运行的goroutine的上下文环境(函数指针、堆栈地址和地址边界等)。

优缺点

go语言中的线程模型算是很强大了,引用了协程,线程栈大小可以动态调整,很好地避免了java中目前的线程模型缺点。

使用方式(以生产者消费者模型来说明)

package mainimport ("fmt"
)type ThreadTest struct {lock chan int
}func (t *ThreadTest) produce() {for {t.lock <- 10fmt.Println("produce:", 10)}
}func (t *ThreadTest) consume() {for {v := <-t.lockfmt.Println("consume:", v)}
}func main() {maxLen := 10t := &ThreadTest{make(chan int, maxLen),}// 重点在这里,开启新的协程,配合通道,让go的多线程变成非常优雅go t.consume()go t.produce()select {}}

c++语言

c++语言线程模型

在c++11中增加了操作thread库,提供对线程操作的进一步封装,而这个库底层是使用了pthread库,这个库底层采用了1:1线程模型,跟java中的线程模型类似。

优缺点

作为一对一的线程模型维护起来比较简单,但是由于每一个线程栈信息是固定的,不利于创建大量的线程,并且多线程操作时可能涉及频繁的系统调用,上下文切换代价高。

使用方式(以生产者消费者模型来说明)

#include 
#include 
#include 
#include  static const int SIZE = 10;
static const int ITEM_SIZE = 30;std::mutex mtx;std::condition_variable not_full;
std::condition_variable not_empty;int items[SIZE];static std::size_t r_idx = 0;
static std::size_t w_idx = 0;void produce(int i) {std::unique_lock lck(mtx);while((w_idx+ 1) % SIZE == r_idx) {std::cout << "队列满了" << std::endl;not_full.wait(lck);}items[w_idx] = i;w_idx = (w_idx+ 1) % SIZE;not_empty.notify_all();lck.unlock();
}int consume() {int data;std::unique_lock lck(mtx);while(w_idx == r_idx) {std::cout << "队列为空" << std::endl;not_empty.wait(lck);}data = items[r_idx];r_idx = (r_idx + 1) % SIZE;not_full.notify_all();lck.unlock();return data;
}void p_t() {for(int i = 0; i < ITEM_SIZE; i++) {produce(i);}
}void c_t() {static int cnt = 0;while(1) {int item = consume();std::cout << "消费第" << item << "个商品" << std::endl;if(++cnt == ITEM_SIZE) {break;}}
}int main() {std::thread producer(p_t);std::thread consumer(c_t);producer.join();consumer.join();
}

python语言

python线程模型

python中的线程使用了操作系统的原生线程,python虚拟机使用了一个全局互斥锁(GIL)来互斥线程对Python虚拟机的使用,当一个线程获取GIL的权限之后,其他的线程必须等待这个线程释放GIL锁,索引再多核CPU上,python多线程也会退化为单线程,无法利用多核的优势。

优缺点

python语言多线程由于GIL的存在,在计算密集型场景上,很难体现到优势,并且由于涉及线程切换的代码,反而可能性能还不如单线程好。

使用方式(以生产者消费者模型来说明)

#! /usr/bin/python3import threading
import random
import timetotal = 100
lock = threading.Lock()
totalTime = 10
gTime = 0class Consumer(threading.Thread):def run(self):global totalglobal gTimewhile True:cur = random.randint(10, 100)lock.acquire()if total >= cur:total -= curprint("{}使用了{}, 当前剩余{}".format(threading.current_thread(), cur, total))else:print("{}准备使用{},当前剩余{},不足,不能消费".format(threading.current_thread(), cur, total))if gTime == totalTime:lock.release()breaklock.release()time.sleep(0.7)class Producer(threading.Thread):def run(self):global totalglobal gTimewhile True:cur = random.randint(10, 100)lock.acquire()if gTime == totalTime:lock.release()breaktotal += curprint("{}生产了{}, 剩余{}".format(threading.current_thread(), cur, total))gTime+= 1lock.release()time.sleep(0.5)
if __name__ == '__main__':t1 = Producer(name="生产者")t1.start()t2 = Consumer(name="消费者")t2.start()

总结

在目前的线程模型中,有1:1、M:1、M:N多种线程模型,具体采用哪种线程模型也和硬件和操作系统的支持程度有关,像诞生比较早的语言,普通采用M:1、1:1线程模型,像c++、java。而新诞生不久的go语言,采用的是M:N线程模型,在多线程的支持上更加强大。

感觉了解一下线程模型还是很有必要的,如果不清楚语言层面上的线程在操作系统层面怎么映射使用,在使用过程中就会不清不楚,可能会踩一些坑,我们都知道在java中不同无限的创建线程,这会导致内存溢出,go语言中对多线程支持更加强大,很多事情不需要我们再去关注了,在语言底层已经帮助我们做了。

每种语言的底层细节太多了,如果想深入研究某一个技术,还是得花精力去研究。

作者:京东零售 姜昌伟

来源:京东云开发者社区

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/27334.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring源码学习-MVC的WEB源码解析

目录 SpringMVC官方文档SpringMVC的父子容器父子关系的定义自定义快速启动器启动过程容器创建的过程容器刷新启动 父子容器示例图 网络请求链路分析DispatcherServlet请求链路 DispatcherServlet详解(MVC核心功能类)DispatcherServlet九大组件九大组件的初始化默认策略初始化时…

Linux网络基础 — 网络层

目录 IP协议 IP协议报头格式 网段划分 特殊的IP地址 IP地址的数量限制 私有IP地址和公网IP地址 路由 补充 网络层 在复杂的环境中确定一个合适的路径。 IP协议 ip具有将数据从 主机A 跨网络送到 主机B 的能力。 主机: 配有IP地址&#xff0c;但是不进行路由控制的设备…

二、DDL-3.数据类型

分为3种&#xff1a;数值类型、字符串类型、日期时间类型。 一、数值类型 【案例】 年龄&#xff1a; age TINYINT UNSIGNED——范围&#xff08;0&#xff0c;255&#xff09;够用 分数&#xff1a;score double(4,1)——分数0-100有小数&#xff0c;4—最高位数&#xff0…

LabVIEW实现基于DCT的野生动物监测无线图像传输

LabVIEW实现基于DCT的野生动物监测无线图像传输 针对野生动物物种数量不断下降的情况&#xff0c;需改进以增强当前野生动物监测系统的能力。目前的系统要求工人进入森林以收集存储在存储卡中的图像数据。这项任务风险很大&#xff0c;而且耗费大量时间。系统也无法提供实时报…

[C语言]if语句详解

C语言初阶系列 分支语句和循环语句&#xff08;1&#xff09; 目录 C语言初阶系列 前言 一&#xff0c;什么是语句&#xff1f; 1.1如何理解语句&#xff1f; 二&#xff0c;分支语句&#xff08;选择结构&#xff09; 2.1,if语句 2.2,if语句的错误的条件写法 2.2,if语…

python opencv 级联Haar多目标检测

一、基于OpenCV的haar分类器实现笑脸检测 1、Haar分类器介绍 &#x1f680;Haar分类器是一种基于机器学习的目标检测算法&#xff0c;它使用Haar特征描述图像中的目标。Haar特征是基于图像亮度的局部差异计算得出的&#xff0c;可以用来描述目标的边缘、角落和线条等特征。 使用…

Linux下Nginx升级

nginx版本升级不会覆盖配置文件&#xff0c;但以防万一升级前请先备份配置文件或者配置文件夹 默认配置文件地址&#xff1a;/usr/local/nginx/conf/nginx.conf 1.下载 wget -c http://nginx.org/download/nginx-1.24.0.tar.gz 2.解压 tar -xvf nginx-1.24.0.tar.gz 3.nginx…

【论文笔记】图像修复MPRNet:Multi-Stage Progressive Image Restoration 含代码解析

目录 一、介绍 二、使用方法 1.推理 2.训练 三、MPRNet结构 1.整体结构 2.CAB(Channel Attention Block) 3.Stage1 Encoder 4.Stage2 Encoder 5.Decoder 6.SAM(Supervised Attention Module) 7.ORSNet(Original Resolution Subnetwork) 四、损失函数 1.Charbonni…

2. DATASETS DATALOADERS

2. DATASETS & DATALOADERS PyTorch提供了两个数据基元&#xff1a;torch.utils.data.DataLoader和torch.uutils.data.data集&#xff0c;允许使用预加载的数据集以及自己的数据。数据集存储样本及其相应的标签&#xff0c;DataLoader在数据集周围包装了一个可迭代项&…

XFTP完全卸载干净教程

一、卸载应用程序 在控制面版中找到XFTP应用程序进行卸载操作。 二、删除注册表 &#xff08;1&#xff09;按住winR键打开“运行”并输入regedit打开注册表。 &#xff08;2&#xff09;按住ctrlF打开搜索&#xff0c;搜索xftp。 把这个目录下的能搜索到的xftp文件都删掉就行了…

计算机网络——计算机网络体系结构

文章目录 **1 计算机网络概述****1.1 概念****1.2 组成****1.3 功能****1.4 分类****1.5 性能指标** **2 计算机网络体系结构与参考模型****2.1 计算机网络分层结构****2.2 计算机网络协议&#xff0c;接口&#xff0c;服务的概念****2.3 ISO/OSI参考模型和TCP/IP模型** 1 计算…

短视频矩阵系统源码搭建--附赠代码

说明&#xff1a;本开发文档适用于短视频矩阵系统源码开发搭建&#xff0c;短视频seo矩阵源码开发搭建&#xff0c;抖音短视频seo源码开发搭建&#xff0c;抖音矩阵系统源码开发搭建等SaaS类产品开发场景。 短视频矩阵系统开发围绕的开发核心维度&#xff1a; 1. 多账号原理开…