go-GMP和Scheduler

GPM模型

在这里插入图片描述

  • G 待执行的goroutine，结构定义在runtime.g

  • M 操作系统中的线程，它由操作系统的调度器 进行 调度和管理, 结构定义在runtime.m

  • P 处理器，是GM的中间件，它通过一个队列绑定了GM，每个P都有一个局部queue，用来存放待执行的本地goroutine

G

Goroutine 只存在于 Go 语言的运行时，它是 Go 语言在用户态提供的线程，作为一种粒度更细的资源调度单元。

Goroutine 在 Go 语言运行时使用私有结构体 runtime.g 表示。这个私有结构体非常复杂，总共包含 40 多个用于表示各种状态的成员变量。

runtime.g结构

runtime.g存放在内存堆上，对所有线程都共享

栈相关字段

type g struct {stack       stackstackguard0 uintptr
}
  • stack： 栈内存范围 [stack.lo, stack.hi)
  • stackguard0：用于调度器抢占式调度，该字段被设置成 StackPreempt 意味着当前 Goroutine 发出了抢占请求；

抢占式调度字段

type g struct {preempt       bool // 抢占信号preemptStop   bool // 抢占时将状态修改成 `_Gpreempted`preemptShrink bool // 在同步安全点收缩栈
}

defer和panic链表字段，链表头插入，链表头获取

type g struct {_panic       *_panic // 最内侧的 panic 结构体_defer       *_defer // 最内侧的延迟函数结构体
}

调度相关

type g struct {m              *msched          gobufatomicstatus   uint32goid           int64
}
  • m：执行当前g的线程m(runtime.m)
  • sched：调度器结构体，里面有全局runq等信息
  • atomicstatus：goroutine的状态
  • goid：协程ID

G状态

状态描述
_Gidle刚被分配，但未被初始化
_Grunnable未执行代码，没有栈的所有权，存储在运行队列中
_Grunning可以执行代码，拥有栈的所有权，被赋予了内核线程M和处理器P
_Gsyscall正在执行系统调用，拥有栈的所有权，没有执行用户代码，被赋予了内核线程M但是不在运行队列上
_Gwaiting由于运行时而被阻塞，没有执行用户代码并且不再运行队列上，但是可能存在于channel的等待队列上
_Gdead没有被使用，没有执行代码，可能有分配的栈
_Gcopystack栈正在拷贝，没有执行代码，不在运行队列上
_Greempted由于抢占而被阻塞，没有执行用户代码并且不在运行队列上，等待唤醒
_GscanGC正在扫描空间，没有执行代码，可以于其他状态同时存在
  • 等待中状态：Goroutine 正在等待某些条件满足，例如：系统调用结束等，包括 _Gwaiting、_Gsyscall 和 _Gpreempted 几个状态；
  • 可运行状态：Goroutine 已经准备就绪，可以在线程运行，如果当前程序中有非常多的 Goroutine，每个 Goroutine 就可能会等待更多的时间，即 _Grunnable；
  • 运行中状态：Goroutine 正在某个线程上运行，即 _Grunning；

G状态转换

img

M

​ Go 语言并发模型中的 M 是操作系统内核线程。调度器最多可以创建 10000 个线程，但是其中大多数的线程都不会执行用户代码（可能陷入系统调用），最多只会有 GOMAXPROCS 个活跃线程能够正常运行（因为运行时需要绑定P,P的数量是由GOMAXPROCS 决定的）。

​ 在默认情况下，一个四核机器会创建四个活跃的操作系统线程，每一个线程都对应一个运行时中的 runtime.m 结构体。

​ 在大多数情况下，我们都会使用 Go 的默认设置，也就是线程数等于 CPU 数，默认的设置不会频繁触发操作系统的线程调度和上下文切换，所有的调度都会发生在用户态，由 Go 语言调度器触发，能够减少很多额外开销。

runtime.m结构

结构体runtime.m表示操作系统线程，这个结构体也包含了几十个字段

与协程相关字段：

type m struct {g0   *gcurg *g...
}
  • g0：每个m都会初始化一个g0，用来切换调度，g0持有调度栈
  • curg：当前执行g（当需要调度其他g时，先切换至g0）

与处理器P相关字段：

type m struct {p             puintptrnextp         puintptroldp          puintptr
}
  • p：m绑定的p，获取本地goroutine
  • nextp：暂存的p，如果M阻塞，当前p会分给其他m，唤醒时就从nextp获取。
  • oldp：切换p后时，把nextp指向当前p，p指针指向新的处理器p

P

​ 调度器中的处理器 P 是线程和 Goroutine 的中间层，它能提供线程需要的上下文环境，也会负责调度线程上的等待队列(runq本地队列)，通过处理器 P 的调度，每一个内核线程都能够执行多个 Goroutine，它能在 Goroutine 进行一些 I/O 操作时及时让出计算资源，提高线程的利用率。

因为调度器在启动时就会创建 GOMAXPROCS 个处理器，所以 Go 语言程序的处理器数量一定会等于 GOMAXPROCS，这些处理器会绑定到不同的内核线程上。

runtime.p结构

type p struct {m           muintptrrunqhead uint32runqtail uint32runq     [256]guintptrrunnext guintptr...
}
  • m：p绑定的内核线程m
  • runqhead：本地队列头
  • runqtail：本地队列尾
  • runq：本地队列，用来存放G
  • runnext：下一个要执行的G

P状态

处理器P状态：

状态描述
_Pidle处理器没有运行用户代码或者调度器，被空闲队列或者改变其状态的结构持有，运行队列为空
_Prunning被线程 M 持有，并且正在执行用户代码或者调度器
_Psyscall没有执行用户代码，当前线程陷入系统调用
_Pgcstop被线程 M 持有，当前处理器由于垃圾回收被停止
_Pdead当前处理器已经不被使用

​ 通过分析处理器 P 的状态，我们能够对处理器的工作过程有一些简单理解，例如处理器在执行用户代码时会处于 _Prunning 状态，在当前线程执行 I/O 操作时会陷入 _Psyscall 状态。

P状态转换

调度器设计原理

单线程调度

多线程调度器

任务窃取调度器

抢占式调度器

go服务启动

步骤：

  1. osinit：系统初始化
  2. schedinit：go服务调度器初始化
  3. new main goroutine
  4. mstart：线程启动，开启调度循环，m0开始获取g和创建其他m

schedinit 调度器初始化

变量概念

  • 变量g0存在TLS中）：负责调度工作，存放着调度栈信息，每一个m都会有一个自己的g0，g0的协程栈空间是在主线程栈上分配的
  • 变量m0（存在TLS中）：程序启动后编号为0的主线程，用于创建P和启动main.main()，之后和其他m一样
  • 全局变量allp[]（存在静态数据段）：根据环境变量GOMAXPROCS创建N个p，这个切片存放这些p的指针
  • 全局变量allgs[]（存在静态数据段）：，这个切片存放所有g的指针，存在静态数据段
  • 全局变量allm[]（存在静态数据段）：记录所有的m，
  • 全局变量sched结构体（存在静态数据段）：
    • midle：空闲的m
    • pidle：空闲的p
    • runq：全局的queue队列，用来存放待运行的g

TLS(thread local storage)是每个线程私有的存储空间

静态数据段：是存放全局变量的，是所有thread公用的内存段，所以需要加锁来保证线程安全

初始化步骤

每一个m创建时都会进行调度器初始化。以下是第一个m0的初始化步骤：

  1. 创建g0、m0，他们相互存着对方的指针是1:1绑定的
  2. m0根据环境变量GOMAXPROCS创建N个p，绑定allp[]全局变量
  3. 通过指针将m0和处理器allp[0]绑定
  4. 将allp[0]以外的处理器设置成__Pidel__状态
  5. 创建了一些全局变量allgs[]、allm[]、sched等

new main goroutine

调用newproc()方法来创建main函数的协程，加入到m0本地队列的P中

在这里插入图片描述

创建goroutine

以下面例子做协程创建

package main func helle(name string) {fmt.Println("Hello ", name)
}func main() {name := "Goroutine"go hello(name)	// 调用newproc()创建协程
}

以下是代码函数栈帧的变化，栈内变量是由高到底存放“

  1. 执行main函数，创建main函数的函数栈帧：

    1. 函数返回地址addr
    2. 调用者main的栈基，BP of main

  2. 执行name:="Goroutine"，存放调用者caller(main函数)的局部变量

  3. 执行go hello(name)，准成机器码就是执行newproc(siz int32, fn *funcval)。变量由右至左存放到栈 siz变量， fn变量 和 参数变量name。main函数栈帧结束

  4. 调用newproc的返回地址(调用一个函数叫做call func)，指向hello()

  5. 开始newprocd的栈基，BP of newproc

  6. 切换到g0栈(线程里的栈帧)。调用newproc1()函数。因为线程栈比协程栈要大，防止栈溢出

    在这里插入图片描述

  7. newproc1()会先将当前m锁住，runtime.gfget方法获取过两种不同的方式获取新的 runtime.g

    • 从 Goroutine 所在处理器的 gFree 列表或者调度器的 sched.gFree 列表中获取 runtime.g)；空协程，可是已经分配了栈内存空间，避免g0的切换和g的重复销毁/创建
    • 调用 runtime.malg生成一个新的 runtime.g并将结构体追加到全局的 Goroutine 列表 allgs 中。runtime.g结构体保存在堆上（因为要线程共享），runtime.g.stack指向协程函数funcval的函数栈帧。

mstart 开启调度循环

  1. 启动调度器。Go 语言运行时会调用 runtime.mstart 以及 runtime.mstart1，前者会初始化 g0 的 stackguard0 和 stackguard1 字段，后者会初始化线程并调用 runtime.schedule 进入调度循环。
  2. 查找可运行协程。runtime.schedule会调用runtime.findrunnabel，阻塞查找goroutine,通过以下的过程获取可运行的 Goroutine：
    • 从本地运行队列、全局运行队列中查找；
    • 从网络轮询器中查找是否有 Goroutine 等待运行；
    • 通过 runtime.runqsteal 尝试从其他随机的处理器中窃取待运行的 Goroutine，该函数还可能窃取处理器的计时器；
  3. 运行协程。 runtime.execute 执行获取的 Goroutine，做好准备工作后，它会通过 runtime.gogo 将 Goroutine 调度到当前线程上。
  4. 结束协程。runtime.goexit0 函数，该函数会将 Goroutine 转换会 _Gdead 状态、清理其中的字段、移除 Goroutine 和线程的关联并调用。重新加入处理器的 Goroutine 空闲列表 gFree。返回1步骤重新一轮新的调度

触发调度器

主动挂起

  1. runtime.gopark切换到g0触发调度是最常见的方法，他会将正在运行的goroutine暂停，不会扔回runq中，状态从_Gruning变成_GWaiting
  2. 当满足特定条件后，调用runtime.goready将协程从_Gwaiting状态切换成_Grunable加入到本地队列

系统调用

系统调用也会触发运行时调度器的调度，为了处理特殊的系统调用，Goroutine 中加入了 _Gsyscall 状态。系统调用会让M和P分离，释放P，让其他空闲M绑定P。

准备工作

runtime.entersyscall 会在获取当前程序计数器和栈位置之后调用 runtime.reentersyscall，它会完成 Goroutine 进入系统调用前的准备工作：

  1. 禁止线程上发生的抢占，防止出现内存不一致的问题；
  2. 保证当前函数不会触发栈分裂或者增长；
  3. 保存当前的程序计数器 PC 和栈指针 SP 中的内容；
  4. 将 Goroutine 的状态更新至 _Gsyscall；
  5. 将 Goroutine 的处理器和线程暂时分离并更新处理器的状态到 _Psyscall；
  6. 释放当前线程上的锁；
恢复工作

当系统调用结束后，会调用退出系统调用的函数 runtime.exitsyscall 为当前 Goroutine 重新分配资源，该函数有两个不同的执行路径：

  1. 调用 runtime.exitsyscallfast：获取P的方式来恢复
    1. 如果原处理器任然处于_Psyscall，直接使用原处理器
    2. 如果原处理器被其他M绑定，去sched.pidle获取一个空闲p。
  2. 切换至调度器的 Goroutine 并调用 runtime.exitsyscall0：此方法是无法获取到可用P才会调用，主要就是将G状态变成_Grunable，扔到全局变量runq，由调度器去处理

协作式调度

Go 语言基于协作式和信号的两种抢占式调度，这里主要介绍其中的协作式调度。runtime.Gosched 函数会主动让出处理器，允许其他 Goroutine 运行。该函数无法挂起 Goroutine，调度器可能会将当前 Goroutine 调度到其他线程上。

最终在 g0 的栈上调用 runtime.goschedImpl，运行时会更新 Goroutine 的状态到 _Grunnable，让出当前的处理器并将 Goroutine 重新放回全局队列，在最后，该函数会调用 runtime.schedule 触发调度。

线程的生命周期

Go 语言的运行时会通过 runtime.startm 启动线程来执行处理器 P，如果我们在该函数中没能从闲置列表中获取到线程 M 就会调用 runtime.newm 创建新的线程：

clone 创建的线程会在线程主动调用 exit、或者传入的函数 runtime.mstart 返回会主动退出，runtime.mstart 会执行调用 runtime.newm 时传入的匿名函数 fn，到这里也就完成了从线程创建到销毁的整个闭环。

巨人肩膀

Golang调度器GMP原理与调度全分析

Go语言设计与实现

幼麟go系列

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/116161.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

深入了解Java中的StringJoiner类

深入了解Java中的StringJoiner类

在Java编程中，字符串的拼接是一个常见的操作。Java提供了多种方法来实现字符串拼接，其中之一就是StringJoiner类。本文将详细介绍StringJoiner的用法和功能。 StringJoiner简介 StringJoiner是Java 8引入的一个用于拼接字符串的工具类。它允许我们以指定…
阅读更多...
冒泡排序与选择排序(最low的两兄弟)

冒泡排序与选择排序(最low的两兄弟)

个人主页：Lei宝啊 愿所有美好如期而遇 前言： 在我们的生活中，无处不在用到排序，比如说成绩的排名，淘宝，京东等等商品在各个方面的排序，这样看来一个好的算 法很重要，接下来我们要先…
阅读更多...
解决方案：TSINGSEE青犀+智能分析网关助力智慧仓储智能化监管

解决方案：TSINGSEE青犀+智能分析网关助力智慧仓储智能化监管

为全面保障物流仓储的安全性与完整性，解决仓库管理难题，优化物流仓储方式，提升仓储效率，降低人工成本，旭帆科技推出智慧仓储AI视频智能分析方案，利用物联网、大数据、云计算等技术，对仓储管理进…
阅读更多...
【05】FISCOBCOS中的节点配置

【05】FISCOBCOS中的节点配置

官方文档https://fisco-bcos-documentation.readthedocs.io/zh_CN/latest/docs/manual/configuration.html 配置黑名单列表 基于防作恶考虑，FISCO BCOS允许节点将不受信任的节点加入到黑名单列表，并拒绝与这些黑名单节点建立连接，通过[certif…
阅读更多...
php函数usort使用方法

php函数usort使用方法

在 PHP 中，usort() 函数用于对数组进行排序，它允许你使用自定义的比较函数来确定元素的顺序。以下是 usort() 函数的使用方法： usort(array &$array, callable $cmp_function): bool参数说明： $array：要排序的数…
阅读更多...
小丑彻底输了，iPhone15首销再现排队抢购现象，销量遥遥领先

小丑彻底输了，iPhone15首销再现排队抢购现象，销量遥遥领先

iPhone15于今天正式上市销售，多个媒体报道指出苹果的零售门店再次出现排队抢购现象，有人凌晨5点就前往排队了，最昂贵的iPhone15Pro max则出现被黄牛加价1500元出售的现象。 在iPhone15上市销售前，某些人士大肆鼓吹苹果的假5G&…
阅读更多...
洛谷刷题入门篇：分支结构

洛谷刷题入门篇：分支结构

今天又来了，刷题刷题，我爱刷题，题单链接如下： https://www.luogu.com.cn/training/101#problems 一、【深基1-2】小学数学 N 合一 题目如下：https://www.luogu.com.cn/problem/P2433 题目描述 问题 1 请输出 I lov…
阅读更多...
基于springboot+vue的毕业生实习与就业管理系统

基于springboot+vue的毕业生实习与就业管理系统

博主主页：猫头鹰源码 博主简介：Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容：毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目介绍…
阅读更多...
Python项目Flask ipv6双栈支持改造

Python项目Flask ipv6双栈支持改造

一、背景 Flask 是一个微型的（轻量）使用Python 语言开发的 WSGI Web 框架（一组库和模块），基于Werkzeug WSGI工具箱/库和Jinja2 模板引擎，当然，Python的WEB框架还有：Django、Tornado、Webpy，这暂且不提。 Flask使用BSD授权。 Flask也被称为microframework（微框架），F…
阅读更多...
Unity的AB包相关

Unity的AB包相关

1、打包 在这个界面左边右键，CreateNewBundle 将要打包的模型制作成预设体 在下面勾选 选好平台路径，点击Build 2、加载AB包 public class ABTest : MonoBehaviour {// Start is called before the first frame updatevoid Start(){//加载AB包AssetB…
阅读更多...
SpringBean的生命周期

SpringBean的生命周期

SpringBean的生命周期 SperingBean的生命周期是从Bean实例化之后，即通过反射创建出对象之后，到Bean成为一个完整对象，最终存储到单例池中，这个过程被称为Spring Bean的生命周期。Spring Bean的生命周期大体上分为三个阶段 Bean的…
阅读更多...
数量关系（高照）

数量关系（高照）

数量关系（内容） 先问题，再材料 正向：约分、倍数反向：选项、代入 倍数特性 整除型
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023