Go应用性能分析实战

Go很适合用来开发高性能网络应用，但仍然需要借助有效的工具进行性能分析，优化代码逻辑。本文介绍了如何通过go test benchmark和pprof进行性能分析，从而实现最优的代码效能。原文: Profiling Go Applications in the Right Way with Examples[1]

Go Gopher为"A Journey With Go"创作的插图，作者Renee French
Go Gopher为"A Journey With Go"创作的插图，作者Renee French
什么是性能分析？

性能分析(Profiling) 是分析应用程序从而识别阻碍应用性能的瓶颈的基本技术，有助于检测代码的哪些部分执行时间太长或消耗太多资源(如CPU和内存)。

分析方法

有三种分析方法。

  • Go test(包含基准测试)
  • 基于 runtime/pprof [2]的 运行时分析
  • 基于 net/http/pprof [3]的 Web分析
分析类型
  • CPU (收集应用程序CPU使用情况的数据)
  • 堆(Heap)/内存(Memory) (收集应用程序内存使用情况的数据)
  • Goroutine (识别创建最多Goroutine的函数)
  • 阻塞 (识别阻塞最多的函数)
  • 线程 (识别创建线程最多的函数)
  • 互斥锁 (识别有最多锁竞争[4]的函数)

本文将主要关注使用上述方法进行CPU和内存分析。

1. 基准测试(Benchmarking)

我想实现著名的两数之和算法[5]，这里不关注实现细节，直接运行:

go test -bench=.

-bench参数运行项目中的所有基准测试。

go test bench输出
go test bench输出

根据上面的输出，与其他方法相比，TwoSumWithBruteForce是最有效的方法。别忘了结果取决于函数输入，如果输入一个大数组，会得到不同的结果。😅

如果输入go help testflag，将看到许多参数及其解释，比如count、benchtime等，后面将解释最常用的参数。

  • 如果要运行特定函数，可以通过如下方式指定: 
go test -bench='BenchmarkTwoSumWithBruteForce'
  • 默认情况下，基准测试函数只运行一次。如果要自定义，可以使用 count参数。例如, 
go test -bench='.' -count=2

输出如下所示。

带count参数的基准测试输出
带count参数的基准测试输出
  • 默认情况下，Go决定每个基准测试操作的运行时间，可以通过自定义 benchtime='2s'指定。

可以同时使用count和benchtime参数，以便更好的度量基准函数。请参考How to write benchmarks in Go[6]。

示例代码请参考Github[7]。

在现实世界中，函数可能既复杂又长，计时毫无作用，因此需要提取CPU和内存分析文件以进行进一步分析。可以输入

go test -bench='.' -cpuprofile='cpu.prof' -memprofile='mem.prof'

然后通过pprof[8]工具对其进行分析。

1.1 CPU分析

如果输入

go tool pprof cpu.prof

并回车，就会看到pprof交互式控制台。

go tool pprof cpu.prof输出
go tool pprof cpu.prof输出

我们来看看最主要的内容。

  • 输入 top15查看执行期间排名前15的资源密集型函数。 (15表示显示的节点数。)
alt

为了解释清楚，假设有一个A函数。

func A() {
   B()             // 耗时1s
   DO STH DIRECTLY // 耗时4s
   C()             // 耗时6s
}

flat值和cum值计算为: flat值为A=4, cum值为A=11(1s + 4s + 6s) 。

  • 如果要基于cum进行排序，可以键入 top15 -cum。也可以分别使用 sort=cum和 top15命令。
  • 如果通过 top获得更详细的输出，可以指定 granularity选项。例如，如果设置 granularity=lines，将显示函数的行。
粒度为行的top15输出
粒度为行的top15输出

得益于此，我们可以识别导致性能问题的函数的特定行。😌

  • 输出还显示了运行时函数和用户自定义函数。如果只想关注自己的函数，可以设置 hide=runtime并再次执行 top15。
带hide选项的top15
带hide选项的top15

可以通过输入hide=来重置。

  • 此外，可以使用 show命令。例如，输入 show=TwoSum
alt
  • 如果只关注指定节点，可以使用 focus命令。例如关注 TwoSumOnePassHashTable，显示为
同时带hide和focus的top输出
同时带hide和focus的top输出

可以输入focus=来重置。

  • 如果需要获取该功能的详细信息，可以使用 list命令。例如，想获得关于 TwoSumWithTwoPassHashTable函数的详细信息，输入 list TwoSumWithTwoPassHashTable
list TwoSumWithTwoPassHashTable输出
list TwoSumWithTwoPassHashTable输出
  • 如果要查看图形化的调用栈，可以键入 web。
web输出
web输出
node细节
node细节

后面将提供更多关于分析图表的细节。

  • 还可以键入 gif或 pdf以与他人共享相应格式的分析数据。😃
1.2 内存分析

如果输入go tool pprof mem.prof并回车

go tool pprof mem.prof输出
go tool pprof mem.prof输出
top10输出
top10输出

注意，上面提到的flat和cum是相同的东西，只是测量不同的东西(CPU单位ms，内存单位MB)。

  • list命令
list TwoSumWithBruteForce输出
list TwoSumWithBruteForce输出
  • web命令
web命令输出
web命令输出

可以使用CPU分析部分中提到的所有命令。

下面看一下另一个方法，runtime/pprof。🚀

2. 基于runtime/pprof[9]的运行时分析

基准测试对单个函数的性能很有用，但不足以理解整体情况，这时就需要用到runtime/pprof💠。

2.1 CPU分析

基准测试内置CPU和内存分析，但如果需要让应用程序支持运行时CPU分析，必须首先显示启用。

alt

如果执行go run .，将看到生成的cpu.prof文件，可以通过基准测试部分提到的go tool pprof cpu.prof对齐进行分析。

本节将介绍我最喜欢的特性之一pprof.Labels。此特性仅适用于CPU和goroutine分析[10]。

如果要向特定函数添加一个或多个标签，可以使用pprof.Do函数。

pprof.Do(ctx, pprof.Labels("label-key", "label-value"), func(ctx context.Context) {
    // 执行标签代码
})

例如,

向特定函数添加标签
向特定函数添加标签

在pprof交互式控制台中，键入tags，将显示带了有用信息的标记函数。

tags输出
tags输出

可以用标签做很多事情[11]，阅读Profiler labels in Go[12]可以获得更多信息。

pprof还有很棒的web界面，允许我们使用各种可视化方式分析数据。

输入go tool pprof -http=:6060 cpu.prof，localhost:6060将被打开。 (为了更清楚，我去掉了pprof.Labels)

让我们深入探讨图形表示。

CPU分析图
CPU分析图

节点颜色、字体大小、边缘粗细等都有不同含义，参考pprof: Interpreting the Callgraph[13]获取更多细节。可视化使我们能够更容易识别和修复性能问题。

单击图中的节点，可以对其进行细化，我们可以根据自己的选择对可视化进行过滤。下面展示了部分内容(focus、hide等)。

Refine选项
Refine选项

还可以看到其他可视化选项。

View选项
View选项

上面出现了peek和source(作为list命令)，因此下面将介绍火焰图(Flame Graph)[14]。火焰图提供了代码时间花费的高级视图。

火焰图
火焰图

每个函数都用一个彩色矩形表示，矩形的宽度与该函数花费的时间成正比。

alt

可以访问Github[15]获取源码。

2.2 内存分析

如果需要向应用程序添加运行时内存分析，必须显式启用。

可以访问Github[16]获取源码。

alt

如果执行go run .，将看到生成的mem.prof文件，可以用之前基准测试部分提到的go tool pprof mem.prof对齐进行分析。

下面将介绍两个更有用的命令tree和peek。

  • tree显示了执行流的所有调用者和被调用者。
tree输出
tree输出

从而帮助我们识别执行流并找出消耗最多内存的对象。 (不要忘记使用granularity=lines，它提供了更可读的格式。)

  • 如果希望查看特定函数的执行流程，可以使用 peek命令。例如， peek expensiveFunc显示如下
alt
  • 还可以使用pprof web界面进行内存分析。输入 go tool pprof -http=:6060 mem.prof，打开 localhost:6060。
内存分析图
内存分析图
3. 基于net/http/pprof[17]的Web分析

runtime/pprof包提供了Go程序性能分析的低级接口，而net/http/pprof为分析提供了更高级的接口，允许我们通过HTTP💃收集程序分析信息，所需要做的就是:

添加net HTTP pprof
添加net HTTP pprof

输入localhost:5555/debug/pprof，就能在浏览器上看到所有可用的分析文件。如果没有使用stdlib，可以查看fiber[18]、gin[19]或echo[20]的pprof实现。

debug/pprof视图
debug/pprof视图

文档里记录了所有用法和参数[21]，我们看一下最常用的。

获取CPU分析数据及技巧
go tool pprof http://localhost:5555/debug/pprof/profile?seconds=30

在CPU分析期间，请注意

runtime.mallogc → 表示可以优化小堆分配的数量。

syscall.Read或者syscall.Write → 表示应用程序在内核模式下花费了大量时间，为此可以尝试I/O缓冲。

获取堆(采样活跃对象内存分配)分析数据及技巧
go tool pprof http://localhost:5555/debug/pprof/heap

go tool pprof http://localhost:5555/debug/pprof/heap?gc=1

就我个人而言，我喜欢用GC参数诊断问题。例如，如果应用程序有内存泄漏问题，可以执行以下操作:

  • 触发GC( 浏览器访问/debug/pprof/heap?gc=1)
  • 下载堆数据， 假设下载文件名为file1
  • 等待几秒或几分钟
  • 再次触发GC( 浏览器访问/debug/pprof/heap?gc=1)
  • 再次下载堆数据， 假设下载文件名为file2
  • 使用 diff_base [22]进行比较 
go tool pprof -http=:6060 -diff_base file2 file1
diff_base输出
diff_base输出
获取内存分配(抽样过去所有的内存分配)分析数据及技巧
go tool pprof http://localhost:5555/debug/pprof/allocs

在内存分配分析期间，可以这样做

  • 如果看到 bytes.growSlice，应该考虑使用 sync.Pool。
  • 如果看到自定义函数，请检查是否在切片或映射中定义了固定容量。
延伸阅读
  1. pprof Github Readme [23]
  2. Profiling Go Programs by Russ Cox [24]
  3. pprof man page [25]
  4. GopherCon 2019: Dave Cheney — Two Go Programs, Three Different Profiling Techniques [26]
  5. GopherCon 2021: Felix Geisendörfer — Go Profiling and Observability from Scratch [27]
  6. GopherConAU 2019 — Alexander Else — Profiling a go service in production [28]
  7. Practical Go Lessons Profiling Chapter [29]

你好，我是俞凡，在Motorola做过研发，现在在Mavenir做技术工作，对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI等技术始终保持着浓厚的兴趣，平时喜欢阅读、思考，相信持续学习、终身成长，欢迎一起交流学习。为了方便大家以后能第一时间看到文章，请朋友们关注公众号"DeepNoMind"，并设个星标吧，如果能一键三连(转发、点赞、在看)，则能给我带来更多的支持和动力，激励我持续写下去，和大家共同成长进步！

参考资料
[1]

Profiling Go Applications in the Right Way with Examples: https://blog.stackademic.com/profiling-go-applications-in-the-right-way-with-examples-e784526e9481

 [2]

runtime/pprof: https://pkg.go.dev/runtime/pprof

 [3]

net/http/pprof: https://pkg.go.dev/net/http/pprof

 [4]

Resource Contention: https://en.wikipedia.org/wiki/Resource_contention

 [5]

Two Sum Algorithm: https://leetcode.com/problems/two-sum

 [6]

How to write benchmarks in Go: https://dave.cheney.net/2013/06/30/how-to-write-benchmarks-in-go

 [7]

pprof-example: https://github.com/Abdulsametileri/pprof-examples/tree/main/benchmarking

 [8]

pprof: https://linux.die.net/man/1/pprof

 [9]

runtime/pprof: https://pkg.go.dev/runtime/pprof

 [10]

pprof.Labels: https://pkg.go.dev/runtime/pprof#Labels

 [11]

pprof tags: https://github.com/google/pprof/blob/main/doc/README.md#tags

 [12]

Profiler labels in Go: https://rakyll.org/profiler-labels

 [13]

pprof: Interpreting the Callgraph: https://github.com/google/pprof/blob/main/doc/README.md#interpreting-the-callgraph

 [14]

火焰图(Flame Graph): https://github.com/google/pprof/blob/main/doc/README.md#flame-graph

 [15]

runtime pprof cpu example: https://github.com/Abdulsametileri/pprof-examples/tree/main/runtimepprof/cpu

 [16]

runtime pprof memory example: https://github.com/Abdulsametileri/pprof-examples/tree/main/runtimepprof/mem

 [17]

net/http/pprof: https://pkg.go.dev/net/http/pprof

 [18]

fiber pprof: https://docs.gofiber.io/api/middleware/pprof

 [19]

gin pprof: https://github.com/gin-contrib/pprof

 [20]

echo pprof: https://pkg.go.dev/github.com/labstack/echo-contrib/pprof

 [21]

net/http/pprof usage examples: https://pkg.go.dev/net/http/pprof#hdr-Usage_examples

 [22]

pprof comparing profiles: https://github.com/google/pprof/blob/main/doc/README.md#comparing-profiles

 [23]

pprof Github Readme: https://github.com/google/pprof/blob/main/doc/README.md

 [24]

Profiling Go Programs by Russ Cox: https://blog.golang.org/2011/06/profiling-go-programs.html

 [25]

pprof man page: https://linux.die.net/man/1/pprof

 [26]

GopherCon 2019: Dave Cheney — Two Go Programs, Three Different Profiling Techniques: https://www.youtube.com/watch?v=nok0aYiGiYA

 [27]

GopherCon 2021: Felix Geisendörfer — Go Profiling and Observability from Scratch: https://www.youtube.com/watch?v=7hg4T2Qqowk

 [28]

GopherConAU 2019 — Alexander Else — Profiling a go service in production: https://www.youtube.com/watch?v=19bxBMPOlyA

 [29]

Practical Go Lessons Profiling Chapter: https://www.practical-go-lessons.com/chap-36-program-profiling

本文由 mdnice 多平台发布

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/478777.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

2024年2月的TIOBE指数,go语言排名第8,JAVA趋势下降

2024年2月的TIOBE指数,go语言排名第8,JAVA趋势下降

二月头条：go语言进入前十 本月，go在TIOBE指数前10名中排名第8。这是go有史以来的最高位置。当谷歌于2009年11月推出Go时，它一炮而红。在那些日子里，谷歌所做的一切都是神奇的。在Go出现的几年前，谷歌发布了GMail、谷歌…
阅读更多...
debug - 只要在内存中有显示相关的数据, 就会被CE找到

debug - 只要在内存中有显示相关的数据, 就会被CE找到

文章目录 debug - 只要在内存中有显示相关的实际数据, 就会被CE找到概述笔记demo实现demo运行效果用CE查找实际数据地址找到自己的调试点 - 方法1找到自己的调试点 - 方法2打补丁备注END debug - 只要在内存中有显示相关的实际数据, 就会被CE找到 概述 自己写了一个demo, 想验…
阅读更多...
已解决：IDEA中@Autowired自动注入MyBatis Mapper报红警告的几种解决方法

已解决：IDEA中@Autowired自动注入MyBatis Mapper报红警告的几种解决方法

今天在使用 IDEA 使用 MyBatis 的时候遇到了这种情况： 可以看到 userMapper 下有个红色的波浪警告，虽然代码没有任何问题，能正常运行，但是这个红色警告在这里杵着确实让人很窝心。 于是我在网上找了找，最终明白了原因…
阅读更多...
macOS上使用VScode编译配置C++语言开发环境

macOS上使用VScode编译配置C++语言开发环境

本文介绍macOS上使用VScode编译配置C语言开发环境 1.准备工作 安装C/C插件 2.配置c_cpp_properties.json文件 [⇧⌘P]打开命令模式，选择[C/Cpp: Edit Configurations(JSON)]命令，回车后会自动生成一个.vscode目录，目录下有一个c_cpp_prope…
阅读更多...
【MySQL初阶】索引

【MySQL初阶】索引

1. 索引基本概念 1.1 索引介绍 索引(index)：是一种特殊的文件，包含着对数据表里所有记录的引用指针。可以对表中的一列或者多列创建索引，并指定索引的类型，各类索引有各自的数据结构实现。（具体细节在MySQL进阶章节详…
阅读更多...
ETL数据集成工具DataX、Kettle、ETLCloud特点对比

ETL数据集成工具DataX、Kettle、ETLCloud特点对比

ETL数据集成工具 对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract) 、交互转换(transform) 、加载(load)至的端的过程当前的很多应…
阅读更多...
文献速递：GAN医学影像合成--联邦生成对抗网络基础医学图像合成中的后门攻击与防御

文献速递：GAN医学影像合成--联邦生成对抗网络基础医学图像合成中的后门攻击与防御

文献速递：GAN医学影像合成–联邦生成对抗网络基础医学图像合成中的后门攻击与防御 01 文献速递介绍 虽然深度学习在医疗保健研究中产生了显著影响，但其在医疗保健领域的影响无疑比在其他应用领域更慢、更有限。造成这种情况的一个重要原因是&#xff…
阅读更多...
机器人初识 —— 定制AI

机器人初识 —— 定制AI

一、机器人设计难点 波士顿动力设计的机器人，尤其是其人形机器人Atlas和四足机器人Spot等产品，在技术上面临多重难点： 1. **动态平衡与稳定性**：双足或四足机器人在运动时需要维持极高的动态平衡，特别是在不平坦地面…
阅读更多...
19. 【Linux教程】nano 编辑器

19. 【Linux教程】nano 编辑器

前面小节介绍了如何使用 vim 编辑器，相比于 vim 编辑器，nano 编辑器就比较简单了。nano 是 UNIX 系统中的一个文本编辑器，大部分 Linux 发行版本默认都安装了 nano 文本编辑器。 和 vim 编辑器相比，nano 编辑器就没有那么强大&am…
阅读更多...
使用阿里云发送短信

使用阿里云发送短信

使用阿里云短信服务有两种方式 API 发送和 控制台发送&#xff0c;控制台发送到话有太多限制&#xff0c;这里我们使用API 通过 调用服务端代码进行发送。 整体结构如下&#xff1a; 导入依赖 <!--阿里云短信发送--><dependency><groupId>com.aliyun<…
阅读更多...
结合OpenAI、Google、Meta发布Sora、Gemini Pro 1.5、V-JEPA，分析三家AGI路线及当前情势

结合OpenAI、Google、Meta发布Sora、Gemini Pro 1.5、V-JEPA，分析三家AGI路线及当前情势

这里是陌小北&#xff0c;一个正在研究硅基生命的碳基生命。正在努力成为写代码的里面背诗最多的&#xff0c;背诗的里面最会写段子的&#xff0c;写段子的里面代码写得最好的…厨子。 写在前面 昨天整理每周新闻&#xff0c;发现2024年2月15日是个大日子&#xff0c;三大科技…
阅读更多...
【漏洞复现】H3C 路由器多系列信息泄露漏洞

【漏洞复现】H3C 路由器多系列信息泄露漏洞

Nx01 产品简介 H3C路由器是一款高性能的路由器产品&#xff0c;具有稳定的性能和丰富的功能。它采用了先进的路由技术和安全机制&#xff0c;可以满足不同用户的需求&#xff0c;广泛应用于企业、运营商和数据中心等领域。 Nx02 漏洞描述 H3C路由器多系列存在信息泄露漏洞&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023