pprof是google出品的,可用于对golang程序性能调优的一个工具。通过这个工具,可以精准的定位到内存、cpu等问题
pprof是go语言内置就有的,无须我们再额外安装包
1、环境准备
我这边是用的mac电脑对gin框架做的测试,配置如下,当然,也可以用其他的配置跑如下的用例
1、16G mac电脑
2、M1芯片
3、gin框架工程目录
2、用例准备
我这边的主代码逻辑如下,这个GetNum方法中,进行无限循环计算,然后把自增的i,追加到sum切片中,这种会导致sum切片的内存,无限扩大
Math.go
package service
import (
"fmt"
)
var Heap = new(heap)
var sum = []int{}
type heap struct {
}
func (h *heap) GetNum() {
i := h.sum()
for {
i++
sum = append(sum, i)
if i%1000000 == 0 {
//time.Sleep(time.Second * 1)
fmt.Println(i)
}
}
}
func (h *heap) sum() int {
num := 0
for i := 0; i < 100000; i++ {
num += i
}
return num
}
route.go以下是对应的路由配置,这边主要是对pprof路由进行了配置
package app
import (
"github.com/gin-gonic/gin"
"net/http/pprof"
"pay/app/controller"
)
func RegistRoute(engine *gin.Engine) {
Heap := engine.Group("/heap")
{
Heap.GET("/log", controller.Heap.Log)
}
systemPprof(engine)
}
// pprof系统性能分析
func systemPprof(engine *gin.Engine) {
pprofAPI := engine.Group("/pprof")
{
pprofAPI.GET("/", gin.WrapF(pprof.Index))
pprofAPI.GET("/cmdline", gin.WrapF(pprof.Cmdline))
pprofAPI.GET("/profile", gin.WrapF(pprof.Profile))
pprofAPI.Any("/symbol", gin.WrapF(pprof.Symbol))
pprofAPI.GET("/trace", gin.WrapF(pprof.Trace))
pprofAPI.GET("/allocs", gin.WrapH(pprof.Handler("allocs")))
pprofAPI.GET("/block", gin.WrapH(pprof.Handler("block")))
pprofAPI.GET("/goroutine", gin.WrapH(pprof.Handler("goroutine")))
pprofAPI.GET("/heap", gin.WrapH(pprof.Handler("heap")))
pprofAPI.GET("/mutex", gin.WrapH(pprof.Handler("mutex")))
pprofAPI.GET("/threadcreate", gin.WrapH(pprof.Handler("threadcreate")))
}
}
这边是heap控制器,是对Math.go的代码逻辑进行执行调用
package controller
import (
"github.com/gin-gonic/gin"
"pay/service"
)
var Heap = new(heap)
type heap struct {
}
func (h *heap) Log(ctx *gin.Context) {
service.Heap.GetNum()
}
3、使用pprof进行排查
对用例进行内存排查和定位,可以用如下的命令
go tool pprof http://localhost:8001/pprof/heap
如下代表是连接成功
注意到这上图的红色提示了吗?
Saved profile in /Users/yilian/pprof/pprof.___go_build_pay.alloc_objects.alloc_space.inuse_objects.inuse_space.002.pb.gz
这个实际是读取的pprof服务提供的一个.pb.gz文件,它是一个通过 gzip 压缩的 protocol buffer 数据
回到上面的命令执行,输入top可以列出当前占用内存较高的几条数据,top后面可以跟上数字,代表要列出几条
4、web可视化分析
在实际生产环境中,面对复杂业务逻辑的话,内存的分析往往需要结合可视化进行分析,单从上方的命令行数据来看的话,往往无法精准定位到问题所在
a、安装graphviz
可以使用如下命令进行安装
brew install graphviz
也可以去graphviz官网去找到对应的平台的安装方式
https://graphviz.gitlab.io/download/
b、使用graphviz
继续回到刚刚的命令行中执行web命令,如下
这时候这个行为会产生一个svg文件,并且调用我们系统设置的默认浏览器并且打开它,如下
c、分析
红色的区域是需要警惕和关注的数据,从上图中,可以看到GetNum是我们写的业务代码,这里已经帮我们定位到是这个方法导致的内存泄露
从电脑的监控来看,确实这个__go_build_pay进程占用了大量的内存,总共占用了9.68G
d、实际生产环境如何使用
考虑到很多分布式系统中,可能一个应用服务器有多台,需要定位某一台服务器的内存泄露问题,我们可以先把这个服务器的内存heap文件下载到本地,再通过本地执行pprof加载heap文件来进行分析
为啥不通过域名来访问呢?比如 go tool pprof http://www.xxx.com/pprof/heap
因为实际线上环境,www.xxx.com只是域名解析,但是后面的应用服务器具有多台,可能请求会被调度到a服务器,也可能被调度到b服务器、c服务器等等,这样就容易影响我们分析的结果。可以采用内网ip的访问,把heap文件下载到本地,再进行分析,如下
curl -o local_heap http://10.112.60.195/pprof/heap //把内存数据保存到local_heap 文件中
go tool pprof local_heap //使用pprof加载这个内存文件数据
5、其他使用
上面是对内存泄露进行的定位测试,当然也可以针对cpu、gc等定位和排查,数据内容如下
allocs 内存分配情况的采样信息
blocks 阻塞操作情况的采样信息
cmdline 显示程序启动命令及参数
goroutine 当前所有协程的堆栈信息
heap 堆上内存使用情况的采样信息
mutex 锁争用情况的采样信息
profile CPU 占用情况的采样信息
threadcreate 系统线程创建情况的采样信息