GO内存逃逸是什么

一、我们说内存逃逸时在说什么

  1. 问,内存逃逸是干什么的
    • 答,内存逃逸分析是编译器在编译优化时,用来决定变量应该分配在堆上还是栈上的工具
  2. 问,为什么要区分堆和栈?不都是内存吗?
    • 答,这篇也许可以解答你的疑惑,简单来说,栈内存是用来存储函数出入参和局部变量的,这些变量随着函数的创建而创建、返回而消亡,栈内存的分配是线性的,这种分配方式有极高的效率。在其他语言,例如c,变量分配在哪里是由开发人员决定的,例如局部变量分配在栈上,调用malloc方法分配的内存在堆上。栈内存的分配与释放由编译器决定,堆内存的分配与释放则完全由开发人员决定。
  3. 问,那为什么go不能仿照c语言,让开发人员管理堆内存?
    • 答,go是一款简单、高效的现代开发语言,怎么还会让开发人员自己管理内存,太落伍了
    • 所以当go要自己做内存管理的时候,内存的分配和释放就交给了go运行时
    • 变量到底要分配到栈还是堆上,变成了go语言需要处理的事情。一方面栈内存分配效率极高,另一方面堆内存gc又影响效率。所以尽可能让变量分配在栈上。
  4. ok,暂时信你!!那么内存逃逸分析就是为了尽量让变量找到正确的家?(栈上或者堆上)
    • 聪明!都学会抢答了
    • 开发人员自己决定变量分配到哪儿,要么将本不用分配到堆上的变量分配到了堆上(低效!),要么将需要分配到堆上的变量分配在了栈上(野指针!)
    • go的内存逃逸分析同样也面临上面两个问题,它尽量将变量分配的位置安排得明明白白的
  5. 问,既然go已经在编译时做了内存逃逸分析,我们作为开发人员还关心这个干什么?
    • 为了炫技!O(∩_∩)O哈哈~
    • 了解了内存逃逸分析的原理后,我们就能够理解什么样的变量会被分配在栈上、什么样的变量会被分配在堆上。
    • 当你的程序对性能非常敏感,你就可以使用内存逃逸工具的分析,查看哪些变量逃逸到了堆上,哪些没有逃逸。然后调整代码,再次提高你得程序性能
  6. 问,我的程序就是增删改查,不需要性能
    • 门在那边 →
  7. 问,怎么进行内存逃逸分析?
    • 答,go在编译时会进行内存逃逸分析,同样也给开发人员开放了内存逃逸信息
    • 在编译时增加-m标志,如 go build -gcflags="-m",就会输出内存逃逸信息
    • 下面我们会对几种常见的内存逃逸情况进行测试和分析

二、几种常见的内存逃逸情况

原生类型的逃逸分析

1. 变量分配在栈上的情况

当原生类型被取地址且地址被赋值给了一个指针变量,当这个指针变量只是在函数内部使用,则这个原生类型会被分配在栈上(即使是通过new方法分配的)

2. 变量逃逸到堆上的情况

如果这个指针变量被以某种形式作为了函数返回值(例如,指针变量是struct中的变量,struct是函数返回值),则这个原生类型被分配在堆上(原因很简单,如果分配在栈上,函数返回后栈中的数据失效,这个指针指向的地址就是无效的)

上代码

main.go


package main
type (
    Foo struct {
        A int
        B string
    }
    FooHasPointer struct {
        A *int
        B string
    }
)
// 返回了指向了a的指针,a逃逸到堆上
func escapeValue() *int {
    var a int // moved to heap: a
    a = 1
    return &a
}
// 即使newa是指针类型,但是它只在本函数内起作用(没有被作为返回值,相当于一个局部变量),分配到栈上
func noescapeNew() {
    newa := new(int) // noescapeNew new(int) does not escape
    *newa = 1
}
// 指向i的指针被存储到foo结构体中返回了,i逃逸到堆上
func escapePointer() FooHasPointer {
    var foo FooHasPointer
    i := 10 //moved to heap: i
    foo.A = &i
    foo.B = "a"
    return foo
}
// 没有指针,都分配到栈上
func noescapeValue() Foo {
    var foo Foo
    i := 10
    foo.A = i
    foo.B = "a"
    return foo
}
func main() {
}

执行编译,并且附加-m内存逃逸分析标志和-l(L的小写)禁止内联标志
go build -gcflags "-m -l" main.go
结果如下:

.\main.go:17:6: moved to heap: a
.\main.go:24:13: noescapeNew new(int) does not escape
.\main.go:31:2: moved to heap: i

slice类型的逃逸分析

与原生类型的逃逸分析相似,当返回指向slice的指针时,slice逃逸;当返回slice时,只有slice中的数据逃逸
slice的逃逸分为slice本身(即SliceHeader)的逃逸分析,和slice中的元素(即SliceHeader中Data指向的地址)的逃逸分析

1. SliceHeader分配在栈上、Data分配在堆上

当SliceHeader分配在栈上,Data既可以分配在栈上也可以分配在堆上

  1. 当Data的空间不足、需要动态扩容时,Data会被分配在堆上
  2. 当初始化slice时,Data所占空间达到64K时,SliceHeader和Data都会被分配在堆上(注意这里的64K边界是在自己的windows和linux机上测试到的,没有找go源码的出处,有可能不准确,理解为Data比较大时会直接分配在堆上比较好。另外除了slice,其他的数据类型如果初始化大小超过某个阈值时,应该也会直接分配在堆上
2. 当SliceHeader分配在堆上,SliceHeader和Data都分配在堆上
上代码

package main
import (
    "reflect"
    "strconv"
    "unsafe"
)
// sl为局部变量,SliceHeader没有逃逸,Data由于动态扩容分配在了堆上
func noEscapeSliceWithDataInHeap() {
    var sl []byte
    println("addr of local(no escape, data in heap) slice = ", &sl)
    printSliceHeader(&sl)
    for i := 0; i < 10; i++ {
        println("append " + strconv.Itoa(i))
        sl = append(sl, byte(i))
        printSliceHeader(&sl)
    }
}
// sl为局部变量,SliceHeader没有逃逸,Data不需要动态扩容,分配在栈上
func noEscapeSliceWithDataInStack() {
    sl := make([]byte, 0, 10) //  noEscapeSliceWithDataInStack make([]byte, 0, 10) does not escape
    println("addr of local(no escape, data in stack) slice = ", &sl)
    printSliceHeader(&sl)
    for i := 0; i < 10; i++ {
        println("append " + strconv.Itoa(i))
        sl = append(sl, byte(i))
        printSliceHeader(&sl)
    }
}
// Data过大,SliceHeader和Data直接分配在堆上
func escapeLargeSlice() {
    sl := make([]byte, 0, 1024*64) //make([]byte, 0, 1024 * 64) escapes to heap
    println("addr of local(escape, data in heap) slice = ", &sl)
    printSliceHeader(&sl)
    for i := 0; i < 10; i++ {
        println("append " + strconv.Itoa(i))
        sl = append(sl, byte(i))
        printSliceHeader(&sl)
    }
}
// Data没有达到64k,没有逃逸
func noescapeSmallSlice() {
    sl := make([]byte, 0, 1024*63+1023) // noescapeSmallSlice make([]byte, 0, 1024 * 63 + 1023) does not escape
    println("addr of local(no escape, data in stack) slice = ", &sl)
    printSliceHeader(&sl)
    for i := 0; i < 10; i++ {
        println("append " + strconv.Itoa(i))
        sl = append(sl, byte(i))
        printSliceHeader(&sl)
    }
}
// 返回了sl的指针,SliceHeader和Data都逃逸了
func escapeSliceWithDataInHeap() *[]byte {
    sl := make([]byte, 0, 10) //moved to heap: sl  // make([]byte, 0, 5) escapes to heap
    println("addr of local(slice and data in heap) slice = ", &sl)
    printSliceHeader(&sl)
    for i := 0; i < 10; i++ {
        println("append " + strconv.Itoa(i))
        sl = append(sl, byte(i))
        printSliceHeader(&sl)
    }
    return &sl
}
// sl作为返回值,SliceHeader没有逃逸,Data逃逸
func sliceInStackWithDataInHeap() []byte {
    sl := make([]byte, 0, 10) //make([]byte, 0, 5) escapes to heap
    println("addr of local(slice in stack and data in heap) slice = ", &sl)
    printSliceHeader(&sl)
    for i := 0; i < 10; i++ {
        println("append " + strconv.Itoa(i))
        sl = append(sl, byte(i))
        printSliceHeader(&sl)
    }
    return sl
}
func printSliceHeader(p *[]byte) {
    ph := (*reflect.SliceHeader)(unsafe.Pointer(p))
    println("slice data = ", unsafe.Pointer(ph.Data))
}
func main() {
    noEscapeSliceWithDataInHeap()
    noEscapeSliceWithDataInStack()
    escapeLargeSlice()
    noescapeSmallSlice()
    escapeSliceWithDataInHeap()
    sliceInStackWithDataInHeap()
}


执行编译,并且附加-m内存逃逸分析标志和-l禁止内联标志
go build -gcflags "-m -l" main.go
结果如下:

.\main.go:83:23: printSliceHeader p does not escape
.\main.go:15:21: noEscapeSliceWithDataInHeap "append " + strconv.Itoa(i) does not escape
.\main.go:23:12: noEscapeSliceWithDataInStack make([]byte, 0, 10) does not escape
.\main.go:27:21: noEscapeSliceWithDataInStack "append " + strconv.Itoa(i) does not escape
.\main.go:35:12: make([]byte, 0, 1024 * 64) escapes to heap
.\main.go:39:21: escapeLargeSlice "append " + strconv.Itoa(i) does not escape
.\main.go:47:12: noescapeSmallSlice make([]byte, 0, 1024 * 63 + 1023) does not escape
.\main.go:51:21: noescapeSmallSlice "append " + strconv.Itoa(i) does not escape
.\main.go:59:2: moved to heap: sl
.\main.go:59:12: make([]byte, 0, 10) escapes to heap
.\main.go:63:21: escapeSliceWithDataInHeap "append " + strconv.Itoa(i) does not escape
.\main.go:72:12: make([]byte, 0, 10) escapes to heap
.\main.go:76:21: sliceInStackWithDataInHeap "append " + strconv.Itoa(i) does not escape

map类型的逃逸分析

1. 不作为函数返回值时,分配在栈上
2. 作为函数返回值且返回的不是指针时,map的元素分配在堆上,map本身分配在栈上
3. 作为函数返回值且返回的是指针时,map的元素分配在堆上,map本身也分配在堆上
上代码

package main
func noEscapeMap() {
    sm := make(map[int]int) //noEscapeMap make(map[int]int) does not escape
    sm[1] = 1
}
func escapeMap() map[int]int {
    sm := make(map[int]int) // make(map[int]int) escapes to heap
    sm[1] = 1
    return sm
}
func escapeMapPointer() *map[int]int {
    sm := make(map[int]int) //  moved to heap: sm //  make(map[int]int) escapes to heap
    sm[1] = 1
    return &sm
}
func main() {
    noEscapeMap()
    escapeMap()
}


执行编译,并且附加-m内存逃逸分析标志和-l禁止内联标志
go build -gcflags "-m -l" main.go
结果如下:

.\main.go:4:12: noEscapeMap make(map[int]int) does not escape
.\main.go:9:12: make(map[int]int) escapes to heap
.\main.go:15:2: moved to heap: sm
.\main.go:15:12: make(map[int]int) escapes to heap

三、后话

最后祭出go逃逸分析要遵循的两个不变性:
  1. 指向栈对象的指针不能存在于堆中
  2. 指向栈对象的指针不能在栈对象回收后存活

经过上面的分析和测试,这两条不变性也就很好理解了,懂得都懂!

友情提示

内存逃逸go在编译的时候就已经为我们优化好了,学习它是为了将性能提高至极致以及熟悉一些稍底层的知识。普通的代码不需要在逃不逃逸上杠。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 210,978评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 89,954评论 2 384
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,623评论 0 345
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,324评论 1 282
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,390评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,741评论 1 289
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,892评论 3 405
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,655评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,104评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,451评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,569评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,254评论 4 328
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,834评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,725评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,950评论 1 264
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,260评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,446评论 2 348

推荐阅读更多精彩内容

  • 介绍 Go 语言较之 C 语言一个很大的优势就是自带 GC 功能,可 GC 并不是没有代价的。写 C 语言的时候,...
    达菲格阅读 4,471评论 0 14
  • 阅读前请悉知:本文是一篇翻译文章,出于对原文的喜爱与敬畏,所以需要强调:如果读者英文阅读能力好,请直接移步文末原文...
    wu_sphinx阅读 2,649评论 2 4
  • 逃逸分析 堆与栈 在go语言中,变量可以存储在栈或者堆之上。如果变量存储在栈之上,那么当这个栈被清理时,对应的栈内...
    GGBond_8488阅读 1,015评论 0 3
  • 表情是什么,我认为表情就是表现出来的情绪。表情可以传达很多信息。高兴了当然就笑了,难过就哭了。两者是相互影响密不可...
    Persistenc_6aea阅读 124,412评论 2 7
  • 16宿命:用概率思维提高你的胜算 以前的我是风险厌恶者,不喜欢去冒险,但是人生放弃了冒险,也就放弃了无数的可能。 ...
    yichen大刀阅读 6,037评论 0 4