文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Go内存分配管理

2024-04-02 19:55

关注

一、问题引入

现象:在实际工作项目中,golang项目经常内存报警,现象为在流量增大,或传入很大文件的情况下算法worker内存降低到一定限度之后(100Mb左右),过一段时间才能内存才能自动恢复。

二、几个基本概念

1.RSS,VSS解释

对于RAM内存的使用,实际是os kernel来控制的。

举例说明RSS,VSS:

如果一个进程,程序的大小有 500K,链接的共享库大小有 2500K,堆栈内存共有 200K,其中 100K 进入了交换分区。进程实际加载了共享库中的 1000K 的内容,以及自己程序的中的 400K 的内容。请问 RSS 和 VSZ 应是多少?RSS: 400K + 1000K + 100K = 1500K VSZ: 500K + 2500K + 200K = 3200K

三、Go内存管理机制

1.Go runtime内存延迟归还

Go是一种高级语言,自带GC。内存的分配和回收都是自动的被垃圾回收器所执行,当某个对象内存变成不可达状态时(unreachable)。垃圾回收器则将其回收。

Go中空闲的内存,并不意味着立即归还给操作系统。空闲的内存可以被重新利用。因此Go语言中,即使某些对象被释放了,操作系统的内存使用并没有下降。这是因为Go的内存管理器,将其标为free,并可以重新利用。

Go runtime不会立刻归还内存给操作系统,内存在大约5分钟左右没有被使用时,才会归还给操作系统。

例如:在处理Http请求时读取HttpBodyBytes.Buffer中,处理完HttpBody的内容之后,并不会立刻释放内存给OS,而是将这些内存对下一个Http请求进行内存的复用。

编写如下:简单的http服务,并使用ab进行压测可以验证Go gc的延迟归还内存给操作系统:

func main() {  
    http.HandleFunc("/bar", func(w http.ResponseWriter, r *http.Request) {  
        fmt.Fprintf(w, "Hello, %q", html.EscapeString(r.URL.Path))  
    })  

    http.ListenAndServe(":8010", nil)  

    fmt.Println("hello")  
}  

初始:

$ ps -p 563 -v  
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND  
  563 pts/19   SNl    0:27      0  2100 359203  3480  0.1 ./http  

压测后:

ab -n 1000000 -c 1000 http://10.104.7.46:8010/bar
$ ps -p 563 -v  
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND  
  563 pts/19   SNl    0:27      0  2100 359203 12908  0.1 ./http  

 5min后:

$ ps -p 563 -v  
  PID TTY      STAT   TIME  MAJFL   TRS   DRS   RSS %MEM COMMAND  
  563 pts/19   SNl    0:27      0  2100 359203 4816  0.0 ./http  

可以看到RSS由3480到12908在到4816,结合free -m可以看到内存一样的变化,因此验证了golang的内存管理的延迟归还特性。

2.强制归还内存

debug.FreeOSMemory()

该函数强制尽可能多的将内存归还给操作系统。不推荐手动调用释放内存,

FreeOSMemory

的操作在后台进程runtime来负责执行,定期归还内存给操作系统。

到此这篇关于Go 内存分配管理的文章就介绍到这了,更多相关Go 内存管理内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯