文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

golang中内存分配的原理是什么

2024-04-02 19:55

关注

golang中内存分配的原理是什么,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

一、Linux系统内存

在说明golang内存分配之前,先了解下Linux系统内存相关的基础知识,有助于理解golang内存分配原理。

1.1 虚拟内存技术

在早期内存管理中,如果程序太大,超过了空闲内存容量,就没有办法把全部程序装入到内存,这时怎么办?  在许多年前,人们采用了一种叫做覆盖技术,这样一种解决方案。

这是一种什么样的解决方案?

就是把程序分为若干个部分,称为覆盖块(overlay),核心思想就是分解(跟现代架构技术中分解、分模块思想很相近)。然后只把那些需要用到的指令和数据保存在内存中,而把其余的指令和数据保存在内存外。关键是需要程序员手动来分块。

这种技术有什么问题呢?

这种技术必须由程序员手工把一个大的程序划分为若干个小的功能模块,并确定各个模块之间的调用关系。手工做这种事情很费时费力,使得编程复杂度增加。但是,程序员总是爱“偷懒”的,于是,人们去寻找更好的方案。

这个方案就是虚拟内存技术,它的基本思路:

这个就相当于在物理内存和程序之间增加了一个中间层,虚拟内存。

虚拟存储也可以看作是对内存的一种抽象。而且这种抽象带来诸多好处:

对进程起到保护作用,不被其他进程地址空间破坏,因为每个进程的地址空间都是相互独立。

Linux中对进程的处理抽象成了一个结构体 task_struct ,我前面文章有对这个结构体的介绍。下面就看看进程的内存。

1.2 进程的内存

进程内存在linux(32位)中的布局:

golang中内存分配的原理是什么

来自: https://manybutfinite.com/post/anatomy-of-a-program-in-memory/

最高位的1GB是linux内核空间,用户代码不能写,否则触发段错误。下面的3GB是进程使用的内存。

二、内存管理中的一些常见问题

  1. 鸿蒙官方战略合作共建——HarmonyOS技术社区

  2. 未能释放已经不再使用的内存 - 内存泄漏

  3. 指向不可用的内存指针 - 野指针

  4. 指针所指向的对象已经被回收了,但是指向该对象的指针仍旧指向已经回收的内存地址 - 悬挂指针

  5. 分配或释放内存太快或者太慢

  6. 分配内存大小不合理,造成内存碎片问题

  7. 内存碎片问题

三、TCMalloc

可以查看前面的文章TCMalloc内存分配简析,TCMalloc内存分配器的原理和golang内存分配器原理相近,所以理解了TCMalloc,golang内存分配原理也就理解大半,不过golang对它也有一些改动。

四、golang内存

4.1 golang怎么解决常见内存问题

golang是怎么解决 二 的内存管理中的常见问题的呢?

针对上面的1、2、3  这三种问题,golang使用自动垃圾回收机制,一般情况下,都不使用指针运算(要运算用unsafe包),很少的指针使用。当然,内存泄漏问题不能完全根除,但是可以解决一大部分问题。

针对下面的4、5、6 这三种问题,golang采用了多级缓存,预分配的方法,来加快内存分配和释放回收,尽量减少内存碎片。详见TCMalloc内存分配简析  。

4.2 为什么要重新写一个内存分配器

内核已经有一个malloc的内存分配器,为什么还有重写一个内存分配器?

可以看到,malloc是一个很悠久的内存分配器,但是随着时代的发展,多核多线程已经普及,为了更好的应用多线程,提高程序效率,以及改进内存碎片,所以重新写了一个内存分配器。从这里TCMalloc内存分配简析  可以看出TCMaloc的优点,它将内存划分为多级别,减少锁的开销。而且每个线程的缓存又分开了多个小的对象,以减少内存碎片。等等优化改进。

所以go内存分配也继承了这些优点。go还有一个原因,那就是go还有GC,需要配合内存的垃圾回收。

4.3 内存管理到底管理哪个区域

从上面的进程内存布局图,可以看出一个进程的内存划分了好多不同的区域,而内存管理主要管理的就是Stack和Heap,其中Stack  (栈)区主要由编译器和系统管理,程序语言主要管理Heap(堆)。而且这里的进程内存指的是虚拟内存。

4.4 golang内存中的概念

golang内存分配的基本思想来自TCMalloc,所以go内存分配中的几个概念与TCMalloc很相似,可以看看TCMalloc 中的概念 。

mspan

mspan跟tcmalloc中的span相似,它是golang内存管理中的基本单位,也是由页组成的,每个页大小为8KB,与tcmalloc中span组成的默认基本内存单位页大小相同。mspan里面按照8*2n大小(8b,16b,32b  .... ),每一个mspan又分为多个object。

就连名字也很像,mspan中的m应该是memory的第一个字母。

mcache

mcache跟tcmalloc中的ThreadCache相似,ThreadCache为每个线程的cache,同理,mcache可以为golang中每个Processor提供内存cache使用,每一个mcache的组成单位也是mspan。

mcentral

mcentral跟tcmalloc中的CentralCache相似,当mcache中空间不够用,可以向mcentral申请内存。可以理解为mcentral为mcache的一个“缓存库”,供mcaceh使用。它的内存组成单位也是mspan。

mcentral里有两个双向链表,一个链表表示还有空闲的mspan待分配,一个表示链表里的mspan都被分配了。

mheap

mheap跟tcmalloc中的PageHeap相似,负责大内存的分配。当mcentral内存不够时,可以向mheap申请。那mheap没有内存资源呢?跟tcmalloc一样,向OS操作系统申请。

还有,大于32KB的内存,也是直接向mheap申请。

总结

golang内存分配几个相关概念,用图来总结一下:

golang中内存分配的原理是什么

关于golang中内存分配的原理是什么问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注编程网行业资讯频道了解更多相关知识。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯