文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Python的内存管理

2023-01-31 02:00

关注

    一直以为用Python、java这样的语言就不在需要关心内存使用的问题,但事情还是发生了。
    前一段时间需要写一个应用,需要将用户删除的记录在文件中的偏移记录到另一个文件中,由于需要load的最大的数据文件也就1.2GB左右,而且系统的初始化设置在凌晨1点左右,做了个小测试,在几秒钟的时间可以load完数据并通过二分查找确定边界初始化列表,看了看服务器内存还是很空闲的,就想偷个懒在内存中做二分查找。开始测试的时候找了个较小的数据文件一切都正常,但到了线上环境内存就一路狂升到1.3G左右停下,本以为是python内存泄露,但review了所有的代码也没有找到可疑的地方。将所有不用的变量del掉可是,难道垃圾回收没起作用,通过sys.getrefcount来查看了可疑的变量的引用计数,内存还是没有降下来,看来真是遇到诡异的事件了。
    在网上谷歌了一下python内存方面的文章,有篇网文写到,python将不用的内存放到内存池而并不返回给操作系统。在这个绝望的时候也没有别的办法了,只有试试这个方法了,那内存申请的大头开刀吧!将二分查找放磁盘中来做,在将二分查找改为文件二分查找后内存仅仅占14MB左右。至此大功告成!
回头总结下以上遇到的问题,python作为动态语言为了保证效率的确可能将释放的内存放到内存池中以减少内存申请时用户态到内核态切换时锁消耗的时间。在用python处理大对象和内存密集型任务时要格外注意python进程对系统内存的占有率。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯