文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

如何进行linux内存的Hugepages优化

2023-06-06 03:56

关注

本篇文章给大家分享的是有关如何进行linux内存的Hugepages优化,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

Hugepages是从Linux kernal 2.6后被引入的,其目的是使用更大的memory page size以适应越来越大的系统内存。

理论知识:

(1. Page Table大小

而Hugepages的常见page size为2M,是4k size的500倍,所以可以大大减小page table的size。

这是一个没有配置Hugepage的系统,系统内存128G,pagetable大小大约为4G。

cat /proc/meminfoMemTotal: 132086880 kBPageTables: 4059612 kB这是配置了Hugepage的系统,系统内存96G, PageTable大小仅为78MMemTotal: 98999880 kBPageTables: 79916 kB

      进程的虚拟内存地址段先连接到page tables然后再连接到物理内存。所以在访问内存时需要先访问page tables得到虚拟内存和物理内存的映射关系,然后再访问物理内存。

(3.使用Hugepages的内存页是不会被交换出去的,永远常驻在内存中,所以也减少了内存也替换的额外开销

2、数据库服务器上使用Hugepages要注意的几点

比如说Hugepages设置为90G,oracle SGA为91G,那么oracle在启动的时候就不会使用到这90G的Hugepages。这90G就浪费了。所以在设置Hugepages时要计算SGA的大小,后面会给出一个脚本来计算。

(3. PGA不会使用Hugepages的内存。所以11g的AMM (Automatic Memory Management,memory_target参数)是不被支持的。而ASMM(Automatic Shared Memory Management, SGA_target参数)是被支持的,这两个不要搞混淆了。

举例说明:

HugePages_Total: 43000HugePages_Free: 29493HugePages_Rsvd: 23550Hugepagesize: 2048 kBHugePages_Total为所分配的页面数目,和Hugepagesize相乘后得到所分配的内存大小。43000*2/1024大约为84GBHugePages_Free为从来没有被使用过的Hugepages数目。即使oracle sga已经分配了这部分内存,但是如果没有实际写入,那么看到的还是Free的。这是很容易误解的地方HugePages_Rsvd为已经被分配预留但是还没有使用的page数目。在Oracle刚刚启动时,大部分内存应该都是Reserved并且Free的,随着oracle SGA的使用,Reserved和Free都会不断的降低HugePages_Free – HugePages_Rsvd 这部分是没有被使用到的内存,如果没有其他的oracle instance,这部分内存也许永远都不会被使用到,也就是被浪费了。在该系统上有11.5GB的内存被浪费了。

3、设置HugePages步骤:

在/etc/security/limits.conf文件中添加memlock的限制,注意该值略微小于实际物理内存的大小。比如物理内存是64GB,可以设置为如下:

*  hard   memlock    60397977

如果使用了Oracle Linux的oracle?-validated包,或者Exadata DB compute会自动配置这个参数。

第二步:验证memlock使用如下命令查看参数值:  这里,最好是重启一下服务器再验证,比较稳妥

60397977

第三步:11g中禁用AMM    ----注意

另外:默认情况下ASM instance也是使用AMM的,但因为ASM实例不需要大SGA,所以对ASM实例使用HugePages意义不大。

确保所有的数据库实例都已经启动,包括ASM实例。使用hugepages_settings.sh脚本获取thevm.nr_hugepages内核参数的建议值。

...(略)

...

验证配置:

      为了确保HugePages配置的有效性,HugePages_Free值应该小于HugePages_Total的值,并且应该等于HugePages_Rsvd的值。

实例:机器配置:128G物理内存+56G的SGA

root># grep HugePages /proc/meminfoHugePages_Total: 28674HugePages_Free:    707HugePages_Rsvd:    706

附计算hugepages脚本:

#!/bin/bash## hugepages_settings.sh## Linux bash script to compute values for the# recommended HugePages/HugeTLB configuration## Note: This script does calculation for all shared memory# segments available when the script is run, no matter it# is an Oracle RDBMS shared memory segment or not.## This script is provided by Doc ID 401749.1 from My Oracle Support# http://support.oracle.com# Welcome textecho "This script is provided by Doc ID 401749.1 from My Oracle Support(http://support.oracle.com) where it is intended to compute values forthe recommended HugePages/HugeTLB configuration for the current sharedmemory segments. Before proceeding with the execution please make surethat: * Oracle Database instance(s) are up and running * Oracle Database 11g Automatic Memory Management (AMM) is not setup   (See Doc ID 749851.1) * The shared memory segments can be listed by command:     # ipcs -mPress Enter to proceed..."read# Check for the kernel versionKERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'`# Find out the HugePage sizeHPG_SZ=`grep Hugepagesize /proc/meminfo | awk '{print $2}'`# Initialize the counterNUM_PG=0# Cumulative number of pages required to handle the running shared memory segmentsfor SEG_BYTES in `ipcs -m | awk '{print $5}' | grep "[0-9][0-9]*"`do   MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q`   if [ $MIN_PG -gt 0 ]; then      NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q`   fidoneRES_BYTES=`echo "$NUM_PG * $HPG_SZ * 1024" | bc -q`# An SGA less than 100MB does not make sense# Bail out if that is the caseif [ $RES_BYTES -lt 100000000 ]; then   echo "***********"   echo "** ERROR **"   echo "***********"   echo "Sorry! There are not enough total of shared memory segments allocated forHugePages configuration. HugePages can only be used for shared memory segmentsthat you can list by command:   # ipcs -mof a size that can match an Oracle Database SGA. Please make sure that: * Oracle Database instance is up and running * Oracle Database 11g Automatic Memory Management (AMM) is not configured"   exit 1fi# Finish with resultscase $KERN in   '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`;          echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;   '2.6') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;    *) echo "Unrecognized kernel version $KERN. Exiting." ;;esac


 

以上就是如何进行linux内存的Hugepages优化,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注编程网行业资讯频道。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-人工智能
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯