版权声明:转载时请以超链接情势标明文章原始出处和作者信息及本声明
http://blog.csdn.net/wenshuangzhu/article/details/44095565
系统进程是通过虚拟地址访问内存,但是CPU必须把它转换程物理内存地址才能真正访问内存。为了提高这个转换效力,CPU会缓存最近的虚拟内存地址和物理内存地址的映照关系,并保存在1个由CPU保护的映照表中。为了尽可能提高内存的访问速度,需要在映照表中保存尽可能多的映照关系。
而在Linux中,内存都是以页的情势划分的,默许情况下每页是4K,这就意味着如果物理内存很大,则映照表的条目将会非常多,会影响CPU的检索效力。由于内存大小是固定的,为了减少映照表的条目,可采取的办法只有增加页的尺寸。
HugePages是在Linux2.6内核被引入的,主要提供4k的page和比较大的page的选择。
概念 |
概念说明 |
page table |
page table是操作系统上的虚拟内存系统的数据结构模型,用于存储虚拟地址与物理地址的对应关系。 当我们访问内存时,首先访问page table,然后Linux在通过page table的mapping来访问真实物理内存(ram+swap) |
TLB |
A Translation Lookaside Buffer (TLB) TLB是在cpu中分配的1个固定大小的buffer(or cache),用于保存page table的部份内容,使CPU更快的访问并进行地址转换。 |
hugetlb |
hugetlb 是记录在TLB 中的条目并指向Hugepages。 |
hugetlbfs |
这是1个新的基于2.6 kernel之上的内存文件系统,犹如tmpfs。 在TLB中通过hugetlb来指向hugepage。这些被分配的hugepage作为内存文件系统hugetlbfs(类似tmpfs)提供给进程使用。 |
HugePages是linux内核的1个特性,使用hugepage可以用更大的内存页来取代传统的4K页面。使用HugePage主要带来以下好处:
1. HugePages 会在系统启动时,直接分配并保存对应大小的内存区域。
2. HugePages 在开机以后,如果没有管理员的参与,是不会释放和改变的。
3. 没有swap。
Notswappable: HugePages are not swappable. Therefore thereis no page-in/page-outmechanism overhead.HugePages are universally regarded aspinned.
4. 大大提高了CPU cache中寄存的page table所覆盖的内存大小,从而提高了TLB命中率。
进程的虚拟内存地址段先连接到page table然后再连接到物理内存。所以在访问内存时需要先访问page tables得到虚拟内存和物理内存的映照关系,然后再访问物理内存。
CPU cache中有1部份TLB用来寄存部份page table以提高这类转换的速度。由于page size变大了,所以一样大小的TLB,所覆盖的内存大小也变大了。提高了TLB命中率,也提高了地址转换的速度。
5. 减轻page table的负载。
进行XXX系统性能测试时,如果没有使用HugePages,数据库服务器上的pagetable大小大约为5G(这应当也是致使性能测试时数据库服务器内存不足的主要缘由):
node74:/home/oracle # cat /proc/meminfo
MemTotal: 16323732 kB
PageTables: 5442384kB
配置了HugePages后,pagetable大小仅为124M(性能测试时内存使用率稳定在80%左右):
node74:/home/oracle # cat /proc/meminfo
MemTotal: 16323732 kB
PageTables: 127384 kB
Eliminated page tablelookup overhead: 由于hugepage是不swappable的,所有就没有page table lookups。
Faster overall memory performance: 由于虚拟内存需要两步操作才能实际对应到物理内存地址,因此更少的pages,减轻了page table访问热度,避免了page table热门瓶颈问题。
6. 提高内存的性能,下降CPU负载,原理同上
1. Hugepages是在分配后就会预留出来的,其大小1定要比服务器上所有实例的SGA总和要大,差1点都不行。
比如说Hugepages设置为8G,oracle SGA为9G,那末oracle在启动的时候就不会使用到这8G的Hugepages。这8G就浪费了。所以在设置Hugepages时要计算SGA的大小,后面会给出1个脚本来计算。
2. 其他进程没法使用Hugepages的内存,所以不要设置太大,稍稍比SGA大1点保证SGA可使用到hugepages就行了。
3. 在meminfo中和Hugepage相干的有4项:
HugePages_Total: 4611
HugePages_Free: 474
HugePages_Rsvd: 467
Hugepagesize: 2048 kB
HugePages_Total为所分配的页面数目,和Hugepagesize相乘后得到所分配的内存大小。4611*2/1024大约为9GB
HugePages_Free为历来没有被使用过的Hugepages数目。即便oraclesga已分配了这部份内存,但是如果没有实际写入,那末看到的还是Free的。这是很容易误解的地方。
HugePages_Rsvd为已被分配预留但是还没有使用的page数目。在Oracle刚刚启动时,大部份内存应当都是Reserved并且Free的,随着oracle SGA的使用,Reserved和Free都会不断的下降。
HugePages_Free-HugePages_Rsvd 这部份是没有被使用到的内存,如果没有其他的oracle instance,这部份内存或许永久都不会被使用到,也就是被浪费了。
4. HugePages和oracle AMM(自动内存管理)是互斥的,所以使用HugePages必须设置内存参数MEMORY_TARGET / MEMORY_MAX_TARGET 为0。
修改内核参数memlock,单位是KB,如果内存是16G,memlock的大小要略微小于物理内存。计划lock 12GB的内存大小。参数设置为大于SGA是没有坏处的。
以root用户登录两台数据库服务器,编辑limits.conf文件:
node74:~ # vi /etc/security/limits.conf
增加以下两行内容:
* soft memlock 12582912
* hard memlock 12582912
重新登录root和oracle用户,检查memlocklimit
node74:~ # ulimit -l
12582912
oracle@node74:~> ulimit -l
12582912
如果使用11G及以后的版本,AMM已默许开启,但是AMM与Hugepages是不兼容的,必须先disable AMM。禁用AMM的步骤以下:
已oracle用户登录两台数据库服务器,通过sqlplus关闭2个数据库实例。
oracle@node74:~> sqlplus / as sysdba
SQL> shutdown immediate
以oracle用户登录其中1台主机,履行以下命令创建pfile:
oracle@node74:~> sqlplus / as sysdba
SQL> create pfile='/home/oracle/pfile.ora' fromspfile=’+DG_ORA/orcl/spfileorcl.ora’;
编辑pfile,删除memory_max_target和memory_target参数:
oracle@node74:~> vi /home/oracle/pfile.ora
删除下面几行:
orcl1.memory_max_target=11114905600
orcl2.memory_max_target=11114905600
*.memory_max_target=0
orcl1.memory_target=11114905600
orcl2.memory_target=11114905600
*.memory_target=0
修改后保存文件。
履行以下命令创建spfile:
oracle@node74:~> sqlplus / as sysdba
SQL> create spfile='+DG_ORA/orcl/spfileorcl.ora'from pfile='/home/oracle/pfile.ora';
Kernel.shmall是系统1次可使用的最大同享内存大小。单位是page(4KB)。禁用AMM后,需要修改系统参数kernel.shmall,该参数设置太小的话,可能会致使数据库启动失败ORA⑵7102(详见附录4.2)。
ORACLE建议将其设置为系统中所有数据库实例的SGA总和。例如SGA总和为9GB,则需要设置kernel.shmall=9*1024*1024/4=2359296。
以root用户登录两台数据库服务器,编辑sysctl.conf文件。
node74:~ # vi /etc/sysctl.conf
修改kernel.shmall参数:
kernel.shmall = 2359296
履行sysctl