上一篇介绍了ESXi内存分配原理，本篇重点讲一下超分情况下，出现内存竞争时，VMkernel如何进行内存回收的。

 

 

如上图所示，当内存超分时，就可能出现虚拟机内存的竞争，VMkernel在处理竞争的时候就会根据虚拟机设置的资源控制参数（预留，限制，份额）进行内存回收，优先回收free的内存，其次回收idle的内存，最后有可能回收到虚拟机的active内存，这个时候虚拟机的性能就会受到影响。

 

VMkernel的内存回收主要有以下四种：

• TPS（Transparent Page Sharing，透明页面共享）

• Balloon Driver（气球驱动）

• Memory Compression（内存压缩）

• Swap File（交换文件）

另外，还有一种是Host Swap Cache，当产生虚拟机内存交换时，会优先利用Cache资源从而避免用到虚拟机交换文件（.vswp）而产生严重的性能下降，当Cache空间写满时，内存交换就会用到常规的虚拟机交换文件（.vswp），但是该功能需要在主机上配置本地的SSD，默认是没有这个功能的。以上四种是VMkernel会根据内存的紧张程度依次触发。下边我们来重点描述以下这四种内存回收机制：

 

TPS（Transparent Page Sharing，透明页面共享）

首先解释一下什么是透明页面，指的是内容相同的内存页面，如下图的a, b, c, TPS会把内容相同的页面删掉，只保留一份共享，类似存储的去重技术。这样就可以节省内存资源，但是默认情况下，intra-VM（虚拟机内部）的TPS是打开的，如下图的a和c，inter-VM（虚拟机之间）的TPS是关闭的，如下图的b，考虑到安全因素。但是管理员可以通过参数设置（salt value）启用虚拟机之间的TPS。

 

在虚拟机的vmx配置文件里可以是设置sched.mem.pshare.salt，同时主机也可以设置参数Mem.ShareForceSalting（可以设置为0，1，2），对应场景如下：

• Mem.ShareForceSalting=0

  所有虚拟机的salt value都是0，同一主机上所有虚拟机之间都开启TPS。

• Mem.ShareForceSalting=1

  当设置sched.mem.pshare.salt时，该参数值相同的虚拟机之间启用TPS。没有设置该虚拟机参数时，所有虚拟机的salt value都是0，同一主机上所有虚拟机之间都开启TPS。

• Mem.ShareForceSalting=2

  当设置sched.mem.pshare.salt时，该参数值相同的虚拟机之间启用TPS。没有设置该虚拟机参数时，所有虚拟机之间都禁用TPS。

 

 

补充一下，由于现代的操作系统为了提高内存的访问效率，都会采用2MB的大内存页面，但是ESXi如果针对2MB的大内存页面进行TPS，那么具有相同数据的内存页面几率就会很小，所以TPS会在某一个阈值触发内存页面的拆分，把2MB的内存页面拆分成4KB大小，这样TPS会更大程度节省内存资源。

 

Balloon Driver（气球驱动）

气球驱动是虚拟机VMware Tools里的一个驱动程序（vmmemctl），全名叫做内存释放驱动程序，当主机的内存紧张时，该驱动程序就会回收虚拟机的内存资源，VMkernel就会对回收回来的内存进行重分配，气球驱动优先回收虚拟机的free内存和闲置内存（Idle），最终有可能回收到虚拟机的活动内存（Active）。被气球驱动回收的内存会通过OS内的交换空间进行交换，比如Windows的虚拟内存（pagefile）。如下图所示：

 

当虚拟机的活动内存被回收了，活动内存运行在OS的交换空间里，那么虚拟机的性能就会受到影响。

 

默认情况下，主机通过气球驱动对虚拟机的内存回收比率是65%，也就是最多回收虚拟机分配内存的65%，比如虚拟机分配2GB的内存，气球驱动只能最多回收1.3GB。但是这个比率是可以通过主机参数Mem.CtlMaxPercent更改的，如果设置为0，主机将会对所有虚拟机禁用气球驱动。最大可以设置为99%。

 

ESXi Shell中可以执行以下命令查看某个参数的默认值以及可设置范围：

 

 

同时，每个虚拟机也可以设置参数sched.mem.maxmemctl，用来限制这个虚拟机被气球驱动回收的最大值（MB）。默认是-1（unlimited）。如果主机仍然需要回收更多的内存，虚拟机就会强制用到交换文件。

 

 

Memory Compression（内存压缩）

当内存竞争到一定程度时，VMkernel就会把虚拟机的内存页面压缩后存放在内存的缓存中，（4KB的内存页面压缩成2KB或者更小），这样既可以节省内存资源，又可以避免过早使用交换文件，从而减小性能的影响。

默认情况下，每个虚拟机分配内存的10%会被压缩，可以通过主机参数Mem.MemZipMaxPct修改比率，设置范围是5%~100%。但也可以禁用内存压缩功能，将主机参数Mem.MemZipEnable由1改为0即可。

 

Swap File（交换文件）

当内存非常紧张时，最后一个没有办法的办法就是VMkernel会通过每个虚拟机的交换文件（.vswp）进行内存回收，该交换文件默认存在虚拟机的文件夹中，在虚拟机开机时候产生，关机时候自动删除。大小等于虚拟机分配内存大小减去预留值（默认为0，由管理员设置），如果预留值实时更改了，那么交换文件的大小需要虚拟机重启后才会更改生效。

 

以上就是关于ESXi对内存进行回收的详细原理，这四个回收机制由VMkernel根据主机内存的紧张程度依次触发，触发点是个动态的阈值，由主机参数Mem.MemMinFreePct 决定，主机内存的状态在监控时也会分为High, clear, soft, hard 和 low，这几个状态会决定VMkernel采用哪种回收机制来进行内存回收。

 

欢迎关注本人公众号~

 

上篇回顾：

ESXi CPU调度原理

ESXi 内存分配原理