Linux中有后備文件支持的頁(yè)稱為文件頁(yè)，如屬于進(jìn)程的代碼段、數(shù)據(jù)段的頁(yè)，內(nèi)存回收的時(shí)候這些頁(yè)面只需要做臟頁(yè)的同步即可（干凈的頁(yè)面可以直接丟棄掉）。反之為匿名頁(yè)，如進(jìn)程的堆棧使用的頁(yè)，內(nèi)存回收的時(shí)候這些頁(yè)面不能簡(jiǎn)單的丟棄掉，需要交換到交換分區(qū)或交換文件。本文中，主要分析匿名頁(yè)的訪問(wèn)將發(fā)生哪些可能顛覆我們認(rèn)知的"化學(xué)反應(yīng)"。

1.實(shí)例代碼

首先以一個(gè)簡(jiǎn)單的示例代碼來(lái)說(shuō)明：

#include
#include
#include
#include
#include

#defineMAP_SIZE(100*1024*1024)

intmain(intargc,char*argv[])
{
char*p;
charval;
inti;

puts("beforemmapok,pleaceexec'free-m'!");
sleep(5);


//mmap

p=mmap(NULL,MAP_SIZE,PROT_READ|PROT_WRITE,MAP_PRIVATE|MAP_ANONYMOUS,-1,0);
if(p==NULL){
perror("failtomalloc");
return-1;
}
puts("aftermmapok,pleaceexec'free-m'!");
sleep(5);


//read
for(i=0;i"readok,pleaceexec'free-m'!");
sleep(5);

#if1
//write
memset(p,0x55,MAP_SIZE);
puts("writeok,pleaceexec'free-m'!");
#endif
//sleep
pause();

return0;
}

代碼非常簡(jiǎn)單：首先通過(guò)mmap分配100M的私有可讀可寫(xiě)匿名頁(yè)面，然后進(jìn)行讀寫(xiě)訪問(wèn)，分別在提示的時(shí)候在另外一個(gè)窗口執(zhí)行free -m命令查看輸出結(jié)果。

程序執(zhí)行結(jié)果如下：

$./anon_rw_demo
beforemmapok,pleaceexec'free-m'!
aftermmapok,pleaceexec'free-m'!
readok,pleaceexec'free-m'!
writeok,pleaceexec'free-m'!

命令執(zhí)行結(jié)果如下：

$free-m
總計(jì)已用空閑共享緩沖/緩存可用
內(nèi)存： 15729  8286  1945  895  5497  6220
交換： 16290 1599  14691
$free-m
總計(jì)已用空閑共享緩沖/緩存可用
內(nèi)存： 15729  8286  1945  895  5497  6220
交換： 16290 1599  14691
$free-m
總計(jì)已用空閑共享緩沖/緩存可用
內(nèi)存： 15729  8286  1945  895  5497  6220
交換： 16290 1599  14691
$free-m
總計(jì)已用空閑共享緩沖/緩存可用
內(nèi)存： 15729  8383  1848  895  5497  6123
交換： 16290 1599  14691

可以看到：

第一次提示執(zhí)行free命令的時(shí)候，我們還沒(méi)有開(kāi)始通過(guò)mmap分配內(nèi)存，此時(shí)free命令輸出作為參考。

第二次提示執(zhí)行free命令的時(shí)候，我們已經(jīng)通過(guò)mmap分配了100M的內(nèi)存，此時(shí)發(fā)現(xiàn)free命令輸出內(nèi)存消耗基本沒(méi)有變化。

第三次提示執(zhí)行free命令的時(shí)候，我們對(duì)于分配的匿名頁(yè)面進(jìn)行了讀操作，此時(shí)發(fā)現(xiàn)free命令輸出內(nèi)存消耗頁(yè)基本沒(méi)有變化,這基本上會(huì)顛覆我們的認(rèn)知。

第四次提示執(zhí)行free命令的時(shí)候，我們對(duì)于分配的匿名頁(yè)面進(jìn)行了寫(xiě)操作，此時(shí)發(fā)現(xiàn)free命令輸出內(nèi)存消耗大概為100M。

2.內(nèi)核原理

下面我們從Linux內(nèi)核的層面來(lái)解析發(fā)生以上神奇現(xiàn)象的原理。

2.1 mmap的內(nèi)存消耗

mmap申請(qǐng)匿名頁(yè)的時(shí)候，只是申請(qǐng)了虛擬內(nèi)存（通過(guò)vm_area_struct結(jié)構(gòu)來(lái)描述，如描述虛擬內(nèi)存區(qū)域的地址范圍、訪問(wèn)權(quán)限等，以下簡(jiǎn)稱vma），實(shí)際的物理內(nèi)存并沒(méi)有申請(qǐng)（除了用于管理虛擬內(nèi)存區(qū)域的vma等結(jié)構(gòu)內(nèi)存的申請(qǐng)），當(dāng)前虛擬內(nèi)存和物理內(nèi)存并沒(méi)有建立頁(yè)表映射關(guān)系，而真正的申請(qǐng)的匿名頁(yè)所對(duì)應(yīng)的物理頁(yè)在實(shí)際訪問(wèn)的時(shí)候按需分配獲得，所以此時(shí)我們看不到內(nèi)存的消耗情況。

2.2 第一次讀匿名頁(yè)的內(nèi)存消耗

通過(guò)mmap申請(qǐng)完虛擬內(nèi)存之后，進(jìn)程就可以按照之前申請(qǐng)vma的訪問(wèn)權(quán)限進(jìn)行訪問(wèn)，第一發(fā)生讀訪問(wèn)，這個(gè)時(shí)候由于虛擬內(nèi)存和物理內(nèi)存并沒(méi)有建立頁(yè)表映射關(guān)系，通過(guò)虛擬地址并不能查找到物理內(nèi)存，所以會(huì)發(fā)生處理器的異常，最終分析是因?yàn)閿?shù)據(jù)訪問(wèn)異常導(dǎo)致，就由處理器架構(gòu)相關(guān)的代碼進(jìn)入了我們通用的缺頁(yè)異常處理例程中。

缺頁(yè)異常調(diào)用鏈如下：

"mm/memory.c"

處理器架構(gòu)相關(guān)異常處理代碼
->handle_mm_fault
->__handle_mm_fault
->handle_pte_fault
->if(!vmf->pte){-------------------1
if(vma_is_anonymous(vmf->vma))-------------------2
returndo_anonymous_page(vmf);-------------------3

缺頁(yè)異常進(jìn)入handle_pte_fault后，在1標(biāo)簽代碼處，來(lái)判斷訪問(wèn)的虛擬內(nèi)存頁(yè)的頁(yè)表項(xiàng)是否為空，為空說(shuō)明這個(gè)這個(gè)虛擬頁(yè)沒(méi)有和物理頁(yè)建立映射關(guān)系。然后在2標(biāo)簽代碼處判斷是否為匿名頁(yè)缺頁(yè)異常（實(shí)際上是判斷是否為私有的匿名頁(yè)，當(dāng)前當(dāng)前示例代碼場(chǎng)景申請(qǐng)的為私有匿名頁(yè)面）。在3標(biāo)簽代碼處，進(jìn)行真正的私有匿名頁(yè)缺頁(yè)異常處理。

下面主要看下第一次讀匿名頁(yè)的處理：

do_anonymous_page
->pte_alloc(vma->vm_mm,vmf->pmd)-------------------1
->/*Usethezero-pageforreads*/
if(!(vmf->flags&FAULT_FLAG_WRITE)&&-------------------2
!mm_forbids_zeropage(vma->vm_mm)){-------------------3
entry=pte_mkspecial(pfn_pte(my_zero_pfn(vmf->address),
vma->vm_page_prot));-------------------4
vmf->pte=pte_offset_map_lock(vma->vm_mm,vmf->pmd,
vmf->address,&vmf->ptl);-------------------5

...
gotosetpte;
}
->page=alloc_zeroed_user_highpage_movable(vma,vmf->address);-------------------6
->entry=mk_pte(page,vma->vm_page_prot);-------------------7
entry=pte_sw_mkyoung(entry);-------------------8
if(vma->vm_flags&VM_WRITE)
entry=pte_mkwrite(pte_mkdirty(entry));-------------------9

vmf->pte=pte_offset_map_lock(vma->vm_mm,vmf->pmd,vmf->address,
&vmf->ptl);-------------------10

->set_pte_at(vma->vm_mm,vmf->address,vmf->pte,entry);-------------------11

1標(biāo)簽處：判斷虛擬地址對(duì)應(yīng)的pmd表項(xiàng)是否為空，為空來(lái)分配直接頁(yè)表設(shè)置到pmd表項(xiàng)中。

2標(biāo)簽處：判斷是否是進(jìn)行讀訪問(wèn)。

3標(biāo)簽處：判斷是否沒(méi)有禁止0頁(yè)。

4標(biāo)簽處：就是對(duì)于沒(méi)有禁止0頁(yè)的匿名頁(yè)讀訪問(wèn)設(shè)置頁(yè)表，這里通過(guò)0頁(yè)的頁(yè)幀號(hào)和mmap映射時(shí)指定的訪問(wèn)權(quán)限組合頁(yè)表項(xiàng)的值。

5標(biāo)簽處：通過(guò)發(fā)生缺頁(yè)的虛擬地址來(lái)計(jì)算出頁(yè)表項(xiàng)的地址保存在 vmf->pte。

最11標(biāo)簽處：將4標(biāo)簽初組合出的頁(yè)表項(xiàng)的值寫(xiě)入到5標(biāo)簽初計(jì)算出的頁(yè)表項(xiàng)中。

以上分析可知：對(duì)于私有的匿名頁(yè)，第一次讀訪問(wèn)的時(shí)候都會(huì)發(fā)生缺頁(yè)異常，然后通過(guò)頁(yè)表映射0頁(yè)，這個(gè)0頁(yè)沒(méi)有什么特殊之處，只不過(guò)它是在系統(tǒng)啟動(dòng)過(guò)程中初始化好的一塊內(nèi)容全為0的頁(yè)面，這樣做可以為進(jìn)程分配了內(nèi)存只進(jìn)行讀訪問(wèn)節(jié)省大量物理內(nèi)存。

2.3 第一次寫(xiě)匿名頁(yè)的內(nèi)存消耗

大家可以將示例代碼中，讀訪問(wèn)屏蔽掉只進(jìn)行寫(xiě)訪問(wèn)，觀察內(nèi)存消耗。

這個(gè)時(shí)候發(fā)生缺頁(yè)異常時(shí)，不會(huì)在走2 3 4 5 便簽處代碼，而在6處分配了一個(gè)物理頁(yè)面，在7 8 9組合頁(yè)表項(xiàng)的值， 10處計(jì)算出頁(yè)表項(xiàng)的地址，最后把組合的值設(shè)置到頁(yè)表項(xiàng)中。

需要注意第9處，如果是寫(xiě)訪問(wèn)會(huì)設(shè)置頁(yè)表項(xiàng)的可寫(xiě)標(biāo)志位。

以上分析可知：對(duì)于私有的匿名頁(yè)，第一次寫(xiě)訪問(wèn)的時(shí)候都會(huì)發(fā)生缺頁(yè)異常，會(huì)真正分配一個(gè)物理頁(yè)面，然后將虛擬頁(yè)面通過(guò)頁(yè)面映射到物理頁(yè)面，所以我們能觀察到寫(xiě)之后發(fā)生了大量?jī)?nèi)存消耗。

2.4 第一次讀然后寫(xiě)匿名頁(yè)的內(nèi)存消耗

這種場(chǎng)景就是示例代碼中所做的實(shí)驗(yàn)，可以看到讀的時(shí)候基本上沒(méi)有內(nèi)存消耗，寫(xiě)的時(shí)候發(fā)生了大量?jī)?nèi)存消耗。

關(guān)于第一次讀，上面已經(jīng)做過(guò)解釋，下面主要看讀完之后的頁(yè)面發(fā)生寫(xiě)訪問(wèn)的情況。

2.4.1 從mmap說(shuō)起

實(shí)際上，對(duì)于一個(gè)私有的內(nèi)存映射，在mmap的時(shí)候?yàn)轫?yè)表映射準(zhǔn)備訪問(wèn)權(quán)限的時(shí)候并不是給予所有的權(quán)限，而是把可寫(xiě)屬性去掉了。

我們可以從源代碼找到答案：

"mm/mmap.c"

do_mmap
->mmap_region
->vma_set_page_prot(vma)
->vm_page_prot=vm_pgprot_modify(vma->vm_page_prot,vm_flags);---------1
->pgprot_modify(oldprot,vm_get_page_prot(vm_flags))
->WRITE_ONCE(vma->vm_page_prot,vm_page_prot);---------------2


/*descriptionofeffectsofmappingtypeandprotincurrentimplementation.
*thisisduetothelimitedx86pageprotectionhardware.Theexpected
*behaviorisinparens:
*
*map_typeprot
*PROT_NONEPROT_READPROT_WRITEPROT_EXEC
*MAP_SHAREDr:(no)nor:(yes)yesr:(no)yesr:(no)yes
*w:(no)now:(no)now:(yes)yesw:(no)no
*x:(no)nox:(no)yesx:(no)yesx:(yes)yes
*
*MAP_PRIVATEr:(no)nor:(yes)yesr:(no)yesr:(no)yes
*w:(no)now:(no)now:(copy)copyw:(no)no
*x:(no)nox:(no)yesx:(no)yesx:(yes)yes
*/
->vm_get_page_prot
pgprot_tprotection_map[16]__ro_after_init={
__P000,__P001,__P010,__P011,__P100,__P101,__P110,__P111,
__S000,__S001,__S010,__S011,__S100,__S101,__S110,__S111
};

對(duì)于__Pxxx， 最后一個(gè)x表示vma屬性是否可讀，倒數(shù)第二個(gè)x表示vma屬性是否可寫(xiě)，P后面的x表示是否可執(zhí)行。

1標(biāo)簽處根據(jù)mmap傳遞的訪問(wèn)權(quán)限來(lái)構(gòu)造最終的訪問(wèn)權(quán)限標(biāo)識(shí)。

2標(biāo)簽處將構(gòu)造好的訪問(wèn)權(quán)限標(biāo)識(shí)記錄到vma->vm_page_prot中，供缺頁(yè)異常設(shè)置頁(yè)表使用。

注釋中已經(jīng)做了詳細(xì)的解釋，具體頁(yè)表屬性如何表示由各自的處理器架構(gòu)相關(guān)代碼來(lái)做（eg: 對(duì)于x86架構(gòu) #define __P111 PAGE_COPY_EXEC），我們只需要知道：無(wú)論我們想讓vma具備那些屬性組合，都會(huì)屏蔽掉寫(xiě)屬性，具體可以查看相關(guān)的處理器架構(gòu)實(shí)現(xiàn)。

所以，再次回到缺頁(yè)異常處理代碼中。在2.2小節(jié)的4標(biāo)簽處，使用mmap設(shè)置好的頁(yè)表訪問(wèn)權(quán)限設(shè)置頁(yè)表屬性，當(dāng)前場(chǎng)景我們知道，mmap中指定為私有的可讀可寫(xiě)屬性，而頁(yè)表中只是設(shè)置為了只讀屬性。

2.4.2 寫(xiě)時(shí)復(fù)制的觸發(fā)

讀訪問(wèn)將虛擬頁(yè)以只讀的方式映射到了0頁(yè)，當(dāng)再次發(fā)生寫(xiě)操作時(shí)，就會(huì)再次觸數(shù)據(jù)訪問(wèn)異常，最終進(jìn)入缺頁(yè)異常處理例程中。

下面給出調(diào)用鏈：

"mm/memory.c"

handle_pte_fault
->if(vmf->flags&FAULT_FLAG_WRITE){-----------1
if(!pte_write(entry))-----------2
returndo_wp_page(vmf);-----------3

可以看到最終也是在handle_pte_fault中處理：在1標(biāo)簽處判斷是否為寫(xiě)訪問(wèn)。在2標(biāo)簽處判斷頁(yè)表項(xiàng)的屬性是否是只讀。在3標(biāo)簽處進(jìn)行實(shí)際的寫(xiě)時(shí)復(fù)制處理。

以上分析可知：發(fā)生寫(xiě)訪問(wèn)操作時(shí)，如果vma可寫(xiě)，但是頁(yè)表屬性標(biāo)識(shí)不可寫(xiě)（只讀），會(huì)發(fā)生寫(xiě)時(shí)復(fù)制缺頁(yè)異常，對(duì)于當(dāng)前場(chǎng)景的0頁(yè)的寫(xiě)訪問(wèn)就是如此，在do_wp_page中會(huì)重新分配物理頁(yè)面映射到虛擬頁(yè)面，然后頁(yè)表設(shè)置為可寫(xiě)屬性，就完成了缺頁(yè)處理。

3.總結(jié)

1）mmap分配私有匿名內(nèi)存時(shí)，會(huì)設(shè)置vma的vm_page_prot成員，去除掉頁(yè)表的寫(xiě)訪問(wèn)標(biāo)識(shí)。

2）第一次讀匿名頁(yè)時(shí)，對(duì)于可讀可寫(xiě)的vma，虛擬頁(yè)會(huì)以只讀的方式映射到0頁(yè)。

3）第一次寫(xiě)匿名頁(yè)時(shí)，對(duì)于可讀可寫(xiě)的vma，會(huì)申請(qǐng)物理頁(yè)面，虛擬頁(yè)以可讀可寫(xiě)的方式映射到此物理頁(yè)。

4）第一次讀匿名頁(yè)后，然后寫(xiě)匿名頁(yè)，先只讀方式映射到0頁(yè)，然后發(fā)生寫(xiě)時(shí)復(fù)制，分配物理頁(yè)，虛擬頁(yè)以可讀可寫(xiě)的方式映射到此物理頁(yè)。

可以發(fā)現(xiàn)，訪問(wèn)匿名頁(yè)面時(shí)發(fā)生的“化學(xué)反應(yīng)”并不是那么的簡(jiǎn)單，其中會(huì)涉及mmap的映射原則，0頁(yè)的映射，匿名頁(yè)面的處理，寫(xiě)時(shí)復(fù)制的處理等等，而且讀寫(xiě)順序不一樣，產(chǎn)生的結(jié)果也會(huì)不一樣，大家可以結(jié)合內(nèi)核源代碼進(jìn)行分析，希望對(duì)大家理解匿名頁(yè)缺頁(yè)異常有所幫助。

責(zé)任編輯：haq