Linux內(nèi)存管理概述

我們知道linux系統(tǒng)內(nèi)核的主要工作之一是管理系統(tǒng)中安裝的物理內(nèi)存，系統(tǒng)中內(nèi)存是以page頁為單位進(jìn)行分配，每個(gè)page頁的大小是4K，如果我們需要申請(qǐng)使用內(nèi)存則內(nèi)核的分配流程是這樣的，首先內(nèi)核會(huì)為元數(shù)據(jù)分配內(nèi)存存儲(chǔ)空間，然后才分配實(shí)際的物理內(nèi)存頁，再分配對(duì)應(yīng)的虛擬地址空間和更新頁表。

好奇的同學(xué)肯定想問，元數(shù)據(jù)是什么，為什么我申請(qǐng)內(nèi)存還要分配元數(shù)據(jù)，元數(shù)據(jù)有什么用呢？

其實(shí)為了管理內(nèi)存頁的使用情況，內(nèi)核設(shè)計(jì)者采用了page structure(頁面結(jié)構(gòu))的數(shù)據(jù)結(jié)構(gòu)，也就是我們所說的元數(shù)據(jù)來跟蹤內(nèi)存，該數(shù)據(jù)結(jié)構(gòu)以數(shù)組的形式保存在內(nèi)存中，并且以physical frame number(物理頁框號(hào))為索引來做快速訪問 (見圖1) 。

(圖1)

元數(shù)據(jù)存儲(chǔ)著各種內(nèi)存信息，比如使用大頁復(fù)合頁的信息，slub分配器的信息等等，以便告訴內(nèi)核該如何使用每個(gè)頁面，以及跟蹤頁面在各個(gè)映射列表上的位置，或?qū)⑵溥B接到后端的存儲(chǔ)等等。所以在內(nèi)核的內(nèi)存管理中頁面元數(shù)據(jù)的重要性不言而喻，目前在64位系統(tǒng)上這個(gè)數(shù)據(jù)結(jié)構(gòu)占用64個(gè)字節(jié)，而由于通常的頁面大小為4KB，比如一臺(tái)安裝了4GB內(nèi)存的普通電腦上就有1048576個(gè)普通頁，這意味著差不多需要64MB大小的內(nèi)存來存儲(chǔ)內(nèi)存元數(shù)據(jù)來用于管理內(nèi)存普通頁。

似乎看起來并沒有占用很多內(nèi)存，但是在某些應(yīng)用場(chǎng)景下面可就不同了哦，現(xiàn)今的云服務(wù)中普遍安裝了海量?jī)?nèi)存來支持各種業(yè)務(wù)的運(yùn)行，尤其是AI和機(jī)器學(xué)習(xí)等場(chǎng)景下面，比如圖2中，如果服務(wù)器主機(jī)有768g的內(nèi)存，則其中能真正被業(yè)務(wù)使用的只有753g，有大約10多個(gè)g的物理內(nèi)存就被內(nèi)存元數(shù)據(jù)所占用了，假如我們可以精簡(jiǎn)這部分內(nèi)存，再將其回收利用起來，則云服務(wù)提供商就可以提供更多的云主機(jī)給自己的客戶，從而增加每臺(tái)服務(wù)器能帶來的收入，降低了總體擁有成本，也就是我們常說的TCO，有那么多好處肯定是要付諸實(shí)施咯，但是我們要如何正確并且巧妙地處理這個(gè)問題而不影響系統(tǒng)的穩(wěn)定性呢？

(圖2)

Direct Memory Management File System(直接內(nèi)存管理文件系統(tǒng)）

有的小伙伴會(huì)說好像現(xiàn)有的內(nèi)核接口就可以解決類似問題呀，比如我可以mmap系統(tǒng)中的/dev/mem，將線性地址描述的物理內(nèi)存直接映射到進(jìn)程的地址空間內(nèi)，不但可以直接訪問這部分內(nèi)存也繞過了內(nèi)核繁復(fù)的內(nèi)存管理機(jī)制，豈不是很方便。但其實(shí)這里有很大的局限性，首先對(duì)于/dev/mem的訪問需要root權(quán)限的加持，這就增加了內(nèi)核被攻擊的風(fēng)險(xiǎn)，其次mmap映射出來的是一整塊連續(xù)的內(nèi)存，在使用的過程中如何進(jìn)行碎片化的管理和回收，都會(huì)相應(yīng)需要用戶態(tài)程序增加大量的代碼復(fù)雜度和額外的開銷。 為了既能更好地提高內(nèi)存利用率，又不影響已有的用戶態(tài)業(yè)務(wù)代碼邏輯，騰訊云虛擬化開源團(tuán)隊(duì)獨(dú)辟蹊徑，為內(nèi)核引入了全新的虛擬文件系統(tǒng) - Direct Memory Management File System（直接內(nèi)存管理文件系統(tǒng)）(見圖3)，該文件系統(tǒng)可以支持頁面離散化映射用來避免內(nèi)存碎片，同時(shí)全新設(shè)計(jì)了高效的remap (重映射)機(jī)制用來處理內(nèi)存硬件故障（MCE）的情況，并且對(duì)KVM、VFIO和內(nèi)存子系統(tǒng)交互所用到的接口都進(jìn)行了優(yōu)化，用來加速虛擬機(jī)機(jī)EPT頁表和IOMMU頁表的建立，在避免了內(nèi)存元數(shù)據(jù)的額外開銷的情況下還增加了虛擬機(jī)的性能提升的空間。

(圖3)

從內(nèi)存管理上來看，dmemfs在服務(wù)器系統(tǒng)啟動(dòng)引導(dǎo)的時(shí)候就將指定數(shù)量的內(nèi)存預(yù)先保留在系統(tǒng)中的各個(gè)NUMA節(jié)點(diǎn)上，這部分內(nèi)存沒有被系統(tǒng)內(nèi)存管理機(jī)制接管，也就不需要消耗額外的內(nèi)存來存儲(chǔ)元數(shù)據(jù)。 我們知道內(nèi)核的內(nèi)存信息全部來自e820表, 這部分e820信息只提供了內(nèi)存的區(qū)間描述和類型，無法提供NUMA節(jié)點(diǎn)信息, 所以必須在memblock初始化之后, 內(nèi)核buddy伙伴系統(tǒng)初始化之前做好內(nèi)存預(yù)留 (見圖4), 而這時(shí)memblock可能已經(jīng)有分配出去的空間, 以及BIOS會(huì)預(yù)留等等原因, 導(dǎo)致同一個(gè)節(jié)點(diǎn)存在不連續(xù)的內(nèi)存塊，因此dmemfs引入了全新的kernel parameter “dmem=”，并將其指定為early param。 內(nèi)核在解析完參數(shù)之后會(huì)將得到的信息全部存放在全局結(jié)構(gòu)體dmem_param，其中包含著我們需要預(yù)留的memory的大小和起始地址等，隨后在內(nèi)核初始化到在ACPI處理和paging_ini()之間，我們插入dmem的預(yù)留處理函數(shù)memblock_reserve()，將dmem內(nèi)存從memblock中扣除，形成dmem內(nèi)存池。而存留在memblock中的系統(tǒng)內(nèi)存則會(huì)被paging_init()構(gòu)建對(duì)應(yīng)的內(nèi)存元數(shù)據(jù)并納入buddy子系統(tǒng)。（見圖4）

(圖4)

預(yù)留下來的內(nèi)存由稱為dmem_pool的內(nèi)存池結(jié)構(gòu)體來管理，第一層拓?fù)錇閐mem numa node，用來描述dmem在各個(gè)numa 節(jié)點(diǎn)上的分布情況以實(shí)現(xiàn)了numa親和性，第二層拓?fù)涫窃赿mem numa node的基礎(chǔ)上再實(shí)現(xiàn)一個(gè)dmem region鏈表，以描述當(dāng)前節(jié)點(diǎn)下每段連續(xù)的dmem內(nèi)存區(qū)間（見圖5）。每個(gè)region中以page作為分配的最小顆粒度，都關(guān)聯(lián)到一個(gè)local bitmap來維護(hù)和管理每個(gè)dmem 頁面的狀態(tài)，在掛載dmemfs文件系統(tǒng)時(shí)為每個(gè) region申請(qǐng)并關(guān)聯(lián) bitmap, 并且指定頁面大小的粒度, 比如4K, 2M或1G，從而方便在服務(wù)器集群中部署使用

(圖5)

簡(jiǎn)單的來說在掛載了dmemfs文件系統(tǒng)之后，就可以使用如下的qemu參數(shù)將dmemfs所管理的物理內(nèi)存?zhèn)鬟f給虛擬機(jī)直接使用。

而在虛擬機(jī)啟動(dòng)之后，對(duì)內(nèi)存的讀寫會(huì)發(fā)生缺頁異常，而內(nèi)核的缺頁處理機(jī)制會(huì)將請(qǐng)求發(fā)送給dmemfs，dmemfs就會(huì)將預(yù)留內(nèi)存按照所需頁面的大小補(bǔ)充到EPT表中從而幫助虛擬機(jī)建立好GVA->HPA的映射關(guān)系。 為了滿足實(shí)際生產(chǎn)環(huán)境，dmemfs還必須支持對(duì)MCE的處理。MCE, 即Machine Check ERROR, 是一種用來報(bào)告系統(tǒng)錯(cuò)誤的硬件方式。當(dāng)觸發(fā)了MCE時(shí), 在Linux內(nèi)核流程中會(huì)檢查這個(gè)物理頁面是否屬于dmem管理, 我們?cè)诨诿總€(gè)連續(xù)內(nèi)存塊的dmem region內(nèi)引入了一個(gè)error_bitmap, 這是以物理頁面為單位的, 來記錄當(dāng)前系統(tǒng)中發(fā)生過mce的頁。同時(shí)通過多個(gè)手段, 保證分配內(nèi)存使用的bitmap和這個(gè)mce error_bitmap保持同步, 從而后續(xù)的分配請(qǐng)求會(huì)跳過這些錯(cuò)誤頁面（見圖6）。 然后在內(nèi)存管理部分引入一個(gè) mce通知鏈, 通過注冊(cè)相應(yīng)的處理函數(shù), 在觸發(fā)mce時(shí)可以通知使用者進(jìn)行相應(yīng)的處理。 而在dmem文件系統(tǒng)層面, 我們則通過inode鏈表來追蹤文件系統(tǒng)的inode，當(dāng)文件系統(tǒng)收到通知以后, 會(huì)遍歷這個(gè)鏈表來判斷并得到錯(cuò)誤頁面所屬的inode，再遍歷inode關(guān)聯(lián)的vma紅黑樹, 最終得到使用這些錯(cuò)誤頁的相關(guān)進(jìn)程進(jìn)行相應(yīng)的處理。

(圖6)

在使用了dmemfs之后，由于消除了冗余的內(nèi)存元數(shù)據(jù)結(jié)構(gòu)，內(nèi)存的額外消耗有了顯著地下降，從圖7的實(shí)驗(yàn)數(shù)據(jù)中可以看到，內(nèi)存規(guī)格384GB的服務(wù)器中, 內(nèi)存消耗從9GB降到2GB, 消耗降低了77.8%，而內(nèi)存規(guī)格越大, 使用內(nèi)存全售賣方案對(duì)內(nèi)存資源的消耗占比越小, 從而可以將更多內(nèi)存回收再利用起來, 降低了服務(wù)器平臺(tái)成本。

(圖 7)

原文標(biāo)題：內(nèi)存管理的另辟蹊徑 - 騰訊云虛擬化開源團(tuán)隊(duì)為內(nèi)核引入全新虛擬文件系統(tǒng)(dmemfs)

文章出處：【微信公眾號(hào)：Linuxer】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq