1.IOMMU

1.1 IOMMU功能簡(jiǎn)介

IOMMU主要功能包括DMA Remapping和Interrupt Remapping，這里主要講解DMA Remapping，Interrupt Remapping會(huì)獨(dú)立講解。對(duì)于DMA Remapping，IOMMU與MMU類似。IOMMU可以將一個(gè)設(shè)備訪問(wèn)地址轉(zhuǎn)換為存儲(chǔ)器地址，下圖針對(duì)有無(wú)IOMMU情況說(shuō)明IOMMU作用。

在沒(méi)有IOMMU的情況下，網(wǎng)卡接收數(shù)據(jù)時(shí)地址轉(zhuǎn)換流程，RC會(huì)將網(wǎng)卡請(qǐng)求寫入地址addr1直接發(fā)送到DDR控制器，然后訪問(wèn)DRAM上的addr1地址，這里的RC對(duì)網(wǎng)卡請(qǐng)求地址不做任何轉(zhuǎn)換，網(wǎng)卡訪問(wèn)的地址必須是物理地址。

對(duì)于有IOMMU的情況，網(wǎng)卡請(qǐng)求寫入地址addr1會(huì)被IOMMU轉(zhuǎn)換為addr2，然后發(fā)送到DDR控制器，最終訪問(wèn)的是DRAM上addr2地址，網(wǎng)卡訪問(wèn)的地址addr1會(huì)被IOMMU轉(zhuǎn)換成真正的物理地址addr2，這里可以將addr1理解為虛機(jī)地址。

左圖是沒(méi)有IOMMU的情況，對(duì)于虛機(jī)無(wú)法實(shí)現(xiàn)設(shè)備的透?jìng)鳎蛑饕袃蓚€(gè)：一是因?yàn)樵跊](méi)有IOMMU的情況下，設(shè)備必須訪問(wèn)真實(shí)的物理地址HPA，而虛機(jī)可見(jiàn)的是GPA；二是如果讓虛機(jī)填入真正的HPA，那樣的話相當(dāng)于虛機(jī)可以直接訪問(wèn)物理地址，會(huì)有安全隱患。所以針對(duì)沒(méi)有IOMMU的情況，不能用透?jìng)鞯姆绞?，?duì)于設(shè)備的直接訪問(wèn)都會(huì)有VMM接管，這樣就不會(huì)對(duì)虛機(jī)暴露HPA。

右圖是有IOMMU的情況，虛機(jī)可以將GPA直接寫入到設(shè)備，當(dāng)設(shè)備進(jìn)行DMA傳輸時(shí)，設(shè)備請(qǐng)求地址GPA由IOMMU轉(zhuǎn)換為HPA（硬件自動(dòng)完成），進(jìn)而DMA操作真實(shí)的物理空間。IOMMU的映射關(guān)系是由VMM維護(hù)的，HPA對(duì)虛機(jī)不可見(jiàn)，保障了安全問(wèn)題，利用IOMMU可實(shí)現(xiàn)設(shè)備的透?jìng)鳌＿@里先留一個(gè)問(wèn)題，既然IOMMU可以將設(shè)備訪問(wèn)地址映射成真實(shí)的物理地址，那么對(duì)于右圖中的Device A和Device B，IOMMU必須保證兩個(gè)設(shè)備映射后的物理空間不能存在交集，否則兩個(gè)虛機(jī)可以相互干擾，這和IOMMU的映射原理有關(guān)，后面會(huì)詳細(xì)介紹。

1.2 IOMMU作用

根據(jù)上一節(jié)內(nèi)容，總結(jié)IOMMU主要作用如下：

屏蔽物理地址，起到保護(hù)作用。典型應(yīng)用包括兩個(gè)：一是實(shí)現(xiàn)用戶態(tài)驅(qū)動(dòng)，由于IOMMU的映射功能，使HPA對(duì)用戶空間不可見(jiàn)，在vfio部分還會(huì)舉例。二是將設(shè)備透?jìng)鹘o虛機(jī)，使HPA對(duì)虛機(jī)不可見(jiàn)，并將GPA映射為HPA

IOMMU可以將連續(xù)的虛擬地址映射到不連續(xù)的多個(gè)物理內(nèi)存片段，這部分功能于MMU類似，對(duì)于沒(méi)有IOMMU的情況，設(shè)備訪問(wèn)的物理空間必須是連續(xù)的，IOMMU可有效的解決這個(gè)問(wèn)題

1.3 IOMMU工作原理

前面簡(jiǎn)單介紹了IOMMU的映射功能，下面講述IOMMU到底如何實(shí)現(xiàn)映射的，為便于分析，這里先不考慮虛擬化的場(chǎng)景，以下圖為例，闡述工作原理。

IOMMU的主要功能就是完成映射，類比MMU利用頁(yè)表實(shí)現(xiàn)VA->PA的映射，IOMMU也需要用到頁(yè)表，那么下一個(gè)問(wèn)題就是如何找到頁(yè)表。在設(shè)備發(fā)起DMA請(qǐng)求時(shí)，會(huì)將自己的Source Identifier(包含Bus、Device、Func)包含在請(qǐng)求中，IOMMU根據(jù)這個(gè)標(biāo)識(shí)，以RTADDR_REG指向空間為基地址，然后利用Bus、Device、Func在Context Table中找到對(duì)應(yīng)的Context Entry，即頁(yè)表首地址，然后利用頁(yè)表即可將設(shè)備請(qǐng)求的虛擬地址翻譯成物理地址。這里做以下說(shuō)明：

圖中紅線的部門，是兩個(gè)Context Entry指向了同一個(gè)頁(yè)表。這種情況在虛擬化場(chǎng)景中的典型用法就是這兩個(gè)Context Entry對(duì)應(yīng)的不同PCIe設(shè)備屬于同一個(gè)虛機(jī)，那樣IOMMU在將GPA->HPA過(guò)程中要遵循同一規(guī)則

由圖中可知，每個(gè)具有Source Identifier(包含Bus、Device、Func)的設(shè)備都會(huì)具有一個(gè)Context Entry。如果不這樣做，所有設(shè)備共用同一個(gè)頁(yè)表，隸屬于不同虛機(jī)的不同GPA就會(huì)翻譯成相同HPA，會(huì)產(chǎn)生問(wèn)題，

有了頁(yè)表之后，就可以按照MMU那樣進(jìn)行地址映射工作了，這里也支持不同頁(yè)大小的映射，包括4KB、2MB、1GB，不同頁(yè)大小對(duì)應(yīng)的級(jí)數(shù)也不同，下圖以4KB頁(yè)大小為例說(shuō)明，映射過(guò)程和MMU類似，不再詳細(xì)闡述。

1.4 Source Identifier

在講述IOMMU的工作原理時(shí)，講到了設(shè)備利用自己的Source Identifier(包含Bus、Device、Func)來(lái)找到頁(yè)表項(xiàng)來(lái)完成地址映射，不過(guò)存在下面幾個(gè)特殊情況需要考慮。

對(duì)于由PCIe switch擴(kuò)展出的PCI橋及橋下設(shè)備，在發(fā)送DMA請(qǐng)求時(shí)，Source Identifier是PCIe switch的，這樣的話該P(yáng)CI橋及橋下所有設(shè)備都會(huì)使用PCIe switch的Source Identifier去定位Context Entry，找到的頁(yè)表也是同一個(gè)，如果將這個(gè)PCI橋下的不同設(shè)備分給不同虛機(jī)，由于會(huì)使用同一份頁(yè)表，這樣會(huì)產(chǎn)生問(wèn)題，針對(duì)這種情況，當(dāng)前PCI橋及橋下的所有設(shè)備必須分配給同一個(gè)虛機(jī)，這就是VFIO中組的概念，下面會(huì)再講到。

對(duì)于SRIO-V，之前介紹過(guò)VF的Bus及devfn的計(jì)算方法，所以不同VF會(huì)有不同的Source Identifier，映射到不同虛機(jī)也是沒(méi)有問(wèn)題的

2.VFIO

VFIO就是內(nèi)核針對(duì)IOMMU提供的軟件框架，支持DMA Remapping和Interrupt Remapping，這里只講DMA Remapping。VFIO利用IOMMU這個(gè)特性，可以屏蔽物理地址對(duì)上層的可見(jiàn)性，可以用來(lái)開(kāi)發(fā)用戶態(tài)驅(qū)動(dòng)，也可以實(shí)現(xiàn)設(shè)備透?jìng)鳌?/p>

2.1 概念介紹

先介紹VFIO中的幾個(gè)重要概念，主要包括Group和Container。

Group：group 是IOMMU能夠進(jìn)行DMA隔離的最小硬件單元，一個(gè)group內(nèi)可能只有一個(gè)device，也可能有多個(gè)device，這取決于物理平臺(tái)上硬件的IOMMU拓?fù)浣Y(jié)構(gòu)。設(shè)備直通的時(shí)候一個(gè)group里面的設(shè)備必須都直通給一個(gè)虛擬機(jī)。不能夠讓一個(gè)group里的多個(gè)device分別從屬于2個(gè)不同的VM，也不允許部分device在host上而另一部分被分配到guest里， 因?yàn)榫瓦@樣一個(gè)guest中的device可以利用DMA攻擊獲取另外一個(gè)guest里的數(shù)據(jù)，就無(wú)法做到物理上的DMA隔離。

Container：對(duì)于虛機(jī)，Container 這里可以簡(jiǎn)單理解為一個(gè)VM Domain的物理內(nèi)存空間。對(duì)于用戶態(tài)驅(qū)動(dòng)，Container可以是多個(gè)Group的集合。

上圖中PCIe-PCI橋下的兩個(gè)設(shè)備，在發(fā)送DMA請(qǐng)求時(shí)，PCIe-PCI橋會(huì)為下面兩個(gè)設(shè)備生成Source Identifier，其中Bus域?yàn)榧t色總線號(hào)bus，device和func域?yàn)?。這樣的話，PCIe-PCI橋下的兩個(gè)設(shè)備會(huì)找到同一個(gè)Context Entry和同一份頁(yè)表，所以這兩個(gè)設(shè)備不能分別給兩個(gè)虛機(jī)使用，這兩個(gè)設(shè)備就屬于一個(gè)Group。

2.2 使用示例

這里先以簡(jiǎn)單的用戶態(tài)驅(qū)動(dòng)為例，在設(shè)備透?jìng)餍」?jié)中，在分析如何利用vfio實(shí)現(xiàn)透?jìng)鳌?/p>

int container, group, device, i; struct vfio_group_status group_status = { .argsz = sizeof(group_status) }; struct vfio_iommu_type1_info iommu_info = { .argsz = sizeof(iommu_info) }; struct vfio_iommu_type1_dma_map dma_map = { .argsz = sizeof(dma_map) }; struct vfio_device_info device_info = { .argsz = sizeof(device_info) }; /* Create a new container */ container = open("/dev/vfio/vfio", O_RDWR); if (ioctl(container, VFIO_GET_API_VERSION) != VFIO_API_VERSION) /* Unknown API version */ if (!ioctl(container, VFIO_CHECK_EXTENSION, VFIO_TYPE1_IOMMU)) /* Doesn't support the IOMMU driver we want. */ /* Open the group */ group = open("/dev/vfio/26", O_RDWR); /* Test the group is viable and available */ ioctl(group, VFIO_GROUP_GET_STATUS, &group_status); if (!(group_status.flags & VFIO_GROUP_FLAGS_VIABLE)) /* Group is not viable (ie, not all devices bound for vfio) */ /* Add the group to the container */ ioctl(group, VFIO_GROUP_SET_CONTAINER, &container); /* Enable the IOMMU model we want */ // type 1 open | attatch ioctl(container, VFIO_SET_IOMMU, VFIO_TYPE1_IOMMU); /* Get addition IOMMU info */ ioctl(container, VFIO_IOMMU_GET_INFO, &iommu_info); /* Allocate some space and setup a DMA mapping */ dma_map.vaddr = mmap(0, 1024 * 1024, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, 0, 0); dma_map.size = 1024 * 1024; dma_map.iova = 0; /* 1MB starting at 0x0 from device view */ dma_map.flags = VFIO_DMA_MAP_FLAG_READ | VFIO_DMA_MAP_FLAG_WRITE; ioctl(container, VFIO_IOMMU_MAP_DMA, &dma_map); /* Get a file descriptor for the device */ device = ioctl(group, VFIO_GROUP_GET_DEVICE_FD, "00000d.0"); /* Test and setup the device */ ioctl(device, VFIO_DEVICE_GET_INFO, &device_info);

對(duì)于dev下Group就是按照上一節(jié)介紹的Group劃分規(guī)則產(chǎn)生的，上述代碼描述了如何使用VFIO實(shí)現(xiàn)映射，對(duì)于Group和Container的相關(guān)操作這里不做過(guò)多解釋，主要關(guān)注如何完成映射，下圖解釋具體工作流程。

首先，利用mmap映射出1MB字節(jié)的虛擬空間，因?yàn)槲锢淼刂穼?duì)于用戶態(tài)不可見(jiàn)，只能通過(guò)虛擬地址訪問(wèn)物理空間。然后執(zhí)行ioctl的VFIO_IOMMU_MAP_DMA命令，傳入?yún)?shù)主要包含vaddr及iova，其中iova代表的是設(shè)備發(fā)起DMA請(qǐng)求時(shí)要訪問(wèn)的地址，也就是IOMMU映射前的地址，vaddr就是mmap的地址。VFIO_IOMMU_MAP_DMA命令會(huì)為虛擬地址vaddr找到物理頁(yè)并pin?。ㄒ?yàn)樵O(shè)備DMA是異步的，隨時(shí)可能發(fā)生，物理頁(yè)面不能交換出去），然后找到Group對(duì)應(yīng)的Contex Entry，建立頁(yè)表項(xiàng)，頁(yè)表項(xiàng)能夠?qū)ova地址映射成上面pin住的物理頁(yè)對(duì)應(yīng)的物理地址上去，這樣對(duì)用戶態(tài)程序完全屏蔽了物理地址，實(shí)現(xiàn)了用戶空間驅(qū)動(dòng)。IOVA地址的00x100000對(duì)應(yīng)DRAM地址0x100000000x10100000，size為1024 * 1024。一句話概述，VFIO_IOMMU_MAP_DMA這個(gè)命令就是將iova通過(guò)IOMMU映射到vaddr對(duì)應(yīng)的物理地址上去。

3.設(shè)備透?jìng)鞣治?/p>

設(shè)備透?jìng)骶褪怯商摍C(jī)直接接管設(shè)備，虛機(jī)可以直接訪問(wèn)MMIO空間，VMM配置好IOMMU之后，設(shè)備DMA讀寫請(qǐng)求也無(wú)需VMM借入，需要注意的是設(shè)備的配置空間沒(méi)有透?jìng)鳎驗(yàn)閂MM已經(jīng)配置好了BAR空間，如果將這部分空間也透?jìng)鹘o虛機(jī)，虛機(jī)會(huì)對(duì)BAR空間再次配置，會(huì)導(dǎo)致設(shè)備無(wú)法正常工作。

3.1 虛機(jī)地址映射

在介紹透?jìng)髦?，先看下虛機(jī)的GPA與HVA和HPA的關(guān)系，以及虛機(jī)是如何訪問(wèn)到真實(shí)的物理地址的，過(guò)程如下圖。

一旦頁(yè)表建立好后，整個(gè)映射過(guò)程都是硬件自動(dòng)完成的，對(duì)于上圖有如下幾點(diǎn)說(shuō)明：

對(duì)于虛機(jī)內(nèi)的頁(yè)表，完成GVA到GPA的映射，雖然整個(gè)過(guò)程都是硬件自動(dòng)完成，但有一點(diǎn)要注意下，在虛機(jī)的中各級(jí)頁(yè)表也是存儲(chǔ)在HPA中的，而CR3及各級(jí)頁(yè)表中裝的地址都是GPA，所以在訪問(wèn)頁(yè)表時(shí)也需要借助EPT，上圖中以虛線表示這個(gè)過(guò)程

利用虛機(jī)頁(yè)表完成GVA到GPA的映射后，此時(shí)借助EPT實(shí)現(xiàn)GPA到HPA的映射，這里沒(méi)有什么特殊的，就是一層層頁(yè)表映射

看完上圖，有沒(méi)有發(fā)現(xiàn)少了點(diǎn)啥，是不是沒(méi)有HVA。單從上圖整個(gè)虛機(jī)尋址的映射過(guò)程來(lái)看，是不需要HVA借助的，硬件會(huì)自動(dòng)完成GVA->GPA->HPA映射，那么HVA有什么用呢？這里從下面兩方面來(lái)分析：1）Qemu利用iotcl控制KVM實(shí)現(xiàn)EPT的映射，映射的過(guò)程中必然要申請(qǐng)物理頁(yè)面。Qemu是應(yīng)用程序，唯一可見(jiàn)的只是HVA，這時(shí)候又需要借助mmap了，Qemu會(huì)根據(jù)虛機(jī)的ram大小，即GPA大小范圍，然后mmap出與之對(duì)應(yīng)的大小，即HVA。通過(guò)KVM_SET_USER_MEMORY_REGION命令控制KVM，與這個(gè)命令一起傳入的參數(shù)主要包括兩個(gè)值，guest_phys_addr代表虛機(jī)GPA地址起始，userspace_addr代表上面mmap得到的首地址（HVA）。傳入進(jìn)去后，KVM就會(huì)為當(dāng)前虛機(jī)GPA建立EPT映射表實(shí)現(xiàn)GPA->HPA，同時(shí)會(huì)為VMM建立HVA->HPA映射。2）當(dāng)vm_exit發(fā)生時(shí)，VMM需要對(duì)異常進(jìn)行處理，異常發(fā)生時(shí)VMM能夠獲取到GPA，有時(shí)VMM需要訪問(wèn)虛機(jī)GPA對(duì)應(yīng)的HPA，VMM的映射和虛機(jī)的映射方式不同，是通過(guò)VMM完成HVA->HPA，且只能通過(guò)HVA才能訪問(wèn)HPA，這就需要VMM將GPA及HVA的對(duì)應(yīng)關(guān)系維護(hù)起來(lái)，這個(gè)關(guān)系是Qemu維護(hù)的，這里先不管Qemu的具體實(shí)現(xiàn)（后面會(huì)有專門文檔介紹），當(dāng)前只需要知道給定一個(gè)虛機(jī)的GPA，虛機(jī)就能獲取到GPA對(duì)應(yīng)的HVA。下圖描述VMM與VM的地址映射關(guān)系。

3.2 設(shè)備透?jìng)鲗?shí)現(xiàn)

在前面介紹VFIO的使用實(shí)例時(shí)，核心思想就是IOVA經(jīng)過(guò)IOMMU映射出的物理地址與HVA經(jīng)過(guò)MMU映射出的物理地址是同一個(gè)。對(duì)于設(shè)備透?jìng)鞯那闆r，先上圖，然后看圖說(shuō)話。

先來(lái)分析一下設(shè)備的DMA透?jìng)鞯墓ぷ髁鞒?，一旦設(shè)備透?jìng)鹘o了虛機(jī)，虛機(jī)在配置設(shè)備DMA時(shí)直接使用GPA。此時(shí)GPA經(jīng)由EPT會(huì)映射成HPA1，GPA經(jīng)由IOMMU映射的地址為HPA2，此時(shí)的HPA1和HPA2必須相等，設(shè)備的透?jìng)鞑庞幸饬x。下面介紹在配置IOMMU時(shí)如何保證HPA1和HPA2相等，在VFIO章節(jié)講到了VFIO_IOMMU_MAP_DMA這個(gè)命令就是將iova通過(guò)IOMMU映射到vaddr對(duì)應(yīng)的物理地址上去。對(duì)于IOMMU來(lái)講，此時(shí)的GPA就是iova，我們知道GPA經(jīng)由EPT會(huì)映射為HPA1，對(duì)于VMM來(lái)講，這個(gè)HPA1對(duì)應(yīng)的虛機(jī)地址為HVA，那樣的話在傳入VFIO_IOMMU_MAP_DMA命令時(shí)講hva作為vaddr，IOMMU就會(huì)將GPA映射為HVA對(duì)應(yīng)的物理地址及HPA1，即HPA1和HPA2相等。上述流程幫助理清整個(gè)映射關(guān)系，實(shí)際映射IOMMU的操作很簡(jiǎn)單，前面提到了qemu維護(hù)了GPA和HVA的關(guān)系，在映射IOMMU的時(shí)候也可以派上用場(chǎng)。注：IOMMU的映射在虛機(jī)啟動(dòng)時(shí)就已經(jīng)建立好了，映射要涵蓋整個(gè)GPA地址范圍，同時(shí)虛機(jī)的HPA對(duì)應(yīng)的物理頁(yè)都不會(huì)交換出去（設(shè)備DMA交換是異步的）。