摘要：?摘要 這篇文章介紹了阿里云開(kāi)發(fā)智能網(wǎng)卡的動(dòng)機(jī)、功能框架和軟轉(zhuǎn)發(fā)程序以及在軟轉(zhuǎn)發(fā)過(guò)程中發(fā)現(xiàn)的問(wèn)題和優(yōu)化方法。 主講人陳靜 阿里云高級(jí)技術(shù)專家 主題Zero-copy Optimization for DPDK vhost-user Receiving 分論壇Network & Orchestration 項(xiàng)目背景 在VPC產(chǎn)品部署中虛擬交換Virtual Switch承擔(dān)著overlay層和underlay層進(jìn)行網(wǎng)絡(luò)協(xié)議的加解密encap/decap功能在多租戶虛擬機(jī)或者容器的主機(jī)上也需要進(jìn)行二三層的路由轉(zhuǎn)發(fā)、Qos、限流、安全組等。

摘要： 這篇文章介紹了阿里云開(kāi)發(fā)智能網(wǎng)卡的動(dòng)機(jī)、功能框架和軟轉(zhuǎn)發(fā)程序，以及在軟轉(zhuǎn)發(fā)過(guò)程中發(fā)現(xiàn)的問(wèn)題和優(yōu)化方法。

主講人：陳靜 阿里云高級(jí)技術(shù)專家

主題：Zero-copy Optimization for DPDK vhost-user Receiving

分論壇：Network & Orchestration

項(xiàng)目背景

在VPC產(chǎn)品部署中，虛擬交換（Virtual Switch）承擔(dān)著overlay層和underlay層進(jìn)行網(wǎng)絡(luò)協(xié)議的加解密（encap/decap）功能；在多租戶（虛擬機(jī)或者容器）的主機(jī)上，也需要進(jìn)行二三層的路由轉(zhuǎn)發(fā)、Qos、限流、安全組等。虛擬交換現(xiàn)在業(yè)界有比較被廣泛接受的OVS開(kāi)源項(xiàng)目，在阿里云上，我們也開(kāi)發(fā)了針對(duì)自身業(yè)務(wù)相契合的AVS項(xiàng)目。AVS有和OVS類似的功能，也同樣是純軟件的實(shí)現(xiàn)方式，在我們使用過(guò)程中，發(fā)現(xiàn)了一些問(wèn)題，從而催生了智能網(wǎng)卡項(xiàng)目。

首先，AVS占用主機(jī)資源。AVS作為軟件，需要占用主機(jī)側(cè)的計(jì)算資源、內(nèi)存資源，當(dāng)吞吐量大時(shí)，還會(huì)占用大量的LLC cache資源，而本來(lái)這些資源更好的利用方式是交給客戶，增加資源的利用率。

其次，性能瓶頸。在云上業(yè)務(wù)部署過(guò)程中，應(yīng)用對(duì)網(wǎng)絡(luò)帶寬的要求在不斷提高，純軟件的方式已經(jīng)慢慢跟不上這種需求，因此有必要用對(duì)AVS進(jìn)行加速。

基于這兩個(gè)原因，我們進(jìn)行了智能網(wǎng)卡項(xiàng)目。

Virtio or SRIOV？

眾所周知采用PCI-E SRIOV技術(shù)的VF設(shè)備，通過(guò)PASS-THROUGH的方式呈現(xiàn)在VM，具有高性能、功能豐富的特點(diǎn)。但是缺點(diǎn)也同樣明顯，比如熱遷移（hot-plug）不方便；不同廠家提供的VF接口不一致；需要額外的驅(qū)動(dòng)等等。virtio作為業(yè)界比較通用的一種虛擬設(shè)備接口方式可以解決之上的各種問(wèn)題，但是問(wèn)題在于目前暫時(shí)沒(méi)有完全支持virtio接口設(shè)備的硬件廠商，其是使用軟件模擬實(shí)現(xiàn)的一種方式，因此性能不是很好。那么，有沒(méi)有一種又有高性能，同時(shí)支持virtio的解決方案呢？

?

?

我們結(jié)合virtio和SRIOV的優(yōu)勢(shì)，設(shè)計(jì)了一套基于軟轉(zhuǎn)發(fā)的方案。

?

智能網(wǎng)卡方案

下圖是我們的智能網(wǎng)卡的框架設(shè)計(jì)，在卡上有一個(gè)標(biāo)準(zhǔn)的網(wǎng)卡ASIC和一個(gè)片上系統(tǒng)，片上系統(tǒng)自帶內(nèi)存和CPU。AVS運(yùn)行在片上系統(tǒng)，把快速路徑（fast-path）卸載到ASIC中，而自身只負(fù)責(zé)慢速路徑（slow-path）的處理。通過(guò)快慢速路徑分離的方式，不但減輕了軟件AVS的處理負(fù)載，也大大提高了吞吐率。

在智能網(wǎng)卡實(shí)現(xiàn)過(guò)程中，由于我們的標(biāo)卡沒(méi)法做到virtio-net的硬化，所以對(duì)host的輸出只是一個(gè)提供商定義（vendor-specific）的VF接口。同時(shí)，在客戶側(cè)（VM
），我們期望用戶不用做任何的修改，沿用virtio-net接口。在這種需求下，我們開(kāi)發(fā)了一個(gè)簡(jiǎn)單的、基于DPDK的軟轉(zhuǎn)發(fā)程序。由于AVS在網(wǎng)卡已經(jīng)完成了所有的策略、邏輯、路由、多隊(duì)列的所有功能，VF和virtio-net前端有一一對(duì)應(yīng)的關(guān)系，而軟轉(zhuǎn)發(fā)程序只需要完成VF和virtio-net的接口轉(zhuǎn)換和報(bào)文傳遞即可。同時(shí)，我們也不能為該軟轉(zhuǎn)發(fā)程序分配很多資源，否則就和我們最初做智能網(wǎng)卡的初衷背道而馳。因此，軟轉(zhuǎn)發(fā)的性能成為了我們非常重要考量的指標(biāo)。在描述我們的優(yōu)化方法之前，我們先了解一下常規(guī)路徑。

報(bào)文接收路徑

在講到報(bào)文接收路徑之前，有必要介紹一下DPDK中接收隊(duì)列的初始化方式。首先，軟件需要在內(nèi)存中分配一段緩沖區(qū)作為隊(duì)列，隊(duì)列中的數(shù)據(jù)結(jié)構(gòu)稱為描述符（descriptor），這是軟件和硬件交互的接口；如果是virtio-net這中para-virtualized模擬設(shè)備，前端驅(qū)動(dòng)和后端驅(qū)動(dòng)交互的接口。除此之外，軟件還需要一個(gè)內(nèi)存池（memory pool），里面都是固定大小的數(shù)據(jù)緩沖區(qū)，用來(lái)承載網(wǎng)卡發(fā)送過(guò)來(lái)的網(wǎng)絡(luò)報(bào)文。

初始化接收隊(duì)列之后，網(wǎng)卡就可以開(kāi)始正常工作了。當(dāng)從網(wǎng)絡(luò)中接收到報(bào)文之后，按照下圖所示進(jìn)行處理，最終送達(dá)到對(duì)應(yīng)的虛擬機(jī)。

首先，報(bào)文緩存在智能網(wǎng)卡上，然后進(jìn)行快速路徑或者慢速路徑的處理，最終判斷是發(fā)送到哪一個(gè)VF，哪一個(gè)接收隊(duì)列。

接著，網(wǎng)卡會(huì)從對(duì)應(yīng)的VF接收隊(duì)列讀取描述符，獲得存儲(chǔ)報(bào)文的地址，然后進(jìn)行DMA操作，最后，回寫描述符到接收隊(duì)列，描述符中包含了報(bào)文長(zhǎng)度、類型、錯(cuò)誤標(biāo)志位等信息。

軟轉(zhuǎn)發(fā)程序通過(guò)VF接收隊(duì)列的描述符發(fā)現(xiàn)收到了一個(gè)報(bào)文，接著會(huì)讀取VM中的virtio-net的接收隊(duì)列描述符，獲得需要拷貝的虛機(jī)中的DMA數(shù)據(jù)地址，通過(guò)memcpy的方式拷貝報(bào)文；接著，更新virtio-net的描述符信息，通知前端驅(qū)動(dòng)，整個(gè)邏輯完成。

優(yōu)化后的零拷貝接收

從之上的過(guò)程可以發(fā)現(xiàn)在報(bào)文送到虛擬機(jī)的整個(gè)路徑中，報(bào)文被拷貝了兩次：一次是硬件DMA到主機(jī)內(nèi)存，另外一次是軟轉(zhuǎn)發(fā)程序拷貝報(bào)文到虛擬機(jī)的Guest memory。特別是后一次是非常消耗CPU時(shí)間的操作。從我們后來(lái)的性能profiling也可以看到內(nèi)存拷貝占用了很大的比例。那么，能不能減少一次拷貝呢？

綜合以上的需求，我們?cè)O(shè)計(jì)了接收端的零拷貝方案。主要是設(shè)計(jì)了一個(gè)隊(duì)列同步模塊，如下所示。

它主要的作用有以下幾個(gè)：

1.???????在前端virtio-net和SRIOV VF隊(duì)列的描述建立1：1的映射關(guān)系。

2.???????監(jiān)控前端virtio-net 接受隊(duì)列描述符的改變，同步到VF的接收隊(duì)列中。這樣，在VF的接受隊(duì)列中就不需要內(nèi)存池來(lái)緩存從網(wǎng)卡上收到的報(bào)文，而直接用虛擬機(jī)傳遞的緩存。

3.???????進(jìn)行虛機(jī)物理地址（Guest Physical Address, GPA）到主機(jī)物理地址（Host Physical Address, HPA）的轉(zhuǎn)換。在virtio-net的VF中，驅(qū)動(dòng)填充的是GPA地址，在沒(méi)有利用IOMMU的情況下，需要把GPA轉(zhuǎn)換成HPA，這樣智能網(wǎng)卡才能進(jìn)行DMA傳送。

?

在有了隊(duì)列同步模塊之后，報(bào)文的接收過(guò)程如下圖所示。

主要改進(jìn)在于智能網(wǎng)卡直接DMA到虛擬機(jī)指定的內(nèi)存中去，并且硬件還不感知這個(gè)變化。軟轉(zhuǎn)發(fā)程序只是簡(jiǎn)單的將VF接受隊(duì)列的描述符信息進(jìn)行轉(zhuǎn)換，填充到前端virtio-net的接受隊(duì)列中去。

零拷貝的優(yōu)勢(shì)

經(jīng)過(guò)測(cè)試和分析，我們覺(jué)得零拷貝有如下的優(yōu)勢(shì)：

l???性能

• 接收端減少了內(nèi)存拷貝
  

• Footprint減少，避免cache-coherency
  

• 總體性能提高了40%
  

2、時(shí)延

• 減少拷貝帶來(lái)的時(shí)間開(kāi)銷