云計(jì)算已經(jīng)成為了一種新的計(jì)算范式。對(duì)于云計(jì)算而言，虛擬化是一項(xiàng)必不可少的技術(shù)，通過將硬件資源虛擬化，可以實(shí)現(xiàn)用戶之間的隔離、系統(tǒng)的靈活可擴(kuò)展，提升安全性，使得硬件資源可被充分利用。

從 2017 年起，因?yàn)?a target="_blank">FPGA的高可編程性、低延遲、高能效等特點(diǎn)，越來越多的云服務(wù)提供商，如 Amazon、阿里云、微軟 Azure，都開始在云端提供了賽靈思 FPGA 實(shí)例，邁出了云計(jì)算發(fā)展的重要一步。然而截至目前，F(xiàn)PGA 云服務(wù)仍以物理卡的形式、面向單一的靜態(tài)任務(wù)，沒有很好的針對(duì)云端 FPGA 虛擬化的解決方案。最近，在 FPGA 領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議 FCCM2020 上，清華大學(xué)汪玉教授研究小組就這一課題實(shí)現(xiàn)了重要突破。—— 姚頌，賽靈思人工智能業(yè)務(wù)高級(jí)總監(jiān)

開創(chuàng)先河：探索 FPGA 虛擬化之路

曾書霖：一直以來，我們團(tuán)隊(duì)的研究重點(diǎn)都是以移動(dòng)端神經(jīng)網(wǎng)絡(luò)加速器為基礎(chǔ)，在此之上思索如何推廣到云端數(shù)據(jù)中心進(jìn)行擴(kuò)展。為了適配云端的虛擬化特性，從硬件架構(gòu)到軟件設(shè)計(jì)都要實(shí)現(xiàn)對(duì)虛擬化的支持。2019 年我們發(fā)現(xiàn)，雖然在 CPU 和 GPU 上針對(duì)AI應(yīng)用已經(jīng)有很多支持虛擬化的解決方案，但是在 FPGA 領(lǐng)域還缺乏相對(duì)成熟的方案。于是，我們決定在 FPGA 上面同時(shí)針對(duì)深度學(xué)習(xí)和虛擬化進(jìn)行研究，力圖實(shí)現(xiàn) AI 應(yīng)用在云端數(shù)據(jù)中心的高效部署。簡單來講，就是研究如何讓多個(gè)用戶的 AI 應(yīng)用能夠同時(shí)在一個(gè) FPGA 上高效、可靠、靈活地運(yùn)行起來。

舉個(gè)例子，數(shù)據(jù)中心工作負(fù)載有一個(gè)重要特性，就是不僅存在多個(gè)用戶，而且工作負(fù)載是的。針對(duì)數(shù)據(jù)中心多任務(wù)和動(dòng)態(tài)負(fù)載的特點(diǎn)，深度學(xué)習(xí)加速器既要能夠支持這種多任務(wù)并發(fā)執(zhí)行，同時(shí)也需要適應(yīng)快速的動(dòng)態(tài)負(fù)載變化?；谶@種思考，我們的研究定位于對(duì)原有移動(dòng)端只能支持單任務(wù)和靜態(tài)負(fù)載的神經(jīng)網(wǎng)絡(luò)加速器進(jìn)行拓展，使之可以支持多任務(wù)并發(fā)和動(dòng)態(tài)負(fù)載支持的虛擬化加速器設(shè)計(jì)。

為此，我們通過多核硬件資源池、基于分塊 （tilling） 的指令封裝、兩級(jí)靜態(tài)與動(dòng)態(tài)編譯的方式，實(shí)現(xiàn)了任務(wù)間的分離，同時(shí)還能保證快速在線重編程。

在今年5月舉行的 FPGA 領(lǐng)域頂級(jí)會(huì)議 FCCM 2020 上，我們團(tuán)隊(duì)發(fā)表了針對(duì)深度學(xué)習(xí)加速的 FPGA 虛擬化方案。通常在 FCCM 這樣的頂級(jí)學(xué)術(shù)會(huì)議，只有評(píng)分最高的論文才會(huì)被接收，并且接收率只有 20%。因此，論文能被接收對(duì)我們團(tuán)隊(duì)研究工作是極大的認(rèn)可與鼓勵(lì)。這篇論文已經(jīng)發(fā)布在 Arxiv 平臺(tái)，有興趣的朋友可以前往下載。

https://arxiv.org/abs/2003.12101

痛點(diǎn)驅(qū)動(dòng)：硬件重配置帶來的時(shí)間及開銷壓力

曾書霖：在研究中，我們對(duì)公有云和私有云兩種場(chǎng)景進(jìn)行了區(qū)分（如下圖所示）。公有云主要強(qiáng)調(diào)用戶之間的隔離，包括資源隔離和性能隔離。

私有云（如下圖）更像單獨(dú)為一個(gè)企業(yè)或用戶搭建的服務(wù)器，這個(gè)服務(wù)器要能夠支持多個(gè)用戶或多個(gè)任務(wù)同時(shí)執(zhí)行，換句話說，就是對(duì)硬件資源持續(xù)且最大化的性能和資源利用。這種情況下，就要根據(jù)不同任務(wù)負(fù)載情況實(shí)現(xiàn)資源的動(dòng)態(tài)劃分。因此，隨著負(fù)載變化愈加頻繁，每次負(fù)載變化都會(huì)導(dǎo)致整個(gè)硬件資源的重配置。我們?cè)谘芯恐嗅槍?duì)不同場(chǎng)景進(jìn)行分析，也是為了找到一種途徑從而有效降低整體重配置時(shí)間。

另一方面，一類神經(jīng)網(wǎng)絡(luò)加速器主要是基于HLS開發(fā)，它的特點(diǎn)是每一次神經(jīng)網(wǎng)絡(luò)模型發(fā)生變化時(shí)，硬件加速器也會(huì)發(fā)生相應(yīng)變化，這就意味著每當(dāng)用戶的任務(wù)或負(fù)載發(fā)生變化，它都需要重新生成一個(gè)加速器，即重新利用 Vivado? 生成一個(gè)新的硬件比特流，這方面的時(shí)間開銷是無法接受的。

與之相比，以賽靈思 DPU 加速器為代表的基于指令集的深度學(xué)習(xí)加速器，則可以通過指令集方式支持不同神經(jīng)網(wǎng)絡(luò)模型。也就是說，當(dāng)用戶任務(wù)或者負(fù)載發(fā)生變化時(shí)，無需重新生成硬件比特信息，而只需要利用軟件編譯器去生成對(duì)應(yīng)指令，但這個(gè)過程依然比較慢，且頻繁的重配置甚至可能會(huì)嚴(yán)重影響用戶的任務(wù)進(jìn)度。從這一維度來講，我們也希望把重配置時(shí)間盡可能降低。

Alveo+阿里云：FPGA 虛擬化研究的實(shí)驗(yàn)環(huán)境

曾書霖：這一研究的最初想法誕生于 2019 年 5 月。在一年的時(shí)間里，我們從產(chǎn)生想法到搭建論文框架，再到不斷完善，通過團(tuán)隊(duì)通力合作逐漸充實(shí)論文內(nèi)容。剛開始我們只考慮了云端場(chǎng)景，針對(duì)虛擬化和加速器也只有初步規(guī)劃，對(duì)于真實(shí)云端應(yīng)用的特性并沒有太透徹的思考，目前的研究成果都是團(tuán)隊(duì)在實(shí)際研究中不斷梳理總結(jié)而成的。

一直以來，我們實(shí)驗(yàn)室的研究都是以賽靈思 FPGA 為基礎(chǔ)。在此次研究中，我們使用賽靈思 Alveo U200 數(shù)據(jù)中心加速器卡搭建了云端加速器的本地環(huán)境。同時(shí)，我們也用到賽靈思 Virtex UltraScale+ VU9P 實(shí)現(xiàn) FPGA 虛擬化環(huán)境，這是一個(gè)阿里云 F3 的實(shí)例，我們希望除了本地有一個(gè)可比擬的環(huán)境，在云端也有一個(gè)環(huán)境去驗(yàn)證我們的設(shè)計(jì)。

后續(xù)計(jì)劃：完善整個(gè)FPGA虛擬化系統(tǒng)演示

曾書霖：未來我們會(huì)繼續(xù)就 FPGA 虛擬化整個(gè)課題，對(duì)研究以及論文進(jìn)行系統(tǒng)層面的拓展，我們的目標(biāo)是繼續(xù)發(fā)表一篇系統(tǒng)領(lǐng)域的期刊論文。目前，整篇論文的工作還是以相對(duì)簡單的DNN負(fù)載在單個(gè) FPGA 上加速器的性能仿真為主，下一步的系統(tǒng)層面拓展會(huì)有一個(gè)更加復(fù)雜的軟件棧，除了底層硬件加速器、軟件編譯器，還會(huì)有操作系統(tǒng)、通信協(xié)議和一些虛擬化容器（container）實(shí)現(xiàn)宿主機(jī)和用戶之間的對(duì)接。我們的后續(xù)工作包括在軟件系統(tǒng)層融合主機(jī)端和客戶端的通信框架，搭建基礎(chǔ)的虛擬化操作系統(tǒng)，并針對(duì)整個(gè)軟件棧從系統(tǒng)的角度進(jìn)行針對(duì)復(fù)雜的云端 AI 負(fù)載開展一些實(shí)驗(yàn)性探究，完善整個(gè) FPGA 虛擬化系統(tǒng)的 demo。

另外，我們還會(huì)考慮把研究擴(kuò)展到大規(guī)模的、多塊 FPGA 的數(shù)據(jù)中心場(chǎng)景，從單卡設(shè)計(jì)拓展到多卡設(shè)計(jì)?？梢灶A(yù)見到的是，在未來研究中隨著多卡的引入，我們會(huì)面臨一些嶄新的挑戰(zhàn)，而我們也也需要站在更宏觀的角度對(duì)更多情況進(jìn)行綜合考量，這些對(duì)我們團(tuán)隊(duì)的科研能力是非常好的鍛煉。

FPGA 研究：挑戰(zhàn)與機(jī)遇并存的新課題

曾書霖：我在賽靈思和收購之前的深鑒科技都有過實(shí)習(xí)經(jīng)驗(yàn)，這也使我對(duì) FPGA 和 AI、深度學(xué)習(xí)有了更深入的體驗(yàn)。在賽靈思實(shí)習(xí)時(shí)，我在負(fù)責(zé) FPGA 開發(fā)的硬件組，組長給我的任務(wù)是學(xué)習(xí)使用賽靈思的 SDAccel/SDx 工具（現(xiàn)已整合進(jìn) Vitis），于是我得以接觸到針對(duì)云端軟件的開發(fā)工具，這在我后來進(jìn)行這一研究以及開展實(shí)驗(yàn)起到了非常重要的作用，因?yàn)檠芯窟^程中的很多工作是圍繞 SDx 開展的，并且數(shù)據(jù)中心里面一個(gè)很重要部署的軟件就是 SDAccel。

在我看來，F(xiàn)PGA 在未來將是一個(gè)與 CPU、GPU 同樣必不可少的芯片品類，特別在數(shù)據(jù)中心場(chǎng)景里將扮演重要角色。未來的數(shù)據(jù)中心將是異構(gòu)計(jì)算為核心的硬件數(shù)據(jù)中心，在這種場(chǎng)景下，單獨(dú)依靠每一個(gè)硬件都無法實(shí)現(xiàn)整個(gè)數(shù)據(jù)中心性能和能效的最大化，我們必須要綜合考慮不同的硬件，以虛擬化思想嘗試把所有硬件資源最大化利用起來。業(yè)界與學(xué)術(shù)界此前針對(duì) CPU、GPU 的研究已經(jīng)較為充分，但對(duì)于如何把 FPGA 性能與能效最大化以及如何與其他硬件相結(jié)合，以實(shí)現(xiàn)一個(gè)支持智能應(yīng)用的異構(gòu)系統(tǒng)，還有很大的空間可以發(fā)展，當(dāng)然同時(shí)也是一個(gè)頗具挑戰(zhàn)性的課題領(lǐng)域。

關(guān)于汪玉研究團(tuán)隊(duì)

曾書霖于2018年本科畢業(yè)于清華大學(xué)電子工程系，目前正在清華大學(xué)電子工程系攻讀博士學(xué)位，2017年加入清華大學(xué)汪玉教授研究團(tuán)隊(duì)。他的研究方向包括深度學(xué)習(xí)加速器、軟硬件協(xié)同加速和異構(gòu)系統(tǒng)虛擬化設(shè)計(jì)。

清華大學(xué)汪玉老師是電子工程系長聘教授，博士生導(dǎo)師，國家優(yōu)秀青年科學(xué)基金獲得者，IEEE/ACM高級(jí)會(huì)員，深鑒科技聯(lián)合創(chuàng)始人。長期帶領(lǐng)團(tuán)隊(duì)從事高能效電路與系統(tǒng)的研究工作，包括面向應(yīng)用域的定制加速器、類腦計(jì)算、存內(nèi)計(jì)算等方面的研究。

關(guān)于 姚 頌

姚頌現(xiàn)任賽靈思人工智能業(yè)務(wù)高級(jí)總監(jiān)，負(fù)責(zé)公司在全球領(lǐng)域的人工智能業(yè)務(wù)拓展和生態(tài)建設(shè)。加入賽靈思之前，姚頌為深鑒科技（ 2018年7月并入賽靈思公司）聯(lián)合創(chuàng)始人、首席執(zhí)行官，帶領(lǐng)團(tuán)隊(duì)自主研發(fā)了高效的深度學(xué)習(xí)平臺(tái)，致力于為智能安防與數(shù)據(jù)中心等行業(yè)提供集算法、軟件、芯片為一體的人工智能方案。