01

背景

如果把信息科技產(chǎn)業(yè)劃分為三個(gè)時(shí)代：PC 時(shí)代、移動(dòng)互聯(lián)網(wǎng)時(shí)代和人工智能（AI）時(shí)代。目前，我們處于移動(dòng)互聯(lián)網(wǎng)時(shí)代的末期和下一個(gè)時(shí)代的早期，即以深度神經(jīng)網(wǎng)絡(luò)算法為核心的AI 時(shí)代。

深度神經(jīng)網(wǎng)絡(luò)模擬人類大腦的工作原理，是近年來機(jī)器學(xué)習(xí)領(lǐng)域最令人矚目的方向。2006年深度學(xué)習(xí)泰斗Geoffrey Hinton提出了基于“逐層訓(xùn)練”和“精調(diào)”的兩階段策略，解決了深度神經(jīng)網(wǎng)絡(luò)中參數(shù)訓(xùn)練的難題后，學(xué)術(shù)界和工業(yè)界對(duì)深度神經(jīng)網(wǎng)絡(luò)的研究熱情高漲，并逐漸在語音識(shí)別、圖像識(shí)別、自然語言處理等領(lǐng)域取得突破性進(jìn)展。2012年深度卷積神經(jīng)網(wǎng)絡(luò)在ImageNet圖像分類競賽中取得了世界第一，標(biāo)志著端到端的方法取得了超越手工設(shè)計(jì)特征的傳統(tǒng)方法。此后深度神經(jīng)網(wǎng)絡(luò)的發(fā)展進(jìn)入了快車道。2016年基于深度學(xué)習(xí)的AlphaGo打敗了圍棋世界冠軍李世石，同度舉辦的人工智能知名學(xué)術(shù)會(huì)議CVPR、NIPS、AAAI和ICLR上深度神經(jīng)網(wǎng)絡(luò)的主題占主導(dǎo)地位。2017年以深度神經(jīng)網(wǎng)絡(luò)為核心的DeepStack算法在德州撲克游戲中擊敗了人類職業(yè)玩家。2018年，人工智能的芯片已經(jīng)應(yīng)用于云計(jì)算和移動(dòng)終端中。目前，深度神經(jīng)網(wǎng)絡(luò)的研究向著更深更廣的方向前進(jìn)，一方面深度神經(jīng)網(wǎng)絡(luò)的理論研究越來越深入，另外一方面如何開發(fā)基于深度神經(jīng)網(wǎng)絡(luò)的智能系統(tǒng)成為關(guān)鍵，特別是如何將人工智能技術(shù)與邊緣計(jì)算結(jié)合起來。

云計(jì)算作為一種計(jì)算模式已經(jīng)滲透進(jìn)我們?nèi)粘Ｉ钪?，但是有很多很多?yīng)用場合，由于網(wǎng)絡(luò)不可用、網(wǎng)絡(luò)帶寬不足和網(wǎng)絡(luò)延遲大等原因使得基于云計(jì)算的模式不能滿足需求，這就是邊緣計(jì)算覆蓋的領(lǐng)域。中國邊緣計(jì)算產(chǎn)業(yè)聯(lián)盟（Edge Computing Consortium，ECC）定義的邊緣計(jì)算是指在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)，融合網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)、應(yīng)用核心能力的開放平臺(tái)，就近提供邊緣智能服務(wù)，滿足業(yè)務(wù)在敏捷聯(lián)接、實(shí)時(shí)業(yè)務(wù)、數(shù)據(jù)優(yōu)化和應(yīng)用智能等方面的關(guān)鍵需求。由此可見要想在邊緣計(jì)算中部署人工智能應(yīng)用，必須要有高性能低功耗的超級(jí)計(jì)算平臺(tái)。NVIDIA最近發(fā)布的Jetson AGX Xavier就是在邊緣計(jì)算場景中部署人工智能應(yīng)用的一個(gè)利器。

嵌入式超級(jí)計(jì)算機(jī)Jetson AGX Xavier可以用于自主物流車、機(jī)器人、無人機(jī)和其他智能機(jī)器，從而加速制造、物流、零售、服務(wù)、農(nóng)業(yè)、醫(yī)療等產(chǎn)業(yè)的智能化發(fā)展，為智能城市的發(fā)展做出貢獻(xiàn)。

02

Xavier的硬件架構(gòu)特性

Xavier是最新一代NVIDIA業(yè)界領(lǐng)先的嵌入式Linux高性能計(jì)算機(jī)，主要包括一個(gè)8核NVIDIA Carmel ARMv8.2 64位CPU，由8個(gè)流多處理器組成的512核Volta架構(gòu)的GPU，支持并行計(jì)算語言CUDA 10，支持多精度計(jì)算，F(xiàn)P16計(jì)算能力為11 TFLOPS（每秒浮點(diǎn)運(yùn)算次數(shù)），INT8為22 TOPS。64個(gè)Tensor核心， 16GB 256位LPDDR4x，雙深度學(xué)習(xí)加速器 （DLA）引擎，NVIDIA視覺加速器引擎，高清視頻編解碼器，Xavier集成的Volta GPU，具體參數(shù)如表1所示，GPU架構(gòu)如圖1所示。

用戶可根據(jù)應(yīng)用需要配置Xavier工作在10W、15W和30W的模式，憑借多種工作模式，Jetson AGX Xavier的能效比其前身Jetson TX2高出10倍以上，性能超過20倍。

表1 Xavier主要參數(shù)

圖1 Xavier Volta GPU架構(gòu)

Xavier內(nèi)置的 Tensor Core支持混合精度計(jì)算?？梢酝瓿梢韵碌娜诤铣朔臃ǎ簣?zhí)行兩個(gè)4*4 FP16矩陣相乘，將結(jié)果添加到4*4 FP16或FP32矩陣中，最終輸出新的4*4 FP16或FP32矩陣。深度神經(jīng)網(wǎng)絡(luò)最耗時(shí)的卷積操作在訓(xùn)練和推理時(shí)都可以轉(zhuǎn)成上述的矩陣乘法，Tensor Core極大的提高了計(jì)算效率。

Xavier具有兩個(gè)NVIDIA 深度學(xué)習(xí)加速器（DLA）引擎，可以進(jìn)行高性能的深度神經(jīng)網(wǎng)絡(luò)推理計(jì)算，其結(jié)構(gòu)如圖2所示。這每個(gè)DLA具有高達(dá)5 TOPS INT8或2.5 TFLOPS FP16計(jì)算性能，功耗僅為0.5-1.5W。DLA支持加速CNN層，例如卷積、反卷積、激活函數(shù)、最小/最大/平均池化、局部響應(yīng)歸一化和全連接層。

圖2 深度學(xué)習(xí)加速器（DLA）架構(gòu)

03

Xavier的軟件平臺(tái)

Xavier主要用于邊緣計(jì)算的深度神經(jīng)網(wǎng)絡(luò)推理，其支持Caffe、Tensorflow、PyTorch等多種深度學(xué)習(xí)框架導(dǎo)出的模型。為進(jìn)一步提高計(jì)算效率，還可以使用TensorRT對(duì)訓(xùn)練好的模型利用計(jì)算圖優(yōu)化、算子融合、量化等方法精簡進(jìn)行優(yōu)化。Xavier通過TensorRT使開發(fā)者能充分的利用GPU中的Tensor core和DLA單元等計(jì)算模塊。

04

Xavier推理性能評(píng)測

4.1 測試平臺(tái)參數(shù)

為了測試Xavier的推理性能，我們使用目標(biāo)檢測算法分別在GeForce 840M、Jetson TX2和Xavier三個(gè)計(jì)算平臺(tái)上進(jìn)行測試。Jetson TX2工作在默認(rèn)的MAXP_CORE_ARM模式，Xavier工作在默認(rèn)的MODE_15W模式。三個(gè)計(jì)算平臺(tái)的關(guān)鍵技術(shù)參數(shù)如表2所述，測試實(shí)驗(yàn)場景如圖3所示。

表2 三個(gè)測試平臺(tái)參數(shù)

圖3 測試環(huán)境實(shí)景

（作者朱虎明實(shí)景拍攝，授權(quán)NVIDIA發(fā)布）

4.2 Faster R-CNN目標(biāo)檢測算法介紹

我們利用Faster R-CNN目標(biāo)檢測算法測試Xavier的推理性能。Faster R-CNN是Fast R-CNN和RPN（區(qū)域候選網(wǎng)絡(luò)）的融合。RPN使用全卷積網(wǎng)絡(luò)（FCN，fully-convolutional network）可以針對(duì)生成檢測候選框的任務(wù)端到端地訓(xùn)練，能夠同時(shí)預(yù)測出目標(biāo)的邊界和分?jǐn)?shù)。這里使用基于VGG16的Faster R-CNN網(wǎng)絡(luò)，其算法主要流程如4所示。Faster R-CNN卷積網(wǎng)絡(luò)的結(jié)構(gòu)主要包括：①13個(gè)conv層：kernel_size=3,pad=1,stride=1；②13個(gè)relu層：激活函數(shù)，不改變圖片大??；③4個(gè)pooling層：kernel_size=2,stride=2;pooling層會(huì)讓輸出圖片是輸入圖片的1/2；

4.3 測試結(jié)果介紹

測試時(shí)在TensorRT給出的示例代碼sampleFasterR-CNN.cpp上找到推理函數(shù)，在其前后添加時(shí)間函數(shù)gettimeofday()，計(jì)算其推理時(shí)間。在不同的硬件平臺(tái)上重復(fù)實(shí)驗(yàn)五次取時(shí)間平均值，結(jié)果如表3所示。

從實(shí)驗(yàn)結(jié)果表可以看出來，Xavier在使用TensorRT進(jìn)行推理時(shí)，性能相比Jetson TX2提升了不少。需要注意的是Xavier使用的TensorRT版本相比TX2版本在軟件架構(gòu)上有很大的變化，特別是結(jié)構(gòu)性更好。另外，由于時(shí)間的原因，我們沒有測試DLA加速的效果。

表3 不同平臺(tái)目標(biāo)檢測計(jì)算性能對(duì)比

05

總結(jié)

Xavier平臺(tái)配備了完整的 AI 開發(fā)軟件包NVIDIA JetPack SDK，包括最新版本的 CUDA、cuDNN 和 TensorRT等軟件。這些開發(fā)軟件使用起來非常方便，再加上Xavier 平臺(tái)強(qiáng)大的推理計(jì)算能力，Xavier必將在制造、物流、零售、服務(wù)等邊緣計(jì)算人工智能應(yīng)用場景大放異彩。