01

背景

如果把信息科技產(chǎn)業(yè)劃分為三個時代：PC 時代、移動互聯(lián)網(wǎng)時代和人工智能（AI）時代。目前，我們處于移動互聯(lián)網(wǎng)時代的末期和下一個時代的早期，即以深度神經(jīng)網(wǎng)絡算法為核心的AI 時代。

深度神經(jīng)網(wǎng)絡模擬人類大腦的工作原理，是近年來機器學習領域最令人矚目的方向。2006年深度學習泰斗Geoffrey Hinton提出了基于“逐層訓練”和“精調(diào)”的兩階段策略，解決了深度神經(jīng)網(wǎng)絡中參數(shù)訓練的難題后，學術界和工業(yè)界對深度神經(jīng)網(wǎng)絡的研究熱情高漲，并逐漸在語音識別、圖像識別、自然語言處理等領域取得突破性進展。2012年深度卷積神經(jīng)網(wǎng)絡在ImageNet圖像分類競賽中取得了世界第一，標志著端到端的方法取得了超越手工設計特征的傳統(tǒng)方法。此后深度神經(jīng)網(wǎng)絡的發(fā)展進入了快車道。2016年基于深度學習的AlphaGo打敗了圍棋世界冠軍李世石，同度舉辦的人工智能知名學術會議CVPR、NIPS、AAAI和ICLR上深度神經(jīng)網(wǎng)絡的主題占主導地位。2017年以深度神經(jīng)網(wǎng)絡為核心的DeepStack算法在德州撲克游戲中擊敗了人類職業(yè)玩家。2018年，人工智能的芯片已經(jīng)應用于云計算和移動終端中。目前，深度神經(jīng)網(wǎng)絡的研究向著更深更廣的方向前進，一方面深度神經(jīng)網(wǎng)絡的理論研究越來越深入，另外一方面如何開發(fā)基于深度神經(jīng)網(wǎng)絡的智能系統(tǒng)成為關鍵，特別是如何將人工智能技術與邊緣計算結合起來。

云計算作為一種計算模式已經(jīng)滲透進我們?nèi)粘Ｉ钪?，但是有很多很多應用場合，由于網(wǎng)絡不可用、網(wǎng)絡帶寬不足和網(wǎng)絡延遲大等原因使得基于云計算的模式不能滿足需求，這就是邊緣計算覆蓋的領域。中國邊緣計算產(chǎn)業(yè)聯(lián)盟（Edge Computing Consortium，ECC）定義的邊緣計算是指在靠近物或數(shù)據(jù)源頭的網(wǎng)絡邊緣側(cè)，融合網(wǎng)絡、計算、存儲、應用核心能力的開放平臺，就近提供邊緣智能服務，滿足業(yè)務在敏捷聯(lián)接、實時業(yè)務、數(shù)據(jù)優(yōu)化和應用智能等方面的關鍵需求。由此可見要想在邊緣計算中部署人工智能應用，必須要有高性能低功耗的超級計算平臺。NVIDIA最近發(fā)布的Jetson AGX Xavier就是在邊緣計算場景中部署人工智能應用的一個利器。

嵌入式超級計算機Jetson AGX Xavier可以用于自主物流車、機器人、無人機和其他智能機器，從而加速制造、物流、零售、服務、農(nóng)業(yè)、醫(yī)療等產(chǎn)業(yè)的智能化發(fā)展，為智能城市的發(fā)展做出貢獻。

02

Xavier的硬件架構特性

Xavier是最新一代NVIDIA業(yè)界領先的嵌入式Linux高性能計算機，主要包括一個8核NVIDIA Carmel ARMv8.2 64位CPU，由8個流多處理器組成的512核Volta架構的GPU，支持并行計算語言CUDA 10，支持多精度計算，F(xiàn)P16計算能力為11 TFLOPS（每秒浮點運算次數(shù)），INT8為22 TOPS。64個Tensor核心， 16GB 256位LPDDR4x，雙深度學習加速器 （DLA）引擎，NVIDIA視覺加速器引擎，高清視頻編解碼器，Xavier集成的Volta GPU，具體參數(shù)如表1所示，GPU架構如圖1所示。

用戶可根據(jù)應用需要配置Xavier工作在10W、15W和30W的模式，憑借多種工作模式，Jetson AGX Xavier的能效比其前身Jetson TX2高出10倍以上，性能超過20倍。

表1 Xavier主要參數(shù)

圖1 Xavier Volta GPU架構

Xavier內(nèi)置的 Tensor Core支持混合精度計算?？梢酝瓿梢韵碌娜诤铣朔臃ǎ簣?zhí)行兩個4*4 FP16矩陣相乘，將結果添加到4*4 FP16或FP32矩陣中，最終輸出新的4*4 FP16或FP32矩陣。深度神經(jīng)網(wǎng)絡最耗時的卷積操作在訓練和推理時都可以轉(zhuǎn)成上述的矩陣乘法，Tensor Core極大的提高了計算效率。

Xavier具有兩個NVIDIA 深度學習加速器（DLA）引擎，可以進行高性能的深度神經(jīng)網(wǎng)絡推理計算，其結構如圖2所示。這每個DLA具有高達5 TOPS INT8或2.5 TFLOPS FP16計算性能，功耗僅為0.5-1.5W。DLA支持加速CNN層，例如卷積、反卷積、激活函數(shù)、最小/最大/平均池化、局部響應歸一化和全連接層。

圖2 深度學習加速器（DLA）架構

03

Xavier的軟件平臺

Xavier主要用于邊緣計算的深度神經(jīng)網(wǎng)絡推理，其支持Caffe、Tensorflow、PyTorch等多種深度學習框架導出的模型。為進一步提高計算效率，還可以使用TensorRT對訓練好的模型利用計算圖優(yōu)化、算子融合、量化等方法精簡進行優(yōu)化。Xavier通過TensorRT使開發(fā)者能充分的利用GPU中的Tensor core和DLA單元等計算模塊。

04

Xavier推理性能評測

4.1 測試平臺參數(shù)

為了測試Xavier的推理性能，我們使用目標檢測算法分別在GeForce 840M、Jetson TX2和Xavier三個計算平臺上進行測試。Jetson TX2工作在默認的MAXP_CORE_ARM模式，Xavier工作在默認的MODE_15W模式。三個計算平臺的關鍵技術參數(shù)如表2所述，測試實驗場景如圖3所示。

表2 三個測試平臺參數(shù)

圖3 測試環(huán)境實景

（作者朱虎明實景拍攝，授權NVIDIA發(fā)布）

4.2 Faster R-CNN目標檢測算法介紹

我們利用Faster R-CNN目標檢測算法測試Xavier的推理性能。Faster R-CNN是Fast R-CNN和RPN（區(qū)域候選網(wǎng)絡）的融合。RPN使用全卷積網(wǎng)絡（FCN，fully-convolutional network）可以針對生成檢測候選框的任務端到端地訓練，能夠同時預測出目標的邊界和分數(shù)。這里使用基于VGG16的Faster R-CNN網(wǎng)絡，其算法主要流程如4所示。Faster R-CNN卷積網(wǎng)絡的結構主要包括：①13個conv層：kernel_size=3,pad=1,stride=1；②13個relu層：激活函數(shù)，不改變圖片大?。虎?個pooling層：kernel_size=2,stride=2;pooling層會讓輸出圖片是輸入圖片的1/2；

4.3 測試結果介紹

測試時在TensorRT給出的示例代碼sampleFasterR-CNN.cpp上找到推理函數(shù)，在其前后添加時間函數(shù)gettimeofday()，計算其推理時間。在不同的硬件平臺上重復實驗五次取時間平均值，結果如表3所示。

從實驗結果表可以看出來，Xavier在使用TensorRT進行推理時，性能相比Jetson TX2提升了不少。需要注意的是Xavier使用的TensorRT版本相比TX2版本在軟件架構上有很大的變化，特別是結構性更好。另外，由于時間的原因，我們沒有測試DLA加速的效果。

表3 不同平臺目標檢測計算性能對比

05

總結

Xavier平臺配備了完整的 AI 開發(fā)軟件包NVIDIA JetPack SDK，包括最新版本的 CUDA、cuDNN 和 TensorRT等軟件。這些開發(fā)軟件使用起來非常方便，再加上Xavier 平臺強大的推理計算能力，Xavier必將在制造、物流、零售、服務等邊緣計算人工智能應用場景大放異彩。