NVIDIA Turing GPU與 NVIDIA Xavier在MLPerf數(shù)據(jù)中心與邊緣AI推理性能基準測試中取得最快成績。

NVIDIA于今日公布，其在最新測定數(shù)據(jù)中心與邊緣AI推理工作負載性能的基準測試中取得最快成績。NVIDIA在前不久的AI訓(xùn)練基準測試中也展現(xiàn)出同樣強大的實力，為此次獲勝奠定了基礎(chǔ)。

MLPerf Inference 0.5是業(yè)內(nèi)首個獨立AI推理基準套件，其測試結(jié)果證明了NVIDIA Turing數(shù)據(jù)中心GPU以及NVIDIA Xavier 邊緣計算芯片系統(tǒng)的性能。

MLPerf的五項推理基準適用于一系列形式因素和四種推理情景，涵蓋了圖像分類、目標檢測和翻譯等已有的AI應(yīng)用。

憑借Turing GPU所提供的目前市面上單處理器最高的性能，NVIDIA 在全部五項針對于兩種數(shù)據(jù)中心關(guān)注的情景（服務(wù)器和離線）的基準測試中均排在首位1。Xavier則是市面上針對兩種邊緣情景（單流和多流）性能最高的邊緣和移動芯片系統(tǒng)2。

NVIDIA副總裁兼加速計算總經(jīng)理Ian Buck表示：“AI正處于從研究階段迅速轉(zhuǎn)向大規(guī)模實際應(yīng)用部署的臨界點。AI推理是一項巨大的計算挑戰(zhàn)。NVIDIA將業(yè)內(nèi)最先進的可編程加速器CUDA-X AI算法套件與我們在AI計算領(lǐng)域的深厚知識相結(jié)合，能夠幫助數(shù)據(jù)中心部署龐大且正在不斷增長的復(fù)雜AI模型?！?/p>

由于重視其計算平臺在各種AI工作負載中的可編程性與性能，因此NVIDIA是唯一一家提交了全部五項MLPerf基準測試結(jié)果的AI計算平臺公司。此前七月，NVIDIA就曾在多項MLPerf 0.6 AI訓(xùn)練基準測試結(jié)果中勝出，在訓(xùn)練性能方面創(chuàng)造了八項紀錄。

NVIDIA GPU在全球最大的云基礎(chǔ)設(shè)施中為大型推理工作負載提供加速，這些云基礎(chǔ)設(shè)施包括阿里云、AWS、谷歌云平臺、微軟Azure和騰訊等。目前，AI正在朝操作和數(shù)據(jù)生成點的邊緣移動。沃爾瑪、寶潔等全球首屈一指的企業(yè)和機構(gòu)正使用NVIDIA EGX邊緣計算平臺與AI推理能力在邊緣運行復(fù)雜的AI工作負載。

NVIDIA的所有MLPerf測試結(jié)果均采用NVIDIA TensorRT 6 高性能深度學(xué)習推理軟件獲得。該軟件能夠在生產(chǎn)中輕松優(yōu)化和部署數(shù)據(jù)中心、邊緣等位置的AI應(yīng)用。此外，GitHub庫還以開源形式提供新的TensorRT優(yōu)化。

全新Jetson Xavier NX

為了擴展其推理平臺，NVIDIA于今日宣布推出了Jetson Xavier NX。Jetson Xavier NX是全球體積最小、性能最強大的適用于邊緣機器人和嵌入式計算設(shè)備的AI超級計算機，它是圍繞MLPerf Inference 0.5基準測試中所使用的Xavier芯片系統(tǒng)所打造的低功耗版本。

MLPerf v0.5 Inference results retrieved from www.mlperf.org on Nov. 6, 2019, from entries Inf-0.5-15,Inf-0. 5-16, Inf-0.5-19, Inf-0.5-21. Inf-0.5-22, Inf-0.5-23, Inf-0.5-27. Per-processor performance is calculated by dividing the primary metric of total performance by number of accelerators reported.

MLPerf v0.5 Inference results retrieved from www.mlperf.org on Nov. 6, 2019, from entries Inf-0.5-24, Inf-0.5-28, Inf-0.5-29.