近日，MLPerf 聯(lián)盟公布了其7項測試的首批結果，此7項測試構成了當前機器學習領域的全新行業(yè)基準測試。NVIDIA參與了其中6個類別的測試，在這6項測試中，從單節(jié)點測試到大規(guī)模測試，NVIDIA平臺的測試結果都遙遙領先，證明了NVIDIA平臺方法在加速機器學習領域的強大實力。

MLPerf 聯(lián)盟的宗旨是“ 致力于確立一套通用的基準測試，助力機器學習 (ML) 領域跨移動設備和云服務測量系統(tǒng)的訓練和推理性能。”NVIDIA 一直以來都是 MLPerf 聯(lián)盟的主要成員，與其他成員一同積極構建、完善和發(fā)展首套商定一致的工作負載，以便可以跨用例范圍地直接比較各平臺性能。

作為快速成長的新興市場，機器學習領域缺少用來評估平臺性能的行業(yè)測試基準。雖然 ResNet-50 等網(wǎng)絡經(jīng)常用作訓練和推理的性能代理，但其仍是一套主要基于圖像任務的單一CNN，不能提供機器學習平臺的完整性能圖景。機器學習還包含許多其他用例，例如語音、翻譯和推薦系統(tǒng)等。

認識 MLPerf

MLPerf 的關鍵設計目標之一是工作負載的多樣化。因此，它涵蓋了對圖像和自然語言的使用，以及推薦系統(tǒng)和強化學習等，共 7 項測試。目前，這些工作負載僅可用于測試訓練，未來版本的工作負載將計劃以推理為重點。

NVIDIA最初致力于研究封閉組，旨在針對ML訓練系統(tǒng)（包括硬件和軟件）提供有價值的對比。為實現(xiàn)這一目標，封閉組要求所有提交成果均使用相同的數(shù)據(jù)準備和訓練程序來訓練相同的神經(jīng)網(wǎng)絡模型架構。從應用程序角度看，這將確保所有條目盡可能等同，性能的差異只歸因于軟件、硬件或規(guī)模不同。選擇封閉組的網(wǎng)絡模型、數(shù)據(jù)集和訓練程序作為當今機器學習社區(qū)中的通用計算方法。另一方面，公開組不用于系統(tǒng)對比，而是用于鼓勵網(wǎng)絡模型架構和其算法方面的創(chuàng)新。

NVIDIA提交了7項測試類別中的6類測試結果，未提交強化學習測試，是因為這項測試基于戰(zhàn)略游戲《GO》，該游戲最初在配備Tesla P100 GPU的服務器上進行開發(fā)。但目前情況是，服務器中包含重要的CPU組件，因此只能提供有限的擴展。

MLPerf分數(shù)的計算方法是，首先測量訓練到達指定目標精度的時間，然后歸一化為參考平臺上未執(zhí)行優(yōu)化所需的時間。歸一化的目的是將不同的基準測試轉化為相似的分數(shù)量級，因為各基準測試所需的訓練時間不同。訓練時間和 MLPerf 分數(shù)均發(fā)布在 MLPerf 網(wǎng)站上，為此我們以分鐘為單位公布訓練時間。以下是 NVIDIA 達到收斂結果的時間，包括單節(jié)點和大規(guī)模的實現(xiàn)：

單節(jié)點封閉組 GPU 性能：

測試平臺：DGX-2H – 雙路Xeon Platinum 8174、1.5TB 系統(tǒng) RAM、16 個 32GB Tesla V100 SXM-3 GPU通過NVSwitch互通。

大規(guī)模封閉組 GPU 性能：

測試平臺：DGX-1V 集群，適用于圖像分類和非重復性翻譯。DGX-2H 集群，適用于重型物體檢測和輕量型物體檢測、重復性翻譯。每個DGX-1V配備雙路 Xeon E5-2698 V4、512GB 系統(tǒng) RAM、8 個16GB Tesla V100 SXM-2 GPU。每個DGX-2H配備雙路Xeon Platinum 8174、1.5TB系統(tǒng)RAM、16個32GB Tesla V100 SXM-3 GPU通過NVSwitch互通。

從以上數(shù)字可以看出：單個DGX-2節(jié)點能夠在20分鐘內(nèi)完成多數(shù)工作負載。在大規(guī)模提交中，除1次測試外，都在7分鐘內(nèi)完成這些任務。與第二快的提交相比，GPU的交付速度提高達 5.3 倍。鑒于深度學習早期階段的訓練以天和周計算，上述完成時間證明我們在過去幾年中取得了巨大進步。以下圖表說明我們在訓練 ResNet-50 模型方面取得的進步程度：

很顯然，因為一系列平臺創(chuàng)新，過去幾年里性能提升巨大。這些創(chuàng)新包括：

NVLink 結構技術：Pascal 架構中引入NVLink允許GPU以300GB/秒的速度進行通信，比PCIe快近10倍。

Tensor Cores：Volta架構中引入Tensor Cores，加速了大型矩陣運算（這是AI的核心），在單次運算中執(zhí)行混合精度矩陣乘法和累加計算。

NVSwitch：首款節(jié)點交換架構，在單個服務器節(jié)點中支持16個全互聯(lián)GPU，并驅動全部8對GPU 分別以300GB/s的速度同時通信。這16個GPU 還可作為單個大型加速器，擁有0.5TB的統(tǒng)一內(nèi)存空間和每秒2千萬億次的深度學習計算性能。

全棧優(yōu)化：方法得當

NVIDIA的加速深度學習方法包含整套平臺，并在硬件、軟件和生態(tài)系統(tǒng)支持下持續(xù)創(chuàng)新。這種方法為深度學習社區(qū)帶來巨大的優(yōu)勢，允許開發(fā)人員在任何提供商的云服務上使用任何熱門框架，或者使用自己的GPU基礎架構實現(xiàn)卓越的性能。NVIDIA向MLPerf提交的測試使用MXNet處理圖像分類工作負載(ResNet-50)，使用PyTorch提交涵蓋翻譯、對象檢測和實例分割以及推薦器的工作負載。谷歌的TernsorFlow團隊也展示了在谷歌云平臺上使用NVIDIA V100 GPU處理ResNet-50的出色表現(xiàn)。

這些框架均可在NVIDIA GPU云(NGC)容器注冊服務器中免費獲取，并且每月更新一次，性能持續(xù)改進。此前發(fā)表的一篇博客中說明 11 月 18.11 版本的容器中對 NVIDIA 深度學習軟件堆棧的最新改進。以下將簡述這些改進：

MXNet

添加了 Horovod，改進跨多個節(jié)點訓練的性能。

借助小批量 (<= 32) 優(yōu)化大規(guī)模多節(jié)點訓練的性能

有關更多詳細信息，請參閱AWS上的博客，其中具體概述了MXNet的最新改進。

TensorFlow

更新了XLA圖形編譯器，優(yōu)化了運算符融合以節(jié)省內(nèi)存帶寬，優(yōu)化了Tensor Core數(shù)據(jù)布局。谷歌最近的一篇博客詳細介紹了更具體的細節(jié)。

PyTorch

Apex中新添實用程序，并融合實施Adam優(yōu)化器，通過減少冗余GPU設備內(nèi)存通道、改進卷積翻譯模型的層歸一化性能以及為多進程和多節(jié)點訓練改進DistributedDataParallel包裝器，以提高性能。

cuDNN

多方面顯著性改進了卷積性能，尤其在每個GPU 小批量處理數(shù)據(jù)之時；優(yōu)化了Tensor Core的Persistent RNNs算法。

DALI

對象檢測模型所需的各種圖像預處理例程提速，現(xiàn)在它們可在GPU上運行，而無需CPU。

結束語

NVIDIA對第一組公布結果感到深受鼓舞，并對在AI社區(qū)中與各個框架開發(fā)團隊的合作深感自豪。MLPerf作為一種工具，允許AI平臺制造商使用一組商定的用例來比較他們的產(chǎn)品，我們將繼續(xù)與MLPerf聯(lián)盟合作，并隨AI工作負載的進展，迭代這一基準。以上這些技術現(xiàn)已面向AI開發(fā)者社區(qū)開放，可從我們的 NGC容器注冊服務器獲取。敬請關注我們的開發(fā)者博客更新，了解有關 TensorFlow、PyTorch和MXNet框架中的具體優(yōu)化的更多信息。www.mlperf.org 上提供MLPerf基準模型，可根據(jù)相關基準目錄中的自述文件運行。