近期，來自富士通（Fujitsu）的研究員們宣布他們打破了ImageNet的訓(xùn)練速度記錄——在74.7秒內(nèi)達到75%的準確率。這比去年11月由索尼（Sony）創(chuàng)下的前紀錄快了47秒。

團隊取得這樣的紀錄，得益于日本東京大學(xué)（University of Tokyo）的AI Bridging Cloud Infrastructure（ABCI）系統(tǒng)上的2,048塊NVIDIA Tesla V100 GPU，以及MXNet深度學(xué)習(xí)架構(gòu)。

ABCI系統(tǒng)是日本最快的超級計算機，在世界超級計算機榜單中也名列前10。該系統(tǒng)由超過4,300塊NVLink互聯(lián)的NVIDIA V100 GPU提供算力。Sony此前保持的紀錄也是借助此系統(tǒng)實現(xiàn)的。

富士通（Fujitsu）在一篇文章中介紹：“基于此技術(shù)，富士通實驗室（Fujitsu Laboratories）深耕HPC發(fā)展，公司現(xiàn)已開發(fā)出了新的技術(shù)，能夠在保證訓(xùn)練準確率的同時拓展每塊GPU的計算量?！?/p>

為了對使用大批量mini-batch訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)（DNN）時發(fā)生的驗證準確性進行補償，團隊“使用了相關(guān)技術(shù)，在不影響準確率的同時，增大了小批量的體量?！?/p>

研究人員介紹說：“眾所周知，具有數(shù)據(jù)并行性的分布式深度學(xué)習(xí)是加速集群訓(xùn)練的有效方法。通過這種方法，在集群上運行的所有步驟都具有相同的DNN模型和權(quán)重?！?/p>

研究人員們同時也借助了Tensor核心的混合精度。

該DNN架構(gòu)經(jīng)過優(yōu)化，基于ImageNet在74.7秒的時間內(nèi)完成 ResNet-50訓(xùn)練，而且驗證準確率高達75.08%。

團隊還能夠使用高達81,920個的大批量mini-batch，同時保持75.08%的準確率（如上表中第3個數(shù)據(jù)點所示）。

為實現(xiàn)這一里程碑式的成果，大量的NVIDIA技術(shù)被應(yīng)用其中，其中就包括層級對應(yīng)的適應(yīng)率縮放（Layer-wise Adaptive Rate Scaling）。

該項工作目前已在ArXiv 和富士通博客上發(fā)表。