2018 年，由美國(guó)國(guó)家能源研究科學(xué)計(jì)算中心 (NERSC) 與 NVIDIA組成的聯(lián)合團(tuán)隊(duì)取得了一項(xiàng)突破性成就。他們成功將一種科學(xué)嚴(yán)謹(jǐn)?shù)?a target="_blank">深度學(xué)習(xí)應(yīng)用擴(kuò)展至 27000 多個(gè)NVIDIA V100Tensor 核心 GPU，攻克了此過(guò)程中百億億次運(yùn)算的難關(guān)。憑借該項(xiàng)成就，研究團(tuán)隊(duì)由此斬獲高性能計(jì)算領(lǐng)域的最高獎(jiǎng)項(xiàng)ACM 戈登貝爾獎(jiǎng)。除 2018 年的技術(shù)論文與新聞稿之外，我們還將在本文中探討這項(xiàng)成就對(duì) AI 領(lǐng)域產(chǎn)生的深遠(yuǎn)影響，以及未來(lái)面臨的開(kāi)放性挑戰(zhàn)。

由伯克利實(shí)驗(yàn)室與橡樹(shù)嶺國(guó)家實(shí)驗(yàn)室各自領(lǐng)導(dǎo)的兩個(gè)研究團(tuán)隊(duì)共享 2018 年 ACM 戈登貝爾獎(jiǎng)

深度學(xué)習(xí)軟件：性能與生產(chǎn)力

低級(jí)工具能為開(kāi)發(fā)者帶來(lái)精確度，高級(jí)工具則可提高工作效率，這二者之間總存在一個(gè)折衷點(diǎn)。我們已為此找到解決方案。在本次項(xiàng)目中，我們用高效的 Python 和 TensorFlow 表示網(wǎng)絡(luò)架構(gòu)與整體的應(yīng)用工作流。TensorFlow 反過(guò)來(lái)會(huì)利用在 C 和 C++ 環(huán)境中實(shí)施的例程來(lái)實(shí)現(xiàn)高性能，提供精確度，并解放開(kāi)發(fā)者以提高其工作效率。因此，在 8 個(gè)月的時(shí)間里，我們的團(tuán)隊(duì)從頭開(kāi)始構(gòu)建網(wǎng)絡(luò)原型，并在全球最大的高性能計(jì)算 (HPC) 系統(tǒng) Summit 上對(duì)其性能與擴(kuò)展作出了優(yōu)化。

我們相信，此項(xiàng)目能夠展示出研究人員長(zhǎng)期推測(cè)的 HPC 與 AI 軟件堆棧的實(shí)際融合效果，即以 C/C++ 編寫(xiě)的高性能庫(kù) (CuDNN) 和框架 (TensorFlow)，以及通過(guò) Python 公開(kāi)的高效接口。同理，我們還在 NCCL 和 MPI 中實(shí)施經(jīng)高度優(yōu)化且基于拓?fù)涓兄?a target="_blank">通信集合，但通過(guò)簡(jiǎn)單高效的 Horovod 接口實(shí)現(xiàn)公開(kāi)。展望未來(lái)，我們相信，在助力科學(xué)家及更廣泛的研究社區(qū)探索更復(fù)雜架構(gòu)的過(guò)程中，為混合并行模式（數(shù)據(jù)、模型、流水線(xiàn)）提供透明支持將至關(guān)重要。

深度學(xué)習(xí)硬件：GPU 和混合精度

本次項(xiàng)目利用 NVIDIA Volta GPU 來(lái)訓(xùn)練 DeepLabv3+ 分割網(wǎng)絡(luò)。在混合精度模式下，Volta 上可達(dá)到的峰值性能為 125 萬(wàn)億次浮點(diǎn)運(yùn)算。該模式由 NVIDIA 通過(guò) Tensor 核心 GPU 架構(gòu)推出，可執(zhí)行 FP16 精度計(jì)算并能以 FP32 精度模式累積結(jié)果。在本項(xiàng)目開(kāi)展之前，該領(lǐng)域存在一個(gè)仍待解決的問(wèn)題，即現(xiàn)實(shí)的科學(xué)應(yīng)用能否利用 FP16（不損失精確度）并獲得較高的峰值性能。我們的研究最終證明，對(duì)于科學(xué)領(lǐng)域的模式識(shí)別問(wèn)題，16 位精度可能足以滿(mǎn)足相關(guān)需求。此外，對(duì)于擁有 4000 多個(gè)計(jì)算核心的復(fù)雜應(yīng)用而言，極高的峰值亦有可能實(shí)現(xiàn)：在規(guī)模龐大的 GPU 集群上，我們的應(yīng)用實(shí)現(xiàn)了每塊 GPU 大約 40 萬(wàn)億次浮點(diǎn)運(yùn)算的峰值性能。

我們相信，這些結(jié)果為科學(xué)應(yīng)用打開(kāi)了通往低精度加速器的一扇大門(mén)。雖然原始數(shù)據(jù)集可能具有高精度（64 位或 32 位），但我們或許仍可以在不損失收斂或穩(wěn)定性的前提下，以低精度模式執(zhí)行模式識(shí)別任務(wù)。

開(kāi)放性挑戰(zhàn)

如要在當(dāng)代的 HPC 系統(tǒng)上實(shí)現(xiàn)百億億級(jí)的性能，我們需對(duì)所有組件仔細(xì)調(diào)優(yōu)，包括硬件（CPU、GPU、NVLink、文件系統(tǒng)、網(wǎng)絡(luò)互連）和軟件。雖然我們的項(xiàng)目成功實(shí)現(xiàn)了大幅調(diào)優(yōu)、優(yōu)化和擴(kuò)展，但我們想指出兩項(xiàng)挑戰(zhàn)，以便向行業(yè)及研究社區(qū)征求更多意見(jiàn)。

大規(guī)模數(shù)據(jù)管理

得益于 GPU 架構(gòu)在加快計(jì)算方面取得的進(jìn)展，我們現(xiàn)已能在單個(gè)硅處理器上暢享高于 100 萬(wàn)億次浮點(diǎn)運(yùn)算級(jí)的性能。隨著 GPU 速度越來(lái)越快，向其輸送數(shù)據(jù)的能力會(huì)逐漸限制性能。本次項(xiàng)目中，我們對(duì) 20 太字節(jié)的數(shù)據(jù)集展開(kāi)分析，這實(shí)際上需要整個(gè) Summit 系統(tǒng)保持每秒大約 4 太字節(jié)的 I/O 速率。Summit 上的 GPFS 文件系統(tǒng)根本無(wú)法勝任該項(xiàng)任務(wù)，在 NERSC Cori 系統(tǒng)的 Lustre 文件系統(tǒng)上執(zhí)行的類(lèi)似實(shí)驗(yàn)也以徹底失敗而告終。對(duì)于這兩種情況，在節(jié)點(diǎn)本地 NVMe上暫存數(shù)據(jù)和突發(fā)緩沖區(qū)技術(shù)便顯得至關(guān)重要。

傳統(tǒng)的 HPC 文件系統(tǒng)主要用于支持以寫(xiě)入為主的工作負(fù)載；而深度學(xué)習(xí)工作負(fù)載則屬于讀取密集型負(fù)載，對(duì)數(shù)據(jù)帶寬和元數(shù)據(jù)操作速率要求頗高。如要支持大規(guī)模深度學(xué)習(xí)工作負(fù)載，我們可能必須先對(duì)緩存分層、分片和混編操作提供透明支持。

大規(guī)模收斂

提供深度學(xué)習(xí)解決方案的時(shí)間由兩部分構(gòu)成：計(jì)算擴(kuò)展效率和統(tǒng)計(jì)擴(kuò)展效率。我們的研究已經(jīng)展示出卓越的計(jì)算擴(kuò)展性能，并且提供了許多有關(guān)系統(tǒng)級(jí)注意事項(xiàng)的建議。一個(gè)未解決的問(wèn)題是，如何使用 SGD（隨機(jī)梯度下降）的其中一個(gè)收斂屬性取代大批量（在本項(xiàng)目中，批量大小高于 27000）。

在 HPC 資源上提供高度并行性具有正反兩方面作用。如要以超高并發(fā)級(jí)別在大規(guī)模資源上運(yùn)行，我們需在短時(shí)間內(nèi)對(duì)超參數(shù)進(jìn)行調(diào)優(yōu)。有關(guān)收斂算法行為的啟發(fā)式方法可能會(huì)或不會(huì)繼承自較小規(guī)模的運(yùn)行。盡管目前對(duì)于選擇各類(lèi)超參數(shù)所產(chǎn)生效果的實(shí)證評(píng)估都很合理，但我們預(yù)計(jì)，科學(xué)界將需要更好的指導(dǎo)原則，以及用于解決新問(wèn)題的收斂保證。

我們相信，在解決收斂問(wèn)題的過(guò)程中，進(jìn)一步開(kāi)發(fā) LARS 與 LARC 等新算法和潛在的高階優(yōu)化方法將是至關(guān)重要的一環(huán)。