11 月 30 日，由深度學習技術及應用國家工程研究中心主辦、百度飛槳承辦的 WAVE SUMMIT+ 2022 深度學習開發(fā)者峰會圓滿落幕。

本次峰會上，百度 AI 技術生態(tài)總經(jīng)理馬艷軍發(fā)布了飛槳開源框架 2.4 版本，并攜手 NVIDIA 等 12 家生態(tài)伙伴發(fā)布了飛槳生態(tài)發(fā)行版，為開發(fā)者提供更好的軟硬一體化體驗。

作為飛槳的深度合作伙伴，NVIDIA 也出席了這場盛大的線上峰會。NVIDIA 亞太區(qū)資深產(chǎn)品負責人 Adam Zheng 還帶來了以“NVIDIA 全新一代產(chǎn)品，極致性能賦能飛槳落地千行百業(yè)”為主題的分享。以下為內(nèi)容概要。

NVIDIA 推出 Hopper 架構

掀起新一代加速計算浪潮

NVIDIA 作為計算加速行業(yè)的領導者，正在通過全棧創(chuàng)新推動高性能計算的發(fā)展。從芯片和系統(tǒng)，到它們運行的算法和應用程序，NVIDIA 平臺將 AI 帶入了全球最大的行業(yè)，提供包括推薦系統(tǒng)、AR、VR、自動駕駛汽車等解決方案，并加速科學研究。

今年春季 GTC 大會上，NVIDIA 發(fā)布了 Hopper 全新一代 GPU 架構，提供了六項突破性創(chuàng)新（如上圖）：

一、世界上最先進的芯片。由 800 億個晶體管構建而成，這些晶體管采用了專為 NVIDIA 加速計算需求設計的尖端的 TSMC 4N 工藝，因而能夠顯著提升 AI、HPC、顯存帶寬、互連和通信的速度，并能夠?qū)崿F(xiàn)近 5TB/s 的外部互聯(lián)帶寬。此外，該款芯片也是首款支持 PCIe 5.0 的 GPU，也是首款采用 HBM3 的 GPU，可實現(xiàn) 3TB/s 的顯存帶寬。20 個芯片便可承載相當于全球互聯(lián)網(wǎng)的流量，使其能夠幫助客戶推出先進的推薦系統(tǒng)以及實時運行數(shù)據(jù)推理的大型語言模型。

二、新的 Transformer 引擎——Transformer 現(xiàn)在已成為自然語言處理的標準模型方案，也是深度學習模型領域最重要的模型之一。新的 Transformer 引擎，可以將這些網(wǎng)絡的速度提升至上一代的六倍，而不會損失精度。

三、第二代安全多實例 GPU —— MIG 技術支持將單個 GPU 分為七個更小且完全隔離的實例，以處理不同類型的作業(yè)。與上一代產(chǎn)品相比，在云環(huán)境中 Hopper 架構通過為每個 GPU 實例提供安全的多租戶配置。

四、機密計算——全球首款具有機密計算功能的加速器，可保護 AI 模型和正在處理的客戶數(shù)據(jù)?？蛻暨€可以將機密計算應用于醫(yī)療健康和金融服務等隱私敏感型行業(yè)的學習，也可以應用于共享云基礎設施。

五、第 4 代 NVIDIA NVLink——為加速大型 AI 模型，NVLink 結合全新的外接 NVLink Switch，可將 NVLink 擴展為服務器間的互聯(lián)網(wǎng)絡。相比上一代 HDR Quantum InfiniBand，實現(xiàn) 9 倍的速度提升，并可連接多達 256 個 GPU。

六、DPX 指令——新的 DPX 指令可加速動態(tài)規(guī)劃，適用于包括路徑優(yōu)化和基因組學在內(nèi)的一系列算法，與 CPU 和上一代 GPU 相比，其速度提升分別可達 40 倍和 7 倍。

AI 開發(fā)只有頂尖的芯片是不夠的，還需要軟硬全棧和廣闊的生態(tài)。NVIDIA 提供端到端的 AI 軟件套件，覆蓋數(shù)據(jù)準備、訓練、推理優(yōu)化到大規(guī)模部署等多個環(huán)節(jié)，以強大的資源調(diào)度和管理能力助力客戶加速 AI 開發(fā)與部署。

NVIDIA 在加速計算領域的沉淀，以及其全新一代產(chǎn)品，為賦能飛槳生態(tài)奠定了基礎。

NVIDIA 攜手百度飛槳

加速 535 萬開發(fā)者的 AI 進程

百度飛槳是中國首個自主研發(fā)、功能豐富、開源開放的產(chǎn)業(yè)級深度學習平臺。近年來，飛槳的技術實力深受廣大硬件廠商認可，合作日趨緊密，軟硬一體協(xié)同發(fā)展，生態(tài)共創(chuàng)碩果累累。

NVIDIA 非常重視中國市場，特別關注中國的生態(tài)伙伴，而當前飛槳擁有 535 萬的開發(fā)者。過去的幾年中，NVIDIA 與飛槳一直保持著深度全面的合作關系。雙方一起做了大量的開發(fā)與優(yōu)化工作。

今年我們將飛槳列為 NVIDIA 全球前三的深度學習框架合作伙伴，在中國設立了專門的工程團隊支持，賦能飛槳。關于 NVIDIA 與飛槳的合作，由于篇幅原因，我們僅從硬件適配的角度，沿用上圖的四個階段做一個簡要的介紹。在數(shù)據(jù)處理方面，幫助飛槳集成 DALI；大規(guī)模訓練，支持各類數(shù)據(jù)格式，ASP、CUDA 等算子函數(shù) API；優(yōu)化推理方面，開發(fā)了 Paddle-TRT，Deep Learning Examples；在規(guī)模部署方面，集成了 NCCL，開發(fā)了 Triton PaddlePaddle Backend。

剛才這些適配僅僅是讓飛槳的開發(fā)者擁有高性能的推理訓練成為可能，但是這些離行業(yè)開發(fā)者還很遠，門檻還很高，難度還很大。為此，NVIDIA 將剛剛這些集成和優(yōu)化的工作整合到三大產(chǎn)品線中：

• NVIDIA NGC PaddlePaddle Container——NGC 飛槳容器，致力為開發(fā)者提供了一個最佳的飛槳開發(fā)環(huán)境，包含最新的 NVIDIA 工具包版本（CUDA, DALI 等）。

• NVIDIA Deep Learning Examples——飛槳深度學習模型示例，讓開發(fā)者能夠快速使用一系列擁有極致性能的經(jīng)典模型 ，例如 ResNet 50、BERT 等。

• NVIDIA DLI （Deep Learning Institute）——飛槳共建課程。為了能更好地提高推訓性能并簡化代碼，NVIDIA 深度學習培訓中心（DLI）也準備了系列免費課程，以及由 NVIDIA 與飛槳聯(lián)名的 DLI 課程證書，賦能開發(fā)者并給于權威認可。

在這三大舉措中，NGC 飛槳容器最為引人注目。

飛槳和 NVIDIA 團隊從與開發(fā)者用戶的持續(xù)交流中，收集到了一些使用上的痛點需求。比如，在提供 NGC 飛槳容器前，飛槳用戶如果希望使用 NVIDIA 最新軟件棧進行開發(fā)、訓練、部署，需要做大量的手動配置工作，這對不少用戶而言是一個巨大的工程挑戰(zhàn)。

針對這些需求，NVIDIA 與百度飛槳聯(lián)合開發(fā)了 NGC 飛槳容器，將最新的飛槳與最新的 NVIDIA 的軟件棧進行了無縫的集成與性能優(yōu)化，最大程度地釋放飛槳框架在 NVIDIA 最新硬件上的計算能力。這樣，用戶不僅可以快速開啟 AI 應用，專注于創(chuàng)新和應用本身，還能夠在 AI 訓練和推理任務上獲得飛槳 + NVIDIA 帶來的飛速體驗。

NGC 飛槳容器具有以下優(yōu)點：

• 以月為單位升級更新，每月底發(fā)布全新版本，無需注冊即可下載，支持多 GPU 和多節(jié)點系統(tǒng)。

• 適配最新版本的 NVIDIA 軟件棧（例如最新版本 CUDA），更多功能，更高性能。

• 安全可靠。掃描漏洞和加密，適合在工作站、服務器、云上運行并經(jīng)過測試。滿足 NVIDIA NGC 開發(fā)及驗證規(guī)范，質(zhì)量管理。

• 專為企業(yè)和高性能計算設計，支持 Docker。

• 適配各種硬件環(huán)境：裸機、虛擬機、K8S、X86、ARM、Power、云、本地、邊緣等。

• 應用廣泛。適合各種工作內(nèi)容、工作場景、各行業(yè)的應用。

• 性能優(yōu)化。我們將其進行優(yōu)化，并且具有很好的可擴展性。

為了讓飛槳開發(fā)者用上基于 NVIDIA 最新的高性能硬件和軟件棧，我們借用 NVIDIA NGC 完善的開發(fā)體系、質(zhì)量管理、測試流程、文檔規(guī)范、安全掃描等，開發(fā)了基于 NVIDIA GPU 平臺最好的飛槳開發(fā)環(huán)境。

NGC 飛槳容器現(xiàn)已上線飛槳官網(wǎng)，開發(fā)者可以通過飛槳官網(wǎng)快速獲取（如下圖）。

下面，我們介紹一下 NVIDIA Deep Learning Examples，這是 NVIDIA 優(yōu)化的工業(yè)級模型庫，目標是讓基于 NVIDIA GPU 的開發(fā)者復現(xiàn)極致精度和高性能的模型。NVIDIA Deep Learning Examples 中包括針對不同行業(yè)的模型，包括機器人、數(shù)字孿生、金融等等。

今年我們發(fā)布了 NVIDIA Deep Learning Examples PaddlePaddle ResNet50，只需要在 GitHub 中打開 NVIDIA Deep Learning Examples Repo，找到主頁中的 PaddlePaddle Classification ResNet50 文件就可以得到它，里面有非常豐富的文檔和信息。NVIDIA 基于各類網(wǎng)卡、A10、A30，基于各類拓撲結構，單機單卡、單機多卡等，都做了大量測試，并分享了詳細的 Benchmark 供開發(fā)者參考（如下圖）。

在本屆 WAVE SUMMIT+ 開始前，NVIDIA 更與百度飛槳聯(lián)合主辦了“2022 飛槳 × NVIDIA AI 技術開放日”。作為 WAVE SUMMIT+ 的 “前哨站” ，本次活動邀請雙方公司的 AI 技術專家與超過 2000 名開發(fā)者共同開展深度技術交流，內(nèi)容囊括 NGC 飛槳容器特點、應用場景、模型優(yōu)化，以及部署實踐案例。

欲了解更多 NGC 飛槳容器，可查看以下延展介紹，或關注微信公眾號【NVIDIA 英偉達企業(yè)解決方案】。

詳細產(chǎn)品介紹視頻

【飛槳開發(fā)者說｜NGC 飛槳容器全新上線 NVIDIA 產(chǎn)品專家全面解讀】

https://www.bilibili.com/video/BV16B4y1V7ue?share_source=copy_web&vd_source=266ac44430b3656de0c2f4e58b4daf82

詳細安裝介紹

【NGC 飛槳容器安裝指南】

https://www.paddlepaddle.org.cn/documentation/docs/zh/install/install_NGC_PaddlePaddle_ch.html