在歐洲高性能計算領(lǐng)域頂級大會Teratec上，NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛發(fā)表演講，暢談他對產(chǎn)業(yè)及行業(yè)高性能計算的看法，以下為演講全文。

很高興今天能與大家一起討論高性能計算，我非常關(guān)注這個主題。

高性能計算是科學領(lǐng)域的必備工具，幫助科學家更好地了解我們的世界和宇宙。

盡管多個行業(yè)已經(jīng)從高性能計算中受益頗多，然而這還僅是特例，我們堅信，得益于一系列進步，我們正處于一個重要的轉(zhuǎn)折點和行業(yè)高性能計算革命的開端。

在我們聽到數(shù)字生物學革命，或未來工廠革命、數(shù)字孿生革命時，他們都有同樣的內(nèi)因在發(fā)揮作用。

我的演講將重點介紹推動計算領(lǐng)域以超指數(shù)級、超摩爾定律速度進步的動力，這使高性能計算最終成為對各個行業(yè)都有用的工具。

隨后，我將介紹如何擴展高性能計算系統(tǒng)，以服務(wù)各行各業(yè)的應(yīng)用。

先跟大家聊一下我們的行業(yè)，以及高性能計算是如何給這個行業(yè)帶來翻天覆地的變化。

NVIDIA 的成功一部分是源自我們構(gòu)建的內(nèi)容，但更多的是與構(gòu)建方式有關(guān)。

NVIDIA 很早就制定了完全在硅晶片中構(gòu)建我們芯片的理念，并且只將我們認為完美的設(shè)計送到晶圓廠去生產(chǎn)。

NVIDIA 要模擬一切，并不惜一切代價實現(xiàn)這一目標，為了模擬我們的芯片和系統(tǒng)，我們已經(jīng)在芯片設(shè)計基礎(chǔ)設(shè)施、硬件和軟件方面投資了數(shù)十億。

計算機模擬仿真的方法讓我們在項目成本最低的階段發(fā)現(xiàn)問題，最終將高質(zhì)量的產(chǎn)品更快地投放市場。

不僅如此，這樣做還有更深遠的意義。

模擬文化會自然地促進軟硬件協(xié)同設(shè)計，并使內(nèi)部團隊自然地保持一致。

計算機模擬文化貫穿整個過程并有著深遠的影響：產(chǎn)品開發(fā)的各個方面都整合在一起，故障和結(jié)果可重現(xiàn)，進而獲得持續(xù)改進，過去學到的所有知識都記錄在工具和流程中。

隨著時間的推移，使我們獲得了快速擴展和前進的整合優(yōu)勢。

1997 年，RIVA128 有 400 萬個晶體管，它由50 名工程師打造。23年后，A100 的規(guī)模擴大了15000 倍，需要5000 名工程師參與。

如果沒有計算機模擬，電影行業(yè)不可能讓我們身臨其境非常非常遙遠的星系。在電影《星球大戰(zhàn)9： 天行者崛起》中，ILM（工業(yè)光魔公司） 在數(shù)萬臺服務(wù)器上模擬出了數(shù)百萬加侖的水。

CGI （計算機成像技術(shù)）使得ILM 打造出令人難以置信的鏡頭–要召喚出他們模擬的壯觀海浪顯然是不可能的。

但是，CGI 開辟了更多新天地–能夠從任何角度進行拍攝，反復拍攝直到獲得完美鏡頭，每當鏡頭中有海洋時重用之前的算法–創(chuàng)作自由度令人震撼。

導演能想到的，CGI都能實現(xiàn)。

計算機模擬也改變了電子商務(wù)、媒體和互聯(lián)網(wǎng)領(lǐng)域。

互聯(lián)網(wǎng)上有數(shù)萬億物品，數(shù)十億人通過4 英寸的屏幕在這里“網(wǎng)上沖浪”。

預測用戶意圖和偏好，對于建立用戶和物品之間的聯(lián)系至關(guān)重要。

通過學習每款產(chǎn)品的幾十到幾百個屬性，以及每位用戶也有數(shù)十個到數(shù)百個屬性，互聯(lián)網(wǎng)服務(wù)提供商使用在超大規(guī)模數(shù)據(jù)中心運行的推薦系統(tǒng)來預測你的隱性偏好。

推薦系統(tǒng)可以有效模擬你的偏好，并預測你喜歡購買、閱讀或觀看的內(nèi)容。

數(shù)據(jù)來自你與其服務(wù)進行的每一次互動。

推薦系統(tǒng)也是大規(guī)模的商用高性能計算系統(tǒng)之一，并且它們會不間斷運行。

每年，超大規(guī)模數(shù)據(jù)中心和云數(shù)據(jù)中心部署的服務(wù)器數(shù)量能達到3000 萬臺，其中大量服務(wù)器用于學習預測特征和用戶偏好。

這些行業(yè)都因高性能計算而發(fā)生變革。

但是，基于物理和生物科學的產(chǎn)品制造業(yè)會遇到因問題過于龐大且復雜，以至于難以在模擬中正確求解。

為幫助打造實際產(chǎn)品–無論是破解和理解生物分子、研發(fā)新藥、尋找更可持續(xù)的食物和燃料來源，還是安全操作自主機器以制造并交付產(chǎn)品–只有在企業(yè)能夠通過模擬設(shè)計整個產(chǎn)品和完成相關(guān)壓力測試后，工業(yè)高性能計算才能被廣泛采用。

這需要達到一定的規(guī)模。

到目前為止，高性能計算能夠模擬的規(guī)模太小，以至于在工業(yè)領(lǐng)域無法發(fā)揮作用。

有句話說的好：“梯子再高也上不了月球?！?/p>

得需要火箭才行。

計算機科學領(lǐng)域的兩項突破大大提高了高性能計算的模擬規(guī)模。

第一個是 CUDA GPU 加速。

我們來看看科學家們使用NAMD 對模擬規(guī)模檢驗的進度。

NAMD 是一種分子動力學求解器，用于模擬化學物質(zhì)與蛋白質(zhì)的相互作用來進行虛擬藥物篩選，或模擬蛋白質(zhì)折疊以預測其3D 結(jié)構(gòu)。

2006 年，UIUC利用NVIDIA GPU 加速 NAMD，對 100 萬個原子 20納秒的活動機制進行了建模，達到2000 萬原子x納秒。

如今，通過GPU 加速，研究人員正在對10 億個原子 500納秒的活動機制建模，達到5000 億原子x納秒。

原子模擬的性能在15 年內(nèi)提高了100 萬倍。

但按照摩爾定律，只會提高1000 倍。

事實上，最龐大的Top 500 超級計算機在這一時期僅增加了400 倍。

GPU 加速計算推動著超指數(shù)級的增長。

實現(xiàn)這一目標需要 CUDA GPU、多 GPU 系統(tǒng)、網(wǎng)絡(luò)性能提升和全棧優(yōu)化，這種完全集成的計算方法就是我們所說的 GPU 加速計算。

盡管如此，我們目前只接近了微秒級的時間尺度，我們需要進行毫秒級的模擬來觀察重要的細胞過程，例如新冠肺炎刺突蛋白的作用機制。

以及在秒級的時間尺度上觀察蛋白質(zhì)折疊過程。

這又增大了 3 到6 個數(shù)量級，即使使用GPU 加速計算，也可能需要10 年才能實現(xiàn)。

此時，深度學習應(yīng)運而生。

深度學習模型是通用函數(shù)學習工具。

其有效性以及 NVIDIA GPU 的通用性吸引了全球科學家加入深度學習研究，我們經(jīng)常從中看到重大突破。

AI 模型的規(guī)模在短短4 年內(nèi)增加了 4 個數(shù)量級，現(xiàn)已超過一萬億個參數(shù)！

我們預計幾年內(nèi)會有100 萬億以上參數(shù)的模型，因為從規(guī)模上來說，人腦大約有150 萬億個突觸。

美國能源部國家實驗室的研究人員結(jié)合深度學習與NAMD 對新型冠狀病毒的3.05 億個原子模擬超過了1ms ，以觀察其刺突蛋白的作用機制。

在過去 15 年里，我們實現(xiàn)了從 2000 萬原子 x 納秒到 305 萬億原子 x 納秒的模擬，增長了 1000 萬倍。

GPU 和深度學習使高性能計算速度實現(xiàn)超指數(shù)級增長。

自從采用深度學習以來，行業(yè)高性能計算應(yīng)用明顯增加，尤其是在數(shù)字生物學、藥物研發(fā)、金融服務(wù)、制造和運輸領(lǐng)域。

領(lǐng)軍者們看到了即將到來的轉(zhuǎn)折點，正躍躍欲試，期待著高性能計算超指數(shù)級的進步。

索邦大學的研究人員與 GENCI、CRNS 和 NVIDIA 合作，用 GPU 加速一個大規(guī)模分子動力學模擬軟件Tinker-HP。

他們模擬了新冠病毒刺突蛋白 38 微秒的活動機制，研究員 Jean Philippe 表示說“以前需要幾年努力或者使用幾百萬個 CPU 核心”才能實現(xiàn)這個結(jié)果。

六家領(lǐng)先的制藥公司開始使用 Tinker-HP 進行藥物研發(fā)。

Transformer是一個可以學習序列模式的突破性 AI 模型，已經(jīng)取得了驚人的自然語言理解成果。

Google 的 BERT、OpenAI 的 GPT-3、NVIDIA 的 BioMegatron 就是典型的例子。

語言理解技術(shù)將實現(xiàn)計算的大眾化，讓所有人都能使用，可能會對社會產(chǎn)生深遠影響。

GENCI 和 BigScience 的開放大型語言模型協(xié)作項目匯集了來自 45 個國家和地區(qū)的 500 名研究人員，共同為行業(yè)和科學界開發(fā)開源語言模型。

Transformer 不僅在語言理解方面具有革命性意義。

這些模型還可以學習 SMILES 的語法規(guī)則，SMILES 是描述化學結(jié)構(gòu)的語言 – 化學語言。

NVIDIA 和阿斯利康合作開發(fā)了一種 AI 模型，可以預測藥物靶向反應(yīng)并生成新型分子藥物化合物。

該模型使用由十億種商用藥物分子組成的 ZINC 化學化合物數(shù)據(jù)庫進行訓練。

流體模擬被用于設(shè)計高效的渦輪機和風機，甚至是現(xiàn)代數(shù)據(jù)中心。

幾何感知、多物理場 CFD 模擬可能需要數(shù)天才能完成，這限制了可探索的設(shè)計規(guī)模。

NVIDIA 研究人員開發(fā)了 SimNet，一種基于物理信息的神經(jīng)網(wǎng)絡(luò)。

SimNet 是一種基于深度學習的多物理場 CFD 模擬框架 – 一種遵守物理定律的 AI 模型。

GPU 加速計算與深度學習的融合正在推動許多領(lǐng)域的超指數(shù)級增長。

超指數(shù)級規(guī)模將開啟高性能計算的行業(yè)應(yīng)用，同時行業(yè)高性能計算的各種用例又會推動架構(gòu)的進步，不僅僅是規(guī)模增長。

行業(yè)高性能計算不會處于超級計算中心的限制之中。行業(yè)高性能計算將是分布式的，跨越多個站點，延伸至邊緣，連接到遠程傳感器，有時還會運行批量模擬，以及越來越多的連續(xù)數(shù)字孿生模擬。行業(yè)高性能計算即是云原生和混合云計算。

中央超級計算機的性能將是難以置信的，它在第一性原理物理模擬方面表現(xiàn)卓著，大多數(shù)行業(yè)將使用數(shù)據(jù)分析、AI 模型訓練和物理-AI 融合的模擬方法。

在交通運輸行業(yè)，高性能計算將根據(jù)來自數(shù)百萬輛汽車的傳感器數(shù)據(jù)流構(gòu)建并不斷更新高清地圖。

針對 AI 優(yōu)化的高性能計算將用于開發(fā)自動駕駛 AI 模型，同時針對可視化優(yōu)化的高性能計算將模擬行駛在虛擬城市中的整個汽車堆棧。

在制造行業(yè)，針對可視化優(yōu)化的高性能計算將創(chuàng)建虛擬環(huán)境，讓機器人使用深度強化學習來學習技能。

高性能計算將實現(xiàn)在視覺和物理方面均非常準確的數(shù)字孿生模擬。

一些超級計算機將完全專用于監(jiān)控和處理來自全球數(shù)十億個傳感器的連續(xù)遙測數(shù)據(jù)流；包括環(huán)境、氣象、大氣、海洋、衛(wèi)星成像以及人類和農(nóng)業(yè)污染。

歷史數(shù)據(jù)可通過多種模式進行可視化，這些數(shù)據(jù)將推動 AI 模型預測未來幾個小時的天氣或未來數(shù)年的氣候變化。

DestinE 就是一臺這樣的計算機，它將成為地球的數(shù)字孿生體，加速計算和 AI 將貫穿其始終。

然而，應(yīng)用的多樣性和系統(tǒng)瓶頸將推動系統(tǒng)架構(gòu)的多樣性。這就是 Arm 的魅力所在。

Arm 的魅力在于其開放的許可模式，允許任何人創(chuàng)建專用芯片和系統(tǒng)。

Amazon Graviton 非常適用于超大規(guī)模。

Ampere Computing 為超大規(guī)模、云和高并發(fā)用戶應(yīng)用打造了出色的 CPU。

印度的 C-DAC 和韓國的 ETRI 也在構(gòu)建超級計算 CPU。

富士通打造了一款具有強大向量處理能力和高內(nèi)存帶寬的超級計算 CPU。

Marvell 在存儲服務(wù)器和 5G 基站方面表現(xiàn)優(yōu)異。

在歐洲，SiPearl 正在為歐洲 E 級 （每秒百億億次） 超級計算構(gòu)建 CPU。

NVIDIA 正在構(gòu)建針對諸如 AI 等大型數(shù)據(jù)問題的 GPU 加速計算而優(yōu)化的 CPU。

在為研究人員創(chuàng)建實用的計算平臺的漫長旅程中，構(gòu)建 CPU 是第一步。

構(gòu)建一個實用的計算平臺，支持不同科學領(lǐng)域和行業(yè)的各種應(yīng)用、系統(tǒng)配置和用例，需要付出巨大的努力。

除了極少數(shù)例外，計算機并非獨立或孤立的設(shè)備。

Arm 系統(tǒng)需要集成到當今的基礎(chǔ)設(shè)施、軟件堆棧和工作流程中。

Arm 需要第三方配套芯片、各種系統(tǒng)、特定領(lǐng)域的求解器和應(yīng)用、中間件、存儲和文件系統(tǒng)、網(wǎng)絡(luò)、成熟的開發(fā)堆棧、支持熱門編程模型和語言的 SDK 以及數(shù)據(jù)中心管理軟件的支持。

Arm 目前僅占全球數(shù)據(jù)中心的 1%，因此激勵生態(tài)系統(tǒng)全面支持 Arm 將是一個漫長的過程。

我們相信，Arm 模式在高性能計算領(lǐng)域的時代已經(jīng)到來。

盡管長路漫漫，但 NVIDIA 非常熟悉這個過程。NVIDIA 可以快速啟動 Arm 高性能計算生態(tài)系統(tǒng)。

在過去 20 年里，我們?yōu)?NVIDIA 加速計算創(chuàng)建了強大的生態(tài)系統(tǒng)。

我們的平臺可加速所有關(guān)鍵高性能計算和 AI 生態(tài)系統(tǒng)。

我們?yōu)?250 萬開發(fā)者提供了 150 個 SDK。

我們與世界各地的服務(wù)器制造商和云供應(yīng)商合作，提供我們的平臺給客戶。

高性能計算社區(qū)希望實現(xiàn)多元化，并渴望 NVIDIA 為 x86 和 Arm 提供加速計算和 AI 計算。

考慮到社區(qū)的關(guān)注點，我們將為從云到超級計算中心到邊緣的指令集架構(gòu)提供支持。

還有一件事值得一提。

量子計算雖然仍處于早期研究階段，但我們有望模擬這種類別的、隨規(guī)模呈指數(shù)級增長的復雜問題，例如量子化學和密碼學。

盡管距離廣泛商用還有幾十年的時間，但目前仍有重要的研究要做，NVIDIA 可以通過多種方式做出貢獻：

模擬量子電路以驗證研究量子計算機的結(jié)果，為優(yōu)化量子算法的研究人員提供平臺，構(gòu)建混合量子-經(jīng)典系統(tǒng)，以及加速已用于藥物研發(fā)或材料科學的許多量子求解器。

NVIDIA cuQuantum 是一種張量處理 SDK，可極大加速量子電路模擬。

在法國和世界各地都有一個充滿活力的大型社區(qū)。

我們的計算機科學家隨時準備幫助你加速量子研究。

行業(yè)高性能計算的時代已經(jīng)到來。

科學界利用高性能計算來測試新理論的極限。

各個行業(yè)需要高性能計算來測試新產(chǎn)品的極限。

到目前為止，基于物理和生物科學的產(chǎn)品會存在因問題過于龐大且復雜，以至于難以在模擬中正確求解。

GPU 加速和 AI 改變了這一點。

GPU 加速和 AI 在 15 年內(nèi)將計算機模擬的規(guī)模提升了 1000 萬倍，這是一種超指數(shù)級增長。

在行業(yè)領(lǐng)域，高性能計算不再是試圖登月的長梯，它現(xiàn)在是一艘火箭。

對于行業(yè)來說，問題已經(jīng)不再是計算機能做些什么。而是誰將率先使用計算機來為行業(yè)掀起革命性變革。

行業(yè)高性能計算的時代已經(jīng)到來。

編輯：jq