12月15日,NVIDIA GTC 2020中國線上大會上,NVIDIA首席科學(xué)家Bill Dally發(fā)表主題演講,重點介紹了他的團隊在AI研究方面的進展,特別強調(diào)了以NVIDIA創(chuàng)始人兼CEO黃仁勛本人命名的“黃氏定律”(Huang‘s Law)。
眾所周知,“摩爾定律”在過去半個世紀(jì)推動著CPU處理器的飛速發(fā)展,而近些年明顯慢了下來,GPU則持續(xù)提升,同時擔(dān)任的角色也越來越多,尤其是在這個無處不AI的世界。
Bill Dally擁有120多項專利,曾任斯坦福大學(xué)計算機科學(xué)系主任,2009年加入NVIDIA,負責(zé)AI、光線追蹤、高速互連領(lǐng)域的相關(guān)研究。
本次大會上,Bill Dally以三個項目為例,講述了自己帶領(lǐng)的200人的研究團隊,如何成功實現(xiàn)“黃氏定律”,并大膽預(yù)測,GPU將推動AI性能每一年都翻一倍。
他說:“如果我們真的想提高計算機性能,黃氏定律就是一項重要指標(biāo),且在可預(yù)見的未來都將一直適用。”
為實現(xiàn)這一突破,NVIDIA專門開發(fā)了一種名為MAGNet的工具,它生成的AI推理加速器在模擬測試中能夠達到100TOPS/W(每瓦特100萬億次操作)的推理能力,比目前的商用芯片高出一個數(shù)量級。
MAGNet采用了一系列新技術(shù),協(xié)調(diào)并控制通過設(shè)備的信息流,最大限度地減少數(shù)據(jù)傳輸,而數(shù)據(jù)傳輸正是當(dāng)今芯片中能耗最大的環(huán)節(jié)。
另外,NVIDIA還研究了更快速的光鏈路,可取代現(xiàn)有系統(tǒng)內(nèi)的電氣鏈路,通過利用密集波分復(fù)用技術(shù),有望在僅僅1毫米大小的芯片上,實現(xiàn)Tb/s級數(shù)據(jù)的傳輸,是如今互連密度的十倍以上。
Bill Dally還舉例展示了一個新的NVIDIA DGX系統(tǒng)模型,借助光鏈路可集成160多顆GPU。
本次GTC大會吸引了眾多行業(yè)領(lǐng)軍企業(yè)與機構(gòu)參與,包括阿里巴巴、AWS、百度、字節(jié)跳動、中國電信、戴爾科技、滴滴、新華三、浪潮、快手、聯(lián)想、微軟、平安、騰訊、清華大學(xué)、小米。
責(zé)編AJX
-
摩爾定律
+關(guān)注
關(guān)注
4文章
640瀏覽量
80459 -
gpu
+關(guān)注
關(guān)注
28文章
5050瀏覽量
133995 -
AI
+關(guān)注
關(guān)注
88文章
37210瀏覽量
291599
發(fā)布評論請先 登錄
使用NVIDIA NVLink Fusion技術(shù)提升AI推理性能

NVIDIA預(yù)測:GPU將推動AI性能逐步增長
評論