2016年9月13日消息，NVIDIA在北京舉辦了GPU技術(shù)大會(huì)（GPU Tech Conference），這也是GTC第一次在國內(nèi)舉辦。在這次大會(huì)上，NVIDIA發(fā)布了Tesla P4、P40深度學(xué)習(xí)芯片，此外黃仁勛也在北京與數(shù)以萬計(jì)的AI、游戲行業(yè)的開發(fā)者們分享了他對(duì)GPU和未來計(jì)算的認(rèn)知。以下內(nèi)容是根據(jù)黃仁勛在GTC China 2016上的演講實(shí)錄整理。

　　一、4年以前，AlexNet第一次帶來了深度學(xué)習(xí)的爆發(fā)

　　2012年一個(gè)年輕的研究員叫Alex Krizhevsky。在多倫多大學(xué)AI實(shí)驗(yàn)室，他設(shè)計(jì)了一個(gè)可以學(xué)習(xí)的軟件，這個(gè)軟件靠自己就能進(jìn)行視覺識(shí)別。深度學(xué)習(xí)這個(gè)時(shí)候已經(jīng)發(fā)展了一段時(shí)間，可能有20年。

　　Alex所設(shè)計(jì)的這個(gè)網(wǎng)絡(luò)，它有一層一層的神經(jīng)網(wǎng)絡(luò)，包括卷積神經(jīng)網(wǎng)絡(luò)、激發(fā)層、輸入和輸出，可以進(jìn)行區(qū)分。這樣一個(gè)神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)識(shí)別影像或者是規(guī)律。深層神經(jīng)網(wǎng)絡(luò)所帶來的結(jié)果是它會(huì)非常有效，會(huì)超出你的想象，但是它進(jìn)行訓(xùn)練需要的計(jì)算資源超過了現(xiàn)代計(jì)算機(jī)的能力，它需要幾個(gè)月的時(shí)間去訓(xùn)練一個(gè)網(wǎng)絡(luò)才能真正地識(shí)別圖像。

　　Alex當(dāng)時(shí)的看法是，有一個(gè)叫做GPU的新型處理器，通過一種叫CUDA的計(jì)算模式，可以適用于并行計(jì)算，用于非常密集的訓(xùn)練。2012年他當(dāng)時(shí)設(shè)計(jì)了叫Alex的網(wǎng)絡(luò)，提交給了一個(gè)大規(guī)模計(jì)算視覺識(shí)別大賽，是一個(gè)全球的競(jìng)賽，并且贏得了這個(gè)大賽。

　　AlexNet戰(zhàn)勝了所有由其他計(jì)算視覺專家所開發(fā)的算法。Alex當(dāng)時(shí)只用兩個(gè)NVIDIA GTX580，在通過數(shù)據(jù)訓(xùn)練了幾天后，AlexNet的結(jié)果和質(zhì)量引起關(guān)注。所有搞計(jì)算視覺的科學(xué)家，所有的AI科學(xué)家都非常關(guān)注。在2012年，Alex Krizhevsky啟動(dòng)了計(jì)算機(jī)深度學(xué)習(xí)的基礎(chǔ)，這是現(xiàn)代AI的一個(gè)大爆炸。他的工作和成果在全世界引起了很大反響。

　　我相信那個(gè)時(shí)刻會(huì)被記住，因?yàn)樗_實(shí)改變了世界。之后有很多研究開始圍繞深度學(xué)習(xí)進(jìn)行。2012年斯坦福大學(xué)的吳教授（吳恩達(dá)）和我們開發(fā)了一個(gè)非常大規(guī)模的GPU配置用于深度學(xué)習(xí)的訓(xùn)練，很快在三年之后每一年都會(huì)有新的網(wǎng)絡(luò)出來，能夠不斷地戰(zhàn)勝其他方案獲得更好的記錄。

　　二、聲音和視覺輸入鋪墊了構(gòu)造AI世界的基礎(chǔ)

　　到了2015年，谷歌和微軟都實(shí)現(xiàn)了人類般的視覺識(shí)別能力。它是由軟件寫就的，在GPU上經(jīng)過訓(xùn)練可以實(shí)現(xiàn)比人類更高的視覺識(shí)別能力。2015年百度也宣布他們的語音識(shí)別達(dá)到了超越人類的水平，這是非常重要的一個(gè)事件。這是第一次計(jì)算機(jī)能自己寫程序，實(shí)現(xiàn)超過人類的水平。

　　視覺和語音是兩個(gè)非常重要的感官輸入，是人類智能的基礎(chǔ)。現(xiàn)在我們已經(jīng)有了一些基礎(chǔ)的支柱，讓我們能夠進(jìn)一步推進(jìn)AI的發(fā)展，這在之前是難以想象的。如果聲音和視覺的輸入值不可靠的話，怎么能夠有機(jī)器可以去學(xué)習(xí)，可以有人類一樣的行為。我們相信這個(gè)基礎(chǔ)已經(jīng)有了，這也是為什么我們認(rèn)為現(xiàn)在是AI時(shí)代的開始。

　　全世界的研究者都看到了這些結(jié)果，現(xiàn)在所有的AI實(shí)驗(yàn)室都開始使用GPU跑深度學(xué)習(xí)，這樣他們也可以開始建立未來AI的基礎(chǔ)?；旧纤械腁I研究者都開始用我們的GPU。

　　GPU的核心是模擬物理世界，我們用GPU創(chuàng)建虛擬世界用于游戲、設(shè)計(jì)，用于講故事，比如制作電影。模擬環(huán)境、模擬物理屬性、模擬周圍所看到的世界，構(gòu)建虛擬世界的過程如同人類大腦在想象時(shí)進(jìn)行的計(jì)算。因?yàn)樯疃葘W(xué)習(xí)的發(fā)展，使我們的工作進(jìn)入新的階段，人工智能。對(duì)人類智能的模擬會(huì)是我們所做的最重要的工作之一，而且我們對(duì)此非常激動(dòng)。

　　三、GPU計(jì)算滲透到深度學(xué)習(xí)各個(gè)領(lǐng)域

　　今天也是我們第一次在中國舉辦GTC大會(huì)，這次很大一部分內(nèi)容會(huì)是關(guān)于人工智能和深度學(xué)習(xí)。我們是一個(gè)計(jì)算公司，SDK對(duì)于我們來講是最重要的產(chǎn)品，GTC是我們最重要的一場(chǎng)盛會(huì)。大家可以看一下過去幾年的成長(zhǎng)，這是非常了不起的增速。

　　今年GTC有16000名人員參加。下載我們SDK的開發(fā)人員增長(zhǎng)了3倍，達(dá)到了40萬開發(fā)人員。但最了不起的數(shù)字是深度學(xué)習(xí)開發(fā)人員在兩年之內(nèi)有了25倍的增長(zhǎng)，現(xiàn)在下載我們的深度神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)室引擎的開發(fā)人員已經(jīng)增長(zhǎng)了25倍，下載了5萬5千次。

　　大家到底用它干什么呢？很多都是AI研究人員，他們來自于全球各地，現(xiàn)在所有的實(shí)驗(yàn)室都會(huì)使用我們的GPU平臺(tái)來做自己的AI研究，有軟件公司、互聯(lián)網(wǎng)軟件提供商，還有互聯(lián)網(wǎng)公司、汽車公司、政府、醫(yī)療成像、財(cái)務(wù)、制造等公司。現(xiàn)在用GPU深度學(xué)習(xí)的領(lǐng)域是非常廣的，非常了不起的。

　　四、大腦的運(yùn)作就像GPU的計(jì)算

　　大家要問為什么AI研究人員選擇GPU，Alex他們發(fā)現(xiàn)GPU的并行運(yùn)算實(shí)際是非常符合深度學(xué)習(xí)網(wǎng)絡(luò)的計(jì)算特征。那么進(jìn)一步來講，為什么GPU對(duì)深度學(xué)習(xí)來講是非常適合的工具呢？我想給大家講一個(gè)不是那么嚴(yán)肅的例子說明一下為什么GPU非常重要。

　　大腦就像一個(gè)GPU。比如我讓大家想象乒乓球，大家閉上眼睛，你們大腦會(huì)形成一個(gè)幾個(gè)人打乒乓球的圖像，如果讓大家想象功夫熊貓，那么腦子里會(huì)出現(xiàn)是類似的功夫熊貓圖像。所以我們的大腦在思考時(shí)會(huì)生成一些圖片。反過來，GPU的構(gòu)架也像大腦一樣，它不是由一個(gè)處理器進(jìn)行序列的運(yùn)算，我們的GPU有上千個(gè)處理器，非常小的處理器組合在一起來共同解決問題，這上千個(gè)處理器會(huì)進(jìn)行數(shù)學(xué)計(jì)算、互相連接、分享信息，最終能夠解決一個(gè)很大的問題，就好像是我們的大腦一樣。所以說大腦就像GPU，因?yàn)榇竽X可以產(chǎn)生圖片，而GPU也像人的大腦一樣，所以有可能這種新的計(jì)算模式、新的計(jì)算模型可以解決虛擬現(xiàn)實(shí)的問題，它確實(shí)是非常適合GPU的。

　　深度學(xué)習(xí)是一種新的計(jì)算模式，它會(huì)涉及軟件的方方面面。深度學(xué)習(xí)首先要設(shè)計(jì)一個(gè)網(wǎng)絡(luò)并且對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，針對(duì)一個(gè)網(wǎng)絡(luò)的訓(xùn)練需要幾十億甚至更多的操作，涉及上百萬甚至有更多的數(shù)據(jù)，通過這些數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，需要很長(zhǎng)的時(shí)間。如果沒有一個(gè)GPU，這個(gè)過程可能需要好幾個(gè)月，但GPU把這個(gè)時(shí)間壓縮到幾天內(nèi)，這也是為什么GPU能夠幫助大家更好地解決問題。

　　五、尋找比摩爾定律進(jìn)化得更快的計(jì)算模式

　　訓(xùn)練是深度學(xué)習(xí)的一個(gè)基礎(chǔ)，這個(gè)網(wǎng)絡(luò)有了之后，你希望運(yùn)用這個(gè)網(wǎng)絡(luò)來進(jìn)行預(yù)測(cè)，進(jìn)行推理，進(jìn)行歸類，要對(duì)一個(gè)信息進(jìn)行推理，比如有幾十億人每天在網(wǎng)上問很多的問題，有可能是圖片，文字，語音，將來有可能是視頻這種形式。在數(shù)據(jù)中心當(dāng)中GPU推理能夠非?？斓仨憫?yīng)。所以深度學(xué)習(xí)的第一部分是訓(xùn)練，第二部分是推理。

　　深度學(xué)習(xí)的第三部分，有些人叫IoT，智能設(shè)備、智能終端，也許是攝像頭、汽車、機(jī)器人，也許是話筒，這樣互聯(lián)設(shè)備就變成了智能設(shè)備。物聯(lián)網(wǎng)需要有AI進(jìn)行驅(qū)動(dòng)，需要深度神經(jīng)網(wǎng)絡(luò)進(jìn)行驅(qū)動(dòng)，大量的智能終端根本目標(biāo)是需要去識(shí)別去歸類進(jìn)行交互，要快要準(zhǔn)確，并且盡量在低功耗狀態(tài)下實(shí)現(xiàn)所有這些功能。

　　在接下來這些時(shí)間，軟件的開發(fā)會(huì)和以前不一樣，我們運(yùn)行軟件的方法也會(huì)不一樣，在上面的運(yùn)算也會(huì)不一樣，很多設(shè)備上要運(yùn)行什么東西會(huì)不一樣，所以深度學(xué)習(xí)將會(huì)影響到到計(jì)算的各個(gè)方面。

　　現(xiàn)在我們看一下訓(xùn)練，首先我們應(yīng)該意識(shí)到訓(xùn)練的復(fù)雜性。前面提到了訓(xùn)練可能是幾十億甚至萬億的運(yùn)算，模型越大數(shù)據(jù)越多，結(jié)果就會(huì)越準(zhǔn)確，數(shù)據(jù)多，加上大模型、大的計(jì)算量將會(huì)帶來深度學(xué)習(xí)更好的結(jié)果，這是非常根本的、非常重要的。

　　微軟有一個(gè)叫ResNet的識(shí)別網(wǎng)絡(luò)，如果跟AlexNet比較，AlexNet神經(jīng)網(wǎng)絡(luò)是8層，總計(jì)算量是1.4G的浮點(diǎn)運(yùn)算，錯(cuò)誤率是16%。8層和1.4G，錯(cuò)誤率是16%，意味著什么？這是當(dāng)時(shí)最好的。當(dāng)時(shí)計(jì)算視覺專家研發(fā)的算法大部分錯(cuò)誤率可能比16%更高，這說明用傳統(tǒng)計(jì)算視覺方式的局限性很大，準(zhǔn)確率沒有那么高。

　　如果通過深度學(xué)習(xí)，我們?cè)谶^去幾年中可以實(shí)現(xiàn)3.5%的錯(cuò)誤率，3.5%這是在幾百萬的圖像當(dāng)中進(jìn)行測(cè)試152層的一個(gè)網(wǎng)絡(luò)，幾年之前只有8層，現(xiàn)在是152層，總共的計(jì)算能力是22.6G/flps，這是18倍的增長(zhǎng)，這就表明了深度學(xué)習(xí)存在的問題。三年之內(nèi)深度學(xué)習(xí)的計(jì)算負(fù)載增長(zhǎng)了18倍，這比摩爾定律快很多。

　　所以問題變得越來越復(fù)雜，越來越難，但是計(jì)算的能力卻沒有相應(yīng)速度的增長(zhǎng)，這也是為什么整個(gè)行業(yè)都開始尋找新的計(jì)算模式，為他們都開始來考慮使用GPU計(jì)算。

　　另一個(gè)案例更加驚人，是關(guān)于語音識(shí)別。語音識(shí)別是自然語言理解的基礎(chǔ)，自然語言理解也是智能的基礎(chǔ)。這是百度吳恩達(dá)的實(shí)驗(yàn)室的工作，2014年有2500萬的參數(shù)在這個(gè)模型當(dāng)中，訓(xùn)練的材料是7000小時(shí)的語料8%的錯(cuò)誤率。2015年的訓(xùn)練數(shù)據(jù)是此前的2倍，深度學(xué)習(xí)網(wǎng)絡(luò)是原來的4倍大，2倍的數(shù)據(jù)量，4倍的網(wǎng)絡(luò)復(fù)雜性，實(shí)現(xiàn)的錯(cuò)誤率是5%，就在1年之內(nèi)百度的DPS錯(cuò)誤率降至了40%左右。但是需要付出什么樣的代價(jià)？就是計(jì)算量的增長(zhǎng)。

　　深度學(xué)習(xí)的方法花了這么長(zhǎng)的時(shí)間才真正出現(xiàn)，因?yàn)檫@樣的方法從計(jì)算條件來說是沒有辦法實(shí)現(xiàn)的，此前沒有任何計(jì)算機(jī)可以對(duì)這樣的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直到GPU出現(xiàn)用于深度學(xué)習(xí)的出現(xiàn)。這是我講的為什么我們對(duì)這樣新的計(jì)算模式非常振奮，為什么現(xiàn)在在我們這個(gè)計(jì)算行業(yè)當(dāng)中這個(gè)時(shí)刻非常重要。

　　同時(shí)這個(gè)趨勢(shì)在未來還會(huì)繼續(xù)，大家要記住我們現(xiàn)在還是5%的錯(cuò)誤率，我們希望是0%的錯(cuò)誤率。每個(gè)人的聲音都可以被識(shí)別，甚至是做得更好，可以去理解詞的語義，所以我們還有很多更大的計(jì)算需求。

　　六、AI會(huì)自上而下地改變計(jì)算系統(tǒng)

　　Pascal是我們針對(duì)深度學(xué)習(xí)進(jìn)行優(yōu)化的GPU架構(gòu)。Pascal的處理器是真正的奇跡，Pascal是一個(gè)全新的架構(gòu)，用立體的晶體管制成，用立體的封裝，用3D的堆棧，所有這些使得我們的Pascal架構(gòu)實(shí)現(xiàn)了巨大的性能提升，新的指令級(jí)和新的制造制成、新的封裝方式，以及新的互聯(lián)連接方式把多個(gè)GPU連到一起，這樣它們可以做一個(gè)團(tuán)隊(duì)來開展工作。我們花了3年的時(shí)間，1萬個(gè)人年的投入，完成了這項(xiàng)我們自己史上最大的工作。

　　我們也認(rèn)識(shí)到處理器還只是開始。在AI計(jì)算這塊有這樣一個(gè)新的計(jì)算模式，計(jì)算系統(tǒng)架構(gòu)也會(huì)發(fā)生變化，處理器的設(shè)計(jì)會(huì)發(fā)生變化，算法會(huì)發(fā)生變化，我們開發(fā)軟件的方式會(huì)發(fā)生變化，系統(tǒng)的設(shè)計(jì)也會(huì)發(fā)生變化。

　　我們有一個(gè)新的超級(jí)計(jì)算機(jī)，在一個(gè)盒子的大小之內(nèi)，這就是叫DGX-1，替代了大約250臺(tái)服務(wù)器，整個(gè)數(shù)據(jù)中心都縮成了一個(gè)小盒子的大小。這個(gè)超級(jí)計(jì)算機(jī)完全是重新設(shè)計(jì)的?？匆幌挛覀兲幚砥鞯某删驮偌由螪GX-1，使得我們?cè)谝荒曛畠?nèi)的性能有65倍的提高。相比較這個(gè)Alex第一次用我們GPU來訓(xùn)練他的網(wǎng)絡(luò)的時(shí)候，這是65倍的提高。這比摩爾定律的速度要快很多，比整個(gè)半導(dǎo)體的發(fā)展要快很多，比任何其他的在計(jì)算的進(jìn)步方面要快很多。