8月23日，GPU巨頭Nvidia發(fā)布了2023年二季度財報，其結(jié)果遠(yuǎn)超預(yù)期。總體來說，Nvidia二季度的收入達(dá)到了135億美元，相比去年同期增長了101%；凈利潤達(dá)到了61億美元，相比去年同期增長了843%。Nvidia公布的這一驚人的財報一度在盤后讓Nvidia股票大漲6%，甚至還帶動了眾多人工智能相關(guān)的科技股票在盤后跟漲。

Nvidia收入在二季度如此大漲，主要靠的就是目前方興未艾的人工智能風(fēng)潮。ChatGPT為代表的大模型技術(shù)從去年第三季度以來，正在得到全球幾乎所有互聯(lián)網(wǎng)公司的追捧，包括美國硅谷的谷歌、亞馬遜以及中國的百度、騰訊、阿里巴巴等等巨頭。而這些大模型能進(jìn)行訓(xùn)練和推理的背后，都離不開人工智能加速芯片，Nvidia的GPU則是大模型訓(xùn)練和推理加速目前的首選方案。由于個大科技巨頭以及初創(chuàng)公司都在大規(guī)模購買Nvidia的A系列和H系列高端GPU用于支持大模型訓(xùn)練算力，這也造成了Nvidia的數(shù)據(jù)中心GPU供不應(yīng)求，當(dāng)然這反映到財報中就是收入和凈利潤的驚人增長。

事實(shí)上，從Nvidia的財報中，除了亮眼的收入和凈利潤數(shù)字之外，還有一個關(guān)鍵的數(shù)字值得我們關(guān)注，就是Nvidia二季度的數(shù)據(jù)中心業(yè)務(wù)收入。根據(jù)財報，Nvidia二季度的數(shù)據(jù)中心業(yè)務(wù)收入超過了100億美元，相比去年同期增長171%。Nvidia數(shù)據(jù)中心業(yè)務(wù)數(shù)字本身固然非常驚人，但是如果聯(lián)系到其他公司的同期相關(guān)收入并進(jìn)行對比，我們可以看到這個數(shù)字背后更深遠(yuǎn)的意義。同樣在2023年第二季度，Intel的數(shù)據(jù)中心業(yè)務(wù)收入是40億美元，相比去年同期下降15%；AMD的數(shù)據(jù)中心業(yè)務(wù)收入是13億美元，相比去年同期下降11%。我們從中可以看到，在數(shù)據(jù)中心業(yè)務(wù)的收入數(shù)字上，Nvidia在2023年第二季度的收入已經(jīng)超過了Intel和AMD在相同市場收入的總和。

這樣的對比的背后，體現(xiàn)出了在人工智能時代，人工智能加速芯片（GPU）和通用處理器芯片（CPU）地位的反轉(zhuǎn)。目前，在數(shù)據(jù)中心，人工智能加速芯片/GPU事實(shí)上最主流的供貨商就是Nvidia，而通用處理器芯片/CPU的兩大供貨商就是Intel和AMD，因此比較Nvidia和Intel+AMD在數(shù)據(jù)中心領(lǐng)域的收入數(shù)字就相當(dāng)于比較GPU和CPU之間的出貨規(guī)模。雖然人工智能從2016年就開始火熱，但是在數(shù)據(jù)中心，人工智能相關(guān)的芯片和通用芯片CPU相比，獲得的市場份額增長并不是一蹴而就的：在2023年之前，數(shù)據(jù)中心CPU的份額一直要遠(yuǎn)高于GPU的份額；甚至在2023年第一季度，Nvidia在數(shù)據(jù)中心業(yè)務(wù)上的收入（42億美元）仍然要低于Intel和AMD在數(shù)據(jù)中心業(yè)務(wù)的收入總和；而在第二季度，這樣的力量對比反轉(zhuǎn)了，在數(shù)據(jù)中心GPU的收入一舉超過了CPU的收入。

這也是一個歷史性的時刻。從上世紀(jì)90年代PC時代開始，CPU一直是摩爾定律的領(lǐng)軍者，其輝煌從個人電腦時代延續(xù)到了云端數(shù)據(jù)中心時代，同時也推動了半導(dǎo)體領(lǐng)域的持續(xù)發(fā)展；而在2023年，隨著人工智能對于整個高科技行業(yè)和人類社會的影響，用于通用計算的CPU在半導(dǎo)體芯片領(lǐng)域的地位正在讓位于用于人工智能加速的GPU（以及其他相關(guān)的人工智能加速芯片）。

摩爾定律的故事在GPU上仍然在發(fā)生

眾所周知，CPU的騰飛離不開半導(dǎo)體摩爾定律。根據(jù)摩爾定律，半導(dǎo)體工藝特征尺寸每18個月演進(jìn)一代，同時晶體管的性能也得大幅提升，這就讓CPU在摩爾定律的黃金時代（上世紀(jì)80年代至本世紀(jì)第一個十年）突飛猛進(jìn)：一方面CPU性能每一年半就迭代一次，推動新的應(yīng)用出現(xiàn)，另一方面新的應(yīng)用出現(xiàn)又進(jìn)一步推動對于CPU性能的需求，這樣兩者就形成了一個正循環(huán)。這樣的正循環(huán)一直到2010年代，隨著摩爾定律逐漸接近物理瓶頸而慢慢消失——我們可以看到，最近10年中，CPU性能增長已經(jīng)從上世紀(jì)8、90年代的15%年復(fù)合增長率（即性能每18個月翻倍）到了2015年后的3%年復(fù)合增長率（即性能需要20年才翻倍）。

但是，摩爾定律對于半導(dǎo)體晶體管性能增長的驅(qū)動雖然已經(jīng)消失，但是摩爾定律所預(yù)言的性能指數(shù)級增長并沒有消失，而是從CPU轉(zhuǎn)到了GPU上。如果我們看2005年之后GPU的性能（算力）增長，我們會發(fā)現(xiàn)它事實(shí)上一直遵循了指數(shù)增長規(guī)律，大約2.2年性能就會翻倍！

同樣是芯片，為什么GPU能延續(xù)指數(shù)級增長？這里，我們可以從需求和技術(shù)支撐兩方面來分析：需求意味著市場上是不是有應(yīng)用對于GPU的性能指數(shù)級增長有強(qiáng)大的需求？而技術(shù)支撐則是，從技術(shù)上有沒有可能實(shí)現(xiàn)指數(shù)級性能增長？

從需求上來說，人工智能確實(shí)存在著這樣強(qiáng)烈需求。我們可以看到，從2012年（神經(jīng)網(wǎng)絡(luò)人工智能復(fù)興怨念開始）到至今，人工智能模型的算力需求確實(shí)在指數(shù)級增長。2012年到2018年是卷積神經(jīng)網(wǎng)絡(luò)最流行的年份，在這段時間里我們看到人工智能模型的算力需求增長大約是每兩年15倍。在那個時候，GPU主要負(fù)責(zé)的是模型訓(xùn)練，而在推理部分GPU的性能一般都是綽綽有余。而從2018年進(jìn)入以Transformer架構(gòu)為代表的大模型時代后，人工智能模型對于算力需求的演進(jìn)速度大幅提升，已經(jīng)到了每兩年750倍的地步。在大模型時代，即使是模型的推理也離不開GPU，甚至單個GPU都未必能滿足推理的需求；而訓(xùn)練更是需要數(shù)百塊GPU才能在合理的時間內(nèi)完成。這樣的性能需求增長速度事實(shí)上讓GPU大約每兩年性能翻倍的速度都相形見拙，事實(shí)上目前GPU性能提升速度還是供不應(yīng)求！因此，如果從需求側(cè)去看，GPU性能指數(shù)級增長的曲線預(yù)計還會延續(xù)很長一段時間，在未來十年內(nèi)GPU很可能會從CPU那邊接過摩爾定律的旗幟，把性能指數(shù)級增長的神話續(xù)寫下去。

GPU性能指數(shù)增長背后的技術(shù)支撐

除了需求側(cè)之外，為了能讓GPU性能真正維持指數(shù)增長，背后必須有相應(yīng)的芯片技術(shù)支撐。我們認(rèn)為，在未來幾年內(nèi)，有三項(xiàng)技術(shù)將會是GPU性能維持指數(shù)級增長背后的關(guān)鍵。

第一個技術(shù)就是領(lǐng)域?qū)Ｓ茫╠omain-specific）芯片設(shè)計。同樣是芯片，GPU性能可以指數(shù)級增長而CPU卻做不到，其中的一個重要因素就是GPU性能增長不僅僅來自于晶體管性能提升和電路設(shè)計改進(jìn)，更來自于使用領(lǐng)域?qū)Ｓ迷O(shè)計的思路。例如，在2016年之前，GPU支持的計算主要是32位浮點(diǎn)數(shù)（fp32），這也是在高性能計算領(lǐng)域的默認(rèn)數(shù)制；但是在人工智能興起之后，研究表明人工智能并不需要32位浮點(diǎn)數(shù)怎么高的精度，而事實(shí)上16位浮點(diǎn)數(shù)已經(jīng)足夠用于訓(xùn)練，而推理使用8位整數(shù)甚至4位整數(shù)都夠了。而由于低精度計算的開銷比較小，因此使用領(lǐng)域?qū)Ｓ糜嬎愕脑O(shè)計思路，為這樣的低精度計算做專用優(yōu)化可以以較小的代價就實(shí)現(xiàn)人工智能領(lǐng)域較大的性能提升。從Nvidia GPU的設(shè)計我們可以看到這樣的思路，我們看到了計算數(shù)制方面在過去的10年中從fp32到fp16到int8和int4的高效支持，可以說是一種低成本快速提高性能的思路。除此之外，還有對于神經(jīng)網(wǎng)絡(luò)的支持（TensorCore），稀疏計算的支持，以及Transformer的硬件支持等等，這些都是領(lǐng)域?qū)Ｓ迷O(shè)計在GPU上的很好體現(xiàn)。在未來，GPU性能的提升中，可能是有很大一部分來自于這樣的領(lǐng)域?qū)Ｓ迷O(shè)計，往往一兩個專用加速模塊的引入就能打破最新人工智能模型的運(yùn)行瓶頸來大大提升整體性能，從而實(shí)現(xiàn)四兩撥千斤的效果。

第二個技術(shù)就是高級封裝技術(shù)。高級封裝技術(shù)對于GPU的影響來自兩部分：高速內(nèi)存和更高的集成度。在大模型時代，隨著模型參數(shù)量的進(jìn)一步提升，內(nèi)存訪問性能對于GPU整體性能的影響越來越重要——即使GPU芯片本身性能極強(qiáng)，但是內(nèi)存訪問速度不跟上的話，整體性能還是會被內(nèi)存訪問帶寬所限制，換句話說就是會遇到“內(nèi)存墻”問題。為了避免內(nèi)存訪問限制整體性能，高級封裝是必不可少的，目前的高帶寬內(nèi)存訪問接口（例如已經(jīng)在數(shù)據(jù)中心GPU上廣泛使用的HBM內(nèi)存接口）就是一種針對高級封裝的標(biāo)準(zhǔn)，而在未來我們預(yù)期看到高級封裝在內(nèi)存接口方面起到越來越重要的作用，從而助推GPU性能的進(jìn)一步提升。高級封裝對于GPU性能提升的另一方面來自于更高的集成度。最尖端半導(dǎo)體工藝（例如3nm和以下）中，隨著芯片規(guī)模變大，芯片良率會遇到挑戰(zhàn)，而GPU可望是未來芯片規(guī)模提升最激進(jìn)的芯片品類。在這種情況下，使用芯片粒將一塊大芯片分割成多個小芯片粒，并且使用高級封裝技術(shù)集成到一起，將會是GPU突破芯片規(guī)模限制的重要方式之一。目前，AMD的數(shù)據(jù)中心GPU已經(jīng)使用上了芯片粒高級封裝技術(shù)，而Nvidia預(yù)計在不久的未來也會引入這項(xiàng)技術(shù)來進(jìn)一步繼續(xù)提升GPU芯片集成度。

最后，高速數(shù)據(jù)互聯(lián)技術(shù)將會進(jìn)一步確保GPU分布式計算性能提升。如前所述，大模型的算力需求提升速度是每兩年750倍，遠(yuǎn)超GPU摩爾定律提升性能的速度。這樣，單一GPU性能趕不上模型算力需求，那么就必須用數(shù)量來湊，即把模型分到多塊GPU上進(jìn)行分布式計算。未來幾年我們可望會看到大模型使用越來越激進(jìn)的分布式計算策略，使用數(shù)百塊，上千塊甚至上萬塊GPU來完成訓(xùn)練。在這樣的大規(guī)模分布式計算中，高速數(shù)據(jù)互聯(lián)將會成為關(guān)鍵，否則不同計算單元之間的數(shù)據(jù)交換將會成為整體計算的瓶頸。這些數(shù)據(jù)互聯(lián)包括近距離的基于電氣互聯(lián)的SerDes技術(shù)：例如在Nvidia的Grace Hopper Superchip中，使用NVLINK C2C做數(shù)據(jù)互聯(lián)，該互聯(lián)可以提供高達(dá)900GB/s的數(shù)據(jù)互聯(lián)帶寬（相當(dāng)于x16 PCIe Gen5的7倍）。另一方面，基于光互聯(lián)的長距離數(shù)據(jù)互聯(lián)也會成為另一個核心技術(shù)，當(dāng)分布式計算需要使用成千上萬個計算節(jié)點(diǎn)的時候，這樣的長距離數(shù)據(jù)交換也會變得很常見并且可能會成為系統(tǒng)性能的決定性因素之一。

我們認(rèn)為，在人工智能火熱的年代，GPU將會進(jìn)一步延續(xù)摩爾定律的故事，讓性能指數(shù)級發(fā)展繼續(xù)下去。為了滿足人工智能模型對于性能強(qiáng)烈的需求，GPU將會使用領(lǐng)域?qū)Ｓ迷O(shè)計、高級封裝和高速數(shù)據(jù)互聯(lián)等核心技術(shù)來維持性能的快速提升，而GPU以及它所在的人工智能加速芯片也將會成為半導(dǎo)體領(lǐng)域技術(shù)和市場進(jìn)步的主要推動力。