電子發(fā)燒友網(wǎng)報道（文/吳子鵬）日前，有代理商透露，英偉達的A100價格從2022年12月份開始上漲，截至2023年4月上半月，5個月價格累計漲幅達到37.5%；在中國市場，A800價格從2022年12月份開始上漲，截至2023年4月上半月，5個月價格累計漲幅達20.0%。

目前，對于所有AI大模型而言，無論是推理還是訓練，基本都是依賴英偉達的GPU芯片。其中，英偉達A100芯片是目前的主流，在大模型訓練市場的市占比接近100%。

英偉達算力芯片量價齊升

根據(jù)此前的公開報道，OpenAI的GPT-3大模型參數(shù)規(guī)模已經(jīng)達到1750億，因此在訓練過程中需要做大量的數(shù)據(jù)并行計算，這就是為什么AI 大模型都要哄搶GPGPU。

所謂的GPGPU又名通用算力GPU，能夠幫助CPU進行非圖形相關(guān)程序的運算——復雜的數(shù)值計算、物理模擬和數(shù)據(jù)分析等任務(wù)。GPGPU在進行相關(guān)運算時有幾大突出的優(yōu)勢，高效并行性、高密集運算、超長流水線等。

那么，為什么只有英偉達有AI淘金浪潮“賣鏟人”的稱號呢？

主要原因有兩點，其一是英偉達芯片的算力更高，比如英偉達的A100，這顆采用Ampere架構(gòu)和7nm制程的芯片里晶體管數(shù)量達542億顆，單芯片可提供的FP32峰值算力為19.5TFLOPS。如果是英偉達的H100 SXM，F(xiàn)P32峰值算力為67TFLOPS，提升明顯。并且，無論是A100還是H100都能夠提供包括FP64、TF32、FP32、FP16 和INT8在內(nèi)的所有算力精度。

在高算力方面，我們都知道，先進芯片和先進算力之間并不是畫等號的，在算力集群里，傳輸也是極為重要的。為了保障傳輸，英偉達給H100配備了可提供 900 GB/s GPU 間互連的第四代NVlink、可跨節(jié)點加速每個GPU通信的NVLINK Switch系統(tǒng)、PCIe 5.0，以保障高效的算力集群。即便是目前主流的A100，英偉達也是為其配備了2TB/s的內(nèi)存帶寬，以及NVIDIA NVLink、NVIDIA NVSwitch、PCIe 4.0，用以保障傳出。

其二是生態(tài)的優(yōu)勢。英偉達長期占據(jù)GPGPU的頭把交椅，并在此過程中持續(xù)完善自己的生態(tài)。在算力利用的過程中，無論是學習、運算還是開發(fā)，往往都需要一個統(tǒng)一的開發(fā)架構(gòu)，優(yōu)秀的架構(gòu)才能盡可能釋放GPGPU的算力。在這方面，公開數(shù)據(jù)顯示，英偉達的CUDA占據(jù)了全球大概80%以上的市場。其他公司做的基本都是對標CUDA，比如OpenAI的開發(fā)架構(gòu)Triton，業(yè)界往往認為其是簡化版的CUDA。目前，市場上很多芯片只能從理論算力上去對標英偉達，宣稱能夠達到英偉達某款芯片的幾成，然而在實際應(yīng)用中由于軟件生態(tài)的缺失，是要進一步打折扣的。

算力和生態(tài)的優(yōu)勢讓行業(yè)界對英偉達的A100和A800趨之若鶩。有代理商爆料稱，目前英偉達主流算力芯片不僅價格走高，同時交貨周期也被拉長，之前拿貨周期大約為一個月，現(xiàn)在基本都需要三個月或更長。甚至，部分新訂單“可能要到12月才能交付”。

產(chǎn)業(yè)苦英偉達久矣

目前，英偉達的GPGPU可以說就是AI大模型部署算力的標準。有專家曾表示，做好AI大模型的算力最低門檻是1萬枚英偉達A100芯片。TrendForce研究則顯示，以A100的算力為基礎(chǔ)，GPT-3.5大模型需要高達2萬枚GPU，未來商業(yè)化后可能需要超過3萬枚。

業(yè)界還預估，國內(nèi)大概只有3萬塊的英偉達A100芯片存量，其余用于AI大模型的都是新購進的A800特供版。因此，目前國內(nèi)部分公司已經(jīng)開始在內(nèi)部做出限制，除AI大模型相關(guān)業(yè)務(wù)外，其余業(yè)務(wù)不允許使用A100或者A800提供的算力。

業(yè)界一邊在盡力去追求英偉達的高端算力芯片，同時對于價格不斷走高，且供貨周期持續(xù)延長的英偉達芯片也是怨聲載道。

因此，目前行業(yè)內(nèi)不斷有聲音出現(xiàn)，要替代英偉達的相關(guān)芯片。

比如谷歌第二代TPU，在一些數(shù)據(jù)吞吐測試中，這款芯片已經(jīng)能夠和英偉達GPGPU相當。另外有分析師指出，由于一些公司買不到英偉達的高端GPGPU，因此選擇將模型做小，然后選擇AMD公司的CPU或者Cerebras的WSE來進行部署，進而促進了垂直領(lǐng)域和AI大模型的結(jié)合。

在國內(nèi)，也已經(jīng)有一些公司在推出方案，嘗試在AI大模型領(lǐng)域取代英偉達的芯片。

后記

根據(jù)相關(guān)統(tǒng)計數(shù)據(jù)，英偉達A100芯片已經(jīng)貢獻目前全球數(shù)據(jù)中心和算力中心業(yè)務(wù)的50%，成為該公司的搖錢樹。在國內(nèi)市場，幾天前的報道指出，A800芯片在國內(nèi)售價被炒到超過10萬元/顆，而且是低配的版本。然而，AIGC時代里，算力就是王道，因此算力芯片便物以稀為貴。