前言： 鑒于ChatGPT的廣泛應(yīng)用，引發(fā)了AI算力需求的迅猛增長，使得英偉達的AI芯片供不應(yīng)求，出現(xiàn)大規(guī)模短缺。如今，英偉達似乎在面對更多挑戰(zhàn)。

比英偉達GPU快10倍的LPU

近兩天，一家名為Groq的美國人工智能公司受到了廣泛關(guān)注，其主要原因在于其自主研發(fā)的LPU芯片在人工智能推理技術(shù)上取得了突破。

通過優(yōu)化架構(gòu)和減少內(nèi)存瓶頸，Groq的LPU芯片在大模型處理方面展現(xiàn)出高效率和低延遲的特點，速度遠超英偉達GPU，每秒生成速度接近500 tokens，而GPT-4僅40 tokens。

因此，Groq LPU被譽為[史上最快的大模型技術(shù)]。

Groq LPU的工作原理與英偉達的GPU不同，它采用了名為時序指令集計算機（Temporal Instruction Set Computer）架構(gòu)，使用存儲器為靜態(tài)隨機存取存儲器（SRAM），其速度比GPU所用的高帶寬存儲器（HBM）快約20倍。

據(jù)Groq在2024年1月的第一個公開基準測試，由Groq LPU驅(qū)動的Meta Llama 2-70B模型，推理性能比其他頂級云計算供應(yīng)商快18倍。

artificialanalysis.ai給出的測評結(jié)果也顯示，Groq的吞吐量速度稱得上是[遙遙領(lǐng)先]。

總結(jié)起來，Groq的架構(gòu)建立在小內(nèi)存，大算力上，因此有限的被處理的內(nèi)容對應(yīng)著極高的算力，導致其速度非?？?。

有分析人士稱，在A100和H100相對緊缺的時代，LPU或許會成為大模型開發(fā)商的新選擇。

Grop部署起來甚至比英偉達要貴

當初Groq以其閃電般的速度令A(yù)I行業(yè)為之震撼。

然而，在震撼之余，許多業(yè)界人士核算后發(fā)現(xiàn)，這種速度背后的代價可能過于高昂。

Groq的LPU芯片摒棄了HBM，僅依賴SRAM進行計算。

盡管這種方式確實帶來了令人矚目的計算速度，但其成本效益問題卻備受質(zhì)疑。

值得關(guān)注的是，盡管Groq在速度上表現(xiàn)出色，但其背后的成本卻相當高昂。

若以未來三年運行成本計算，Groq的硬件采購成本高達1144萬美元，而運營成本至少為76.2萬美元。

據(jù)此估算，在同等吞吐量下，Groq的硬件成本約為H100的40倍，能耗成本則是10倍。

若考慮運營三年，Groq硬件的購買成本為114.4萬美元，運營成本為76.2萬。

另一方面，對于一個8卡的H100盒子，硬件購買成本為30萬美元，運營成本約為7.2萬或稍低。

由于Groq內(nèi)存容量相對較小（230MB），在運行Llama-270b模型時，需配備305張Groq卡才能滿足需求，而使用H100僅需8張卡。

因此，從當前價格來看，在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。

換言之，Groq的高速性能是建立在有限的單卡吞吐能力基礎(chǔ)之上的。

為實現(xiàn)與H100相同的吞吐量，Groq需采用更多張顯卡。

在此背景下，[速度]成為了Groq的一把雙刃劍。

Groq喊話[三年內(nèi)趕超英偉達]

近期，一位自稱為Groq員工的用戶在與網(wǎng)絡(luò)用戶互動時表示，Groq致力于成為最快速的大規(guī)模模型硬件，并誓言在三年內(nèi)超越英偉達。

然而，截至2月20日美股收盤，英偉達股價單日跌幅達4.35%，創(chuàng)下去年10月以來最大單日跌幅，市值一夜之間縮水780億美元（約合5600億元人民幣）。

盡管Groq速度迅猛，但價格較高，目前尚不能與英偉達抗衡。SRAM技術(shù)面積大、功耗高，早已以IP內(nèi)核形式集成至系統(tǒng)級芯片（SoC），而非單獨應(yīng)用，其未來發(fā)展?jié)摿h不及HBM（高帶寬內(nèi)存）。

在單位容量價格、性能及功耗方面，英偉達GPU所采用的HBM技術(shù)均優(yōu)于SRAM。

從技術(shù)和性能角度看，Groq目前尚無法撼動英偉達的地位。

原因在于，英偉達GPU產(chǎn)品具有通用性，而Groq產(chǎn)品為ASIC（專用集成電路），并非通用產(chǎn)品，而是定制產(chǎn)品。

換言之，任何人工智能算法均可使用英偉達的H200，但僅Mixtral和Llama2能采用Groq的LPU。

欲使用Groq產(chǎn)品，大模型公司需先明確需求、指定規(guī)格，然后進行功能驗證，最終生產(chǎn)出的產(chǎn)品方可投入使用。

英偉達財報再次印證了其在人工智能浪潮中成為最大贏家的地位。

英偉達于北京時間2月22日發(fā)布截至2024年1月28日的四季度業(yè)績報告。

報告顯示，公司季度營收創(chuàng)紀錄達到221億美元，遠超英偉達自身及華爾街預(yù)期，同比增長265%。

全年營收同樣創(chuàng)下新高，達到609億美元，同比增長126%。

英偉達預(yù)計本季度營收將進一步攀升至240億美元。財報發(fā)布后，其股價盤后一度漲超10%。

結(jié)尾：

Groq架構(gòu)的特點是小內(nèi)存和大算力，適合頻繁數(shù)據(jù)搬運的場景，速度快但單卡吞吐能力有限，需要更多卡來保證同等吞吐量，速度既是優(yōu)勢也是劣勢。

此外，由于GPU的生態(tài)極為發(fā)達，其中英偉達的GPU不僅性能強大，在性能卓越的同時，還聚集了大量用戶和豐富的生態(tài)環(huán)境。

相比之下，Groq 目前僅能為少數(shù)大型模型提供服務(wù)，想要在低延遲領(lǐng)域建立持續(xù)優(yōu)勢，需要拓寬服務(wù)范圍并進一步減少總體成本。

審核編輯：劉清