隨著科技的飛速發(fā)展，人工智能公司Groq挑戰(zhàn)了英偉達的王者地位，其AI芯片不僅展現(xiàn)出卓越的實力，還擁有巨大的潛力。Groq設(shè)計了一種獨特的推理代幣經(jīng)濟學模式，該模式背后牽動著眾多因素，卻也引發(fā)了深度思考：新的技術(shù)突破來自何處？中國該如何應(yīng)對并抓住變革中的機遇？Groq成本如何評估？這些都是值得研究和思考的問題。

Groq芯片的實力與潛力

近期AI芯片領(lǐng)域嶄Groq可謂是火爆全球，其在處理大型模型token生成上所展示出的表現(xiàn)令人驚嘆。這意味著我們可以在與GPT等復雜聊天機器人互動時，實時獲得回應(yīng)，無需等待機器人逐個生成答案。

那么，Groq驅(qū)動的大模型生成速度究竟有多快呢？令人難以置信的是，當Groq的LPU驅(qū)動含有700億參數(shù)的Llama 2大模型時，其生成速度被推至新高度，平均每秒生成185個token。該速度遠超其他使用GPU驅(qū)動的AI云服務(wù)提供商。

而在面對Mix Strore8x7B模型時，Groq的性能更是達到新峰值，其生成速度飆至每秒488.6個token，相比依賴英偉達GPU的系統(tǒng)每秒僅能產(chǎn)生15個token的速度，可以說是取得了壓倒性的勝利。從這些事實中，不難看出Groq的LPU在大型模型生成速度上占據(jù)絕對優(yōu)勢。LPU曾被稱為TSP（Tensor Streaming Processor），即一個裝配有大量Tensor單元的流式處理器。

那么對于Groq公司，大家一定對它的來歷感到好奇吧？

Groq是由前谷歌TPU團隊核心成員喬納斯羅斯2016年創(chuàng)立的公司，其推出產(chǎn)品被稱為LPU（Language Processing Unit），專為處理大模型設(shè)計的加速芯片。

一、GPU的局限性

盡管GPU在訓練機器學習模型方面的強大作用無可替代，其強大的計算能力、快速參數(shù)更新速度和豐富的生態(tài)系統(tǒng)使之成為業(yè)內(nèi)的主流選擇，但它并非模型推理的理想選擇。一方面是因為GPU架構(gòu)復雜，其中只有部分核心專門針對AI場景。其次，GPU承載存儲和計算兩個部分，導致數(shù)據(jù)需要頻繁讀寫，從而降低運行速度，提高功耗。

二、GPU、TPU和Groq的LPU的優(yōu)勢與挑戰(zhàn)

下面我們一起來分析專門為AI應(yīng)用設(shè)計的芯片，以谷歌的TPU和Groq的LPU為例。TPU和LPU都有自身的獨特優(yōu)勢，但也有著各自的挑戰(zhàn)需要我們?nèi)ダ斫夂吞接憽?/p>

1、谷歌TPU

TPU專為AI應(yīng)用設(shè)計的芯片，專門處理矩陣運算（AI應(yīng)用中超過90%的計算任務(wù)）。在執(zhí)行AI訓練和推理過程中，TPU能夠便捷地處理不同的計算任務(wù)，如激活函數(shù)、優(yōu)化算法以及損失函數(shù)等。這些都是通過高效的向量計算模塊來完成的。而其特色之處在于，TPU采用一種獨特的陣列設(shè)計方法，數(shù)據(jù)一旦導入，便會在內(nèi)部形成一個流水線，持續(xù)運動直到完成計算。這種持續(xù)流動式處理方式極大地降低了數(shù)據(jù)的讀寫次數(shù)，從而提升了在AI應(yīng)用中的計算效率。

2、Groq的LPU

Groq的LPU采用與TPU相同的處理模式，不同的是它在計算單元旁邊直接集成了大約230MB的SRAM，帶寬可達80TB/s。比起GPU，當運行同等參數(shù)的模型時，LPU需要的內(nèi)存更多，這也是LPU在運行速度上擁有優(yōu)勢的原因。

不過，盡管LPU的速度令人矚目，但其昂貴的價格也是一個不容忽視的問題。LPU每塊價格近20000美元，如果要運行擁有上千億參數(shù)的大模型，可能需要購買數(shù)百塊LPU。也就是說，盡管LPU的單獨計算率高，但在數(shù)量需求上，部分GPU在成本效益上更具優(yōu)勢。

3、SRAM的容量問題

有人可能會提出為什么不直接擴大到1TB？實際上，這樣做的技術(shù)難度很高，同時也會增加制造成本。因此，230MB的SRAM可能就是在權(quán)衡設(shè)計難度和制造成本后，現(xiàn)階段可以實現(xiàn)的一個平衡點。

Groq的成本分析

Groq人工智能硬件公司因其在推理API領(lǐng)域的卓越性能以及為技術(shù)如思維鏈的實際應(yīng)用所鋪就道路的貢獻而廣受關(guān)注。它在單串性能方面的優(yōu)勢更是受到稱贊，對于特定的市場和應(yīng)用環(huán)境，Groq的速度優(yōu)勢已經(jīng)改變了原有的格局。然而，足夠的運行速度只是解決方案的一部分。Groq的另一優(yōu)勢是供應(yīng)鏈的多元化，即所有制造和封裝流程都在美國完成。相比之下，洛基達、谷歌、AMD等依賴韓國內(nèi)存和臺灣先進芯片封裝技術(shù)的AI芯片供應(yīng)商形成鮮明對比。

雖然Groq的優(yōu)勢明顯，但一個硬件是否具有變革性的決定因素是其性能與總成本的比值。不同于傳統(tǒng)軟件，AI軟件的運行需要更強大的硬件基礎(chǔ)設(shè)施，這無疑對資本和運營成本產(chǎn)生更大的影響，從而對凈利潤形成影響。因此，優(yōu)化AI基礎(chǔ)設(shè)施以實現(xiàn)AI軟件的高效部署尤為重要，擁有優(yōu)越基礎(chǔ)設(shè)施的公司無疑將在使用AI部署和拓展應(yīng)用程序的競賽中立于不敗之地。

根據(jù)"Inference Race to the Bottom"的研究，大量公司可能會在Mixtral API推理服務(wù)中虧本，以致于需要設(shè)定極低的訪問率減少損失。然而，Groq卻敢于在定價上與這些公司一較高下，其每個代幣價格低至0.27美元。接下來，我們將更深入地研究Groq的芯片、系統(tǒng)以及成本分析，看看他們是如何實現(xiàn)這樣卓越的性能。

Groq芯片采用固定的VLIW架構(gòu)，并在Global Foundries的14nm工藝上實現(xiàn)約725mm2的規(guī)模。由于芯片并未裝配緩存器，所以所有權(quán)重、KVCache和激活數(shù)據(jù)在處理過程中都儲存于芯片中，不需外置存儲。然而，由于每枚芯片僅擁有230MB的SRAM，所以無法將實際的模型完整地裝入單一芯片中。因此，需要使用多個芯片來共同執(zhí)行模型的運算，并連接在一起。

要運行Mixtral模型，Groq需將576個芯片串聯(lián)起來，這些芯片被均勻地分布在72個服務(wù)器上，而這些服務(wù)器則被部署在8個不同機架中。相比之下，Nvidia的H100只需一個芯片就能運行同樣的模型，而兩個芯片則能處理大規(guī)模數(shù)據(jù)。

在芯片成本方面，產(chǎn)出Groq芯片的每片晶圓價格不會超過6000美元。而對照到Nvidia的H100芯片（尺寸為814mm2，采用臺灣半導體制造公司的5nm自定義工藝），同樣一片晶圓的制作成本就近在16000美元。此外，Groq在設(shè)計上并未考慮到良率收縮，與Nvidia有著鮮明的對比，后者會關(guān)閉大約15%的H100 SKU，以反映出產(chǎn)品的主流族群。

當考慮到內(nèi)存成本，Nvidia從SK Hynix采購的每片80GB HBM芯片的預計價格為1150美元。另外，還需要額外付費給臺積電的CoWoS服務(wù)，導致總成本進一步增加。然而，由于Groq并無額外的外部內(nèi)存需求，因此其芯片構(gòu)成要素清單大大縮減。

下表將展示Groq部署策略的特點，特別是在流水線并行性和批處理尺寸均為3時的情況。同時，也會將經(jīng)過延遲和吞吐量優(yōu)化后的Nvidia的H100推理部署情況做出對比。

本次分析簡化了部分經(jīng)濟因素，未充分考慮進一些系統(tǒng)成本及Nvidia巨大的利潤空間。但卻明確突出Groq芯片架構(gòu)的優(yōu)勢，尤其是與延遲優(yōu)化過的Nvidia系統(tǒng)進行比較時。

對于Mixtral模型，八顆A100s芯片可以提供約220個代幣的吞吐量/秒，而這還不包括預測解碼。同樣地，八顆H100s芯片可以達到約280個代幣的吞吐量/秒，如果加上預測解碼，吞吐量更可以達到約420。當前，由于經(jīng)濟收益不高，市場上尚未出現(xiàn)面向延遲優(yōu)化的API服務(wù)。然而，隨著代理及其他低延遲任務(wù)的日益普及，以GPU為基礎(chǔ)的API供應(yīng)商可能會提供相應(yīng)的優(yōu)化API。

Groq的優(yōu)勢表現(xiàn)在不需要預測解碼的高性能，且這一優(yōu)勢在實現(xiàn)批處理系統(tǒng)后仍然顯著。Groq仍在使用相對較舊的14nm工藝，并向Marvell支付較高的芯片利潤。然而，隨著Groq的投資額增加，以及其下一代4nm芯片產(chǎn)量的提高，情況可能發(fā)生改變。

對性能優(yōu)化過的系統(tǒng)來說，其成本效益將會顯著改變。通過基于BOM計算，在每單位美元的投入中，Nvidia的性能增長率顯著提升，但其用戶吞吐量卻相對較低。

簡化的分析方式無法考慮到系統(tǒng)成本、利潤率和功耗等因素，我們將在未來進一步研究性能與總成本的關(guān)系。

一旦將上述因素考慮進去，對Tokenomics的理解將發(fā)生改變。Nvidia的商業(yè)模式依賴于他們的GPU板的高額利潤，以及所收取的服務(wù)器費用。

如今，最大的模型參數(shù)范圍已達到1到2萬億，而預期谷歌和OpenAI將研發(fā)超過10萬億參數(shù)的模型。同時，大模型如Llama3和Mistral也即將發(fā)布。此類模型需要搭配幾百個GPU和數(shù)十TB的內(nèi)存的強大推理系統(tǒng)支持。已經(jīng)有公司如Groq顯示出處理不超過1000億參數(shù)模型的能力，并計劃在未來兩年部署上百萬芯片。

谷歌的Gemini 1.5 Pro能夠處理高達1000萬token的上下文，這意味著它可以處理長達10小時的影片、110小時的音質(zhì)、30萬行的編碼或700萬字的內(nèi)容。這樣的長上下文處理能力未來有望得到很多公司和服務(wù)商的迅速支持以更好地管理大量的編碼庫和文檔庫，取而代之低效的RAG模型。在處理這樣的長上下文信息時，Groq需要構(gòu)建由數(shù)萬片芯片組成的系統(tǒng)，而目前諸如谷歌、英偉達和AMD等公司使用的是幾十到幾百片芯片。盡管預計四年后，由于其優(yōu)秀的靈活性，GPU將能處理新模型，但對于Groq這樣沒有DRAM的公司來說，隨著模型規(guī)模的擴大，系統(tǒng)壽命可能會縮短，從而增加成本。

利用樹狀/分支推測的方式，推測性解碼的速度已經(jīng)提高約3倍。如果這種技術(shù)能在生產(chǎn)級系統(tǒng)上得到有效部署，那么8塊H100的處理速度將會提升到每秒600個Token，從而消解了Groq在速度上的優(yōu)勢。英偉達也未坐視不理，他們計劃在下個月發(fā)布性能以及TCO超過H100兩倍的B100芯片，并計劃在下半年開始發(fā)貨，同時旗下B200和X/R100的研發(fā)工作也正在積極推進。然而，倘若Groq能有效地擴大到數(shù)千個芯片的系統(tǒng)，那么便能大幅增加流水線數(shù)量，為更多的鍵值緩存提供空間，從而實現(xiàn)大規(guī)模的批處理，可能會大幅降低成本。即使有分析師認為這是可能的方向，但實現(xiàn)的可能性并不大。關(guān)鍵問題在于是否值得放棄靈活的GPU，轉(zhuǎn)而建立專門的基礎(chǔ)設(shè)施以滿足小型模型推理市場對于快速響應(yīng)的需求。

華為芯片應(yīng)對挑戰(zhàn)

Groq的出現(xiàn)為計算力市場提供新的選擇，這既暗示強勁的市場需求和供應(yīng)短缺，也說明科技公司正在構(gòu)建自己的體系，以對抗英偉達、AMD等的壟斷地位。對于國內(nèi)市場，這無疑為國產(chǎn)芯片提供了更大的發(fā)展空間。

華為已經(jīng)推出昇騰910和昇騰310兩款采用達芬奇架構(gòu)的AI芯片。該架構(gòu)具有強大的計算能力，可以在一個周期內(nèi)完成4096次MAC運算，并集成多種運算單元，支持混合精度計算和數(shù)據(jù)精度運算。

以昇騰系列AI處理器為基礎(chǔ)，華為構(gòu)建Atlas人工智能計算方案，包括多種產(chǎn)品形態(tài)，以應(yīng)對各種場景的AI基礎(chǔ)設(shè)施需求，覆蓋了深度學習的推理和訓練全流程。

基于昇騰系列處理器構(gòu)建的全棧AI解決方案，已逐漸完善。該方案包括昇騰系列芯片、Atlas硬件系列、芯片使能、異構(gòu)計算架構(gòu)CANN以及AI計算框架等。其中，昇騰910芯片的單卡算力已能媲美英偉達A100。

英偉達與華為參數(shù)比對

華為的昇騰計算平臺CANN已從無到有取得顯著突破。從2018年的CANN 1.0版本到目前的7.0版本，這個專為AI場景設(shè)計的異構(gòu)計算架構(gòu)平臺，已成功成為上層深度學習框架和底層AI硬件間的橋梁。

CANN已形成了繁榮的生態(tài)體系，適用于50多個主流的大模型，如訊飛星火、GPT-3、Stable Diffusion等，而且兼容主流加速庫和開發(fā)工具包，加速創(chuàng)新應(yīng)用的落地。同時，CANN支持主流的深度學習框架，如Pytorch和Tensorflow，且能在周級時間內(nèi)適配新版本。PyTorch已升級到2.1版本，支持昇騰NPU，助力開發(fā)者在華為昇騰平臺上開發(fā)模型。此外，第三方開源社區(qū)，如清華大學的Jittor和飛漿的PaddlePaddle FastDeploy也已經(jīng)支持接入CANN。

隨著華為昇騰910B的算力接近英偉達A100的標準，以科大訊飛為代表的國產(chǎn)AI模型廠商已開始投入使用?？拼笥嶏w宣布，即將以昇騰生態(tài)為基礎(chǔ)，發(fā)布基于“飛星一號”平臺的訊飛星火大模型，開啟與GPT-4相對標的更大規(guī)模訓練?？拼笥嶏w星火大模型3.5版已發(fā)布，其語言理解和數(shù)學能力已超過GPT-4 Turbo，而代碼能力及多模態(tài)理解分別達到其96%和91%。

華為 CANN 時間線

Groq的成本評估方式

原阿里副總裁賈揚清教授對Groq的成本評估非常精準，他強調(diào)Groq相較于H100的性價比較低，這其中包含一部分運營成本。這種觀點很有可能不僅僅是針對Groq，而是整個DSA設(shè)計領(lǐng)域。然而，如果忽略存儲成本，僅按照每個單元（token）的理論成本重新計算，得出的結(jié)果可能與此前相差甚遠。

在現(xiàn)實LLM需求環(huán)境中，推理工作負載對內(nèi)存容量的需求是剛性的，包括模型權(quán)重、上下文KV值、各芯片/節(jié)點產(chǎn)生的中間結(jié)果、優(yōu)化器狀態(tài)（僅訓練）等，都需要進行密集讀取和移動。此種情況下，Groq在處理大批量任務(wù)時的性能可能就變得有限，流水線并行中可能會產(chǎn)生低效或負效益?？偛⑿卸仁芟抻谀艽娣臟V值的內(nèi)存容量，而并行度不足會對每token的成本產(chǎn)生影響。

相較之下，采用類似結(jié)構(gòu)的Graphcore 7nm IPU面臨的情況也差不多，盡管其配備900MB的片上SRAM，遠超Groq的230MB，但依然遭遇商業(yè)化的困境。這進一步驗證了，如果基于SRAM的解決方案真的可行，類似的產(chǎn)品早就應(yīng)該彌漫市場了。再者，這種特殊構(gòu)型對應(yīng)的軟件編程框架和引導編譯器也是極大挑戰(zhàn)；倘若一定要景氣地運行Llama2 70B的推理任務(wù)，其復雜的軟件和運維開銷是不容忽視的。

接著，Groq的單卡計算單元規(guī)格似乎更適合處理小規(guī)模的推理任務(wù)，但其頗高的內(nèi)存帶寬在處理這類任務(wù)時的利用率未必能夠達到最優(yōu)。而倘若要處理中大型任務(wù)，則需要面臨內(nèi)存容量、通信瓶頸和復雜度的問題。雖然官方的測試主要聚焦在最大70B-最小7B的任務(wù)規(guī)模，但這顯然是Groq比較擅長的工作負載規(guī)模，并特別強調(diào)INT8的算力（up to 750TOPs），說明Groq產(chǎn)品的主打應(yīng)該是“INT8量化下的、面向70B-7B規(guī)?！钡耐评韴鼍?。

最后，無論從硬件還是軟件層面來看，相較于片外HBM+更大的L4+CXL方案，Groq的方案似乎有較高的迭代局限性，可能并不滿足當前LLM工作負載的剛性需求，邊際效益也可能不如前者。然而，如果堅持設(shè)計基于SRAM的DSA加速器，為何不研究一下Tesla Dojo的構(gòu)型呢？他們通過小顆粒SRAM+PE配對分散排列形成的2D矩陣的近存結(jié)構(gòu)，而非片上集中主存，應(yīng)該能降低一部分成本，而這種結(jié)構(gòu)可能處理相當復雜的操作，在非LLM計算場景中可能表現(xiàn)優(yōu)異。

審核編輯 黃宇