初創(chuàng)芯片設(shè)計(jì)公司 Cerebras Systems發(fā)布了第三代 WSE-3 AI 芯片，此款芯片利用臺(tái)積電5納米制程技術(shù)制造，晶體管數(shù)量較上一代 WSE-2 明顯提高，達(dá)到驚人的4萬億個(gè)。新一代 CS-3 系統(tǒng)搭載 WSE-3芯片，能耗不變的前提下，處理能力高達(dá)原版的2倍。據(jù)Cerebras執(zhí)行總裁 Andrew Feldman表明，此次突破是向?qū)崿F(xiàn)摩爾定律更近一步。

該款 WSE-3 AI 芯片幾乎完全由一塊12英寸晶圓構(gòu)成，形如邊長(zhǎng)21.5厘米之正方體。這款芯片設(shè)有90萬個(gè) AI 內(nèi)核，理論上可輸出每秒125百億次浮點(diǎn)運(yùn)算（PFLOPS）的超強(qiáng)算力，其計(jì)算速度超過了大約62個(gè) NVIDIA H100 GPU 的總和。

Cerebras主要分為三批推出芯片，分別于2019年、2021年以及即將到來的2024年初問世。三批均采用臺(tái)積電16nm、7nm及5nm工藝生產(chǎn)。具體來看，這些芯片中的晶體管數(shù)量不斷增長(zhǎng)，其中FLOPS計(jì)算性能提升最快，AI核心數(shù)目、內(nèi)存儲(chǔ)器容量及內(nèi)部帶寬則保持較為平穩(wěn)的增勢(shì)。

單個(gè) WSE-3芯片使得CS-3計(jì)算系統(tǒng)訓(xùn)練達(dá)到24萬億參量的神經(jīng)網(wǎng)絡(luò)模型，相當(dāng)于最強(qiáng) LLM 規(guī)模的十倍，例如 OpenAI 的 GPT-4 以及谷歌的 Gemini。CS-3系統(tǒng)也具備卓越的可擴(kuò)充性，最多能容納2048臺(tái)設(shè)備連接。這樣的大規(guī)模計(jì)算集群僅需一天便可完成訓(xùn)練含有700億參量的 Llama 模型任務(wù)。

CS-3計(jì)算系統(tǒng)上市后受到廣泛關(guān)注與追捧，其企業(yè)客戶、云服務(wù)運(yùn)營(yíng)商甚至政府機(jī)構(gòu)紛紛下單預(yù)約。另外，鑒于此前成功合作開發(fā)的 Condor Galaxy 1（CG-1）和 CG-2，Cerebras 及阿拉伯聯(lián)合酋長(zhǎng)國(guó) G42 公司已經(jīng)著手建設(shè)最新款的 CG-3 超級(jí)計(jì)算機(jī)。坐落于德州達(dá)拉斯市的 CG-3計(jì)劃裝配64臺(tái)CS-3計(jì)算系統(tǒng)，共有5760萬個(gè)AI核心，預(yù)計(jì)AI計(jì)算能力達(dá)到8 ExaFLOPS（EFLOPS）。

一旦加入已經(jīng)在加州運(yùn)行的 CG-1和 CG-2系統(tǒng)，整個(gè) Condor Galaxy 計(jì)算網(wǎng)絡(luò)的性能預(yù)計(jì)能夠達(dá)到令人難以置信的16 EFLOPS。這個(gè)包含從 CG-1到CG-9共九臺(tái)超級(jí)計(jì)算機(jī)在內(nèi)的分布式計(jì)算網(wǎng)絡(luò)有望于2024年底正式投入使用，共同為 G42 公司內(nèi)部團(tuán)隊(duì)及云服務(wù)團(tuán)隊(duì)提供強(qiáng)大支持。G42公司首席技術(shù)官 Kiril Evtimov公開表示，現(xiàn)有的 Condor Galaxy 計(jì)算網(wǎng)絡(luò)已成功支持業(yè)內(nèi)不少尖端開源模型的深度學(xué)習(xí)訓(xùn)練。