電子發(fā)燒友網(wǎng)報(bào)道，近期，美國(guó)人工智能硬件及軟件研發(fā)公司SambaNova宣布推出其第五代RDU可重構(gòu)數(shù)據(jù)流單元AI芯片SN50芯片，同時(shí)推出基于該芯片的SambaRack SN50風(fēng)冷機(jī)架系統(tǒng)。SN50芯片專為智能體推理工作負(fù)載設(shè)計(jì)，具備超低延遲、高吞吐量和節(jié)能等突出特性，性能更是達(dá)到上代產(chǎn)品的5倍。在存儲(chǔ)結(jié)構(gòu)上，它采用大容量?jī)?nèi)存 + HBM + SRAM的三層次架構(gòu)，極大優(yōu)化了時(shí)延表現(xiàn)。

與英偉達(dá)的產(chǎn)品相比，SN50表現(xiàn)亮眼。在Llama 3.3 70B模型上，其最大速度是英偉達(dá)B200 GPU的5倍，智能體推理吞吐量是后者的三倍以上；對(duì)于OpenAI GPT-OSS-120B模型，能效可達(dá)B200的8倍。與SambaNova自身2024年推出的SN40L相比，SN50也有顯著提升，提供2.5倍的16位浮點(diǎn)性能和5倍的FP8性能，分別達(dá)到1.6和3.2 petaFLOPS。

SambaNova標(biāo)志性的三層內(nèi)存架構(gòu)在SN50上基本保持不變，該架構(gòu)允許在幾分之一秒內(nèi)切換模型，并高效卸載鍵值緩存。每個(gè)RDU配備432MB片上SRAM、64GB HBM2E內(nèi)存（帶寬1.8TB/s）以及256GB到2TB的DDR5內(nèi)存。盡管HBM2E的選擇看似奇特，但SambaNova首席執(zhí)行官Rodrigo Liang表示，這是為了在內(nèi)存價(jià)格上漲時(shí)期確保順利出貨，避免陷入供應(yīng)鏈爭(zhēng)奪。

雖然SN50在紙面參數(shù)上與現(xiàn)代GPU相比不那么突出，僅提供英偉達(dá)Blackwell架構(gòu)約64%的密集FP8計(jì)算能力、三分之一的HBM容量和不到四分之一的內(nèi)存帶寬，但SambaNova認(rèn)為其數(shù)據(jù)流架構(gòu)通過重疊計(jì)算和通信減少數(shù)據(jù)移動(dòng)開銷，能使用更少、功耗更低的加速器。

對(duì)于SN50，與英偉達(dá)的B200相比，它可提供高達(dá)5倍的每用戶生成速度。而且，SambaNova的SN40L加速器已展現(xiàn)出強(qiáng)大實(shí)力，能以每秒378個(gè)token的速度提供大語言模型服務(wù)，比最接近的基于GPU的推理服務(wù)提供商快100多個(gè)token每秒。

在擴(kuò)展性方面，SN50也表現(xiàn)出色。單個(gè)推理工作器可擴(kuò)展到多達(dá)256個(gè)加速器，是英偉達(dá)NVL72機(jī)架中加速器數(shù)量的3.5倍以上。同時(shí)，為每個(gè)RDU配備了通過交換結(jié)構(gòu)實(shí)現(xiàn)的2.2TB/s雙向芯片間帶寬，支持更大擴(kuò)展域。不過，由于只有16個(gè)風(fēng)冷RDU和每機(jī)架15 - 30千瓦的功耗，其芯片封裝密度不算高。

目前，軟銀將率先在其位于日本的下一代AI數(shù)據(jù)中心部署SN50芯片。

SambaNova于2017年由甲骨文前高管Rodrigo Liang與斯坦福大學(xué)教授Kunle Olukotun等聯(lián)合創(chuàng)立，總部位于硅谷帕羅奧圖。公司主營(yíng)全棧生成式AI平臺(tái)及定制化芯片研發(fā)，核心技術(shù)包含可重構(gòu)數(shù)據(jù)流單元（RDU）、DataScale機(jī)架級(jí)系統(tǒng)及SambaFlow編譯器，通過神經(jīng)網(wǎng)絡(luò)圖映射硬件技術(shù)提升AI模型訓(xùn)練效率。

SambaNova2018年獲谷歌風(fēng)投領(lǐng)投5600萬美元首輪融資，2020年完成貝萊德領(lǐng)投的2.5億美元C輪融資，2021年D輪融資后估值達(dá)51億美元，累計(jì)融資超11億美元。2023年推出臺(tái)積電代工的SN40L芯片，支持5萬億參數(shù)模型運(yùn)算，應(yīng)用于阿貢國(guó)家實(shí)驗(yàn)室的藥品研發(fā)與氣象預(yù)測(cè)項(xiàng)目。其SambaNova套件已部署于ADI等企業(yè)，支持從數(shù)據(jù)中心到邊緣計(jì)算的AI應(yīng)用。

近期，SambaNova又成功融資3.5億美元，旨在推進(jìn)數(shù)據(jù)流架構(gòu)技術(shù)，將其定位為基于GPU的AI系統(tǒng)的替代方案。這輪融資參與者包括英特爾資本等，打破了英特爾計(jì)劃收購SambaNova的傳言。英特爾將與SambaNova建立“多年期”合作關(guān)系，新RDU將使用至強(qiáng)處理器，雙方還將開展硬件軟件協(xié)同設(shè)計(jì)。

盡管英特爾在生成式AI領(lǐng)域因數(shù)據(jù)中心GPU和Gaudi產(chǎn)品線失誤而落后，但此次與SambaNova的合作，或許能為其帶來新的發(fā)展機(jī)遇，而SambaNova也將在資金與技術(shù)支持下，在AI芯片領(lǐng)域繼續(xù)大步前行。