近日，沐曦集成電路（上海）有限公司（下稱“沐曦”）曦云C500千億參數(shù)AI大模型訓(xùn)練及通用計算GPU與未來速度旗下大模型推理及數(shù)據(jù)分析產(chǎn)品完成適配。

沐曦旗艦產(chǎn)品曦云C500基于自主研發(fā)的高性能GPU IP，特別適合千億參數(shù)AI大模型的訓(xùn)練和推理；基于全自研 GPU 指令集打造的MXMACA軟件棧，全面兼容主流GPU生態(tài)，實現(xiàn)用戶零成本遷移；通過自主知識產(chǎn)權(quán)的MetaXLink實現(xiàn)單機8卡GPU全互聯(lián)，提供構(gòu)建高密度算力和云計算部署的優(yōu)秀國產(chǎn)GPU解決方案；可廣泛應(yīng)用于千億參數(shù)AI大模型訓(xùn)練與推理、AIGC內(nèi)容生成、推薦系統(tǒng)、自動語音識別、語音合成、圖像分割檢測，以及科學(xué)計算、數(shù)據(jù)庫加速等多種場景。

本次在較短時間內(nèi)雙方完成多個模型框架的適配工作，充分證明了曦云C500千億參數(shù)AI大模型訓(xùn)練及通用計算GPU的高通用性和靈活性，雙方的合作降低了大模型推理和大規(guī)模數(shù)據(jù)處理的門檻。

大模型推理框架適配結(jié)果

依托曦云C500軟件棧MXMACA的完美兼容性，分布式推理框架Xorbits Inference成功運行了70B的LLaMa2模型，成為首個在單張國產(chǎn)GPU上完成 70B大模型推理任務(wù)的案例。該模型能夠流暢地在本地環(huán)境中部署，讓用戶輕松一鍵部署個性化模型或前沿的開源模型。

數(shù)據(jù)分析框架適配結(jié)果

通過不到一天時間完成兼容對接，Xorbits依托曦云C500不僅能夠高效地處理TPC-H基準(zhǔn)測試中的22個復(fù)雜查詢場景，還提供了簡潔、可讀性強的代碼，這使得Xorbits的解決方案易于理解、維護和擴展，為用戶帶來了極大的便利和靈活性。

關(guān)于沐曦

沐曦致力于為異構(gòu)計算提供安全可靠的GPU芯片及解決方案，打造全棧GPU芯片產(chǎn)品，推出曦思N系列GPU用于AI推理，曦云C系列GPU用于千億參數(shù)AI大模型訓(xùn)練及通用計算，以及曦彩G系列GPU用于圖形渲染，滿足數(shù)據(jù)中心對“高能效”及“高通用性”的算力需求。沐曦產(chǎn)品均采用完全自主研發(fā)的GPU IP，擁有完全自主的指令集和架構(gòu)，配以兼容主流GPU生態(tài)的完整軟件棧（MXMACA），具備高能效和高通用性的天然優(yōu)勢，能夠為客戶構(gòu)建軟硬件一體的全面生態(tài)解決方案，是“雙碳”背景下推動數(shù)據(jù)中心建設(shè)和產(chǎn)業(yè)數(shù)字化、智能化轉(zhuǎn)型升級的算力基石。