浪潮信息正式發(fā)布大模型智算軟件棧 OGAI。OGAI (Open GenAI Infra)"元腦生智"，是為大模型業(yè)務(wù)提供AI算力系統(tǒng)環(huán)境部署、算力調(diào)度保障及模型開(kāi)發(fā)管理能力的全棧全流程的智算軟件棧。OGAI由浪潮信息基于大模型自身實(shí)踐與服務(wù)客戶(hù)的專(zhuān)業(yè)經(jīng)驗(yàn)而開(kāi)發(fā)，旨在為大模型研發(fā)與應(yīng)用創(chuàng)新全力打造高效生產(chǎn)力，加速生成式AI產(chǎn)業(yè)創(chuàng)新步伐。

大模型是當(dāng)前通用人工智能產(chǎn)業(yè)發(fā)展創(chuàng)新的核心技術(shù)。目前國(guó)內(nèi)已發(fā)布的生成式AI模型超過(guò)了100個(gè)，"百模爭(zhēng)秀"的格局初現(xiàn)。但大模型從研發(fā)到應(yīng)用的各環(huán)節(jié)中，依然面臨諸多挑戰(zhàn)，如大模型算力的系統(tǒng)全棧問(wèn)題、兼容適配問(wèn)題、性能優(yōu)化問(wèn)題等。

OGAI是浪潮信息從當(dāng)前大模型算力建設(shè)、模型開(kāi)發(fā)和應(yīng)用落地的實(shí)際需求出發(fā)，秉承全棧全流程、算力充分釋放、實(shí)戰(zhàn)驗(yàn)證提煉的設(shè)計(jì)原則打造而成。OGAI由5層架構(gòu)組成，從L0到L4分別對(duì)應(yīng)基礎(chǔ)設(shè)施層的智算中心OS、系統(tǒng)環(huán)境層的PODsys、調(diào)度平臺(tái)層的AIStation、模型工具層的YLink和多模納管層的MModel。

L0層智算中心OS：面向大模型算力服務(wù)的智能算力運(yùn)管平臺(tái)，滿(mǎn)足多租戶(hù)以裸金屬為主的彈性AI算力運(yùn)管需求。其中，高效的裸金屬服務(wù)支持分鐘級(jí)部署上千規(guī)模裸金屬節(jié)點(diǎn)并按需進(jìn)行彈性擴(kuò)展，實(shí)現(xiàn)異構(gòu)計(jì)算芯片、IB、RoCE高速網(wǎng)絡(luò)、高性能存儲(chǔ)等環(huán)境一鍵獲取，并實(shí)現(xiàn)計(jì)算、網(wǎng)絡(luò)、數(shù)據(jù)隔離以保障業(yè)務(wù)安全。

L1層PODsys：開(kāi)源、高效、兼容、易用的智算集群系統(tǒng)環(huán)境部署方案。聚焦智算集群部署場(chǎng)景，從OS、驅(qū)動(dòng)到系統(tǒng)監(jiān)控可視化、資源調(diào)度等集群系統(tǒng)環(huán)境要素全面覆蓋，選用最穩(wěn)定和廣泛兼容的軟件版本，通過(guò)一系列腳本工具簡(jiǎn)化部署過(guò)程，縮短算力上線(xiàn)周期，并可向企業(yè)用戶(hù)提供實(shí)施安裝服務(wù)和集群性能校準(zhǔn)的專(zhuān)家服務(wù)。

L2層AIStation：面向大模型開(kāi)發(fā)的商業(yè)化人工智能算力調(diào)度平臺(tái)。針對(duì)大模型訓(xùn)練中常見(jiàn)的訓(xùn)練中斷難題，可實(shí)現(xiàn)訓(xùn)練異常快速定位，斷點(diǎn)自動(dòng)續(xù)訓(xùn)：通過(guò)快速定位芯片、網(wǎng)卡、通訊設(shè)備異常或故障，實(shí)現(xiàn)全局訓(xùn)練暫停保持，熱備算力自動(dòng)彈性替換，健康節(jié)點(diǎn)快速CheckPoint讀取，實(shí)現(xiàn)斷點(diǎn)自動(dòng)續(xù)訓(xùn)。

L3層YLink：面向大模型數(shù)據(jù)治理、預(yù)訓(xùn)練、微調(diào)的高效工具鏈。聚焦于大模型的數(shù)據(jù)治理、預(yù)訓(xùn)練、微調(diào)等開(kāi)發(fā)過(guò)程，集成了浪潮信息在大模型研發(fā)中的自研工具和開(kāi)源工具，如數(shù)據(jù)處理工具包(Y-DataKit)、大模型訓(xùn)練工具包(Y-TrainKit)和大模型微調(diào)工具包(Y-FTKit)等等，通過(guò)這些多樣且完善的工程化、自動(dòng)化工具，加速大模型的訓(xùn)練和開(kāi)發(fā)效率。

L4層MModel：提供多模型接入、服務(wù)、評(píng)測(cè)等功能的納管平臺(tái)。核心組件包括數(shù)據(jù)集管理、模型納管和評(píng)測(cè)，可以方便開(kāi)發(fā)者和研究人員更好地管理多版本、多類(lèi)型的基礎(chǔ)大模型與任務(wù)模型，并通過(guò)多樣化的評(píng)測(cè)數(shù)據(jù)集與評(píng)測(cè)任務(wù)，對(duì)多個(gè)模型進(jìn)行生成準(zhǔn)確率、推理延遲、推理穩(wěn)定性等指標(biāo)進(jìn)行全面評(píng)估。

浪潮信息高級(jí)副總裁、AI&HPC總經(jīng)理劉軍表示："OGAI提供完善的工程化、自動(dòng)化工具軟件堆棧，將幫助更多企業(yè)順利跨越大模型研發(fā)應(yīng)用門(mén)檻，充分釋放大模型創(chuàng)新生產(chǎn)力。浪潮信息將通過(guò)智算系統(tǒng)軟硬件高度協(xié)同進(jìn)行持續(xù)創(chuàng)新，持續(xù)培育繁榮元腦生態(tài)，推動(dòng)實(shí)現(xiàn)‘助百模，智千行'，加速生成式AI產(chǎn)業(yè)創(chuàng)新。"

審核編輯：湯梓紅