近年來,以大規(guī)模預(yù)訓(xùn)練模型為代表的人工智能技術(shù)迅猛發(fā)展,為科研創(chuàng)新提供了全新范式。中科院高能物理研究所依托正負(fù)電子對撞機(jī)等大科學(xué)裝置,積累了海量高價值實驗數(shù)據(jù),如何高效利用數(shù)據(jù)、加速成果產(chǎn)出,成為研究所面臨的核心課題。
經(jīng)過多方評估,中科院高能物理研究所選用曙光 AI 解決方案作為算力支撐,聯(lián)合 DeepAI 深算智能引擎,自主研發(fā)出高能物理領(lǐng)域首款聚焦知識挖掘與發(fā)現(xiàn)的 L2 級大模型 —— 溪悟 (Xiwu)。
在項目推進(jìn)中,研究所面臨多重挑戰(zhàn):大模型訓(xùn)練所需的龐大算力資源存在行業(yè)性短缺;高價值科學(xué)數(shù)據(jù)需在安全可控的環(huán)境下實現(xiàn)內(nèi)部深度挖掘;基座模型種類繁多,需精準(zhǔn)適配領(lǐng)域需求。
借助DeepAI深算智能引擎,中科院高能物理研究所快速完成基座模型的適配優(yōu)化與訓(xùn)練框架(如LlamaFactory、Xtuner、vLLM等)的精準(zhǔn)選型,在兩方面實現(xiàn)價值突破:
打通實驗數(shù)據(jù)與理論研究的壁壘,幫助科學(xué)家快速定位關(guān)鍵信息,加速粒子物理、宇宙學(xué)等領(lǐng)域的研究進(jìn)程;
通過極簡的生態(tài)兼容設(shè)計,大幅降低模型微調(diào)與部署成本,為大模型在科研場景的規(guī)?;瘧?yīng)用奠定基礎(chǔ)。
經(jīng)過微調(diào)訓(xùn)練,溪悟(Xiwu)-130 億語言模型在100 個高能物理領(lǐng)域問答測試集上,采用人工評估的方法,與基準(zhǔn)模型Vicuna-130億相比,回答更加準(zhǔn)確或持平的概率達(dá)到95%,性能明顯優(yōu)于基準(zhǔn)模型。
中科曙光將持續(xù)攜手中科院高能物理研究所,不斷提升溪悟(Xiwu)大模型在Tokens限制解除、思維能力進(jìn)化、圖像處理優(yōu)化等一系列能力,探索大模型在更多復(fù)雜科學(xué)問題中的應(yīng)用潛力,推動科研范式智能化轉(zhuǎn)型。
-
AI
+關(guān)注
關(guān)注
88文章
37037瀏覽量
290087 -
人工智能
+關(guān)注
關(guān)注
1811文章
49500瀏覽量
258233 -
中科曙光
+關(guān)注
關(guān)注
5文章
436瀏覽量
18752 -
大模型
+關(guān)注
關(guān)注
2文章
3350瀏覽量
4720
原文標(biāo)題:中科院高能物理研究所 × 曙光AI,打造全球首個L2級高能物理大模型“溪悟”
文章出處:【微信號:sugoncn,微信公眾號:中科曙光】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
評論