近日,中國(guó)電信宣布開(kāi)源其星辰語(yǔ)義大模型TeleChat-12B的最新版本。此外,預(yù)計(jì)今年內(nèi),中國(guó)電信還將推出千億級(jí)參數(shù)大模型。
據(jù)報(bào)道,與之前1月份發(fā)布的7B版相比,12B版本在多個(gè)維度上有顯著改進(jìn),例如數(shù)據(jù)容量提升3倍,性能提高30%,在處理安全問(wèn)題等技術(shù)領(lǐng)域更是超過(guò)了40%。這一新進(jìn)步使其在在C-eval、MMLU、AGIEVAL等國(guó)際知名排行榜中位列國(guó)內(nèi)同等參數(shù)水平開(kāi)源模型之首。這無(wú)疑將有助于推動(dòng)大模型開(kāi)源生態(tài)的繁榮,并助力人工智能行業(yè)實(shí)現(xiàn)更高質(zhì)量的發(fā)展。
TeleChat-12B在數(shù)據(jù)處理方面進(jìn)行了深度優(yōu)化,包括擴(kuò)大訓(xùn)練數(shù)據(jù)至3T,改善數(shù)據(jù)清洗和標(biāo)注策略,構(gòu)建專(zhuān)項(xiàng)任務(wù)SFT(監(jiān)督微調(diào))數(shù)據(jù),優(yōu)化數(shù)據(jù)構(gòu)建規(guī)范,從而大幅提升數(shù)據(jù)質(zhì)量。此外,該模型還利用電信星辰大模型用戶的真實(shí)反饋數(shù)據(jù),對(duì)獎(jiǎng)勵(lì)模型和強(qiáng)化學(xué)習(xí)模型進(jìn)行了優(yōu)化,以提升模型的問(wèn)答效果。
本次開(kāi)源提供了基礎(chǔ)模型及其對(duì)應(yīng)的對(duì)話模型,不僅支持傳統(tǒng)的全量參數(shù)更新,也支持LoRA等僅需更新部分參數(shù)的高效微調(diào)方式,以及Deepspeed微調(diào)、int8、int4量化和國(guó)產(chǎn)芯片訓(xùn)練推理等功能,推動(dòng)了大模型的國(guó)產(chǎn)化進(jìn)程。
值得注意的是,星辰大模型已經(jīng)在各行各業(yè)得到廣泛應(yīng)用,為企業(yè)的數(shù)字化轉(zhuǎn)型提供了強(qiáng)大動(dòng)力。例如,客服大模型已在全國(guó)范圍內(nèi)的18個(gè)服務(wù)場(chǎng)景中投入使用,全面賦能智慧客服和數(shù)字人,進(jìn)一步深化了智能化運(yùn)營(yíng)。
-
人工智能
+關(guān)注
關(guān)注
1813文章
49706瀏覽量
261175 -
LoRa
+關(guān)注
關(guān)注
354文章
1849瀏覽量
237142 -
大模型
+關(guān)注
關(guān)注
2文章
3435瀏覽量
4956
發(fā)布評(píng)論請(qǐng)先 登錄
中國(guó)電信攜手華為榮獲ICT中國(guó)2025案例一等獎(jiǎng)
中國(guó)電信聯(lián)合華為發(fā)布邊云協(xié)同算網(wǎng)解決方案
中宇聯(lián)成功入圍中國(guó)電信廣東公司DICT項(xiàng)目合作伙伴
中國(guó)電信與阿里簽署戰(zhàn)略合作協(xié)議 發(fā)力云和AI基礎(chǔ)設(shè)施
聯(lián)想集團(tuán)與中國(guó)電信達(dá)成戰(zhàn)略合作
榮耀與中國(guó)電信達(dá)成戰(zhàn)略合作 共筑AI終端生態(tài)新格局

中國(guó)電信開(kāi)源千億級(jí)參數(shù)大模型,助推AI產(chǎn)業(yè)優(yōu)質(zhì)發(fā)展
評(píng)論