近日，中國(guó)電信宣布開(kāi)源其星辰語(yǔ)義大模型TeleChat-12B的最新版本。此外，預(yù)計(jì)今年內(nèi)，中國(guó)電信還將推出千億級(jí)參數(shù)大模型。

據(jù)報(bào)道，與之前1月份發(fā)布的7B版相比，12B版本在多個(gè)維度上有顯著改進(jìn)，例如數(shù)據(jù)容量提升3倍，性能提高30％，在處理安全問(wèn)題等技術(shù)領(lǐng)域更是超過(guò)了40%。這一新進(jìn)步使其在在C-eval、MMLU、AGIEVAL等國(guó)際知名排行榜中位列國(guó)內(nèi)同等參數(shù)水平開(kāi)源模型之首。這無(wú)疑將有助于推動(dòng)大模型開(kāi)源生態(tài)的繁榮，并助力人工智能行業(yè)實(shí)現(xiàn)更高質(zhì)量的發(fā)展。

TeleChat-12B在數(shù)據(jù)處理方面進(jìn)行了深度優(yōu)化，包括擴(kuò)大訓(xùn)練數(shù)據(jù)至3T，改善數(shù)據(jù)清洗和標(biāo)注策略，構(gòu)建專項(xiàng)任務(wù)SFT（監(jiān)督微調(diào)）數(shù)據(jù)，優(yōu)化數(shù)據(jù)構(gòu)建規(guī)范，從而大幅提升數(shù)據(jù)質(zhì)量。此外，該模型還利用電信星辰大模型用戶的真實(shí)反饋數(shù)據(jù)，對(duì)獎(jiǎng)勵(lì)模型和強(qiáng)化學(xué)習(xí)模型進(jìn)行了優(yōu)化，以提升模型的問(wèn)答效果。

本次開(kāi)源提供了基礎(chǔ)模型及其對(duì)應(yīng)的對(duì)話模型，不僅支持傳統(tǒng)的全量參數(shù)更新，也支持LoRA等僅需更新部分參數(shù)的高效微調(diào)方式，以及Deepspeed微調(diào)、int8、int4量化和國(guó)產(chǎn)芯片訓(xùn)練推理等功能，推動(dòng)了大模型的國(guó)產(chǎn)化進(jìn)程。

值得注意的是，星辰大模型已經(jīng)在各行各業(yè)得到廣泛應(yīng)用，為企業(yè)的數(shù)字化轉(zhuǎn)型提供了強(qiáng)大動(dòng)力。例如，客服大模型已在全國(guó)范圍內(nèi)的18個(gè)服務(wù)場(chǎng)景中投入使用，全面賦能智慧客服和數(shù)字人，進(jìn)一步深化了智能化運(yùn)營(yíng)。