近日,中國電信人工智能研究院(TeleAI)攜手北京智源人工智能研究院,共同推出了全球首個單體稠密萬億參數(shù)語義模型——Tele-FLM-1T,這一里程碑式的成就標(biāo)志著中國電信在人工智能領(lǐng)域取得了重大突破,并成為了國內(nèi)首批發(fā)布稠密萬億參數(shù)大模型的機構(gòu)。
面對大模型訓(xùn)練過程中算力消耗巨大的挑戰(zhàn),TeleAI與智源研究院并未止步于傳統(tǒng)方法。他們基于模型生長和損失預(yù)測等關(guān)鍵技術(shù),共同研發(fā)出了Tele-FLM系列模型。這一模型不僅實現(xiàn)了高效的訓(xùn)練過程,而且僅使用了業(yè)界普通訓(xùn)練方案9%的算力資源。這意味著,在相同的計算資源下,Tele-FLM系列模型能夠處理更多的數(shù)據(jù),完成更復(fù)雜的任務(wù),大大提高了算力的利用效率。
值得一提的是,Tele-FLM-1T模型的訓(xùn)練過程僅在112臺A800服務(wù)器上進行了4個月的時間,就完成了總計2.3T tokens的訓(xùn)練。這一速度之快、效率之高,在業(yè)界堪稱罕見。這一成果的取得,不僅得益于TeleAI與智源研究院的精湛技術(shù),更得益于他們對人工智能領(lǐng)域的深刻理解和不懈追求。
Tele-FLM-1T模型的發(fā)布,不僅展示了中國電信在人工智能領(lǐng)域的實力,也為整個行業(yè)帶來了新的啟示。未來,隨著技術(shù)的不斷進步和應(yīng)用的不斷拓展,我們有理由相信,中國電信將繼續(xù)在人工智能領(lǐng)域發(fā)揮更大的作用,為人類社會的進步和發(fā)展做出更大的貢獻。
-
中國電信
+關(guān)注
關(guān)注
22文章
3485瀏覽量
64557 -
人工智能
+關(guān)注
關(guān)注
1811文章
49504瀏覽量
258266 -
模型
+關(guān)注
關(guān)注
1文章
3611瀏覽量
51435
發(fā)布評論請先 登錄
中國電信攜手華為榮獲ICT中國2025案例一等獎
中國電信聯(lián)合華為發(fā)布邊云協(xié)同算網(wǎng)解決方案
中宇聯(lián)成功入圍中國電信廣東公司DICT項目合作伙伴

評論