要點(diǎn)

?高通與騰訊混元展開合作，基于驍龍8至尊版移動(dòng)平臺(tái)實(shí)現(xiàn)騰訊混元大模型7B和3B版本的終端側(cè)部署，進(jìn)一步擴(kuò)展生成式AI技術(shù)在終端側(cè)的應(yīng)用和普及。

?借助驍龍8至尊版的強(qiáng)大終端側(cè)AI性能和高通AI軟件棧，騰訊混元大模型能夠?qū)崿F(xiàn)出色的終端側(cè)運(yùn)行表現(xiàn)，為騰訊的廣泛業(yè)務(wù)場(chǎng)景和應(yīng)用提供底層端側(cè)AI支持。

驍龍峰會(huì)期間，高通技術(shù)公司宣布與騰訊混元合作，基于驍龍8至尊版移動(dòng)平臺(tái)，共同推動(dòng)了騰訊混元大模型7B和3B版本的終端側(cè)部署，展示了此合作實(shí)現(xiàn)出色的運(yùn)行表現(xiàn)。這將有助于騰訊混元大模型為廣泛的業(yè)務(wù)場(chǎng)景提供技術(shù)支持，通過利用終端側(cè)AI加速產(chǎn)品創(chuàng)新，有效降低運(yùn)營成本，并進(jìn)一步擴(kuò)展生成式AI在終端側(cè)的應(yīng)用和普及。

驍龍8至尊版移動(dòng)平臺(tái)搭載全新的第二代定制高通Oryon CPU和增強(qiáng)的高通HexagonNPU，充分利用高通AI引擎優(yōu)勢(shì)，能夠帶來更強(qiáng)大的終端側(cè)生成式AI處理能力。驍龍8至尊版的強(qiáng)大AI算力，結(jié)合高通AI軟件棧以及行業(yè)領(lǐng)先的工具套件，包括高通AI模型增效工具包（AIMET）等，為模型提供了全棧優(yōu)化能力。通過使用基于硬件的INT4量化技術(shù)，可以大幅提升騰訊混元大模型在終端側(cè)的運(yùn)行效率，端側(cè)推理實(shí)現(xiàn)首個(gè)token生成時(shí)延達(dá)到150ms，解碼速率達(dá)到超過30 tokens/秒。

騰訊混元大模型已為騰訊內(nèi)部超過700個(gè)業(yè)務(wù)場(chǎng)景和C端應(yīng)用提供底層技術(shù)支持，包括微信輸入法、騰訊手機(jī)管家、QQ、騰訊視頻、QQ瀏覽器、企業(yè)微信、騰訊會(huì)議等，通過實(shí)現(xiàn)面向驍龍8至尊版的終端側(cè)部署，能夠利用終端側(cè)生成式AI的豐富優(yōu)勢(shì)，更好地滿足廣泛的終端側(cè)業(yè)務(wù)需求。例如，騰訊手機(jī)管家短信智能識(shí)別功能率先利用騰訊混元的終端側(cè)模型能力，通過海量數(shù)據(jù)結(jié)合深度神經(jīng)網(wǎng)絡(luò)與預(yù)訓(xùn)練，讓模型具備極強(qiáng)的語義理解能力，通過結(jié)合上下文語境信息更準(zhǔn)確地理解短信意圖，使短信召回率大幅提高將近200%，識(shí)別準(zhǔn)確率提升20%。由于部分短信涉及用戶個(gè)人敏感信息，端側(cè)AI還可以在保證出色性能表現(xiàn)的同時(shí)，有效保護(hù)用戶的個(gè)人信息隱私安全。

高通技術(shù)公司高級(jí)副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉表示：

高通與騰訊混元大模型團(tuán)隊(duì)長期攜手推動(dòng)前沿終端側(cè)技術(shù)創(chuàng)新在移動(dòng)應(yīng)用中的部署和推廣，為廣大用戶和消費(fèi)者打造創(chuàng)新的應(yīng)用體驗(yàn)。高通公司致力于賦能廣大ISV合作伙伴和開發(fā)者，利用高通強(qiáng)大的異構(gòu)計(jì)算、行業(yè)領(lǐng)先的CPU、GPU、NPU和軟件解決方案，在搭載驍龍平臺(tái)的終端上推動(dòng)生成式AI應(yīng)用的普及，惠及全球更多用戶。

騰訊機(jī)器學(xué)習(xí)平臺(tái)部總經(jīng)理，騰訊混元大模型負(fù)責(zé)人王迪表示：

騰訊混元已經(jīng)構(gòu)建起了全鏈路的大模型矩陣和應(yīng)用平臺(tái)。同時(shí)，騰訊混元不斷完善部署生態(tài)。在云服務(wù)場(chǎng)景，我們通過多種技術(shù)在提升效果的同時(shí)調(diào)用價(jià)格持續(xù)降低。在智能終端場(chǎng)景，騰訊和高通持續(xù)深入合作，賦能不同業(yè)務(wù)對(duì)端側(cè)模型的部署需求，并在騰訊豐富的生態(tài)中持續(xù)迭代能力，讓更多的B端和C端用戶獲得實(shí)用大模型的非凡體驗(yàn)。