電子發(fā)燒友網(wǎng)報道（文/李彎彎）近日，聯(lián)發(fā)科宣布將運用Meta最新的大型語言模型Llama 2及自家的人工智能處理單元（APU）和完整的AI開發(fā)平臺（NeuroPilot），建立完整的終端運算生態(tài)系統(tǒng)，賦能終端設(shè)備生成式AI應用。

將生成式AI部署在終端設(shè)備上

目前大部分生成式AI都是通過云端運算進行，而聯(lián)發(fā)科的目標是將其部署在終端設(shè)備上。聯(lián)發(fā)科表示，今年年底將推出新一代旗艦 SoC，將采用針對Llama 2模型而優(yōu)化的軟件棧（NeuroPilot），與搭配支持Transformer模型做骨干網(wǎng)絡(luò)加速的升級版AI處理器（APU），可減少動態(tài)隨機存取內(nèi)存（DRAM）的讀寫消耗和帶寬占用，進一步強化大語言模型和生成式AI應用的性能，助力開發(fā)者打造令人驚艷的AI應用，加速終端設(shè)備AI應用落地發(fā)展。

Llama 2由Meta的研究部門Meta AI開發(fā)，是建立在Meta之前的開源大型語言模型Llama之上，Llama于今年 2 月發(fā)布。Llama使用Meta的PyTorch框架在公開可用的在線數(shù)據(jù)源上進行了預訓練。然而，Llama擁有非商業(yè)許可證，僅適用于具有一定資格的學者。

之后，Meta發(fā)布了帶有商業(yè)許可證的Llama 2，允許任何人將其用于研究和商業(yè)目的。Llama 2參數(shù)范圍從70億到700億，使用2萬億個token在線數(shù)據(jù)進行預訓練，是Llama的兩倍。Meta Llama 2具有更豐富的上下文窗口，包含4,096個標記，是Llama上下文窗口大小的兩倍。

Meta Llama 2對超過100萬條人工注釋進行了微調(diào)，這些注釋是從各種來源收集的，例如公開可用的指令數(shù)據(jù)集和Meta自己的眾包平臺。經(jīng)過微調(diào)的模型Llama-2-chat針對對話應用程序進行了優(yōu)化，可以生成流暢且更為準確的響應。

NeuroPilot是聯(lián)發(fā)科為開發(fā)者提供的基于本地端側(cè)的AI運算解決方案，它為內(nèi)建CPU、GPU 和 APU（獨立AI 處理器）等異構(gòu)運算單元的MediaTek SoC平臺提供完整且強大的軟件解決方案。

NeuroPilot支持開發(fā)者在現(xiàn)有和未來的聯(lián)發(fā)科硬件平臺以及包括智能手機、汽車、智能家居、物聯(lián)網(wǎng)等產(chǎn)品線實現(xiàn)“一次編寫，全場景通用”，幫助開發(fā)者在MediaTek平臺上高效開發(fā)和部署基于神經(jīng)網(wǎng)絡(luò)模型的AI應用程序。

AI開發(fā)者可以使用主流的TensorFlow、Pytorch、TF Lite、Caffe、Caffe2以及其他自定義的第三方通用AI框架來構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，并接入到NeuroPilot系統(tǒng)，充分發(fā)揮聯(lián)發(fā)科AI系統(tǒng)的強勁算力，顯著提高模型運行在設(shè)備上的效率，并降低功耗和內(nèi)存消耗。

在設(shè)備端部署生成式AI有諸多好處：1、減少延遲；2、提高數(shù)據(jù)私密性，將數(shù)據(jù)保存在設(shè)備上，數(shù)據(jù)就不會通過數(shù)據(jù)中心傳輸；3、提高帶寬效率，如今，生成式人工智能任務(wù)需要將用戶對話中的所有數(shù)據(jù)來回傳輸?shù)綌?shù)據(jù)中心。而通過本地化處理，大量數(shù)據(jù)將在設(shè)備上完成；4、提高運行彈性，通過在設(shè)備上生成，即使網(wǎng)絡(luò)中斷，系統(tǒng)也能繼續(xù)運行；5、提高能源效率等。

聯(lián)發(fā)科積極投入到人工智能領(lǐng)域布局中

過去一年多時間，由于消費電子等市場需求疲軟，聯(lián)發(fā)科的業(yè)績也受到較大影響，在今年4月28日，聯(lián)發(fā)科執(zhí)行長蔡力行在財報電話會議上表示，將會迅速將資源轉(zhuǎn)移到汽車和人工智能芯片領(lǐng)域，預計這些領(lǐng)域?qū)⒃谖磥?到5年內(nèi)提供增長。

可以看到，聯(lián)發(fā)科對人工智能領(lǐng)域的重視，尤其是當前，生成式AI正在以空前的速度發(fā)展，它已經(jīng)成為新一代科技和產(chǎn)業(yè)變革的核心動力。Bloomberg Intelligence報告指出，未來10年內(nèi)，生成式AI市場規(guī)模將從2022年的400億美元，增長至2032年的1.3萬億美元，年復合增速有望達到42%。

這對于聯(lián)發(fā)科來說是極好的機會，除了上文提到，聯(lián)發(fā)科宣布運用Meta LIama 2大語言模型和聯(lián)發(fā)科先進的AI處理器（APU）以及完整的AI開發(fā)平臺（NeuroPilot），建立完整的終端側(cè)AI計算生態(tài)，賦能終端設(shè)備生成式AI應用之外，前段時間，聯(lián)發(fā)科還宣布聯(lián)合百度發(fā)起飛槳和文心大模型硬件生態(tài)共創(chuàng)計劃，共同推進聯(lián)發(fā)科硬件平臺與飛槳和文心大模型適配。

目前雙方正在合作優(yōu)化文心大模型在終端設(shè)備上的執(zhí)行效果，將實現(xiàn)大模型在終端和云端的協(xié)同工作，為用戶帶來突破性的生成式 AI 應用體驗。

作為推動AI進一步發(fā)展的先進技術(shù)，與單純在云端部署生成式AI應用和服務(wù)相比，終端側(cè)部署生成式AI在節(jié)約服務(wù)器成本、保護用戶信息安全、提升實時性和實現(xiàn)個性化用戶體驗等方面具備明顯優(yōu)勢。

雙方的合作將支持基于聯(lián)發(fā)科芯片的智能手機、汽車、智能家居、物聯(lián)網(wǎng)等終端設(shè)備上運行文心大模型，賦能終端設(shè)備提供更安全、可靠和差異化的使用體驗。

小結(jié)

當前，生成式AI正在快速發(fā)展，它已經(jīng)成為新一代科技和產(chǎn)業(yè)變革的核心動力。目前生成式人工智能多還是通過云端運算進行，而眾多手機廠商，包括三星、華為、蘋果，SOC廠商高通、聯(lián)發(fā)科等都在積極探索，將生成式AI部署在終端設(shè)備上。在眾多廠商的努力下，更好用的生成式AI值得期待。