電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）在人工智能時(shí)代，越來越多的AI應(yīng)用需要從云端擴(kuò)展到邊緣端，比如智能耳機(jī)、智能攝像機(jī)、智能手環(huán)、物流機(jī)器人等，在邊緣端部署AI已經(jīng)成為趨勢。如今AI大模型迅猛發(fā)展，AI大模型在端側(cè)的部署也成了業(yè)界關(guān)注的焦點(diǎn)。

如何把AI模型在邊緣端部署

首先得軟硬件適配，硬件方面，適配的AI芯片越多越好，這樣對(duì)于工程師來說，就降低了端側(cè)模型適配遷移的難度，即使換一個(gè)設(shè)備也可以輕松部署上去；軟件方面，主要的操作系統(tǒng)需要做適配，包括Linux、Windows、Android 、iOS等，這樣無論是手機(jī)、PC都可以部署。還有框架適配，也是越全越好，比如PaddlePaddle、TensorFlow、PyTorch、Caffe、MXNet等。

其次是需要對(duì)模型進(jìn)行壓縮，在保證高精度的同時(shí)，最好也能夠讓模型跑得更快更省內(nèi)存，這里需要采用模型壓縮技術(shù)，比如模型量化、剪枝和蒸餾技術(shù)。尤其是如今AI大模型迅猛發(fā)展，未來大模型在端側(cè)的部署也少不了要用到壓縮技術(shù)。

可以說，模型壓縮技術(shù)是實(shí)現(xiàn)AI大模型在邊/端部署的核心技術(shù)。模型壓縮技術(shù)可在保有大模型原有性能和精度基本不變前提下降低對(duì)推理算力的需求。

具體來看，量化，即將浮點(diǎn)計(jì)算轉(zhuǎn)成低比特定點(diǎn)計(jì)算；網(wǎng)絡(luò)剪枝，即去除神經(jīng)網(wǎng)絡(luò)中冗余的通道、神經(jīng)元節(jié)點(diǎn)等；知識(shí)蒸餾，即將大模型作為教師模型，用其輸出訓(xùn)練性能接近、結(jié)構(gòu)更簡的模型。

以清華大學(xué)唐杰教授團(tuán)隊(duì)2022年8月發(fā)布的1300億參數(shù)模型 GLM-130B 為例，原模型支持在一臺(tái) A100 40G*8或 V100 32G*8 服務(wù)器上進(jìn)行推理，而將模型量化至 INT 4精度后，相較INT 8精度其所需 GPU 內(nèi)存降低50%，且可在一臺(tái)4×RTX 3090（24G）或 8×RTX 2080Ti （11G ）服務(wù)器上進(jìn)行推理。

眾多廠商實(shí)現(xiàn)AI大模型的端側(cè)部署

谷歌、高通、華為等廠商已經(jīng)實(shí)現(xiàn)AI大模型在端側(cè)的部署。今年5月份，在Google/O開發(fā)者大會(huì)上，Google宣布了一個(gè)專門針對(duì)移動(dòng)設(shè)備優(yōu)化系統(tǒng)的TensorFlow新版本TensorFlowLite。這款被稱為TensorFlowLite的軟件庫，是可在移動(dòng)設(shè)備上運(yùn)行的深度學(xué)習(xí)工具，它允許開發(fā)人員在用戶的移動(dòng)設(shè)備上實(shí)時(shí)地運(yùn)行人工智能應(yīng)用。

該軟件庫在設(shè)計(jì)上追求高速度和小儲(chǔ)存，支持iOS和Android系統(tǒng)。如果開發(fā)者使用其他系統(tǒng)，也可以經(jīng)過一系列復(fù)雜而冗長的編譯流程，將TensorFlow編譯成移動(dòng)操作系統(tǒng)所支持的軟件庫，這樣并不會(huì)改變TensorFlow的功能。

TensorFlowLite還提供了有限的預(yù)訓(xùn)練人工智能模型，包括MobileNet和InceptionV3物體識(shí)別計(jì)算機(jī)模型，以及SmartReplay自然語言處理模型。開發(fā)者用自己的數(shù)據(jù)集做的定制模型也可以部署在上面。TensorFlowLite使用Android神經(jīng)網(wǎng)絡(luò)應(yīng)用程序界面（API），可以在沒有加速硬件時(shí)直接調(diào)用CPU來處理，確保其可以兼容不同設(shè)備。

高通技術(shù)公司產(chǎn)品管理高級(jí)副總裁兼AI負(fù)責(zé)人Ziad Asghar此前表示，隨著生成式AI的飛速普及，混合處理的重要性空前突顯?；旌咸幚鞟I的重要性空前突顯，正如傳統(tǒng)計(jì)算從大型主機(jī)和瘦客戶端演變?yōu)楫?dāng)前云端和邊緣終端相結(jié)合的模式，AI處理必須在云端和終端混合進(jìn)行才能發(fā)揮其最大潛能。

根據(jù)高通的演示，將手機(jī)設(shè)置成“飛行模式”，再通過手機(jī)端全棧AI優(yōu)化，這一模型能夠完全在終端側(cè)運(yùn)行，實(shí)現(xiàn)在15秒內(nèi)完成20步推理，生成飽含細(xì)節(jié)的圖像。很重要的是，即便在飛行模式下，這些AI能力都可以得到實(shí)現(xiàn)，例如將Stable Diffusion的能力集成到相機(jī)應(yīng)用中之后，用戶在任何一個(gè)地點(diǎn)拍攝照片，再要求AI將照片背景改為夕陽之下的萬里長城。

Ziad Asghar透露，如果在云端運(yùn)行一個(gè)超過10億參數(shù)的生成式AI模型，可能需要數(shù)百瓦的功耗，而在終端側(cè)運(yùn)行需要的功耗僅有幾毫瓦。這賦予了高通在生成式AI領(lǐng)域的獨(dú)特優(yōu)勢。不久的將來，擁有 100 億或更高參數(shù)的模型將能夠在終端上運(yùn)行。

在今年3月春季旗艦新品發(fā)布會(huì)上，華為帶來全新智慧搜圖功能，基于多模態(tài)大模型技術(shù)，在手機(jī)端側(cè)對(duì)模型進(jìn)行小型化處理，在業(yè)界率先實(shí)現(xiàn)了首創(chuàng)的、精準(zhǔn)的自然語言手機(jī)圖庫搜索體驗(yàn)。用戶可以像與人對(duì)話一樣，通過語音喚醒小藝，使用自然語言在手機(jī)圖庫中搜索出匹配如 “山頂看日出”、“圍爐煮茶”、“藍(lán)色珊瑚中的小丑魚”等描述的照片。

相較于傳統(tǒng)圖庫使用標(biāo)簽進(jìn)行照片搜索，存在準(zhǔn)確率低、響應(yīng)速度慢等問題，智慧搜圖更加“聰明”。結(jié)合多模態(tài)大模型技術(shù)，智慧搜圖對(duì)億級(jí)的圖文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，增加了對(duì)泛化通用語義的理解，支持包含顏色、形狀、物體、行為、時(shí)間和地點(diǎn)等多信息組合的自然語言搜索，同時(shí)還實(shí)現(xiàn)了端側(cè)輕量化應(yīng)用。

小結(jié)

由于AI在邊緣或者端側(cè)的部署具有諸多優(yōu)勢，近年來AI在邊緣側(cè)的應(yīng)用滲透率也越來越高。AI大模型迅猛發(fā)展，未來在終端的部署也是必然趨勢，眾多廠商已經(jīng)對(duì)此進(jìn)行探索，并有所突破，期待AI大模型未來能夠是實(shí)實(shí)在在賦能各行各業(yè)。