通常，人工智能（AI）計(jì)算大多是在數(shù)據(jù)中心、企業(yè)核心設(shè)備或電信邊緣處理器上遠(yuǎn)程執(zhí)行的，而不是在本地設(shè)備上。其中緣由主要是AI計(jì)算需要數(shù)百個(gè)不同類(lèi)型的芯片來(lái)執(zhí)行，硬件的尺寸、成本和功耗都非常高。但是，對(duì)于那些對(duì)帶寬、時(shí)延敏感的實(shí)時(shí)性應(yīng)用而言，全部上“云”就不是最好的選擇了。

幸好，嵌入式AI已經(jīng)開(kāi)始改變這一切！

為什么需要嵌入式AI？

過(guò)去10年，通用嵌入式計(jì)算取得了飛速發(fā)展，其應(yīng)用觸角已延伸至航空航天、工業(yè)、電力、消費(fèi)等各個(gè)領(lǐng)域。不過(guò)，將嵌入式與AI結(jié)合起來(lái)是最近幾年才出現(xiàn)的事情。

嵌入式AI，實(shí)際上是一種讓AI算法可以在終端設(shè)備上運(yùn)行的技術(shù)概念。因嵌入式AI的芯片體積更小，價(jià)格相對(duì)低廉，產(chǎn)生的熱量和耗電量更是比“云”端設(shè)備小得多，因而可以集成到智能手機(jī)等手持設(shè)備以及機(jī)器人等非消費(fèi)類(lèi)設(shè)備中。正是嵌入式AI或者邊緣AI（edge AI）芯片的出現(xiàn)，減少或消除了將大量數(shù)據(jù)發(fā)送到云端的需要，從而在可用性、速度以及數(shù)據(jù)安全和隱私方面帶來(lái)了極大的便利和好處。

嵌入式AI的目標(biāo)是能夠在邊緣使用專門(mén)的硬件進(jìn)行高效的計(jì)算。這些設(shè)備上的人工智能模型需要是可訓(xùn)練的，無(wú)論是在設(shè)備級(jí)別還是在云端，這就需要將訓(xùn)練好的模型傳輸回邊緣。回顧人工智能的發(fā)展歷程，我們看到了計(jì)算能力從云端到邊緣的緩慢卸載（圖1）。

圖1：嵌入式人工智能從云端到邊緣的研究進(jìn)展（圖源：網(wǎng)絡(luò)）

歸納起來(lái)，嵌入式AI的出現(xiàn)主要源自下面三個(gè)方面的影響。

一是來(lái)自硬件支持。這一點(diǎn)非常關(guān)鍵。在過(guò)去的幾年里，微控制器和應(yīng)用處理器的技術(shù)演進(jìn)實(shí)在是太驚人了。微控制器現(xiàn)在能支持兆字節(jié)的閃存和RAM，系統(tǒng)時(shí)鐘頻率能達(dá)到甚至超過(guò)1 GHz，有些控制器還能支持DSP指令，這意味著它們可以有效地執(zhí)行AI中的推理任務(wù)。隨著處理器計(jì)算能力的大幅提升，在邊緣支持機(jī)器學(xué)習(xí)不再需要太多額外的成本。

二是大幅簡(jiǎn)化的軟件開(kāi)發(fā)過(guò)程。機(jī)器學(xué)習(xí)已經(jīng)成為物聯(lián)網(wǎng)和云計(jì)算不可或缺的工具，它可以極大地簡(jiǎn)化軟件開(kāi)發(fā)。尤其是在語(yǔ)音識(shí)別、圖像分類(lèi)和預(yù)測(cè)維護(hù)等領(lǐng)域，機(jī)器學(xué)習(xí)可以大大簡(jiǎn)化開(kāi)發(fā)過(guò)程，加快開(kāi)發(fā)速度。以物聯(lián)網(wǎng)為例，每天都會(huì)產(chǎn)生海量數(shù)據(jù)，數(shù)據(jù)分析是一項(xiàng)龐大的任務(wù)，通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練出一個(gè)模型，然后在嵌入式系統(tǒng)上部署推理，這些數(shù)據(jù)的分析將不再困難。

三是市場(chǎng)的推動(dòng)。嵌入式AI正在變成市場(chǎng)的一個(gè)營(yíng)銷(xiāo)熱點(diǎn)。一個(gè)產(chǎn)品能否熱銷(xiāo)，除了功能和性能出眾，尋找賣(mài)點(diǎn)也很重要。機(jī)器學(xué)習(xí)現(xiàn)在就是市場(chǎng)的熱門(mén)話題，將其用于你的產(chǎn)品設(shè)計(jì)中，它很可能就會(huì)成為撬動(dòng)市場(chǎng)的一個(gè)支點(diǎn)。

嵌入式AI還有瓶頸

邊緣嵌入式AI芯片的應(yīng)用給消費(fèi)者和企業(yè)帶來(lái)了重大變化。對(duì)于消費(fèi)者來(lái)說(shuō)，邊緣AI芯片可以提供很多功能——從解鎖手機(jī)，到與語(yǔ)音助手進(jìn)行對(duì)話，到在極其困難的條件下拍攝照片，而且不需要互聯(lián)網(wǎng)連接。但從長(zhǎng)遠(yuǎn)來(lái)看，邊緣AI芯片的更大影響可能來(lái)自于其在企業(yè)中的應(yīng)用。在企業(yè)中，邊緣AI芯片可以使公司的物聯(lián)網(wǎng)應(yīng)用達(dá)到一個(gè)全新的水平。

在這些利好的背后，問(wèn)題也隨之出現(xiàn)：現(xiàn)有的標(biāo)準(zhǔn)芯片不太符合邊緣側(cè)智能化的需求。目前，機(jī)器學(xué)習(xí)主要由CPU、GPU、FPGA和ASIC的混合體來(lái)進(jìn)行所有的訓(xùn)練和推理。從早期AI直至今天，CPU、GPU和FPGA的應(yīng)用非常廣泛，它們很好地契合了深度學(xué)習(xí)的內(nèi)存密集型需求。不過(guò)，開(kāi)發(fā)人員和系統(tǒng)設(shè)計(jì)人員逐漸發(fā)現(xiàn)，要在嵌入式設(shè)計(jì)中添加某種形式的神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)能力，將現(xiàn)有的CPU、GPU、FPGA等標(biāo)準(zhǔn)芯片降級(jí)為通用嵌入式AI，會(huì)出現(xiàn)水土不服的現(xiàn)象。其主要原因是這些通常放在數(shù)據(jù)中心的芯片普遍尺寸大、價(jià)格昂貴、耗電量大。

換句話說(shuō)，在實(shí)際應(yīng)用中，現(xiàn)在的嵌入式AI還有瓶頸。這個(gè)瓶頸不是在算力方面，而是芯片的尺寸、價(jià)格、耗電及散熱等方面。因此，面向邊緣智能的嵌入式AI離不開(kāi)專用芯片支持。

半導(dǎo)體廠商的新商機(jī)

嵌入式AI在未來(lái)的經(jīng)濟(jì)增長(zhǎng)中正在扮演關(guān)鍵的角色，它們不可避免地將會(huì)出現(xiàn)在汽車(chē)、智能家居、機(jī)器人以及各種電子設(shè)備上。根據(jù)德勤公司對(duì)人工智能芯片行業(yè)的預(yù)測(cè)，到2020年，全球?qū)⑹鄢龀^(guò)7.5億個(gè)邊緣AI芯片，收入達(dá)26億美元。與2017年相比，年復(fù)合年增長(zhǎng)率達(dá)到36%。此外，邊緣AI芯片市場(chǎng)的增長(zhǎng)速度還將遠(yuǎn)遠(yuǎn)超過(guò)整個(gè)芯片市場(chǎng)。到2024年，預(yù)計(jì)邊緣AI芯片的銷(xiāo)量將超過(guò)15億，年銷(xiāo)售額增長(zhǎng)至少為20%，這個(gè)增速是整個(gè)半導(dǎo)體行業(yè)預(yù)測(cè)的9%復(fù)合年增長(zhǎng)率的兩倍多。按行業(yè)看，目前消費(fèi)端的邊緣AI芯片市場(chǎng)比企業(yè)市場(chǎng)大得多，但增速不及后者。預(yù)計(jì)在2020年至2024年間，消費(fèi)端的邊緣AI芯片市場(chǎng)復(fù)合年增長(zhǎng)率將達(dá)到18%，企業(yè)級(jí)為50%。

那么，誰(shuí)將從嵌入式AI芯片這一新興市場(chǎng)中獲益呢？答案很明顯，他們就是制造嵌入式AI芯片的公司?，F(xiàn)在，進(jìn)入這一行業(yè)的半導(dǎo)體公司很多，最具代表性的企業(yè)有NXP（恩智浦）、STMicroelectronics、Maxim、arm、Xilinx（賽靈思）、Renesas、Lattice等。他們已經(jīng)推出硬件、軟件、開(kāi)發(fā)工具等一系列解決方案，相關(guān)的生態(tài)系統(tǒng)也已逐步建立。

以下是過(guò)去一年中我們看到的嵌入式AI芯片領(lǐng)域的“新物種”，從中我們可以看到眾多廠商在這個(gè)領(lǐng)域的技術(shù)路線圖。

NXP i.MX 8M Plus：將高性能機(jī)器學(xué)習(xí)推向邊緣端

對(duì)于許多應(yīng)用而言，邊緣端是進(jìn)行機(jī)器學(xué)習(xí)處理的理想位置。NXP i.MX 8M Plus是一款配備了專用高性能機(jī)器學(xué)習(xí)加速器的i.MX應(yīng)用處理器。因使用了14nm FinFET工藝技術(shù)，故i.MX 8M Plus擁有很高的性能且保持低功耗。該處理器還采用了同時(shí)支持兩個(gè)低成本高清圖像傳感器或一個(gè)4K分辨率圖像傳感器的雙攝像頭ISP，足以應(yīng)對(duì)人臉、物體對(duì)象和手勢(shì)識(shí)別等機(jī)器學(xué)習(xí)任務(wù)。

此外，它還集成了獨(dú)立的800MHz Cortex-M7，用來(lái)處理實(shí)時(shí)任務(wù)、H.265和H.264的視頻編解碼、800MHz HiFi4 DSP以及用于語(yǔ)音識(shí)別的8通道PDM麥克風(fēng)輸入。借助i.MX 8M Plus，語(yǔ)音識(shí)別、對(duì)象檢測(cè)、人臉識(shí)別、對(duì)象分割、增強(qiáng)現(xiàn)實(shí)、手勢(shì)識(shí)別等應(yīng)用均可在邊緣運(yùn)行機(jī)器學(xué)習(xí)。

圖2 ：恩智浦i.MX 8M Plus支持在邊緣運(yùn)行機(jī)器學(xué)習(xí)的部分應(yīng)用（圖源：NXP）

Xilinx Versal ACAP：將智能引入到邊緣設(shè)備

Xilinx Versal ACAP是一款自適應(yīng)計(jì)算加速平臺(tái)，它融合了用于嵌入式計(jì)算的新一代標(biāo)量引擎、用于FPGA芯片編程的自適應(yīng)引擎，以及用于AI推斷與高級(jí)信號(hào)處理的智能引擎，擁有卓越的計(jì)算性能和單位功耗。

為了讓更多的開(kāi)發(fā)者受益于賽靈思所提供的從邊緣到云的人工智能和深度學(xué)習(xí)推斷加速度，賽靈思緊接著又推出了另一款軟件平臺(tái)產(chǎn)品——Vitis AI。Vitis AI開(kāi)發(fā)環(huán)境是賽靈思在其硬件平臺(tái)上進(jìn)行AI推理的開(kāi)發(fā)平臺(tái)，可加速基于賽靈思平臺(tái)部署深度學(xué)習(xí)推斷的進(jìn)程，其中的模型涵蓋不同的應(yīng)用，包括ADAS/AD、視頻監(jiān)控、機(jī)器人和數(shù)據(jù)中心等。

圖3：Xilinx的Versal ACAP功能框圖（圖源：Xilinx）

Maxim神經(jīng)網(wǎng)絡(luò)加速器芯片：在邊緣實(shí)現(xiàn)復(fù)雜的嵌入式?jīng)Q策

Maxim神經(jīng)網(wǎng)絡(luò)加速器MAX78000是一款低功耗微控制器，它支持電池供電的嵌入式IoT設(shè)備在邊緣通過(guò)快速、低功耗AI推理來(lái)制定復(fù)雜決策。MAX78000將高能效AI處理與超低功耗微控制器結(jié)合在一起，內(nèi)建的基于硬件的卷積神經(jīng)網(wǎng)絡(luò) （CNN） 加速器可在電池供電應(yīng)用執(zhí)行AI推理，而僅消耗微焦耳級(jí)別的能量。

與軟件方案相比，這種快速、低功耗的決策實(shí)施使得復(fù)雜的AI推理能耗降低到前期方案的百分之一以內(nèi)，采用AI技術(shù)的電池供電系統(tǒng)的運(yùn)行時(shí)間可得到大幅延長(zhǎng)。更重要的是，MAX78000的成本只有FPGA或GPU方案的零頭，而執(zhí)行推理的速度比低功耗微控制器上實(shí)施的軟件方案快100倍。

、

總之，嵌入式AI的興起，使得傳統(tǒng)的嵌入式廠商也有機(jī)會(huì)參與到AI的盛宴之中。不過(guò)要想在分食未來(lái)AI應(yīng)用市場(chǎng)的蛋糕時(shí)分得更多的份額，那現(xiàn)在就應(yīng)該開(kāi)始行動(dòng)了！

審核編輯：何安