在開始介紹MediaTek NeuroPilot之前，我想先幫各位伙伴們科普一下什么是Edge AI。

許多人工智慧仍遠(yuǎn)在云端，且可能無法如你所愿，快速地傳送到達(dá)終端?；锇閭円苍S會(huì)思考，為什么不讓人工智慧離你近些呢？

MTK將人工智慧技術(shù)應(yīng)用到你周邊的終端裝置，充分地實(shí)現(xiàn)終端人工智慧，這意味著伙伴們無需等待，也無需上網(wǎng)，就能立即享受到人工智慧。

使用上可以得到更快速地響應(yīng)、更好的隱私保護(hù)、更多的功能。

Faster response

Better privacy

More Functionality

然而，為了優(yōu)化終端人工智慧，MediaTek為神經(jīng)網(wǎng)絡(luò)運(yùn)算，設(shè)計(jì)了一個(gè)全新的人工智慧處理單元APU，和CPU相比，它可以節(jié)省高達(dá)95%的電力（SAVE 95% ENERGY CONSUMPTION），讓你能有更多的時(shí)間處理更多任務(wù)

MTK還建立了一個(gè)創(chuàng)新的異構(gòu)運(yùn)算構(gòu)架（HETEROGENEOUS COMPUTING），能即時(shí)導(dǎo)引正確的任務(wù)到正確的位置，讓每個(gè)處理器都能發(fā)揮最佳性能和最大化的能源效率，這就是MTK的終端人工智慧平臺(tái)–NeuroPilot

NeuroPilot支持業(yè)界所有主流的人工智慧構(gòu)架如下列所示。

Google: TENSORFLOW/TENSORFLOW LITE

AMAZON: MXNET

CAFFE

SONY: NNABLA

Other NN Frameworks

如果伙伴們是開發(fā)人員，只要開發(fā)一次，便可應(yīng)用NeuroPilot到任何可支持的終端裝置。

CROSS PRODUCT

CROSS OPERATING SYSTEM

Android / Linux / RTOS / Others

NeuroPilot大致可分為三個(gè)層級(jí)，如下圖所示，最頂層是各種應(yīng)用程序，也是我們?nèi)粘＞湍芙佑|的一些應(yīng)用，像是一些臉部識(shí)別、面部美化、場景檢測(cè)、手勢(shì)檢測(cè)、語音識(shí)別等等。

中間層用于程序編寫和異構(gòu)運(yùn)算，主要由軟件算法所構(gòu)置的，包括神經(jīng)網(wǎng)絡(luò)運(yùn)行（NN Runtime），異構(gòu)運(yùn)行（Heterogeneous Runtime）。

這些基于個(gè)別級(jí)別的API進(jìn)行程序編寫的框架，我們稱之為AI framewrok，像Google的tensorflow（Lite）、caffe、Amazon的MXNet、Sony的NNabla等。

聯(lián)發(fā)科技的NeuroPilot支持市面上主流且常用的所有AI framework，意思就是說，我們的伙伴們就能夠很方便地在NeuroPilot平臺(tái)上進(jìn)行程序開發(fā)，同時(shí)也能夠很好地與云端對(duì)接。

再來最底層是各種硬件處理器CPU、GPU、APU。

一般情況下，我們?cè)谔幚磉@個(gè)model太大，然后想要把它縮小，做優(yōu)化來講，有幾個(gè)大家比較常用的手法。

我先講一下什么是優(yōu)化，優(yōu)化工具主要專注的地方是在training那個(gè)階段。會(huì)把訓(xùn)練好的model來做優(yōu)化。伙伴們可能會(huì)想，為什么要在training好的model來做優(yōu)化呢？

這是因?yàn)槲覀兒芏郃I model在訓(xùn)練好的時(shí)候，其實(shí)占用很大的容量，動(dòng)不動(dòng)就幾百兆字節(jié)。這樣大小的model放在設(shè)備端來執(zhí)行的話，可以想象，第一個(gè)跑起來會(huì)很慢，第二個(gè)是非常的耗電。所以我們會(huì)用一些手法來做一些優(yōu)化，讓這個(gè)model變比較小，比較適合在設(shè)備端來執(zhí)行。

第一個(gè)手法是有些Model本身就比較小，如下列圖標(biāo)，而它的準(zhǔn)確度，不會(huì)因?yàn)樗鹠odel小就被影響，例如像是我們看到MobileNet、SqueezeNet和Shufflenet，這幾種來執(zhí)行。

或是我們可以使用程序的方式去探索硬件，知道這個(gè)硬件適合什么樣的Model在什么樣的硬件上會(huì)跑比較快，這種方法叫做NAS，Neuron Architecture Search，這個(gè)手法，直接用程序去跑，看找什么樣的Model比較適合的。

另外底下三個(gè)手法，它就是用程序，去達(dá)成讓Model縮小，首先是Quantization，或是中文我們叫做量化，這樣的手法其實(shí)是去改變我們?cè)綧odel的儲(chǔ)存數(shù)字和參數(shù)。

把它從Floating point這種比較大的格式，轉(zhuǎn)換成integer這種比較小的格式。你可以想象，轉(zhuǎn)換變小之后，它的Model也會(huì)跟著轉(zhuǎn)換縮小，縮小之后，這個(gè)Model就可以在設(shè)備端，跑起來比較快，比較省電。

第四個(gè)方法，這邊寫到是Network Reduction，或者是我們?cè)谲浖戏Q做Pruning，中文可能會(huì)叫做剪枝，這個(gè)手法我們可以想像它是一個(gè)Model壓縮的技術(shù)，它可以把一個(gè)比較大的Model，壓縮成一個(gè)比較小的Model。

另外也有人用另一個(gè)方法，它把一個(gè)大的Model，然后再用一個(gè)小的Model去學(xué)這個(gè)大的Model，就是用原本training完大的Model，用小Model去學(xué)它，然后最后在設(shè)備端上來執(zhí)行，這是叫做distilling的手法。

關(guān)于NeuroPilot基本的介紹就到此，有興趣的伙伴們，可以隨時(shí)與我們探討和研究，謝謝。