恩智浦的i.MX RT系列跨界處理器，為在設(shè)備端實(shí)現(xiàn)智能運(yùn)算提供了更高性價(jià)比的方案，解鎖了在嵌入式應(yīng)用中部署人工智能算法的新途徑。

恩智浦的工程師們從多種角度，做了很多有創(chuàng)新的嘗試和工作，為客戶提供了豐富的選項(xiàng)，也很好地展示了i.MX RT產(chǎn)品的高性能和高擴(kuò)展適應(yīng)性。

本文及隨后的一些小文將分別介紹這些精彩的成果。

引 言

多目標(biāo)檢測(cè)是機(jī)器學(xué)習(xí)重要的研究領(lǐng)域之一，可以廣泛應(yīng)用于機(jī)器人，安防和工業(yè)監(jiān)控等領(lǐng)域。

針對(duì)多目標(biāo)檢測(cè)任務(wù)，目前比較流行的是基于卷積神經(jīng)網(wǎng)絡(luò)（Conventional Neural Network，CNN）的算法，例如Yolo，SSD和RetinaNet等。

然而，目前已有CNN方法均不適用于嵌入式平臺(tái)的部署，這是因?yàn)槟繕?biāo)檢測(cè)是一個(gè)比較繁重的任務(wù)，而現(xiàn)有的檢測(cè)模型過(guò)于復(fù)雜，對(duì)平臺(tái)的算力和內(nèi)存的需求很高，因此無(wú)法將其部署在嵌入式平臺(tái)。

本文基于開源算法，提出了一種輕量化的目標(biāo)檢測(cè)網(wǎng)絡(luò)，大量運(yùn)用深度可分離卷積以及全新的尺度變換結(jié)構(gòu)，使得模型計(jì)算復(fù)雜度和結(jié)構(gòu)得到極大簡(jiǎn)化，進(jìn)而使多目標(biāo)檢測(cè)在MCU上的實(shí)現(xiàn)成為可能。

提出的檢測(cè)算法在NXP微控制器i.MX RT1170上的部署實(shí)驗(yàn)結(jié)果表明：該算法極大降低了對(duì)于ROM和RAM的消耗，運(yùn)行時(shí)間得到大幅度優(yōu)化，檢測(cè)速度最高可達(dá)10FPS，并且模型精度可以媲美開源的YoloV3-tiny，YoloV4-tiny等模型。

實(shí)時(shí)多人體檢測(cè)算法

1. 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文采用的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)主要分為兩部分，第一部分為網(wǎng)絡(luò)主體結(jié)構(gòu)，用來(lái)逐層提取樣本的有效特征。該主體結(jié)構(gòu)借鑒了MobileNetV2的輕量特性，并充分考慮了模型在部署方面對(duì)于ROM和RAM的優(yōu)化。

網(wǎng)絡(luò)主要特點(diǎn)概括如下：

（1）大量運(yùn)用深度可分離卷積來(lái)減少參數(shù)量，進(jìn)而減少ROM的消耗。深度可分離卷積相對(duì)于傳統(tǒng)的卷積可以大大較少參數(shù)規(guī)模。例如對(duì)于一個(gè)輸入有8個(gè)通道，輸出有16個(gè)通道的傳統(tǒng)3*3卷積， 其參數(shù)量為16*8*3*3=1152；而深度可分離卷積參數(shù)量?jī)H有8*3*3+1*1*8*16=200。

（2）模型結(jié)構(gòu)設(shè)計(jì)上遵循的是加大網(wǎng)絡(luò)模型深度，縮小每層的寬度，這樣帶來(lái)的好處是減少每層推理所需要的內(nèi)存占用。這是因?yàn)樵谇度胧皆O(shè)備中，運(yùn)行內(nèi)存極為緊張，而優(yōu)化過(guò)的模型可以減少RAM的使用。

（3）考慮到模型部署需要用到8位整型量化，這里我們采用Relu激活函數(shù)。這是因?yàn)槟壳斑€沒有任何研究表明哪種激活函數(shù)具有更高的精度，但對(duì)于量化來(lái)說(shuō)，顯然Relu會(huì)比pRelu（圖1），leakyRelu或者sigmoid等函數(shù)具有更快的推理時(shí)間和更低的量化損失。

圖1 Relu和pRelu激活示意圖

（4）網(wǎng)絡(luò)設(shè)計(jì)中尺度變換結(jié)構(gòu)采用了1*1，3*3和5*5三種卷積核尺寸，進(jìn)而同時(shí)兼顧不同大小目標(biāo)的定位精度；同時(shí)，我們提出的尺度預(yù)測(cè)結(jié)構(gòu)更為簡(jiǎn)單，減少了網(wǎng)絡(luò)模型部署的難度。

2. 網(wǎng)絡(luò)模型融合壓縮與量化

對(duì)于訓(xùn)練后的網(wǎng)絡(luò)模型，可以通過(guò)網(wǎng)絡(luò)模型的融合壓縮以及量化技術(shù)，加快其在嵌入式設(shè)備上的推理時(shí)間。

因?yàn)楸疚脑O(shè)計(jì)網(wǎng)絡(luò)中為了使每層數(shù)據(jù)分布更加均勻（有助于減少整型量化中的損失），采用了Batchnorm對(duì)數(shù)據(jù)進(jìn)行約束。此外，Batchnorm還可以將輸入分布更多的分散在非飽和區(qū)，進(jìn)而減小梯度彌散，加快收斂過(guò)程。模型訓(xùn)練結(jié)束后，Batchnorm中參數(shù)就固化了，可以將其參數(shù)融合進(jìn)卷積層中，最終避免Batchnorm層在實(shí)際模型推理中的時(shí)間消耗。

模型量化的目的是為了加快模型在MCU上的推理時(shí)間，這是因?yàn)榇蠖鄶?shù)MCU內(nèi)核采用Arm Cortex-M 架構(gòu)，其對(duì)定點(diǎn)乘法運(yùn)算的速度要比浮點(diǎn)運(yùn)算快得多。此外，模型量化還可以節(jié)省模型對(duì)于ROM和RAM的需求。

本文采用全8位整型量化的方式對(duì)模型進(jìn)行推理加速。

3. 實(shí)驗(yàn)結(jié)果分析

本文提出的模型針對(duì)目前較為流行的開源公版模型YoloV3-Tiny和YoloV4-Tiny進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如下：

圖2 模型對(duì)比實(shí)驗(yàn)圖

如圖2所示，該模型極大地降低了ROM和RAM的占用，這對(duì)于內(nèi)存大小較為緊張的嵌入式設(shè)備來(lái)說(shuō)意義重大。

而在推理時(shí)間上，本文提出的模型具有更為突出的優(yōu)勢(shì)。作者在NXP微控制器i.MX RT1170（ARM Cortex-M7，1GHz）上的實(shí)驗(yàn)結(jié)果表明，相比開源模型動(dòng)輒幾秒鐘的推理時(shí)間，我們提出的網(wǎng)絡(luò)模型將時(shí)間消耗控制在200ms以內(nèi)，使其部署在微控制器上更加高效。

注意，圖2中的時(shí)間消耗對(duì)比是假設(shè)YoloV3-Tiny和YoloV4-Tiny均進(jìn)行8位整型量化，并且直接使用未經(jīng)修改的開源算法得到的推理時(shí)間。實(shí)際上，直接使用開源的、未經(jīng)修改的YoloV3-Tiny和YoloV4-Tiny等網(wǎng)絡(luò)結(jié)構(gòu)，由于其復(fù)雜結(jié)構(gòu)，部署難度較高。而本文提出網(wǎng)絡(luò)模型在結(jié)構(gòu)上進(jìn)行了極大優(yōu)化，可以利用現(xiàn)有開源工具進(jìn)行量化部署。

對(duì)于模型預(yù)測(cè)精度，作者進(jìn)行了如圖3的測(cè)試對(duì)比實(shí)驗(yàn)。在多個(gè)樣本集上，本文提出模型的預(yù)測(cè)精度可以媲美開源的YoloV3-Tiny和YoloV4-Tiny等模型。

圖3 模型預(yù)測(cè)效果對(duì)比圖

基于i.MX RT1170的實(shí)時(shí)多人體檢測(cè)系統(tǒng)

神經(jīng)網(wǎng)絡(luò)模型在邊緣設(shè)備上的部署，是深度學(xué)習(xí)技術(shù)落地的一大關(guān)鍵部分。本文以多人體檢測(cè)模型為例，分享如何將現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型，部署到NXP的微控制器i.MX RT1170EVK開發(fā)板上，并實(shí)現(xiàn)實(shí)時(shí)多人體檢測(cè)系統(tǒng)。

部署流程如圖4所示，首先需要將訓(xùn)練的模型進(jìn)行模型框架轉(zhuǎn)換，這是因?yàn)殚_源的量化工具僅支持少量的模型框架。

第二步需要對(duì)模型進(jìn)行融合優(yōu)化，然后利用量化工具將模型進(jìn)行量化，并轉(zhuǎn)換為MCU可以執(zhí)行的代碼；最后對(duì)模型的預(yù)處理和后處理進(jìn)行編程實(shí)現(xiàn)，這樣攝像頭抓取的圖像數(shù)據(jù)就可以進(jìn)行預(yù)處理后送入量化模型，然后根據(jù)模型輸出特征圖進(jìn)行后處理，提取出有效的候選框作為預(yù)測(cè)框。

圖4 神經(jīng)網(wǎng)絡(luò)邊緣設(shè)備部署流程圖

本文采用NXP i.MX RT1170EVK開發(fā)板進(jìn)行多人體檢測(cè)系統(tǒng)的實(shí)現(xiàn)。

i.MX RT1170是NXP的一款跨界MCU，采用主頻達(dá)1GHz的Cortex?-M7內(nèi)核和主頻達(dá)400MHz的Cortex-M4，這里我們僅使用M7內(nèi)核。

此外，RT1170EVK上搭載了MIPI接口的OV5640攝像頭，分辨率達(dá)到720*1280，同時(shí)配有5.5寸高清顯示屏，分辨率同樣達(dá)到720*1280。

這里我們采用FreeRTOS系統(tǒng)進(jìn)行攝像頭的實(shí)時(shí)讀取和LCD的實(shí)時(shí)顯示，攝像頭和LCD的分辨率均設(shè)為最高的720*1280，刷新率均設(shè)為15FPS。

系統(tǒng)實(shí)現(xiàn)流程如圖5所示，攝像頭抓取的圖像經(jīng)過(guò)PXP轉(zhuǎn)換，然后進(jìn)行預(yù)處理送入模型，最后經(jīng)過(guò)后處理將預(yù)測(cè)框顯示在LCD上。

圖5 人體檢測(cè)系統(tǒng)實(shí)現(xiàn)流程

最終，基于i.MX RT1170的人體檢測(cè)系統(tǒng)可以實(shí)現(xiàn)快速精準(zhǔn)的多人體位置預(yù)測(cè)，測(cè)試視頻如下。

此外，本文算法的一大優(yōu)勢(shì)在于運(yùn)行時(shí)間可控，并不會(huì)因?yàn)楸粰z測(cè)人體數(shù)量的多少而改變。模型的速度決定了最遠(yuǎn)檢測(cè)距離。以下測(cè)試結(jié)果分別是算法在10FPS，5FPS和3FPS速度下的最遠(yuǎn)檢測(cè)距離。

圖6 算法檢測(cè)距離與速度

結(jié)束語(yǔ)

本文給出的多人體檢測(cè)算法和系統(tǒng)，為在NXP的MCU上部署多目標(biāo)檢測(cè)任務(wù)帶來(lái)了更多的可能性。

結(jié)合深度學(xué)習(xí)模型網(wǎng)絡(luò)的優(yōu)化，以及模型融合量化等技術(shù)，可以在保證模型精度的同時(shí)，實(shí)現(xiàn)在嵌入式平臺(tái)上推理速度的最優(yōu)化，進(jìn)而才能將深度學(xué)習(xí)技術(shù)更好的落地。

來(lái)源： 恩智浦MCU加油站
免責(zé)聲明：本文為轉(zhuǎn)載文章，轉(zhuǎn)載此文目的在于傳遞更多信息，版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問(wèn)題，請(qǐng)聯(lián)系小編進(jìn)行處理

審核編輯 黃宇