遠(yuǎn)程邊緣 AI 應(yīng)用程序取決于嵌入式硬件設(shè)備的大小，這些設(shè)備承載著在源頭處理邊緣數(shù)據(jù)的所有計(jì)算能力和能力。大型嵌入式AI加速器在空間受限的系統(tǒng)中面臨著一些挑戰(zhàn)，例如突兀和隱蔽。

在題為“用于智能邊緣監(jiān)控的毫米級(jí)超低功耗成像系統(tǒng)”的文章中，研究人員開發(fā)了一種具有深度學(xué)習(xí)和圖像處理功能的微型毫米級(jí)成像系統(tǒng)，用于邊緣應(yīng)用，特別是家庭監(jiān)控場(chǎng)景。該系統(tǒng)使用垂直堆疊的超低功耗IC，并采用動(dòng)態(tài)行為特定電源管理、分層事件檢測(cè)和數(shù)據(jù)壓縮方法的組合。

對(duì)于毫米級(jí)系統(tǒng)，該設(shè)計(jì)方法面臨著技術(shù)挑戰(zhàn)，例如設(shè)計(jì)面積高度受限的系統(tǒng)、能源預(yù)算和峰值功率的限制、有限的數(shù)據(jù)存儲(chǔ)、昂貴的無線通信、毫米級(jí)鏡頭的非理想性以及超低功耗前端。

從毫米級(jí)尺寸系統(tǒng)開始，該設(shè)計(jì)需要集成超低功耗IC并組裝它們以減小占位面積。為了給毫米級(jí)系統(tǒng)供電，設(shè)計(jì)單元需要一個(gè)小型電池來支持電源要求。由于空間受限的系統(tǒng)，成像系統(tǒng)可用的片上和片外存儲(chǔ)器數(shù)量有限，這限制了圖像數(shù)據(jù)的存儲(chǔ)和算法的復(fù)雜性。

為了解決設(shè)計(jì)毫米級(jí)成像系統(tǒng)時(shí)的這些技術(shù)難題，該團(tuán)隊(duì)參考了在低功耗圖像傳感器、超低功耗處理器和混合信號(hào)視覺集成電路、低功耗無線通信、高效神經(jīng)網(wǎng)絡(luò)加速器以及針對(duì)邊緣計(jì)算應(yīng)用優(yōu)化機(jī)器學(xué)習(xí)算法方面所做的現(xiàn)有工作。

現(xiàn)有研究的局限性包括排除邊緣計(jì)算或無法滿足面積和電力需求。該研究論文提出，完全集成的毫米級(jí)成像系統(tǒng)是“同類產(chǎn)品中的第一個(gè)”。

圖：成像儀系統(tǒng)橫截面

具有邊緣智能的新型毫米級(jí)成像系統(tǒng)

該系統(tǒng)的尺寸僅為6.7×7×5mm，重量為460mg，使用設(shè)計(jì)為垂直堆疊的150μm超低功耗集成電路。垂直堆疊的方法允許在更小的占地面積內(nèi)互連更多的集成電路。這是與傳統(tǒng)的平面2D芯片到芯片連接相比。

該系統(tǒng)由一個(gè)基礎(chǔ)層組成，該基礎(chǔ)層將多個(gè)功能硬件器件集成到單個(gè)IC芯片上，例如主控制器、電源管理單元和無線電IC。毫米級(jí)成像系統(tǒng)的核心是具有 16kB SRAM 的 Arm Cortex-M0 處理器內(nèi)核。電源管理單元從單個(gè)電池源產(chǎn)生多個(gè)電壓域，以在負(fù)載下保持高轉(zhuǎn)換效率。

下一個(gè)重要層是超低功耗圖像傳感器和圖像信號(hào)處理。圖像傳感器層支持運(yùn)動(dòng)觸發(fā)的 12 位 VGA 圖像捕獲和子采樣像素幀上的近像素運(yùn)動(dòng)檢測(cè)，最大速率為每秒 170 幀，而圖像信號(hào)處理可執(zhí)行動(dòng)態(tài) JPEG（去）壓縮、光學(xué)-黑色像素校準(zhǔn)、去拜耳、RGB 到 YUV 轉(zhuǎn)換和場(chǎng)景變化檢測(cè)。神經(jīng)引擎提供 1.5 TOP/W 性能，支持基于深度神經(jīng)網(wǎng)絡(luò)的幀分析。另一層包括超低泄漏閃存，能量收集器，太陽能電池，可充電鋰電池和聚四氟乙烯（PTFE）管。

系統(tǒng)集成使用了兩個(gè)4層10×10×0.8mmPCB，其正面用于引線鍵合，而無源元件和太陽能電池層則放置在背面。這種毫米級(jí)系統(tǒng)的代碼開發(fā)具有挑戰(zhàn)性，因此該團(tuán)隊(duì)在外緣包括階梯狀過孔以暴露內(nèi)部信號(hào)。

圖：（從左到右）堆疊 IC、被測(cè)封裝系統(tǒng)、PCB 背面、獨(dú)立的毫米級(jí)成像系統(tǒng)

對(duì)毫米級(jí)成像系統(tǒng)的修改

電源管理是能量最小化技術(shù)的關(guān)鍵要素，因?yàn)槭冀K在線的圖像傳感器執(zhí)行基于DNN的分析會(huì)產(chǎn)生巨大的功耗。該過程需要計(jì)算能量和存儲(chǔ)在片內(nèi)外的兆字節(jié)DNN參數(shù)。

在運(yùn)動(dòng)監(jiān)控、圖像捕獲和基于DNN的場(chǎng)景分析期間，動(dòng)態(tài)節(jié)能模式（如閃存IC）設(shè)置為休眠模式，僅消耗0.003μW。電源管理單元針對(duì)每個(gè)節(jié)點(diǎn)進(jìn)行調(diào)整，通過修改電流消耗、頻率控制和上/下轉(zhuǎn)換比，最大限度地提高動(dòng)態(tài)負(fù)載的效率。另一方面，分層事件檢測(cè)（HED）算法用于修剪掉不相關(guān)的事件，否則這些事件會(huì)消耗能量，特別是在卸載數(shù)據(jù)而不確定其對(duì)應(yīng)用程序的價(jià)值時(shí)。

結(jié)合權(quán)重修剪、非均勻量化、用于卷積層的量化權(quán)重的霍夫曼編碼以及其他幾種方法，DNN 可實(shí)現(xiàn)高達(dá) 1.5bit/weight 的壓縮。對(duì)于圖像壓縮，使用JPEG和H.264壓縮方法的組合來減少數(shù)據(jù)占用并最大限度地降低無線傳輸成本。

H.264 幀內(nèi)壓縮引擎可將 VGA 幀的內(nèi)存占用量減少 23 倍。但是，通過 H.264 壓縮，系統(tǒng)需要比 JPEG 多 138% 的處理能量。使用的其他方法是變化檢測(cè)引擎，與VGA幀相比，可實(shí)現(xiàn)135倍的壓縮，以及用于減少無線數(shù)據(jù)傳輸?shù)南到y(tǒng)外圖像重建。對(duì)于毫米級(jí)鏡頭和超低功耗前端的圖像校正，該團(tuán)隊(duì)提出了圖像校正層，可以使用矩陣乘法和卷積等指令在ISP神經(jīng)引擎（NE）上執(zhí)行。

結(jié)論

該論文提出了一種新型毫米級(jí)成像系統(tǒng)，該系統(tǒng)集成了遠(yuǎn)程物聯(lián)網(wǎng)和邊緣應(yīng)用的邊緣智能，平均功耗為49.6μW，預(yù)期壽命為7天，無需充電。為了實(shí)現(xiàn)小尺寸，系統(tǒng)使用超低功耗IC的垂直堆疊，并通過數(shù)據(jù)和能量管理方法管理存儲(chǔ)器和能量預(yù)算限制。“在展示了一個(gè)微型物聯(lián)網(wǎng)智能成像系統(tǒng)之后，通過社會(huì)技術(shù)和道德視角進(jìn)行分析是必不可少的下一步;我們邀請(qǐng)未來在安全和隱私等主題上開展工作，“該團(tuán)隊(duì)總結(jié)道。

審核編輯：郭婷