人工智能是一項(xiàng)正在常規(guī)基礎(chǔ)上進(jìn)行大量研究的技術(shù)。世界各地的研究人員都在努力讓AI的應(yīng)用和實(shí)施更快、更好。多年來(lái)，人類(lèi)遇到了人工智能帶來(lái)潛在突破的例子。無(wú)論是在心臟病的早期檢測(cè)，還是在發(fā)現(xiàn)歷史事件方面，人工智能自誕生以來(lái)都取得了長(zhǎng)足的進(jìn)步。

為了減輕日?，嵤?，麻省理工學(xué)院（MIT）和國(guó)立臺(tái)灣大學(xué)的研究人員合作，在微控制器上嵌入了深度神經(jīng)網(wǎng)絡(luò)。這意味著，微小芯片形式的AI可以在智能穿戴設(shè)備和家用電器中實(shí)現(xiàn)，從而實(shí)現(xiàn)物聯(lián)網(wǎng)（Device）和AI的高級(jí)融合。這篇題為《MCUNet：物聯(lián)網(wǎng)設(shè)備上的微小深度學(xué)習(xí)》的研究論文將于12月在神經(jīng)信息處理系統(tǒng)會(huì)議上發(fā)表。研究人員希望通過(guò)這種方法，在物聯(lián)網(wǎng)設(shè)備的傳感器附近進(jìn)行數(shù)據(jù)分析，從而拓寬人工智能的應(yīng)用范圍。

了解MCUnet

研究人員發(fā)明的這種設(shè)備被稱(chēng)為MCUnet。它是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，能夠在現(xiàn)成的微控制器上實(shí)現(xiàn)ImageNet規(guī)模的深度學(xué)習(xí)。ImageNet是一個(gè)圖像數(shù)據(jù)庫(kù)，每個(gè)節(jié)點(diǎn)由數(shù)千張圖像描述。在該模型中，深度學(xué)習(xí)設(shè)計(jì)和推理庫(kù)進(jìn)行了聯(lián)合優(yōu)化，以消除傳統(tǒng)微控制器片上有限內(nèi)存的挑戰(zhàn)，降低內(nèi)存使用量。

TinyNAS是一種深度學(xué)習(xí)設(shè)計(jì)，具有兩階段神經(jīng)結(jié)構(gòu)搜索（NAS）方法，可處理各種微控制器上微小而多樣的存儲(chǔ)限制。研究指出，TinyNAS首先自動(dòng)優(yōu)化搜索空間以適應(yīng)微小的資源限制，然后在優(yōu)化后的空間進(jìn)行神經(jīng)結(jié)構(gòu)搜索，從而解決了這個(gè)問(wèn)題。TinyNAS通過(guò)縮放輸入分辨率和模型寬度來(lái)生成不同的搜索空間，然后收集搜索空間內(nèi)滿(mǎn)足網(wǎng)絡(luò)的計(jì)算失敗分布來(lái)評(píng)估其優(yōu)先級(jí)。此外，TinyNAS依賴(lài)于搜索空間能夠容納的洞察力。內(nèi)存限制下的失敗次數(shù)越多，深度學(xué)習(xí)模型就越好。實(shí)驗(yàn)表明，優(yōu)化后的空間提高了NAS搜索模型的準(zhǔn)確率。TinyNAS可以在低搜索成本下自動(dòng)處理與傳統(tǒng)微控制器相關(guān)的各種約束，如設(shè)備、延遲、能源、內(nèi)存等。

研究人員指出，TinyEngine是一個(gè)內(nèi)存高效的推理庫(kù)，消除了不必要的內(nèi)存開(kāi)銷(xiāo)，因此搜索空間得到了擴(kuò)展，以適應(yīng)更大的深度學(xué)習(xí)模型，并具有更高的準(zhǔn)確率。由于推理庫(kù)是基于解釋的，需要額外的運(yùn)行時(shí)內(nèi)存，TinyEngine編譯了基于代碼生成器的方法，消除了內(nèi)存開(kāi)銷(xiāo)，并適應(yīng)內(nèi)存調(diào)度，而不是分層優(yōu)化，以更好地為減少內(nèi)存使用制定策略。最后，對(duì)不同層次進(jìn)行專(zhuān)門(mén)的計(jì)算優(yōu)化，即循環(huán)平鋪、循環(huán)展開(kāi)、OP融合，加快了推理速度。

研究人員觀察到，與傳統(tǒng)的深度學(xué)習(xí)相比，MCUNet通過(guò)系統(tǒng)算法協(xié)同設(shè)計(jì)更好地利用了資源。研究人員得出結(jié)論，現(xiàn)有的模型在外殼式微控制器上達(dá)到了創(chuàng)紀(jì)錄的70.7%的ImageNet精確度。

責(zé)任編輯：gt