MIT韓松等人團隊開發(fā)了一種高效的神經(jīng)結(jié)構(gòu)搜索算法，可以為在特定硬件上自動設(shè)計快速運行的神經(jīng)網(wǎng)絡(luò)提供一個“按鈕型”解決方案，算法設(shè)計和優(yōu)化的機器學(xué)習(xí)模型比傳統(tǒng)方法快200倍。

使用算法自動設(shè)計神經(jīng)網(wǎng)絡(luò)是人工智能的一個新領(lǐng)域，而且算法設(shè)計的系統(tǒng)比人類工程師開發(fā)的系統(tǒng)更準確、更高效。

但是這種所謂的神經(jīng)結(jié)構(gòu)搜索(NAS)技術(shù)在計算上非常昂貴。

谷歌最近開發(fā)的最先進的NAS算法，它可以在一組GPU上運行，需要48000小時來生成一個用于圖像分類和檢測任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)。當然了，谷歌擁有并行運行數(shù)百個GPU和其他專用硬件的資金實力，但這對其他大部分人來說是遙不可及的。

在5月份即將舉行的ICLR會議發(fā)表的一篇論文中，MIT的研究人員描述了一種NAS算法，僅需200小時，可以專為目標硬件平臺(當在大規(guī)模圖像數(shù)據(jù)集上運行時)直接學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)。這可以使這類算法得到更廣泛的使用。

論文：ProxylessNAS: 在目標任務(wù)和硬件上直接搜索神經(jīng)架構(gòu)

地址：https://arxiv.org/pdf/1812.00332.pdf

研究人員表示，資源匱乏的研究人員和企業(yè)可以從節(jié)省時間和成本的算法中受益。論文作者之一、MIT電子工程與計算機科學(xué)助理教授、微系統(tǒng)技術(shù)實驗室研究員韓松(Song Han)表示，他們的總體目標是“AI民主化”。

MIT電子工程與計算機科學(xué)助理教授韓松

他說：“我們希望通過在特定硬件上快速運行的一個’按鈕型’(push-button)的解決方案，讓AI專家和非專家都能夠高效地設(shè)計神經(jīng)網(wǎng)絡(luò)架構(gòu)。”

韓松補充說，這樣的NAS算法永遠不會取代人類工程師。“目的是減輕設(shè)計和改進神經(jīng)網(wǎng)絡(luò)架構(gòu)所帶來的重復(fù)和繁瑣的工作，”他說。他的團隊中的兩位研究人員Han Cai和Ligeng Zhu參與了論文。

ImageNet最高精度，計算成本降低200倍

在他們的工作中，研究人員開發(fā)了一些方法來刪除不必要的神經(jīng)網(wǎng)絡(luò)設(shè)計組件，以縮短計算時間，并僅使用一小部分硬件內(nèi)存來運行NAS算法。另一項創(chuàng)新確保每個輸出的CNN在特定的硬件平臺(CPU、GPU和移動設(shè)備)上運行得比傳統(tǒng)方法更高效。在測試中，研究人員用手機測得CNN運行速度是傳統(tǒng)方法的1.8倍，準確度與之相當。

CNN的架構(gòu)由可調(diào)參的計算層(稱為“過濾器”)和過濾器之間可能的連接組成。過濾器處理正方形網(wǎng)格形式的圖像像素，如3x3、5x5或7x7，每個過濾器覆蓋一個正方形。過濾器基本上是在圖像上移動的，并將其覆蓋的像素網(wǎng)格的所有顏色合并成單個像素。不同的層可能具有不同大小的過濾器，并以不同的方式連接以共享數(shù)據(jù)。輸出是一個壓縮圖像——來自所有過濾器的組合信息——因此可以更容易地由計算機進行分析。

由于可供選擇的架構(gòu)的數(shù)量——稱為“搜索空間”——是如此之大，因此應(yīng)用NAS在大型圖像數(shù)據(jù)集上創(chuàng)建神經(jīng)網(wǎng)絡(luò)在計算上是令人望而卻步的。工程師們通常在較小的proxy數(shù)據(jù)集上運行NAS，并將它們學(xué)到的CNN架構(gòu)轉(zhuǎn)移到目標任務(wù)。然而，這種泛化方法降低了模型的精度。此外，相同的輸出架構(gòu)也適用于所有硬件平臺，這造成了效率問題。

研究人員直接在ImageNet數(shù)據(jù)集中的一個圖像分類任務(wù)上訓(xùn)練并測試了他們的新NAS算法。他們首先創(chuàng)建了一個搜索空間，其中包含所有可能的CNN候選“路徑”(paths)——即層和過濾器連接以處理數(shù)據(jù)的方式。這使得NAS算法可以自由地找到最優(yōu)的架構(gòu)。

ProxylessNAS在ImageNet上達到最高精度，且搜索成本的GPU hours減少了200倍

通常，這意味著所有可能的路徑都必須存儲在內(nèi)存中，這將超過GPU的內(nèi)存限制。為了解決這個問題，研究人員利用了一種稱為“路徑級二值化”(path-level binarization)的技術(shù)，這種技術(shù)一次只存儲一個采樣路徑，并節(jié)省了一個數(shù)量級的內(nèi)存消耗。他們將這種二值化與“path-level pruning”相結(jié)合，后者是一種傳統(tǒng)的技術(shù)，可以在不影響輸出的情況下學(xué)習(xí)刪除神經(jīng)網(wǎng)絡(luò)中的哪些“神經(jīng)元”。然而，他們提出的新NAS算法并不是丟棄神經(jīng)元，而是修剪了整個路徑，這完全改變了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

ImageNet上精度和延遲的結(jié)果

在訓(xùn)練中，所有路徑最初都被賦予相同的選擇概率。然后，該算法跟蹤路徑——一次只存儲一個路徑——以記錄輸出的準確性和損失(對錯誤預(yù)測的數(shù)字懲罰)。然后，它調(diào)整路徑的概率，以優(yōu)化精度和效率。最后，該算法修剪掉所有低概率路徑，只保留了概率最高的路徑——這就是最終的CNN架構(gòu)。

硬件感知：測試延遲只需一部手機

韓松表示，該研究另一個關(guān)鍵的創(chuàng)新是使NAS算法具備“硬件感知”(hardware-aware)，這意味著它將每個硬件平臺上的延遲作為反饋信號來優(yōu)化架構(gòu)。

例如，為了測量移動設(shè)備上的延遲，Google這樣的大公司會使用大量的移動設(shè)備，這是非常昂貴的。相反，研究人員構(gòu)建了一個模型，只使用一部手機就能預(yù)測延遲。

不同硬件的延遲結(jié)果

對于網(wǎng)絡(luò)的每個所選層，算法都對該延遲預(yù)測模型的架構(gòu)進行采樣。然后，使用這些信息來設(shè)計一個盡可能快地運行的架構(gòu)，同時實現(xiàn)高精度。在實驗中，研究人員的CNN在移動設(shè)備上的運行速度幾乎是標準模型的兩倍。

針對不同硬件優(yōu)化的高效模型

韓松說，一個有趣的結(jié)果是，他們的NAS算法設(shè)計的CNN架構(gòu)長期以來被認為效率太低，但在研究人員的測試中，它們實際上針對特定的硬件進行了優(yōu)化。

例如，工程師基本上已經(jīng)停止使用7x7過濾器，因為它們的計算成本比多個更小的過濾器更昂貴。然而，研究人員的NAS算法發(fā)現(xiàn)，具有部分7x7過濾器層的架構(gòu)在GPU上運行得最快。這是因為GPU具有高并行性——意味著它們可以同時進行許多計算——所以一次處理一個大過濾器比一次處理多個小過濾器效率更高。

“這與人類以前的思維方式背道而馳，”韓松說。“搜索空間越大，你能找到的未知事物就越多。你不知道是否會有比過去的人類經(jīng)驗更好的選擇。那就讓AI來解決吧?！?/p>