AI天團(tuán)出道已久，成員都是集顏值和才華于一身的男紙，之前我們已經(jīng)見過其中三位了，壓軸出場的到底是誰？

更為重要的是，他會帶給我們關(guān)于人工智能的什么新鮮東東呢？

王宇航，博士畢業(yè)于中國科學(xué)院自動化研究所，現(xiàn)階段主要研究方向包括：深度學(xué)習(xí)、圖像語義分割、目標(biāo)檢測、網(wǎng)絡(luò)模型壓縮與加速等。

宇航告訴我們，深度神經(jīng)網(wǎng)絡(luò)也可以是一個“Transformer”，它可以在使用時根據(jù)輸入數(shù)據(jù)動態(tài)地調(diào)整自己的結(jié)構(gòu)。至于為什么要設(shè)計(jì)這樣的網(wǎng)絡(luò)結(jié)構(gòu)，宇航用“殺雞焉用牛刀”來形容它。

隨著近年來深度學(xué)習(xí)的快速發(fā)展，我們已經(jīng)能夠獲得越來越精確的模型實(shí)現(xiàn)對圖像目標(biāo)的識別，而相應(yīng)地，模型的體積也在成倍地增長，這給模型的部署和應(yīng)用帶來了很大的麻煩。因此，很多學(xué)者一直致力于給深度神經(jīng)網(wǎng)絡(luò)模型“減重”，從而實(shí)現(xiàn)效果和速度的平衡。

其中的主要方法包括對模型和知識進(jìn)行蒸餾，對模型進(jìn)行剪枝，以及對模型參數(shù)進(jìn)行分解和量化等等。這些方法都能夠提高模型中“有效計(jì)算”的密度，從而使模型變得更加高效。如果說這些方法是獲得了更加高效的“靜態(tài)”模型的話，另一類方法則采用“動態(tài)”的模型來提高應(yīng)用端的計(jì)算效率，它們針對不同的輸入數(shù)據(jù)動態(tài)地調(diào)整網(wǎng)絡(luò)的前向過程，去除不必要的計(jì)算，從而達(dá)到加速的目的。

首先，我們可以分析一下深度神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練和預(yù)測過程中的不同：在訓(xùn)練的過程中，我們要求模型對來自不同場景不同類別的目標(biāo)都進(jìn)行學(xué)習(xí)和辨別，以豐富其“知識儲備”，并因此不得不引入更多的神經(jīng)元和網(wǎng)絡(luò)連接。

而在預(yù)測階段，我們的需求往往集中于個體圖像的識別，而應(yīng)對這樣相對單一的場景和目標(biāo)，往往不需要我們使出全部的“看家本領(lǐng)”，只需要使用一部分相關(guān)知識針對性地去解決就可以了。

對于深度神經(jīng)網(wǎng)絡(luò)模型，參數(shù)，或者說神經(jīng)元之間的連接，就是它的“知識”，而針對不同的數(shù)據(jù)對網(wǎng)絡(luò)連接進(jìn)行選擇， 就可以動態(tài)地調(diào)整網(wǎng)絡(luò)的計(jì)算過程，對于比較容易辨認(rèn)的圖像進(jìn)行較少的編碼和計(jì)算，而對于比較難以辨認(rèn)的圖像進(jìn)行較多的編碼和計(jì)算，從而提高網(wǎng)絡(luò)預(yù)測的整體效率。

本文介紹的這兩篇文章都是基于這樣的出發(fā)點(diǎn)，而它們的關(guān)注點(diǎn)又各自不同。

“Runtime” 一文主要關(guān)注于減少網(wǎng)絡(luò)中卷積層的channel數(shù)量，如下圖所示：

為了簡化模型，他們將網(wǎng)絡(luò)中每一個卷積層的卷積核分為k組，根據(jù)網(wǎng)絡(luò)各前層的輸出特征決定在本層中使用的卷積核數(shù)量m（1≤m≤k），并僅使用前m組卷積核參與運(yùn)算，從而通過減小m來削減層與層之間的連接，達(dá)到channel pruning的效果。

而 “SkipNet”一文則主要關(guān)注網(wǎng)絡(luò)中l(wèi)ayer的數(shù)量，其主要思想如下圖所示：

他們?yōu)榫W(wǎng)絡(luò)中的每一個層（或每一組層）學(xué)習(xí)一個“門”，并基于網(wǎng)絡(luò)各前層的輸出特征進(jìn)行判斷，是將前一層輸出的特征圖輸入本層進(jìn)行計(jì)算還是直接越過本層將其送入后續(xù)網(wǎng)絡(luò)，從而通過“skip”掉盡可能多的層來實(shí)現(xiàn)加速的目的。

從直觀上來講，這兩篇文章分別從動態(tài)削減模型的“寬度”和“深度”的角度，實(shí)現(xiàn)了對預(yù)測過程中網(wǎng)絡(luò)計(jì)算的約減。

那么如何實(shí)現(xiàn)對網(wǎng)絡(luò)連接方式的動態(tài)調(diào)整呢？

在網(wǎng)絡(luò)由淺至深的過程中，對于網(wǎng)絡(luò)中每一層連接方式的選擇（對于“Runtime” 一文是選擇該層使用的卷積核數(shù)量，而對于 “SkipNet”一文是選擇該層參與計(jì)算與否）可以看作一個序列決策過程，因此，這兩篇文章均選擇了強(qiáng)化學(xué)習(xí)的方式建模這一過程。將原始的主體CNN網(wǎng)絡(luò)作為“Environment”，學(xué)習(xí)一個額外的輕量的CNN或RNN網(wǎng)絡(luò)作為“Agent”來產(chǎn)生決策序列。其中，對于原CNN網(wǎng)絡(luò)每一層的決策，作為一個“Action”都將帶來相應(yīng)的“Reward”。

為了在最大限度地壓縮網(wǎng)絡(luò)計(jì)算的同時最大化網(wǎng)絡(luò)的分類精度，在構(gòu)建“Reward”函數(shù)的過程中，需要同時考慮兩個部分：1.對“Action”約減計(jì)算量的獎勵，即prune掉的channel越多或skip掉的layer越多，獲得獎勵越大；2.網(wǎng)絡(luò)最終的分類預(yù)測損失，即最終分類預(yù)測的log損失越小，獲得獎勵越大。由于這兩部分的梯度計(jì)算方式不同，因此在對模型目標(biāo)函數(shù)進(jìn)行優(yōu)化的過程中，會構(gòu)成一個“強(qiáng)化學(xué)習(xí)+監(jiān)督學(xué)習(xí)”的混合學(xué)習(xí)框架。

在具體的算法實(shí)現(xiàn)中，這兩篇文章對于“Reward”函數(shù)的設(shè)計(jì)和優(yōu)化策略的選擇各有不同?！癛untime”一文采取了交替更新的方式，而“SkipNet”一文則采用了混合優(yōu)化的方式，具體的細(xì)節(jié)我們就不在這里詳述了。

對于方法的效果，這兩篇文章都給出了嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)對比和可視化結(jié)果分析，大家可以根據(jù)興趣進(jìn)行更深入的閱讀和研究。而動態(tài)網(wǎng)絡(luò)結(jié)構(gòu)的意義，可能也不止于單純的約減計(jì)算。網(wǎng)絡(luò)連接的改變實(shí)際上影響著整個特征編碼的過程，以“SkipNet”為例，對n個網(wǎng)絡(luò)層的選擇可能會帶來2^n種不同的特征編碼方式，而在訓(xùn)練這種動態(tài)選擇策略的過程中，可能也會一定程度地解耦層與層之間的依賴關(guān)系，這也會為我們?nèi)蘸笤O(shè)計(jì)更具“自適應(yīng)性”的網(wǎng)絡(luò)結(jié)構(gòu)和研究網(wǎng)絡(luò)中信息的傳遞及融合方式帶來更多的啟發(fā)。