AI天團出道已久，成員都是集顏值和才華于一身的男紙，之前我們已經(jīng)見過其中三位了，壓軸出場的到底是誰？

更為重要的是，他會帶給我們關(guān)于人工智能的什么新鮮東東呢？

王宇航，博士畢業(yè)于中國科學(xué)院自動化研究所，現(xiàn)階段主要研究方向包括：深度學(xué)習(xí)、圖像語義分割、目標檢測、網(wǎng)絡(luò)模型壓縮與加速等。

宇航告訴我們，深度神經(jīng)網(wǎng)絡(luò)也可以是一個“Transformer”，它可以在使用時根據(jù)輸入數(shù)據(jù)動態(tài)地調(diào)整自己的結(jié)構(gòu)。至于為什么要設(shè)計這樣的網(wǎng)絡(luò)結(jié)構(gòu)，宇航用“殺雞焉用牛刀”來形容它。

隨著近年來深度學(xué)習(xí)的快速發(fā)展，我們已經(jīng)能夠獲得越來越精確的模型實現(xiàn)對圖像目標的識別，而相應(yīng)地，模型的體積也在成倍地增長，這給模型的部署和應(yīng)用帶來了很大的麻煩。因此，很多學(xué)者一直致力于給深度神經(jīng)網(wǎng)絡(luò)模型“減重”，從而實現(xiàn)效果和速度的平衡。

其中的主要方法包括對模型和知識進行蒸餾，對模型進行剪枝，以及對模型參數(shù)進行分解和量化等等。這些方法都能夠提高模型中“有效計算”的密度，從而使模型變得更加高效。如果說這些方法是獲得了更加高效的“靜態(tài)”模型的話，另一類方法則采用“動態(tài)”的模型來提高應(yīng)用端的計算效率，它們針對不同的輸入數(shù)據(jù)動態(tài)地調(diào)整網(wǎng)絡(luò)的前向過程，去除不必要的計算，從而達到加速的目的。

首先，我們可以分析一下深度神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練和預(yù)測過程中的不同：在訓(xùn)練的過程中，我們要求模型對來自不同場景不同類別的目標都進行學(xué)習(xí)和辨別，以豐富其“知識儲備”，并因此不得不引入更多的神經(jīng)元和網(wǎng)絡(luò)連接。

而在預(yù)測階段，我們的需求往往集中于個體圖像的識別，而應(yīng)對這樣相對單一的場景和目標，往往不需要我們使出全部的“看家本領(lǐng)”，只需要使用一部分相關(guān)知識針對性地去解決就可以了。

對于深度神經(jīng)網(wǎng)絡(luò)模型，參數(shù)，或者說神經(jīng)元之間的連接，就是它的“知識”，而針對不同的數(shù)據(jù)對網(wǎng)絡(luò)連接進行選擇， 就可以動態(tài)地調(diào)整網(wǎng)絡(luò)的計算過程，對于比較容易辨認的圖像進行較少的編碼和計算，而對于比較難以辨認的圖像進行較多的編碼和計算，從而提高網(wǎng)絡(luò)預(yù)測的整體效率。

本文介紹的這兩篇文章都是基于這樣的出發(fā)點，而它們的關(guān)注點又各自不同。

“Runtime” 一文主要關(guān)注于減少網(wǎng)絡(luò)中卷積層的channel數(shù)量，如下圖所示：

為了簡化模型，他們將網(wǎng)絡(luò)中每一個卷積層的卷積核分為k組，根據(jù)網(wǎng)絡(luò)各前層的輸出特征決定在本層中使用的卷積核數(shù)量m（1≤m≤k），并僅使用前m組卷積核參與運算，從而通過減小m來削減層與層之間的連接，達到channel pruning的效果。

而 “SkipNet”一文則主要關(guān)注網(wǎng)絡(luò)中l(wèi)ayer的數(shù)量，其主要思想如下圖所示：

他們?yōu)榫W(wǎng)絡(luò)中的每一個層（或每一組層）學(xué)習(xí)一個“門”，并基于網(wǎng)絡(luò)各前層的輸出特征進行判斷，是將前一層輸出的特征圖輸入本層進行計算還是直接越過本層將其送入后續(xù)網(wǎng)絡(luò)，從而通過“skip”掉盡可能多的層來實現(xiàn)加速的目的。

從直觀上來講，這兩篇文章分別從動態(tài)削減模型的“寬度”和“深度”的角度，實現(xiàn)了對預(yù)測過程中網(wǎng)絡(luò)計算的約減。

那么如何實現(xiàn)對網(wǎng)絡(luò)連接方式的動態(tài)調(diào)整呢？

在網(wǎng)絡(luò)由淺至深的過程中，對于網(wǎng)絡(luò)中每一層連接方式的選擇（對于“Runtime” 一文是選擇該層使用的卷積核數(shù)量，而對于 “SkipNet”一文是選擇該層參與計算與否）可以看作一個序列決策過程，因此，這兩篇文章均選擇了強化學(xué)習(xí)的方式建模這一過程。將原始的主體CNN網(wǎng)絡(luò)作為“Environment”，學(xué)習(xí)一個額外的輕量的CNN或RNN網(wǎng)絡(luò)作為“Agent”來產(chǎn)生決策序列。其中，對于原CNN網(wǎng)絡(luò)每一層的決策，作為一個“Action”都將帶來相應(yīng)的“Reward”。

為了在最大限度地壓縮網(wǎng)絡(luò)計算的同時最大化網(wǎng)絡(luò)的分類精度，在構(gòu)建“Reward”函數(shù)的過程中，需要同時考慮兩個部分：1.對“Action”約減計算量的獎勵，即prune掉的channel越多或skip掉的layer越多，獲得獎勵越大；2.網(wǎng)絡(luò)最終的分類預(yù)測損失，即最終分類預(yù)測的log損失越小，獲得獎勵越大。由于這兩部分的梯度計算方式不同，因此在對模型目標函數(shù)進行優(yōu)化的過程中，會構(gòu)成一個“強化學(xué)習(xí)+監(jiān)督學(xué)習(xí)”的混合學(xué)習(xí)框架。

在具體的算法實現(xiàn)中，這兩篇文章對于“Reward”函數(shù)的設(shè)計和優(yōu)化策略的選擇各有不同。“Runtime”一文采取了交替更新的方式，而“SkipNet”一文則采用了混合優(yōu)化的方式，具體的細節(jié)我們就不在這里詳述了。

對于方法的效果，這兩篇文章都給出了嚴謹?shù)臄?shù)據(jù)對比和可視化結(jié)果分析，大家可以根據(jù)興趣進行更深入的閱讀和研究。而動態(tài)網(wǎng)絡(luò)結(jié)構(gòu)的意義，可能也不止于單純的約減計算。網(wǎng)絡(luò)連接的改變實際上影響著整個特征編碼的過程，以“SkipNet”為例，對n個網(wǎng)絡(luò)層的選擇可能會帶來2^n種不同的特征編碼方式，而在訓(xùn)練這種動態(tài)選擇策略的過程中，可能也會一定程度地解耦層與層之間的依賴關(guān)系，這也會為我們?nèi)蘸笤O(shè)計更具“自適應(yīng)性”的網(wǎng)絡(luò)結(jié)構(gòu)和研究網(wǎng)絡(luò)中信息的傳遞及融合方式帶來更多的啟發(fā)。