谷歌大腦備受關(guān)注的“權(quán)重?zé)o關(guān)神經(jīng)網(wǎng)絡(luò)”終于開(kāi)源了！其關(guān)鍵思想是通過(guò)不再?gòu)?qiáng)調(diào)權(quán)重來(lái)搜索網(wǎng)絡(luò)結(jié)構(gòu)，僅使用隨機(jī)共享的權(quán)重，也可以執(zhí)行各種任務(wù)的神經(jīng)網(wǎng)絡(luò)。終于可以不用調(diào)參煉丹了嗎？快來(lái)復(fù)現(xiàn)看看！

神經(jīng)網(wǎng)絡(luò)訓(xùn)練中 “權(quán)重” 有多重要不言而喻。但谷歌前段時(shí)間發(fā)表的研究表明，即使拋棄神經(jīng)網(wǎng)絡(luò)權(quán)重訓(xùn)練，使用隨機(jī)共享權(quán)重，也可以執(zhí)行各種任務(wù)。

他們提出一種新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的搜索方法——權(quán)重?zé)o關(guān)神經(jīng)網(wǎng)絡(luò)（Weight Agnostic Neural Networks，WANN），其關(guān)鍵思想是通過(guò)不再?gòu)?qiáng)調(diào)權(quán)重來(lái)搜索網(wǎng)絡(luò)結(jié)構(gòu)。

今天，該研究的兩位作者、谷歌大腦學(xué)生研究員 Adam Gaier和研究科學(xué)家David Ha在Google AI博客上撰文，介紹了該研究的核心思想和重要細(xì)節(jié)，并宣布WANN的代碼已經(jīng)在GitHub上開(kāi)源，以便讓廣泛的研究社區(qū)重現(xiàn)WANN實(shí)驗(yàn)。

告別調(diào)參煉丹，使用隨機(jī)共享權(quán)重足矣！

當(dāng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)完成一項(xiàng)給定任務(wù)時(shí)，無(wú)論是圖像分類(lèi)還是強(qiáng)化學(xué)習(xí)，通常都需要調(diào)優(yōu)與網(wǎng)絡(luò)中每個(gè)連接相關(guān)的一組權(quán)重。另一種已經(jīng)取得實(shí)質(zhì)性進(jìn)展的成功的神經(jīng)網(wǎng)絡(luò)創(chuàng)建方法是神經(jīng)架構(gòu)搜索，它利用人工設(shè)計(jì)的組件（如卷積網(wǎng)絡(luò)組件或transformer blocks）來(lái)構(gòu)建神經(jīng)網(wǎng)絡(luò)架構(gòu)。

研究表明，利用這些組件構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如深度卷積網(wǎng)絡(luò)，對(duì)圖像處理任務(wù)具有很強(qiáng)的歸納偏差，甚至可以在權(quán)重隨機(jī)初始化的情況下執(zhí)行。雖然神經(jīng)架構(gòu)搜索提供了一些新的方法，可以為當(dāng)前的任務(wù)域安排具有已知?dú)w納偏差的手工工程組件，但在自動(dòng)發(fā)現(xiàn)具有此類(lèi)歸納偏差的新神經(jīng)網(wǎng)絡(luò)架構(gòu)（用于不同的任務(wù)域）方面幾乎沒(méi)有進(jìn)展。

我們可以用一個(gè)先天和后天的例子作為類(lèi)比。正如生物學(xué)中某些從出生起就具有反捕食行為的物種一樣，他們無(wú)需學(xué)習(xí)就能執(zhí)行復(fù)雜的運(yùn)動(dòng)和感官任務(wù)，或許我們可以構(gòu)建一個(gè)不需要訓(xùn)練就能很好地完成任務(wù)的神經(jīng)網(wǎng)絡(luò)。當(dāng)然，這些自然物種（作為類(lèi)比，人工神經(jīng)網(wǎng)絡(luò)）通過(guò)訓(xùn)練可以得到進(jìn)一步的改善，但它們即使不學(xué)習(xí)也能執(zhí)行任務(wù)的能力表明，它們包含使它們非常適合于這些任務(wù)的偏差。

在“權(quán)重?zé)o關(guān)神經(jīng)網(wǎng)絡(luò)”（WANN）論文中，我們提出了搜索具有這類(lèi)偏差的網(wǎng)絡(luò)的第一步：即使使用隨機(jī)共享的權(quán)重，也可以執(zhí)行各種任務(wù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

我們?cè)谶@項(xiàng)工作中的動(dòng)機(jī)是，在不學(xué)習(xí)任何權(quán)重參數(shù)的情況下，僅神經(jīng)網(wǎng)絡(luò)架構(gòu)能在多大程度上編碼給定任務(wù)的解決方案。通過(guò)探索這樣的神經(jīng)網(wǎng)絡(luò)架構(gòu)，我們提出了一種無(wú)需學(xué)習(xí)權(quán)重參數(shù)就能在其環(huán)境中運(yùn)行良好的智能體。

此外，為了促進(jìn)該領(lǐng)域的進(jìn)步，我們還開(kāi)放了源代碼，以便更廣泛的研究社區(qū)重現(xiàn)我們的WANN實(shí)驗(yàn)。

左圖：一個(gè)手工設(shè)計(jì)的、完全連接的深度神經(jīng)網(wǎng)絡(luò)，有2760個(gè)權(quán)重連接。利用一種學(xué)習(xí)算法，我們可以求解2760個(gè)權(quán)重參數(shù)的集合，使該網(wǎng)絡(luò)能夠執(zhí)行一個(gè)雙足步行任務(wù)（BipedalWalker-v2）。

右圖：一個(gè)權(quán)重?zé)o關(guān)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，只有44個(gè)連接，但同樣能夠執(zhí)行雙足步行任務(wù)。與完全連接網(wǎng)絡(luò)不同的是， WANN仍然可以執(zhí)行任務(wù)，而不需要訓(xùn)練每個(gè)連接的權(quán)重參數(shù)。實(shí)際上，為了簡(jiǎn)化訓(xùn)練，WANN被設(shè)計(jì)成在每個(gè)權(quán)重連接的值相同或共享時(shí)執(zhí)行，甚至就算共享權(quán)重參數(shù)是隨機(jī)采樣的，也會(huì)起作用。

搜索權(quán)重?zé)o關(guān)神經(jīng)網(wǎng)絡(luò)

我們從一組最小的神經(jīng)網(wǎng)絡(luò)架構(gòu)候選對(duì)象開(kāi)始，每個(gè)候選對(duì)象只有很少的連接，并使用一個(gè)完善的拓?fù)渌阉魉惴ǎ∟EAT），通過(guò)逐個(gè)地添加單個(gè)連接和單個(gè)節(jié)點(diǎn)來(lái)演化架構(gòu)。

WANN背后的關(guān)鍵思想是通過(guò)不再?gòu)?qiáng)調(diào)權(quán)重來(lái)搜索架構(gòu)。與傳統(tǒng)的神經(jīng)架構(gòu)搜索方法不同，新架構(gòu)的所有權(quán)重參數(shù)都需要使用學(xué)習(xí)算法進(jìn)行訓(xùn)練，我們采用了一種更簡(jiǎn)單、更有效的方法。

在搜索過(guò)程中，首先在每次迭代中為所有候選架構(gòu)分配一個(gè)共享權(quán)重值，然后進(jìn)行優(yōu)化，以便在更寬的共享權(quán)重值范圍內(nèi)執(zhí)行良好。

用于搜索網(wǎng)絡(luò)拓?fù)淇臻g的運(yùn)算符

左：一個(gè)最小的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，輸入和輸出僅部分連接。

中間：網(wǎng)絡(luò)的改變有三種方式：

（1）插入節(jié)點(diǎn)：通過(guò)分割現(xiàn)有連接插入新節(jié)點(diǎn)。

（2）添加連接：通過(guò)連接兩個(gè)先前未連接的節(jié)點(diǎn)來(lái)添加一個(gè)新連接。

（3）更改激活：重新分配隱藏節(jié)點(diǎn)的激活函數(shù)。

右：可能的激活函數(shù)（線性，階躍，正弦， 余弦，高斯，tanh， sigmoid，inverse，絕對(duì)值，ReLU）

除了探索一系列與權(quán)重?zé)o關(guān)的神經(jīng)網(wǎng)絡(luò)之外，重要的是還要尋找只需要復(fù)雜到它們所需的程度的網(wǎng)絡(luò)架構(gòu)。我們利用多目標(biāo)優(yōu)化技術(shù)（ multi-objective optimization），同時(shí)對(duì)網(wǎng)絡(luò)的性能和復(fù)雜度進(jìn)行優(yōu)化。

權(quán)重?zé)o關(guān)神經(jīng)網(wǎng)絡(luò)搜索的概述，及其相應(yīng)的網(wǎng)絡(luò)拓?fù)淇臻g搜索算子。

訓(xùn)練WANN架構(gòu)

與傳統(tǒng)網(wǎng)絡(luò)不同的是，我們可以通過(guò)簡(jiǎn)單地找到最佳的單個(gè)共享權(quán)重參數(shù)來(lái)訓(xùn)練WANN，從而最大限度地提高其性能。在下面的例子中，可以看到我們的架構(gòu)（在某種程度上）使用恒定的權(quán)重來(lái)完成一個(gè) swing-up cartpole 任務(wù)：

WANN在不同的權(quán)重參數(shù)下執(zhí)行 swing-up cartpole 任務(wù)，也使用微調(diào)的權(quán)重參數(shù)。

正如我們?cè)谏厦娴膱D中看到的，雖然WANN可以使用一系列共享權(quán)重參數(shù)來(lái)執(zhí)行其任務(wù)，但是其性能仍然無(wú)法與學(xué)習(xí)每個(gè)連接的權(quán)重的網(wǎng)絡(luò)相比較。

如果我們想進(jìn)一步提高它的性能，我們可以使用WANN架構(gòu)和最佳共享權(quán)重作為起點(diǎn)，使用學(xué)習(xí)算法微調(diào)每個(gè)連接的權(quán)重，就像通常訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法一樣。以網(wǎng)絡(luò)架構(gòu)的權(quán)重?zé)o關(guān)特性為出發(fā)點(diǎn)，通過(guò)學(xué)習(xí)微調(diào)網(wǎng)絡(luò)的性能，可能有助于為理解動(dòng)物如何學(xué)習(xí)提供有洞察力的類(lèi)比。

通過(guò)在性能和網(wǎng)絡(luò)簡(jiǎn)單性方面的多目標(biāo)優(yōu)化，我們的方法找到了一個(gè)簡(jiǎn)單的WANN，用于賽車(chē)任務(wù)，它不需要顯式地訓(xùn)練網(wǎng)絡(luò)的權(quán)重。

使用隨機(jī)權(quán)重的網(wǎng)絡(luò)架構(gòu)不僅易于訓(xùn)練，還具有其他優(yōu)勢(shì)。例如，通過(guò)使用相同WANN架構(gòu)的副本，但是為WANN的每個(gè)副本都分配不同的權(quán)重值，我們可以為同一任務(wù)創(chuàng)建多個(gè)不同模型的集合。這種集合通常比單個(gè)模型能獲得更好的性能。下面是一個(gè)MNIST分類(lèi)器處理隨機(jī)權(quán)重的例子，可以說(shuō)明這一點(diǎn)：

MNIST分類(lèi)器進(jìn)化為處理隨機(jī)權(quán)重。

具有隨機(jī)初始化的傳統(tǒng)網(wǎng)絡(luò)在 MNIST 上的精度約為 10%，但這種隨機(jī)權(quán)重的特殊網(wǎng)絡(luò)架構(gòu)在 MNIST 上的精度 （》 80%） 明顯優(yōu)于隨機(jī)初始化網(wǎng)絡(luò)。當(dāng)使用一組WANNs，為每個(gè)WANN分配一個(gè)不同的共享權(quán)重時(shí)，精度提高到 》 90%。

即使不使用集成方法，也可以將網(wǎng)絡(luò)中的權(quán)重值壓縮到一個(gè)網(wǎng)絡(luò)，從而使網(wǎng)絡(luò)能夠快速調(diào)整?？焖僬{(diào)整權(quán)重的能力可能在持續(xù)的終身學(xué)習(xí)（lifelong learning）中很有用，在這種學(xué)習(xí)中，agent在整個(gè)生命周期中獲得、適應(yīng)和轉(zhuǎn)移技能。這使得WANN特別適合利用 Baldwin效應(yīng)， Baldwin效應(yīng)是一種進(jìn)化壓力，即獎(jiǎng)勵(lì)那些傾向于學(xué)習(xí)有用行為的個(gè)體，而不會(huì)陷入“l(fā)earning to learn”這個(gè)昂貴的計(jì)算陷阱。

結(jié)論

我們希望這項(xiàng)工作可以作為一個(gè)墊腳石，幫助發(fā)現(xiàn)新的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)組件，如卷積網(wǎng)絡(luò)，其發(fā)現(xiàn)和應(yīng)用已經(jīng)在深度學(xué)習(xí)領(lǐng)域取得了令人難以置信的進(jìn)展。自卷積神經(jīng)網(wǎng)絡(luò)被發(fā)現(xiàn)以來(lái)，研究界可用的計(jì)算資源顯著增加。如果我們將這些資源投入到自動(dòng)發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)架構(gòu)中，并希望實(shí)現(xiàn)網(wǎng)絡(luò)架構(gòu)的突破性改進(jìn)，那么我們相信，使用新的構(gòu)建塊來(lái)搜索也是值得的。