會(huì)開發(fā)AI的AI：超網(wǎng)絡(luò)有望讓深度學(xué)習(xí)大眾化

超網(wǎng)絡(luò)（hypernetwork）可以加快訓(xùn)練AI的過程。

編者按：在執(zhí)行特定類型任務(wù)，如圖像識(shí)別、語音識(shí)別等方面，AI已經(jīng)可以與人類相媲美了，甚至有時(shí)候已經(jīng)超越了人類。但這些AI事先必須經(jīng)過訓(xùn)練，而訓(xùn)練是個(gè)既耗時(shí)又耗計(jì)算能力的過程，有上百萬甚至幾十億的參數(shù)需要優(yōu)化。但最近研究人員做出了能瞬時(shí)預(yù)測(cè)參數(shù)的超網(wǎng)絡(luò)。通過利用超網(wǎng)絡(luò)（hypernetwork），研究人員現(xiàn)在可以先下手為強(qiáng)，提前對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)，從而節(jié)省部分訓(xùn)練時(shí)間和費(fèi)用。文章來自編譯。譯者：boxi。

劃重點(diǎn)：

人工智能是一場(chǎng)數(shù)字游戲，訓(xùn)練耗時(shí)耗力

超網(wǎng)絡(luò)可以在幾分之一秒內(nèi)預(yù)測(cè)出新網(wǎng)絡(luò)的參數(shù)

超網(wǎng)絡(luò)的表現(xiàn)往往可以跟數(shù)千次 SGD 迭代的結(jié)果不相上下，有時(shí)甚至是更好

超網(wǎng)絡(luò)有望讓深度學(xué)習(xí)大眾化

人工智能在很大程度上是一場(chǎng)數(shù)字游戲。10 年前，深度神經(jīng)網(wǎng)絡(luò)（一種學(xué)習(xí)識(shí)別數(shù)據(jù)模式的 AI 形式）之所以開始超越傳統(tǒng)算法，那是因?yàn)槲覀兘K于有了足夠的數(shù)據(jù)和處理能力，可以充分利用這種AI。

現(xiàn)如今的神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)和處理能力更加渴望。訓(xùn)練它們需要對(duì)表征參數(shù)的值進(jìn)行仔細(xì)的調(diào)整，那些參數(shù)代表人工神經(jīng)元之間連接的強(qiáng)度，有數(shù)百萬甚至數(shù)十億之巨。其目標(biāo)是為它們找到接近理想的值，而這個(gè)過程叫做優(yōu)化，但訓(xùn)練網(wǎng)絡(luò)達(dá)到這一點(diǎn)并不容易。 DeepMind研究科學(xué)家Petar Veli?kovi? 表示：“訓(xùn)練可能需要數(shù)天、數(shù)周甚至數(shù)月之久”。

但這種情況可能很快就會(huì)改變。加拿大安大略省圭爾夫大學(xué)（University of Guelph）的Boris Knyazev和他的同事設(shè)計(jì)并訓(xùn)練了一個(gè)“超網(wǎng)絡(luò)”——這有點(diǎn)像是凌駕于其他神經(jīng)網(wǎng)絡(luò)之上的最高統(tǒng)治者——用它可以加快訓(xùn)練的過程。給定一個(gè)為特定任務(wù)設(shè)計(jì)，未經(jīng)訓(xùn)練的新深度神經(jīng)網(wǎng)絡(luò)，超網(wǎng)絡(luò)可以在幾分之一秒內(nèi)預(yù)測(cè)出該新網(wǎng)絡(luò)的參數(shù)，理論上可以讓訓(xùn)練變得不必要。由于超網(wǎng)絡(luò)學(xué)習(xí)了深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)當(dāng)中極其復(fù)雜的模式，因此這項(xiàng)工作也可能具有更深層次的理論意義。

目前為止，超網(wǎng)絡(luò)在某些環(huán)境下的表現(xiàn)出奇的好，但仍有增長(zhǎng)空間——考慮到問題的量級(jí)，這是很自然的。如果他們能解決這個(gè)問題，Veli?kovi?說：“這將對(duì)機(jī)器學(xué)習(xí)產(chǎn)生很大的影響?！?。

變成“超網(wǎng)絡(luò)”

目前，訓(xùn)練和優(yōu)化深度神經(jīng)網(wǎng)絡(luò)最好的方法是隨機(jī)梯度下降（SGD） 技術(shù)的各種變種。訓(xùn)練涉及到將網(wǎng)絡(luò)在給定任務(wù)（例如圖像識(shí)別）中所犯的錯(cuò)誤最小化。 SGD 算法通過大量標(biāo)記數(shù)據(jù)來調(diào)整網(wǎng)絡(luò)參數(shù)，并減少錯(cuò)誤或損失。梯度下降是從損失函數(shù)的高位值一級(jí)級(jí)向下降到某個(gè)最小值的迭代過程，代表的是足夠好的（或有時(shí)候甚至是可能的最好）參數(shù)值。

但是這種技術(shù)只有在你有需要優(yōu)化的網(wǎng)絡(luò)時(shí)才有效。為了搭建最開始的神經(jīng)網(wǎng)絡(luò)（一般由從輸入到輸出的多層人工神經(jīng)元組成），工程師必須依靠自己的直覺和經(jīng)驗(yàn)法則。這些結(jié)構(gòu)在神經(jīng)元的層數(shù)、每層包含的神經(jīng)元數(shù)量等方面可能會(huì)有所不同。

梯度下降算法讓網(wǎng)絡(luò)沿著其“損失景觀”向下走，其中高位值表示較大錯(cuò)誤或損失。算法旨在找到全局最小值，讓損失最小化。

理論上可以從多個(gè)結(jié)構(gòu)出發(fā)，然后優(yōu)化每個(gè)結(jié)構(gòu)并選出最好的。但Google Brain 訪問學(xué)者 MengYe Ren 說：“訓(xùn)練需要花費(fèi)相當(dāng)多的時(shí)間，要想訓(xùn)練和測(cè)試每以個(gè)候選網(wǎng)絡(luò)結(jié)構(gòu)是不可能的。這種做法擴(kuò)展不好，尤其是如果要考慮到數(shù)百萬種可能設(shè)計(jì)的話。”

于是 2018 年，Ren 與自己在多倫多大學(xué)的前同事 Chris Zhang ，以及他們的指導(dǎo) Raquel Urtasun 開始嘗試一種不同的方法。他們?cè)O(shè)計(jì)出一種所謂的圖超網(wǎng)絡(luò)（Graph Hypernetwork， GHN），這種網(wǎng)絡(luò)可以在給出一組候選結(jié)構(gòu)的情況下，找出解決某個(gè)任務(wù)的最佳深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

顧名思義，“圖”指的是深度神經(jīng)網(wǎng)絡(luò)的架結(jié)構(gòu)，可以認(rèn)為是數(shù)學(xué)意義的圖——由線或邊連接的點(diǎn)或節(jié)點(diǎn)組成的集合。此處節(jié)點(diǎn)代表計(jì)算單元（通常是神經(jīng)網(wǎng)絡(luò)的一整層），邊代表的是這些單元互連的方式。

原理是這樣的。圖超網(wǎng)絡(luò)從任何需要優(yōu)化的結(jié)構(gòu)（稱其為候選結(jié)構(gòu)）開始，然后盡最大努力預(yù)測(cè)候選結(jié)構(gòu)的理想?yún)?shù)。接著將實(shí)際神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置為預(yù)測(cè)值，用給定任務(wù)對(duì)其進(jìn)行測(cè)試。Ren 的團(tuán)隊(duì)證明，這種方法可用于來對(duì)候選結(jié)構(gòu)進(jìn)行排名，并選擇表現(xiàn)最佳的結(jié)構(gòu)。

當(dāng) Knyazev 和他的同事想出圖超網(wǎng)絡(luò)這個(gè)想法時(shí)，他們意識(shí)到可以在此基礎(chǔ)上進(jìn)一步開發(fā)。在他們的新論文里，這支團(tuán)隊(duì)展示了 GHN 的用法，不僅可以用來從一組樣本中找到最佳的結(jié)構(gòu)，還可以預(yù)測(cè)最好網(wǎng)絡(luò)的參數(shù)，讓網(wǎng)絡(luò)表現(xiàn)出絕對(duì)意義上的好。在其中的最好還沒有達(dá)到最好的情況下，還可以利用梯度下降進(jìn)一步訓(xùn)練該網(wǎng)絡(luò)。

在談到這項(xiàng)新工作時(shí)，Ren 表示：“這篇論文非常扎實(shí)，里面包含的實(shí)驗(yàn)比我們多得多。他們?cè)诜浅ＥΦ靥嵘龍D超網(wǎng)絡(luò)的絕對(duì)表現(xiàn)，這是我們所樂見的?！?/p>

訓(xùn)練“訓(xùn)練師”

Knyazev和他的團(tuán)隊(duì)將自己的超網(wǎng)絡(luò)稱為是 GHN -2，這種網(wǎng)絡(luò)從兩個(gè)重要方面改進(jìn)了Ren及其同事構(gòu)建的圖超網(wǎng)絡(luò)。

首先，他們需要依賴 Ren 等人的技術(shù)，用圖來表示神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。該圖里面的每個(gè)節(jié)點(diǎn)都包含有關(guān)于執(zhí)行特定類型計(jì)算的神經(jīng)元子集的編碼信息。圖的邊則描述了信息是如何從一個(gè)節(jié)點(diǎn)轉(zhuǎn)到另一節(jié)點(diǎn)，如何從輸入轉(zhuǎn)到輸出的。

他們借鑒的第二個(gè)想法是一種方法，訓(xùn)練超網(wǎng)絡(luò)來預(yù)測(cè)新的候選結(jié)構(gòu)的方法。這需要用到另外兩個(gè)神經(jīng)網(wǎng)絡(luò)。第一個(gè)用來開啟對(duì)原始候選圖的計(jì)算，更新與每個(gè)節(jié)點(diǎn)相關(guān)的信息，第二個(gè)把更新過的節(jié)點(diǎn)作為輸入，然后預(yù)測(cè)候選神經(jīng)網(wǎng)絡(luò)相應(yīng)計(jì)算單元的參數(shù)。這兩個(gè)網(wǎng)絡(luò)也有自己的參數(shù)，在超網(wǎng)絡(luò)能夠正確預(yù)測(cè)參數(shù)值之前，必須對(duì)這兩個(gè)網(wǎng)絡(luò)進(jìn)行優(yōu)化。

用圖來表示神經(jīng)網(wǎng)絡(luò)

為此，你得訓(xùn)練數(shù)據(jù)——在本案例中，數(shù)據(jù)就是可能的人工神經(jīng)網(wǎng)絡(luò)（ANN）結(jié)構(gòu)的隨機(jī)樣本。對(duì)于樣本的每一個(gè)結(jié)構(gòu)，你都要從圖開始，然后用圖超網(wǎng)絡(luò)來預(yù)測(cè)參數(shù)，并利用預(yù)測(cè)的參數(shù)對(duì)候選 ANN進(jìn)行初始化。然后該ANN會(huì)執(zhí)行一些特定任務(wù)，如識(shí)別一張圖像。通過計(jì)算該ANN的損失函數(shù)來更新做出預(yù)測(cè)的超網(wǎng)絡(luò)的參數(shù)，而不是更新該ANN的參數(shù)以便做出更好的預(yù)測(cè)。這樣以來，該超網(wǎng)絡(luò)下一次就能做得更好?，F(xiàn)在，通過遍歷部分標(biāo)記訓(xùn)練圖像數(shù)據(jù)集的每一張圖像，以及隨機(jī)樣本結(jié)構(gòu)里面的每一個(gè)ANN，一步步地減少損失，直至最優(yōu)。到了一定時(shí)候，你就可以得到一個(gè)訓(xùn)練好的超網(wǎng)絡(luò)。

由于Ren 的團(tuán)隊(duì)沒有公開他們的源代碼，所以Knyazev 的團(tuán)隊(duì)采用上述想法自己從頭開始寫軟件。然后Knyazev及其同事在此基礎(chǔ)上加以改進(jìn)。首先，他們確定了 15 種類型的節(jié)點(diǎn)，這些節(jié)點(diǎn)混合搭配可構(gòu)建幾乎任何的現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)。在提高預(yù)測(cè)準(zhǔn)確性方面，他們也取得了一些進(jìn)展。

最重要的是，為了確保 GHN-2 能學(xué)會(huì)預(yù)測(cè)各種目標(biāo)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)，Knyazev 及其同事創(chuàng)建了一個(gè)包含 100 萬種可能結(jié)構(gòu)的獨(dú)特?cái)?shù)據(jù)集。Knyazev 說：“為了訓(xùn)練我們的模型，我們創(chuàng)建了盡量多樣化的隨機(jī)結(jié)構(gòu)”。

因此，GHN-2 的預(yù)測(cè)能力很有可能可以很好地泛化到未知的目標(biāo)結(jié)構(gòu)。Google Research的Brain Team研究科學(xué)家 Thomas Kipf 說：“比方說，人們使用的各種典型的最先進(jìn)結(jié)構(gòu)他們都可以解釋，這是一大重大貢獻(xiàn)。”

結(jié)果令人印象深刻

當(dāng)然，真正的考驗(yàn)是讓 GHN-2 能用起來。一旦 Knyazev 和他的團(tuán)隊(duì)訓(xùn)練好這個(gè)網(wǎng)絡(luò)，讓它可以預(yù)測(cè)給定任務(wù)（比方說對(duì)特定數(shù)據(jù)集的圖像進(jìn)行分類）的參數(shù)之后，他們開始測(cè)試，讓這個(gè)網(wǎng)絡(luò)給隨機(jī)挑選的候選結(jié)構(gòu)預(yù)測(cè)參數(shù)。該新的候選結(jié)構(gòu)與訓(xùn)練數(shù)據(jù)集上百萬結(jié)構(gòu)當(dāng)中的某個(gè)也許具備相似的屬性，也可能并不相同——有點(diǎn)算是異類。在前一種情況下，目標(biāo)結(jié)構(gòu)可認(rèn)為屬于分布范圍內(nèi)；若是后者，則屬于分布范圍外。深度神經(jīng)網(wǎng)絡(luò)在對(duì)后者進(jìn)行預(yù)測(cè)時(shí)經(jīng)常會(huì)失敗，所以用這類數(shù)據(jù)測(cè)試 GHN-2 非常重要。

借助經(jīng)過全面訓(xùn)練的 GHN-2，該團(tuán)隊(duì)預(yù)測(cè)了 500 個(gè)以前看不見的隨機(jī)目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)。然后將這 500 個(gè)網(wǎng)絡(luò)（其參數(shù)設(shè)置為預(yù)測(cè)值）與使用隨機(jī)梯度下降訓(xùn)練的相同網(wǎng)絡(luò)進(jìn)行對(duì)比。新的超網(wǎng)絡(luò)通?？梢缘钟鶖?shù)千次 SGD 迭代，有時(shí)甚至做得更好，盡管有些結(jié)果更加復(fù)雜。

借助訓(xùn)練好的 GHN-2 模型，該團(tuán)隊(duì)預(yù)測(cè)了 500 個(gè)之前未知的隨機(jī)目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)。然后將這 500 個(gè)（參數(shù)設(shè)置為預(yù)測(cè)值的）網(wǎng)絡(luò)與利用隨機(jī)梯度下降訓(xùn)練的同一網(wǎng)絡(luò)進(jìn)行對(duì)比。盡管部分結(jié)果有好有壞，但新的超網(wǎng)絡(luò)的表現(xiàn)往往可以跟數(shù)千次 SGD 迭代的結(jié)果不相上下，有時(shí)甚至是更好。

對(duì)于圖像數(shù)據(jù)集 CIFAR-10 ，GHN-2 用于分布范圍內(nèi)的結(jié)構(gòu)得到的平均準(zhǔn)確率為 66.9%，而用經(jīng)過近 2500 次 SGD 迭代訓(xùn)練出來的網(wǎng)絡(luò)，其平均準(zhǔn)確率為 69.2%。對(duì)于不在分布范圍內(nèi)的結(jié)構(gòu)，GHN-2 的表現(xiàn)則出人意料地好，準(zhǔn)確率達(dá)到了約 60%。尤其是，對(duì)一種知名的特定深度神經(jīng)網(wǎng)絡(luò)架構(gòu)， ResNet-50， GHN2的準(zhǔn)確率達(dá)到了 58.6% 這是相當(dāng)可觀的。在本領(lǐng)域的頂級(jí)會(huì)議 NeurIPS 2021 上，Knyazev說：“鑒于 ResNet-50 比我們一般訓(xùn)練的結(jié)構(gòu)大了有大概 20 倍，可以說泛化到 ResNet-50 的效果出奇地好。”。

不過GHN-2 應(yīng)用到 ImageNet 上卻表現(xiàn)不佳。ImageNet 這個(gè)數(shù)據(jù)集規(guī)模很大。平均而言，它的準(zhǔn)確率只有 27.2% 左右。盡管如此，跟經(jīng)過 5000SGD 迭代訓(xùn)練的同一網(wǎng)絡(luò)相比，GHN-2的表現(xiàn)也要好一些，后者的平均準(zhǔn)確度只有 25.6%。 （當(dāng)然，如果你繼續(xù)用 SGD 迭代的話，你最終可以實(shí)現(xiàn)95% 的準(zhǔn)確率，只是成本會(huì)非常高。）最關(guān)鍵的是，GHN-2 是在不到一秒的時(shí)間內(nèi)對(duì)ImageNet 做出了參數(shù)預(yù)測(cè)，而如果用 SGD 在GPU上預(yù)測(cè)參數(shù)，要想達(dá)到同樣的表現(xiàn)，花費(fèi)的平均時(shí)間要比 GHN-2 要多 10000 倍。

Veli?kovi?說：“結(jié)果絕對(duì)是令人印象深刻?；旧纤麄円呀?jīng)極大地降低了能源成本?！?/p>

一旦GHN-2 從結(jié)果樣本中為特定任務(wù)選出了最佳的神經(jīng)網(wǎng)絡(luò)，但這個(gè)網(wǎng)絡(luò)表現(xiàn)還不夠好時(shí)，至少該模型已經(jīng)過了部分訓(xùn)練，而且可以還進(jìn)一步優(yōu)化了。與其對(duì)用隨機(jī)參數(shù)初始化的網(wǎng)絡(luò)進(jìn)行 SGD，不如以 GHN-2 的預(yù)測(cè)作為起點(diǎn)。Knyazev 說：“基本上我們是在模仿預(yù)訓(xùn)練”。

超越 GHN-2

盡管取得了這些成功，但Knyazev 認(rèn)為剛開始的時(shí)候機(jī)器學(xué)習(xí)社區(qū)會(huì)抵制使用圖超網(wǎng)絡(luò)。他把這種阻力拿來跟 2012 年之前深度神經(jīng)網(wǎng)絡(luò)的遭遇相比擬。當(dāng)時(shí)，機(jī)器學(xué)習(xí)從業(yè)者更喜歡人工設(shè)計(jì)的算法，而不是神秘的深度網(wǎng)絡(luò)。但是，當(dāng)用大量數(shù)據(jù)訓(xùn)練出來的大型深度網(wǎng)絡(luò)開始超越傳統(tǒng)算法時(shí)，情況開始逆轉(zhuǎn)。Knyazev ：“超網(wǎng)絡(luò)也可能會(huì)走上同樣的道路。”

與此同時(shí)，Knyazev 認(rèn)為還有很多的改進(jìn)機(jī)會(huì)。比方說，GHN-2 只能訓(xùn)練來預(yù)測(cè)參數(shù)，去解決給定的任務(wù)，比如對(duì) CIFAR-10 或 ImageNet 里面的圖像進(jìn)行分類，但不能同時(shí)執(zhí)行不同的任務(wù)。將來，他設(shè)想可以用更加多樣化的結(jié)果以及不同類型的任務(wù)（如圖像識(shí)別、語音識(shí)別與自然語言處理）來訓(xùn)練圖超網(wǎng)絡(luò)。然后同時(shí)根據(jù)目標(biāo)結(jié)構(gòu)與手頭的特定任務(wù)來做出預(yù)測(cè)。

如果這些超網(wǎng)絡(luò)確實(shí)能成功的話，那么新的深度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和開發(fā)，將不再是有錢和能夠訪問大數(shù)據(jù)的公司的專利了。任何人都可以參與其中。Knyazev 非常清楚這種“讓深度學(xué)習(xí)大眾化”的潛力，稱之為長(zhǎng)期愿景。

然而，如果像GHN -2 這樣的超網(wǎng)絡(luò)真的成為優(yōu)化神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)方法， Veli?kovi?強(qiáng)調(diào)了一個(gè)潛在的大問題。他說，對(duì)于圖超網(wǎng)絡(luò)，“你有一個(gè)神經(jīng)網(wǎng)絡(luò)——本質(zhì)上是一個(gè)黑盒子——預(yù)測(cè)另一個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)。所以當(dāng)它出錯(cuò)時(shí)，你無法解釋[它]?！?/p>

不過，Veli?kovi? 強(qiáng)調(diào)，如果類似 GHN-2 這樣的超網(wǎng)絡(luò)真的成為優(yōu)化神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)方法的話，可能會(huì)有一個(gè)大問題。他說：“你會(huì)得到一個(gè)基本上是個(gè)黑箱的神經(jīng)網(wǎng)絡(luò)，然后再用圖超網(wǎng)絡(luò)去預(yù)測(cè)另一個(gè)神經(jīng)網(wǎng)絡(luò)的參數(shù)。如果它出錯(cuò)，你沒法解釋錯(cuò)在哪里?！?/p>

當(dāng)然，神經(jīng)網(wǎng)絡(luò)基本上也是這樣。Veli?kovi?說：“我不會(huì)說這是弱點(diǎn)，我把這叫做告警信號(hào)?！?/p>

不過Kipf看到的卻是一線希望。 “讓我最為興奮的是其他東西?！?GHN-2 展示了圖神經(jīng)網(wǎng)絡(luò)在復(fù)雜數(shù)據(jù)當(dāng)中尋找模式的能力。

通常，深度神經(jīng)網(wǎng)絡(luò)是在圖像、文本或音頻信號(hào)里面尋找模式，這類信息一般都比較結(jié)構(gòu)化。但 GHN-2 卻是在完全隨機(jī)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖里面尋找模式。而圖是非常復(fù)雜的數(shù)據(jù)。

還有，GHN-2 可以泛化——這意味著它可以對(duì)未知、甚至不在分布范圍內(nèi)的網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)做出合理的預(yù)測(cè)。Kipf 說：“這項(xiàng)工作向我們表明，不同結(jié)構(gòu)的很多模式其實(shí)多少是優(yōu)點(diǎn)相似的，而且模型能學(xué)習(xí)如何將知識(shí)從一種結(jié)構(gòu)轉(zhuǎn)移到另一種結(jié)構(gòu)，這可能會(huì)啟發(fā)神經(jīng)網(wǎng)絡(luò)新理論的誕生?！?/p>

如果是這樣的話，它可能會(huì)讓我們對(duì)這些黑箱有新的、更深入的理解。

審核編輯 黃昊宇