我們現(xiàn)在所使用的神經(jīng)網(wǎng)絡(luò)模型,可能有 80% - 90% 的體積是多余的,這浪費了巨大的處理能力。
近日,麻省理工學(xué)院的計算機科學(xué)與人工智能實驗室(MIT CSAIL)公布了一項新的研究成果,用富有創(chuàng)意的“彩票機制”修剪了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型,選擇性地剔除了對結(jié)果意義不大的連接(權(quán)重),使其變?yōu)楦〉淖由窠?jīng)網(wǎng)絡(luò)。
最終,在保證預(yù)測準(zhǔn)確率前提下,他們將實驗中的子網(wǎng)絡(luò)模型的體積減少了 80% - 90%,進而降低了對訓(xùn)練數(shù)據(jù)量和硬件的需求,而且學(xué)習(xí)速度還有所提升。
研究團隊將這一方法稱為“彩票假設(shè)(Lottery Ticket Hypothesis)”,成果以論文形式發(fā)表在最近召開的 ICLR 2019 大會上,并且被評選為兩篇最佳論文之一?!堵槭±砉た萍荚u論》報道了這一成果,預(yù)測這種構(gòu)建微小神經(jīng)網(wǎng)絡(luò)的新方法,可以在手機上創(chuàng)建強大的人工智能。
將訓(xùn)練神經(jīng)網(wǎng)絡(luò)看作是抽獎
如今,深度學(xué)習(xí)技術(shù)已經(jīng)成為了計算機科學(xué)領(lǐng)域的最熱門研究方向,從應(yīng)用自然語言處理的語音識別,到應(yīng)用計算機視覺的自動駕駛,都十分依賴于構(gòu)建(深度)神經(jīng)網(wǎng)絡(luò)。而為了達到最佳學(xué)習(xí)效果,構(gòu)建神經(jīng)網(wǎng)絡(luò)通常需要非常龐大的數(shù)據(jù)集,用來訓(xùn)練和測試模型。很多研究團隊都在想辦法優(yōu)化這一過程,在不犧牲準(zhǔn)確度的前提下,讓神經(jīng)網(wǎng)絡(luò)和模型變得更小巧輕便。
傳統(tǒng)神經(jīng)網(wǎng)絡(luò)由很多層和神經(jīng)元構(gòu)成,神經(jīng)元之間的連接可以用權(quán)重來衡量,通過調(diào)整某些權(quán)重的參數(shù),我們就可以改變相應(yīng)的連接在整個網(wǎng)絡(luò)中的作用。權(quán)重一般都是隨機初始化的,隨著模型經(jīng)過大量訓(xùn)練,神經(jīng)網(wǎng)絡(luò)會慢慢“學(xué)會”哪些神經(jīng)元和連接更重要,繼而改變對應(yīng)的權(quán)重參數(shù),輸出準(zhǔn)確率更高的結(jié)果。
圖 | 神經(jīng)網(wǎng)絡(luò)剪枝示意圖(來源:Dr. Lance Eliot, the AI Trends Insider)
在 MIT 研究人員看來,這就像是一個抽獎過程:最開始我們手里有一大堆數(shù)字,但只有少部分?jǐn)?shù)字最富價值,所以我們可以在訓(xùn)練過程中將它們篩選出來,用這些數(shù)字組合成一張“中獎彩票”,也就是實現(xiàn)了準(zhǔn)確預(yù)測的目的。
如果我們可以在最開始就知道哪些數(shù)字能夠或者更容易中獎,那么就可以*直接**去除**剩下**那些價值不大的**數(shù)字*,從而在保證準(zhǔn)確率的情況下,縮小神經(jīng)網(wǎng)絡(luò)的體積,甚至是提高訓(xùn)練效率。
研究人員將這一思路命名為“彩票假設(shè)”。他們認(rèn)為,一個隨機初始化的密集神經(jīng)網(wǎng)絡(luò)包含一個(一些)子網(wǎng)絡(luò),在獨立初始化并訓(xùn)練相同迭代次數(shù)后,它們的預(yù)測準(zhǔn)確率能夠媲美原始的神經(jīng)網(wǎng)絡(luò)。
圖 |“彩票假設(shè)”定義
“稀疏剪枝”法修剪出微小神經(jīng)網(wǎng)絡(luò)
值得注意的是,目前已存在多種神經(jīng)網(wǎng)絡(luò)剪枝(Pruning)技術(shù),AI 大牛 Yann LeCun 就曾提出過。在最理想的情況下,可以將網(wǎng)絡(luò)體積縮小 90%。但修剪之后的網(wǎng)絡(luò)普遍難以重新訓(xùn)練,而且重新訓(xùn)練還會導(dǎo)致準(zhǔn)確率降低等問題。
相比之下,MIT 團隊想要找到一種,可以在最開始就訓(xùn)練修剪過的小型神經(jīng)網(wǎng)絡(luò)的方法。
為了驗證“彩票假設(shè)”,研究人員先進行了復(fù)雜的數(shù)學(xué)推導(dǎo),從理論上證明了實現(xiàn)的可行性。然后隨機初始化了一個神經(jīng)網(wǎng)絡(luò),并且迭代訓(xùn)練 N 次,獲得了第 N 次迭代之后的所有參數(shù),再按照特定的比例和方法剪掉部分參數(shù),比如剔除數(shù)量級最小的權(quán)重,創(chuàng)造出一個蒙版。最后將所有剩余參數(shù)還原到初始值,套上剛剛得到的參數(shù)蒙版,由此創(chuàng)建了一套“中獎彩票”,再進行重新初始化和訓(xùn)練。
圖 | 如何找到“中獎彩票”的官方解釋
研究團隊使用了全連接網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)來測試“彩票假設(shè)”的效果,分別建立在 MNIST 和 CIFAR10 數(shù)據(jù)集之上——兩者都是深度學(xué)習(xí)領(lǐng)域知名數(shù)據(jù)集。
針對這兩種網(wǎng)絡(luò),他們在多種條件下重復(fù)進行了數(shù)萬次實驗,嘗試分析和組合很多不同的方法,從而確定在不犧牲學(xué)習(xí)能力和準(zhǔn)確度的前提下,可以最多刪除多少個參數(shù)。
結(jié)果顯示,“稀疏剪枝(Sparse Pruning)”方法是找到“中獎彩票”的最有效手段。由此生成的子網(wǎng)絡(luò)大小只有原始網(wǎng)絡(luò)前饋架構(gòu)大小的 10% - 20%,而且在某些情況下,例如使用早停,Dropout 或隨機重初始化等方法,還可以使學(xué)習(xí)速度加快,甚至是獲得超過原始網(wǎng)絡(luò)的準(zhǔn)確度。
研究人員認(rèn)為,這樣的成果還只是起步,如果想找到合適的子網(wǎng)絡(luò),必須經(jīng)過多次迭代、訓(xùn)練和修剪,對于算力有較高要求,而且存在一定的局限性,因為他們只找到了“稀疏剪枝”這一種尋求“彩票”的方法,還只考慮了數(shù)據(jù)集相對較小的視覺分類任務(wù)。
不過“彩票假設(shè)”的新思路可以激發(fā)機器學(xué)習(xí)領(lǐng)域的其它團隊,嘗試更多類似的網(wǎng)絡(luò)壓縮和優(yōu)化研究。研究團隊下一步將圍繞更多的剪枝方法展開研究,分析為什么迭代剪枝(Iterative Pruning)在更深的網(wǎng)絡(luò)中無法找到“中獎彩票”,同時對參數(shù)初始化機制進行更透徹的研究。
他們相信,如果投入更多的努力,能夠找到最有效的剪枝手段,或許有望加速很多深度學(xué)習(xí)模型的訓(xùn)練過程,節(jié)省可觀的開支和工作量,甚至是創(chuàng)造更有價值的新模型。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4814瀏覽量
103648 -
人工智能
+關(guān)注
關(guān)注
1807文章
49029瀏覽量
249585
原文標(biāo)題:ICLR最佳論文:訓(xùn)練神經(jīng)網(wǎng)絡(luò)就像買彩票?
文章出處:【微信號:deeptechchina,微信公眾號:deeptechchina】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
無刷電機小波神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)子位置檢測方法的研究
基于FPGA搭建神經(jīng)網(wǎng)絡(luò)的步驟解析

BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的比較
如何優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率
BP神經(jīng)網(wǎng)絡(luò)的實現(xiàn)步驟詳解
BP神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點分析
什么是BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法
BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系
如何訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)模型
人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法

評論