chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

將訓(xùn)練神經(jīng)網(wǎng)絡(luò)看作是抽獎?如何找到“中獎彩票”的官方解釋

電子工程師 ? 來源:YXQ ? 2019-05-14 10:14 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

我們現(xiàn)在所使用的神經(jīng)網(wǎng)絡(luò)模型,可能有 80% - 90% 的體積是多余的,這浪費了巨大的處理能力。

近日,麻省理工學(xué)院的計算機科學(xué)與人工智能實驗室(MIT CSAIL)公布了一項新的研究成果,用富有創(chuàng)意的“彩票機制”修剪了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型,選擇性地剔除了對結(jié)果意義不大的連接(權(quán)重),使其變?yōu)楦〉淖由窠?jīng)網(wǎng)絡(luò)。

最終,在保證預(yù)測準(zhǔn)確率前提下,他們將實驗中的子網(wǎng)絡(luò)模型的體積減少了 80% - 90%,進而降低了對訓(xùn)練數(shù)據(jù)量和硬件的需求,而且學(xué)習(xí)速度還有所提升。

研究團隊將這一方法稱為“彩票假設(shè)(Lottery Ticket Hypothesis)”,成果以論文形式發(fā)表在最近召開的 ICLR 2019 大會上,并且被評選為兩篇最佳論文之一?!堵槭±砉た萍荚u論》報道了這一成果,預(yù)測這種構(gòu)建微小神經(jīng)網(wǎng)絡(luò)的新方法,可以在手機上創(chuàng)建強大的人工智能。

將訓(xùn)練神經(jīng)網(wǎng)絡(luò)看作是抽獎

如今,深度學(xué)習(xí)技術(shù)已經(jīng)成為了計算機科學(xué)領(lǐng)域的最熱門研究方向,從應(yīng)用自然語言處理的語音識別,到應(yīng)用計算機視覺的自動駕駛,都十分依賴于構(gòu)建(深度)神經(jīng)網(wǎng)絡(luò)。而為了達到最佳學(xué)習(xí)效果,構(gòu)建神經(jīng)網(wǎng)絡(luò)通常需要非常龐大的數(shù)據(jù)集,用來訓(xùn)練和測試模型。很多研究團隊都在想辦法優(yōu)化這一過程,在不犧牲準(zhǔn)確度的前提下,讓神經(jīng)網(wǎng)絡(luò)和模型變得更小巧輕便。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)由很多層和神經(jīng)元構(gòu)成,神經(jīng)元之間的連接可以用權(quán)重來衡量,通過調(diào)整某些權(quán)重的參數(shù),我們就可以改變相應(yīng)的連接在整個網(wǎng)絡(luò)中的作用。權(quán)重一般都是隨機初始化的,隨著模型經(jīng)過大量訓(xùn)練,神經(jīng)網(wǎng)絡(luò)會慢慢“學(xué)會”哪些神經(jīng)元和連接更重要,繼而改變對應(yīng)的權(quán)重參數(shù),輸出準(zhǔn)確率更高的結(jié)果。

圖 | 神經(jīng)網(wǎng)絡(luò)剪枝示意圖(來源:Dr. Lance Eliot, the AI Trends Insider)

在 MIT 研究人員看來,這就像是一個抽獎過程:最開始我們手里有一大堆數(shù)字,但只有少部分?jǐn)?shù)字最富價值,所以我們可以在訓(xùn)練過程中將它們篩選出來,用這些數(shù)字組合成一張“中獎彩票”,也就是實現(xiàn)了準(zhǔn)確預(yù)測的目的。

如果我們可以在最開始就知道哪些數(shù)字能夠或者更容易中獎,那么就可以*直接**去除**剩下**那些價值不大的**數(shù)字*,從而在保證準(zhǔn)確率的情況下,縮小神經(jīng)網(wǎng)絡(luò)的體積,甚至是提高訓(xùn)練效率。

研究人員將這一思路命名為“彩票假設(shè)”。他們認(rèn)為,一個隨機初始化的密集神經(jīng)網(wǎng)絡(luò)包含一個(一些)子網(wǎng)絡(luò),在獨立初始化并訓(xùn)練相同迭代次數(shù)后,它們的預(yù)測準(zhǔn)確率能夠媲美原始的神經(jīng)網(wǎng)絡(luò)。

圖 |“彩票假設(shè)”定義

“稀疏剪枝”法修剪出微小神經(jīng)網(wǎng)絡(luò)

值得注意的是,目前已存在多種神經(jīng)網(wǎng)絡(luò)剪枝(Pruning)技術(shù),AI 大牛 Yann LeCun 就曾提出過。在最理想的情況下,可以將網(wǎng)絡(luò)體積縮小 90%。但修剪之后的網(wǎng)絡(luò)普遍難以重新訓(xùn)練,而且重新訓(xùn)練還會導(dǎo)致準(zhǔn)確率降低等問題。

相比之下,MIT 團隊想要找到一種,可以在最開始就訓(xùn)練修剪過的小型神經(jīng)網(wǎng)絡(luò)的方法。

為了驗證“彩票假設(shè)”,研究人員先進行了復(fù)雜的數(shù)學(xué)推導(dǎo),從理論上證明了實現(xiàn)的可行性。然后隨機初始化了一個神經(jīng)網(wǎng)絡(luò),并且迭代訓(xùn)練 N 次,獲得了第 N 次迭代之后的所有參數(shù),再按照特定的比例和方法剪掉部分參數(shù),比如剔除數(shù)量級最小的權(quán)重,創(chuàng)造出一個蒙版。最后將所有剩余參數(shù)還原到初始值,套上剛剛得到的參數(shù)蒙版,由此創(chuàng)建了一套“中獎彩票”,再進行重新初始化和訓(xùn)練。

圖 | 如何找到“中獎彩票”的官方解釋

研究團隊使用了全連接網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)來測試“彩票假設(shè)”的效果,分別建立在 MNIST 和 CIFAR10 數(shù)據(jù)集之上——兩者都是深度學(xué)習(xí)領(lǐng)域知名數(shù)據(jù)集。

針對這兩種網(wǎng)絡(luò),他們在多種條件下重復(fù)進行了數(shù)萬次實驗,嘗試分析和組合很多不同的方法,從而確定在不犧牲學(xué)習(xí)能力和準(zhǔn)確度的前提下,可以最多刪除多少個參數(shù)。

結(jié)果顯示,“稀疏剪枝(Sparse Pruning)”方法是找到“中獎彩票”的最有效手段。由此生成的子網(wǎng)絡(luò)大小只有原始網(wǎng)絡(luò)前饋架構(gòu)大小的 10% - 20%,而且在某些情況下,例如使用早停,Dropout 或隨機重初始化等方法,還可以使學(xué)習(xí)速度加快,甚至是獲得超過原始網(wǎng)絡(luò)的準(zhǔn)確度。

研究人員認(rèn)為,這樣的成果還只是起步,如果想找到合適的子網(wǎng)絡(luò),必須經(jīng)過多次迭代、訓(xùn)練和修剪,對于算力有較高要求,而且存在一定的局限性,因為他們只找到了“稀疏剪枝”這一種尋求“彩票”的方法,還只考慮了數(shù)據(jù)集相對較小的視覺分類任務(wù)。

不過“彩票假設(shè)”的新思路可以激發(fā)機器學(xué)習(xí)領(lǐng)域的其它團隊,嘗試更多類似的網(wǎng)絡(luò)壓縮和優(yōu)化研究。研究團隊下一步將圍繞更多的剪枝方法展開研究,分析為什么迭代剪枝(Iterative Pruning)在更深的網(wǎng)絡(luò)中無法找到“中獎彩票”,同時對參數(shù)初始化機制進行更透徹的研究。

他們相信,如果投入更多的努力,能夠找到最有效的剪枝手段,或許有望加速很多深度學(xué)習(xí)模型的訓(xùn)練過程,節(jié)省可觀的開支和工作量,甚至是創(chuàng)造更有價值的新模型。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標(biāo)題:ICLR最佳論文:訓(xùn)練神經(jīng)網(wǎng)絡(luò)就像買彩票?

文章出處:【微信號:deeptechchina,微信公眾號:deeptechchina】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    無刷電機小波神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)子位置檢測方法的研究

    摘要:論文通過對無刷電機數(shù)學(xué)模型的推導(dǎo),得出轉(zhuǎn)角:與三相相電壓之間存在映射關(guān)系,因此構(gòu)建了一個以三相相電壓為輸人,轉(zhuǎn)角為輸出的小波神經(jīng)網(wǎng)絡(luò)來實現(xiàn)轉(zhuǎn)角預(yù)測,并采用改進遺傳算法來訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù),借助
    發(fā)表于 06-25 13:06

    基于FPGA搭建神經(jīng)網(wǎng)絡(luò)的步驟解析

    本文的目的是在一個神經(jīng)網(wǎng)絡(luò)已經(jīng)通過python或者MATLAB訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型,訓(xùn)練好的模型的權(quán)重和偏置文件以TXT文件格式導(dǎo)出,然后
    的頭像 發(fā)表于 06-03 15:51 ?416次閱讀
    基于FPGA搭建<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>的步驟解析

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的比較

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)在多個方面存在顯著差異,以下是對兩者的比較: 一、結(jié)構(gòu)特點 BP神經(jīng)網(wǎng)絡(luò) : BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 02-12 15:53 ?673次閱讀

    如何優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率

    優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率是提高模型訓(xùn)練效率和性能的關(guān)鍵步驟。以下是一些優(yōu)化BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率的方法: 一、理解學(xué)習(xí)率的重要性 學(xué)習(xí)率決定了模型參數(shù)在每次迭代時更新的幅度。過大的學(xué)習(xí)率可能導(dǎo)致模型在
    的頭像 發(fā)表于 02-12 15:51 ?941次閱讀

    BP神經(jīng)網(wǎng)絡(luò)的實現(xiàn)步驟詳解

    BP神經(jīng)網(wǎng)絡(luò)的實現(xiàn)步驟主要包括以下幾個階段:網(wǎng)絡(luò)初始化、前向傳播、誤差計算、反向傳播和權(quán)重更新。以下是對這些步驟的詳細(xì)解釋: 一、網(wǎng)絡(luò)初始化 確定網(wǎng)
    的頭像 發(fā)表于 02-12 15:50 ?647次閱讀

    BP神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點分析

    自學(xué)習(xí)能力 : BP神經(jīng)網(wǎng)絡(luò)能夠通過訓(xùn)練數(shù)據(jù)自動調(diào)整網(wǎng)絡(luò)參數(shù),實現(xiàn)對輸入數(shù)據(jù)的分類、回歸等任務(wù),無需人工進行復(fù)雜的特征工程。 泛化能力強 : BP神經(jīng)網(wǎng)絡(luò)通過
    的頭像 發(fā)表于 02-12 15:36 ?926次閱讀

    什么是BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法

    BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法(Backpropagation Algorithm)是一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的有效方法。以下是關(guān)于BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法的介紹: 一、基本概念 反向傳播算
    的頭像 發(fā)表于 02-12 15:18 ?775次閱讀

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系

    ),是一種多層前饋神經(jīng)網(wǎng)絡(luò),它通過反向傳播算法進行訓(xùn)練。BP神經(jīng)網(wǎng)絡(luò)由輸入層、一個或多個隱藏層和輸出層組成,通過逐層遞減的方式調(diào)整網(wǎng)絡(luò)權(quán)重,目的是最小化
    的頭像 發(fā)表于 02-12 15:15 ?863次閱讀

    如何訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)模型

    BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)模型,其訓(xùn)練過程主要分為兩個階段:前向傳播和反向傳播。以下是訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 02-12 15:10 ?927次閱讀

    人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法

    在上一篇文章中,我們介紹了傳統(tǒng)機器學(xué)習(xí)的基礎(chǔ)知識和多種算法。在本文中,我們會介紹人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法,供各位老師選擇。 01 人工神經(jīng)網(wǎng)絡(luò) ? 人工神經(jīng)網(wǎng)絡(luò)模型之所
    的頭像 發(fā)表于 01-09 10:24 ?1203次閱讀
    人工<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>的原理和多種<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>架構(gòu)方法

    卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的比較

    在深度學(xué)習(xí)領(lǐng)域,神經(jīng)網(wǎng)絡(luò)模型被廣泛應(yīng)用于各種任務(wù),如圖像識別、自然語言處理和游戲智能等。其中,卷積神經(jīng)網(wǎng)絡(luò)(CNNs)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)是兩種常見的模型。 1. 結(jié)構(gòu)差異 1.1 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 11-15 14:53 ?1878次閱讀

    RNN模型與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的區(qū)別

    神經(jīng)網(wǎng)絡(luò)是機器學(xué)習(xí)領(lǐng)域中的一種強大工具,它們能夠模擬人腦處理信息的方式。隨著技術(shù)的發(fā)展,神經(jīng)網(wǎng)絡(luò)的類型也在不斷增加,其中循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)(如前饋
    的頭像 發(fā)表于 11-15 09:42 ?1133次閱讀

    LSTM神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)準(zhǔn)備方法

    LSTM(Long Short-Term Memory,長短期記憶)神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)準(zhǔn)備方法是一個關(guān)鍵步驟,它直接影響到模型的性能和效果。以下是一些關(guān)于LSTM神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)準(zhǔn)備的
    的頭像 發(fā)表于 11-13 10:08 ?2123次閱讀

    關(guān)于卷積神經(jīng)網(wǎng)絡(luò),這些概念你厘清了么~

    隨著人工智能(AI)技術(shù)的快速發(fā)展,AI可以越來越多地支持以前無法實現(xiàn)或者難以實現(xiàn)的應(yīng)用。本文基于此解釋了 卷積神經(jīng)網(wǎng)絡(luò) (CNN)及其對人工智能和機器學(xué)習(xí)的意義。CNN是一種能夠從復(fù)雜數(shù)據(jù)中提
    發(fā)表于 10-24 13:56

    【飛凌嵌入式OK3576-C開發(fā)板體驗】RKNN神經(jīng)網(wǎng)絡(luò)算法開發(fā)環(huán)境搭建

    download_model.sh 腳本,該腳本 下載一個可用的 YOLOv5 ONNX 模型,并存放在當(dāng)前 model 目錄下,參考命令如下: 安裝COCO數(shù)據(jù)集,在深度神經(jīng)網(wǎng)絡(luò)算法中,模型的訓(xùn)練離不開大量的數(shù)據(jù)集,數(shù)據(jù)
    發(fā)表于 10-10 09:28