chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

zhKF_jqr_AI ? 來源:未知 ? 作者:易水寒 ? 2018-04-02 11:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

編者按:“趨勢(shì)”表現(xiàn)了事物發(fā)展的動(dòng)向,它的目標(biāo)可以是模糊的,但這種持續(xù)的前進(jìn)反映到數(shù)據(jù)上是明確的。去年4月,特斯拉AI總監(jiān)Andrej Karpathy發(fā)表了一篇A Peek at Trends in Machine Learning,揭示了機(jī)器學(xué)習(xí)論文總數(shù)(arxiv)、深度學(xué)習(xí)框架、CNN模型、優(yōu)化算法及研究人員的發(fā)展趨勢(shì)。而就在幾天前,他又更新了一波數(shù)據(jù),并從中看到了一種非常有趣的變化。

注:本文已更新論文總數(shù)與流行框架排名,其余內(nèi)容仍為2017年4月數(shù)據(jù)。

好像少了點(diǎn)啥

不知道各位讀者有沒有用過Google Trends,這是一個(gè)很cool的工具——輸入關(guān)鍵詞,你就能查看相應(yīng)Google搜索結(jié)果隨時(shí)間發(fā)生的變化。而現(xiàn)在,我們也已經(jīng)有了一個(gè)機(jī)器學(xué)習(xí)論文庫(kù)arxiv-sanity,它在過去6年內(nèi)積累了43108篇(arxiv)相關(guān)論文,所以我們?yōu)槭裁床宦渎渌滋?,也來看?年來機(jī)器學(xué)習(xí)研究的演變情況呢?

注:該論文庫(kù)由Andrej Karpathy創(chuàng)建,由于機(jī)器學(xué)習(xí)涉及內(nèi)容過廣,文中很大一部分都圍繞深度學(xué)習(xí)展開,尤其是Andrej Karpathy熟悉的領(lǐng)域。

arxiv奇點(diǎn)

首先我們先來看看arxiv-sanity上的論文總數(shù)(cs.AI,cs.LG,cs.CV,cs.CL,cs.NE,stat.ML)。截至去年4月,arxiv-sanity共收錄28303篇機(jī)器學(xué)習(xí)論文,其中僅在2017年3月,數(shù)據(jù)庫(kù)就突增近2000份新論文,機(jī)器學(xué)習(xí)學(xué)術(shù)成果迎來爆發(fā)期。

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

arxiv上ML論文提交量變化

而就在短短一年后,arxiv-sanity上的論文總數(shù)已經(jīng)突破43000篇,考慮到近年來機(jī)器學(xué)習(xí)國(guó)際頂會(huì)的熱門程度,我們先來看看幾個(gè)主要會(huì)議(去年4月后)的“吸金”能力:

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

雖然參與會(huì)議投稿的論文未必都會(huì)提交給arxiv,但可以看出,2017年以前,arxiv-sanity上收錄的論文總量尚不足3萬篇,而去年光這幾個(gè)會(huì)議就吸引了近2萬篇投稿,另外還有其他的頂會(huì)數(shù)據(jù)未計(jì)入其中,機(jī)器學(xué)習(xí)的熱度可見一斑。

當(dāng)然,這也帶來了一個(gè)問題,就是學(xué)者需要通過閱讀大量論文才能從中篩選出真正有價(jià)值的內(nèi)容,這也是許多人開始詬病頂會(huì)“灌水”嚴(yán)重的一個(gè)要因。但本文只關(guān)注發(fā)展趨勢(shì),因此這些論文總數(shù)將作為分母,用來分析一些有趣的關(guān)鍵詞“現(xiàn)象”。

深度學(xué)習(xí)框架

談及機(jī)器學(xué)習(xí),一個(gè)不可避免的熱門關(guān)鍵詞是深度學(xué)習(xí)框架,那么學(xué)術(shù)界更偏好哪種框架呢?我們匯總了去年和今年的統(tǒng)計(jì)結(jié)果,請(qǐng)結(jié)合表格對(duì)比感受:

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

需要注意的是,這里我們的分母是統(tǒng)計(jì)的論文總數(shù),以2017年3月為例,TensorFlow(9.1%)指在去年3月投到arxiv的機(jī)器學(xué)習(xí)論文中,有將近10%提到了TensorFlow,當(dāng)然這也意味著該月的大多數(shù)論文并沒有介紹自己使用的框架。但如果我們假設(shè)論文指出使用框架的現(xiàn)象遵循某種固定的隨機(jī)概率,那么經(jīng)過粗略估計(jì),我們可以猜測(cè)大約有40%的實(shí)驗(yàn)室正在使用TensorFlow。而今年2月TensorFlow的比例提升到了14.3%,再算上把TF作為后端的各類框架,毫無疑問,TensorFlow確實(shí)是大多數(shù)學(xué)術(shù)界人士的首選框架。

而Caffe和Theano由于“歷史悠久”,已經(jīng)積累了數(shù)量可觀的老用戶和論文基礎(chǔ),因此它們的占比仍然很突出。

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

2017年4月前各框架發(fā)展情況

為了更直觀地感受各框架的發(fā)展趨勢(shì),我們來看看去年和今年的這兩幅圖。上圖中紫色的Caffe和深藍(lán)色的Theano在很長(zhǎng)一段時(shí)間內(nèi)深受學(xué)界歡迎,而綠色的TensorFlow在2016年異軍突起,只用一年時(shí)間就超越了“前輩”,增長(zhǎng)勢(shì)頭顯著。當(dāng)時(shí)Andrej Karpathy曾預(yù)測(cè)Caffe和Theano的市場(chǎng)占有率會(huì)緩慢下降,同時(shí)TensorFlow的增長(zhǎng)也會(huì)減緩,他更看好當(dāng)時(shí)幾乎沒有存在感的PyTorch。

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

2018年3月前各框架發(fā)展情況

果不其然,最近的這幅統(tǒng)計(jì)圖顯示,粉色的TensorFlow經(jīng)歷了兩年增長(zhǎng),至2017年年末開始趨向平穩(wěn),而Caffe和Theano的曲線幾乎同步下降,后者的占有率已跌至第五位,還在第二位苦苦掙扎的Caffe也被“后起之秀”Keras和PyTorch趕上。其中最亮眼的是PyTorch,這個(gè)在2017年3月不足0.2%的框架到2018年2月已經(jīng)達(dá)到4.7%,考慮到近年來論文的爆炸式增長(zhǎng),PyTorch前景可期,拿原twitter下的留言來說,就是:

PyTorch is on fire! ( PyTorch要火?。?/p>

CNN模型

CNN最初是為解決圖像識(shí)別等問題設(shè)計(jì)的,當(dāng)然其現(xiàn)在的應(yīng)用不僅限于圖像和視頻,也可用于時(shí)間序列信號(hào),比如音頻信號(hào)、文本數(shù)據(jù)等。在處理上述這些問題時(shí),除了特殊情況,通常我們不會(huì)從頭新建一個(gè)CNN,而是在已有模型的基礎(chǔ)上調(diào)整參數(shù)。那么,哪個(gè)是最受歡迎的CNN模型呢?Andrej Karpathy沒有更新模型的相關(guān)數(shù)據(jù),所以我們?nèi)砸匀ツ甑臄?shù)據(jù)為準(zhǔn)。

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

CNN有四大經(jīng)典模型:AlexNet、VGGNet、Google Inception Net和ResNet。從上圖我們可以看到,在關(guān)于AlexNet的論文開始大量出現(xiàn)前,Inception在較長(zhǎng)時(shí)間內(nèi)一枝獨(dú)秀,2014年年末,AlexNet迎來快速增長(zhǎng),并長(zhǎng)期穩(wěn)定在高水平位置。而就在一年后,ResNet也迎來爆發(fā)期,到2017年3月占比9%,躍升至第一位。

優(yōu)化算法

就優(yōu)化算法而言,Adam是毫無疑問的“掌門人”。截至去年4月,約23%的機(jī)器學(xué)習(xí)論文都提到了它。當(dāng)然我們很難估計(jì)它的實(shí)際使用占比:它可能高于23%,因?yàn)橐恍┱撐臎]有介紹使用的優(yōu)化算法,其中的大部分甚至根本沒有提及神經(jīng)網(wǎng)絡(luò)優(yōu)化;它也可能需要在23%的基礎(chǔ)上減去5%,因?yàn)檫@個(gè)關(guān)鍵詞不是手動(dòng)提取的,所以不排除論文里的Adam其實(shí)是個(gè)人名,而且作為一個(gè)優(yōu)化算法,Adam的提出時(shí)間是2014年12月。

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

研究人員

雖然現(xiàn)在大家對(duì)Deep Learning熱情高漲,業(yè)界也有大量被追捧的專家偶像,但這些偶像真的適合每個(gè)人嗎?你追的偶像是不是真正的專家?從論文實(shí)際引用情況來看,哪些人的論文“含金量”更高?Andrej Karpathy也用數(shù)據(jù)給了我們一點(diǎn)啟示。

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

上文中由上往下的四個(gè)人分別是Bengio、Lecun、Hinton、Schmidhuber,他們是業(yè)內(nèi)公認(rèn)的對(duì)深度學(xué)習(xí)貢獻(xiàn)最大的四名活躍學(xué)者??梢园l(fā)現(xiàn),Bengio在論文中的出現(xiàn)次數(shù)和Hinton齊頭并進(jìn),以35%位列首位,而Hinton則以30%排名第二。但考慮到Y(jié)oshua Bengio的弟弟Samy同樣在機(jī)器學(xué)習(xí)領(lǐng)域有不錯(cuò)的成就,35%這個(gè)占比含有一定水分。

另外需要提的一位是LSTM之父Jürgen Schmidhuber,他的論文引用量也頗為可觀。Schmidhuber現(xiàn)任瑞士人工智能實(shí)驗(yàn)室主管,因?yàn)橄矚g自己獨(dú)立研究,可能國(guó)內(nèi)對(duì)他的關(guān)注度不高,但這不妨礙業(yè)界對(duì)他的肯定。這里介紹一篇他的新作One Big Net For Everything,除了標(biāo)題看得讓人害怕,引用的文獻(xiàn)都有將近一半是他參與寫的,感興趣的讀者可以參考著體會(huì)下大神的腦回路。

熱門/冷門的關(guān)鍵詞

Andrej Karpathy同樣爬取了論文中的一些關(guān)鍵詞,并觀察了它們的熱度情況。

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

以上數(shù)值是這樣計(jì)算的:以resnet為例,2016年3月前它的出現(xiàn)頻率只有1.044%,而它在2017年3月的出現(xiàn)頻率是8.53%,因此它的熱度增長(zhǎng)為8.53/1.044?=8.17。這樣對(duì)比下來,去年最熱門的論文關(guān)鍵詞依次是ResNets、GANs、Adam、BatchNorm,而最受歡迎的研究領(lǐng)域則是風(fēng)格遷移、深度強(qiáng)化學(xué)習(xí)、神經(jīng)機(jī)器翻譯、圖像生成,熱門架構(gòu)的排名則是FCN、LSTM/GRU、連體網(wǎng)絡(luò)和編碼-解碼網(wǎng)絡(luò)。

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

另外,一些關(guān)鍵詞也被研究人員們“無情”地拋進(jìn)了角落。雖然不清楚排名第一的fractal具體指什么,但估計(jì)是貝葉斯參數(shù)那一塊的內(nèi)容。

根據(jù)關(guān)鍵詞了解機(jī)器學(xué)習(xí)的趨勢(shì)窺探

小結(jié)

看完全文,你的“將基于全卷積編碼-解碼批規(guī)范化架構(gòu)、經(jīng)Adam優(yōu)化處理的ResNet GAN用于風(fēng)格遷移”這篇論文準(zhǔn)備得怎么樣了(英文名字都幫你想好了,就叫Fully Convolutional Encoder Decoder BatchNorm ResNet GAN applied to Style Transfer, optimized with Adam),這個(gè)選題聽起來也不怎么離譜嘛:)

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:PyTorch要火!Andrej Karpathy更新機(jī)器學(xué)習(xí)趨勢(shì)窺探

文章出處:【微信號(hào):jqr_AI,微信公眾號(hào):論智】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    科普:12大關(guān)鍵詞讓你了解機(jī)器學(xué)習(xí)

    隨著人工智能(AI)技術(shù)對(duì)各行各業(yè)有越來越深入的影響,我們也更多地在新聞或報(bào)告中聽到“機(jī)器學(xué)習(xí)”、“深度學(xué)習(xí)”、“增強(qiáng)學(xué)習(xí)”、“神經(jīng)網(wǎng)絡(luò)”等詞匯,對(duì)于非專業(yè)人士來說略為玄幻。這篇文章為
    發(fā)表于 05-30 14:39 ?2191次閱讀

    [討論]提高網(wǎng)站關(guān)鍵詞排名的28個(gè)SEO小技巧

    提高網(wǎng)站關(guān)鍵詞排名的28個(gè)SEO小技巧關(guān)鍵詞位置、密度、處理 URL中出現(xiàn)關(guān)鍵詞(英文) 網(wǎng)頁標(biāo)題中出現(xiàn)關(guān)鍵詞(1-3個(gè)) 關(guān)鍵詞標(biāo)簽中出現(xiàn)
    發(fā)表于 12-01 17:08

    TF-IDF測(cè)量文章的關(guān)鍵詞相關(guān)性研究

    停用詞的移除、大小寫字母轉(zhuǎn)化和詞干提取。4)獲取查詢。獲取單詞權(quán)重,對(duì)于可疑文檔利用TF-IDF獲得關(guān)鍵詞,并排序得到相應(yīng)的關(guān)鍵詞列表。排在前n個(gè)的關(guān)鍵詞組成一個(gè)查詢,以此類推,本試驗(yàn)中n=5。5)檢索
    發(fā)表于 01-26 10:38

    亞馬遜代運(yùn)營(yíng) amazon Search term 關(guān)鍵詞填寫的“神技”

    、轉(zhuǎn)化率,且與自己產(chǎn)品相關(guān)的關(guān)鍵詞,單獨(dú)拿出來放進(jìn) search term 里面進(jìn)行優(yōu)化 listing 的操作。2.自己利用一些工具去篩選出一些買家搜索,然后根據(jù)自己對(duì)產(chǎn)品的理解,買家的搜索習(xí)慣,適當(dāng)
    發(fā)表于 06-05 15:41

    HanLP關(guān)鍵詞提取算法分析詳解

    ,也受窗口大小的影響。雖然說代碼是大致看懂了,但是還是有一些疑問的:比如,為什么用上面那個(gè)公式計(jì)算,得分高的詞語就是關(guān)鍵詞了?根據(jù)TextRank求關(guān)鍵詞與Term Frequency求關(guān)鍵詞
    發(fā)表于 11-05 10:41

    關(guān)鍵詞優(yōu)化有哪些實(shí)用的方法

    是做文章更新,交換友情鏈接,但是他們對(duì)于這里的意義卻比較陌生還有對(duì)于其它的一些優(yōu)化的手段是不了解的,那么我們?cè)谧鰏eo排名的時(shí)候應(yīng)該怎么擁有一套實(shí)用的方法來優(yōu)化我們的關(guān)鍵詞呢?接下來東莞seo博客
    發(fā)表于 08-11 01:19

    百度關(guān)鍵詞排名掉完了怎么辦

    一夜之間關(guān)鍵詞排名掉完了,沒有被K,也沒有出現(xiàn)違規(guī)操作,這是怎么回事呢?
    發(fā)表于 01-27 11:01

    #2023,你的 FPGA 年度關(guān)鍵詞是什么? #

    FPGA 年度關(guān)鍵詞,我的想法是“標(biāo)準(zhǔn)化”;今年的工作中遇到了不少同事的issues,本身都是小問題或者很細(xì)節(jié)的東西但是卻反復(fù)出現(xiàn)問題,目前想到的最好的辦法是做好設(shè)計(jì)規(guī)則的標(biāo)準(zhǔn)化才能避免,不知道大家有沒有更好的建議?
    發(fā)表于 12-06 20:31

    IT產(chǎn)業(yè)2012熱點(diǎn)趨勢(shì):智能化成關(guān)鍵詞

      3月25日下午消息,2012年深圳IT峰會(huì)今日召開,數(shù)字中國(guó)常務(wù)理事、金沙江創(chuàng)投董事總經(jīng)理丁健受組委會(huì)委托發(fā)布2012年IT產(chǎn)業(yè)熱點(diǎn)和趨勢(shì),其中智能化成為關(guān)鍵詞
    發(fā)表于 03-26 09:12 ?1121次閱讀

    基于強(qiáng)度熵解決中文關(guān)鍵詞識(shí)別

    文本的關(guān)鍵詞識(shí)別是文本挖掘中的基本問題之一。在研究現(xiàn)有基于復(fù)雜網(wǎng)絡(luò)的關(guān)鍵詞識(shí)別方法的基礎(chǔ)上,從整個(gè)復(fù)雜網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特征的信息缺失角度來考察各節(jié)點(diǎn)的重要程度。提出強(qiáng)度熵測(cè)度來量化評(píng)估各節(jié)點(diǎn)重要程度,用于解決中文關(guān)鍵詞識(shí)別問題。實(shí)驗(yàn)
    發(fā)表于 11-24 09:54 ?7次下載
    基于強(qiáng)度熵解決中文<b class='flag-5'>關(guān)鍵詞</b>識(shí)別

    基于關(guān)鍵詞的最優(yōu)路徑查詢算法

    為改進(jìn)基于關(guān)鍵詞的最優(yōu)路徑查詢算法,在大規(guī)模圖以及多查詢關(guān)鍵詞下復(fù)雜度過高與可擴(kuò)展性不足的缺陷,依據(jù)查詢關(guān)鍵詞序列構(gòu)建候選路徑的策略提出一種高效查詢算法。該算法在路徑構(gòu)建過程中優(yōu)先滿足查詢關(guān)鍵
    發(fā)表于 12-06 11:28 ?0次下載

    基于自動(dòng)關(guān)鍵詞抽取方法

    自動(dòng)關(guān)鍵詞抽取是從文本或文本集合中自動(dòng)抽取主題性或重要性的或短語,是文本檢索、文本摘要等許多文本挖掘任務(wù)的基礎(chǔ)性和必要性的工作.探討了關(guān)鍵詞和自動(dòng)關(guān)鍵詞抽取的內(nèi)涵,從語言學(xué)、認(rèn)知科學(xué)
    發(fā)表于 12-26 16:47 ?2次下載
    基于自動(dòng)<b class='flag-5'>關(guān)鍵詞</b>抽取方法

    三大“關(guān)鍵詞”來了解AI

    面對(duì)人工智能即將開啟的新疆域,正在建設(shè)具有全球影響力科創(chuàng)中心的上海雄心勃勃,立志在人工智能領(lǐng)域形成世界級(jí)新興產(chǎn)業(yè)集群。那么,上海創(chuàng)新該如何玩轉(zhuǎn)“AI”呢?業(yè)內(nèi)專家學(xué)者不約而同建言三大“關(guān)鍵詞”。
    的頭像 發(fā)表于 01-21 11:16 ?4815次閱讀

    2020年云計(jì)算發(fā)展六大關(guān)鍵詞,以及六大關(guān)鍵詞背后的重要趨勢(shì)

    中國(guó)信通院云計(jì)算與大數(shù)據(jù)研究所副所長(zhǎng)栗蔚在會(huì)上正式發(fā)布并解讀白皮書,披露了中國(guó)信通院基于對(duì)云計(jì)算市場(chǎng)的長(zhǎng)期觀察和研究,總結(jié)出的2020年云計(jì)算發(fā)展六大關(guān)鍵詞,以及六大關(guān)鍵詞背后的重要趨勢(shì)。
    的頭像 發(fā)表于 08-24 11:02 ?1w次閱讀
    2020年云計(jì)算發(fā)展六大<b class='flag-5'>關(guān)鍵詞</b>,以及六大<b class='flag-5'>關(guān)鍵詞</b>背后的重要<b class='flag-5'>趨勢(shì)</b>

    融合BERT向量與TextRank的關(guān)鍵詞抽取方法

    結(jié)合文檔本身的結(jié)構(gòu)信息與外部詞語的語義信息,提出一種融合BERT向量與 Textrank的關(guān)鍵詞抽取方法。在基于網(wǎng)絡(luò)圖的 Textrank方法基礎(chǔ)上,引入語義差異性并利用BERT向量加權(quán)方式優(yōu)化
    發(fā)表于 03-21 09:55 ?18次下載
    融合BERT<b class='flag-5'>詞</b>向量與TextRank的<b class='flag-5'>關(guān)鍵詞</b>抽取方法