深度監(jiān)督學(xué)習(xí)的局限和破解思路
大小:0.3 MB 人氣: 2017-10-09 需要積分:1
標(biāo)簽:深度學(xué)習(xí)(119547)
8月26至27日,由中國人工智能學(xué)會(CAAI)發(fā)起并主辦、中科院自動化研究所與CSDN共同承辦的 第二屆中國人工智能大會(CCAI 2016)[http://ccai.caai.cn/]將在北京盛大召開。本次大會將持續(xù)匯聚全球人工智能領(lǐng)域的頂級專家學(xué)者和產(chǎn)業(yè)界人士,圍繞 人機(jī)交互、機(jī)器學(xué)習(xí)、模式識別、產(chǎn)業(yè)實(shí)戰(zhàn)人工智能前沿話題進(jìn)行深入交流和探討。微軟人工智能首席科學(xué)家鄧力博士將受邀出席本次大會,并做題為《 驅(qū)動大數(shù)據(jù)人工智能多種應(yīng)用的三類深度學(xué)習(xí)模式》的主題報告。大會前夕,鄧力博士接受CSDN記者的簡短采訪,針對大數(shù)據(jù)、深度學(xué)習(xí)以及人工智能的其他技術(shù)領(lǐng)域進(jìn)行解析。
鄧力博士介紹,他的主題報告將會講述深度監(jiān)督學(xué)習(xí)、深度非監(jiān)督學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)之間的關(guān)系和區(qū)別,以及這三類深度學(xué)習(xí)模式跟大數(shù)據(jù)的關(guān)系,并通過實(shí)踐案例來說明三類學(xué)習(xí)算法的適用環(huán)境及效果。他認(rèn)為,目前基于大數(shù)據(jù)的人工智能的應(yīng)用局限之一在于依賴于要求輸入輸出有匹配的大訓(xùn)練數(shù)據(jù)的深度監(jiān)督學(xué)習(xí),而破解目前大數(shù)據(jù)人工智能的缺失的思路包括深度非監(jiān)督學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí),以及新型的基于高維張量的結(jié)構(gòu)表征。
他還解釋了強(qiáng)化學(xué)習(xí)的適用領(lǐng)域,深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)結(jié)合的優(yōu)勢,并指出深度強(qiáng)化學(xué)習(xí)對微軟的Bot愿景的作用——深度強(qiáng)化學(xué)習(xí)不但掌控每一單種Bot的對話輸出的內(nèi)容,更掌控各種Bots之間的協(xié)調(diào)和切換。
微軟人工智能首席科學(xué)家 鄧力
世界著名人工智能、機(jī)器學(xué)習(xí)和語音語言信號處理專家,現(xiàn)任微軟人工智能首席科學(xué)家和深度學(xué)習(xí)技術(shù)中心研究經(jīng)理。他在美國威斯康星大學(xué)先后獲碩士和博士學(xué)位,然后在加拿大滑鐵盧大學(xué)任教獲得終身正教授。其間,他還任麻省理工學(xué)院研究職位。1999 年加入微軟研究院歷任數(shù)職,并在2014 年初創(chuàng)辦深度學(xué)習(xí)技術(shù)中心,主持微軟公司和研究院的人工智能和深度學(xué)習(xí)領(lǐng)域的技術(shù)創(chuàng)新。鄧力博士的研究方向包括自動語音與說話者識別、口語識別與理解、語音–語音翻譯、機(jī)器翻譯、語言模式、自然語言處理、統(tǒng)計方法與機(jī)器學(xué)習(xí)、神經(jīng)科學(xué),聽覺和其他生物信息處理、深層結(jié)構(gòu)學(xué)習(xí)、類腦機(jī)器智能、圖像語言多模態(tài)深度學(xué)習(xí),商業(yè)大數(shù)據(jù)深度分析預(yù)測等。他在上述領(lǐng)域做出了重大貢獻(xiàn),是ASA(美國聲學(xué)學(xué)會)會士、IEEE(美國電氣和電子工程師協(xié)會)會士和理事、ISCA(國際語音通信協(xié)會)會士,并憑借在深度學(xué)習(xí)與自動語音識別方向做出的杰出貢獻(xiàn)榮獲2015年度IEEE 信號處理技術(shù)成就獎和2013年度最佳論文獎。同時,他也曾在頂級雜志和會議上發(fā)表過與上述領(lǐng)域相關(guān)的300 余篇學(xué)術(shù)論文,出版過5 部著作,發(fā)明及合作發(fā)明了超過70 多項(xiàng)專利。鄧力博士還擔(dān)任過IEEE 信號處理雜志和《音頻、語音與語言處理學(xué)報》(IEEE/ACM Transactions on Audio, Speech & Language Processing)的主編。
以下為內(nèi)容采訪實(shí)錄
AlphaGo戰(zhàn)勝李世石并不令人驚訝
CSDN:當(dāng)前人工智能領(lǐng)域的技術(shù)研究和應(yīng)用進(jìn)展,有哪些是您意想不到的?AlphaGo?
鄧力:基于我自2009年來對深度神經(jīng)網(wǎng)絡(luò)巨大學(xué)習(xí)容量的體驗(yàn)和理解,我對目前深度學(xué)習(xí)對人工智能領(lǐng)域的技術(shù)研究和各方應(yīng)用的大規(guī)模的成功推動以及成就沒有感覺有意想不到進(jìn)展。由深度強(qiáng)化學(xué)習(xí)主導(dǎo)的 AlphaGo 以四比一戰(zhàn)勝李世石并不令人驚訝。
CSDN:您對強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)的結(jié)合贊賞有加,那么強(qiáng)化學(xué)習(xí)適合在哪些領(lǐng)域普及?
鄧力:強(qiáng)化學(xué)習(xí)適用于控制和決策任何有階段性的過程,好比下棋,機(jī)械機(jī)器人行動,和很多商業(yè)決策。應(yīng)用強(qiáng)化學(xué)習(xí)時最好回報信號要清楚或容易定義,比如下棋。否則就要用內(nèi)在動機(jī)來驅(qū)動強(qiáng)化學(xué)習(xí),比如用于聊天機(jī)器人。方向之一是整合信息論與動態(tài)規(guī)劃,這還屬于研究階段。大型狀態(tài)空間以前對強(qiáng)化學(xué)習(xí)是個大難題,但現(xiàn)在引入深度學(xué)習(xí)之后問題就基本解決了。具有大型行動空間(比如把合成型的自然語言作為對話機(jī)器人的“行動”輸出)的強(qiáng)化學(xué)習(xí)我們團(tuán)隊正在深入研究。用深度學(xué)習(xí)來解決大型行動空間要比解決大型狀態(tài)空間麻煩不少。我們團(tuán)隊在這方面發(fā)了一些論文。
CSDN:您如何看待深度學(xué)習(xí)與更多的其他方法(如貝葉斯方法)結(jié)合及前景?
鄧力:目前基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)可以很好地同貝葉斯方法和生成式模型結(jié)合起來。優(yōu)點(diǎn)在于能夠賦予深度學(xué)習(xí)以解釋性,也可降低深度學(xué)習(xí)對輸入輸出匹配的訓(xùn)練數(shù)據(jù)量的要求。如用到深度強(qiáng)化學(xué)習(xí), 這種結(jié)合能大大提高學(xué)習(xí)效率,因?yàn)樗審?qiáng)化學(xué)習(xí)中的探索步驟更為快速而且探索空間變成更為廣大。
CSDN:除此之外,您認(rèn)為哪些與深度學(xué)習(xí)完全無關(guān)的技術(shù)領(lǐng)域也值得我們關(guān)注?
鄧力:命題邏輯和一階邏輯的推理表面上看似乎與深度學(xué)習(xí)無關(guān)。近來用深度學(xué)習(xí)做邏輯推理出了不少很好的工作。我們團(tuán)隊在2016年ICLR有篇長文章。然而用純符號的命題邏輯和一階邏輯做推理要比用深度神經(jīng)網(wǎng)絡(luò)容易解釋得多,好比計算機(jī)的高級語言要比匯編語言容易看懂得多。這種解釋性在實(shí)際應(yīng)用上很重要。但是純符號的邏輯方法和模型比起深度神經(jīng)網(wǎng)絡(luò)難學(xué)的多。幸好在認(rèn)知科學(xué)中有一套正在發(fā)展的理論,它把任意一個純符號樹狀或圖狀結(jié)構(gòu)(可以高效率且具有強(qiáng)解釋性用在邏輯推理上)跟一個高維度的張量建立起同構(gòu)。因?yàn)閺埩渴亲钭匀挥糜谏疃葘W(xué)習(xí)的數(shù)據(jù)結(jié)構(gòu),這種同構(gòu)就讓我們的人工智能系統(tǒng)能有效地實(shí)現(xiàn)結(jié)構(gòu)到結(jié)構(gòu)的符號映射(比如自然語言或計算機(jī)程序的輸入輸出),但同時又能直接用深度神經(jīng)網(wǎng)絡(luò)的方法去學(xué)習(xí)和優(yōu)化這種結(jié)構(gòu)映射(這包括復(fù)雜多步的邏輯推理)。
微軟人工智能研發(fā)路線
CSDN:微軟計劃在人工智能領(lǐng)域成為領(lǐng)軍者,能否介紹您的工作在其中的作用?您最近半年的主要工作進(jìn)展在哪方面?
鄧力:我目前用50%時間在微軟美國總部的研究院管理和領(lǐng)導(dǎo)深度學(xué)習(xí)技術(shù)中心,這里有一支很強(qiáng)的技術(shù)和研究團(tuán)隊。另外50%時間在微軟的商業(yè)部門任首席人工智能科學(xué)家,將人工智能和各類深度學(xué)習(xí)的技術(shù)和研究成果應(yīng)用到人工智能產(chǎn)品和云端服務(wù)。最近半年我們團(tuán)隊的主要工作包括:
將深度學(xué)習(xí)技術(shù)成功地應(yīng)用到商業(yè)大數(shù)據(jù)的分析、預(yù)測、客戶評分,等等,取得顯著成果;
利用深度強(qiáng)化學(xué)習(xí)推動多類自然語言對話機(jī)器人的研發(fā);
自然語言、視覺和知識庫相結(jié)合的多媒態(tài)研究與應(yīng)用;
新型深度學(xué)習(xí)架構(gòu)、算法、結(jié)構(gòu)表征基礎(chǔ)研究的進(jìn)展。
CSDN:微軟做了不少人工智能的API提供給開發(fā)者,您是否認(rèn)為人工智能會成為未來app的普遍屬性?當(dāng)前開發(fā)人員需要學(xué)習(xí)哪些人工智能相關(guān)的知識?如何上手?
鄧力:微軟的Cognitive Services (微軟認(rèn)知服務(wù),其開發(fā)文檔和教程可以參考官網(wǎng):https://www.azure.cn/cognitive-services/)會提供越來越多的人工智能工具給開發(fā)者。不少已經(jīng)可以從Microsoft Bot Framework 調(diào)用了。Microsoft Bot Framework 網(wǎng)站(https://dev.botframework.com/) 有相當(dāng)詳細(xì)的信息。
CSDN:關(guān)于微軟Bots的理想,您認(rèn)為它的實(shí)現(xiàn)需要哪些主要的技術(shù)積累?
鄧力:具有強(qiáng)大功能的人工智能是Bots的理想愿景實(shí)現(xiàn)的最關(guān)鍵之一。主要的技術(shù)積累是以上講到的深度學(xué)習(xí),特別是深度強(qiáng)化學(xué)習(xí)。深度強(qiáng)化學(xué)習(xí)不但掌控每一單種Bot 的對話輸出的最佳內(nèi)容,更掌控各種Bots 之間的最佳協(xié)調(diào)和切換。
CCAI分享大數(shù)據(jù)與深度學(xué)習(xí)
CSDN:請簡要介紹您在本次大會的報告主題《驅(qū)動大數(shù)據(jù)人工智能多種應(yīng)用的三類深度學(xué)習(xí)模式》?
鄧力:主要想講三類深度學(xué)習(xí)模式——深度監(jiān)督學(xué)習(xí)、深度非監(jiān)督學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)之間的關(guān)系和區(qū)別。在哪種人工智能應(yīng)用中選用哪種模式?為什么?洞見(insights)在哪里?想用我團(tuán)隊用過的成功(和失?。┑睦觼頌榇蠹姨峁┮恍┒匆?。
還想講這三類深度學(xué)習(xí)模式跟大數(shù)據(jù)的關(guān)系。輸入輸出有匹配的大訓(xùn)練數(shù)據(jù)一般會讓深度監(jiān)督學(xué)習(xí)成功 (端到端的backpropagation 對有匹配的大數(shù)據(jù)的訓(xùn)練實(shí)在有效),但輸入輸出匹配成本很高。相反,無輸入輸出匹配的大數(shù)據(jù)成本要低得多。要利用比現(xiàn)有輸入輸出有匹配的大訓(xùn)練數(shù)據(jù)高出幾個數(shù)量級的無輸入輸出匹配的大訓(xùn)練數(shù)據(jù)來訓(xùn)練深度學(xué)習(xí)系統(tǒng),必須開發(fā)全新的深度非監(jiān)督學(xué)習(xí)算法。如果成功,這會給人工智能帶來一個新的里程碑。
CSDN:能否再解釋基于大數(shù)據(jù)的人工智能的應(yīng)用局限,以及一些破解高質(zhì)量的大數(shù)據(jù)人工智能的缺失的一些思路?
鄧力:目前基于大數(shù)據(jù)的人工智能的應(yīng)用局限之一在于依賴于深度監(jiān)督學(xué)習(xí),就是說要在有輸入輸出匹配的大訓(xùn)練數(shù)據(jù)之后才能使用端到端的backpropagation。不但成本很高,而且系統(tǒng)很不靈活,很難快速適應(yīng)新環(huán)境。如果需要解決復(fù)雜的邏輯推理問題,基于大數(shù)據(jù)和深度學(xué)習(xí)的人工智能系統(tǒng)往往給不出理想的答案。這種依賴于深度監(jiān)督學(xué)習(xí)的系統(tǒng)還缺乏常識和直覺。
破解高質(zhì)量大數(shù)據(jù)缺失的思路包括以上講的深度非監(jiān)督學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí),以及新型的基于高維張量的結(jié)構(gòu)表征和知識庫。
CSDN:哪些人適合聽這個報告?需要什么預(yù)備知識?他們會有什么收獲?
鄧力:研究人員,研究生,ICT 公司和政府管理者。對人工智能和深度學(xué)習(xí)感興趣的人。希望聽完這個報告之后會對人工智能和深度學(xué)習(xí)有更深一步的理解,尤其在如何把理論用到實(shí)踐。
CSDN:最后一個問題,您如何看待國外與國內(nèi)人工智能技術(shù)和應(yīng)用的差異?在企業(yè)應(yīng)用、人才培養(yǎng)上,國外有哪些好的經(jīng)驗(yàn)值得國內(nèi)借鑒?
鄧力:國外與國內(nèi)人工智能技術(shù)和應(yīng)用的差異日趨縮小。我很多以前在美國、英國從事人工智能和深度學(xué)習(xí)的朋友都回國創(chuàng)業(yè)。
國外好的經(jīng)驗(yàn)是注重創(chuàng)新,鼓勵快速失敗。
?
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
深度監(jiān)督學(xué)習(xí)的局限和破解思路下載
相關(guān)電子資料下載
- 深度學(xué)習(xí)在工業(yè)缺陷檢測中的應(yīng)用 63
- 探討目前主流3D激光SLAM算法方案 94
- 華為成為中國首個PyTorch基金會Premier會員 453
- 《人工智能在指揮和控制系統(tǒng)中的決策支持》 133
- 中國手機(jī)廠商發(fā)力這一領(lǐng)域 外媒:大戲剛剛開始 262
- 百度智能云推出國內(nèi)首個大模型全鏈路生態(tài)支持體系 251
- 人工智能領(lǐng)域存在第一性原理嗎? 53
- 基于機(jī)器視覺檢測技術(shù)現(xiàn)狀 41
- 自動駕駛規(guī)控決策方面的建議與解決方案 40
- 里程碑 主線科技無人集卡在舟山港開啟全天候真無人常態(tài)化運(yùn)營 166