什么是學(xué)習(xí)?
機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中都有“學(xué)習(xí)”兩字,我們首先要理解什么是“學(xué)習(xí)”。著名的赫伯特·西蒙教授(Herbert Simon)是1975年圖靈獎(jiǎng)獲得者、1978年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者,這位大牛曾對(duì)“學(xué)習(xí)”下過(guò)一個(gè)定義“如果一個(gè)系統(tǒng),能夠通過(guò)執(zhí)行某個(gè)過(guò)程,就此改進(jìn)了它的性能,那么這個(gè)過(guò)程就是學(xué)習(xí)”。大師永遠(yuǎn)都是言簡(jiǎn)意賅,一針見血,我們從西蒙教授下的定義可以看出“學(xué)習(xí)的核心目的就是改善性能”。
其實(shí)不僅僅是對(duì)于機(jī)器,對(duì)于人而言這個(gè)定義也是適用的。我們從小就被教育要“好好學(xué)習(xí),天天向上”,我們“學(xué)習(xí)”的目標(biāo)是為了“向上”,如果沒有性能上的“向上”,即使非常辛苦地“好好”,即使長(zhǎng)時(shí)間地“天天”,都無(wú)法算作“學(xué)習(xí)”。如果我們僅僅是低層次的重復(fù)性學(xué)習(xí),而沒有達(dá)到認(rèn)知升級(jí)的目的,那么即使表面看起來(lái)非常勤奮,其實(shí)也只是一個(gè)“偽學(xué)習(xí)者”,因?yàn)槲覀儧]有改善性能。
下面我們就一起繼續(xù)“好好學(xué)習(xí)”機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的知識(shí),我們目的就是為了提升自己在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)上的認(rèn)知水平。
2、人工智能、機(jī)器學(xué)習(xí)、和深度學(xué)習(xí)是什么關(guān)系?
先拋出結(jié)論,機(jī)器學(xué)習(xí)(Machine Learning,ML)是人工智能(Artificial Intelligence,AI)的一個(gè)分支,深度學(xué)習(xí)(Deep Learning,DL)是ML中的一個(gè)子集,或者說(shuō),機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種方法,而深度學(xué)習(xí)僅僅是實(shí)現(xiàn)機(jī)器學(xué)習(xí)的一種技術(shù)。

下面我們來(lái)仔仔細(xì)細(xì)“學(xué)習(xí)”一下AI、ML、DL這三個(gè)概念
(1)人工智能:AI表示機(jī)器模仿人類通常表現(xiàn)出的智能行為的任何活動(dòng),這是一個(gè)非常大的研究領(lǐng)域,機(jī)器旨在復(fù)制認(rèn)知能力,例如學(xué)習(xí)行為、與環(huán)境的主動(dòng)交互、推理和演繹、計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、問(wèn)題求解、知識(shí)表示和感知;AI建立在計(jì)算機(jī)科學(xué)、數(shù)學(xué)和統(tǒng)計(jì)學(xué)以及心理學(xué)和其他研究人類行為的科學(xué)的基礎(chǔ)上。建立AI有多種策略,在20世紀(jì)70年代和20世紀(jì)80年代,“專家”系統(tǒng)變得非常流行,這些系統(tǒng)的目標(biāo)是通過(guò)用大量手動(dòng)定義的if-then規(guī)則表示知識(shí)來(lái)解決復(fù)雜的問(wèn)題,這種方法適用于非常特定的領(lǐng)域中的小問(wèn)題,但無(wú)法擴(kuò)展到較大的問(wèn)題和多領(lǐng)域中,后來(lái)AI也在不斷的改進(jìn),越來(lái)越關(guān)注基于統(tǒng)計(jì)的方法。
(2)機(jī)器學(xué)習(xí):ML是AI的一個(gè)子學(xué)科,專注于教授計(jì)算機(jī)如何對(duì)特定任務(wù)進(jìn)行學(xué)習(xí)而無(wú)須編程,ML背后的關(guān)鍵思想是可以創(chuàng)建從數(shù)據(jù)中學(xué)習(xí)并做出預(yù)測(cè)的算法。機(jī)器學(xué)習(xí)也分好多種,我們向大家介紹一下有監(jiān)督學(xué)習(xí),無(wú)監(jiān)督學(xué)習(xí),增強(qiáng)學(xué)習(xí)這幾種。
有監(jiān)督學(xué)習(xí),向機(jī)器提供輸入數(shù)據(jù)及期望輸出,目的是從這些訓(xùn)練實(shí)例中學(xué)習(xí),以使機(jī)器可以對(duì)從未見過(guò)的數(shù)據(jù)做出有意義的預(yù)測(cè)。
無(wú)監(jiān)督學(xué)習(xí),僅向機(jī)器提供輸入數(shù)據(jù),機(jī)器隨后必須自己尋找一些有意義的結(jié)構(gòu),而無(wú)須外部監(jiān)督或輸入。
增強(qiáng)學(xué)習(xí),機(jī)器充當(dāng)代理,與環(huán)境交互。如果機(jī)器的行為符合要求,就會(huì)有“獎(jiǎng)勵(lì)”;否則,就會(huì)受到“懲罰”,機(jī)器試圖通過(guò)學(xué)習(xí)相應(yīng)地發(fā)展其行為來(lái)最大化獎(jiǎng)勵(lì)。
(3)深度學(xué)習(xí):DL也是機(jī)器學(xué)習(xí)的一個(gè)子集,深度學(xué)習(xí)與傳統(tǒng)的監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)是有區(qū)分的,深度學(xué)習(xí)是高度數(shù)據(jù)依賴型的算法,它的性能通常是隨著數(shù)據(jù)量的增加而不斷增強(qiáng)的,也就是說(shuō)深度學(xué)習(xí)的可擴(kuò)展性顯著優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)算法,但前提是有足夠多、足夠好的數(shù)據(jù)。
3、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展經(jīng)過(guò)了哪幾個(gè)階段? 如前文討論的,作為人工智能的重要分支,機(jī)器學(xué)習(xí)主要研究的是如何使機(jī)器通過(guò)識(shí)別和利用現(xiàn)有知識(shí)來(lái)獲取新知識(shí)和新技能。自20世紀(jì)80年代以來(lái),機(jī)器學(xué)習(xí)已經(jīng)在算法、理論和應(yīng)用等方面都取得巨大成功,而被廣泛應(yīng)用于產(chǎn)業(yè)界與學(xué)術(shù)界。簡(jiǎn)單來(lái)說(shuō),機(jī)器學(xué)習(xí)就是通過(guò)算法使得機(jī)器能從大量歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律,從而對(duì)新的樣本完成智能識(shí)別或?qū)ξ磥?lái)做預(yù)測(cè);而深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支和新的研究領(lǐng)域。如今在大數(shù)據(jù)的背景下可用數(shù)據(jù)量的激增、計(jì)算能力的增強(qiáng)以及計(jì)算成本的降低為深度學(xué)習(xí)的進(jìn)一步發(fā)展提供了平臺(tái),同時(shí)也為深度學(xué)習(xí)在各大領(lǐng)域中的應(yīng)用提供了支撐。 回顧歷史機(jī)器學(xué)習(xí)的發(fā)展歷程大致可以分為五個(gè)時(shí)期,而伴隨著機(jī)器學(xué)習(xí)的發(fā)展,深度學(xué)習(xí)共出現(xiàn)三次浪潮。我們以機(jī)器學(xué)習(xí)的發(fā)展作為主線來(lái)介紹不同時(shí)期機(jī)器學(xué)習(xí)與深度學(xué)習(xí)之間的關(guān)系。
第一個(gè)時(shí)期從20世紀(jì)50年代持續(xù)至20世紀(jì)70年代,由于在此期間研究人員致力于用數(shù)學(xué)證明機(jī)器學(xué)習(xí)的合理性,因此稱之為“推理期”。在此期間深度學(xué)習(xí)的雛形出現(xiàn)在控制論中,隨著生物學(xué)習(xí)理論的發(fā)展與第一個(gè)模型的實(shí)現(xiàn)(感知機(jī),1958年),其能實(shí)現(xiàn)單個(gè)神經(jīng)元的訓(xùn)練,這是深度學(xué)習(xí)的第一次浪潮。
第二個(gè)時(shí)期從20世紀(jì)70年代持續(xù)至20世紀(jì)80年代,由于在這個(gè)階段機(jī)器學(xué)習(xí)專家認(rèn)為機(jī)器學(xué)習(xí)就是讓機(jī)器獲取知識(shí),因此稱之為“知識(shí)期”,在此期間深度學(xué)習(xí)主要表現(xiàn)在機(jī)器學(xué)習(xí)中基于神經(jīng)網(wǎng)絡(luò)的連接主義。
第三個(gè)時(shí)期從20世紀(jì)80年代持續(xù)至20世紀(jì)90年代,這個(gè)時(shí)期的機(jī)器學(xué)習(xí)專家主張讓機(jī)器“主動(dòng)”學(xué)習(xí),即從樣例中學(xué)習(xí)知識(shí),代表性成果包括決策樹和BP神經(jīng)網(wǎng)絡(luò),因此稱這個(gè)時(shí)期為“學(xué)習(xí)期”。在此期間深度學(xué)習(xí)仍然表現(xiàn)為基于神經(jīng)網(wǎng)絡(luò)的連接主義,而其中BP神經(jīng)網(wǎng)絡(luò)的提出為深度學(xué)習(xí)帶來(lái)了第二次浪潮。其實(shí)在此期間就存在很好的算法,但由于數(shù)據(jù)量以及計(jì)算能力的限制致使這些算法的良好效果并沒有展現(xiàn)出來(lái)。
第四個(gè)時(shí)期從20世紀(jì)初持續(xù)至21世紀(jì)初,這時(shí)的研究者們開始嘗試用統(tǒng)計(jì)的方法分析并預(yù)測(cè)數(shù)據(jù)的分布,因此稱這個(gè)時(shí)期為“統(tǒng)計(jì)期”,這個(gè)階段提出了代表性的算法“支持向量機(jī)”,而此時(shí)的深度學(xué)習(xí)仍然停留在第二次浪潮中。
第五個(gè)時(shí)期從20世紀(jì)初持續(xù)至今,神經(jīng)網(wǎng)絡(luò)再一次被機(jī)器學(xué)習(xí)專家重視,2006年Hinton及其學(xué)生Salakhutdinov發(fā)表的論文《Reducing the Dimensionality of Data with Neural Networks》標(biāo)志著深度學(xué)習(xí)的正式復(fù)興,該時(shí)期掀起深度學(xué)習(xí)的第三次浪潮,同時(shí)在機(jī)器學(xué)習(xí)的發(fā)展階段中被稱為“深度學(xué)習(xí)”時(shí)期。此時(shí),深度神經(jīng)網(wǎng)絡(luò)已經(jīng)優(yōu)于與之競(jìng)爭(zhēng)的基于其他機(jī)器學(xué)習(xí)的技術(shù)以及手工設(shè)計(jì)功能的AI系統(tǒng)。而在此之后,伴隨著數(shù)據(jù)量的爆炸式增長(zhǎng)與計(jì)算能力的與日俱增,深度學(xué)習(xí)得到了進(jìn)一步的發(fā)展。
機(jī)器學(xué)習(xí)和深度學(xué)習(xí)發(fā)展的漫漫長(zhǎng)路

審核編輯:郭婷
-
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8546瀏覽量
136523 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5594瀏覽量
124145
原文標(biāo)題:【科普】機(jī)器學(xué)習(xí)和深度學(xué)習(xí)是一回事么?
文章出處:【微信號(hào):Hardware_10W,微信公眾號(hào):硬件十萬(wàn)個(gè)為什么】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中需避免的 7 個(gè)常見錯(cuò)誤與局限性
穿孔機(jī)頂頭檢測(cè)儀 機(jī)器視覺深度學(xué)習(xí)
如何深度學(xué)習(xí)機(jī)器視覺的應(yīng)用場(chǎng)景
如何在機(jī)器視覺中部署深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)
深度學(xué)習(xí)對(duì)工業(yè)物聯(lián)網(wǎng)有哪些幫助
自動(dòng)駕駛中Transformer大模型會(huì)取代深度學(xué)習(xí)嗎?
FPGA在機(jī)器學(xué)習(xí)中的具體應(yīng)用
使用MATLAB進(jìn)行無(wú)監(jiān)督學(xué)習(xí)
嵌入式AI技術(shù)之深度學(xué)習(xí):數(shù)據(jù)樣本預(yù)處理過(guò)程中使用合適的特征變換對(duì)深度學(xué)習(xí)的意義
如何排除深度學(xué)習(xí)工作臺(tái)上量化OpenVINO?的特定層?
SLAMTEC Aurora:把深度學(xué)習(xí)“卷”進(jìn)機(jī)器人日常
軍事應(yīng)用中深度學(xué)習(xí)的挑戰(zhàn)與機(jī)遇
機(jī)器學(xué)習(xí)模型市場(chǎng)前景如何
BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系
嵌入式機(jī)器學(xué)習(xí)的應(yīng)用特性與軟件開發(fā)環(huán)境
機(jī)器學(xué)習(xí)和深度學(xué)習(xí)是什么關(guān)系
評(píng)論