有三個(gè)詞，這兩年出現(xiàn)的頻率越來越高：人工智能（AI），機(jī)器學(xué)習(xí)（ML），深度學(xué)習(xí)（DL），到底他們哥仨是什么關(guān)系？今天小編化繁為簡，用幾張圖帶你迅速看明白。關(guān)系如圖，從提出概念的時(shí)間上來看也很清楚：

人工智能AI：模擬人腦，辨認(rèn)哪個(gè)是蘋果，哪個(gè)是橙子。

機(jī)器學(xué)習(xí)ML：根據(jù)特征在水果攤買橙子，隨著見過的橙子和其他水果越來越多，辨別橙子的能力越來越強(qiáng)，不會(huì)再把香蕉當(dāng)橙子。

機(jī)器學(xué)習(xí)強(qiáng)調(diào)“學(xué)習(xí)”而不是程序本身，通過復(fù)雜的算法來分析大量的數(shù)據(jù)，識別數(shù)據(jù)中的模式，并做出一個(gè)預(yù)測--不需要特定的代碼。在樣本的數(shù)量不斷增加的同時(shí)，自我糾正完善“學(xué)習(xí)目的”，可以從自身的錯(cuò)誤中學(xué)習(xí)，提高識別能力。

深度學(xué)習(xí)DL：超市里有3種蘋果和5種橙子，通過數(shù)據(jù)分析比對，把超市里的品種和數(shù)據(jù)建立聯(lián)系，通過水果的顏色、形狀、大小、成熟時(shí)間和產(chǎn)地等信息，分辨普通橙子和血橙，從而選擇購買用戶需要的橙子品種。

1、機(jī)器學(xué)習(xí)簡史

哲學(xué)上的三大終極問題：是誰？從哪來？到哪去？用在任何地方都是有意義的。

——尼古拉斯·沃布吉·道格拉斯·碩德

雖然人工智能并不是最近幾年才興起的，但在它一直作為科幻元素出現(xiàn)在大眾視野中。自從AlphaGo戰(zhàn)勝李世石之后，人工智能突然間成了坊間談資，仿佛人類已經(jīng)造出了超越人類智慧的機(jī)器。而人工智能的核心技術(shù)機(jī)器學(xué)習(xí)及其子領(lǐng)域深度學(xué)習(xí)一時(shí)間成了人們的掌上明珠。面對這個(gè)從天而降的“怪物”，樂觀者有之，悲觀者亦有之。但追溯歷史，我們會(huì)發(fā)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)爆發(fā)有其歷史必然性，屬于技術(shù)發(fā)展的必然產(chǎn)物。而理清機(jī)器學(xué)習(xí)的發(fā)展脈絡(luò)有助于我們整體把握機(jī)器學(xué)習(xí)，或者人工智能的技術(shù)框架，有助于從“道”的層面理解這一技術(shù)領(lǐng)域。這一節(jié)就先從三大究極哲學(xué)問題中的后兩個(gè)——從哪來、到哪去入手，整體把握機(jī)器學(xué)習(xí)，而后再從“術(shù)”的角度深入學(xué)習(xí)，解決是誰的問題。(本來想加個(gè)縱時(shí)間軸，無奈查了半天沒找到方法，如果有人知道，求分享）

圖一 機(jī)器學(xué)習(xí)發(fā)展史（圖片來源：Brief History of Machine Learning）

1.1 誕生并奠定基礎(chǔ)時(shí)期

1949, Hebb, Hebbian Learning theory

赫布于1949年基于神經(jīng)心理的提出了一種學(xué)習(xí)方式，該方法被稱之為赫布學(xué)習(xí)理論。大致描述為：

假設(shè)反射活動(dòng)的持續(xù)性或反復(fù)性會(huì)導(dǎo)致細(xì)胞的持續(xù)性變化并增加其穩(wěn)定性，當(dāng)一個(gè)神經(jīng)元A能持續(xù)或反復(fù)激發(fā)神經(jīng)元B時(shí)，其中一個(gè)或兩個(gè)神經(jīng)元的生長或代謝過程都會(huì)變化。

Let us assume that the persistence or repetition of a reverberatory activity (or “trace”) tends to induce lasting cellular changes that add to its stability.… When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A’s efficiency, as one of the cells firing B, is increased

從人工神經(jīng)元或人工神經(jīng)網(wǎng)絡(luò)角度來看，該學(xué)習(xí)理論簡單地解釋了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）中結(jié)點(diǎn)之間的相關(guān)性關(guān)系（權(quán)重），即：當(dāng)兩個(gè)節(jié)點(diǎn)同時(shí)發(fā)生變化（無論是positive還是negative），那么節(jié)點(diǎn)之間有很強(qiáng)的正相關(guān)性（positive weight）；如果兩者變化相反，那么說明有負(fù)相關(guān)性（negative weight）。

1950, Alan Turing, The Turing test

圖二 圖靈測試（圖片來源：維基百科）

1950年，阿蘭·圖靈創(chuàng)造了圖靈測試來判定計(jì)算機(jī)是否智能。圖靈測試認(rèn)為，如果一臺機(jī)器能夠與人類展開對話（通過電傳設(shè)備）而不能被辨別出其機(jī)器身份，那么稱這臺機(jī)器具有智能。這一簡化使得圖靈能夠令人信服地說明“思考的機(jī)器”是可能的。

2014年6月8日，一個(gè)叫做尤金·古斯特曼的聊天機(jī)器人成功讓人類相信它是一個(gè)13歲的男孩，成為有史以來首臺通過圖靈測試的計(jì)算機(jī)。這被認(rèn)為是人工智能發(fā)展的一個(gè)里程碑事件。

1952, Arthur Samuel, “Machine Learning”

圖三 塞繆爾（圖片來源：Brief History of Machine Learning）

1952，IBM科學(xué)家亞瑟·塞繆爾開發(fā)了一個(gè)跳棋程序。該程序能夠通過觀察當(dāng)前位置，并學(xué)習(xí)一個(gè)隱含的模型，從而為后續(xù)動(dòng)作提供更好的指導(dǎo)。塞繆爾發(fā)現(xiàn)，伴隨著該游戲程序運(yùn)行時(shí)間的增加，其可以實(shí)現(xiàn)越來越好的后續(xù)指導(dǎo)。通過這個(gè)程序，塞繆爾駁倒了普羅維登斯提出的機(jī)器無法超越人類，像人類一樣寫代碼和學(xué)習(xí)的模式。他創(chuàng)造了“機(jī)器學(xué)習(xí)”這一術(shù)語，并將它定義為：

可以提供計(jì)算機(jī)能力而無需顯式編程的研究領(lǐng)域

a field of study that gives computer the ability without being explicitly programmed.

1957, Rosenblatt, Perceptron

圖四 感知機(jī)線性分類器（圖片來源：維基百科）

1957年，羅森·布拉特基于神經(jīng)感知科學(xué)背景提出了第二模型，非常的類似于今天的機(jī)器學(xué)習(xí)模型。這在當(dāng)時(shí)是一個(gè)非常令人興奮的發(fā)現(xiàn)，它比赫布的想法更適用?；谶@個(gè)模型羅森·布拉特設(shè)計(jì)出了第一個(gè)計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)——感知機(jī)（the perceptron），它模擬了人腦的運(yùn)作方式。羅森·布拉特對感知機(jī)的定義如下：

感知機(jī)旨在說明一般智能系統(tǒng)的一些基本屬性，它不會(huì)因?yàn)閭€(gè)別特例或通常不知道的東西所束縛住，也不會(huì)因?yàn)槟切﹤€(gè)別生物有機(jī)體的情況而陷入混亂。

The perceptron is designed to illustrate some of the fundamental properties of intelligent systems in general, without becoming too deeply enmeshed in the special, and frequently unknown, conditions which hold for particular biological organisms.

3年后，維德羅首次使用Delta學(xué)習(xí)規(guī)則（即最小二乘法）用于感知器的訓(xùn)練步驟，創(chuàng)造了一個(gè)良好的線性分類器。

1967年，The nearest neighbor algorithm

圖五 kNN算法（圖片來源：維基百科）

1967年，最近鄰算法（The nearest neighbor algorithm）出現(xiàn)，使計(jì)算機(jī)可以進(jìn)行簡單的模式識別。kNN算法的核心思想是如果一個(gè)樣本在特征空間中的k個(gè)最相鄰的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別，并具有這個(gè)類別上樣本的特性。這就是所謂的“少數(shù)聽從多數(shù)”原則。

1969, Minsky, XOR problem

圖六 XOR問題，數(shù)據(jù)線性不可分

1969年馬文·明斯基提出了著名的XOR問題,指出感知機(jī)在線性不可分的數(shù)據(jù)分布上是失效的。此后神經(jīng)網(wǎng)絡(luò)的研究者進(jìn)入了寒冬，直到 1980 年才再一次復(fù)蘇。

1.2 停滯不前的瓶頸時(shí)期

從60年代中到70年代末，機(jī)器學(xué)習(xí)的發(fā)展步伐幾乎處于停滯狀態(tài)。無論是理論研究還是計(jì)算機(jī)硬件限制，使得整個(gè)人工智能領(lǐng)域的發(fā)展都遇到了很大的瓶頸。雖然這個(gè)時(shí)期溫斯頓(Winston)的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)和海斯·羅思(Hayes Roth)等的基于邏輯的歸納學(xué)習(xí)系統(tǒng)取得較大的進(jìn)展，但只能學(xué)習(xí)單一概念，而且未能投入實(shí)際應(yīng)用。而神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)因理論缺陷也未能達(dá)到預(yù)期效果而轉(zhuǎn)入低潮。

1.3 希望之光重新點(diǎn)亮

1981, Werbos, Multi-Layer Perceptron (MLP)

圖七 多層感知機(jī)（或者人工神經(jīng)網(wǎng)絡(luò)）

偉博斯在1981年的神經(jīng)網(wǎng)絡(luò)反向傳播(BP)算法中具體提出多層感知機(jī)模型。雖然BP算法早在1970年就已經(jīng)以“自動(dòng)微分的反向模型（reverse mode of automatic differentiation）”為名提出來了，但直到此時(shí)才真正發(fā)揮效用，并且直到今天BP算法仍然是神經(jīng)網(wǎng)絡(luò)架構(gòu)的關(guān)鍵因素。有了這些新思想，神經(jīng)網(wǎng)絡(luò)的研究又加快了。

在1985-1986年，神經(jīng)網(wǎng)絡(luò)研究人員（魯梅爾哈特，辛頓，威廉姆斯-赫，尼爾森）相繼提出了使用BP算法訓(xùn)練的多參數(shù)線性規(guī)劃（MLP）的理念，成為后來深度學(xué)習(xí)的基石。

1986, Quinlan, Decision Trees

圖八 決策樹（圖片來源：維基百科）

在另一個(gè)譜系中，昆蘭于1986年提出了一種非常出名的機(jī)器學(xué)習(xí)算法，我們稱之為“決策樹”，更具體的說是ID3算法。這是另一個(gè)主流機(jī)器學(xué)習(xí)算法的突破點(diǎn)。此外ID3算法也被發(fā)布成為了一款軟件，它能以簡單的規(guī)劃和明確的推論找到更多的現(xiàn)實(shí)案例，而這一點(diǎn)正好和神經(jīng)網(wǎng)絡(luò)黑箱模型相反。

決策樹是一個(gè)預(yù)測模型，他代表的是對象屬性與對象值之間的一種映射關(guān)系。樹中每個(gè)節(jié)點(diǎn)表示某個(gè)對象，而每個(gè)分叉路徑則代表的某個(gè)可能的屬性值，而每個(gè)葉結(jié)點(diǎn)則對應(yīng)從根節(jié)點(diǎn)到該葉節(jié)點(diǎn)所經(jīng)歷的路徑所表示的對象的值。決策樹僅有單一輸出，若欲有復(fù)數(shù)輸出，可以建立獨(dú)立的決策樹以處理不同輸出。數(shù)據(jù)挖掘中決策樹是一種經(jīng)常要用到的技術(shù)，可以用于分析數(shù)據(jù)，同樣也可以用來作預(yù)測。

在ID3算法提出來以后，研究社區(qū)已經(jīng)探索了許多不同的選擇或改進(jìn)（如ID4、回歸樹、CART算法等），這些算法仍然活躍在機(jī)器學(xué)習(xí)領(lǐng)域中。

1.4 現(xiàn)代機(jī)器學(xué)習(xí)的成型時(shí)期

1990, Schapire, Boosting

圖九 Boosting算法（圖片來源：百度百科）

1990年, Schapire最先構(gòu)造出一種多項(xiàng)式級的算法，這就是最初的Boosting算法。一年后 ,Freund提出了一種效率更高的Boosting算法。但是,這兩種算法存在共同的實(shí)踐上的缺陷，那就是都要求事先知道弱學(xué)習(xí)算法學(xué)習(xí)正確的下限。

1995年，F(xiàn)reund和schapire改進(jìn)了Boosting算法，提出了 AdaBoost (Adaptive Boosting)算法,該算法效率和Freund于1991年提出的 Boosting算法幾乎相同，但不需要任何關(guān)于弱學(xué)習(xí)器的先驗(yàn)知識，因而更容易應(yīng)用到實(shí)際問題當(dāng)中。

Boosting方法是一種用來提高弱分類算法準(zhǔn)確度的方法,這種方法通過構(gòu)造一個(gè)預(yù)測函數(shù)系列,然后以一定的方式將他們組合成一個(gè)預(yù)測函數(shù)。他是一種框架算法,主要是通過對樣本集的操作獲得樣本子集,然后用弱分類算法在樣本子集上訓(xùn)練生成一系列的基分類器。

1995, Vapnik and Cortes, Support Vector Machines (SVM)

圖十 支持向量機(jī)（圖片來源：維基百科）

支持向量機(jī)的出現(xiàn)是機(jī)器學(xué)習(xí)領(lǐng)域的另一大重要突破，該算法具有非常強(qiáng)大的理論地位和實(shí)證結(jié)果。那一段時(shí)間機(jī)器學(xué)習(xí)研究也分為NN和SVM兩派。然而，在2000年左右提出了帶核函數(shù)的支持向量機(jī)后。SVM在許多以前由NN占據(jù)的任務(wù)中獲得了更好的效果。此外，SVM相對于NN還能利用所有關(guān)于凸優(yōu)化、泛化邊際理論和核函數(shù)的深厚知識。因此SVM可以從不同的學(xué)科中大力推動(dòng)理論和實(shí)踐的改進(jìn)。

而神經(jīng)網(wǎng)絡(luò)遭受到又一個(gè)質(zhì)疑，通過Hochreiter等人1991年和Hochreiter等人在2001年的研究表明在應(yīng)用BP算法學(xué)習(xí)時(shí)，NN神經(jīng)元飽和后會(huì)出現(xiàn)梯度損失（gradient loss）的情況。簡單地說，在一定數(shù)量的epochs訓(xùn)練后，NN會(huì)產(chǎn)生過擬合現(xiàn)象，因此這一時(shí)期NN與SVM相比處于劣勢。

2001, Breiman, Random Forests(RF)

決策樹模型由布雷曼博士在2001年提出，它是通過集成學(xué)習(xí)的思想將多棵樹集成的一種算法，它的基本單元是決策樹，而它的本質(zhì)屬于機(jī)器學(xué)習(xí)的一大分支——集成學(xué)習(xí)（Ensemble Learning）方法。隨機(jī)森林的名稱中有兩個(gè)關(guān)鍵詞，一個(gè)是“隨機(jī)”，一個(gè)就是“森林”?！吧帧蔽覀兒芎美斫?，一棵叫做樹，那么成百上千棵就可以叫做森林了，這樣的比喻還是很貼切的，其實(shí)這也是隨機(jī)森林的主要思想—集成思想的體現(xiàn)。

其實(shí)從直觀角度來解釋，每棵決策樹都是一個(gè)分類器（假設(shè)現(xiàn)在針對的是分類問題），那么對于一個(gè)輸入樣本，N棵樹會(huì)有N個(gè)分類結(jié)果。而隨機(jī)森林集成了所有的分類投票結(jié)果，將投票次數(shù)最多的類別指定為最終的輸出，這就是一種最簡單的 Bagging 思想。

1.5 爆發(fā)時(shí)期

2006, Hinton, Deep Learning

在機(jī)器學(xué)習(xí)發(fā)展分為兩個(gè)部分，淺層學(xué)習(xí)（Shallow Learning）和深度學(xué)習(xí)（Deep Learning）。淺層學(xué)習(xí)起源上世紀(jì)20年代人工神經(jīng)網(wǎng)絡(luò)的反向傳播算法的發(fā)明，使得基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)算法大行其道，雖然這時(shí)候的人工神經(jīng)網(wǎng)絡(luò)算法也被稱為多層感知機(jī)，但由于多層網(wǎng)絡(luò)訓(xùn)練困難，通常都是只有一層隱含層的淺層模型。

神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域領(lǐng)軍者Hinton在2006年提出了神經(jīng)網(wǎng)絡(luò)Deep Learning算法，使神經(jīng)網(wǎng)絡(luò)的能力大大提高，向支持向量機(jī)發(fā)出挑戰(zhàn)。 2006年，機(jī)器學(xué)習(xí)領(lǐng)域的泰斗Hinton和他的學(xué)生Salakhutdinov在頂尖學(xué)術(shù)刊物《Scince》上發(fā)表了一篇文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。

這篇文章有兩個(gè)主要的訊息：1）很多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻劃，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（ layer-wise pre-training）來有效克服，在這篇文章中，逐層初始化是通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。

2015年，為紀(jì)念人工智能概念提出60周年，LeCun、Bengio和Hinton推出了深度學(xué)習(xí)的聯(lián)合綜述。

深度學(xué)習(xí)可以讓那些擁有多個(gè)處理層的計(jì)算模型來學(xué)習(xí)具有多層次抽象的數(shù)據(jù)的表示。這些方法在許多方面都帶來了顯著的改善，包括最先進(jìn)的語音識別、視覺對象識別、對象檢測和許多其它領(lǐng)域，例如藥物發(fā)現(xiàn)和基因組學(xué)等。深度學(xué)習(xí)能夠發(fā)現(xiàn)大數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)。它是利用BP算法來完成這個(gè)發(fā)現(xiàn)過程的。BP算法能夠指導(dǎo)機(jī)器如何從前一層獲取誤差而改變本層的內(nèi)部參數(shù)，這些內(nèi)部參數(shù)可以用于計(jì)算表示。深度卷積網(wǎng)絡(luò)在處理圖像、視頻、語音和音頻方面帶來了突破，而遞歸網(wǎng)絡(luò)在處理序列數(shù)據(jù)，比如文本和語音方面表現(xiàn)出了閃亮的一面。

當(dāng)前統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域最熱門方法主要有deep learning和SVM（supportvector machine），它們是統(tǒng)計(jì)學(xué)習(xí)的代表方法。可以認(rèn)為神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)都源自于感知機(jī)。

神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)一直處于“競爭”關(guān)系。SVM應(yīng)用核函數(shù)的展開定理，無需知道非線性映射的顯式表達(dá)式；由于是在高維特征空間中建立線性學(xué)習(xí)機(jī)，所以與線性模型相比，不但幾乎不增加計(jì)算的復(fù)雜性，而且在某種程度上避免了“維數(shù)災(zāi)難”。而早先的神經(jīng)網(wǎng)絡(luò)算法比較容易過訓(xùn)練，大量的經(jīng)驗(yàn)參數(shù)需要設(shè)置；訓(xùn)練速度比較慢，在層次比較少(小于等于3)的情況下效果并不比其它方法更優(yōu)。

神經(jīng)網(wǎng)絡(luò)模型貌似能夠?qū)崿F(xiàn)更加艱難的任務(wù)，如目標(biāo)識別、語音識別、自然語言處理等。但是，應(yīng)該注意的是，這絕對不意味著其他機(jī)器學(xué)習(xí)方法的終結(jié)。盡管深度學(xué)習(xí)的成功案例迅速增長，但是對這些模型的訓(xùn)練成本是相當(dāng)高的，調(diào)整外部參數(shù)也是很麻煩。同時(shí)，SVM的簡單性促使其仍然最為廣泛使用的機(jī)器學(xué)習(xí)方式。

1.6 啟示與未來的發(fā)展

人工智能機(jī)器學(xué)習(xí)是誕生于20世紀(jì)中葉的一門年輕的學(xué)科，它對人類的生產(chǎn)、生活方式產(chǎn)生了重大的影響，也引發(fā)了激烈的哲學(xué)爭論。但總的來說，機(jī)器學(xué)習(xí)的發(fā)展與其他一般事物的發(fā)展并無太大區(qū)別，同樣可以用哲學(xué)的發(fā)展的眼光來看待。

機(jī)器學(xué)習(xí)的發(fā)展并不是一帆風(fēng)順的，也經(jīng)歷了螺旋式上升的過程，成就與坎坷并存。其中大量的研究學(xué)者的成果才有了今天人工智能的空前繁榮，是量變到質(zhì)變的過程，也是內(nèi)因和外因的共同結(jié)果。

機(jī)器學(xué)習(xí)的發(fā)展詮釋了多學(xué)科交叉的重要性和必要性。然而這種交叉不是簡單地彼此知道幾個(gè)名詞或概念就可以的，是需要真正的融會(huì)貫通：

• 統(tǒng)計(jì)學(xué)家弗萊德曼早期從事物理學(xué)研究，他是優(yōu)化算法大師，而且他的編程能力同樣令人贊嘆;

• 喬丹教授既是一流的計(jì)算機(jī)學(xué)家，又是一流的統(tǒng)計(jì)學(xué)家，而他的博士專業(yè)為心理學(xué)，他能夠承擔(dān)起建立統(tǒng)計(jì)機(jī)器學(xué)習(xí)的重任;

• 辛頓教授是世界最著名的認(rèn)知心理學(xué)家和計(jì)算機(jī)科學(xué)家。雖然他很早就成就斐然，在學(xué)術(shù)界聲名鵲起，但他依然始終活躍在一線，自己寫代碼。他提出的許多想法簡單、可行又非常有效，被稱為偉大的思想家。正是由于他的睿智和身體力行，深度學(xué)習(xí)技術(shù)迎來了革命性的突破。

• …

深度學(xué)習(xí)的成功不是源自腦科學(xué)或認(rèn)知科學(xué)的進(jìn)展，而是因?yàn)榇髷?shù)據(jù)的驅(qū)動(dòng)和計(jì)算能力的極大提升?？梢哉f機(jī)器學(xué)習(xí)是由學(xué)術(shù)界、工業(yè)界、創(chuàng)業(yè)界（或競賽界）等合力造就的。學(xué)術(shù)界是引擎，工業(yè)界是驅(qū)動(dòng)，創(chuàng)業(yè)界是活力和未來。學(xué)術(shù)界和工業(yè)界應(yīng)該有各自的職責(zé)和分工。學(xué)術(shù)界的職責(zé)在于建立和發(fā)展機(jī)器學(xué)習(xí)學(xué)科，培養(yǎng)機(jī)器學(xué)習(xí)領(lǐng)域的專門人才；而大項(xiàng)目、大工程更應(yīng)該由市場來驅(qū)動(dòng)，由工業(yè)界來實(shí)施和完成。

對于機(jī)器學(xué)習(xí)的發(fā)展前途，中科院數(shù)學(xué)與系統(tǒng)科學(xué)研究院陸汝鈴老師在為南京大學(xué)周志華老師的《機(jī)器學(xué)習(xí)》一書作序時(shí)提出了六大問題，我覺得這些問題也許正是影響機(jī)器學(xué)習(xí)未來發(fā)展方向的基本問題，因此我摘錄其中五個(gè)在此（有兩個(gè)問題屬于同一個(gè)主題，合并之）：

• 問題一：在人工智能發(fā)展早期，機(jī)器學(xué)習(xí)的技術(shù)內(nèi)涵幾乎全部是符號學(xué)習(xí)，可是從二十世紀(jì)九十年代開始，統(tǒng)計(jì)機(jī)器學(xué)習(xí)有一匹黑馬橫空出世，迅速壓倒并取代了符號學(xué)習(xí)的地位。人們可能會(huì)問，符號學(xué)習(xí)是否被徹底忽略了？他還能成為機(jī)器學(xué)習(xí)的研究對象嗎？它是否能繼續(xù)在統(tǒng)計(jì)學(xué)習(xí)的陰影里茍延殘喘？

第一種觀點(diǎn)：退出歷史舞臺——沒有人抱有這種想法。

第二種觀點(diǎn)：統(tǒng)計(jì)學(xué)習(xí)和符號學(xué)習(xí)結(jié)合起來——王玨教授認(rèn)為，現(xiàn)在機(jī)器學(xué)習(xí)已經(jīng)到了一個(gè)轉(zhuǎn)折點(diǎn)，統(tǒng)計(jì)學(xué)習(xí)要想進(jìn)入一個(gè)更高級的形式，就應(yīng)該和知識相結(jié)合，否則就會(huì)停留于現(xiàn)狀而止步不前。

第三種觀點(diǎn)：符號學(xué)習(xí)還有翻身之日——Chandrasekaran教授認(rèn)為機(jī)器學(xué)習(xí)并不會(huì)回到“河西”，而是隨著技術(shù)的進(jìn)步逐漸轉(zhuǎn)向基本的認(rèn)知科學(xué)。

• 問題二：統(tǒng)計(jì)機(jī)器學(xué)習(xí)的算法都是基于樣本數(shù)據(jù)獨(dú)立同分布的假設(shè)，但自然界現(xiàn)象千變?nèi)f化，哪里有那么多獨(dú)立同分布？那么“獨(dú)立同分布”條件對于機(jī)器學(xué)習(xí)來說是必需的嗎？獨(dú)立同分布的不存在一定是不可逾越的障礙嗎？

遷移學(xué)習(xí)也許會(huì)給問題的解決帶來一絲曙光？

• 問題三：近年來出現(xiàn)了一些新的動(dòng)向，比如深度學(xué)習(xí)。但他們真的代表機(jī)器學(xué)習(xí)新的方向嗎？

包括周志華老師在內(nèi)的一些學(xué)者認(rèn)為深度學(xué)習(xí)掀起的熱潮大過它本身的貢獻(xiàn)，在理論和技術(shù)上并沒有太多的創(chuàng)新，只不過硬件技術(shù)的革命使得人們能采用原來復(fù)雜度很高的算法，從而得到更精細(xì)的結(jié)果。

• 問題四：機(jī)器學(xué)習(xí)研究出現(xiàn)以來，我們看到的主要是從符號方法到統(tǒng)計(jì)方法的演變，用到的數(shù)學(xué)主要是概率統(tǒng)計(jì)。但是今天數(shù)學(xué)之大，就像大海，難道只有統(tǒng)計(jì)方法適合于在機(jī)器學(xué)習(xí)方面的應(yīng)用？

目前流行學(xué)習(xí)已經(jīng)“有點(diǎn)意思了”，但數(shù)學(xué)理論的介入程度遠(yuǎn)遠(yuǎn)不夠，有待更多數(shù)學(xué)家參與，開辟新的模式、理論和方法。

• 問題五：大數(shù)據(jù)時(shí)代的出現(xiàn)，有沒有給機(jī)器學(xué)習(xí)帶來本質(zhì)性的影響？

大數(shù)據(jù)時(shí)代給機(jī)器學(xué)習(xí)帶來了前所未有的機(jī)遇，但是同樣的統(tǒng)計(jì)、采樣方法相較以前有什么本質(zhì)不同嗎？又從量變過渡到質(zhì)變嗎？數(shù)理統(tǒng)計(jì)方法有沒有發(fā)生質(zhì)的變化？大數(shù)據(jù)時(shí)代正在呼吁什么樣的機(jī)器學(xué)習(xí)方法？哪些方法又是大數(shù)據(jù)研究的驅(qū)動(dòng)而產(chǎn)生的呢？

2、機(jī)器學(xué)習(xí)基本概念

權(quán)威定義：

Arthur samuel: 在不直接針對問題進(jìn)行編程的情況下，賦予計(jì)算機(jī)學(xué)習(xí)能力的一個(gè)研究領(lǐng)域。

Tom Mitchell: 對于某類任務(wù)T和性能度量P，如果計(jì)算機(jī)程序在T上以P衡量的性能隨著經(jīng)驗(yàn)E而自我完善，那么就稱這個(gè)計(jì)算機(jī)程序從經(jīng)驗(yàn)E學(xué)習(xí)。

其實(shí)隨著學(xué)習(xí)的深入，慢慢會(huì)發(fā)現(xiàn)機(jī)器學(xué)習(xí)越來越難定義，因?yàn)樯婕暗降念I(lǐng)域很廣，應(yīng)用也很廣，現(xiàn)在基本成為計(jì)算機(jī)相關(guān)專業(yè)的標(biāo)配，但是在實(shí)際的操作過程中，又慢慢會(huì)發(fā)現(xiàn)其實(shí)機(jī)器學(xué)習(xí)也是很簡單的一件事，我們最的大部分事情其實(shí)就是兩件事情，一個(gè)是分類，一個(gè)是回歸。比如房價(jià)的預(yù)測、股價(jià)的預(yù)測等是回歸問題，情感判別、信用卡是否發(fā)放等則是屬于分類。現(xiàn)實(shí)的情況 一般是給我們一堆數(shù)據(jù)，我們根據(jù)專業(yè)知識和一些經(jīng)驗(yàn)提取最能表達(dá)數(shù)據(jù)的特征，然后我們再用算法去建模，等有未知數(shù)據(jù)過來的時(shí)候我們就能夠預(yù)測到這個(gè)是屬于哪個(gè)類別或者說預(yù)測到是一個(gè)什么值以便作出下一步的決策。比如說人臉識別系統(tǒng)，目的是作為一個(gè)驗(yàn)證系統(tǒng)，可能是一個(gè)權(quán)限管理，如果是系統(tǒng)中的人則有權(quán)限否則沒有權(quán)限，首先給到我們的數(shù)據(jù)是一堆人臉的照片，第一步要做的事情是對數(shù)據(jù)進(jìn)行預(yù)處理，然后是提取人臉特征，最后選擇算法比如說SVM或者RF等等，算法的最終選擇設(shè)計(jì)到評價(jià)標(biāo)準(zhǔn)，這個(gè)后面具體講，這樣我們就建立了一個(gè)人臉識別的模型，當(dāng)系統(tǒng)輸入一張人臉，我們就能夠知道他是不是在系統(tǒng)之中。機(jī)器學(xué)習(xí)的整個(gè)流程不過就這幾步，最后不過就是參數(shù)尋優(yōu)，包括現(xiàn)在如火如荼的機(jī)器學(xué)習(xí)。

當(dāng)我們判斷是否要使機(jī)器學(xué)習(xí)時(shí)，可以看看是不是以下的場景

1. 人類不能手動(dòng)編程；

2. 人類不能很好的定義這個(gè)問題的解決方案是什么；

3. 人類不能做i到的需要極度快速?zèng)Q策的系統(tǒng)；

4. 大規(guī)模個(gè)性化服務(wù)系統(tǒng)；

3、機(jī)器學(xué)習(xí)分類

3.1、監(jiān)督式學(xué)習(xí) Supervised Learning

在監(jiān)督式學(xué)習(xí)下，每組訓(xùn)練數(shù)據(jù)都有一個(gè)標(biāo)識值或結(jié)果值，如客戶流失對應(yīng)1，不流失對應(yīng)0。在建立預(yù)測模型的時(shí)候，監(jiān)督式學(xué)習(xí)建立一個(gè)學(xué)習(xí)過程，將預(yù)測的結(jié)果與訓(xùn)練數(shù)據(jù)的實(shí)際結(jié)果進(jìn)行比較，不斷的調(diào)整預(yù)測模型，直到模型的預(yù)測結(jié)果達(dá)到一個(gè)預(yù)期的準(zhǔn)確率。

分類 Classification

1. K最近鄰 K-Nearest Neighbor (KNN)

2. 樸素貝葉斯 Naive Bayes

3. 決策樹 Decision Tree：C4.5、分類回歸樹 Classification And Regression Tree (CART)

4. 支持向量機(jī)器 Support Vector Machine (SVM)

回歸 Regression

1. 線性回歸 linear regression

2. 局部加權(quán)回歸 Locally weighted regression

3. 邏輯回歸 logistic Regression

4. 逐步回歸 stepwise regression

5. 多元自適應(yīng)回歸樣條法 multivariate adaptive regression splines

6. 局部散點(diǎn)平滑估計(jì) Locally estimated scatter plot smoothing ( LOESS )

7. 嶺回歸 Ridge Regression

8. Least Absolute Shrinkage and Selection Operator ( LASSO )

9. 彈性網(wǎng)絡(luò) Elastic Net

10. 多項(xiàng)式回歸 Polynomial Regression

排序 Rank

1. 單文檔分類 Pointwise：McRank

2. 文檔對方法（Pairwise）：Ranking SVM、RankNet、Frank、RankBoost

3. 文檔列表方法（Listwise）：AdaRank、SoftRank、LambdaMART

匹配學(xué)習(xí)

1. 人工神經(jīng)網(wǎng)絡(luò)：感知神經(jīng)網(wǎng)絡(luò) Perception Neural Network、反向傳遞 Back Propagation、Hopfield網(wǎng)絡(luò)、自組織映射 Self-Organizing Map ( SOM )、學(xué)習(xí)矢量量化 Learning Vector Quantization ( LVQ )

3.2 半監(jiān)督學(xué)習(xí)

在半監(jiān)督學(xué)習(xí)方式下，訓(xùn)練數(shù)據(jù)有部分被標(biāo)識，部分沒有被標(biāo)識，這種模型首先需要學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，以便合理的組織數(shù)據(jù)來進(jìn)行預(yù)測。算法上，包括一些對常用監(jiān)督式學(xué)習(xí)算法的延伸，這些算法首先試圖對未標(biāo)識數(shù)據(jù)進(jìn)行建模，在此基礎(chǔ)上再對標(biāo)識的數(shù)據(jù)進(jìn)行預(yù)測。如深度學(xué)習(xí)：

深度學(xué)習(xí) Deep Learning

深度學(xué)習(xí)是 監(jiān)督學(xué)習(xí)的匹配學(xué)習(xí)中人工神經(jīng)網(wǎng)絡(luò)延伸出來發(fā)展出來的。

1. 受限波爾茲曼機(jī) Restricted Boltzmann Machine ( RBM )

2. 深度信念網(wǎng)絡(luò) Deep Belief Networks ( DBN )

3. 卷積網(wǎng)絡(luò) Convolutional Network

4. 棧式自編碼 Stacked Auto-encoders

3.3 無監(jiān)督學(xué)習(xí) Unsupervised Learning

在非監(jiān)督式學(xué)習(xí)中，數(shù)據(jù)并不被特別標(biāo)識，學(xué)習(xí)模型是為了推斷出數(shù)據(jù)的一些內(nèi)在結(jié)構(gòu)。

聚類 Cluster

1. K均值 k-means

2. 最大期望算法 Expectation Maximization ( EM )

3. 降維方法 Dimensionality Reduction：主成分分析Principal Component Analysis ( PCA )、偏最小二乘回歸 Partial Least Squares Regression ( PLS )、Sammon映射 Sammon Mapping、多維尺度分析 Multidimensional Scaling ( MDS )、投影尋蹤 Projection Pursuit、RD

關(guān)聯(lián)規(guī)則 Association Rule

1. Apriori

2. Eclat

3.4 增強(qiáng)學(xué)習(xí) Reinforcement Learning

在之前的討論中，我們總是給定一個(gè)樣本x，然后給或者不給標(biāo)識值或結(jié)果值（給了就是監(jiān)督式學(xué)習(xí)，不給就是無監(jiān)督式學(xué)習(xí)）。之后對樣本進(jìn)行擬合、分類、聚類或者降維等操作。然而對于很多序列決策或者控制問題，很難有這么規(guī)則的樣本。比如，四足機(jī)器人的控制問題，剛開始都不知道應(yīng)該讓其動(dòng)那條腿，在移動(dòng)過程中，也不知道怎么讓機(jī)器人自動(dòng)找到合適的前進(jìn)方向。

增強(qiáng)學(xué)習(xí)要解決的是這樣的問題：一個(gè)能感知環(huán)境的自治agent，怎樣通過學(xué)習(xí)選擇能達(dá)到其目標(biāo)的最優(yōu)動(dòng)作。這個(gè)很具有普遍性的問題應(yīng)用于學(xué)習(xí)控制移動(dòng)機(jī)器人，在工廠中學(xué)習(xí)最優(yōu)操作工序以及學(xué)習(xí)棋類對弈等。當(dāng)agent在其環(huán)境中做出每個(gè)動(dòng)作時(shí)，施教者會(huì)提供獎(jiǎng)勵(lì)或懲罰信息，以表示結(jié)果狀態(tài)的正確與否。例如，在訓(xùn)練agent進(jìn)行棋類對弈時(shí)，施教者可在游戲勝利時(shí)給出正回報(bào)，而在游戲失敗時(shí)給出負(fù)回報(bào)，其他時(shí)候?yàn)榱慊貓?bào)。agent的任務(wù)就是從這個(gè)非直接的，有延遲的回報(bào)中學(xué)習(xí)，以便后續(xù)的動(dòng)作產(chǎn)生最大的累積效應(yīng)。

1. Q-Learning

2. 時(shí)間差學(xué)習(xí) Temporal difference learning

3.5 其他

集成算法

集成算法用一些相對較弱的學(xué)習(xí)模型獨(dú)立地就同樣的樣本進(jìn)行訓(xùn)練，然后把結(jié)果整合起來進(jìn)行整體預(yù)測。

1. Boosting

2. Bootstrapped Aggregation ( Bagging )

3. AdaBoost

4. 堆疊泛化 Stacked Generalization

5. 梯度推進(jìn)機(jī) Gradient Boosting Machine ( GBM )

6. 隨機(jī)森林 Random Forest