何謂“機器學習”，學界尚未有統(tǒng)一的定義。本文摘取Tom Mitchell、Christopher M. Bishop、去年出版的《深度學習》和側(cè)重實戰(zhàn)的《數(shù)據(jù)挖掘》，總結(jié)了四種機器學習主流定義。更好地研究“機器學習”，并繼續(xù)擴展和完善它的定義，也有助于我們理解機器學習的本質(zhì)。

你或許已經(jīng)讀過許多關(guān)于機器學習的深度和和半深度的文章，并探討了機器學習與眾多其他主題的關(guān)系。在討論如此復(fù)雜的概念時，回到最初的一些共同參考資料總是一個好主意；問題是，對于機器學習這樣的主題，存在無數(shù)這樣的參考資料。

所以我想，為什么不研究一下這些參考點呢？

這是一篇不那么嚴肅的帖子，旨在探討機器學習的本質(zhì)。

話不多說，作為一個看似屬于語義學的練習，讓我們來探索一下關(guān)于機器學習的定義。

Tom Mitchell：根據(jù)優(yōu)化過程抽象定義機器學習

第一個定義，是我個人最喜歡的，來自著名的計算機科學家、機器學習研究者，卡內(nèi)基梅隆大學的 Tom Mitchell 教授。

對于某類任務(wù) T 和性能度量 P，如果一個計算機程序在 T 上以 P 衡量的性能隨著經(jīng)驗 E 而自我完善，那么我們稱這個計算機程序在從經(jīng)驗 E 中學習。[1]

Mitchell 的這個定義在機器學習領(lǐng)域是眾所周知的，并且經(jīng)受了時間的考驗。這句話首次出現(xiàn)在他 1997 年出版的Machine Learning一書中。

這句話對我個人產(chǎn)生了很大的影響，多年來我多次提到它，并在碩士論文中引用了這個定義。在 Goodfellow, Bengio & Courville 最近出版的權(quán)威著作《深度學習》(Deep Learning) 的第 5 章中，這段引文也占據(jù)了突出位置，成為該書對學習算法的解釋的出發(fā)點。

下圖是 Mitchell 定義的圖示：

圖 1：The Mitchell Paradigm

“花書”《深度學習》：論計算在機器學習中的重要性

說到 Goodfellow、Bengio 和 Courville，就不得不提他們合著的《深度學習》，這本書對機器學習是這樣定義的：

機器學習本質(zhì)上屬于應(yīng)用統(tǒng)計學，更多地關(guān)注如何用計算機統(tǒng)計地估計復(fù)雜函數(shù)，不太關(guān)注為這些函數(shù)提供置信區(qū)間。[2]

Mitchell 對機器學習的定義在應(yīng)用中不再適用；它側(cè)重于優(yōu)化過程的具體組成部分，這些組成部分通常與機器學習有關(guān)，但它沒有規(guī)定應(yīng)該如何在實踐中接近它。

《深度學習》中對機器學習的定義在本質(zhì)上要規(guī)范得多，它指出計算能力得到了利用 (實際上強調(diào)了對計算能力的使用)，而傳統(tǒng)的統(tǒng)計概念置信區(qū)間則不再強調(diào)。

實戰(zhàn)數(shù)據(jù)挖掘：“學習”必須是有意地去學習

在我看來，另一個特別值得注意的關(guān)于機器學習的定義來自 Witten, Frank & Hall 所著的《數(shù)據(jù)挖掘：實用機器學習工具與技術(shù)》，這是我第一本完整閱讀了的關(guān)于這個主題的書。

《數(shù)據(jù)挖掘》這本書很少涉及數(shù)學，但有很多實用性的解釋。對于剛進入機器學習領(lǐng)域的人，“數(shù)據(jù)挖掘” 很長一段時間是我的首選推薦。

作者對機器學習最初定義有點零散，他們試圖在機器學習和數(shù)據(jù)挖掘的背景中將學習、性能和知識這些概念編織在一起。但其中一些語句值得注意：

我們感興趣的是在新的情況下得到性能的改進，或至少有性能改進的潛力。

當系統(tǒng)以一種使它們在未來表現(xiàn)更好的方式改變自己的行為時，它們就會學習。

學習意味著思考和目標。學習必須是有意地去學習。

經(jīng)驗表明，在機器學習和數(shù)據(jù)挖掘的許多應(yīng)用中，所獲得的顯式知識結(jié)構(gòu)、結(jié)構(gòu)描述，至少與在新實例中表現(xiàn)良好的能力同等重要。人們經(jīng)常使用數(shù)據(jù)挖掘來獲取知識，而不僅僅是用來預(yù)測。

“數(shù)據(jù)挖掘”這個術(shù)語被用作機器學習的補充術(shù)語。上面引用的語句出自這本書的第三版，出版于 2011 年，當時數(shù)據(jù)挖掘這個詞比現(xiàn)在更有吸引力；即使不說是引用自數(shù)據(jù)挖掘的書，上面所寫的內(nèi)容對機器學習本身也適用。

Witten, Frank & Hall 為機器學習的定義提供了一個不同的角度：Mitchell 專注于優(yōu)化過程的特定組成部分，Goodfellow, Bengio & Courville 傾向于一種更規(guī)范的定義，并強調(diào)計算能力的相對重要性，這個定義則嘗試側(cè)重 “l(fā)earning” 的哪些方面在機器學習過程中是類似和重要的。

上面引用的語句還提供了一個重要的點，兼具實用性和哲學性，即最后一段，指出獲得知識和使用這些知識的能力都是機器學習的重要方面。

Christopher Bishop：從算法的角度定義

最后，讓我們來看 Christopher Bishop 在《模式識別和機器學習》一書中對機器學習的定義。值得注意的是，Bishop 沒有開門見山地定義這個術(shù)語，但是很好地隱式地提供了以算法為中心的機器學習的定義 (在一個數(shù)字分類任務(wù)中討論到)：

機器學習算法的結(jié)果表示為一個函數(shù) y (x)，它以一個新的數(shù)字的圖像 x 作為為輸入，產(chǎn)生向量 y，與 target vector 的形式相同。

函數(shù) y (x) 的精確形式是在訓(xùn)練階段(trainingphase) 確定的，也稱為學習階段 (learningphase)，以訓(xùn)練數(shù)據(jù)為基礎(chǔ)。

一旦模型被訓(xùn)練出來，就可以用來判斷新的數(shù)字圖像 (新樣本) 對應(yīng)的標簽，這些新樣本的集合被稱為測試集。

正確分類與訓(xùn)練集不同的新樣本的能力叫做泛化(generalization)。在實際應(yīng)用中，輸入向量的可變性使得訓(xùn)練數(shù)據(jù)只能包含所有可能輸入向量的很小一部分，因此泛化是模式識別的一個中心目標。[4]

首先，除了我們討論的機器學習是有監(jiān)督學習，而不是無監(jiān)督學習或強化學習 (或其他形式的機器學習) 外，上面的引用對 “模式識別” 沒有更多的解釋。

其次，也是更重要的一點，這是唯一對機器學習所需步驟逐步處理的定義，無論這些步驟在這個例子中可能多么簡短。

同樣有趣的是，隨后的頁面，以及 Bishop 的書一半的篇幅概述了許多額外的機器學習概念，并將它們很好地結(jié)合在一起，提供了具有可讀性的介紹，而不至于陷入數(shù)學的困境 (書中的其余部分解釋了數(shù)學)。

這樣，我們已經(jīng)有四種方法來定義機器學習：一種是根據(jù)它的優(yōu)化過程，抽象地定義它機器學習；第二種更有規(guī)范性，并指出計算在機器學習中的重要性；第三定義側(cè)重于“學習”的哪些方面在機器學習過程中是類似的和重要的；最后一個定義從算法的角度概述了機器學習。

這些定義都不是不正確，但都不完整。探討先驅(qū)者和受人尊敬的研究人員所認為的 “機器學習”，將擴展我們自己對機器學習的定義。