機(jī)器學(xué)習(xí)（machine learning） 已然成為無(wú)數(shù)重要應(yīng)用的基石——如今，在網(wǎng)絡(luò)搜索、垃圾郵件檢測(cè)、語(yǔ)音識(shí)別以及產(chǎn)品推薦等領(lǐng)域，你都能夠發(fā)現(xiàn)它的身影。如果你或你的團(tuán)隊(duì)正在研發(fā)一款機(jī)器學(xué)習(xí)相關(guān)應(yīng)用，并期待取得較快進(jìn)展，那么這本書(shū)將會(huì)是你的得力助手。

?

　　案例：建立貓咪圖片初創(chuàng)公司

　　想象一下，你正在建立一家初創(chuàng)公司，這家公司的產(chǎn)品目標(biāo)是為貓咪愛(ài)好者們提供數(shù)不盡的貓咪圖片，你打算應(yīng)用 神經(jīng)網(wǎng)絡(luò)（neural network） 技術(shù)來(lái)構(gòu)建一套計(jì)算機(jī)視覺(jué)系統(tǒng)，通過(guò)該系統(tǒng)來(lái)識(shí)別圖片中的貓。

　　但悲劇的是，目前你的學(xué)習(xí)算法準(zhǔn)確度還不夠好。為了改進(jìn)這個(gè)貓咪檢測(cè)器，你正面臨著巨大的壓力?？赡阍撛趺醋瞿兀?/p>

　　你的團(tuán)隊(duì)給出了許多建議，例如：

　　● 獲取更多的數(shù)據(jù)，即收集更多的貓咪圖片

　　● 收集更加多樣化的訓(xùn)練數(shù)據(jù)集，圖片中貓的位置可能不常見(jiàn)，也有可能顏色奇異，或者拍攝時(shí)使用不同的相機(jī)參數(shù)

　　● 通過(guò)增加梯度下降的迭代次數(shù)，使算法訓(xùn)練得久一些

　　● 嘗試一個(gè)擁有更多層/更多隱藏元/更多參數(shù)的，規(guī)模更大的神經(jīng)網(wǎng)絡(luò)

　　● 嘗試一個(gè)更小的神經(jīng)網(wǎng)絡(luò)

　　● 嘗試加入正則化（例如 L2 正則化）

　　● 改變神經(jīng)網(wǎng)絡(luò)的架構(gòu)（激活函數(shù)，隱藏元數(shù)量等等）

　　● 。..

　　在上面眾多的方向中，如果你做出了正確的選擇，就將建立起一個(gè)效果領(lǐng)先的貓咪圖片識(shí)別平臺(tái)，并帶領(lǐng)你的公司取得成功。但如果你選擇了一個(gè)糟糕的方向，則可能因此浪費(fèi)掉幾個(gè)月的時(shí)間。那么你該如何做出決定呢？

　　這本書(shū)將告訴你應(yīng)該怎么做。眾多的機(jī)器學(xué)習(xí)問(wèn)題會(huì)留下一些線(xiàn)索，告訴你什么樣的嘗試有用，什么樣的沒(méi)用。而學(xué)會(huì)解讀這些線(xiàn)索將會(huì)節(jié)省你幾個(gè)月甚至幾年的開(kāi)發(fā)時(shí)間。

　　先修知識(shí)與符號(hào)說(shuō)明

　　如果你有學(xué)習(xí)過(guò)機(jī)器學(xué)習(xí)相關(guān)課程（例如我在 Coursera 開(kāi)設(shè)的機(jī)器學(xué)習(xí) MOOC），或者有過(guò)監(jiān)督學(xué)習(xí)的應(yīng)用經(jīng)驗(yàn)，這本書(shū)的內(nèi)容對(duì)你而言則不難理解。

　　本書(shū)假設(shè)你熟悉 監(jiān)督學(xué)習(xí)（supervised learning） 概念，即使用標(biāo)注（labeled）的訓(xùn)練樣本（x，y） 來(lái)學(xué)習(xí)一個(gè)從 x 映射到 y 的函數(shù)。監(jiān)督學(xué)習(xí)算法主要包括線(xiàn)性回歸（linear regression）、對(duì)數(shù)幾率回歸（logistic regression，又譯作邏輯回歸、邏輯斯蒂回歸）和神經(jīng)網(wǎng)絡(luò)（neural network）。雖然機(jī)器學(xué)習(xí)的形式有許多種，但當(dāng)前具備實(shí)用價(jià)值的大部分機(jī)器學(xué)習(xí)算法都來(lái)自于監(jiān)督學(xué)習(xí)。

　　我將經(jīng)常提及神經(jīng)網(wǎng)絡(luò)（也被人們稱(chēng)為“深度學(xué)習(xí)” ），但你只需對(duì)這個(gè)概念有基礎(chǔ)的了解便可以閱讀本書(shū)后面的內(nèi)容。

　　規(guī)模驅(qū)動(dòng)機(jī)器學(xué)習(xí)發(fā)展

　　關(guān)于深度學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)）的一些想法在幾十年前就有了，那為什么它們到現(xiàn)在才流行起來(lái)了呢？

　　推動(dòng)其近期發(fā)展的主要因素有兩個(gè)：

　　- 數(shù)據(jù)可用性（data availability） ：如今人們?cè)跀?shù)字設(shè)備（筆記本電腦、移動(dòng)設(shè)備等）上花費(fèi)的時(shí)間越來(lái)越多，對(duì)應(yīng)的數(shù)字化行為與活動(dòng)產(chǎn)生了海量的數(shù)據(jù)，而這些數(shù)據(jù)都可以提供給我們的學(xué)習(xí)算法用來(lái)訓(xùn)練。

　　- 計(jì)算規(guī)模（computational scale） ：在近幾年前，我們才開(kāi)始有能力訓(xùn)練出規(guī)模足夠大的神經(jīng)網(wǎng)絡(luò)來(lái)使用現(xiàn)有的海量數(shù)據(jù)集。

　　具體來(lái)說(shuō)，即使你積累了更多的數(shù)據(jù)，但應(yīng)用在類(lèi)似于對(duì)數(shù)幾率回歸（logistic regression）這樣較傳統(tǒng)的學(xué)習(xí)算法上，其性能表現(xiàn)（performance）也將趨于 “平穩(wěn)” 。這意味著算法的學(xué)習(xí)曲線(xiàn)將 “變得平緩” ，就算提供更多的數(shù)據(jù)，算法的性能也將不再提升。

　　傳統(tǒng)學(xué)習(xí)算法似乎并不知道要如何來(lái)處理現(xiàn)今這般規(guī)模量級(jí)的數(shù)據(jù)。

　　在同樣的監(jiān)督學(xué)習(xí)任務(wù)下，選擇訓(xùn)練一個(gè)小型的神經(jīng)網(wǎng)絡(luò)（neutral network， NN），你可能會(huì)獲得較好的性能表現(xiàn)：