編者按：Statsbot深度學(xué)習(xí)開發(fā)者Jay Shah帶你入門神經(jīng)網(wǎng)絡(luò)，一起了解自動(dòng)編碼器、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等流行的神經(jīng)網(wǎng)絡(luò)類型及其應(yīng)用。

如今，人們使用神經(jīng)網(wǎng)絡(luò)解決銷售預(yù)測(cè)、客戶調(diào)研、數(shù)據(jù)驗(yàn)證、風(fēng)險(xiǎn)管理之類的眾多商業(yè)問題。例如，Statsbot中，我們將神經(jīng)網(wǎng)絡(luò)應(yīng)用于時(shí)間序列預(yù)測(cè)、異常數(shù)據(jù)檢測(cè)、自然語言理解。

在這篇文章中，我們將解釋什么是神經(jīng)網(wǎng)絡(luò)，初學(xué)者使用神經(jīng)網(wǎng)絡(luò)將面臨的主要挑戰(zhàn)，流行的神經(jīng)網(wǎng)絡(luò)類型及其應(yīng)用。我們還將描述神經(jīng)網(wǎng)絡(luò)如何應(yīng)用于不同的行業(yè)和部門。

神經(jīng)網(wǎng)絡(luò)的想法

最近在計(jì)算機(jī)科學(xué)領(lǐng)域“神經(jīng)網(wǎng)絡(luò)”這個(gè)詞引起了很大的轟動(dòng)，引起了很多人的關(guān)注。不過，神經(jīng)網(wǎng)絡(luò)到底是怎么一回事，它是怎么工作的，它真的有幫助嗎？

本質(zhì)上，神經(jīng)網(wǎng)絡(luò)由稱為神經(jīng)元的計(jì)算單元層組成，層與層之間相互連接。神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換數(shù)據(jù)，直到網(wǎng)絡(luò)可以輸出分類。每個(gè)神經(jīng)元將一個(gè)初始值乘以一定的權(quán)重，與進(jìn)入同一神經(jīng)元的其他值相加，并基于神經(jīng)元的偏置調(diào)整所得結(jié)果，接著使用激活函數(shù)歸一化輸出。

迭代學(xué)習(xí)過程

神經(jīng)網(wǎng)絡(luò)的一個(gè)關(guān)鍵特征是迭代學(xué)習(xí)過程，在該過程中記錄（行）逐一提供給網(wǎng)絡(luò)，每次與輸入值相關(guān)的權(quán)重都進(jìn)行調(diào)整。在所有情況都提供之后，這一過程常常會(huì)重復(fù)開始。在這一學(xué)習(xí)階段，網(wǎng)絡(luò)通過調(diào)整權(quán)重來預(yù)測(cè)輸入樣本的正確類別標(biāo)簽，以訓(xùn)練自身。

神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)包括對(duì)噪聲數(shù)據(jù)的高耐受性，以及分類未訓(xùn)練過的模式的能力。最流行的神經(jīng)網(wǎng)絡(luò)算法是反向傳播算法。

一旦為特定的應(yīng)用確立了網(wǎng)絡(luò)架構(gòu)之后，就可以訓(xùn)練網(wǎng)絡(luò)了。剛開始，初始權(quán)重（下一節(jié)具體討論）是隨機(jī)選擇的。接著訓(xùn)練（學(xué)習(xí)）開始。

網(wǎng)絡(luò)使用隱藏層中的權(quán)重和函數(shù)逐個(gè)處理“訓(xùn)練集”中的記錄，接著比較實(shí)際輸出與期望輸出。誤差在系統(tǒng)中反向傳播，系統(tǒng)據(jù)此調(diào)整權(quán)重，調(diào)整后的權(quán)重將應(yīng)用到下一個(gè)記錄。

這個(gè)過程隨著權(quán)重的調(diào)整而重復(fù)。在網(wǎng)絡(luò)訓(xùn)練過程中，隨著連接權(quán)重的不斷改善，同一數(shù)據(jù)集會(huì)多次處理。

所以難在哪里？

初學(xué)者在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)時(shí)遇到的一個(gè)挑戰(zhàn)就是了解網(wǎng)絡(luò)的每一層到底發(fā)生了什么。我們知道，訓(xùn)練之后，每個(gè)層都會(huì)提取數(shù)據(jù)集（輸入）的更高層次的特征，直到最后一層決定輸入特征指什么。這是如何做到的呢？

我們可以讓網(wǎng)絡(luò)來決策，而不是確切地規(guī)定我們希望網(wǎng)絡(luò)增強(qiáng)的特征。比方說，我們簡(jiǎn)單地給網(wǎng)絡(luò)傳入一張任意圖像或照片，讓網(wǎng)絡(luò)來分析圖片。接著，我們選擇一個(gè)層，并要求網(wǎng)絡(luò)加強(qiáng)該層檢測(cè)到的東西。網(wǎng)絡(luò)的每一層處理不同抽象層次的特征，因此我們生成的特征的復(fù)雜性取決于我們選擇增強(qiáng)哪一層。

流行的神經(jīng)網(wǎng)絡(luò)類型和用途

在這篇面向初學(xué)者的神經(jīng)網(wǎng)絡(luò)文章中，我們將討論自動(dòng)編碼器、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)。

自動(dòng)編碼器

自動(dòng)編碼器基于這樣一個(gè)觀察，隨機(jī)初始化是一個(gè)壞主意，而基于無監(jiān)督學(xué)習(xí)算法預(yù)訓(xùn)練每個(gè)網(wǎng)絡(luò)層可以得到更好的初始權(quán)重。這種無監(jiān)督算法的一個(gè)例子是深度性念網(wǎng)絡(luò)（Deep Belief Networks）。最近有一些研究嘗試復(fù)興這一領(lǐng)域，例如使用概率自動(dòng)編碼器的變分方法。

實(shí)際應(yīng)用很少使用它們。最近，批量歸一化允許更深的網(wǎng)絡(luò)，我們可以基于殘差學(xué)習(xí)從頭訓(xùn)練來任意深度的網(wǎng)絡(luò)。通過適當(dāng)?shù)木S度和稀疏性約束，自動(dòng)編碼器可以學(xué)習(xí)比PCA或其他基本技術(shù)更有趣的數(shù)據(jù)投影。

我們來看看自動(dòng)編碼器的兩個(gè)有趣的實(shí)際應(yīng)用：

基于卷積層構(gòu)建的去噪自動(dòng)編碼器，可以高效地去除噪聲。

去噪自動(dòng)編碼器，一些輸入設(shè)定為缺失

上圖中，隨機(jī)毀壞過程隨機(jī)地將一些輸入設(shè)定為零，強(qiáng)迫去噪自動(dòng)編碼器為隨機(jī)選擇的缺失模式的子集預(yù)測(cè)缺失（毀壞）的值。

數(shù)據(jù)可視化的降維嘗試使用主成分分析（PCA）和t分布隨機(jī)近鄰嵌入（t-SNE）進(jìn)行降維。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中使用這兩種方法以增加模型預(yù)測(cè)的精確性。同時(shí)，MLP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的精確性高度依賴于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，數(shù)據(jù)的預(yù)處理，以及開發(fā)網(wǎng)絡(luò)面對(duì)的問題類型。

卷積神經(jīng)網(wǎng)絡(luò)

卷積網(wǎng)絡(luò)得名于“卷積”運(yùn)算，卷積的主要用途是提取輸入圖像的特征。通過基于輸入數(shù)據(jù)的小塊學(xué)習(xí)圖像的特征，卷積保留了像素間的空間關(guān)系。下面是一些成功應(yīng)用卷積網(wǎng)絡(luò)的例子：

Stevens Institute of Technology和Adobe合作的人臉識(shí)別研究使用了級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)高速地識(shí)別人臉。解碼器在低分辨率下評(píng)估輸入圖像以快速剔除非面部區(qū)域，然后以更高的分辨率仔細(xì)處理關(guān)鍵區(qū)域以精確地檢測(cè)人臉。

級(jí)聯(lián)結(jié)構(gòu)還引入了校正網(wǎng)絡(luò)（calibration network）以加速識(shí)別并改善限界盒質(zhì)量。

在自動(dòng)駕駛汽車項(xiàng)目中，景深估計(jì)是自動(dòng)駕駛需要考慮的重點(diǎn)，以確保乘客和其他載具的安全。這方面的CNN被應(yīng)用于諸如NVIDIA的自動(dòng)駕駛汽車這樣的項(xiàng)目中。

CNN層可以通過多參數(shù)處理輸入，因此CNN層提供了極高的靈活多變性。這些網(wǎng)絡(luò)的子類也包括深度信念網(wǎng)絡(luò)。傳統(tǒng)上，卷積神經(jīng)網(wǎng)絡(luò)用于圖像分析和對(duì)象識(shí)別。

順便提一個(gè)趣味項(xiàng)目，使用CNN在游戲模擬器中駕駛汽車并預(yù)測(cè)駕駛方向。

循環(huán)神經(jīng)網(wǎng)絡(luò)

用于序列生成的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）是這樣訓(xùn)練的，處理真實(shí)的數(shù)據(jù)序列的一步并預(yù)測(cè)下一步。這里有一份如何實(shí)現(xiàn)該模型的指南。

假設(shè)預(yù)測(cè)是概率性的，從網(wǎng)絡(luò)的輸出分布迭代采樣，然后將樣本傳給下一步作為輸入，訓(xùn)練網(wǎng)絡(luò)可以生成新的序列。換句話說，讓網(wǎng)絡(luò)把自己發(fā)明的看成是真實(shí)的，就像一個(gè)人在做夢(mèng)。

RNN可以用于語言驅(qū)動(dòng)的圖像生成，基于給定的文本生成手寫。為了應(yīng)對(duì)這一挑戰(zhàn)，將卷積文本字符串的軟窗口作為額外輸入傳給預(yù)測(cè)網(wǎng)絡(luò)。在網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)的同時(shí)輸出窗口的參數(shù)，這樣，網(wǎng)絡(luò)動(dòng)態(tài)地決定文本和筆位置的對(duì)齊。簡(jiǎn)單來說，網(wǎng)絡(luò)學(xué)習(xí)下一個(gè)要書寫的字符。

給定特定的輸入，經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以生成預(yù)期輸出。如果我們有一個(gè)擬合良好的建模已知值序列的網(wǎng)絡(luò)，那么我們可以使用它來預(yù)測(cè)未來的結(jié)果。股票市場(chǎng)預(yù)測(cè)是一個(gè)明顯的例子。

神經(jīng)網(wǎng)絡(luò)在不同產(chǎn)業(yè)的應(yīng)用

神經(jīng)網(wǎng)絡(luò)廣泛用于真實(shí)世界的商業(yè)問題，例如銷售預(yù)測(cè)、客戶調(diào)研、數(shù)據(jù)驗(yàn)證、風(fēng)險(xiǎn)管理。

營(yíng)銷

精準(zhǔn)營(yíng)銷涉及市場(chǎng)細(xì)分，根據(jù)客戶行為的不同將市場(chǎng)分為不同的客戶群。

神經(jīng)網(wǎng)絡(luò)可以根據(jù)基本特征，包括人口、經(jīng)濟(jì)狀況、位置、購買模式、對(duì)產(chǎn)品的態(tài)度，細(xì)分客戶。無監(jiān)督神經(jīng)網(wǎng)絡(luò)可以自動(dòng)基于客戶屬性的相似性進(jìn)行分組，而監(jiān)督神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練基于同一組客戶的特征學(xué)習(xí)客戶分區(qū)間的界限。

銷售

神經(jīng)網(wǎng)絡(luò)具備同時(shí)考慮多個(gè)變量的能力，例如市場(chǎng)需求、客戶收人、人口、產(chǎn)品價(jià)格。對(duì)超市而言，預(yù)測(cè)銷售很有幫助。

如果兩個(gè)產(chǎn)品在一段時(shí)期內(nèi)形成關(guān)聯(lián)，比如購買了打印機(jī)的客戶會(huì)在3到4個(gè)月內(nèi)返回購買一個(gè)新的墨盒，那么零售商可以利用這一信息及時(shí)聯(lián)系客戶，降低客戶從競(jìng)爭(zhēng)者那里購買產(chǎn)品的概率。

銀行和財(cái)政

神經(jīng)網(wǎng)絡(luò)成功應(yīng)用于衍生證券定價(jià)和對(duì)沖，未來價(jià)格預(yù)測(cè)，匯率預(yù)測(cè)，以及股票表現(xiàn)。傳統(tǒng)上，這樣的軟件由統(tǒng)計(jì)技術(shù)驅(qū)動(dòng)。然而今天，神經(jīng)網(wǎng)絡(luò)成為驅(qū)動(dòng)決策的底層技術(shù)。

醫(yī)藥

神經(jīng)網(wǎng)絡(luò)在醫(yī)藥領(lǐng)域的研究正成為潮流。人們相信，在接下來的幾年，神經(jīng)網(wǎng)絡(luò)將在生物醫(yī)學(xué)系統(tǒng)中得到廣泛應(yīng)用。就目前而言，大部分研究建模人體的部分，通過各種掃描識(shí)別疾病。

結(jié)論

也許神經(jīng)網(wǎng)絡(luò)可以給我們一些關(guān)于認(rèn)知的“簡(jiǎn)單問題”的洞見：大腦如何處理環(huán)境模擬？大腦如何集成信息？不過，真正的問題在于，人類的這些處理為何以及如何與內(nèi)在體驗(yàn)的人生相伴，機(jī)器能達(dá)到這樣的自我意識(shí)嗎？

這讓我們思考神經(jīng)網(wǎng)絡(luò)是否能幫助藝術(shù)家的工作——一種新的重組視覺概念的方式——也許甚至能夠啟發(fā)我們認(rèn)識(shí)到通過的創(chuàng)造性過程的根源。

總而言之，神經(jīng)網(wǎng)絡(luò)使計(jì)算機(jī)系統(tǒng)更人性化了，從而使它們更加有用。所以下一次你想你可能會(huì)喜歡讓你的大腦像電腦一樣可靠的時(shí)候，再想一想——已經(jīng)有這樣一個(gè)超級(jí)神經(jīng)網(wǎng)絡(luò)安裝在你的頭腦里了，你該為此感恩！

我希望這個(gè)面向初學(xué)者的神經(jīng)網(wǎng)絡(luò)介紹可以幫助你創(chuàng)建自己的第一個(gè)神經(jīng)網(wǎng)絡(luò)項(xiàng)目。