編者按：Statsbot深度學(xué)習(xí)開發(fā)者Jay Shah帶你入門神經(jīng)網(wǎng)絡(luò)，一起了解自動編碼器、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等流行的神經(jīng)網(wǎng)絡(luò)類型及其應(yīng)用。

如今，人們使用神經(jīng)網(wǎng)絡(luò)解決銷售預(yù)測、客戶調(diào)研、數(shù)據(jù)驗證、風(fēng)險管理之類的眾多商業(yè)問題。例如，Statsbot中，我們將神經(jīng)網(wǎng)絡(luò)應(yīng)用于時間序列預(yù)測、異常數(shù)據(jù)檢測、自然語言理解。

在這篇文章中，我們將解釋什么是神經(jīng)網(wǎng)絡(luò)，初學(xué)者使用神經(jīng)網(wǎng)絡(luò)將面臨的主要挑戰(zhàn)，流行的神經(jīng)網(wǎng)絡(luò)類型及其應(yīng)用。我們還將描述神經(jīng)網(wǎng)絡(luò)如何應(yīng)用于不同的行業(yè)和部門。

神經(jīng)網(wǎng)絡(luò)的想法

最近在計算機科學(xué)領(lǐng)域“神經(jīng)網(wǎng)絡(luò)”這個詞引起了很大的轟動，引起了很多人的關(guān)注。不過，神經(jīng)網(wǎng)絡(luò)到底是怎么一回事，它是怎么工作的，它真的有幫助嗎？

本質(zhì)上，神經(jīng)網(wǎng)絡(luò)由稱為神經(jīng)元的計算單元層組成，層與層之間相互連接。神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換數(shù)據(jù)，直到網(wǎng)絡(luò)可以輸出分類。每個神經(jīng)元將一個初始值乘以一定的權(quán)重，與進入同一神經(jīng)元的其他值相加，并基于神經(jīng)元的偏置調(diào)整所得結(jié)果，接著使用激活函數(shù)歸一化輸出。

迭代學(xué)習(xí)過程

神經(jīng)網(wǎng)絡(luò)的一個關(guān)鍵特征是迭代學(xué)習(xí)過程，在該過程中記錄（行）逐一提供給網(wǎng)絡(luò)，每次與輸入值相關(guān)的權(quán)重都進行調(diào)整。在所有情況都提供之后，這一過程常常會重復(fù)開始。在這一學(xué)習(xí)階段，網(wǎng)絡(luò)通過調(diào)整權(quán)重來預(yù)測輸入樣本的正確類別標(biāo)簽，以訓(xùn)練自身。

神經(jīng)網(wǎng)絡(luò)的優(yōu)勢包括對噪聲數(shù)據(jù)的高耐受性，以及分類未訓(xùn)練過的模式的能力。最流行的神經(jīng)網(wǎng)絡(luò)算法是反向傳播算法。

一旦為特定的應(yīng)用確立了網(wǎng)絡(luò)架構(gòu)之后，就可以訓(xùn)練網(wǎng)絡(luò)了。剛開始，初始權(quán)重（下一節(jié)具體討論）是隨機選擇的。接著訓(xùn)練（學(xué)習(xí)）開始。

網(wǎng)絡(luò)使用隱藏層中的權(quán)重和函數(shù)逐個處理“訓(xùn)練集”中的記錄，接著比較實際輸出與期望輸出。誤差在系統(tǒng)中反向傳播，系統(tǒng)據(jù)此調(diào)整權(quán)重，調(diào)整后的權(quán)重將應(yīng)用到下一個記錄。

這個過程隨著權(quán)重的調(diào)整而重復(fù)。在網(wǎng)絡(luò)訓(xùn)練過程中，隨著連接權(quán)重的不斷改善，同一數(shù)據(jù)集會多次處理。

所以難在哪里？

初學(xué)者在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)時遇到的一個挑戰(zhàn)就是了解網(wǎng)絡(luò)的每一層到底發(fā)生了什么。我們知道，訓(xùn)練之后，每個層都會提取數(shù)據(jù)集（輸入）的更高層次的特征，直到最后一層決定輸入特征指什么。這是如何做到的呢？

我們可以讓網(wǎng)絡(luò)來決策，而不是確切地規(guī)定我們希望網(wǎng)絡(luò)增強的特征。比方說，我們簡單地給網(wǎng)絡(luò)傳入一張任意圖像或照片，讓網(wǎng)絡(luò)來分析圖片。接著，我們選擇一個層，并要求網(wǎng)絡(luò)加強該層檢測到的東西。網(wǎng)絡(luò)的每一層處理不同抽象層次的特征，因此我們生成的特征的復(fù)雜性取決于我們選擇增強哪一層。

流行的神經(jīng)網(wǎng)絡(luò)類型和用途

在這篇面向初學(xué)者的神經(jīng)網(wǎng)絡(luò)文章中，我們將討論自動編碼器、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)。

自動編碼器

自動編碼器基于這樣一個觀察，隨機初始化是一個壞主意，而基于無監(jiān)督學(xué)習(xí)算法預(yù)訓(xùn)練每個網(wǎng)絡(luò)層可以得到更好的初始權(quán)重。這種無監(jiān)督算法的一個例子是深度性念網(wǎng)絡(luò)（Deep Belief Networks）。最近有一些研究嘗試復(fù)興這一領(lǐng)域，例如使用概率自動編碼器的變分方法。

實際應(yīng)用很少使用它們。最近，批量歸一化允許更深的網(wǎng)絡(luò)，我們可以基于殘差學(xué)習(xí)從頭訓(xùn)練來任意深度的網(wǎng)絡(luò)。通過適當(dāng)?shù)木S度和稀疏性約束，自動編碼器可以學(xué)習(xí)比PCA或其他基本技術(shù)更有趣的數(shù)據(jù)投影。

我們來看看自動編碼器的兩個有趣的實際應(yīng)用：

基于卷積層構(gòu)建的去噪自動編碼器，可以高效地去除噪聲。

去噪自動編碼器，一些輸入設(shè)定為缺失

上圖中，隨機毀壞過程隨機地將一些輸入設(shè)定為零，強迫去噪自動編碼器為隨機選擇的缺失模式的子集預(yù)測缺失（毀壞）的值。

數(shù)據(jù)可視化的降維嘗試使用主成分分析（PCA）和t分布隨機近鄰嵌入（t-SNE）進行降維。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中使用這兩種方法以增加模型預(yù)測的精確性。同時，MLP神經(jīng)網(wǎng)絡(luò)預(yù)測的精確性高度依賴于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，數(shù)據(jù)的預(yù)處理，以及開發(fā)網(wǎng)絡(luò)面對的問題類型。

卷積神經(jīng)網(wǎng)絡(luò)

卷積網(wǎng)絡(luò)得名于“卷積”運算，卷積的主要用途是提取輸入圖像的特征。通過基于輸入數(shù)據(jù)的小塊學(xué)習(xí)圖像的特征，卷積保留了像素間的空間關(guān)系。下面是一些成功應(yīng)用卷積網(wǎng)絡(luò)的例子：

Stevens Institute of Technology和Adobe合作的人臉識別研究使用了級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)高速地識別人臉。解碼器在低分辨率下評估輸入圖像以快速剔除非面部區(qū)域，然后以更高的分辨率仔細處理關(guān)鍵區(qū)域以精確地檢測人臉。

級聯(lián)結(jié)構(gòu)還引入了校正網(wǎng)絡(luò)（calibration network）以加速識別并改善限界盒質(zhì)量。

在自動駕駛汽車項目中，景深估計是自動駕駛需要考慮的重點，以確保乘客和其他載具的安全。這方面的CNN被應(yīng)用于諸如NVIDIA的自動駕駛汽車這樣的項目中。

CNN層可以通過多參數(shù)處理輸入，因此CNN層提供了極高的靈活多變性。這些網(wǎng)絡(luò)的子類也包括深度信念網(wǎng)絡(luò)。傳統(tǒng)上，卷積神經(jīng)網(wǎng)絡(luò)用于圖像分析和對象識別。

順便提一個趣味項目，使用CNN在游戲模擬器中駕駛汽車并預(yù)測駕駛方向。

循環(huán)神經(jīng)網(wǎng)絡(luò)

用于序列生成的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）是這樣訓(xùn)練的，處理真實的數(shù)據(jù)序列的一步并預(yù)測下一步。這里有一份如何實現(xiàn)該模型的指南。

假設(shè)預(yù)測是概率性的，從網(wǎng)絡(luò)的輸出分布迭代采樣，然后將樣本傳給下一步作為輸入，訓(xùn)練網(wǎng)絡(luò)可以生成新的序列。換句話說，讓網(wǎng)絡(luò)把自己發(fā)明的看成是真實的，就像一個人在做夢。

RNN可以用于語言驅(qū)動的圖像生成，基于給定的文本生成手寫。為了應(yīng)對這一挑戰(zhàn)，將卷積文本字符串的軟窗口作為額外輸入傳給預(yù)測網(wǎng)絡(luò)。在網(wǎng)絡(luò)進行預(yù)測的同時輸出窗口的參數(shù)，這樣，網(wǎng)絡(luò)動態(tài)地決定文本和筆位置的對齊。簡單來說，網(wǎng)絡(luò)學(xué)習(xí)下一個要書寫的字符。

給定特定的輸入，經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以生成預(yù)期輸出。如果我們有一個擬合良好的建模已知值序列的網(wǎng)絡(luò)，那么我們可以使用它來預(yù)測未來的結(jié)果。股票市場預(yù)測是一個明顯的例子。

神經(jīng)網(wǎng)絡(luò)在不同產(chǎn)業(yè)的應(yīng)用

神經(jīng)網(wǎng)絡(luò)廣泛用于真實世界的商業(yè)問題，例如銷售預(yù)測、客戶調(diào)研、數(shù)據(jù)驗證、風(fēng)險管理。

營銷

精準(zhǔn)營銷涉及市場細分，根據(jù)客戶行為的不同將市場分為不同的客戶群。

神經(jīng)網(wǎng)絡(luò)可以根據(jù)基本特征，包括人口、經(jīng)濟狀況、位置、購買模式、對產(chǎn)品的態(tài)度，細分客戶。無監(jiān)督神經(jīng)網(wǎng)絡(luò)可以自動基于客戶屬性的相似性進行分組，而監(jiān)督神經(jīng)網(wǎng)絡(luò)可以通過訓(xùn)練基于同一組客戶的特征學(xué)習(xí)客戶分區(qū)間的界限。

銷售

神經(jīng)網(wǎng)絡(luò)具備同時考慮多個變量的能力，例如市場需求、客戶收人、人口、產(chǎn)品價格。對超市而言，預(yù)測銷售很有幫助。

如果兩個產(chǎn)品在一段時期內(nèi)形成關(guān)聯(lián)，比如購買了打印機的客戶會在3到4個月內(nèi)返回購買一個新的墨盒，那么零售商可以利用這一信息及時聯(lián)系客戶，降低客戶從競爭者那里購買產(chǎn)品的概率。

銀行和財政

神經(jīng)網(wǎng)絡(luò)成功應(yīng)用于衍生證券定價和對沖，未來價格預(yù)測，匯率預(yù)測，以及股票表現(xiàn)。傳統(tǒng)上，這樣的軟件由統(tǒng)計技術(shù)驅(qū)動。然而今天，神經(jīng)網(wǎng)絡(luò)成為驅(qū)動決策的底層技術(shù)。

醫(yī)藥

神經(jīng)網(wǎng)絡(luò)在醫(yī)藥領(lǐng)域的研究正成為潮流。人們相信，在接下來的幾年，神經(jīng)網(wǎng)絡(luò)將在生物醫(yī)學(xué)系統(tǒng)中得到廣泛應(yīng)用。就目前而言，大部分研究建模人體的部分，通過各種掃描識別疾病。

結(jié)論

也許神經(jīng)網(wǎng)絡(luò)可以給我們一些關(guān)于認(rèn)知的“簡單問題”的洞見：大腦如何處理環(huán)境模擬？大腦如何集成信息？不過，真正的問題在于，人類的這些處理為何以及如何與內(nèi)在體驗的人生相伴，機器能達到這樣的自我意識嗎？

這讓我們思考神經(jīng)網(wǎng)絡(luò)是否能幫助藝術(shù)家的工作——一種新的重組視覺概念的方式——也許甚至能夠啟發(fā)我們認(rèn)識到通過的創(chuàng)造性過程的根源。

總而言之，神經(jīng)網(wǎng)絡(luò)使計算機系統(tǒng)更人性化了，從而使它們更加有用。所以下一次你想你可能會喜歡讓你的大腦像電腦一樣可靠的時候，再想一想——已經(jīng)有這樣一個超級神經(jīng)網(wǎng)絡(luò)安裝在你的頭腦里了，你該為此感恩！

我希望這個面向初學(xué)者的神經(jīng)網(wǎng)絡(luò)介紹可以幫助你創(chuàng)建自己的第一個神經(jīng)網(wǎng)絡(luò)項目。