導(dǎo)語：

記得前些年在買火車票時(shí)，還得玩?zhèn)€“大家來找茬”的驗(yàn)證碼游戲，比如讓你找出孫楠、楊臣剛、王大冶中的某一位，這對于那些臉盲患者而言，無疑是崩潰的。

當(dāng)然了，撞臉這事可不是娛樂圈獨(dú)有的，在AI界也有很多“長相相似”的專有名詞，比如我們今天要說的“三胞胎”DNN（深度神經(jīng)網(wǎng)絡(luò)）、CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（遞歸神經(jīng)網(wǎng)絡(luò)），就讓許許多多的AI初學(xué)者們傻傻分不清楚。

而今天，就讓我們一起擦亮眼睛，好好的把它們給區(qū)分出來！

什么是神經(jīng)網(wǎng)絡(luò)？

DNN（深度神經(jīng)網(wǎng)絡(luò)）、CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（遞歸神經(jīng)網(wǎng)絡(luò)）都屬于第三代神經(jīng)網(wǎng)絡(luò)，在認(rèn)識它們之前，讓我們簡單了解下，第一代和第二代神經(jīng)網(wǎng)絡(luò)是什么樣子的。

第一代神經(jīng)網(wǎng)絡(luò)又稱為感知機(jī)，在上世紀(jì)五、六十年代被提出來，感知機(jī)屬于二分類的線性分類模型，其輸入為實(shí)例的特征向量，輸出為實(shí)例的類別（取+1和-1），即只能做到線性的區(qū)分工作（一分為二），不能解決重疊不可分的問題，對稍微復(fù)雜一些的函數(shù)就無能為力。

為了解決第一代神經(jīng)網(wǎng)絡(luò)的缺陷，在1980年左右Rumelhart、Williams、Hinton、LeCun等人提出第二代神經(jīng)網(wǎng)絡(luò)多層感知器（MLP）。MLP可以看成一個(gè)輸入層由學(xué)習(xí)到的非線性轉(zhuǎn)化phi進(jìn)行轉(zhuǎn)化的邏輯回歸分類器。這種轉(zhuǎn)化將輸入數(shù)據(jù)投影到線性可分空間，這個(gè)中間層被稱為隱藏層。

第二代神經(jīng)網(wǎng)絡(luò)讓科學(xué)家們發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對現(xiàn)實(shí)的表達(dá)能力，但是隨著層數(shù)的增加，優(yōu)化函數(shù)愈發(fā)容易出現(xiàn)局部最優(yōu)解的現(xiàn)象，由于存在梯度消失的問題（在神經(jīng)網(wǎng)絡(luò)中，隨著隱藏層數(shù)目的增加，分類準(zhǔn)確率反而會降低的現(xiàn)象，被稱為消失的梯度問題），深層網(wǎng)絡(luò)往往難以訓(xùn)練，效果還不如淺層網(wǎng)絡(luò)。

2006年，Hinton利用預(yù)訓(xùn)練方法緩解了梯度消失的問題，使得深度神經(jīng)網(wǎng)絡(luò)變得可訓(xùn)練，將隱含層發(fā)展到7層，神經(jīng)網(wǎng)絡(luò)真正意義上有了“深度”，由此揭開了深度學(xué)習(xí)的浪潮，第三代神經(jīng)網(wǎng)絡(luò)開始正式興起。

第三代深度神經(jīng)網(wǎng)絡(luò)最常用的三大算法

DNN：深度神經(jīng)網(wǎng)絡(luò)

從結(jié)構(gòu)上來說，DNN和傳統(tǒng)意義上的NN（神經(jīng)網(wǎng)絡(luò)）并無太大區(qū)別，最大的不同是層數(shù)增多了，并解決了模型可訓(xùn)練的問題。

簡言之，DNN比NN多了一些隱層，但這些隱層的作用是巨大的，帶來的效果是非常顯著和神奇的。

DNN中的“deep”意為深度，但深度學(xué)習(xí)中深度沒有固定的定義或者衡量標(biāo)準(zhǔn)，不同問題的解決所需要的隱含層數(shù)自然也是不相同的，就大家比較熟識的語音識別來說，解決問題可能4層就夠了，但一般圖像識別需要達(dá)到20多層才能夠解決問題。

DNN最大的問題是只能看到預(yù)先設(shè)定長度的數(shù)據(jù)，對于語音和語言等前后相關(guān)的時(shí)序信號的表達(dá)能力還是有限的。

CNN：卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)主要是模擬人的視覺神經(jīng)系統(tǒng)提出來的。

以CNN做人臉識別任務(wù)為例，先得到一些像素信息，再往上層得到一些邊界信息，然后再往上提取就是一些人臉的部件信息，包括眼睛、耳朵、眉毛嘴巴等，最后是人臉識別，這整個(gè)過程和人的視覺神經(jīng)系統(tǒng)是非常相似的。

對于CNN來說，并不是所有上下層神經(jīng)單元都直接相連，而是通過“卷積核”作為中介。同一個(gè)卷積核在所有圖像內(nèi)是共享的，圖像通過卷積操作后仍然保留原有的位置關(guān)系。

每次卷積操作就會產(chǎn)生多個(gè)通道的“圖像”，每幅“圖像”都是對原始圖像不同特征的響應(yīng)，并按照這樣的結(jié)構(gòu)繼續(xù)傳遞下去。

RNN：遞歸神經(jīng)網(wǎng)絡(luò)

在普通的全連接神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)中，每層神經(jīng)元的信號只能向上一層傳播，樣本的處理在各個(gè)時(shí)刻獨(dú)立，無法對時(shí)間序列上的變化進(jìn)行建模。然而，樣本出現(xiàn)的時(shí)間順序?qū)τ谧匀徽Z言處理、語音識別、手寫體識別等應(yīng)用非常重要，為了應(yīng)對這種需求，業(yè)內(nèi)提出了遞歸神經(jīng)網(wǎng)絡(luò)RNN。

在RNN中，神經(jīng)元的輸出可以在下一時(shí)間段直接作用到本身。換句話說，就是遞歸神經(jīng)網(wǎng)絡(luò)的隱層不但可以接收到上一層的輸入，也可以得到上一時(shí)刻當(dāng)前隱層的輸入。

這一個(gè)變化的重要意義就在于使得神經(jīng)網(wǎng)絡(luò)具備了歷史記憶的功能，原則上它可以看到無窮長的歷史信息，這非常適合于像語音語言這種具有長時(shí)相關(guān)性的任務(wù)。

結(jié)語：

相信看到這里大家應(yīng)該對DNN、CNN、RNN有了一個(gè)大致的了解。雖然他們各有特點(diǎn)，各有不同，但他們在實(shí)際應(yīng)用中常常都是混合使用的。值得期待的是，隨著人工智能的不斷發(fā)展，更多的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)將被發(fā)展應(yīng)用起來！