這篇文章是我將為 Parallel Forall 撰寫(xiě)的系列文章中的第一篇，該系列文章旨在為 深度學(xué)習(xí) 提供一個(gè)直觀而溫和的介紹。它涵蓋了最重要的深度學(xué)習(xí)概念，旨在提供對(duì)每個(gè)概念的理解，而不是其數(shù)學(xué)和理論細(xì)節(jié)。雖然數(shù)學(xué)術(shù)語(yǔ)有時(shí)是必要的，并且可以進(jìn)一步理解，但這些文章盡可能使用類(lèi)比和圖像來(lái)提供易于理解的信息，包括對(duì)深度學(xué)習(xí)領(lǐng)域的直觀概述。

我以術(shù)語(yǔ)表的風(fēng)格編寫(xiě)了這個(gè)系列，因此它也可以作為深入學(xué)習(xí)概念的參考。

第一部分主要介紹深度學(xué)習(xí)的主要概念。 第二部分 提供歷史背景，并深入研究用于深度學(xué)習(xí)培訓(xùn)的培訓(xùn)程序、算法和實(shí)用技巧。 第三部分 涵蓋了序列學(xué)習(xí)，包括遞歸神經(jīng)網(wǎng)絡(luò)、 LSTMs 和用于神經(jīng)機(jī)器翻譯的編解碼器系統(tǒng)。 第四部分 涵蓋強(qiáng)化學(xué)習(xí)。

核心概念

機(jī)器學(xué)習(xí)

在機(jī)器學(xué)習(xí)中，我們（ 1 ）獲取一些數(shù)據(jù)，（ 2 ）根據(jù)這些數(shù)據(jù)訓(xùn)練一個(gè)模型，（ 3 ）使用訓(xùn)練的模型對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)。 訓(xùn)練 一個(gè)模型的過(guò)程可以看作是一個(gè)學(xué)習(xí)過(guò)程，在這個(gè)過(guò)程中，模型一步一步地暴露在新的、不熟悉的數(shù)據(jù)中。在每一步中，模型都會(huì)做出預(yù)測(cè)，并得到關(guān)于其生成的預(yù)測(cè)有多精確的反饋。這種反饋是根據(jù)某種度量（例如距正確解的距離）提供的誤差，用于校正預(yù)測(cè)中的誤差。

學(xué)習(xí)過(guò)程通常是參數(shù)空間中來(lái)回的游戲：如果你調(diào)整模型的一個(gè)參數(shù)以獲得正確的預(yù)測(cè)，那么模型可能會(huì)因此得到之前正確的預(yù)測(cè)錯(cuò)誤。訓(xùn)練一個(gè)具有良好預(yù)測(cè)性能的模型可能需要多次迭代。這個(gè)迭代的預(yù)測(cè)和調(diào)整過(guò)程一直持續(xù)到模型的預(yù)測(cè)不再改善為止。

特征工程

特征工程是從數(shù)據(jù)中提取有用模式的藝術(shù)，這將使 機(jī)器學(xué)習(xí) 模型更容易區(qū)分類(lèi)。例如，你可以用綠色像素和藍(lán)色像素的數(shù)量作為一個(gè)指標(biāo)，來(lái)判斷某張圖片中是陸地動(dòng)物還是水生動(dòng)物。這個(gè)特性對(duì)機(jī)器學(xué)習(xí)模型很有幫助，因?yàn)樗拗屏艘M(jìn)行良好分類(lèi)所需考慮的類(lèi)的數(shù)量。

當(dāng)你想在大多數(shù)預(yù)測(cè)任務(wù)中獲得好的結(jié)果時(shí)，特征工程是最重要的技能。然而，由于不同的數(shù)據(jù)集和不同的數(shù)據(jù)類(lèi)型需要不同的特征工程方法，因此很難學(xué)習(xí)和掌握。藝術(shù)不僅僅是一門(mén)粗糙的科學(xué)，更是一門(mén)科學(xué)?？捎糜谝粋€(gè)數(shù)據(jù)集的特征通常不適用于其他數(shù)據(jù)集（例如，下一個(gè)圖像數(shù)據(jù)集僅包含陸地動(dòng)物）。特征工程的難度和所涉及的工作量是尋找能夠?qū)W習(xí)特征的算法的主要原因，即自動(dòng)生成特征的算法。

雖然許多任務(wù)可以通過(guò)特征學(xué)習(xí)（如對(duì)象和語(yǔ)音識(shí)別）實(shí)現(xiàn)自動(dòng)化，但特征工程仍然是 在困難的任務(wù)中最有效的方法 （就像 Kaggle 機(jī)器學(xué)習(xí)競(jìng)賽中的大多數(shù)任務(wù)一樣）。

特征學(xué)習(xí)

特征學(xué)習(xí)算法可以找到對(duì)區(qū)分類(lèi)很重要的共同模式，并自動(dòng)提取它們以用于分類(lèi)或回歸過(guò)程。特征學(xué)習(xí)可以被認(rèn)為是由算法自動(dòng)完成的 特征工程 。在深度學(xué)習(xí)中，卷積層特別擅長(zhǎng)于在圖像中找到好的特征到下一層，從而形成一個(gè)非線(xiàn)性特征的層次結(jié)構(gòu)，這些特征的復(fù)雜性不斷增加（例如，斑點(diǎn)、邊緣 – 》鼻子、眼睛、臉頰 – 》面部）。最后一層使用所有這些生成的特征進(jìn)行分類(lèi)或回歸（卷積網(wǎng)絡(luò)中的最后一層本質(zhì)上是多項(xiàng)式 邏輯回歸 ）。

圖 1 ：從深度學(xué)習(xí)算法中學(xué)習(xí)的層次特征。每個(gè)特征都可以看作是一個(gè)過(guò)濾器，它過(guò)濾輸入圖像的特征（鼻子）。如果找到了特征，負(fù)責(zé)的單元會(huì)產(chǎn)生大量的激活，這些激活可以被后面的分類(lèi)器階段提取出來(lái)，作為類(lèi)存在的良好指示器。圖片由 Honglak Lee 和同事（ 2011 年）發(fā)表在“用卷積深信念網(wǎng)絡(luò)進(jìn)行分層表征的無(wú)監(jiān)督學(xué)習(xí)”。

圖 1 顯示了由深度學(xué)習(xí)算法生成的特性，該算法可以生成易于解釋的特性。這很不尋常。特征通常很難解釋?zhuān)绕涫窃谙?循環(huán)神經(jīng)網(wǎng)絡(luò) 和 LSTM 這樣的深層網(wǎng)絡(luò)或非常深的卷積網(wǎng)絡(luò)中。

深度學(xué)習(xí)

在分層 特征學(xué)習(xí) 中，我們提取多層非線(xiàn)性特征并將其傳遞給一個(gè)分類(lèi)器，該分類(lèi)器將所有特征組合起來(lái)進(jìn)行預(yù)測(cè)。我們感興趣的是將這些非常深層次的非線(xiàn)性特征疊加起來(lái)，因?yàn)槲覀儫o(wú)法從幾層中學(xué)習(xí)復(fù)雜的特性。從數(shù)學(xué)上可以看出，對(duì)于圖像來(lái)說(shuō)，單個(gè)圖層的最佳特征是邊緣和斑點(diǎn)，因?yàn)樗鼈儼宋覀兛梢詮膯蝹€(gè)非線(xiàn)性變換中提取的大部分信息。為了生成包含更多信息的特征，我們不能直接對(duì)輸入進(jìn)行操作，但是我們需要再次轉(zhuǎn)換我們的第一個(gè)特征（邊緣和斑點(diǎn)），以獲得包含更多信息的更復(fù)雜的特征，以區(qū)分類(lèi)。

有研究表明，人腦做的是完全相同的事情：在視覺(jué)皮層接收信息的第一層神經(jīng)元對(duì)特定的邊緣和斑點(diǎn)很敏感，而視覺(jué)管道下游的大腦區(qū)域則對(duì)更復(fù)雜的結(jié)構(gòu)（如臉部）敏感。

雖然分層特征學(xué)習(xí)在領(lǐng)域深度學(xué)習(xí)存在之前就被使用了，但是這些架構(gòu)面臨著諸如消失 梯度 問(wèn)題，其中梯度變得太小，無(wú)法為非常深的層提供學(xué)習(xí)信號(hào)，因此，與淺層學(xué)習(xí)算法（如支持向量機(jī)）相比，這些體系結(jié)構(gòu)的性能較差。

“深度學(xué)習(xí)”一詞源于新的方法和策略，這些方法和策略旨在通過(guò)克服梯度消失的問(wèn)題來(lái)生成這些深層的非線(xiàn)性特征層次，以便我們可以訓(xùn)練具有數(shù)十層非線(xiàn)性層次特征的體系結(jié)構(gòu)。在 2010 年早期，有研究表明，結(jié)合 GPUs 和 激活函數(shù) 提供更好的梯度流，足以在沒(méi)有重大困難的情況下訓(xùn)練深層結(jié)構(gòu)。從這里開(kāi)始，人們對(duì)深入學(xué)習(xí)的興趣與日俱增。

深度學(xué)習(xí)不僅與學(xué)習(xí)深度非線(xiàn)性層次特征有關(guān)，還與學(xué)習(xí)檢測(cè)序列數(shù)據(jù)中非常長(zhǎng)的非線(xiàn)性時(shí)間依賴(lài)性有關(guān)。雖然大多數(shù)其他處理順序數(shù)據(jù)的算法只有最后 10 個(gè)時(shí)間步的內(nèi)存， 長(zhǎng)短時(shí)記憶 循環(huán)神經(jīng)網(wǎng)絡(luò) （由 Sepp Hochreiter 和 J ü rgen-Schmidhuber 在 1997 年發(fā)明）允許網(wǎng)絡(luò)收集過(guò)去幾百個(gè)時(shí)間步的活動(dòng)，從而做出準(zhǔn)確的預(yù)測(cè)。雖然 LSTM 網(wǎng)絡(luò)在過(guò)去 10 年中大多被忽視，但自 2013 年以來(lái)， LSTM 網(wǎng)絡(luò)的使用量迅速增長(zhǎng)，與卷積網(wǎng)絡(luò)一起構(gòu)成了深度學(xué)習(xí)的兩大成功案例之一。

基本概念

對(duì)數(shù)幾率回歸

回歸分析估計(jì)統(tǒng)計(jì)輸入變量之間的關(guān)系，以便預(yù)測(cè)結(jié)果變量。 Logistic 回歸是一種回歸模型，它使用輸入變量來(lái)預(yù)測(cè)一個(gè)分類(lèi)結(jié)果變量，該變量可以采用一組有限的類(lèi)值，例如“ cancer ”/“ no cancer ”，或者圖像類(lèi)別，如“ bird ”/“ car ”/“ dog ”/“ cat ”/“ horse ”。

Logistic 回歸將 Logistic sigmoid 函數(shù)（見(jiàn)圖 2 ）應(yīng)用于加權(quán)輸入值，以預(yù)測(cè)輸入數(shù)據(jù)屬于哪兩類(lèi)（或者在多項(xiàng)式 Logistic 回歸的情況下，是多個(gè)類(lèi)別中的哪一個(gè)）。

圖 2 ： logistic sigmoid 函數(shù)$ latex f （ x ）=\ frac { 1 }{ 1 + e ^{ -x }}}$。 圖像源

Logistic 回歸類(lèi)似于非線(xiàn)性 感知器 或沒(méi)有隱藏層的神經(jīng)網(wǎng)絡(luò)。與其他基本模型的主要區(qū)別在于，如果輸入變量的某些統(tǒng)計(jì)特性成立， logistic 回歸易于解釋且可靠。如果這些統(tǒng)計(jì)特性成立，我們可以用很少的輸入數(shù)據(jù)生成一個(gè)非?？煽康哪Ｐ汀＿@使得 logistic 回歸對(duì)于缺乏數(shù)據(jù)的領(lǐng)域很有價(jià)值，比如醫(yī)學(xué)和社會(huì)科學(xué)領(lǐng)域， logistic 回歸用于分析和解釋實(shí)驗(yàn)結(jié)果。因?yàn)樗?jiǎn)單、快速，所以它也適用于非常大的數(shù)據(jù)集。

在深度學(xué)習(xí)中，用于分類(lèi)的神經(jīng)網(wǎng)絡(luò)的最后一層通?？梢越忉尀檫壿嫽貧w。在這種情況下，我們可以將深度學(xué)習(xí)算法視為多個(gè)特征學(xué)習(xí)階段，然后將其特征傳遞到 logistic 回歸中，對(duì)輸入進(jìn)行分類(lèi)。

人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（ 1 ）獲取一些輸入數(shù)據(jù)，（ 2 ）通過(guò)計(jì)算輸入的加權(quán)和來(lái)轉(zhuǎn)換這些輸入數(shù)據(jù)，（ 3 ）將一個(gè)非線(xiàn)性函數(shù)應(yīng)用于此轉(zhuǎn)換以計(jì)算中間狀態(tài)。上面的三個(gè)步驟構(gòu)成了所謂的 層 ，而轉(zhuǎn)換函數(shù)通常被稱(chēng)為 單元 。通常稱(chēng)為特征的中間狀態(tài)被用作另一層的輸入。

通過(guò)重復(fù)這些步驟，人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)多層非線(xiàn)性特征，然后將這些非線(xiàn)性特征組合到最后一層來(lái)創(chuàng)建預(yù)測(cè)。

神經(jīng)網(wǎng)絡(luò)通過(guò)產(chǎn)生一個(gè)誤差信號(hào)來(lái)學(xué)習(xí)，該信號(hào)測(cè)量網(wǎng)絡(luò)的預(yù)測(cè)值與期望值之間的差異，然后使用該誤差信號(hào)來(lái)改變權(quán)重（或參數(shù)），從而使預(yù)測(cè)更加準(zhǔn)確。

單位

單元通常指的是層中的 激活函數(shù) ，通過(guò)該層，輸入通過(guò)非線(xiàn)性激活函數(shù)（例如通過(guò) 形函數(shù) ）進(jìn)行轉(zhuǎn)換。通常，一個(gè)單元有幾個(gè)傳入連接和幾個(gè)傳出連接。然而，單元也可以更復(fù)雜，比如 長(zhǎng)短時(shí)記憶 單元，它有多個(gè)激活函數(shù)，與非線(xiàn)性激活函數(shù)有不同的連接布局，或者 maxout 單元，它通過(guò)一系列非線(xiàn)性轉(zhuǎn)換的輸入值計(jì)算最終輸出。 聯(lián)營(yíng) 、 卷積 和其他輸入轉(zhuǎn)換函數(shù)通常不被稱(chēng)為單元。

人工神經(jīng)元

“人工神經(jīng)元”或“神經(jīng)元”這一術(shù)語(yǔ)與 單元 是一個(gè)等價(jià)的術(shù)語(yǔ)，但它意味著與神經(jīng)生物學(xué)和人腦有著密切的聯(lián)系，而深度學(xué)習(xí)與大腦幾乎沒(méi)有任何關(guān)系（例如，現(xiàn)在人們認(rèn)為生物神經(jīng)元更類(lèi)似于整個(gè)多層感知器，而不是神經(jīng)網(wǎng)絡(luò)）。在上一次 艾冬 之后，人們鼓勵(lì)使用“神經(jīng)元”這個(gè)詞來(lái)區(qū)分更成功的神經(jīng)網(wǎng)絡(luò)與失敗和被遺棄的感知器。然而，自 2012 年后深度學(xué)***成功之后，媒體往往會(huì)拿起“神經(jīng)元”一詞，試圖將深度學(xué)習(xí)解釋為人腦的模仿，這對(duì)深度學(xué)習(xí)領(lǐng)域的認(rèn)知非常誤導(dǎo)，也有潛在的危險(xiǎn)?，F(xiàn)在不鼓勵(lì)使用“神經(jīng)元”一詞，而應(yīng)該使用更具描述性的術(shù)語(yǔ)“單位”。

激活函數(shù)

激活函數(shù)接受加權(quán)數(shù)據(jù)（輸入數(shù)據(jù)和權(quán)重之間的矩陣乘法）并輸出數(shù)據(jù)的非線(xiàn)性轉(zhuǎn)換。例如，$ latex output = max （ 0 ， weighted _ data ）$是 校正線(xiàn)性激活函數(shù) （基本上將所有負(fù)值設(shè)置為零）。單元和激活函數(shù)之間的區(qū)別在于，單元可以更復(fù)雜，也就是說(shuō)，一個(gè)單元可以有多個(gè)激活函數(shù)（例如 LSTM 單元）或稍微復(fù)雜一些的結(jié)構(gòu)（例如 maxout 單元）。

線(xiàn)性激活函數(shù)和非線(xiàn)性激活函數(shù)之間的區(qū)別可以用一些加權(quán)值的關(guān)系來(lái)表示：想象四個(gè)點(diǎn) A1 號(hào) 、 A2 、 地下一層 和 地下二層 。對(duì) A1 號(hào) / A2 和 地下一層 / 地下二層 彼此靠近，但 A1 號(hào) 與 地下一層 和 地下二層 相距較遠(yuǎn)，反之亦然； A2 也是如此。

通過(guò)線(xiàn)性變換，對(duì)之間的關(guān)系 MIG ht 發(fā)生變化。例如 A1 號(hào) 和 A2 MIG ht 相距很遠(yuǎn)，但這意味著 地下一層 和 地下二層 也相距很遠(yuǎn)。兩對(duì) MIG ht 之間的距離會(huì)縮小，但如果確實(shí)如此，那么 地下一層 和 地下二層 將同時(shí)接近 A1 號(hào) 和 A2 。我們可以應(yīng)用許多線(xiàn)性變換，但是 A1 號(hào) / A2 和 地下一層 / 地下二層 之間的關(guān)系總是相似的。

相反，通過(guò)非線(xiàn)性激活函數(shù)，我們可以增加 A1 號(hào) 和 A2 之間的距離，而我們 減少 可以增加 地下一層 和 地下二層 之間的距離。我們可以使 地下一層 靠近 A1 號(hào) ，但 地下二層 遠(yuǎn)離 A1 號(hào) 。通過(guò)應(yīng)用非線(xiàn)性函數(shù)，我們?cè)邳c(diǎn)之間創(chuàng)建新的關(guān)系。隨著每一個(gè)新的非線(xiàn)性變換，我們可以增加關(guān)系的復(fù)雜性。在深度學(xué)習(xí)中，使用非線(xiàn)性激活函數(shù)會(huì)為每一層創(chuàng)建越來(lái)越復(fù)雜的特征。

相反， 1000 層純線(xiàn)性變換的特征可以由一個(gè)單層再現(xiàn)（因?yàn)榫仃嚦朔ㄦ溈偸强梢杂靡粋€(gè)矩陣乘法表示）。這就是為什么非線(xiàn)性激活函數(shù)在深度學(xué)習(xí)中如此重要。

層

層是深度學(xué)習(xí)的最高層次的構(gòu)建塊。層是一個(gè)容器，它通常接收加權(quán)輸入，用一組非線(xiàn)性函數(shù)對(duì)其進(jìn)行轉(zhuǎn)換，然后將這些值作為輸出傳遞到下一層。一個(gè)層通常是統(tǒng)一的，即它只包含一種類(lèi)型的激活函數(shù)， 聯(lián)營(yíng) ， 卷積 等，因此可以很容易地與網(wǎng)絡(luò)的其他部分進(jìn)行比較。網(wǎng)絡(luò)中的第一層和最后一層分別稱(chēng)為輸入層和輸出層，中間的所有層稱(chēng)為隱藏層。

卷積式深度學(xué)習(xí)

卷積

卷積是一種數(shù)學(xué)運(yùn)算，它描述了如何混合兩個(gè)函數(shù)或信息的規(guī)則：（ 1 ）特征映射（或輸入數(shù)據(jù)）和（ 2 ）卷積核混合在一起形成（ 3 ）轉(zhuǎn)換后的特征映射。卷積通常被解釋為一種濾波器，在這種濾波器中，核對(duì)特征映射進(jìn)行某種類(lèi)型的信息過(guò)濾（例如，一個(gè)核 MIG ht 濾波器用于邊緣并丟棄其他信息）。

圖 2 ：使用邊緣檢測(cè)器卷積核的圖像的卷積。

卷積在物理和數(shù)學(xué)中很重要，因?yàn)樗ㄟ^(guò)卷積定理定義了空間域和時(shí)域（位置（ 0 ， 30 處強(qiáng)度為 147 的像素）和頻域（振幅為 0 。 3 ，頻率為 30Hz ，相位為 60 度）之間的橋梁。這種橋是通過(guò)使用傅立葉變換來(lái)定義的：當(dāng)你對(duì)核和特征映射都使用傅立葉變換時(shí)，卷積運(yùn)算就大大簡(jiǎn)化了（積分變成了乘法）。卷積的一些最快的 GPU 實(shí)現(xiàn)（例如 NVIDIA cuDNN 庫(kù)中的一些實(shí)現(xiàn)）目前使用傅立葉變換。

圖 3 ：通過(guò)在整個(gè)圖像上滑動(dòng)圖像塊來(lái)計(jì)算卷積。將原始圖像（綠色）的一個(gè)圖像塊（黃色）乘以核（黃色斑塊中的紅色數(shù)字），并將其和寫(xiě)入一個(gè)特征映射像素（卷積特征中的紅細(xì)胞）。圖片來(lái)源： 1 。

卷積可以描述信息的擴(kuò)散，例如，將牛奶放入咖啡中而不攪拌時(shí)發(fā)生的擴(kuò)散可以通過(guò)卷積操作精確地建模（像素向圖像中的輪廓擴(kuò)散）。在量子力學(xué)中，它描述了當(dāng)你測(cè)量粒子位置時(shí)量子粒子在某個(gè)位置的概率（像素位置的平均概率在輪廓處最高）。在概率論中，它描述了互相關(guān)，即重疊的兩個(gè)序列的相似程度（如果特征（例如鼻子）的像素在圖像（例如臉部）中重疊，則相似度很高）。在統(tǒng)計(jì)學(xué)中，它描述了一個(gè)標(biāo)準(zhǔn)化輸入序列上的加權(quán)移動(dòng)平均值（輪廓線(xiàn)的權(quán)重大，其他所有的權(quán)重都很?。?。還有許多其他的解釋。

對(duì)于深度學(xué)習(xí)，卷積的哪種解釋是正確的還不清楚，但目前最有用的解釋是：卷積濾波器可以解釋為特征檢測(cè)器，即輸入（特征映射）針對(duì)某個(gè)特征（核）進(jìn)行過(guò)濾，如果在形象。這就是如何解釋圖像的互相關(guān)。

圖 4 ：圖像的互相關(guān)。卷積可以通過(guò)反轉(zhuǎn)核（倒置圖像）轉(zhuǎn)換為互相關(guān)。然后，內(nèi)核可以被解釋為一個(gè)特征檢測(cè)器，其中檢測(cè)到的特征導(dǎo)致大輸出（白色）和小輸出（如果沒(méi)有特征存在）（黑色）。圖片取自 史蒂芬·史密斯 的優(yōu)秀作品 關(guān)于數(shù)字信號(hào)處理的免費(fèi)在線(xiàn)書(shū)籍 。

附加材料： 在深度學(xué)習(xí)中理解卷積

抽樣/子抽樣

池化是一個(gè)過(guò)程，它接受某個(gè)區(qū)域的輸入并將其減少到單個(gè)值（子采樣）。在 卷積神經(jīng)網(wǎng)絡(luò) 中，這種集中的信息具有有用的特性，即傳出連接通常接收相似的信息（信息被“漏斗”地“導(dǎo)入”到下一個(gè)卷積層的輸入特征映射的正確位置）。這為旋轉(zhuǎn)和平移提供了基本的不變性。例如，如果一個(gè)圖像塊上的人臉不在圖像的中心，而是稍微平移了一下，它仍然可以正常工作，因?yàn)樾畔⑼ㄟ^(guò)池化操作被導(dǎo)入到正確的位置，這樣卷積濾波器就可以檢測(cè)到人臉。

池區(qū)越大，信息就越濃縮，這就導(dǎo)致了更容易放入 GPU 內(nèi)存的細(xì)長(zhǎng)網(wǎng)絡(luò)。但是，如果池區(qū)域太大，就會(huì)丟棄太多的信息，并且預(yù)測(cè)性能會(huì)降低。

卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)，或優(yōu)選卷積網(wǎng)絡(luò)或卷積網(wǎng)絡(luò)（術(shù)語(yǔ)“神經(jīng)”具有誤導(dǎo)性；另請(qǐng)參見(jiàn) 人工神經(jīng)元 ）使用卷積 層 （參見(jiàn) 卷積 ），它過(guò)濾輸入以獲取有用信息。這些卷積層具有學(xué)習(xí)的參數(shù)，以便自動(dòng)調(diào)整這些濾波器以提取手頭任務(wù)的最有用信息（參見(jiàn)特征學(xué)習(xí)）。例如，在一般的目標(biāo)識(shí)別任務(wù)中，過(guò)濾有關(guān)對(duì)象形狀的信息（對(duì)象通常具有非常不同的形狀），而對(duì)于鳥(niǎo)類(lèi)識(shí)別任務(wù)，它更適合于提取有關(guān)鳥(niǎo)的顏色的信息（大多數(shù)鳥(niǎo)的形狀相似，但顏色不同）；這里的顏色更能區(qū)分鳥(niǎo)類(lèi)）。卷積網(wǎng)絡(luò)會(huì)自動(dòng)調(diào)整以找到這些任務(wù)的最佳特征。

通常，多個(gè)卷積層用于在每一層之后過(guò)濾圖像以獲得越來(lái)越多的抽象信息（參見(jiàn)層次特征）。

卷積網(wǎng)絡(luò)通常也使用池層（見(jiàn) 聯(lián)營(yíng) ），以獲得有限的平移和旋轉(zhuǎn)不變性（即使對(duì)象出現(xiàn)在不尋常的地方也能檢測(cè)到）。池化還可以減少內(nèi)存消耗，從而允許使用更多的卷積層。

最近的卷積網(wǎng)絡(luò)使用初始模塊（見(jiàn) 開(kāi)端 ），它使用 1 × 1 卷積核來(lái)進(jìn)一步減少內(nèi)存消耗，同時(shí)加快計(jì)算速度（從而提高訓(xùn)練速度）。

圖 5 ：一個(gè)交通標(biāo)志的圖像被 4 個(gè) 5 × 5 的卷積核過(guò)濾，生成 4 個(gè)特征圖，這些特征圖通過(guò)最大池化進(jìn)行二次采樣。下一層將 10 個(gè) 5 × 5 的卷積核應(yīng)用于這些子采樣圖像，并再次將特征映射集中在一起。最后一層是一個(gè)完全連接的層，在這里所有生成的特征被組合并用于分類(lèi)器（本質(zhì)上是 logistic 回歸）。圖像由 莫里斯·皮曼 提供。

附加材料： 課程：機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)：用神經(jīng)網(wǎng)絡(luò)識(shí)別物體 。

開(kāi)端

卷積網(wǎng)絡(luò) 中的初始模塊被設(shè)計(jì)為允許更深更大的 卷積 al 層 ，同時(shí)允許更有效的計(jì)算。這是通過(guò)使用較小的特征圖尺寸的 1 × 1 卷積來(lái)實(shí)現(xiàn)的，例如 192 個(gè) 28 × 28 尺寸的特征地圖可以通過(guò) 64 個(gè) 1 × 1 的卷積縮小為 64 個(gè) 28 × 28 的特征地圖。由于縮小了體積，這些 1 × 1 卷積可隨后得到 3 × 3 和 5 × 5 的較大卷積。除 1 × 1 卷積外，最大池化也可用于降維。

在初始模塊的輸出中，所有的大的卷積被連接成一個(gè)大的特征映射，然后被送入下一層（或初始模塊）。

附加材料： 卷積更深

第一部分結(jié)論

這是本次深度學(xué)習(xí)速成課程的第一部分。請(qǐng)盡快回來(lái)查看本系列的下兩個(gè)部分。在 第二部分 中，我將提供一個(gè)簡(jiǎn)短的歷史概述，然后介紹如何訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)。

關(guān)于作者

Tim Dettmers 是盧加諾大學(xué)信息學(xué)碩士生，在那里他從事深度學(xué)習(xí)研究。在此之前，他學(xué)習(xí)應(yīng)用數(shù)學(xué)，并在自動(dòng)化行業(yè)做了三年的軟件工程師。他經(jīng)營(yíng)著一個(gè) 關(guān)于深度學(xué)習(xí)的博客 ，并參加了 Kaggle 數(shù)據(jù)科學(xué)競(jìng)賽，他的世界排名達(dá)到了 63 位。

審核編輯：郭婷