此時(shí)輸入?yún)?shù)對(duì)應(yīng)的是下圖中的黑點(diǎn)，每個(gè)神經(jīng)元就是黑線（由于激勵(lì)函數(shù)的存在，不一定像下圖一樣是線性的，它可以是任意的形狀）。神經(jīng)網(wǎng)絡(luò)由一個(gè)個(gè)神經(jīng)元組成，這些神經(jīng)元表示的擬合函數(shù)相互交錯(cuò)就形成了各種各樣的區(qū)域。在下圖中可以直觀的看到，此時(shí)分類問題就是一個(gè)數(shù)學(xué)的問題，輸入?yún)?shù)落在 A 區(qū)域，那么就認(rèn)為他是分類 1，落在 B 區(qū)域，則認(rèn)為他是分類 2。依次類推，我們便建立了神經(jīng)網(wǎng)絡(luò)分類器在數(shù)學(xué)上的表現(xiàn)含義。

激活函數(shù)

事實(shí)上，一個(gè)神經(jīng)元不能擬合異或運(yùn)算。在下圖中可以直觀的看到，你無法直接用一條直線將分類 0 和分類 1 分隔開。

此時(shí)可以借助激活函數(shù)來做分割。激活函數(shù)選擇閥值函數(shù)，也就是當(dāng)輸入大于某個(gè)值時(shí)輸出 1（激活）,小于等于那個(gè)值則輸出 0（沒有激活）。

擬合異或函數(shù)的神經(jīng)網(wǎng)絡(luò)如圖所示：

圖中神經(jīng)網(wǎng)絡(luò)分成三層。在第二層中，如果輸入大于 1.5 則輸出 1，否則 0；第三層，如果輸入大于 0.5，則輸出 1，否則 0.

第一層到第二層（閥值 1.5）：

第二層到第三層（閥值 0.5）：

可以看到最終結(jié)果與異或結(jié)果吻合。

其實(shí)，這里放在數(shù)學(xué)上理解體現(xiàn)的是一個(gè)升維思想。放在二維坐標(biāo)中無法分割的點(diǎn)，可以放在三維坐標(biāo)中分割。上面的神經(jīng)網(wǎng)絡(luò)可以理解為只有最后一層，三個(gè)參數(shù)的神經(jīng)元。激活函數(shù)是用來構(gòu)造第三個(gè)參數(shù)的方式。這樣等同于將三個(gè)點(diǎn)放在三維坐標(biāo)系中做數(shù)據(jù)分割。相當(dāng)于在二維中無法解決中的問題升維到三維中解決。

深度學(xué)習(xí)過程

構(gòu)造神經(jīng)網(wǎng)絡(luò)

確定學(xué)習(xí)目標(biāo)

學(xué)習(xí)

如何進(jìn)行深度學(xué)習(xí)，過程基本都可以分為這三步來做。用一個(gè)簡(jiǎn)單的例子來說明。如圖，假設(shè)我們需要通過深度學(xué)習(xí)來識(shí)別手寫圖片對(duì)應(yīng)的數(shù)字。

1.構(gòu)造神經(jīng)網(wǎng)絡(luò)。這里可以采用最簡(jiǎn)單的全連接神經(jīng)網(wǎng)絡(luò)，也可以采用卷積神經(jīng)網(wǎng)絡(luò)。同時(shí)確定神經(jīng)元的激勵(lì)函數(shù)，神經(jīng)網(wǎng)絡(luò)的層數(shù)等?；A(chǔ)概念篇不做過多介紹

2.確定學(xué)習(xí)目標(biāo)。這里簡(jiǎn)單假設(shè)我們所有輸入的都是手寫的數(shù)字圖片。那么這里就有 10 個(gè)輸出，分別對(duì)應(yīng) 0~9 的數(shù)字的比例。我們用 [y0,y1,...y9]表示，每個(gè) y 值代表這張圖可能對(duì)應(yīng)該數(shù)字的概率（y0 表示這張圖是數(shù)字 0 的概率）。對(duì)于上圖中第一個(gè)輸入圖片，在訓(xùn)練過程中，我們知道第一張圖片輸出應(yīng)該是數(shù)字 5。于是我們期望輸出是 [0,0,0,0,0,1,0,0,0,0]。但是實(shí)際上，我們的模型不是完美的，肯定會(huì)有誤差，我們得到的結(jié)果可能是 [0,0,0.1,0,0,0.88,0,0,0,0.02]。那么就會(huì)有個(gè)訓(xùn)練得到的結(jié)果和期望結(jié)果的誤差。

這時(shí)候我們的學(xué)習(xí)目標(biāo)也就是希望這個(gè)誤差能夠最小。誤差用 L 來表示，學(xué)習(xí)目標(biāo)就是找到權(quán)值 w，使得 L 最小。當(dāng)然，這里涉及到我們需要用一個(gè)公式來表達(dá)這個(gè)誤差 L，這個(gè)公式選取也很有學(xué)問，不同的公式最終在學(xué)習(xí)過程時(shí)收斂速度是不一樣的，通過訓(xùn)練模型得到的權(quán)值 w 也是不一樣的。這里先不多介紹。

3.學(xué)習(xí)。假設(shè)我們神經(jīng)模型確定下來的權(quán)值 w 與 L 的關(guān)系如圖所示（這里我們考慮最簡(jiǎn)單的二維坐標(biāo)下的情況，原理是相通的，推廣到多元坐標(biāo)也是適用的）。由于數(shù)學(xué)模型的復(fù)雜，這里找最小值 L 的過程其實(shí)是找局部最小值的過程。

我們都知道，函數(shù)某個(gè)位置可導(dǎo)，那么就可以確定這個(gè)點(diǎn)的斜率。要找到局部最小值，可以根據(jù)這個(gè)點(diǎn)的斜率移動(dòng) w。如根據(jù)此時(shí)斜率的值我們可以確定 w 應(yīng)該向右移動(dòng)一段距離。