01

神經(jīng)網(wǎng)絡(luò)中最基本的成分是神經(jīng)元（neuron）模型。在生物神經(jīng)網(wǎng)絡(luò)中，每個(gè)神經(jīng)元與其他神經(jīng)元相連，當(dāng)它“興奮”時(shí)，就會(huì)向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì)，從而改變這些神經(jīng)元內(nèi)的電位；如果某神經(jīng)元的電位超過了一個(gè)“閾值”（threshold），那么它就會(huì)被激活，即“興奮”起來，向其他神經(jīng)元發(fā)送化學(xué)物資。

圖5.1所示的簡單模型就是沿用至今的“M-P神經(jīng)元模型”。在這個(gè)模型中，神經(jīng)元接收到來自n個(gè)其他神經(jīng)元傳遞過來的輸入信號(hào)，這些輸入信號(hào)通過帶權(quán)重的連接（connection）進(jìn)行傳遞，神經(jīng)元接收到總輸入值將與神經(jīng)元的閾值進(jìn)行比較，然后通過“激活函數(shù)”（activation function）處理以產(chǎn)生神經(jīng)元的輸出。 階躍函數(shù)是理想的激活函數(shù)，它將輸出值映射為輸出值“0”或“1”，“1”對應(yīng)與神經(jīng)元興奮，“0”對應(yīng)于神經(jīng)元抑制。但階躍函數(shù)具有不連續(xù)、不光滑等不太好的性質(zhì)，因此常用Sigmoid函數(shù)作為激活函數(shù)，如下圖：

把許多這樣的神經(jīng)元按一定的層次結(jié)構(gòu)連接起來，就得到了神經(jīng)網(wǎng)絡(luò)。

感知機(jī)與多層網(wǎng)絡(luò)

once time【2018】

02

感知機(jī)（Perceptron）由兩層神經(jīng)元組成，如圖5.3所示。輸入層接收外界輸入信號(hào)后傳遞給輸出層，輸出層是M-P神經(jīng)元，亦稱“閾值邏輯單元”（threshold logic unit）。

要解決非線性可分問題，需考慮使用多層功能神經(jīng)元。如圖5.5中兩層感知機(jī)解決異或問題。

這里的輸入層和輸出層之間的一層神經(jīng)元，被稱為隱層或隱含層（hidden layer），隱含層和輸出層神經(jīng)元都是擁有激活函數(shù)的功能神經(jīng)元。

我們常見的神經(jīng)網(wǎng)絡(luò)是如圖5.6所示的層級(jí)結(jié)構(gòu)，每層神經(jīng)元與下一層神經(jīng)元全互連，神經(jīng)元枝江不存在同層連接，也不存在跨層連接。這樣的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通常稱為“多層前饋神經(jīng)網(wǎng)絡(luò)”（multi-layer feed forward neural network）。由于輸入層神經(jīng)元僅是接受輸入，不進(jìn)行函數(shù)處理，隱層與輸出層包含功能神經(jīng)元。因此，通常被稱為“兩層網(wǎng)絡(luò)”，或“單隱層網(wǎng)絡(luò)”。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，就是根據(jù)訓(xùn)練數(shù)據(jù)來調(diào)整神經(jīng)元之間的“連接權(quán)”（connection weight）以及每個(gè)功能神經(jīng)元的閾值。

誤差逆?zhèn)鞑?a href="http://www.brongaenegriffin.com/v/tag/2562/" target="_blank">算法

once time【2018】

03

欲訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)，上述的簡單感知機(jī)學(xué)習(xí)規(guī)則顯然不夠，我們需要更強(qiáng)大的學(xué)習(xí)算法。誤差逆?zhèn)鞑ィ╡rror BackPropagation，簡稱BP）算法就是一種杰出的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。