怎樣理解激活函數(shù)呢？如果你現(xiàn)在正在一個世界500強(qiáng)的大廠里敲代碼，工作壓力巨大，“996”已經(jīng)成為常態(tài)，但是你思前想后，考慮這份工作的薪水（權(quán)重w1）、免費午餐和咖啡（權(quán)重w2）、你對編碼的熱愛（權(quán)重w3）、公司離家近（權(quán)重w4）、老婆對你工作的認(rèn)可（權(quán)重w5）等因素，綜合衡量后你決定忍了，或者說這一切并沒有超出你忍耐的閾值，把你的忍耐“功能”看作一個函數(shù)，那么在這種場景下相當(dāng)于你的函數(shù)輸出為0，目前還處于沒有被激活狀態(tài)。但是事情總是向你意想不到的方向變化的，你發(fā)現(xiàn)“996”正在逐步變成“007”，或者免費咖啡變成免費白水了，再或者上述因素的權(quán)重開始調(diào)整了，比如你好像不太在乎老婆對你的工作是否認(rèn)可了，你終于不忍了，這時函數(shù)輸出超出了閾值，你把自己激活了，揚長而去。

1、一切的基礎(chǔ)：M-P神經(jīng)元

深度學(xué)習(xí)網(wǎng)絡(luò)實質(zhì)上是層數(shù)較多的神經(jīng)網(wǎng)絡(luò)，那什么是神經(jīng)網(wǎng)絡(luò)呢？簡單來說是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行處理信息的算法模型。人們總可以從萬能的大自然中學(xué)習(xí)到很多，比如通過研究鳥兒的翅膀發(fā)明飛機(jī)，在研究蝙蝠時獲得發(fā)明雷達(dá)的靈感，人們同樣也希望效仿大腦神經(jīng)網(wǎng)絡(luò)而獲得智能。

模仿大腦神經(jīng)元的最早實例，是20世紀(jì)40年代提出并且一直沿用至今的“M-P神經(jīng)元模型”，這個M-P是什么意思?。窟@里有一段故事。

M-P神經(jīng)元模型，最早源于發(fā)表于1943年的一篇論文，論文的兩位作者分別是神經(jīng)生理學(xué)家沃倫·麥克洛克（Warren McCulloch）和數(shù)學(xué)家沃爾特·皮茨（Walter Pitts），論文首次實現(xiàn)了用一個簡單電路（也就是未來大名鼎鼎的感知機(jī)）來模擬大腦神經(jīng)元的行為。那時受《數(shù)學(xué)原理》的啟發(fā)，麥克洛克正在嘗試用戈特弗里德·萊布尼茨（微積分發(fā)明人）的邏輯演算來構(gòu)建一個大腦模型，這是一件極富挑戰(zhàn)性的事。麥克洛克猜想神經(jīng)元的工作機(jī)制很可能類似于邏輯門電路，接受多個輸入，產(chǎn)生單一的輸出，而通過改變神經(jīng)元的激發(fā)閾值以及神經(jīng)元之間的連接程度，就可以讓它執(zhí)行“與、或、非”等功能。但是麥克洛克的強(qiáng)項是神經(jīng)科學(xué)，他不擅長數(shù)學(xué)，難以形式化描述自己的想法。這時頗有數(shù)學(xué)才華的皮茨出場了，正好補(bǔ)其短板。當(dāng)麥克洛克和皮茨完成他們的計算實驗時，實際上構(gòu)造了一個操作性非常強(qiáng)的機(jī)械型精神模型，后人就用二人名稱的首字母稱呼這個模型“M-P神經(jīng)元模型”。基于他們的研究發(fā)現(xiàn)，麥克洛克和皮茨寫了一篇學(xué)術(shù)文章，這篇文章就是神經(jīng)網(wǎng)絡(luò)的天下第一文《神經(jīng)活動中思想內(nèi)在性的邏輯演算》（A Logical Calculus ofIdeas Immanent in Nervous Activity），發(fā)表在著名期刊《數(shù)學(xué)生物物理學(xué)通報》。

2、神經(jīng)網(wǎng)絡(luò)被激活：激活函數(shù)

M-P神經(jīng)元模型中，神經(jīng)元接收來自n個其他神經(jīng)元傳遞過來的輸入信號。這些信號的表達(dá)通常通過神經(jīng)元之間連接的權(quán)重（Weight）大小來表示，神經(jīng)元將接收到的輸入值按照某種權(quán)重疊加起來，匯集了所有其他外聯(lián)神經(jīng)元的輸入，并將其作為一個結(jié)果輸出。但這種輸出并非直接輸出，而是與當(dāng)前神經(jīng)元的閾值（θ就是閾值）進(jìn)行比較，然后通過激活函數(shù)f（Activation Function）向外表達(dá)輸出，y就是最終的輸出。

怎樣理解激活函數(shù)呢？如果你現(xiàn)在正在一個世界500強(qiáng)的大廠里敲代碼，工作壓力巨大，“996”已經(jīng)成為常態(tài)，但是你思前想后，考慮這份工作的薪水（權(quán)重w1）、免費午餐和咖啡（權(quán)重w2）、你對編碼的熱愛（權(quán)重w3）、公司離家近（權(quán)重w4）、老婆對你工作的認(rèn)可（權(quán)重w5）等因素，綜合衡量后你決定忍了，或者說這一切并沒有超出你忍耐的閾值，把你的忍耐“功能”看作一個函數(shù)，那么在這種場景下相當(dāng)于你的函數(shù)輸出為0，目前還處于沒有被激活狀態(tài)。但是事情總是向你意想不到的方向變化的，你發(fā)現(xiàn)“996”正在逐步變成“007”，或者免費咖啡變成免費白水了，再或者上述因素的權(quán)重開始調(diào)整了，比如你好像不太在乎老婆對你的工作是否認(rèn)可了，你終于不忍了，這時函數(shù)輸出超出了閾值，你把自己激活了，揚長而去

神經(jīng)元的工作模型存在“激活-》1”和“抑制-》0”兩種狀態(tài)的跳變，理想的激活函數(shù)就應(yīng)該是的階躍函數(shù)，但在實際使用中，這類函數(shù)具有不光滑、不連續(xù)等眾多不“友好”的特性， 于是Sigmoid激活函數(shù)，Tanh 激活函數(shù)，ReLU激活函數(shù)，Softmax激活函數(shù)等等加強(qiáng)版出現(xiàn)，根據(jù)不同需求各顯神通。

3、神經(jīng)網(wǎng)絡(luò)的“Hello World”：感知機(jī)

感知機(jī)是由康奈爾航空實驗室的心理學(xué)教授弗蘭克·羅森布拉特（Frank Rosenblatt）在1957年提出的一種人工神經(jīng)網(wǎng)絡(luò)，也被視為一種形式最簡單的前饋式人工神經(jīng)網(wǎng)絡(luò)，是一種二元線性分類器。羅森布拉特做了一個在當(dāng)時看來非常令人“驚艷”的實驗，實驗的訓(xùn)練數(shù)據(jù)是50組圖片，每組兩幅，由一張標(biāo)識向左和一張標(biāo)識向右的圖片組成。學(xué)著，學(xué)著，這部感知機(jī)就能“感知”出最佳的連接權(quán)值。然后，對于一個全新的圖片，在沒有任何人工干預(yù)的情況下，它能“獨立”判定出圖片標(biāo)識為左還是為右。

感知機(jī)是一切神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的起點，是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)“Hello World”。感知機(jī)也被稱為“閾值邏輯單元”，我們在上文說“激活函數(shù)”時已經(jīng)講解過原理了。感知機(jī)有明確的結(jié)果導(dǎo)向性，比如下圖感知機(jī)的實例，目的就是區(qū)分“西瓜和香蕉”，感知機(jī)的“學(xué)習(xí)”就是，就是通過不斷的循環(huán)往復(fù)的試錯，調(diào)整神經(jīng)元之間的連接權(quán)值（w參數(shù)值）和神經(jīng)元閾值（θ參數(shù)值）等規(guī)則，最終只要能達(dá)到良好的分類目的就是好的規(guī)則。

4、人工智能的寒冬：感知機(jī)的問題

聰慧的你可能發(fā)現(xiàn)，感知機(jī)很容易實現(xiàn)邏輯上的“與、或、非”等原子布爾函數(shù)，但是感知機(jī)難以實現(xiàn)常見的“異或”邏輯操作。1972年，明斯基出版了《感知機(jī)：計算幾何簡介》一書，在書中論述了感知機(jī)模型存在的兩個關(guān)鍵問題，一是單層神經(jīng)網(wǎng)絡(luò)無法實現(xiàn)“異或門電路”等功能，第二是，即使使用當(dāng)時最先進(jìn)的計算機(jī)，也沒有足夠的計算能力去完成神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練所需的超大的計算量（比如調(diào)整網(wǎng)絡(luò)中的權(quán)重參數(shù)）。這篇文章把人工智能送進(jìn)了長達(dá)二十年的“冬天”，由于看不到前景，人工智能研究獲得的經(jīng)費大幅度減少，不少研究人員也不得不轉(zhuǎn)行。

審核編輯：郭婷