來源：青榴實驗室

1、引子

深度神經(jīng)網(wǎng)絡(luò)(DNNs)最近在圖像分類或語音識別等復(fù)雜機器學(xué)習(xí)任務(wù)中表現(xiàn)出的優(yōu)異性能令人印象深刻。

在本文中，我們將了解深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識和三個最流行神經(jīng)網(wǎng)絡(luò)：多層神經(jīng)網(wǎng)絡(luò)(MLP)，卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。

2、什么是深度神經(jīng)網(wǎng)絡(luò)

機器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科，專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能的核心，是使計算機具有智能的根本途徑。如果論及哪一個機器學(xué)習(xí)的領(lǐng)域最為熱門，非人工智能莫屬，這就是深度學(xué)習(xí)。深度學(xué)習(xí)框架又名深度神經(jīng)網(wǎng)絡(luò)，一個復(fù)雜的模式識別系統(tǒng)，在過去的幾十年里，機器學(xué)習(xí)給我們的日常生活帶來了巨大的影響，包括高效的網(wǎng)絡(luò)搜索、自動駕駛系統(tǒng)、計算機視覺和光學(xué)字符識別。

深層神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展應(yīng)用致使語音識別錯誤率上較傳統(tǒng)語音識別方法錯誤率減少30%(20年來最大降幅),同時也大幅削減了圖像識別的錯誤率，自2011年以來深度學(xué)習(xí)圖像識別的錯誤率從26%到3.5%,而人類是5%。

3、深度神經(jīng)網(wǎng)絡(luò)的基本原理

4、深度神經(jīng)網(wǎng)絡(luò)的“深”

深度神經(jīng)網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中采用了深度結(jié)構(gòu)。“深”是指在層次數(shù)和單層單元數(shù)的深兼具較高復(fù)雜性的功能。云計算中的大型數(shù)據(jù)集可以通過使用額外的和更大的層來捕獲更高級數(shù)據(jù)模式來構(gòu)建更精確的模型。神經(jīng)網(wǎng)絡(luò)的兩個階段被稱為訓(xùn)練(或?qū)W習(xí))和推斷(或預(yù)測)，它們指的是發(fā)展和生產(chǎn)。開發(fā)人員選擇神經(jīng)網(wǎng)絡(luò)的層數(shù)和類型，訓(xùn)練確定權(quán)值。

5、目前流行的深度神經(jīng)網(wǎng)絡(luò)有三種

5.1 多層感知器(MLP)

卷積神經(jīng)網(wǎng)絡(luò)(CNN，或ConvNet)是另一類深度神經(jīng)網(wǎng)絡(luò)。CNN最常用于計算機視覺。給定一系列來自現(xiàn)實世界的圖像或視頻，AI系統(tǒng)利用CNN學(xué)習(xí)自動提取這些輸入的特征來完成特定的任務(wù)，如圖像分類、人臉認(rèn)證、圖像語義分割等。

與MLP中的完全連接層不同，在CNN模型中，一個或多個卷積層通過執(zhí)行卷積操作從輸入中提取簡單特征。每一層都是一組非線性函數(shù)，這些函數(shù)的加權(quán)和位于前一層輸出的空間附近子集的不同坐標(biāo)上，允許權(quán)重被重用。

VGG-16。為了達(dá)到更高的精度，vg -16被訓(xùn)練為一個更深層次的16層結(jié)構(gòu)，由13個卷積層和3個全連通層組成，需要1.38億權(quán)值和15.5G mac對大小為224×224的圖像進(jìn)行分類。

GoogleNet。為了提高準(zhǔn)確性，同時減少DNN推理的計算，GoogleNet引入了一個由不同大小的過濾器組成的初始模塊。google et比vg -16具有更好的精度性能，而處理相同大小的圖像只需要700萬權(quán)重和1.43G mac。

ResNet。最新的研究成果ResNet使用了“快捷”結(jié)構(gòu)，達(dá)到了人類平均水平的準(zhǔn)確率，前5名的錯誤率低于5%?！敖輳健蹦K用于解決訓(xùn)練過程中的梯度消失問題，使訓(xùn)練具有更深結(jié)構(gòu)的DNN模型成為可能。

在RNN中，每一層都是輸出和前一層狀態(tài)的加權(quán)和的非線性函數(shù)集合。RNN的基本單元稱為“Cell”，每個Cell層由一系列的Cell組成，層層傳遞處理使RNN模型能夠進(jìn)行順序處理。

深度學(xué)習(xí)現(xiàn)在已經(jīng)應(yīng)用到生活各領(lǐng)域：

1.深度學(xué)習(xí)應(yīng)用在音視頻的識別上，幾乎所有的商用語音識別都是深度學(xué)習(xí)來完成的，如自然語言理解方面，主要是使用一種叫做LSTM的深度學(xué)習(xí)方法。

2.深度學(xué)習(xí)應(yīng)用于圖像識別，目前識別準(zhǔn)確率已經(jīng)超越人類，深度學(xué)習(xí)成了圖像識別的標(biāo)配。其中圖像識別中，應(yīng)用最廣的是人臉識別。

END

（添加請備注公司名和職稱）

Imagination攜手飛槳等多家伙伴聯(lián)合發(fā)布 AI Studio硬件生態(tài)專區(qū)

Imagination Technologies是一家總部位于英國的公司，致力于研發(fā)芯片和軟件知識產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車、家庭和工作 場所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車電子、圖形圖像開發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！