chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

淺析三種主流深度神經(jīng)網(wǎng)絡(luò)

Dbwd_Imgtec ? 來(lái)源:未知 ? 2023-05-15 14:20 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

來(lái)源:青榴實(shí)驗(yàn)室


1、引子

深度神經(jīng)網(wǎng)絡(luò)(DNNs)最近在圖像分類(lèi)或語(yǔ)音識(shí)別等復(fù)雜機(jī)器學(xué)習(xí)任務(wù)中表現(xiàn)出的優(yōu)異性能令人印象深刻。

在本文中,我們將了解深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)和三個(gè)最流行神經(jīng)網(wǎng)絡(luò):多層神經(jīng)網(wǎng)絡(luò)(MLP),卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。


2、什么是深度神經(jīng)網(wǎng)絡(luò)

機(jī)器學(xué)習(xí)是一門(mén)多領(lǐng)域交叉學(xué)科,專(zhuān)門(mén)研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類(lèi)的學(xué)習(xí)行為,以獲取新的知識(shí)或技能,重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。它是人工智能的核心,是使計(jì)算機(jī)具有智能的根本途徑。如果論及哪一個(gè)機(jī)器學(xué)習(xí)的領(lǐng)域最為熱門(mén),非人工智能莫屬,這就是深度學(xué)習(xí)。深度學(xué)習(xí)框架又名深度神經(jīng)網(wǎng)絡(luò),一個(gè)復(fù)雜的模式識(shí)別系統(tǒng),在過(guò)去的幾十年里,機(jī)器學(xué)習(xí)給我們的日常生活帶來(lái)了巨大的影響,包括高效的網(wǎng)絡(luò)搜索、自動(dòng)駕駛系統(tǒng)、計(jì)算機(jī)視覺(jué)光學(xué)字符識(shí)別。

深度神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成為機(jī)器學(xué)習(xí)和人工智能的有力工具。深度神經(jīng)網(wǎng)絡(luò)(DNN)的輸入層和輸出層之間有多層的人工神經(jīng)網(wǎng)絡(luò)(ANN)。

深層神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展應(yīng)用致使語(yǔ)音識(shí)別錯(cuò)誤率上較傳統(tǒng)語(yǔ)音識(shí)別方法錯(cuò)誤率減少30%(20年來(lái)最大降幅),同時(shí)也大幅削減了圖像識(shí)別的錯(cuò)誤率,自2011年以來(lái)深度學(xué)習(xí)圖像識(shí)別的錯(cuò)誤率從26%到3.5%,而人類(lèi)是5%。


3、深度神經(jīng)網(wǎng)絡(luò)的基本原理

深度神經(jīng)網(wǎng)絡(luò)模型最初基于神經(jīng)生物學(xué)的啟發(fā)。生物神經(jīng)元通過(guò)與樹(shù)突的突觸接觸接收多個(gè)信號(hào),并通過(guò)軸突發(fā)送單一的動(dòng)作電位流。通過(guò)對(duì)輸入模式進(jìn)行分類(lèi),可以降低多個(gè)輸入的復(fù)雜性。受這種輸入輸出方式的啟發(fā),人工神經(jīng)網(wǎng)絡(luò)模型由組合多個(gè)輸入和單一的輸出單元組成。神經(jīng)網(wǎng)絡(luò)以模擬人類(lèi)大腦的功能為目標(biāo),并基于一個(gè)簡(jiǎn)單的人工神經(jīng)元:輸入信號(hào)的加權(quán)和的非線性函數(shù)(如max(0, value))。這些偽神經(jīng)元被聚合成層,一層的輸出成為序列中下一層的輸入。

4、深度神經(jīng)網(wǎng)絡(luò)的“深”

深度神經(jīng)網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中采用了深度結(jié)構(gòu)?!吧睢笔侵冈趯哟螖?shù)和單層單元數(shù)的深兼具較高復(fù)雜性的功能。云計(jì)算中的大型數(shù)據(jù)集可以通過(guò)使用額外的和更大的層來(lái)捕獲更高級(jí)數(shù)據(jù)模式來(lái)構(gòu)建更精確的模型。神經(jīng)網(wǎng)絡(luò)的兩個(gè)階段被稱(chēng)為訓(xùn)練(或?qū)W習(xí))和推斷(或預(yù)測(cè)),它們指的是發(fā)展和生產(chǎn)。開(kāi)發(fā)人員選擇神經(jīng)網(wǎng)絡(luò)的層數(shù)和類(lèi)型,訓(xùn)練確定權(quán)值。

5、目前流行的深度神經(jīng)網(wǎng)絡(luò)有三種

5.1 多層感知器(MLP)

多層感知器(MLP)是一類(lèi)前饋人工神經(jīng)網(wǎng)絡(luò)(ANN)。MLPs模型是最基本的深度神經(jīng)網(wǎng)絡(luò),其將輸入的多個(gè)數(shù)據(jù)集映射到單一的輸出的數(shù)據(jù)集上,由一系列全連接層組成。每一層都是一組非線性函數(shù),它們是前一層所有輸出(完全連通)的加權(quán)和。功能函數(shù):wKgZomTnn3yACyMvAAAMi5_-pmo603.png

wKgaomTpvqGAE8MbAAHnnrXL7LM054.png

5.2 卷積神經(jīng)網(wǎng)絡(luò)(CNN)

卷積神經(jīng)網(wǎng)絡(luò)(CNN,或ConvNet)是另一類(lèi)深度神經(jīng)網(wǎng)絡(luò)。CNN最常用于計(jì)算機(jī)視覺(jué)。給定一系列來(lái)自現(xiàn)實(shí)世界的圖像或視頻,AI系統(tǒng)利用CNN學(xué)習(xí)自動(dòng)提取這些輸入的特征來(lái)完成特定的任務(wù),如圖像分類(lèi)、人臉認(rèn)證、圖像語(yǔ)義分割等。

與MLP中的完全連接層不同,在CNN模型中,一個(gè)或多個(gè)卷積層通過(guò)執(zhí)行卷積操作從輸入中提取簡(jiǎn)單特征。每一層都是一組非線性函數(shù),這些函數(shù)的加權(quán)和位于前一層輸出的空間附近子集的不同坐標(biāo)上,允許權(quán)重被重用。

wKgZomTpvo6AG7xWAAEKdrNexL8911.png

應(yīng)用各種卷積濾波器,CNN模型可以高水平準(zhǔn)確地捕獲輸入數(shù)據(jù),使其成為最受歡迎的計(jì)算機(jī)視覺(jué)應(yīng)用技術(shù),如圖像分類(lèi)(例如,AlexNet, VGG網(wǎng)絡(luò),ResNet, MobileNet)和目標(biāo)檢測(cè)(例如,F(xiàn)ast R-CNN, Mask R-CNN, YOLO, SSD)。AlexNet。在圖像分類(lèi)方面,作為2012年第一個(gè)贏得ImageNet挑戰(zhàn)賽的CNN, AlexNet由5個(gè)卷積層和3個(gè)全連接層組成。AlexNet需要6100萬(wàn)個(gè)權(quán)重和7.24億個(gè)mac(乘法加法計(jì)算)來(lái)對(duì)大小為227×227的圖像進(jìn)行分類(lèi)。

VGG-16。為了達(dá)到更高的精度,vg -16被訓(xùn)練為一個(gè)更深層次的16層結(jié)構(gòu),由13個(gè)卷積層和3個(gè)全連通層組成,需要1.38億權(quán)值和15.5G mac對(duì)大小為224×224的圖像進(jìn)行分類(lèi)。

GoogleNet。為了提高準(zhǔn)確性,同時(shí)減少DNN推理的計(jì)算,GoogleNet引入了一個(gè)由不同大小的過(guò)濾器組成的初始模塊。google et比vg -16具有更好的精度性能,而處理相同大小的圖像只需要700萬(wàn)權(quán)重和1.43G mac。

ResNet。最新的研究成果ResNet使用了“快捷”結(jié)構(gòu),達(dá)到了人類(lèi)平均水平的準(zhǔn)確率,前5名的錯(cuò)誤率低于5%?!敖輳健蹦K用于解決訓(xùn)練過(guò)程中的梯度消失問(wèn)題,使訓(xùn)練具有更深結(jié)構(gòu)的DNN模型成為可能。

近年來(lái)CNN的準(zhǔn)確率和性能逐漸提高,應(yīng)用于人們?nèi)斯ぶ悄芤曈X(jué)任務(wù)的,超過(guò)了人類(lèi)視覺(jué)的平均水平錯(cuò)誤率低于5%。wKgZomTnn3yAX8_6AAOa_bw0Zwk001.png5.3遞歸神經(jīng)網(wǎng)絡(luò)(RNN)遞歸神經(jīng)網(wǎng)絡(luò)(RNN)是另一類(lèi)使用順序數(shù)據(jù)輸入的人工神經(jīng)網(wǎng)絡(luò)。RNN是用來(lái)解決序列輸入數(shù)據(jù)的時(shí)間序列問(wèn)題的。RNN的輸入由當(dāng)前輸入和之前的樣本組成。因此,節(jié)點(diǎn)之間的連接沿時(shí)間序列形成有向圖。RNN中的每個(gè)神經(jīng)元都有一個(gè)內(nèi)部存儲(chǔ)器,它保存著來(lái)自前一個(gè)樣本的計(jì)算信息。wKgZomTnn3yAdN0DAAFa0t3z7-k216.pngRNN模型在處理輸入長(zhǎng)度不固定的數(shù)據(jù)方面具有優(yōu)勢(shì),因此在自然語(yǔ)言處理中得到了廣泛的應(yīng)用。人工智能的任務(wù)是建立一個(gè)能夠理解人類(lèi)說(shuō)的自然語(yǔ)言的系統(tǒng),例如自然語(yǔ)言建模、單詞嵌入和機(jī)器翻譯。

在RNN中,每一層都是輸出和前一層狀態(tài)的加權(quán)和的非線性函數(shù)集合。RNN的基本單元稱(chēng)為“Cell”,每個(gè)Cell層由一系列的Cell組成,層層傳遞處理使RNN模型能夠進(jìn)行順序處理。


6、深度神經(jīng)網(wǎng)絡(luò)應(yīng)用

深度學(xué)習(xí)現(xiàn)在已經(jīng)應(yīng)用到生活各領(lǐng)域:

1.深度學(xué)習(xí)應(yīng)用在音視頻的識(shí)別上,幾乎所有的商用語(yǔ)音識(shí)別都是深度學(xué)習(xí)來(lái)完成的,如自然語(yǔ)言理解方面,主要是使用一種叫做LSTM的深度學(xué)習(xí)方法。

2.深度學(xué)習(xí)應(yīng)用于圖像識(shí)別,目前識(shí)別準(zhǔn)確率已經(jīng)超越人類(lèi),深度學(xué)習(xí)成了圖像識(shí)別的標(biāo)配。其中圖像識(shí)別中,應(yīng)用最廣的是人臉識(shí)別。

總之深度神經(jīng)網(wǎng)絡(luò)已經(jīng)深入便捷了人們生活,各類(lèi)自動(dòng)駕駛車(chē)輛,各種類(lèi)型的人工智能機(jī)器人,智能回答,智能翻譯,天氣預(yù)報(bào),股票預(yù)測(cè),人臉比對(duì),聲紋比對(duì),等其他許多有趣的應(yīng)用,比如智能插畫(huà),自動(dòng)作詩(shī),自動(dòng)寫(xiě)作文,等都可以通過(guò)深度學(xué)習(xí)來(lái)完成深度神經(jīng)網(wǎng)絡(luò)。

END

歡迎加入Imagination GPU與人工智能交流2群

wKgZomTnn32ATq_bAABN8aBfIqc717.jpg

入群請(qǐng)加小編微信:eetrend89

(添加請(qǐng)備注公司名和職稱(chēng))

推薦閱讀 對(duì)話Imagination中國(guó)區(qū)董事長(zhǎng):以GPU為支點(diǎn)加強(qiáng)軟硬件協(xié)同,助力數(shù)字化轉(zhuǎn)型

Imagination攜手飛槳等多家伙伴聯(lián)合發(fā)布 AI Studio硬件生態(tài)專(zhuān)區(qū)

wKgZomTnn32ANuTYAAGo5T4MzkM492.jpg

Imagination Technologies是一家總部位于英國(guó)的公司,致力于研發(fā)芯片和軟件知識(shí)產(chǎn)權(quán)(IP),基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車(chē)、家庭和工作 場(chǎng)所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車(chē)電子、圖形圖像開(kāi)發(fā)等前沿技術(shù)信息,歡迎關(guān)注 Imagination Tech!


原文標(biāo)題:淺析三種主流深度神經(jīng)網(wǎng)絡(luò)

文章出處:【微信公眾號(hào):Imagination Tech】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。


聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • imagination
    +關(guān)注

    關(guān)注

    1

    文章

    617

    瀏覽量

    63076
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    NMSIS神經(jīng)網(wǎng)絡(luò)庫(kù)使用介紹

    NMSIS NN 軟件庫(kù)是一組高效的神經(jīng)網(wǎng)絡(luò)內(nèi)核,旨在最大限度地提高 Nuclei N 處理器內(nèi)核上的神經(jīng)網(wǎng)絡(luò)的性能并最??大限度地減少其內(nèi)存占用。 該庫(kù)分為多個(gè)功能,每個(gè)功能涵蓋特定類(lèi)別
    發(fā)表于 10-29 06:08

    在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的一些經(jīng)驗(yàn)

    本帖欲分享在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的一些經(jīng)驗(yàn)。我們采用jupyter notebook作為開(kāi)發(fā)IDE,以TensorFlow2為訓(xùn)練框架,目標(biāo)是訓(xùn)練一個(gè)手寫(xiě)數(shù)字識(shí)別的神經(jīng)網(wǎng)絡(luò)
    發(fā)表于 10-22 07:03

    液態(tài)神經(jīng)網(wǎng)絡(luò)(LNN):時(shí)間連續(xù)性與動(dòng)態(tài)適應(yīng)性的神經(jīng)網(wǎng)絡(luò)

    1.算法簡(jiǎn)介液態(tài)神經(jīng)網(wǎng)絡(luò)(LiquidNeuralNetworks,LNN)是一新型的神經(jīng)網(wǎng)絡(luò)架構(gòu),其設(shè)計(jì)理念借鑒自生物神經(jīng)系統(tǒng),特別是秀麗隱桿線蟲(chóng)的
    的頭像 發(fā)表于 09-28 10:03 ?647次閱讀
    液態(tài)<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>(LNN):時(shí)間連續(xù)性與動(dòng)態(tài)適應(yīng)性的<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>

    無(wú)刷電機(jī)小波神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)子位置檢測(cè)方法的研究

    摘要:論文通過(guò)對(duì)無(wú)刷電機(jī)數(shù)學(xué)模型的推導(dǎo),得出轉(zhuǎn)角:與相相電壓之間存在映射關(guān)系,因此構(gòu)建了一個(gè)以相相電壓為輸人,轉(zhuǎn)角為輸出的小波神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)轉(zhuǎn)角預(yù)測(cè),并采用改進(jìn)遺傳算法來(lái)訓(xùn)練網(wǎng)絡(luò)結(jié)
    發(fā)表于 06-25 13:06

    神經(jīng)網(wǎng)絡(luò)專(zhuān)家系統(tǒng)在電機(jī)故障診斷中的應(yīng)用

    摘要:針對(duì)傳統(tǒng)專(zhuān)家系統(tǒng)不能進(jìn)行自學(xué)習(xí)、自適應(yīng)的問(wèn)題,本文提出了基于經(jīng)網(wǎng)絡(luò)專(zhuān)家系統(tǒng)的并步電機(jī)故障診斷方法。本文將小波神經(jīng)網(wǎng)絡(luò)和專(zhuān)家系統(tǒng)相結(jié)合,充分發(fā)揮了二者故障診斷的優(yōu)點(diǎn),很大程度上降低了對(duì)電機(jī)
    發(fā)表于 06-16 22:09

    BP神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)原則

    BP(back propagation)神經(jīng)網(wǎng)絡(luò)是一按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)原則主要基于以下幾個(gè)方面: 一、層次結(jié)構(gòu) 輸入層 :接收外部輸入信號(hào),不
    的頭像 發(fā)表于 02-12 16:41 ?1233次閱讀

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的比較

    BP神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)在多個(gè)方面存在顯著差異,以下是對(duì)兩者的比較: 一、結(jié)構(gòu)特點(diǎn) BP神經(jīng)網(wǎng)絡(luò) : BP神經(jīng)網(wǎng)絡(luò)是一多層的前饋
    的頭像 發(fā)表于 02-12 15:53 ?1281次閱讀

    BP神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)分析

    BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network)作為一常用的機(jī)器學(xué)習(xí)模型,具有顯著的優(yōu)點(diǎn),同時(shí)也存在一些不容忽視的缺點(diǎn)。以下是對(duì)BP神經(jīng)網(wǎng)絡(luò)優(yōu)缺點(diǎn)的分析: 優(yōu)點(diǎn)
    的頭像 發(fā)表于 02-12 15:36 ?1527次閱讀

    什么是BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法

    BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法(Backpropagation Algorithm)是一用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的有效方法。以下是關(guān)于BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法的介紹: 一、基本概念 反向傳播算
    的頭像 發(fā)表于 02-12 15:18 ?1258次閱讀

    BP神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的關(guān)系

    ),是一多層前饋神經(jīng)網(wǎng)絡(luò),它通過(guò)反向傳播算法進(jìn)行訓(xùn)練。BP神經(jīng)網(wǎng)絡(luò)由輸入層、一個(gè)或多個(gè)隱藏層和輸出層組成,通過(guò)逐層遞減的方式調(diào)整網(wǎng)絡(luò)權(quán)重,目的是最小化
    的頭像 發(fā)表于 02-12 15:15 ?1323次閱讀

    BP神經(jīng)網(wǎng)絡(luò)的基本原理

    BP神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network)的基本原理涉及前向傳播和反向傳播兩個(gè)核心過(guò)程。以下是關(guān)于BP神經(jīng)網(wǎng)絡(luò)基本原理的介紹: 一、網(wǎng)絡(luò)結(jié)構(gòu) BP神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 02-12 15:13 ?1488次閱讀

    BP神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別中的應(yīng)用

    傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network),是一多層前饋神經(jīng)網(wǎng)絡(luò),主要通過(guò)反向傳播算法進(jìn)行學(xué)習(xí)。它通常包括輸入層、一個(gè)或多個(gè)隱藏層和輸出層。BP神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 02-12 15:12 ?1163次閱讀

    深度學(xué)習(xí)入門(mén):簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)的構(gòu)建與實(shí)現(xiàn)

    深度學(xué)習(xí)中,神經(jīng)網(wǎng)絡(luò)是核心模型。今天我們用 Python 和 NumPy 構(gòu)建一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。 神經(jīng)網(wǎng)絡(luò)由多個(gè)神經(jīng)元組成,
    的頭像 發(fā)表于 01-23 13:52 ?833次閱讀

    人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法

    在上一篇文章中,我們介紹了傳統(tǒng)機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)和多種算法。在本文中,我們會(huì)介紹人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法,供各位老師選擇。 01 人工神經(jīng)網(wǎng)絡(luò) ? 人工神經(jīng)網(wǎng)絡(luò)模型之所
    的頭像 發(fā)表于 01-09 10:24 ?2216次閱讀
    人工<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>的原理和多種<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>架構(gòu)方法

    一文詳解物理信息神經(jīng)網(wǎng)絡(luò)

    物理信息神經(jīng)網(wǎng)絡(luò) (PINN) 是一神經(jīng)網(wǎng)絡(luò),它將微分方程描述的物理定律納入其損失函數(shù)中,以引導(dǎo)學(xué)習(xí)過(guò)程得出更符合基本物理定律的解。
    的頭像 發(fā)表于 12-05 16:50 ?1.4w次閱讀
    一文詳解物理信息<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>