基于BP算法的前饋神經(jīng)網(wǎng)絡(luò)
首先給出只包含一個(gè)隱層的BP神經(jīng)網(wǎng)絡(luò)模型（兩層神經(jīng)網(wǎng)絡(luò)）：
BP神經(jīng)網(wǎng)絡(luò)其實(shí)由兩部分組成：
- 前饋神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)是前饋的，其權(quán)重都不回送到輸入單元，或前一層輸出單元（數(shù)據(jù)信息是單向傳播的，不會(huì)回流），區(qū)別于循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。
- BP算法（Back Propagation）：誤差反向傳播算法，用于更新網(wǎng)絡(luò)中的權(quán)重。
BP神經(jīng)網(wǎng)絡(luò)思想：
- 表面上：1. 數(shù)據(jù)信息的前向傳播，從輸入層到隱含層，最后到輸出層。2. 誤差的反向傳播：輸出結(jié)果與真實(shí)結(jié)果的誤差值，從輸出層傳遞到隱含層，最后到輸入層。
- 本質(zhì)上：針對(duì)每個(gè)輸入樣本，采用隨機(jī)梯度下降算法，動(dòng)態(tài)更新網(wǎng)絡(luò)中的權(quán)重和偏倚，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。
BP神經(jīng)網(wǎng)絡(luò)算法推導(dǎo)（更新權(quán)重和偏倚）：
從上面推導(dǎo)可以發(fā)現(xiàn)：
對(duì)于任意從神經(jīng)元i（輸出神經(jīng)元/隱層神經(jīng)元）至 神經(jīng)元j（隱層神經(jīng)元/輸出層神經(jīng)元）的權(quán)重w ijwijw_{ij}，其權(quán)重更新量Δw ijΔwijDelta w_{ij}=學(xué)習(xí)步長(zhǎng)η ηeta × × imes 前一層神經(jīng)元的輸出（x ixix_{i} 或y jyjy_{j}）× × imes 后一層神經(jīng)元（y jyjy_{j}或o koko_{k}）的誤差
神經(jīng)元偏倚的變化量：ΔΘ ΔΘ Delta Theta=學(xué)習(xí)步長(zhǎng)η ηeta × × imes 乘以神經(jīng)元的誤差
BP神經(jīng)網(wǎng)絡(luò)算法過(guò)程
網(wǎng)絡(luò)的初始化：包括權(quán)重和偏倚的初始化
計(jì)算隱含層的輸入輸出
計(jì)算輸出層的輸入輸出
誤差的計(jì)算：隱層和輸出層的誤差
權(quán)值的更新：1. 輸入層—隱層。2. 隱層—輸出層
偏倚的更新：神經(jīng)元的步長(zhǎng)η ηeta × × imes 相應(yīng)的誤差err
判斷算法迭代是否結(jié)束：1.超過(guò)迭代次數(shù)，2.相鄰的兩次誤差之間的差別小于閾值等。
誤差的反向傳播描述
反向傳播過(guò)程是這樣的：輸出層每個(gè)節(jié)點(diǎn)都會(huì)得到一個(gè)誤差e（d k ?o kdk?okd_{k}-o_{k}），把e作為輸出層反向輸入，這時(shí)候就像是輸出層當(dāng)輸入層一樣把誤差往回傳播，先得到輸出層誤差err kerrkerr_{k}，然后將輸出層err kerrkerr_{k}根據(jù)連接權(quán)重往隱層傳輸，得到隱層誤差err jerrjerr_{j}。具體如下圖所示（畫的有點(diǎn)難看，將就看吧。。）
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4842瀏覽量
108191 -
BP神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
2文章
127瀏覽量
31662
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
為什么 VisionFive V1 板上的 JH7100 中并存 NVDLA 引擎和神經(jīng)網(wǎng)絡(luò)引擎？
我想知道為什么 VisionFive V1 板上的 JH7100 中并存 NVDLA 引擎和神經(jīng)網(wǎng)絡(luò)引擎，請(qǐng)問？您能否舉一些關(guān)于他們的用例的例子？
發(fā)表于 03-25 06:01
內(nèi)置USB聲卡AI神經(jīng)網(wǎng)絡(luò)算法降噪消回音模組A-59U#AI神經(jīng)網(wǎng)絡(luò)#回聲消除#智能降噪
神經(jīng)網(wǎng)絡(luò)
深圳市聲訊電子有限公司
發(fā)布于 :2025年12月24日 17:09:37
神經(jīng)網(wǎng)絡(luò)的初步認(rèn)識(shí)
日常生活中的智能應(yīng)用都離不開深度學(xué)習(xí)，而深度學(xué)習(xí)則依賴于神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)。什么是神經(jīng)網(wǎng)絡(luò)？神經(jīng)網(wǎng)絡(luò)的核心思想是模仿生物神經(jīng)系統(tǒng)的結(jié)構(gòu)，特別是大腦中神經(jīng)
CNN卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)原理及在MCU200T上仿真測(cè)試
數(shù)的提出很大程度的解決了BP算法在優(yōu)化深層神經(jīng)網(wǎng)絡(luò)時(shí)的梯度耗散問題。當(dāng)x>0 時(shí)，梯度恒為1，無(wú)梯度耗散問題，收斂快；當(dāng)x<0 時(shí)，該層的輸出為0。
CNN
發(fā)表于 10-29 07:49
NMSIS神經(jīng)網(wǎng)絡(luò)庫(kù)使用介紹
NMSIS NN 軟件庫(kù)是一組高效的神經(jīng)網(wǎng)絡(luò)內(nèi)核，旨在最大限度地提高 Nuclei N 處理器內(nèi)核上的神經(jīng)網(wǎng)絡(luò)的性能并最??大限度地減少其內(nèi)存占用。
該庫(kù)分為多個(gè)功能，每個(gè)功能涵蓋特定類別
發(fā)表于 10-29 06:08
在Ubuntu20.04系統(tǒng)中訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的一些經(jīng)驗(yàn)
, batch_size=512, epochs=20)總結(jié)
這個(gè)核心算法中的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練過(guò)程，是用來(lái)對(duì)MNIST手寫數(shù)字圖像進(jìn)行分類的。模型將圖像作為輸入，通過(guò)卷積和池化層提取圖像的特征，然后通過(guò)全連接層進(jìn)行分類預(yù)測(cè)。訓(xùn)練過(guò)程中，模型通過(guò)最小化損失函數(shù)來(lái)優(yōu)化
發(fā)表于 10-22 07:03
CICC2033神經(jīng)網(wǎng)絡(luò)部署相關(guān)操作
在完成神經(jīng)網(wǎng)絡(luò)量化后，需要將神經(jīng)網(wǎng)絡(luò)部署到硬件加速器上。首先需要將所有權(quán)重?cái)?shù)據(jù)以及輸入數(shù)據(jù)導(dǎo)入到存儲(chǔ)器內(nèi)。
在仿真環(huán)境下，可將其存于一個(gè)文件，并在 Verilog 代碼中通過(guò) readmemh 函數(shù)
發(fā)表于 10-20 08:00
液態(tài)神經(jīng)網(wǎng)絡(luò)（LNN）：時(shí)間連續(xù)性與動(dòng)態(tài)適應(yīng)性的神經(jīng)網(wǎng)絡(luò)
1.算法簡(jiǎn)介液態(tài)神經(jīng)網(wǎng)絡(luò)（LiquidNeuralNetworks，LNN）是一種新型的神經(jīng)網(wǎng)絡(luò)架構(gòu)，其設(shè)計(jì)理念借鑒自生物神經(jīng)系統(tǒng)，特別是秀麗隱桿線蟲的
神經(jīng)網(wǎng)絡(luò)的并行計(jì)算與加速技術(shù)
隨著人工智能技術(shù)的飛速發(fā)展，神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域展現(xiàn)出了巨大的潛力和廣泛的應(yīng)用前景。然而，神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度和規(guī)模也在不斷增加，這使得傳統(tǒng)的串行計(jì)算方式面臨著巨大的挑戰(zhàn)，如計(jì)算速度慢、訓(xùn)練時(shí)間長(zhǎng)等
基于神經(jīng)網(wǎng)絡(luò)的數(shù)字預(yù)失真模型解決方案
在基于神經(jīng)網(wǎng)絡(luò)的數(shù)字預(yù)失真（DPD）模型中，使用不同的激活函數(shù)對(duì)整個(gè)系統(tǒng)性能和能效有何影響？
無(wú)刷電機(jī)小波神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)子位置檢測(cè)方法的研究
摘要:論文通過(guò)對(duì)無(wú)刷電機(jī)數(shù)學(xué)模型的推導(dǎo),得出轉(zhuǎn)角:與三相相電壓之間存在映射關(guān)系,因此構(gòu)建了一個(gè)以三相相電壓為輸人,轉(zhuǎn)角為輸出的小波神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)轉(zhuǎn)角預(yù)測(cè),并采用改進(jìn)遺傳算法來(lái)訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù),借助
發(fā)表于 06-25 13:06
神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)在電機(jī)故障診斷中的應(yīng)用
的診斷誤差。仿真結(jié)果驗(yàn)證了該算法的有效性。
純分享帖，需要者可點(diǎn)擊附件免費(fèi)獲取完整資料~~~*附件：神經(jīng)網(wǎng)絡(luò)專家系統(tǒng)在電機(jī)故障診斷中的應(yīng)用.pdf【免責(zé)聲明】本文系網(wǎng)絡(luò)轉(zhuǎn)載，版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版
發(fā)表于 06-16 22:09
神經(jīng)網(wǎng)絡(luò)RAS在異步電機(jī)轉(zhuǎn)速估計(jì)中的仿真研究
眾多方法中，由于其結(jié)構(gòu)簡(jiǎn)單，穩(wěn)定性好廣泛受到人們的重視，且已被用于產(chǎn)品開發(fā)。但是MRAS仍存在在低速區(qū)速度估計(jì)精度下降和對(duì)電動(dòng)機(jī)參數(shù)變化非常敏感的問題。本文利用神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，使估計(jì)更為簡(jiǎn)單、快速
發(fā)表于 06-16 21:54
基于FPGA搭建神經(jīng)網(wǎng)絡(luò)的步驟解析
本文的目的是在一個(gè)神經(jīng)網(wǎng)絡(luò)已經(jīng)通過(guò)python或者M(jìn)ATLAB訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型，將訓(xùn)練好的模型的權(quán)重和偏置文件以TXT文件格式導(dǎo)出，然后通過(guò)python程序?qū)xt文件轉(zhuǎn)化為coe文件，（coe
AI神經(jīng)網(wǎng)絡(luò)降噪算法在語(yǔ)音通話產(chǎn)品中的應(yīng)用優(yōu)勢(shì)與前景分析
隨著人工智能技術(shù)的快速發(fā)展，AI神經(jīng)網(wǎng)絡(luò)降噪算法在語(yǔ)音通話產(chǎn)品中的應(yīng)用正逐步取代傳統(tǒng)降噪技術(shù)，成為提升語(yǔ)音質(zhì)量的關(guān)鍵解決方案。相比傳統(tǒng)DSP（數(shù)字信號(hào)處理）降噪，AI降噪具有更強(qiáng)的環(huán)境適應(yīng)能力、更高
評(píng)論