基于BP算法的前饋神經網絡
BP神經網絡
首先給出只包含一個隱層的BP神經網絡模型（兩層神經網絡）：
BP神經網絡其實由兩部分組成：
- 前饋神經網絡：神經網絡是前饋的，其權重都不回送到輸入單元，或前一層輸出單元（數據信息是單向傳播的，不會回流），區(qū)別于循環(huán)神經網絡RNN。
- BP算法（Back Propagation）：誤差反向傳播算法，用于更新網絡中的權重。
BP神經網絡思想：
- 表面上：1. 數據信息的前向傳播，從輸入層到隱含層，最后到輸出層。2. 誤差的反向傳播：輸出結果與真實結果的誤差值，從輸出層傳遞到隱含層，最后到輸入層。
- 本質上：針對每個輸入樣本，采用隨機梯度下降算法，動態(tài)更新網絡中的權重和偏倚，以使網絡的輸出不斷地接近期望的輸出。
BP神經網絡算法推導（更新權重和偏倚）：
從上面推導可以發(fā)現：
對于任意從神經元i（輸出神經元/隱層神經元）至 神經元j（隱層神經元/輸出層神經元）的權重w ijwijw_{ij}，其權重更新量Δw ijΔwijDelta w_{ij}=學習步長η ηeta × × imes 前一層神經元的輸出（x ixix_{i} 或y jyjy_{j}）× × imes 后一層神經元（y jyjy_{j}或o koko_{k}）的誤差
神經元偏倚的變化量：ΔΘ ΔΘ Delta Theta=學習步長η ηeta × × imes 乘以神經元的誤差
BP神經網絡算法過程
網絡的初始化：包括權重和偏倚的初始化
計算隱含層的輸入輸出
計算輸出層的輸入輸出
誤差的計算：隱層和輸出層的誤差
權值的更新：1. 輸入層—隱層。2. 隱層—輸出層
偏倚的更新：神經元的步長η ηeta × × imes 相應的誤差err
判斷算法迭代是否結束：1.超過迭代次數，2.相鄰的兩次誤差之間的差別小于閾值等。
誤差的反向傳播描述
反向傳播過程是這樣的：輸出層每個節(jié)點都會得到一個誤差e（d k ?o kdk?okd_{k}-o_{k}），把e作為輸出層反向輸入，這時候就像是輸出層當輸入層一樣把誤差往回傳播，先得到輸出層誤差err kerrkerr_{k}，然后將輸出層err kerrkerr_{k}根據連接權重往隱層傳輸，得到隱層誤差err jerrjerr_{j}。具體如下圖所示（畫的有點難看，將就看吧。。）
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯系本站處理。
舉報投訴
-
神經網絡
+關注
關注
42文章
4824瀏覽量
106725 -
BP神經網絡
+關注
關注
2文章
127瀏覽量
31483
發(fā)布評論請先 登錄
相關推薦
熱點推薦
NMSIS神經網絡庫使用介紹
NMSIS NN 軟件庫是一組高效的神經網絡內核，旨在最大限度地提高 Nuclei N 處理器內核上的神經網絡的性能并最??大限度地減少其內存占用。
該庫分為多個功能，每個功能涵蓋特定類別
發(fā)表于 10-29 06:08
液態(tài)神經網絡（LNN）：時間連續(xù)性與動態(tài)適應性的神經網絡
1.算法簡介液態(tài)神經網絡（LiquidNeuralNetworks，LNN）是一種新型的神經網絡架構，其設計理念借鑒自生物神經系統，特別是秀麗隱桿線蟲的
使用BP神經網絡進行時間序列預測
使用BP（Backpropagation）神經網絡進行時間序列預測是一種常見且有效的方法。以下是一個基于BP神經網絡進行時間序列預測的詳細步驟和考慮因素： 一、數據準備 收集數據 ：
BP神經網絡的調參技巧與建議
BP神經網絡的調參是一個復雜且關鍵的過程，涉及多個超參數的優(yōu)化和調整。以下是一些主要的調參技巧與建議： 一、學習率（Learning Rate） 重要性 ：學習率是BP神經網絡中最重要
如何優(yōu)化BP神經網絡的學習率
優(yōu)化BP神經網絡的學習率是提高模型訓練效率和性能的關鍵步驟。以下是一些優(yōu)化BP神經網絡學習率的方法： 一、理解學習率的重要性 學習率決定了模型參數在每次迭代時更新的幅度。過大的學習率可
BP神經網絡的實現步驟詳解
BP神經網絡的實現步驟主要包括以下幾個階段：網絡初始化、前向傳播、誤差計算、反向傳播和權重更新。以下是對這些步驟的詳細解釋： 一、網絡初始化
BP神經網絡的優(yōu)缺點分析
BP神經網絡（Back Propagation Neural Network）作為一種常用的機器學習模型，具有顯著的優(yōu)點，同時也存在一些不容忽視的缺點。以下是對BP神經網絡優(yōu)缺點的分析
什么是BP神經網絡的反向傳播算法
BP神經網絡的反向傳播算法（Backpropagation Algorithm）是一種用于訓練神經網絡的有效方法。以下是關于BP
BP神經網絡的基本原理
BP神經網絡（Back Propagation Neural Network）的基本原理涉及前向傳播和反向傳播兩個核心過程。以下是關于BP神經網絡
BP神經網絡在圖像識別中的應用
傳播神經網絡（Back Propagation Neural Network），是一種多層前饋神經網絡，主要通過反向傳播算法進行學習。它通常
如何訓練BP神經網絡模型
BP（Back Propagation）神經網絡是一種經典的人工神經網絡模型，其訓練過程主要分為兩個階段：前向傳播和反向傳播。以下是訓練BP
人工神經網絡的原理和多種神經網絡架構方法
在上一篇文章中，我們介紹了傳統機器學習的基礎知識和多種算法。在本文中，我們會介紹人工神經網絡的原理和多種神經網絡架構方法，供各位老師選擇。 01 人工神經網絡 ? 人工
工商網監(jiān)
評論