(1)、隱層數(shù)設(shè)計：理論證明，具有單隱層的前饋網(wǎng)絡(luò)可以映射所有連續(xù)函數(shù)，只有當(dāng)學(xué)習(xí)不連續(xù)函數(shù)時才需要兩個隱層，故一般情況隱層最多需要兩層。一般方法是先設(shè)一個隱層，當(dāng)一個隱層的節(jié)點數(shù)很多，仍不能改善網(wǎng)絡(luò)性能時，再增加一個隱層。最常用的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是3層結(jié)構(gòu)，即輸入層﹑輸出層和1個隱層。

(2)、隱層節(jié)點數(shù)設(shè)計：隱層節(jié)點數(shù)目對神經(jīng)網(wǎng)絡(luò)的性能有一定的影響。隱層節(jié)點數(shù)過少時，學(xué)習(xí)的容量有限，不足以存儲訓(xùn)練樣本中蘊(yùn)涵的所有規(guī)律；隱層節(jié)點過多不僅會增加網(wǎng)絡(luò)訓(xùn)練時間，而且會將樣本中非規(guī)律性的內(nèi)容如干擾和噪聲存儲進(jìn)去。反而降低泛化能力。一般方法是湊試法：

6. Hopfield模型：

Hopfield模型是霍普菲爾德分別于1982年及1984提出的兩個神經(jīng)網(wǎng)絡(luò)模型。1982年提出的是離散型，1984年提出的是連續(xù)型，但它們都是反饋網(wǎng)絡(luò)結(jié)構(gòu)。

由于在反饋網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出要反復(fù)地作為輸入再送入網(wǎng)絡(luò)中，這就使得網(wǎng)絡(luò)具有了動態(tài)性，網(wǎng)絡(luò)的狀態(tài)在不斷的改變之中，因而就提出了網(wǎng)絡(luò)的穩(wěn)定性問題。所謂一個網(wǎng)絡(luò)是穩(wěn)定的是指從某一時刻開始，網(wǎng)絡(luò)的狀態(tài)不再改變。

設(shè)用X(t)表示網(wǎng)絡(luò)在時刻t的狀態(tài)，如果從t=０的任一初態(tài)X(0)開始，存在一個有限的時刻t，使得從此時刻開始神經(jīng)網(wǎng)絡(luò)的狀態(tài)不再發(fā)生變化，就稱此網(wǎng)絡(luò)是穩(wěn)定的。

離散網(wǎng)絡(luò)模型是一個離散時間系統(tǒng)，每個神經(jīng)元只有兩個狀態(tài)，可以用1和0來表示，由連接權(quán)值Ｗij所構(gòu)成的矩陣是一個對角線為0的對稱矩陣。

Hopfield網(wǎng)絡(luò)離散模型有兩種工作模式：

(1)、串行方式，是指在任一時刻t，只有一個神經(jīng)元i發(fā)生狀態(tài)變化，而其余的神經(jīng)元保持狀態(tài)不變。

(2)、并行方式，是指在任一時刻t，都有部分或全體神經(jīng)元同時改變狀態(tài)。

有關(guān)離散的Hopfield網(wǎng)絡(luò)的穩(wěn)定性問題，已于1983年由Cohen和Grossberg給于了證明。而Hopfield等人又進(jìn)一步證明，只要連接權(quán)值構(gòu)成的矩陣是非負(fù)對角元的對稱矩陣，則該網(wǎng)絡(luò)就具有串行穩(wěn)定性。

1984年，Hopfield又提出了連續(xù)時間的神經(jīng)網(wǎng)絡(luò)，在這種神經(jīng)網(wǎng)絡(luò)中，各節(jié)點可在0到1的區(qū)間內(nèi)取任一實數(shù)值。

Hopfield網(wǎng)絡(luò)是一種非線性的動力網(wǎng)絡(luò)，可通過反復(fù)的網(wǎng)絡(luò)動態(tài)迭代來求解問題，這是符號邏輯方法所不具有的特性。在求解某些問題時，其求解問題的方法與人類求解問題的方法很相似，雖然所求得的解不是最佳解，但其求解速度快，更符合人們?nèi)粘＝鉀Q問題的策略。

Hopfield遞歸網(wǎng)絡(luò)是美國加洲理工學(xué)院物理學(xué)家J.J.Hopfield教授于1983年提出的。Hopfield網(wǎng)絡(luò)按網(wǎng)絡(luò)輸入和輸出的數(shù)字形式不同可分為離散型和連續(xù)型兩種網(wǎng)絡(luò),即：離散型Hopfield神經(jīng)網(wǎng)絡(luò)----DHNN(Discrete Hopfield Neural Network)；連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)----CHNN(ContinuesHopfield Neural Network)。

DHNN結(jié)構(gòu)：它是一種單層全反饋網(wǎng)絡(luò),共有n個神經(jīng)元。每個神經(jīng)元都通過連接權(quán)接收所有其它神經(jīng)元輸出反饋來的信息，其目的是為了讓任一神經(jīng)元的輸出能接受所有神經(jīng)元輸出的控制,從而使各神經(jīng)元能相互制約。

DHNN的設(shè)計原則：吸引子的分布是由網(wǎng)絡(luò)的權(quán)值（包括閥值）決定的，設(shè)計吸引子的核心就是如何設(shè)計一組合適的權(quán)值。為了使所設(shè)計的權(quán)值滿足要求，權(quán)值矩陣應(yīng)符合以下要求：(1)、為保證異步方式工作時網(wǎng)絡(luò)收斂，W應(yīng)為對稱陣；(2)、為保證同步方式工作時網(wǎng)絡(luò)收斂，W應(yīng)為非負(fù)定對稱陣；(3)、保證給定的樣本是網(wǎng)絡(luò)的吸引子，并且要有一定的吸引域。

具體設(shè)計時，可以采用不同的方法：(1)、聯(lián)立方程法；(2)、外積和法。

CHNN：在連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)中，所有神經(jīng)元都隨時間t并行更新，網(wǎng)絡(luò)狀態(tài)隨時間連續(xù)改變。

Hopfield網(wǎng)絡(luò)的主要功能

Hopfield神經(jīng)網(wǎng)絡(luò)的提出就是與其實際應(yīng)用密切相關(guān)。其主要功能在以下兩個方面。

(1)、聯(lián)想記憶：輸入--輸出模式的各元素之間，并不存在一對一的映射關(guān)系，輸入--輸出模式的維數(shù)也不要求相同；聯(lián)想記憶時，只給出輸入模式部分信息，就能聯(lián)想出完整的輸出模式。即具有容錯性。

(2)、CHNN的優(yōu)化計算功能.

應(yīng)用Hopfield 神經(jīng)網(wǎng)絡(luò)來解決優(yōu)化計算問題的一般步驟為：

A、分析問題：網(wǎng)絡(luò)輸出與問題的解相對應(yīng)。

B、構(gòu)造網(wǎng)絡(luò)能量函數(shù)：構(gòu)造合適的網(wǎng)絡(luò)能量函數(shù)，使其最小值對應(yīng)問題最佳解。

C、設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)：將能量函數(shù)與標(biāo)準(zhǔn)式相比較，定出權(quán)矩陣與偏置電流。

D、由網(wǎng)絡(luò)結(jié)構(gòu)建立網(wǎng)絡(luò)的電子線路并運(yùn)行，穩(wěn)態(tài)--優(yōu)化解或計算機(jī)模擬運(yùn)行。

7. BAM模型