批量，即Batch，是深度學(xué)習(xí)中的一個重要概念。批量通常指兩個不同的概念——如果對應(yīng)的是模型訓(xùn)練方法，那么批量指的是將所有數(shù)據(jù)處理完以后一次性更新權(quán)重或者參數(shù)的估計；如果對應(yīng)的是模型訓(xùn)練中的數(shù)據(jù)，那么批量通常指的是一次輸入供模型計算用的數(shù)據(jù)量。

基于批量概念的模型訓(xùn)練通常按照如下步驟進(jìn)行：

初始化參數(shù)

重復(fù)以下步驟

● 處理所有數(shù)據(jù)● 更新參數(shù)

和批量算法相對應(yīng)的是遞增算法，其步驟如下：

初始化參數(shù)

重復(fù)以下步驟

● A.處理一個或者一組數(shù)據(jù)點●B.更新參數(shù)。

這里的主要區(qū)別是批量算法一次處理所有的數(shù)據(jù)；而在遞增算法中，每處理一個或者數(shù)個觀測值就要更新一次參數(shù)。在后向傳播算法中，“處理”對應(yīng)的具體操作就是計算損失函數(shù)的梯度變化曲線。如果是批量算法，則計算平均或者總的損失函數(shù)的梯度變化曲線；而如果是遞增算法，則計算損失函數(shù)僅在對應(yīng)于該觀測值或者數(shù)個觀測值時的梯度變化曲線?！案隆眲t是從已有的參數(shù)值中減去梯度變化率和學(xué)習(xí)速率的乘積。

在線學(xué)習(xí)和離線學(xué)習(xí)

在深度學(xué)習(xí)中，另外兩個常見的概念是在線學(xué)習(xí)和離線學(xué)習(xí)。在離線學(xué)習(xí)中，所有的數(shù)據(jù)都可以被反復(fù)獲取，比如上面的批量學(xué)習(xí)就是離線學(xué)習(xí)的一種。而在在線學(xué)習(xí)中，每個觀測值在處理以后會被遺棄，同時得到更新。在線學(xué)習(xí)永遠(yuǎn)是遞增算法的一種，但是遞增算法卻既可以離線學(xué)習(xí)也可以在線學(xué)習(xí)。

離線學(xué)習(xí)有如下幾個優(yōu)點：

對于任何固定個數(shù)的參數(shù)，目標(biāo)函數(shù)都可以直接被計算出來，因此很容易驗證模型訓(xùn)練是否在朝著所需要的方向發(fā)展。

計算精度可以達(dá)到任意合理的程度。

可以使用各種不同的算法來避免出現(xiàn)局部最優(yōu)的情況

可以采用訓(xùn)練、驗證、測試三分法對模型的普適性進(jìn)行驗證

可以計算預(yù)測值及其置信區(qū)間

在線學(xué)習(xí)無法實現(xiàn)上述功能，因為數(shù)據(jù)并沒有被存儲，不能反復(fù)獲取，因此對于任何固定的參數(shù)集，無法在訓(xùn)練集上計算損失函數(shù)，也無法在驗證集上計算誤差。這就造成在線算法一般來說比離線算法更加復(fù)雜和不穩(wěn)定。但是離線遞增算法并沒有在線算法的問題，因此有必要理解在線學(xué)習(xí)和遞增算法的區(qū)別。

偏移/閾值

在深度學(xué)習(xí)中，采用sigmoid激活函數(shù)的隱藏層或者輸出層的神經(jīng)元通常在計算網(wǎng)絡(luò)輸入時加入一個偏移值，稱為Bias。對于線性輸出神經(jīng)元，偏移項就是回歸中的截距項。 跟截距項的作用類似，偏移項可以被視為一個由特殊神經(jīng)元引起的鏈接權(quán)重，這是因為偏移項通常鏈接到一個取固定單位值的偏移神經(jīng)元。比如在一個多層感知器神經(jīng)網(wǎng)絡(luò)中，某一個神經(jīng)元的輸入變量為N維，那么這個神經(jīng)元在這個高維空間中根據(jù)參數(shù)畫一個超平面，一邊是正值，一邊為負(fù)值。所使用的參數(shù)決定了這個超平面在輸入空間的相對位置。如果沒有偏移項，這個超平面的位置就被限制住了，必須通過原點；如果多個神經(jīng)元都需要各自的超平面，那么就嚴(yán)重限制住了模型的靈活性。這就好比一個沒有截距項的回歸模型，其斜率的估計值在大多數(shù)情況下會大大偏移最優(yōu)估計值，因為生成的擬合曲線必須通過原點。因此，如果缺少偏移項，多層感知器的普適擬合能力就不存在了。 通常來說，每個隱藏層和輸出層的神經(jīng)元都有自己的偏移項。但是如果輸入神經(jīng)已經(jīng)被等比例轉(zhuǎn)換到一個有限值域中，比如[0,1]區(qū)間，那么等第一個隱藏層的神經(jīng)元已經(jīng)設(shè)置過偏移項以后，后面任何層跟這些具備偏移項的神經(jīng)元有鏈接的其他神經(jīng)元就不需要再額外設(shè)置偏移項了。

標(biāo)準(zhǔn)化數(shù)據(jù) 在機器學(xué)習(xí)和深度學(xué)習(xí)中，常常會出現(xiàn)對數(shù)據(jù)標(biāo)準(zhǔn)化這個動作。那么什么是標(biāo)準(zhǔn)化數(shù)據(jù)呢？其實這里是用“標(biāo)準(zhǔn)化”這個詞代替了幾個類似的但又不同的動作。

下面詳細(xì)講解三個常見的“標(biāo)準(zhǔn)化”數(shù)據(jù)處理動作。

（1）重放縮：通常指將一個向量加上或減去一個向量，再乘以或者除以一個常亮。比如將華氏溫度轉(zhuǎn)換成攝氏溫度就是一個重放縮的過程。

（2）規(guī)范化：通常指將一個向量除以其范數(shù)，比如采用歐式空間距離，即用向量的方差作為范數(shù)來規(guī)范化向量。在深度學(xué)習(xí)中，規(guī)范化通常采用極差為范數(shù)，即將向量減去最小值，并除以其極差，從而使數(shù)值范圍在0和1之間。

（3）標(biāo)準(zhǔn)化：通常指將一個向量移除其位置和規(guī)模的度量。比如一個服從正態(tài)分布的向量，可以減去其均值，并除以其方差來標(biāo)準(zhǔn)化數(shù)據(jù)，從而獲得一個服從標(biāo)準(zhǔn)正態(tài)分布的向量。