Softmax在機器學(xué)習(xí)中有非常廣泛的應(yīng)用，但是剛剛接觸機器學(xué)習(xí)的人可能對Softmax的特點以及好處并不理解，其實你了解了以后就會發(fā)現(xiàn)，Softmax計算簡單，效果顯著，非常好用。

我們先來直觀看一下，Softmax究竟是什么意思

我們知道m(xù)ax，假如說我有兩個數(shù)，a和b，并且a>b，如果取max，那么就直接取a，沒有第二種可能

但有的時候我不想這樣，因為這樣會造成分值小的那個饑餓。所以我希望分值大的那一項經(jīng)常取到，分值小的那一項也偶爾可以取到，那么我用softmax就可以了

現(xiàn)在還是a和b，a>b，如果我們?nèi)“凑誷oftmax來計算取a和b的概率，那a的softmax值大于b的，所以a會經(jīng)常取到，而b也會偶爾取到，概率跟它們本來的大小有關(guān)。所以說不是max，而是 Soft max

那各自的概率究竟是多少呢，我們下面就來具體看一下

定義

假設(shè)我們有一個數(shù)組V，Vi表示V中的第i個元素，那么Vi元素的Softmax值就是

Vi元素的Softmax值

也就是說，是該元素的指數(shù)值，與所有元素指數(shù)值和的比值

這個定義可以說非常的直觀，當然除了直觀樸素好理解以外，它還有更多的優(yōu)點

1.計算與標注樣本的差距

在神經(jīng)網(wǎng)絡(luò)的計算當中，我們經(jīng)常需要計算按照神經(jīng)網(wǎng)絡(luò)的正向傳播計算的分數(shù)S1，按照正確標注計算的分數(shù)S2，之間的差距，計算Loss，才能應(yīng)用反向傳播。Loss定義為交叉熵

交叉熵

取log里面的值就是這組數(shù)據(jù)正確分類的Softmax值，它占的比重越大，這個樣本的Loss也就越小，這種定義符合我們的要求

2.計算上非常非常的方便

當我們對分類的Loss進行改進的時候，我們要通過梯度下降，每次優(yōu)化一個step大小的梯度

我們定義選到y(tǒng)i的概率是

yi的概率

然后我們求Loss對每個權(quán)重矩陣的偏導(dǎo)，應(yīng)用到了鏈式法則

求導(dǎo)結(jié)果

詳細過程

求導(dǎo)過程

最后結(jié)果的形式非常的簡單，只要將算出來的概率的向量對應(yīng)的真正結(jié)果的那一維減1，就可以了

舉個例子，通過若干層的計算，最后得到的某個訓(xùn)練樣本的向量的分數(shù)是[ 1, 5, 3 ],

那么概率分別就是

訓(xùn)練樣本的概率

如果這個樣本正確的分類是第二個的話，那么計算出來的偏導(dǎo)就是

[0.015,0.866?1,0.117]=[0.015,?0.134,0.117]

是不是很簡單??！然后再根據(jù)這個進行back propagation就可以了