電子發(fā)燒友App
創(chuàng)作
發(fā)文章
發(fā)帖 
提問 
發(fā)資料
發(fā)視頻現(xiàn)在我們對(duì)單個(gè)變量的函數(shù)的導(dǎo)數(shù)有了相當(dāng)深入的理解，讓我們回到我們最初的問題，我們正在考慮可能有數(shù)十億權(quán)重的損失函數(shù)。
22.4.1。高維微分
第 22.3 節(jié)告訴我們的是，如果我們改變這數(shù)十億個(gè)權(quán)重中的一個(gè)，而讓其他權(quán)重保持不變，我們知道會(huì)發(fā)生什么！這無非是一個(gè)單變量的函數(shù)，所以我們可以這樣寫
(22.4.1)L(w1+?1,w2,…,wN)≈L(w1,w2,…,wN)+?1ddw1L(w1,w2,…,wN).
我們將一個(gè)變量的導(dǎo)數(shù)稱為偏導(dǎo)數(shù)，同時(shí)將其他變量固定為偏導(dǎo)數(shù)，我們將使用符號(hào) ??w1對(duì)于(22.4.1)中的導(dǎo)數(shù) 。
現(xiàn)在，讓我們改變一下w2一點(diǎn)點(diǎn) w2+?2:
(22.4.2)L(w1+?1,w2+?2,…,wN)≈L(w1,w2+?2,…,wN)+?1??w1L(w1,w2+?2,…,wN+?N)≈L(w1,w2,…,wN)+?2??w2L(w1,w2,…,wN)+?1??w1L(w1,w2,…,wN)+?1?2??w2??w1L(w1,w2,…,wN)≈L(w1,w2,…,wN)+?2??w2L(w1,w2,…,wN)+?1??w1L(w1,w2,…,wN).
我們?cè)俅问褂昧诉@樣的想法?1?2是一個(gè)更高階的項(xiàng)，我們可以用我們可以丟棄的相同方式丟棄
上傳資料賺積分
工商網(wǎng)監(jiān)
評(píng)論