Python實(shí)現(xiàn)所有算法-二分法

Python實(shí)現(xiàn)所有算法-力系統(tǒng)是否靜態(tài)平衡

Python實(shí)現(xiàn)所有算法-力系統(tǒng)是否靜態(tài)平衡（補(bǔ)篇）

Python實(shí)現(xiàn)所有算法-高斯消除法

Python實(shí)現(xiàn)所有算法-牛頓-拉夫遜（拉弗森）方法

Python實(shí)現(xiàn)所有算法-雅可比方法（Jacobian）

Python實(shí)現(xiàn)所有算法-矩陣的LU分解

Python實(shí)現(xiàn)所有算法-牛頓前向插值

兄弟們！今天的簡單，我直接給大家表演徒手求導(dǎo)。

求導(dǎo)是數(shù)學(xué)計(jì)算中的一個(gè)計(jì)算方法，它的定義就是，當(dāng)自變量的增量趨于零時(shí)，因變量的增量與自變量的增量之商的極限。在一個(gè)函數(shù)存在導(dǎo)數(shù)時(shí)，稱這個(gè)函數(shù)可導(dǎo)或者可微分?？蓪?dǎo)的函數(shù)一定連續(xù)。不連續(xù)的函數(shù)一定不可導(dǎo)。

這個(gè)圖一定不可以錯(cuò)過

基本的做法是這樣的

對于一種數(shù)學(xué)的運(yùn)算，我們總是給出滿足的規(guī)則

其實(shí)哇，這些東西我寫的沒有意義，在座的各位都學(xué)過高等數(shù)學(xué)，數(shù)學(xué)分析，而且高中還學(xué)了兩年。概念不是啥問題。

如果是為了科普，我推薦這本可愛的漫畫書（是數(shù)學(xué)書啦~）

給大家看一個(gè)簡單的頁面，是不是很有趣

對一首歌的趨勢的曲線說明

書中的內(nèi)容可能不深，但是這種寓教于樂的方式真的很好，至少這就是大眾接受的數(shù)學(xué)。

其次我推薦這本書，你有沒有想過微積分風(fēng)風(fēng)雨雨這么多年，誕生之初是什么樣的？

本書給你答案

這本書我可太喜歡了，點(diǎn)到為止，是我對本書的評價(jià)，是一本真的可以一本書讀下去的數(shù)學(xué)書。

隨便截圖一個(gè)，點(diǎn)明對我們的需求來說，這樣就足夠了

非常的簡潔，很OK

還有一套是托馬斯微積分，awesome的好書，1k5多的頁數(shù)，讓人直呼過癮

另外張景中院士的直來直去微積分真的很有特色，本書的特點(diǎn)是不使用極限和無窮小的概念，直截了當(dāng)?shù)慕o出函數(shù)的基本概念。

這段話是對書的最好詮釋

真的這些書給人以舍不得讀下去的感覺，因?yàn)樽x完就沒有了

如果上面的你覺得太簡單了，微積分筆記這本書是對于數(shù)學(xué)分析方方面面的一個(gè)題集總結(jié)。

有代表性的習(xí)題加上簡短的定理總結(jié)，不可多得好書

因?yàn)長atex的排版，在美觀上面也是香的一比

emmmm，如果你想在通俗和嚴(yán)謹(jǐn)之間得到一個(gè)平衡，我個(gè)人覺得經(jīng)濟(jì)學(xué)的教材是很好的。

最后讓我再推薦一下黃皮書，yyds?。?！

同系列的還有這本，還有一本是線性代數(shù)就該這樣學(xué)

在最后讓我隆重的安利一下，全美經(jīng)典的教材，統(tǒng)計(jì)學(xué)原理講的真的是NO.1

內(nèi)容豐富嗷

內(nèi)容也很好，推薦一讀

按照我老師的說法，我的理論已經(jīng)ok了，所以要拉我去做題，emmmm。

這個(gè)我不用多說吧？？？

事實(shí)上，這次要講的確實(shí)是求導(dǎo)，但是比哪個(gè)東西高級。

在微積分中，牛頓法是一種迭代方法，用于求可微函數(shù)F的根，它是方程F （ x ） = 0的解。因此，牛頓法可以應(yīng)用于二次可微函數(shù)f的導(dǎo)數(shù)f ‘以求導(dǎo)數(shù)的根（f ’（ x ） = 0的解），也稱為f的臨界點(diǎn) 。 這些解可能是最小值、最大值或鞍點(diǎn)。這與優(yōu)化有關(guān)，優(yōu)化旨在找到函數(shù)f的（全局）最小值。

優(yōu)化的核心問題是函數(shù)的最小化。讓我們首先考慮單變量函數(shù)的情況，即單個(gè)實(shí)變量的函數(shù)。

找最小

這是基本牛頓法：

理論是這樣的

這是最終的更新公式

接下來再細(xì)講，并不是所有的方程都有求根公式，或者求根公式很復(fù)雜，導(dǎo)致求解困難。利用牛頓法，可以迭代求解。

原理是利用泰勒公式，在x0處展開，且展開到一階，即f（x） = f（x0）+（x－x0）f‘（x0）

求解方程f（x）=0，即f（x0）+（x-x0）*f’（x0）=0，求解x = x1=x0－f（x0）/f‘（x0），因?yàn)檫@是利用泰勒公式的一階展開，f（x） = f（x0）+（x－x0）f’（x0）處并不是完全相等，而是近似相等，這里求得的x1并不能讓f（x）=0，只能說f（x1）的值比f（x0）更接近f（x）=0，于是乎，迭代求解的想法就很自然了，可以進(jìn)而推出x（n+1）=x（n）－f（x（n））/f‘（x（n）），通過迭代，這個(gè)式子必然在f（x*）=0的時(shí)候收斂。整個(gè)過程如下圖：

這是求根

接下來是最優(yōu)化，對一個(gè)目標(biāo)函數(shù)f，求函數(shù)f的極大極小問題，可以轉(zhuǎn)化為求解函數(shù)f的導(dǎo)數(shù)f’=0的問題，這樣求可以把優(yōu)化問題看成方程求解問題（f‘=0）。

剩下的問題就和第一部分提到的牛頓法求解很相似了。為了求解f’=0的根，把f（x）的泰勒展開，展開到2階形式：

當(dāng)且小三角無限趨于0 的時(shí)候

這個(gè)成立

我們的最終迭代公式就出來了

值得更新公式

牛頓法用于函數(shù)最優(yōu)化求解”中對函數(shù)二階泰勒公式展開求最優(yōu)值的方法稱為：Newton法，

牛頓法用于方程求解”中對函數(shù)一階泰勒展開求零點(diǎn)的方法稱為：Guass-Newton（高斯牛頓）法。

這次得比較難。。。就提前寫好求導(dǎo)：

這個(gè)公式就是上面的更新公式

我們提前把函數(shù)和求導(dǎo)的函數(shù)寫好

原文標(biāo)題：Python實(shí)現(xiàn)所有算法-牛頓優(yōu)化法

文章出處：【微信公眾號：云深之無跡】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。