最大似然估計學(xué)習(xí)總結(jié)------MadTurtle

　　1. 作用

　　在已知試驗結(jié)果（即是樣本）的情況下，用來估計滿足這些樣本分布的參數(shù)，把可能性最大的那個參數(shù)作為真實的參數(shù)估計。

　　2. 離散型

　　設(shè)為離散型隨機(jī)變量，為多維參數(shù)向量，如果隨機(jī)變量相互獨立且概率計算式為P{，則可得概率函數(shù)為P{}=，在固定時，上式表示的概率；當(dāng)已知的時候，它又變成的函數(shù)，可以把它記為，稱此函數(shù)為似然函數(shù)。似然函數(shù)值的大小意味著該樣本值出現(xiàn)的可能性的大小，既然已經(jīng)得到了樣本值，那么它出現(xiàn)的可能性應(yīng)該是較大的，即似然函數(shù)的值也應(yīng)該是比較大的，因而最大似然估計就是選擇使達(dá)到最大值的那個作為真實的估計。

　　3. 連續(xù)型

　　設(shè)為連續(xù)型隨機(jī)變量，其概率密度函數(shù)為，為從該總體中抽出的樣本，同樣的如果相互獨立且同分布，于是樣本的聯(lián)合概率密度為。大致過程同離散型一樣。

　　4. 關(guān)于概率密度（PDF）

　　我們來考慮個簡單的情況（m=k=1），即是參數(shù)和樣本都為1的情況。假設(shè)進(jìn)行一個實驗，實驗次數(shù)定為10次，每次實驗成功率為0.2，那么不成功的概率為0.8，用y來表示成功的次數(shù)。由于前后的實驗是相互獨立的，所以可以計算得到成功的次數(shù)的概率密度為：

　　= 其中y

　　由于y的取值范圍已定，而且也為已知，所以圖1顯示了y取不同值時的概率分布情況，而圖2顯示了當(dāng)時的y值概率情況。

　　那么在［0，1］之間變化而形成的概率密度函數(shù)的集合就形成了一個模型。

　　5. 最大似然估計的求法

　　由上面的介紹可以知道，對于圖1這種情況y=2是最有可能發(fā)生的事件。但是在現(xiàn)實中我們還會面臨另外一種情況：我們已經(jīng)知道了一系列的觀察值和一個感興趣的模型，現(xiàn)在需要找出是哪個PDF（具體來說參數(shù)為多少時）產(chǎn)生出來的這些觀察值。要解決這個問題，就需要用到參數(shù)估計的方法，在最大似然估計法中，我們對調(diào)PDF中數(shù)據(jù)向量和參數(shù)向量的角色，于是可以得到似然函數(shù)的定義為：

　　該函數(shù)可以理解為，在給定了樣本值的情況下，關(guān)于參數(shù)向量取值情況的函數(shù)。還是以上面的簡單實驗情況為例，若此時給定y為7，那么可以得到關(guān)于的似然函數(shù)為：

　　繼續(xù)回顧前面所講，圖1，2是在給定的情況下，樣本向量y取值概率的分布情況；而圖3是圖1，2橫縱坐標(biāo)軸相交換而成，它所描述的似然函數(shù)圖則指出在給定樣本向量y的情況下，符合該取值樣本分布的各種參數(shù)向量的可能性。若相比于，使得y=7出現(xiàn)的可能性要高，那么理所當(dāng)然的要比更加接近于真正的估計參數(shù)。所以求的極大似然估計就歸結(jié)為求似然函數(shù)的最大值點。那么取何值時似然函數(shù)最大，這就需要用到高等數(shù)學(xué)中求導(dǎo)的概念，如果是多維參數(shù)向量那么就是求偏導(dǎo)。

　　主要注意的是多數(shù)情況下，直接對變量進(jìn)行求導(dǎo)反而會使得計算式子更加的復(fù)雜，此時可以借用對數(shù)函數(shù)。由于對數(shù)函數(shù)是單調(diào)增函數(shù)，所以與具有相同的最大值點，而在許多情況下，求的最大值點比較簡單。于是，我們將求的最大值點改為求的最大值點。

　　若該似然函數(shù)的導(dǎo)數(shù)存在，那么對關(guān)于參數(shù)向量的各個參數(shù)求導(dǎo)數(shù)（當(dāng)前情況向量維數(shù)為1），并命其等于零，得到方程組：

　　可以求得時似然函數(shù)有極值，為了進(jìn)一步判斷該點位最大值而不是最小值，可以繼續(xù)求二階導(dǎo)來判斷函數(shù)的凹凸性，如果的二階導(dǎo)為負(fù)數(shù)那么即是最大值，這里再不細(xì)說。

　　還要指出，若函數(shù)關(guān)于的導(dǎo)數(shù)不存在，我們就無法得到似然方程組，這時就必須用其它的方法來求最大似然估計值，例如用有界函數(shù)的增減性去求的最大值點