上海海事大學(xué)概率論第七章參數(shù)估計(jì).ppt

《上海海事大學(xué)概率論第七章參數(shù)估計(jì).ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《上海海事大學(xué)概率論第七章參數(shù)估計(jì).ppt（48頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

第七章參數(shù)估計(jì),在參數(shù)估計(jì)問(wèn)題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù)。,例如：,估計(jì)大學(xué)生的平均身高,參數(shù)估計(jì)問(wèn)題的一般提法,（X1,X2,…,Xn）,參數(shù)估計(jì),參數(shù)估計(jì),點(diǎn)估計(jì),區(qū)間估計(jì),例1已知某地區(qū)大學(xué)生的身高X~,隨機(jī)抽查100個(gè)大學(xué)生得100個(gè)身高數(shù)據(jù)。,1點(diǎn)估計(jì),把樣本值代入T(X1,X2,…Xn)中，得到的一個(gè)點(diǎn)估計(jì)值。,請(qǐng)注意，被估計(jì)的參數(shù)是一個(gè)未知常數(shù)，而估計(jì)量T(X1,X2,…Xn)是一個(gè)隨機(jī)變量，是樣本的函數(shù),當(dāng)樣本取定后，它是個(gè)已知的數(shù)值,這個(gè)數(shù)常稱為的估計(jì)值。,問(wèn)題是:使用什么樣的統(tǒng)計(jì)量去估計(jì)？,尋求估計(jì)量的方法：,1.矩估計(jì)法,2.極大似然法,3.最小二乘法,4.貝葉斯方法,……,,1.矩估計(jì)法,矩估計(jì)法是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的基于一種簡(jiǎn)單的“替換”思想建立起來(lái)的一種估計(jì)方法.,其基本思想是用樣本矩估計(jì)總體矩。,記總體k階矩為,樣本k階矩為,記總體k階中心矩為,樣本k階中心矩為,用相應(yīng)的樣本矩去估計(jì)總體矩的估計(jì)方法就稱為矩估計(jì)法。,理論依據(jù):,大數(shù)定律,一般地,設(shè)總體X?f(x;θ),其中,求參數(shù)θ的矩估計(jì)的一般步驟為:,1.令,2.解:,其中,3.得,最常用的是：,!!!!p151,,解:,從中解得,得：,由矩法,,,解:,EX:例1,矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要事先知道總體是什么分布。,缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒(méi)有充分利用分布提供的信息.一般場(chǎng)合下,矩估計(jì)量不具有唯一性。,例如:總體X~,A1,B2都是的矩估計(jì)。,2.極大似然法,在總體類型已知條件下使用的一種參數(shù)估計(jì)方法。,它首先是由德國(guó)數(shù)學(xué)家Gauss在1821年提出的,Fisher在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì)。,極大似然法的基本思想：,即，已發(fā)生的事件具有最大概率。,極大似然原理,先看一個(gè)簡(jiǎn)單例子：,在軍訓(xùn)時(shí)，某位同學(xué)與一位教官同時(shí)射擊，而在靶紙上只留下一個(gè)彈孔。,如果要你推測(cè)，是誰(shuí)打中的呢？你會(huì)如何想呢?,若X為離散型總體：,已發(fā)生的事件為：,其概率為：,我們的任務(wù)是：,若X為連續(xù)型總體：,已發(fā)生的事件為：,其概率為：,我們的任務(wù)是：,稱為似然函數(shù),稱滿足的為的極大似然估計(jì)值。,稱為的極大似然估計(jì)量（MLE）.,例4設(shè)總體X~b(1,p),X1,…,Xn是一個(gè)樣本，求參數(shù)p的極大似然估計(jì).,解：,,,,,,!,,,,,在總體分布中，把概率函數(shù)(或密度)中自變量看成已知常數(shù),而把參數(shù)θ看作自變量導(dǎo)出似然函數(shù)L(θ);,求極大似然估計(jì)（MLE）的一般步驟：,求似然函數(shù)L(θ)的最大值點(diǎn)(常常轉(zhuǎn)化為求lnL(θ)的最大值點(diǎn))，即θ的MLE;,在最大值點(diǎn)的表達(dá)式中,用樣本代入就得參數(shù)θ的極大似然估計(jì)量,兩點(diǎn)說(shuō)明,1、求似然函數(shù)L()的最大值點(diǎn)，通過(guò)求解似然方程：,得到的MLE。,若是向量，上述方程必須用似然方程組代替。,2、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通，這時(shí)要用極大似然原理來(lái)求。,解：,例6設(shè)總體其中參數(shù)未知，使用極大似然估計(jì)法求的估計(jì)量。,,解：,i=1,2,…,n,i=1,2,…,n,(1),(2),由(1)得,?!,故使達(dá)到最大的即的MLE，,{,{,極大似然估計(jì)的一個(gè)性質(zhì):,設(shè)的函數(shù)g=g()是上的實(shí)值函數(shù),且有唯一反函數(shù)。如果是的極大似然估計(jì)，則g()也是g()的極大似然估計(jì)。,例8一罐中裝有白球和黑球，有放回地抽取一個(gè)容量為n的樣本，其中有k個(gè)白球，求罐中黑球與白球之比R的極大似然估計(jì).,解:,顯然X~b(1,p)，由例4,