《元線性回歸的最小二乘估計(jì)》由會員分享，可在線閱讀，更多相關(guān)《元線性回歸的最小二乘估計(jì)（22頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。
1、我們的任務(wù)是， 在給定 X和 Y的一組觀測值 (X1, Y1), (X2, Y2) , ., (Xn, Yn) 的情況下 , 如 何求出 Yt = + Xt + ut 中 和 的估計(jì)值 ,使得擬 合的直線為最佳 。 一元線性回歸的最小二乘估計(jì) 直觀上看，也就是要求在 X和 Y的散點(diǎn)圖上穿過 各觀測點(diǎn)畫出一條“最佳”直線，如下圖所示。 * * * * * et * * * * * * * * * * * * Y X Xt 圖 2 Y X Yt Y tY tY Yt 擬合的直線 稱為 擬合的回歸線 . 對于任何數(shù)據(jù)點(diǎn) (Xt, Yt), 此直線將 Yt 的總值 分 成兩部分。 第一部分是 Yt的
2、擬合 值或預(yù)測值 ： , t=1,2,n 第二部分， et 代表觀測點(diǎn)對于回歸線的誤差，稱 為 擬合 或預(yù)測的殘差 （ residuals）： t=1,2,n 即 t=1,2,n Y X tY tt XY ttt XYe ttt YYe 殘差 我們的目標(biāo)是使擬合出來的直線在某種 意義上是最佳的，直觀地看，也就是要求估 計(jì)直線盡可能地靠近各觀測點(diǎn)，這意味著應(yīng) 使各殘差盡可能地小。要做到這一點(diǎn)，就必 須用某種方法將每個點(diǎn)相應(yīng)的殘差加在一起， 使其達(dá)到最小。理想的測度是殘差平方和， 即 22 )( ttt YYe 如何決定估計(jì)值 和 ? 殘差平方和 最小二乘法就是選擇一條直線，使其殘差平方和 達(dá)到最
3、小值的方法。即選擇 和 ，使得 達(dá)到最小值。 2 22 )( )( tt ttt XY YYeS 運(yùn)用微積分知識，使上式達(dá)到最小值的必要條件為： 即 )2(0) )(2 )1(0) )(1(2 0 ttt tt XYX S XY S SS 整理，得： 此二式稱為正規(guī)方程。解此二方程，得： . 其中： 離差 )4( )3( 2 tttt tt XXYX XnY )6( )5( )()( )( 2222 XY x yx XXn YXYXn XX YYXX t tt tt tttt t tt YYyXXx n X X n Y Y tttt tt , , 樣本均值 （ 5）式和（ 6）式給出了 OLS
4、法計(jì)算 和 的 公式， 和 稱為線性回歸模型 Yt = + Xt + ut 的參數(shù) 和 的普通最小二乘估計(jì)量 (OLS estimators）。 這兩個公式可用于任意一組觀測值數(shù)據(jù)，以求出 截距和斜率的 OLS估計(jì)值（ estimates)，估計(jì)值是 從一組具體觀測值用公式計(jì)算出的數(shù)值。 一般說來，好的估計(jì)量所產(chǎn)生的估計(jì)值將相當(dāng) 接近參數(shù)的真值，即好的估計(jì)值。可以證明，對 于 CLR模型，普通最小二乘估計(jì)量正是這樣一個 好估計(jì)量。 3 例子 例 1 對于第一段中的消費(fèi)函數(shù)，若根據(jù)數(shù)據(jù) 得到： n = 10 , =23, =20 X Y ( ) , ( ) ( )X X X X Y Y 2 64
5、 37 則有 ii i ii XY XY XX YYXX 58.070.6 70.623*58.020 58.0 64 37 )( )( 2 因而 例 2 設(shè) Y和 X的 5期觀測值如下表所示，試估計(jì)方程 Yt = + Xt + ut 序號 1 2 3 4 5 Yt 14 18 23 25 30 Xt 10 20 30 40 50 解：我們采用列表法計(jì)算。計(jì)算過程如下： 序號 Yt Xt yt= Yt - xt=Xt- xt yt xt2 1 14 10 -8 -20 160 400 2 18 20 -4 -10 40 100 3 23 30 1 0 0 0 4 25 40 3 10 30 1
6、00 5 30 50 8 20 160 400 n=5 110 150 0 0 390 1000 Y X Y X y x xy 2x 225110,305150 n YYn XX tt 3.1030*39.022*,39.0 1 0 0 0 3 9 0 2 XY x xy 表 3 1 Eviews 創(chuàng)建工作文件，輸入數(shù)據(jù)并進(jìn)行回歸： Create u 1 5 data x y ls y c x 三 、 最小二乘法估計(jì)量的性質(zhì) 1 和 的均值 2222 )( t t t tt t tt t tt x xY x Yx x YYx x yx 0)( XnXnXXXXx ttt 22 )( t ttt
7、 t tt x Xx x Yx = )( 1 2 ttttt t xXxx x = )( 1 2 tttt t xXx x )( 1 2 2 tttt t xxXx x )( 1 2 2 ttt t xx x 2 t tt x x 即 的無偏估計(jì)量。是這表明 ）假設(shè)（ ）假設(shè)（ 兩邊取期望值，有 1 4 )( ) ( 2 t tt x Ex E 由 XY 我們有： ) ()( XYEE = ) ( XXE = ) ()( EXEX = XX = 即 是 的無偏估計(jì)量。 2 . 和 的方差 V a r ( ) = E - E( ) 2 根據(jù)定義 = E ( - ) 2 由無偏性 E( )= 由上
8、段結(jié)果 ： 2 t tt x x 即 2 t tt x x 2 2 2 )()( t tt x x = 2 221122 )( )( 1 nn t xxx x = )( )( 1 22 22 ji jijiii t xxx x 兩邊取期望值，得： )()( )( 1 )( 22 22 2 ji jijiii t ExxEx x E 由于 E( 2 t )= 2 , t= 1 , 2 , , n 根據(jù)假設(shè)（ 3 ） E( i j ) = 0 , i j 根據(jù)假設(shè)（ 2 ） 2 2 22 22 2 )0( )( 1 ) ( t i t x x x E 即 2 2 ) ( t x V a r 與此類
9、似，可得出： 2 22 )( t t xn X V ar 2 2 ) ,( t x X C o v 對于滿足統(tǒng)計(jì)假設(shè)條件 (1)-(4)的線性回歸模型 Yt = + Xt + ut , ，普通最小二乘估計(jì)量 ( OLS估 計(jì)量 ) 是最佳線性無偏估計(jì)量（ BLUE）。 或 對于古典線性回歸模型（ CLR模型） Yt=+Xt ， 普通最小二乘估計(jì)量（ OLS估計(jì)量）是最佳線性無 偏估計(jì)量（ BLUE）。 3. 高斯 -馬爾柯夫定理 （ Gauss-Markov Theorem） 我們已在前面證明了無偏性，此外，由于： 由上段結(jié)果 ， = 其中 這表明 ， 是諸樣本觀測值 Yt（ t=1,2, ,
10、n） 的線性函數(shù) , 故 是線性估計(jì)量 。 剩下的就是最佳性了 ， 即 的方差小于等于 的其他 任何線性無偏估計(jì)量的方差 ， 我們可以證明這一點(diǎn) ， 但 由于時(shí)間關(guān)系 ， 從略 。 有興趣的同學(xué)請參見教科書 （ P46-47） 2 t tt x Yx ttYk 2t t t x xk 我們在前面列出的假設(shè)條件 （ 5） 表明 ， ut N( 0, 2 ) , t= 1, 2, .,n 即各期擾動項(xiàng)服從均值為 0、 方差為 2的正態(tài)分布 。 考慮到假設(shè)條件 （ 4） ， 即 Xt為非隨機(jī)量 ， 則由前面結(jié)果： = 其中 ， 2 t tt x x ttk 2 t t t x xk 4. 和 的分布 這表明 ， 是 N個正態(tài)分布變量 u1， u2， ,un的線 性函數(shù) ， 因而亦為正態(tài)分布變量 ， 即 類似的有： ),( 2 2 txN ),( 2 22 t t xn X N
元線性回歸的最小二乘估計(jì)
