財(cái)務(wù)管理第2章 經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：一元線性回歸模型

《財(cái)務(wù)管理第2章 經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：一元線性回歸模型》由會(huì)員分享，可在線閱讀，更多相關(guān)《財(cái)務(wù)管理第2章 經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：一元線性回歸模型（66頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、第二章第二章 經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：經(jīng)典單方程計(jì)量經(jīng)濟(jì)學(xué)模型：一元線性回歸模型一元線性回歸模型 The Classical Single Equation Econometric Model:Simple Linear Regression Model 本章內(nèi)容本章內(nèi)容 回歸分析概述回歸分析概述 一元線性回歸模型的基本假設(shè)一元線性回歸模型的基本假設(shè) 一元線性回歸模型的參數(shù)估計(jì)一元線性回歸模型的參數(shù)估計(jì) 一元線性回歸模型的檢驗(yàn)一元線性回歸模型的檢驗(yàn) 一元線性回歸模型的預(yù)測一元線性回歸模型的預(yù)測 實(shí)例及時(shí)間序列問題實(shí)例及時(shí)間序列問題2.1 2.1 回歸分析概述回歸分析概述(Regression

2、 Analysis)一、變量間的關(guān)系及回歸分析的基本概念一、變量間的關(guān)系及回歸分析的基本概念二、總體回歸函數(shù)二、總體回歸函數(shù)三、隨機(jī)擾動(dòng)項(xiàng)三、隨機(jī)擾動(dòng)項(xiàng)四、樣本回歸函數(shù)四、樣本回歸函數(shù)一、變量間的關(guān)系及回歸分析一、變量間的關(guān)系及回歸分析的基本概念的基本概念1 1、變量間的關(guān)系、變量間的關(guān)系 確定性關(guān)系或函數(shù)關(guān)系：確定性關(guān)系或函數(shù)關(guān)系：研究的是確定性現(xiàn)象研究的是確定性現(xiàn)象非隨機(jī)變量間的關(guān)系。非隨機(jī)變量間的關(guān)系。2,半徑半徑圓面積f 統(tǒng)計(jì)依賴或相關(guān)關(guān)系：統(tǒng)計(jì)依賴或相關(guān)關(guān)系：研究的是非確定性現(xiàn)象研究的是非確定性現(xiàn)象隨機(jī)變量間的關(guān)系。隨機(jī)變量間的關(guān)系。施肥量陽光降雨量氣溫農(nóng)作物產(chǎn)量,f 對(duì)變量間對(duì)變量

3、間統(tǒng)計(jì)依賴關(guān)系統(tǒng)計(jì)依賴關(guān)系的考察主要是通過的考察主要是通過相關(guān)相關(guān)分析分析(correlation analysis)或或回歸分析回歸分析(regression analysis)來完成的。來完成的。相關(guān)分析相關(guān)分析適用于所有統(tǒng)計(jì)關(guān)系。適用于所有統(tǒng)計(jì)關(guān)系。相關(guān)系數(shù)相關(guān)系數(shù)(correlation coefficient)正相關(guān)正相關(guān)(positive correlation)負(fù)相關(guān)負(fù)相關(guān)(negative correlation)不相關(guān)不相關(guān)(non-correlation)回歸分析回歸分析僅對(duì)存在因果關(guān)系而言。僅對(duì)存在因果關(guān)系而言。注意：注意：不存在線性相關(guān)并不意味著不相關(guān)。不存在線性相關(guān)并

4、不意味著不相關(guān)。存在相關(guān)關(guān)系并不一定存在因果關(guān)系。存在相關(guān)關(guān)系并不一定存在因果關(guān)系。相關(guān)分析相關(guān)分析對(duì)稱地對(duì)待任何（兩個(gè)）變量，兩個(gè)變量對(duì)稱地對(duì)待任何（兩個(gè)）變量，兩個(gè)變量都被看作是隨機(jī)的。都被看作是隨機(jī)的?；貧w分析回歸分析對(duì)變量的處理方法存在不對(duì)稱性，即區(qū)分對(duì)變量的處理方法存在不對(duì)稱性，即區(qū)分應(yīng)變量（被解釋變量）和自變量（解釋變量），前應(yīng)變量（被解釋變量）和自變量（解釋變量），前者是隨機(jī)變量，后者不一定是。者是隨機(jī)變量，后者不一定是。2 2、回歸分析的基本概念、回歸分析的基本概念 回歸分析回歸分析(regression analysis)是研究一個(gè)變量是研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體

5、依賴關(guān)系的計(jì)算關(guān)于另一個(gè)（些）變量的具體依賴關(guān)系的計(jì)算方法和理論。方法和理論。其目的其目的在于通過后者的已知或設(shè)定值，去估計(jì)在于通過后者的已知或設(shè)定值，去估計(jì)和（或）預(yù)測前者的（總體）均值。和（或）預(yù)測前者的（總體）均值。兩類變量；兩類變量；被解釋變量被解釋變量（Explained Variable）或）或應(yīng)變量應(yīng)變量（Dependent Variable）。）。解釋變量解釋變量（Explanatory Variable）或）或自變量自變量（Independent Variable）。）。關(guān)于變量的術(shù)語關(guān)于變量的術(shù)語 Explained Variable Explanatory Variabl

6、e Dependent Variable Independent Variable Endogenous Variable Exogenous Variable Response Variable Control Variable Predicted Variable Predictor Variable 回歸分析構(gòu)成計(jì)量經(jīng)濟(jì)學(xué)的方法論基礎(chǔ)，其主回歸分析構(gòu)成計(jì)量經(jīng)濟(jì)學(xué)的方法論基礎(chǔ)，其主要內(nèi)容包括：要內(nèi)容包括：根據(jù)樣本觀察值對(duì)經(jīng)濟(jì)計(jì)量模型參數(shù)進(jìn)行估計(jì)，求得根據(jù)樣本觀察值對(duì)經(jīng)濟(jì)計(jì)量模型參數(shù)進(jìn)行估計(jì)，求得回歸方程；回歸方程；對(duì)回歸方程、參數(shù)估計(jì)值進(jìn)行顯著性檢驗(yàn)；對(duì)回歸方程、參數(shù)估計(jì)值進(jìn)行顯著性檢驗(yàn)；

7、利用回歸方程進(jìn)行分析、評(píng)價(jià)及預(yù)測。利用回歸方程進(jìn)行分析、評(píng)價(jià)及預(yù)測。二、總體回歸函數(shù)二、總體回歸函數(shù)Population Regression Function,PRF1 1、條件均值、條件均值（conditional mean）例例2.1.1：一個(gè)假想的社區(qū)有一個(gè)假想的社區(qū)有99戶家庭組成，欲戶家庭組成，欲研究該社區(qū)每月研究該社區(qū)每月家庭消費(fèi)支出家庭消費(fèi)支出Y與每月與每月家庭可家庭可支配收入支配收入X的關(guān)系。的關(guān)系。即如果知道了家庭的月收即如果知道了家庭的月收入，能否預(yù)測該社區(qū)家庭的平均月消費(fèi)支出水入，能否預(yù)測該社區(qū)家庭的平均月消費(fèi)支出水平。平。為達(dá)到此目的，將該為達(dá)到此目的，將該99戶家庭

8、劃分為組內(nèi)收入戶家庭劃分為組內(nèi)收入差不多的差不多的10組，以分析每一收入組的家庭消費(fèi)組，以分析每一收入組的家庭消費(fèi)支出。支出。表表 2.1.1 某某社社區(qū)區(qū)家家庭庭每每月月收收入入與與消消費(fèi)費(fèi)支支出出統(tǒng)統(tǒng)計(jì)計(jì)表表 每月家庭可支配收入X（元）800 1100 1400 1700 2000 2300 2600 2900 3200 3500 561 638 869 1023 1254 1408 1650 1969 2090 2299 594 748 913 1100 1309 1452 1738 1991 2134 2321 627 814 924 1144 1364 1551 1749 2046

9、2178 2530 638 847 979 1155 1397 1595 1804 2068 2266 2629 935 1012 1210 1408 1650 1848 2101 2354 2860 968 1045 1243 1474 1672 1881 2189 2486 2871 1078 1254 1496 1683 1925 2233 2552 1122 1298 1496 1716 1969 2244 2585 1155 1331 1562 1749 2013 2299 2640 1188 1364 1573 1771 2035 2310 1210 1408 1606 1804

10、2101 1430 1650 1870 2112 1485 1716 1947 2200 每 月 家 庭 消 費(fèi) 支 出 Y（元）2002 共計(jì) 2420 4950 11495 16445 19305 23870 25025 21450 21285 15510 由于不確定因素的影響，對(duì)同一收入水平由于不確定因素的影響，對(duì)同一收入水平X，不同家庭的消費(fèi)支出不完全相同；不同家庭的消費(fèi)支出不完全相同；但由于調(diào)查的完備性，給定收入水平但由于調(diào)查的完備性，給定收入水平X的消費(fèi)的消費(fèi)支出支出Y的分布是確定的，即以的分布是確定的，即以X的給定值為條件的給定值為條件的的Y的的條件分布條件分布（Conditio

11、nal distribution）是）是已知的，例如：已知的，例如：P(Y=561|X=800）=1/4。因此，給定收入因此，給定收入X的值的值Xi，可得消費(fèi)支出，可得消費(fèi)支出Y的的條條件均值件均值（conditional mean）或）或條件期望條件期望（conditional expectation）：）：E(Y|X=Xi)。該例中：該例中：E(Y|X=800)=605 描出散點(diǎn)圖發(fā)現(xiàn)：平均地說，隨著收入的增加，描出散點(diǎn)圖發(fā)現(xiàn)：平均地說，隨著收入的增加，消費(fèi)也在增加，且消費(fèi)也在增加，且Y的條件均值均落在一根正的條件均值均落在一根正斜率的直線上。斜率的直線上。0500100015002000

12、2500300035005001000150020002500300035004000每月可支配收入X（元）每月消費(fèi)支出Y（元）2 2、總體回歸函數(shù)、總體回歸函數(shù) 在給定解釋變量在給定解釋變量Xi條件下被解釋變量條件下被解釋變量Yi的期望的期望軌跡稱為軌跡稱為總體回歸線總體回歸線（population regression line），或更一般地稱為），或更一般地稱為總體回歸曲線總體回歸曲線（population regression curve）。）。相應(yīng)的函數(shù)稱為（雙變量）相應(yīng)的函數(shù)稱為（雙變量）總體回歸函數(shù)總體回歸函數(shù)（population regression function,PRF

13、）。）。)()|(iiXfXYE 含義：含義：回歸函數(shù)（回歸函數(shù)（PRF）說明被解釋變量）說明被解釋變量Y的的平均狀態(tài)（總體條件期望）隨解釋變量平均狀態(tài)（總體條件期望）隨解釋變量X變化變化的規(guī)律。的規(guī)律。函數(shù)形式：函數(shù)形式：可以是線性或非線性的。可以是線性或非線性的。例例2.1.1中，中，將居民消費(fèi)支出看成是其可支配收將居民消費(fèi)支出看成是其可支配收入的線性函數(shù)時(shí)入的線性函數(shù)時(shí):iiXXYE10)|(為為線性函數(shù)。線性函數(shù)。其中，其中，0 0，1 1是未知參數(shù)，稱為是未知參數(shù)，稱為回歸系數(shù)回歸系數(shù)（regression coefficients）。）。三、隨機(jī)擾動(dòng)項(xiàng)三、隨機(jī)擾動(dòng)項(xiàng)Stochast

14、ic Disturbance 總體回歸函數(shù)說明在給定的收入水平總體回歸函數(shù)說明在給定的收入水平Xi下，該下，該社區(qū)家庭平均的消費(fèi)支出水平。社區(qū)家庭平均的消費(fèi)支出水平。但對(duì)某一個(gè)別的家庭，其消費(fèi)支出可能與該平但對(duì)某一個(gè)別的家庭，其消費(fèi)支出可能與該平均水平有偏差。均水平有偏差。稱為觀察值圍繞它的期望值的稱為觀察值圍繞它的期望值的離差離差（deviation），是一個(gè)不可觀測的隨機(jī)變量，），是一個(gè)不可觀測的隨機(jī)變量，又稱為又稱為隨機(jī)干擾項(xiàng)隨機(jī)干擾項(xiàng)（stochastic disturbance）或）或隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng)（stochastic error）。）。)|(iiiXYEY 例例2.1.1中

15、，給定收入水平中，給定收入水平Xi,個(gè)別家庭的支出可個(gè)別家庭的支出可表示為兩部分之和：表示為兩部分之和：該收入水平下所有家庭的平均消費(fèi)支出該收入水平下所有家庭的平均消費(fèi)支出E(Y|Xi)，稱，稱為為系統(tǒng)性（系統(tǒng)性（systematic）或或確定性（確定性（deterministic)部部分；分；其他其他隨機(jī)隨機(jī)或或非確定性（非確定性（nonsystematic)部分部分 i。稱為稱為總體回歸函數(shù)（總體回歸函數(shù)（PRF）的隨機(jī)設(shè)定形式。表的隨機(jī)設(shè)定形式。表明被解釋變量除了受解釋變量的系統(tǒng)性影響外，明被解釋變量除了受解釋變量的系統(tǒng)性影響外，還受其他因素的隨機(jī)性影響。由于方程中引入了還受其他因素的隨

16、機(jī)性影響。由于方程中引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)學(xué)模型，因此也稱為隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)學(xué)模型，因此也稱為總體總體回歸模型回歸模型(PRM)。隨機(jī)誤差項(xiàng)主要包括下列因素：隨機(jī)誤差項(xiàng)主要包括下列因素：在解釋變量中被忽略的因素的影響；在解釋變量中被忽略的因素的影響；影響不顯著的因素影響不顯著的因素 未知的影響因素未知的影響因素 無法獲得數(shù)據(jù)的因素?zé)o法獲得數(shù)據(jù)的因素變量觀測值的觀測誤差的影響；變量觀測值的觀測誤差的影響；模型關(guān)系的設(shè)定誤差的影響；模型關(guān)系的設(shè)定誤差的影響；其它隨機(jī)因素的影響。其它隨機(jī)因素的影響。關(guān)于隨機(jī)項(xiàng)的說明：關(guān)于隨機(jī)項(xiàng)的說明：將隨機(jī)項(xiàng)區(qū)分為將隨機(jī)項(xiàng)區(qū)分為“源生的隨機(jī)擾動(dòng)源生的隨機(jī)擾動(dòng)

17、”和和“衍生的隨衍生的隨機(jī)誤差機(jī)誤差”?！霸瓷碾S機(jī)擾動(dòng)源生的隨機(jī)擾動(dòng)”僅包含無數(shù)對(duì)被解釋變量影響僅包含無數(shù)對(duì)被解釋變量影響不顯著的因素的影響，服從極限法則（大數(shù)定律和不顯著的因素的影響，服從極限法則（大數(shù)定律和中心極限定理），滿足基本假設(shè)。中心極限定理），滿足基本假設(shè)?！把苌碾S機(jī)誤差衍生的隨機(jī)誤差”包含上述所有內(nèi)容，并不一定包含上述所有內(nèi)容，并不一定服從極限法則，不一定滿足基本假設(shè)。服從極限法則，不一定滿足基本假設(shè)。在在9.39.3中將進(jìn)一步討論。中將進(jìn)一步討論。四、樣本回歸函數(shù)四、樣本回歸函數(shù)Sample Regression Function,SRF1 1、樣本回歸函數(shù)、樣本回歸函數(shù)

18、問題：問題：能否從一次抽樣中獲得總體的近似信息？能否從一次抽樣中獲得總體的近似信息？如果可以，如何從抽樣中獲得總體的近似信息？如果可以，如何從抽樣中獲得總體的近似信息？在例在例2.1.12.1.1的總體中有如下一個(gè)樣本，的總體中有如下一個(gè)樣本，能否從該能否從該樣本估計(jì)總體回歸函數(shù)？樣本估計(jì)總體回歸函數(shù)？回答：能回答：能表表 2.1.3 家庭消費(fèi)支出與可支配收入的一個(gè)隨機(jī)樣本家庭消費(fèi)支出與可支配收入的一個(gè)隨機(jī)樣本 X 800 1100 1400 1700 2000 2300 2600 2900 3200 3500 Y 594 638 1122 1155 1408 1595 1969 2078 2

19、585 2530 該樣本的該樣本的散點(diǎn)圖（散點(diǎn)圖（scatter diagram)：畫一條直線以盡好地?cái)M合該散點(diǎn)圖，由于樣本取自總體，畫一條直線以盡好地?cái)M合該散點(diǎn)圖，由于樣本取自總體，可以將該直線近似地代表總體回歸線。該直線稱為可以將該直線近似地代表總體回歸線。該直線稱為樣本回樣本回歸線（歸線（sample regression lines）。樣本回歸線的函數(shù)形式為：樣本回歸線的函數(shù)形式為：iiiXXfY10)(稱為稱為樣本回歸函數(shù)樣本回歸函數(shù)（sample regression function，SRF）。注意：注意：這里將樣本回歸線樣本回歸線看成總體回歸線總體回歸線的近似替代則則2 2、樣

20、本回歸模型、樣本回歸模型 樣本回歸函數(shù)的隨機(jī)形式：樣本回歸函數(shù)的隨機(jī)形式：iiiiieXYY10式中，ie稱為（樣樣本本）殘殘差差（或剩剩余余）項(xiàng)項(xiàng)（residual），代表了其他影響iY的隨機(jī)因素的集合，可看成是i的估計(jì)量i。由于方程中引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)模型，由于方程中引入了隨機(jī)項(xiàng)，成為計(jì)量經(jīng)濟(jì)模型，因此也稱為因此也稱為樣本回歸模型樣本回歸模型（sample regression model）?；貧w分析的主要目的：回歸分析的主要目的：根據(jù)樣本回歸函數(shù)根據(jù)樣本回歸函數(shù)SRF，估計(jì)總體回歸函數(shù)估計(jì)總體回歸函數(shù)PRF。iiiiieXeYY10iiiiiXXYEY10)|(2.2 2.2 一

21、元線性回歸模型的基本假設(shè)一元線性回歸模型的基本假設(shè)(Assumptions of Simple Linear Regression Model)一、關(guān)于模型設(shè)定的假設(shè)一、關(guān)于模型設(shè)定的假設(shè) 二、關(guān)于解釋變量的假設(shè)二、關(guān)于解釋變量的假設(shè) 三、關(guān)于隨機(jī)項(xiàng)的假設(shè)三、關(guān)于隨機(jī)項(xiàng)的假設(shè)說明說明 為保證參數(shù)估計(jì)量具有良好的性質(zhì)，通常對(duì)模型為保證參數(shù)估計(jì)量具有良好的性質(zhì)，通常對(duì)模型提出若干基本假設(shè)。提出若干基本假設(shè)。實(shí)際上這些假設(shè)與所采用的估計(jì)方法緊密相關(guān)。實(shí)際上這些假設(shè)與所采用的估計(jì)方法緊密相關(guān)。下面的假設(shè)主要是針對(duì)采用下面的假設(shè)主要是針對(duì)采用普通最小二乘法普通最小二乘法（Ordinary Least S

22、quares,OLS）估計(jì)而提出的。估計(jì)而提出的。所以，在有些教科書中稱為所以，在有些教科書中稱為“The Assumption Underlying the Method of Least Squares”。在不同的教科書上關(guān)于基本假設(shè)的陳述略有不同，在不同的教科書上關(guān)于基本假設(shè)的陳述略有不同，下面進(jìn)行了重新歸納。下面進(jìn)行了重新歸納。（具體的基本假設(shè)見教材具體的基本假設(shè)見教材）1 1、關(guān)于模型關(guān)系的假設(shè)、關(guān)于模型關(guān)系的假設(shè) 模型設(shè)定正確假設(shè)。模型設(shè)定正確假設(shè)。The regression model is correctly specified.線性回歸假設(shè)。線性回歸假設(shè)。The regre

23、ssion model is linear in the parameters。iiiXY10 注意：注意：“l(fā)inear in the parameters”的含義是什的含義是什么？么？2 2、關(guān)于解釋變量的假設(shè)、關(guān)于解釋變量的假設(shè) 確定性假設(shè)。確定性假設(shè)。X values are fixed in repeated sampling.More technically,X is assumed to be nonstochastic.注意：注意：“in repeated sampling”的含義是什么？的含義是什么？與隨機(jī)項(xiàng)不相關(guān)假設(shè)。與隨機(jī)項(xiàng)不相關(guān)假設(shè)。The covariances be

24、tween Xi and i are zero.由確定性假設(shè)可以推斷。由確定性假設(shè)可以推斷。cov(,)0,1,2,()0,1,2,iiiiXinE Xin 觀測值變化假設(shè)。觀測值變化假設(shè)。X values in a given sample must not all be the same.無完全共線性假設(shè)。無完全共線性假設(shè)。There is no perfect multicollinearity among the explanatory variables.適用于多元線性回歸模型。適用于多元線性回歸模型。樣本方差假設(shè)。樣本方差假設(shè)。隨著樣本容量的無限增加，解隨著樣本容量的無限增加，解釋

25、變量釋變量X的樣本方差趨于一有限常數(shù)。的樣本方差趨于一有限常數(shù)。nQnXXi,/)(2時(shí)間序列數(shù)據(jù)作時(shí)間序列數(shù)據(jù)作樣本時(shí)間適用樣本時(shí)間適用3 3、關(guān)于隨機(jī)項(xiàng)的假設(shè)、關(guān)于隨機(jī)項(xiàng)的假設(shè) 0均值假設(shè)。均值假設(shè)。The conditional mean value of i is zero.同方差假設(shè)。同方差假設(shè)。The conditional variances of i are identical.(Homoscedasticity)由模型設(shè)定正確假設(shè)推斷。由模型設(shè)定正確假設(shè)推斷。()0,1,2,iiEXin2(),1,2,iiVarXin是否滿足需要檢驗(yàn)。是否滿足需要檢驗(yàn)。序列不相關(guān)假設(shè)。序列不

26、相關(guān)假設(shè)。The correlation between any two i and j is zero.是否滿足需要檢驗(yàn)。是否滿足需要檢驗(yàn)。(,)0,1,2,ijijCovX Xi jn ij 4 4、隨機(jī)項(xiàng)的正態(tài)性假設(shè)、隨機(jī)項(xiàng)的正態(tài)性假設(shè) 在采用在采用OLS進(jìn)行參數(shù)估計(jì)時(shí)，不需要正態(tài)性假進(jìn)行參數(shù)估計(jì)時(shí)，不需要正態(tài)性假設(shè)。在利用參數(shù)估計(jì)量進(jìn)行統(tǒng)計(jì)推斷時(shí)，需要設(shè)。在利用參數(shù)估計(jì)量進(jìn)行統(tǒng)計(jì)推斷時(shí)，需要假設(shè)隨機(jī)項(xiàng)的概率分布。假設(shè)隨機(jī)項(xiàng)的概率分布。一般假設(shè)隨機(jī)項(xiàng)服從正態(tài)分布?？梢岳弥行囊话慵僭O(shè)隨機(jī)項(xiàng)服從正態(tài)分布。可以利用中心極限定理（極限定理（central limit theorem,CLT）進(jìn)

27、行證）進(jìn)行證明。明。正態(tài)性假設(shè)。正態(tài)性假設(shè)。The s follow the normal distribution.22(0,)(0,)iiNNID5 5、CLRM CLRM 和和 CNLRMCNLRM 以上假設(shè)（正態(tài)性假設(shè)除外）也稱為線性回歸以上假設(shè)（正態(tài)性假設(shè)除外）也稱為線性回歸模型的模型的經(jīng)典假設(shè)經(jīng)典假設(shè)或或高斯（高斯（Gauss）假設(shè)）假設(shè)，滿足，滿足該假設(shè)的線性回歸模型，也稱為該假設(shè)的線性回歸模型，也稱為經(jīng)典線性回歸經(jīng)典線性回歸模型模型（Classical Linear Regression Model,CLRM）。）。同時(shí)滿足正態(tài)性假設(shè)的線性回歸模型，稱為同時(shí)滿足正態(tài)性假設(shè)的線性

28、回歸模型，稱為經(jīng)經(jīng)典正態(tài)線性回歸模型典正態(tài)線性回歸模型（Classical Normal Linear Regression Model,CNLRM）。）。2.3 2.3 一元線性回歸模型的參數(shù)估計(jì)一元線性回歸模型的參數(shù)估計(jì)(Estimation of Simple Linear Regression Model)一、參數(shù)的普通最小二乘估計(jì)（一、參數(shù)的普通最小二乘估計(jì)（OLSOLS）二、參數(shù)估計(jì)的最大或然法二、參數(shù)估計(jì)的最大或然法(ML)(ML)三、最小二乘估計(jì)量的性質(zhì)三、最小二乘估計(jì)量的性質(zhì) 四、參數(shù)估計(jì)量的概率分布及隨機(jī)干四、參數(shù)估計(jì)量的概率分布及隨機(jī)干 擾項(xiàng)方差的估計(jì)擾項(xiàng)方差的估計(jì) 一、

29、參數(shù)的普通最小二乘估計(jì)（一、參數(shù)的普通最小二乘估計(jì)（OLSOLS）1 1、最小二乘原理、最小二乘原理 根據(jù)被解釋變量的所有觀測值與估計(jì)值之差的根據(jù)被解釋變量的所有觀測值與估計(jì)值之差的平方和最小的原則求得參數(shù)估計(jì)量。平方和最小的原則求得參數(shù)估計(jì)量。220111()()nniiiiMinQYYYX 為什么取平方和？為什么取平方和？2 2、正規(guī)方程組、正規(guī)方程組 該關(guān)于參數(shù)估計(jì)量的線性方程組稱為該關(guān)于參數(shù)估計(jì)量的線性方程組稱為正規(guī)方程正規(guī)方程組組（normal equations）。）。QQ01000)(0)(1010iiiiiXXYXY3 3、參數(shù)估計(jì)量、參數(shù)估計(jì)量 求解正規(guī)方程組得到結(jié)構(gòu)參數(shù)的普

30、通最小二乘求解正規(guī)方程組得到結(jié)構(gòu)參數(shù)的普通最小二乘估計(jì)量估計(jì)量（ordinary least squares estimators）及及其離差形式：其離差形式：2212220)()(iiiiiiiiiiiiiXXnXYXYnXXnXYXYX 分布參數(shù)的普通最小二乘估計(jì)分布參數(shù)的普通最小二乘估計(jì)量量XYxyxiii1021222nei4 4、“估計(jì)量估計(jì)量”（estimator）和）和“估計(jì)值估計(jì)值”(estimate)的區(qū)別的區(qū)別 如果給出的參數(shù)估計(jì)結(jié)果是由一個(gè)具體樣本資如果給出的參數(shù)估計(jì)結(jié)果是由一個(gè)具體樣本資料計(jì)算出來的，它是一個(gè)料計(jì)算出來的，它是一個(gè)“估計(jì)值估計(jì)值”，或者，或者“點(diǎn)估計(jì)點(diǎn)估

31、計(jì)”，是參數(shù)估計(jì)量的一個(gè)具體數(shù)值；，是參數(shù)估計(jì)量的一個(gè)具體數(shù)值；如果把上式看成參數(shù)估計(jì)的一個(gè)表達(dá)式，那么，如果把上式看成參數(shù)估計(jì)的一個(gè)表達(dá)式，那么，則是則是Y Yi i的函數(shù)，而的函數(shù)，而Y Yi i是隨機(jī)變量，所以參數(shù)估是隨機(jī)變量，所以參數(shù)估計(jì)也是隨機(jī)變量，在這個(gè)角度上，稱之為計(jì)也是隨機(jī)變量，在這個(gè)角度上，稱之為“估估計(jì)量計(jì)量”。二、參數(shù)估計(jì)的最大似然法二、參數(shù)估計(jì)的最大似然法(ML)(ML)1 1、最大似然法、最大似然法 最大似然法最大似然法(Maximum Likelihood,ML)，也稱，也稱最最大或然法大或然法，是不同于最小二乘法的另一種參數(shù)，是不同于最小二乘法的另一種參數(shù)估計(jì)方法

32、，是從最大或然原理出發(fā)發(fā)展起來的估計(jì)方法，是從最大或然原理出發(fā)發(fā)展起來的其它估計(jì)方法的基礎(chǔ)。其它估計(jì)方法的基礎(chǔ)?；驹恚夯驹恚寒?dāng)從模型總體隨機(jī)抽取當(dāng)從模型總體隨機(jī)抽取n組樣本觀組樣本觀測值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型測值后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該中抽取該n組樣本觀測值的概率最大。組樣本觀測值的概率最大。ML必須已知隨機(jī)項(xiàng)的分布。必須已知隨機(jī)項(xiàng)的分布。2 2、估計(jì)步驟、估計(jì)步驟),(210iiXNY2102)(2121)(iiXYieYP),(),(21210nYYYPL 21022)(21)2(1iinXYneYi的分布Yi的概率函數(shù) Y的所有樣本觀測值的聯(lián)合概

33、率似然函數(shù) 2102*)(21)2ln()ln(iiXYnLL0)(0)(21012100iiiiXYXY2212220)()(iiiiiiiiiiiiiXXnXYXYnXXnXYXYX對(duì)數(shù)似然函數(shù) 對(duì)數(shù)似然函數(shù)極大化的一階條件結(jié)構(gòu)參數(shù)的ML估計(jì)量3 3、討論、討論 在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參在滿足一系列基本假設(shè)的情況下，模型結(jié)構(gòu)參數(shù)的數(shù)的最大似然估計(jì)量最大似然估計(jì)量與與普通最小二乘估計(jì)量普通最小二乘估計(jì)量是是相同的。相同的。但是，分布參數(shù)的估計(jì)結(jié)果不同。但是，分布參數(shù)的估計(jì)結(jié)果不同。neMLi22:2:22neOLSi2.4 2.4 一元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)一元線性回歸模型的

34、統(tǒng)計(jì)檢驗(yàn)Statistical Test of Simple Linear Regression Model 一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn) 二、變量的顯著性檢驗(yàn)二、變量的顯著性檢驗(yàn) 三、參數(shù)的置信區(qū)間三、參數(shù)的置信區(qū)間 說說 明明 回歸分析回歸分析是要通過樣本所估計(jì)的參數(shù)來代替總是要通過樣本所估計(jì)的參數(shù)來代替總體的真實(shí)參數(shù)，或者說是用樣本回歸線代替總體的真實(shí)參數(shù)，或者說是用樣本回歸線代替總體回歸線。體回歸線。盡管從盡管從統(tǒng)計(jì)性質(zhì)統(tǒng)計(jì)性質(zhì)上已知，如果有足夠多的重復(fù)上已知，如果有足夠多的重復(fù) 抽樣，參數(shù)的估計(jì)值的期望（均值）就等于其抽樣，參數(shù)的估計(jì)值的期望（均值）就等于其總體的參數(shù)真值，但在一

35、次抽樣中，估計(jì)值不總體的參數(shù)真值，但在一次抽樣中，估計(jì)值不一定就等于該真值。一定就等于該真值。那么，在一次抽樣中，參數(shù)的估計(jì)值與真值的那么，在一次抽樣中，參數(shù)的估計(jì)值與真值的差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行差異有多大，是否顯著，這就需要進(jìn)一步進(jìn)行統(tǒng)計(jì)檢驗(yàn)統(tǒng)計(jì)檢驗(yàn)。主要包括主要包括擬合優(yōu)度檢驗(yàn)、變量的顯著性檢驗(yàn)及擬合優(yōu)度檢驗(yàn)、變量的顯著性檢驗(yàn)及參數(shù)的區(qū)間估計(jì)。參數(shù)的區(qū)間估計(jì)。一、擬合優(yōu)度檢驗(yàn)一、擬合優(yōu)度檢驗(yàn)Goodness of Fit,Coefficient of Determination1 1、回答一個(gè)問題、回答一個(gè)問題對(duì)樣本回歸直線與樣本觀測值對(duì)樣本回歸直線與樣本觀測值之間擬合程

36、度的檢驗(yàn)。之間擬合程度的檢驗(yàn)。問題：問題：采用普通最小二乘估計(jì)方法，已經(jīng)保證采用普通最小二乘估計(jì)方法，已經(jīng)保證了模型最好地?cái)M合了樣本觀測值，為什么還要了模型最好地?cái)M合了樣本觀測值，為什么還要檢驗(yàn)擬合程度？檢驗(yàn)擬合程度？2 2、總離差平方和的分解、總離差平方和的分解iiXY10)(YYyiiiiiiiiiyeYYYYYYy)()(Y Y的第的第i i個(gè)觀測值與樣本個(gè)觀測值與樣本均值的離差均值的離差由回歸由回歸直線解直線解釋的部釋的部分分 回歸直線不能回歸直線不能解釋的部分解釋的部分 離差分解為兩離差分解為兩部分之和部分之和 對(duì)于所有樣本點(diǎn)，則需考慮離差的平方和對(duì)于所有樣本點(diǎn)，則需考慮離差的平方和

37、：記22)(YYyTSSii總體平方和總體平方和（Total Sum of Squares）22)(YYyESSii回歸平方和回歸平方和（Explained Sum of Squares）22)(iiiYYeRSS殘差平方和殘差平方和（Residual Sum of Squares）TSS=ESS+RSS Y的觀測值圍繞其均值的的觀測值圍繞其均值的總離差總離差(total variation)可分解為兩部分：一部分來自回歸線可分解為兩部分：一部分來自回歸線(ESS)，另一，另一部分則來自隨機(jī)勢力部分則來自隨機(jī)勢力(RSS)。在給定樣本中，在給定樣本中，TSS不變，不變，如果實(shí)際觀測點(diǎn)離樣本回歸

38、線越近，則如果實(shí)際觀測點(diǎn)離樣本回歸線越近，則ESS在在TSS中占的比重越大，因此中占的比重越大，因此 擬合優(yōu)度擬合優(yōu)度：回歸平方和回歸平方和ESS/YESS/Y的總離差的總離差TSSTSS3 3、可決系數(shù)、可決系數(shù)R R2 2統(tǒng)計(jì)量統(tǒng)計(jì)量 是一個(gè)非負(fù)的統(tǒng)計(jì)量。取值范圍：是一個(gè)非負(fù)的統(tǒng)計(jì)量。取值范圍：00，11 越接近越接近1 1，說明實(shí)際觀測點(diǎn)離回歸線越近，擬，說明實(shí)際觀測點(diǎn)離回歸線越近，擬合優(yōu)度越高。合優(yōu)度越高。隨著抽樣的不同而不同。為此，對(duì)可決系數(shù)的隨著抽樣的不同而不同。為此，對(duì)可決系數(shù)的統(tǒng)計(jì)可靠性也應(yīng)進(jìn)行檢驗(yàn)，這將在第統(tǒng)計(jì)可靠性也應(yīng)進(jìn)行檢驗(yàn)，這將在第3章中進(jìn)章中進(jìn)行。行。TSSRSSTS

39、SESSR12二、變量的顯著性檢驗(yàn)二、變量的顯著性檢驗(yàn) Testing Significance of Variable說明說明 在一元線性模型中，變量的顯著性檢驗(yàn)就是判在一元線性模型中，變量的顯著性檢驗(yàn)就是判斷斷X X是否對(duì)是否對(duì)Y Y具有顯著的線性性影響。具有顯著的線性性影響。變量的顯著性檢驗(yàn)所應(yīng)用的方法是數(shù)理統(tǒng)計(jì)學(xué)變量的顯著性檢驗(yàn)所應(yīng)用的方法是數(shù)理統(tǒng)計(jì)學(xué)中的中的假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)。通過檢驗(yàn)通過檢驗(yàn)變量的參數(shù)真值是否為零變量的參數(shù)真值是否為零來實(shí)現(xiàn)顯著來實(shí)現(xiàn)顯著性檢驗(yàn)。性檢驗(yàn)。1 1、假設(shè)檢驗(yàn)（、假設(shè)檢驗(yàn)（Hypothesis Testing）所謂所謂假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)，就是事先對(duì)總體參數(shù)或總

40、體分，就是事先對(duì)總體參數(shù)或總體分布形式作出一個(gè)假設(shè)，然后利用樣本信息來判布形式作出一個(gè)假設(shè)，然后利用樣本信息來判斷原假設(shè)是否合理，即判斷樣本信息與原假設(shè)斷原假設(shè)是否合理，即判斷樣本信息與原假設(shè)是否有顯著差異，從而決定是否接受或否定原是否有顯著差異，從而決定是否接受或否定原假設(shè)。假設(shè)。假設(shè)檢驗(yàn)采用的邏輯推理方法是反證法。假設(shè)檢驗(yàn)采用的邏輯推理方法是反證法。先假先假定原假設(shè)正確，然后根據(jù)樣本信息，觀察由此定原假設(shè)正確，然后根據(jù)樣本信息，觀察由此假設(shè)而導(dǎo)致的結(jié)果是否合理，從而判斷是否接假設(shè)而導(dǎo)致的結(jié)果是否合理，從而判斷是否接受原假設(shè)。受原假設(shè)。判斷結(jié)果合理與否，是基于判斷結(jié)果合理與否，是基于“小概率

41、事件不易小概率事件不易發(fā)生發(fā)生”這一原理的。這一原理的。2、變量的顯著性檢驗(yàn)、變量的顯著性檢驗(yàn)t檢驗(yàn)檢驗(yàn)),(2211ixN)2(1112211ntSxti用2的估計(jì)量代替，構(gòu)造t統(tǒng)計(jì)量11St 對(duì)總體參數(shù)提出假設(shè)：H0：1=0，H1：10 由樣本計(jì)算由樣本計(jì)算t統(tǒng)計(jì)量值；統(tǒng)計(jì)量值；給定給定顯著性水平顯著性水平(level of significance)，查，查t分布分布表得表得臨界值臨界值(critical value)t /2(n-2)；比較，判斷：比較，判斷：若若|t|t /2(n-2)，則以（，則以（1）的）的置信度置信度（confidence coefficient）拒絕拒絕H0，

42、接受，接受H1；若若|t|t /2(n-2)，則以（，則以（1）的置信度）的置信度不拒絕不拒絕H0。3、關(guān)于常數(shù)項(xiàng)的顯著性檢驗(yàn)、關(guān)于常數(shù)項(xiàng)的顯著性檢驗(yàn) T T檢驗(yàn)同樣可以進(jìn)行。檢驗(yàn)同樣可以進(jìn)行。一般不以一般不以t t檢驗(yàn)決定常數(shù)項(xiàng)是否保留在模型中，檢驗(yàn)決定常數(shù)項(xiàng)是否保留在模型中，而是從經(jīng)濟(jì)意義方面分析回歸線是否應(yīng)該通過而是從經(jīng)濟(jì)意義方面分析回歸線是否應(yīng)該通過原點(diǎn)。原點(diǎn)。2.6 2.6 實(shí)例及時(shí)間序列問題實(shí)例及時(shí)間序列問題說明說明 本節(jié)列舉了兩個(gè)一元線性回歸模型實(shí)例，完成本節(jié)列舉了兩個(gè)一元線性回歸模型實(shí)例，完成了建立模型、估計(jì)參數(shù)、統(tǒng)計(jì)檢驗(yàn)和預(yù)測的過了建立模型、估計(jì)參數(shù)、統(tǒng)計(jì)檢驗(yàn)和預(yù)測的過程。程。適合于課堂演示或者由學(xué)生在計(jì)算機(jī)上完成。適合于課堂演示或者由學(xué)生在計(jì)算機(jī)上完成。從理論上講，經(jīng)典線性回歸模型理論是以隨機(jī)從理論上講，經(jīng)典線性回歸模型理論是以隨機(jī)抽樣的截面數(shù)據(jù)或者平穩(wěn)的時(shí)間序列數(shù)據(jù)為基抽樣的截面數(shù)據(jù)或者平穩(wěn)的時(shí)間序列數(shù)據(jù)為基礎(chǔ)的。對(duì)于非平穩(wěn)時(shí)間序列數(shù)據(jù)，存在理論方礎(chǔ)的。對(duì)于非平穩(wěn)時(shí)間序列數(shù)據(jù)，存在理論方法方面的障礙。如何處理？本書第法方面的障礙。如何處理？本書第8 8章將專門討章將專門討論。在論。在2727章中大量采用非平穩(wěn)時(shí)間序列數(shù)據(jù)章中大量采用非平穩(wěn)時(shí)間序列數(shù)據(jù)作為實(shí)例，暫時(shí)不考慮理論方法方面的障礙。作為實(shí)例，暫時(shí)不考慮理論方法方面的障礙。