第11章一元線性回歸ppt課件

《第11章一元線性回歸ppt課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《第11章一元線性回歸ppt課件（94頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、Click to edit Master title,Click to edit Master text styles,Second Level,Third Level,Fourth Level,Fifth Level,11 -,93,,統(tǒng)計(jì)學(xué),STATISTICS,(,第四版,),作者：賈俊平，中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院,第,11,章 一元線性回歸,PowerPoint,,,,,,,,,,,,,,,,,統(tǒng)計(jì)學(xué),,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,第11章 一元線性回歸PowerPoint統(tǒng)計(jì)學(xué),第,11,章 一元線性回歸,11.1,,變量間關(guān)系的

2、度量,11.2,一元線性回歸,11.3,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè),11.4,殘差分析,第11章 一元線性回歸11.1 變量間關(guān)系的度量,學(xué)習(xí)目標(biāo),1.,相關(guān)關(guān)系的分析方法,一元線性回歸的基本原理和參數(shù)的最小二乘估計(jì),回歸直線的擬合優(yōu)度,回歸方程的顯著性檢驗(yàn),利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè),用,Excel,,進(jìn)行回歸,學(xué)習(xí)目標(biāo)1. 相關(guān)關(guān)系的分析方法,11.1,變量間關(guān)系的度量,11.1.1,變量間的關(guān)系,11.1.2,相關(guān)關(guān)系的描述與測(cè)度,11.1.3,相關(guān)系數(shù)的顯著性檢驗(yàn),11.1 變量間關(guān)系的度量11.1.1 變量間的關(guān)系,變量間的關(guān)系,變量間的關(guān)系,函數(shù)關(guān)系,是一一,對(duì)應(yīng)的確

3、定關(guān)系,設(shè),有兩個(gè)變量,x,和,y,，變量,y,隨變量,x,一起變化，并完全依賴于,x,,，當(dāng)變量,x,取某個(gè)數(shù)值時(shí)，,,y,依確定的關(guān)系取相應(yīng)的值，則稱,y,是,x,的函數(shù)，記為,y,=,f,(,x,),，其中,x,稱為自變量，,y,稱為因變量,各,觀測(cè)點(diǎn)落在一條線上,,?,?,?,?,?,?,?,?,?,x,y,函數(shù)關(guān)系是一一對(duì)應(yīng)的確定關(guān)系?????????xy,函數(shù)關(guān)系,(,幾個(gè)例子,),某種商品的銷售額,y,與銷售量,x,之間的關(guān)系可表示為,y,=,px,(,p,為單價(jià),),圓的面積,S,與半徑,R,之間的關(guān)系可表示為,S,=,?,R,2,,企業(yè)的原材料消耗額,y,與產(chǎn)量,x,1,,、

4、單位產(chǎn)量消耗,x,2,,、原材料價(jià)格,x,3,之間的關(guān)系可表示為,,y,=,x,1,x,2,x,3,,函數(shù)關(guān)系(幾個(gè)例子)某種商品的銷售額y與銷售量x之間的關(guān)系,相關(guān)關(guān)系,(,correlation,),變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá),一個(gè)變量的取值不能由另一個(gè)變量唯一確定,當(dāng)變量,,x,取某個(gè)值時(shí)，變量,y,的取值可能有幾個(gè),各觀測(cè),點(diǎn)分布在直線周圍,,?,?,?,?,?,?,?,?,?,x,y,相關(guān)關(guān)系(correlation)變量間關(guān)系不能用函數(shù)關(guān)系,相關(guān)關(guān)系,(,幾個(gè)例子,),父親身高,y,與子女身高,x,之間的關(guān)系,收入水平,y,與受教育程度,x,之間的關(guān)系,糧食單位面積產(chǎn)量,

5、y,與施肥量,x,1,,、降雨量,x,2,,、溫度,x,3,之間的關(guān)系,商品的消費(fèi)量,y,與居民收入,x,之間的關(guān)系,商品銷售額,y,與廣告費(fèi)支出,x,之間的關(guān)系,相關(guān)關(guān)系(幾個(gè)例子)父親身高y與子女身高x之間的關(guān)系,相關(guān)關(guān)系,(,類型,),相關(guān)關(guān)系(類型),相關(guān)分析及其假定,相關(guān)分析要解決的問(wèn)題,變量之間是否存在關(guān)系？,如果存在關(guān)系，它們之間是什么樣的關(guān)系？（散點(diǎn)圖）,變量之間的關(guān)系強(qiáng)度如何？（相關(guān)系數(shù)）,樣本所反映的變量之間的關(guān)系能否代表總體變量之間的關(guān)系？（顯著性檢驗(yàn)）,為解決這些問(wèn)題，在進(jìn)行相關(guān)分析時(shí)，對(duì)總體有以下兩個(gè)主要假定,兩個(gè)變量之間是線性關(guān)系,兩個(gè)變量都是隨機(jī)變量,相關(guān)分析

6、及其假定相關(guān)分析要解決的問(wèn)題,相關(guān)關(guān)系的描述與測(cè)度,(,散點(diǎn)圖,),相關(guān)關(guān)系的描述與測(cè)度(散點(diǎn)圖),散點(diǎn)圖,(scatter diagram),?,?,?,?,?,?,?,?,?,?,?,?,不相關(guān),?,?,?,?,?,?,?,?,?,負(fù)線性相關(guān),?,?,?,?,?,?,?,?,?,正線性相關(guān),?,?,?,?,?,?,?,?,?,,?,?,?,非線性相關(guān),?,?,?,?,?,?,?,完全負(fù)線性相關(guān),完全正線性相關(guān),?,?,?,?,?,?,?,?,?,散點(diǎn)圖(scatter diagram)?????????,散點(diǎn)圖,(,例題分析,),【,例,】,一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，其業(yè)務(wù)主

7、要是進(jìn)行基礎(chǔ)設(shè)施建設(shè)、國(guó)家重點(diǎn)項(xiàng)目建設(shè)、固定資產(chǎn)投資等項(xiàng)目的貸款。近年來(lái)，該銀行的貸款額平穩(wěn)增長(zhǎng)，但不良貸款額也有較大比例的增長(zhǎng)，這給銀行業(yè)務(wù)的發(fā)展帶來(lái)較大壓力。為弄清楚不良貸款形成的原因，管理者希望利用銀行業(yè)務(wù)的有關(guān)數(shù)據(jù)做些定量分析，以便找出控制不良貸款的辦法。下面是該銀行所屬的,25,家分行,2019,年的有關(guān)業(yè)務(wù)數(shù)據(jù),散點(diǎn)圖(例題分析)【例】一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行,散點(diǎn)圖,(,例題分析,),散點(diǎn)圖(例題分析),散點(diǎn)圖,(,不良貸款對(duì)其他變量的散點(diǎn)圖,),散點(diǎn)圖(不良貸款對(duì)其他變量的散點(diǎn)圖),相關(guān)關(guān)系的描述與測(cè)度,(,相關(guān)系數(shù),),相關(guān)關(guān)系的描述與測(cè)度(相關(guān)系數(shù)),相關(guān)

8、系數(shù),(correlation coefficient),度量變量之間關(guān)系強(qiáng)度的一個(gè)統(tǒng)計(jì)量,對(duì)兩個(gè)變量之間線性相關(guān)強(qiáng)度的度量稱為簡(jiǎn)單相關(guān)系數(shù),若相關(guān)系數(shù),是根據(jù)總體全部數(shù)據(jù)計(jì)算的，稱為總體相關(guān)系數(shù)，記為,?,若,是根據(jù)樣本數(shù)據(jù)計(jì)算的，則稱為樣本相關(guān)系數(shù)，簡(jiǎn)稱為相關(guān)系數(shù)，記為,r,也稱為線性相關(guān)系數(shù),(linear correlation coefficient),或稱為,Pearson,相關(guān)系數(shù),,(Pearson’s correlation coefficient),,相關(guān)系數(shù)(correlation coefficient),相關(guān)系數(shù),,(,計(jì)算公式,),?,,樣本相關(guān)系數(shù)的計(jì)算公式,或

9、化簡(jiǎn)為,相關(guān)系數(shù) (計(jì)算公式)? 樣本相關(guān)系數(shù)的計(jì)算公式或化簡(jiǎn)為,相關(guān)系數(shù)的性質(zhì),性質(zhì),1,：,r,,的取值范圍,是,[-1,1],,|,r,|=,1,，,為完全相關(guān),r,=,1,，為完全正相關(guān),r,=,-1,，為完全負(fù)正相關(guān),,r,= 0,，,不存在,線性,相關(guān),關(guān)系,,-1,?,r,<,0,，,為負(fù)相關(guān),0,<,r,?,1,，,為正相關(guān),|,r,|,越趨于,1,表示,關(guān)系越強(qiáng)；,|,r,|,越趨于,0,表示關(guān)系越弱,相關(guān)系數(shù)的性質(zhì)性質(zhì)1：r 的取值范圍是 [-1,1],相關(guān)系數(shù)的性質(zhì),性質(zhì),2,：,r,具有對(duì)稱性。即,x,與,y,之間的相關(guān)系數(shù)和,y,與,x,之間,的相關(guān)系數(shù)相等，即,r

10、,xy,=,r,yx,性質(zhì),3,：,r,數(shù)值大小與,x,和,y,原點(diǎn)及尺度無(wú)關(guān)，即改變,x,和,y,的,數(shù)據(jù)原點(diǎn)及計(jì)量尺度，并不改變,r,數(shù)值大小,性質(zhì),4,：,僅僅是,x,與,y,之間線性關(guān)系的一個(gè)度量，它不能用,于描述非線性關(guān)系。這意為著，,r,=0,只表示兩個(gè)變,量之間不存在線性相關(guān)關(guān)系，并不說(shuō)明變量之間沒(méi),有任何關(guān)系,性質(zhì),5,：,r,雖然是兩個(gè)變量之間線性關(guān)系的一個(gè)度量，卻不,一定意味著,x,與,y,一定有因果關(guān)系,相關(guān)系數(shù)的性質(zhì)性質(zhì)2：r具有對(duì)稱性。即x與y之間的相關(guān)系數(shù)和,相關(guān)系數(shù)的經(jīng)驗(yàn)解釋,,|,r,|,?,0.8,時(shí)，可視為兩個(gè)變量之間高度相關(guān),0.5,?,|,r,|,<0.

11、8,時(shí)，可視為中度相關(guān),0.3,?,|,r,|,<0.5,時(shí)，視為低度相關(guān),|,r,|,<0.3,時(shí)，說(shuō)明兩個(gè)變量之間的相關(guān)程度極弱，可視為不相關(guān),上述解釋必須建立在對(duì)相關(guān)系數(shù)的顯著性進(jìn)行檢驗(yàn)的基礎(chǔ)之上,相關(guān)系數(shù)的經(jīng)驗(yàn)解釋 |r|?0.8時(shí)，可視為兩個(gè)變量之間高度,相關(guān)系數(shù),(,例題分析,),?,用,Excel,計(jì)算相關(guān)系數(shù),相關(guān)系數(shù)(例題分析)?用Excel計(jì)算相關(guān)系數(shù),相關(guān)系數(shù)的顯著性檢驗(yàn),相關(guān)系數(shù)的顯著性檢驗(yàn),相關(guān)系數(shù)的顯著性檢驗(yàn),(,檢驗(yàn)的步驟,),1.,檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系,等價(jià)于對(duì)回歸系數(shù),b,1,的檢驗(yàn),采用,R.A.Fisher,提出的,t,檢驗(yàn),檢驗(yàn)的步驟為

12、,提出假設(shè)：,H,0,：,?,? ? ；,H,1,：,?,?,0,,計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：,,確定顯著性水平?，并作出決策,若?,t,?>,t,???,，拒絕,H,0,,若?,t,?<,t,???,，不拒絕,H,0,相關(guān)系數(shù)的顯著性檢驗(yàn)(檢驗(yàn)的步驟)1. 檢驗(yàn)兩個(gè)變量之間是,相關(guān)系數(shù)的顯著性檢驗(yàn),(,例題分析,),?,對(duì)不良貸款與貸款余額之間的相關(guān)系數(shù)進(jìn)行顯著性檢驗(yàn),(,?,?0.05,),提,出假設(shè)：,H,0,：,?,? ? ；,H,1,：,?,?,0,計(jì)算,檢驗(yàn)的統(tǒng)計(jì)量,3.,根據(jù),顯著性水平,?,＝,0.05,，查,t,分布表得,t,???,(,n,-2)=2.069,由于?,t,?=7.

13、5344>,t,???,(25-2)=2.069,，拒絕,H,0,，不良貸款與貸款余額之間存在著顯著的正線性相關(guān)關(guān)系,相關(guān)系數(shù)的顯著性檢驗(yàn)(例題分析)? 對(duì)不良貸款與貸款余額之,相關(guān)系數(shù)的顯著性檢驗(yàn),(,例題分析,),各相關(guān)系數(shù)檢驗(yàn)的統(tǒng)計(jì)量,相關(guān)系數(shù)的顯著性檢驗(yàn)(例題分析)各相關(guān)系數(shù)檢驗(yàn)的統(tǒng)計(jì)量,11.2,一元線性回歸,11.2.1,一元線性回歸模型,11.2.2,參數(shù)的最小二乘估計(jì),11.2.3,回歸直線的擬合優(yōu)度,11.2.4,顯著性檢驗(yàn),11.2 一元線性回歸11.2.1 一元線性回歸模型,回歸分析，分析什么？,,(Regression),從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)

14、學(xué)關(guān)系式,對(duì)這些關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著,利用所求的關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的取值來(lái)預(yù)測(cè)或控制另一個(gè)特定變量的取值，并給出這種預(yù)測(cè)或控制的精確程度,回歸分析，分析什么？(Regression)從一組樣本數(shù)據(jù),回歸分析與相關(guān)分析的區(qū)別,相關(guān),分析中，變量,x,,變量,y,處于平等的地位；回歸分析中，變量,y,稱為因變量，處在被解釋的地位，,x,稱為自變量，用于預(yù)測(cè)因變量的變化,相,關(guān)分析中所涉及的變量,x,和,y,都是隨機(jī)變量；回歸分析中，因變量,y,是隨機(jī)變量，自變量,x,,是非隨機(jī)的確定變量,相,關(guān)分析主要是描述

15、兩個(gè)變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量,x,對(duì)變量,y,的影響大小，還可以由回歸方程進(jìn)行預(yù)測(cè)和控制,回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量 x 變量 y 處于,回歸模型的類型,回歸模型的類型,一元線性回歸模型,一元線性回歸模型,一元線性回歸,涉及一個(gè)自變量的回歸,因,變量,y,與自變量,x,之間為線性關(guān)系,被預(yù)測(cè)或被解釋的變量稱為因變量,(dependent variable),，用,y,表示,用來(lái)預(yù)測(cè)或用來(lái)解釋因變量的一個(gè)或多個(gè)變量稱為自變量,(independent variable),，用,x,表示,因變量與自變量之間的關(guān)系用,一個(gè)線性方程來(lái)表示,一元線性回歸涉及一個(gè)

16、自變量的回歸,回歸模型,(regression model),回答“變量之間是什么樣的關(guān)系？”,方程中運(yùn)用,1,個(gè)數(shù)值型因變量,(,響應(yīng)變量,),被預(yù)測(cè)的變量,1,個(gè)或多個(gè)數(shù)值型或分類型自變量,(,解釋變量,),用于預(yù)測(cè)的變量,回歸模型(regression model)回答“變量之間,一元線性回歸模型,描述因變量,y,如何依賴于自變量,x,和,誤差項(xiàng),?,,的方程稱為,回歸模型,一元線性,回歸模型可表示為,,y,=,b,0,+,b,1,x,+,e,y,是,x,的線性函數(shù),(,部分,),加上誤差項(xiàng),線性部分反映了由于,x,的變化而引起的,y,的變化,誤差項(xiàng),?,,是隨機(jī)變量,反映了除,x,和

17、,y,之間的線性關(guān)系之外的隨機(jī)因素對(duì),y,的影響,是不能由,x,和,y,之間的線性關(guān)系所解釋的變異性,?,0,和,?,1,稱為模型的參數(shù),一元線性回歸模型描述因變量 y 如何依賴于自變量 x 和誤差,一元線性回歸模型,(,基本假定,),因變量,x,與自變量,y,之間具有線性關(guān)系,在重復(fù)抽樣中，自變量,x,的取值是固定的，即假定,x,是非隨機(jī)的,誤差,項(xiàng),ε,是一個(gè)期望值為,0,的隨機(jī)變量，即,E,(,ε,)=0,。對(duì)于一個(gè)給定的,x,值，,y,的期望值為,E,(,y,) =,?,0,+,?,,1,x,對(duì),于所有的,x,值，,ε,的方差,σ,2,都相同,誤差,項(xiàng),ε,是一個(gè)服從正態(tài)分布的隨機(jī)變量

18、，且相互獨(dú)立。即,ε,~,N,(0 ,,σ,2,),獨(dú)立性意味著對(duì)于一個(gè)特定的,x,值，它所對(duì)應(yīng)的,ε,與其他,x,值所對(duì)應(yīng)的,ε,不相關(guān),一元線性回歸模型(基本假定) 因變量x與自變量y之間具有線,回歸方程,(regression equation),描,述,y,的平均值或期望值如何依賴于,x,的方程稱為,回歸方程,一元,線性回歸方程的形式如下,,E,(,y,) =,?,0,+,?,1,x,方程的圖示是一條直線，也稱為直線回歸方程,?,0,是回歸直線在,y,軸上的截距，是當(dāng),x,=0,時(shí),y,的期望值,?,1,是直線的斜率，稱為回歸系數(shù)，表示當(dāng),x,每變動(dòng)一個(gè)單位時(shí)，,y,的平均變動(dòng)值,回

19、歸方程 (regression equation)描述,估計(jì)的回歸方程,(estimated regression equation),一元線性回歸中估計(jì)的回歸方程為,用,樣本統(tǒng)計(jì)量 和 代替回歸方程中的未知參數(shù) 和 ，就得到了,估計(jì)的回歸方程,總體,回歸參數(shù) 和,,是未知的，必須利用樣本數(shù)據(jù)去估計(jì),其中： 是估計(jì)的回歸直線在,y,,軸上的截距， 是直線的斜率，它表示對(duì)于一個(gè)給定的,x,,的值， 是,y,,的估計(jì)值，也表示,x,,每變動(dòng)一個(gè)單位時(shí)，,y,的平均變動(dòng)值,,估計(jì)的回歸方程(estimated regression,參數(shù)的最小二乘估計(jì),參數(shù)的

20、最小二乘估計(jì),x,y,(,x,n,,,y,n,),(,x,1,,,y,1,),?,?,?,?,?,?,?,?,?,(,x,2,,,y,2,),(,x,i,,,y,i,),,xy(xn , yn)(x1 , y1)?????????(,最小二乘估計(jì),(method of least squares ),德國(guó)科學(xué)家,Karl Gauss(1777,—,1855),提出用最小化圖中垂直方向的誤差平方和來(lái)估計(jì)參數(shù),,使因變量的觀察值與估計(jì)值之間的誤差平方和達(dá)到最小來(lái)求得 和 的方法。即,用最小二乘法擬合的直線來(lái)代表,x,與,y,之間,的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小,最小二乘估計(jì)

21、(method of least square,Karl Gauss,的最小化圖,x,y,(,x,n,,,y,n,),(,x,1,,,y,1,),?,?,?,?,?,?,?,?,?,(,x,2,,,y,2,),(,x,i,,,y,i,),e,i,=,y,i,-,y,i,＾,,Karl Gauss的最小化圖xy(xn , yn)(x1,最小二乘法,(,,和 的計(jì)算公式,),?,,根據(jù)最小二乘法，可得求解,和 的公式如下,最小二乘法 ( 和 的計(jì)算公式)? 根據(jù)最小二,估計(jì)方程的求法,(,例題分析,),【,例,】,求不良貸款對(duì)貸款余額的回歸方程,回歸方程為：,y =,-,

22、0.8295,,+,0.037895,,x,回歸系數(shù),=0.037895,表示，貸款余額每增加,1,億元，不良貸款平均增加,0.037895,億元,,^,估計(jì)方程的求法(例題分析)【例】求不良貸款對(duì)貸款余額的回歸,估計(jì)方程的求法,(,例題分析,),不良貸款對(duì)貸款余額回歸方程的圖示,估計(jì)方程的求法(例題分析)不良貸款對(duì)貸款余額回歸方程的圖示,用,Excel,進(jìn)行回歸分析,第,1,步：,選擇,【,工具,】,下拉菜單,第,2,步：,選擇,【,數(shù)據(jù)分析,】,選項(xiàng),第,3,步：,在分析工具中選擇,【,回歸,】,，選擇,【,確定,】,第,4,步：,當(dāng)對(duì)話框出現(xiàn)時(shí),,在,【,Y,值輸入?yún)^(qū)域,】,設(shè)置框內(nèi)

23、鍵入,Y,的數(shù)據(jù)區(qū)域,在,【,X,值輸入?yún)^(qū)域,】,設(shè)置框內(nèi)鍵入,X,的數(shù)據(jù)區(qū)域,在,【,置信度,】,選項(xiàng)中給出所需的數(shù)值,在,【,輸出選項(xiàng),】,中選擇輸出區(qū)域,在,【,殘差,】,分析選項(xiàng)中選擇所需的選項(xiàng),用Excel進(jìn)行回歸分析第1步：選擇【工具】下拉菜單,回歸直線的擬合優(yōu)度,回歸直線的擬合優(yōu)度,擬合優(yōu)度,回歸直線與各觀測(cè)點(diǎn)的接近程度稱為回歸直線對(duì)數(shù)據(jù)的擬合優(yōu)度。判定系數(shù)是對(duì)估計(jì)的回歸方程擬合優(yōu)度的度量，,為了說(shuō)明它的含義，需要對(duì)因變量,y,取值的變差進(jìn)行研究。,擬合優(yōu)度 回歸直線與各觀測(cè)點(diǎn)的接近程度,變差,因變量,,y,的取值是不同的，,y,取值的這種波動(dòng)稱為,變差,。

24、變差來(lái)源于兩個(gè)方面,由于自變量,x,的取值不同造成的,除,x,以外的其他因素,(,如,x,對(duì),y,的非線性影響、測(cè)量誤差等,),的影響,對(duì)一個(gè),具體的觀測(cè)值來(lái)說(shuō)，變差的大小可以通過(guò)該實(shí)際觀測(cè)值與其均值之差 來(lái)表示,變差因變量 y 的取值是不同的，y 取值的這種波動(dòng)稱為變差。,誤差的分解,(,圖示,),x,y,,y,?,誤差的分解(圖示) xyy?,誤差平方和的分解,(,三個(gè)平方和的關(guān)系,),SST,=,SSR,+,SSE,總平方和,(,SST,),{,回歸平方和,(,SSR,),殘差平方和,(,SSE,),{,{,誤差平方和的分解 (三個(gè)平方和的關(guān)系) SST = SSR,誤差

25、平方和的分解,(,三個(gè)平方和的意義,),總平方和,(,SST—,total sum of squares),反映因變量的,n,個(gè)觀察值與其均值的總誤差,回歸平方和,(,SSR,—sum of squares of regression),反映自變量,x,的變化對(duì)因變量,y,取值變化的影響，或者說(shuō)，是由于,x,與,y,之間的線性關(guān)系引起的,y,的取值變化，也稱為可解釋的平方和,殘差平方和,(,SSE,—,sum of squares of error),反映除,x,以外的其他因素對(duì),y,取值的影響，也稱為不可解釋的平方和或剩余平方和,誤差平方和的分解 (三個(gè)平方和的意義)總平方和(SST—t,

26、判定系數(shù),R,2,,(,coefficient of determination,),回歸平方和,占總誤差平方和的比例,,,反映回歸直線的擬合程度,取值范圍在,[ 0 , 1 ],之間,,R,2,?,1,，說(shuō)明回歸方程擬合的越好；,R,2,?,0,，說(shuō)明回歸方程擬合的越差,判定,系數(shù)等于相關(guān)系數(shù)的平方，即,R,2,＝,r,2,判定系數(shù)R2  (coefficient of deter,判定系數(shù),(,例題分析,),【,例,】,計(jì)算不良貸款對(duì)貸款余額回歸的判定系數(shù)，并解釋其意義,,,,,判定系數(shù)的實(shí)際意義是：,在不良貸款取值的變差中，有,71.16%,可以由不良貸款與貸款余額之間的線性關(guān)系來(lái)解釋

27、，或者說(shuō)，在不良貸款取值的變動(dòng)中，有,71.16%,是由貸款余額所決定的。也就是說(shuō)，不良貸款取值的差異有,2/3,以上是由貸款余額決定的。可見不良貸款與貸款余額之間有較強(qiáng)的線性關(guān)系,判定系數(shù)  (例題分析)【例】計(jì)算不良貸款對(duì)貸款余額回歸的,估計(jì)標(biāo)準(zhǔn)誤差,(standard error of estimate),實(shí)際觀察值與回歸估計(jì)值誤差平方和的均方根,反映實(shí)際觀察值在回歸直線周圍的分散狀況,反,映用估計(jì)的回歸方程預(yù)測(cè),y,時(shí)預(yù)測(cè)誤差的大小,,計(jì)算公式為,注：例題的計(jì)算結(jié)果為,1.9799,估計(jì)標(biāo)準(zhǔn)誤差(standard error of esti,估計(jì)標(biāo)準(zhǔn)誤差的自由度,估計(jì)標(biāo)準(zhǔn)誤差的是殘

28、差平方和,SSE,除以它的自由度后的平方根,殘差平方和,SSE,的自由度之所以是,n,-2,，原因是在計(jì)算,SSE,時(shí)，必須先求出 和 ，這兩個(gè)估計(jì)值就是附加給,SSE,的兩個(gè)約束條件，因此在計(jì)算,SSE,時(shí)，只有,n,-2,個(gè)獨(dú)立的觀測(cè)值，而不是,n,個(gè),一般而言，在有,k,個(gè)自變量的多元回歸中，自由度則為,n,-,k,一般的規(guī)律是：,自由度,=,n,-,待估參數(shù)的個(gè)數(shù),估計(jì)標(biāo)準(zhǔn)誤差的自由度估計(jì)標(biāo)準(zhǔn)誤差的是殘差平方和SSE除以它的,顯著性檢驗(yàn),顯著性檢驗(yàn),,回歸分析中的顯著性檢驗(yàn)主要包括兩個(gè)方,面的內(nèi)容：,一是線性關(guān)系檢驗(yàn)；,二是回歸系數(shù)檢驗(yàn),回歸分析中的顯著性檢驗(yàn)主要包括兩個(gè)方,線

29、性關(guān)系的檢驗(yàn),檢驗(yàn)自變量與因變量之間的線性關(guān)系是否顯著,將回歸均方,(,MSR,),同殘差均方,(,MSE,),加以比較，應(yīng)用,F,檢驗(yàn)來(lái)分析二者之間的差別是否顯著,回歸均方：回歸平方和,SSR,除以相應(yīng)的自由度,(,自變量的個(gè)數(shù),k,),殘差均方：殘差平方和,SSE,除以相應(yīng)的自由度,(,n,-,k,-1),線性關(guān)系的檢驗(yàn)檢驗(yàn)自變量與因變量之間的線性關(guān)系是否顯著,線性關(guān)系的檢驗(yàn),(,檢驗(yàn)的步驟,),提出,假設(shè),H,0,：,?,1,=0,線性關(guān)系不顯著,,2.,計(jì)算,檢驗(yàn)統(tǒng)計(jì)量,F,確定,顯著性水平,?,，并根據(jù)分子自由度,1,和分母自由度,n,-2,找出,臨界值,F,,?,作,出決策：若,F

30、,>,F,,?,,,拒絕,H,0,；,若,F,<,F,,?,,,不拒絕,H,0,線性關(guān)系的檢驗(yàn) (檢驗(yàn)的步驟) 提出假設(shè)2. 計(jì)算檢驗(yàn),線性關(guān)系的檢驗(yàn),(,例題分析,),提出,假設(shè),H,0,：,?,1,=0,不良貸款與貸款余額之間的線性關(guān)系不顯著,計(jì)算,檢驗(yàn)統(tǒng)計(jì)量,F,確定,顯著性水平,?,=0.05,，并根據(jù)分子自由度,1,和分母自由度,25-2,找出,臨界值,F,,?,=,4.28,作,出決策：若,F,>,F,?,,,拒絕,H,0,，線性關(guān)系顯著,線性關(guān)系的檢驗(yàn) (例題分析) 提出假設(shè)確定顯著性水平?=0,線性關(guān)系的檢驗(yàn),(,方差分析表,),Excel,輸出的方差分析表,線性關(guān)系的

31、檢驗(yàn) (方差分析表) Excel 輸出的方差分析,回歸系數(shù)的檢驗(yàn),2,、在一元線性回歸中，等價(jià)于線性關(guān)系的顯著性檢驗(yàn),采用,t,檢驗(yàn),1,、檢驗(yàn),x,與,y,之間是否具有線性關(guān)系，或者說(shuō)，檢驗(yàn)自變量,x,對(duì)因變量,y,的影響是否顯著,回歸系數(shù)的檢驗(yàn)2、在一元線性回歸中，等價(jià)于線性關(guān)系的顯著性檢,回歸系數(shù)的檢驗(yàn),(,檢驗(yàn)步驟,),提出假設(shè),H,0,:,b,1,= 0 (,沒(méi)有線性關(guān)系,),H,1,:,b,1,,?,0 (,有線性關(guān)系,),計(jì)算檢驗(yàn)的統(tǒng)計(jì)量,,確定顯著性水平,?,，并進(jìn)行決策,?,t,?>,t,???,，拒絕,H,0,；?,t,?<,t,???,，不拒絕,H,0,回歸系數(shù)的檢驗(yàn)

32、 (檢驗(yàn)步驟) 提出假設(shè) 確定顯著性水平?，,回歸系數(shù)的檢驗(yàn),(,例題分析,),?,對(duì)例題的回歸系數(shù)進(jìn)行顯著性檢驗(yàn),(,?,＝,0.05,),提出假設(shè),H,0,：,b,1,= 0,H,1,：,b,1,,?,0,計(jì)算檢驗(yàn)的統(tǒng)計(jì)量,,t,=7.533515>,t,???,=2.201,，拒絕,H,0,，表明,不良貸款與貸款余額之間有顯著的線性關(guān)系,回歸系數(shù)的檢驗(yàn) (例題分析)?對(duì)例題的回歸系數(shù)進(jìn)行顯著性檢,回歸系數(shù)的檢驗(yàn),(,例題分析,),?,P,值的應(yīng)用,P,=0.000000<,?,=0.05,，拒絕原假設(shè)，,不良貸款與貸,款余額之間有顯著的線性關(guān)系,回歸系數(shù)的檢驗(yàn) (例題分析)?P 值的

33、應(yīng)用P=0.0000,回歸分析結(jié)果的評(píng)價(jià),建立的模型是否合適？或者說(shuō)，這個(gè)擬合的模型有多,“,好,”,？要回答這些問(wèn)題，可以從以下幾個(gè)方面入手,所估計(jì)的回歸系數(shù),,的符號(hào)是否與理論或事先預(yù)期相一致,在不良貸款與貸款余額的回歸中，可以預(yù)期貸款余額越多，不良貸款也可能會(huì)越多，也就是說(shuō)，回歸系數(shù)的值應(yīng)該是正的，在上面建立的回歸方程中，我們得到的回歸系數(shù) 為正值，,如果理論上認(rèn)為,x,與,y,之間的關(guān)系不僅是正的，而且是統(tǒng)計(jì)上顯著的，那么所建立的回歸方程也應(yīng)該如此,在不良貸款與貸款余額的回歸中，二者之間為正的線性關(guān)系，而且，對(duì)回歸系數(shù)的,t,檢驗(yàn)結(jié)果表明而這之間的

34、線性關(guān)系是統(tǒng)計(jì)上顯著的,回歸分析結(jié)果的評(píng)價(jià)建立的模型是否合適？或者說(shuō)，這個(gè)擬合的模型,回歸模型在多大程度上解釋了因變量,y,取值的差異？可以用判定系數(shù),R,2,來(lái)回答這一問(wèn)題,在不良貸款與貸款余額的回歸中，得到的,R,2,=71.16%,，解釋了不良貸款變差的,2/3,以上，說(shuō)明擬合的效果還算不錯(cuò),考察關(guān)于誤差項(xiàng),?,的正態(tài)性假定是否成立。因?yàn)槲覀冊(cè)趯?duì)線性關(guān)系進(jìn)行,F,檢驗(yàn)和回歸系數(shù)進(jìn)行,t,檢驗(yàn)時(shí)，都要求誤差項(xiàng),?,服從正態(tài)分布，否則，我們所用的檢驗(yàn)程序?qū)⑹菬o(wú)效的。,?,正態(tài)性的簡(jiǎn)單方法是畫出殘差的直方圖或正態(tài)概率圖,回歸分析結(jié)果的評(píng)價(jià),回歸模型在多大程度上解釋了因變量y取值的差異？可以用判

35、定系數(shù),Excel,輸出的部分回歸結(jié)果,名稱,計(jì)算公式,Adjusted R Square,,Intercept,的抽樣標(biāo)準(zhǔn)誤差,,Intercept95%,的置信區(qū)間,,斜率,95%,的置信區(qū)間,,Excel輸出的部分回歸結(jié)果名稱計(jì)算公式Adjusted R,11.3,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè),11.3.1,點(diǎn)估計(jì),11.3.2,區(qū)間估計(jì),11.3 利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)11.3.1 點(diǎn)估,利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè),根據(jù)自變量,x,,的取值估計(jì)或預(yù)測(cè)因變量,y,的取值,估計(jì)或預(yù)測(cè)的類型,點(diǎn)估計(jì),y,的平均值的點(diǎn)估計(jì),y,的個(gè)別值的點(diǎn)估計(jì),區(qū)間估計(jì),y,的平均值的,置信區(qū)間,估計(jì)

36、,y,的個(gè)別值的,預(yù)測(cè)區(qū)間,估計(jì),利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)根據(jù)自變量 x 的取值估計(jì)或預(yù)測(cè)因,點(diǎn)估計(jì),點(diǎn)估計(jì),點(diǎn)估計(jì),2.,點(diǎn)估計(jì)值有,y,的,平均值,的點(diǎn)估計(jì),y,的,個(gè)別值,的點(diǎn)估計(jì),在點(diǎn)估計(jì)條件下，平均值的點(diǎn)估計(jì)和個(gè)別值的的點(diǎn)估計(jì)是一樣的，但在區(qū)間估計(jì)中則不同,對(duì)于,自變量,x,的一個(gè)給定值,x,0,,，根據(jù)回歸方程得到因變量,y,的一個(gè)估計(jì)值,點(diǎn)估計(jì)2. 點(diǎn)估計(jì)值有對(duì)于自變量 x 的一個(gè)給定值x0 ，根,,y,的平均值的點(diǎn)估計(jì),?,利用估計(jì),的回歸方程，對(duì)于自變量,x,的一個(gè)給定值,x,0,,，求出因變量,y,,的平均值的一個(gè)估計(jì)值,E,(,y,0,),，就是平均值的點(diǎn)估計(jì),在前面的

37、例子中，假如我們要估計(jì)貸款余額為,100,億元時(shí)，所有分行不良貸款的平均值，就是平均值的點(diǎn)估計(jì) 。根據(jù)估計(jì)的回歸方程得,y 的平均值的點(diǎn)估計(jì)?利用估計(jì)的回歸方程，對(duì)于自變量 x,y,的個(gè)別值的點(diǎn)估計(jì),?,利用估計(jì)的回歸方程，對(duì)于自變量,x,的一個(gè)給定值,x,0,,，求出因變量,y,,的一個(gè)個(gè)別值的估計(jì)值 ，就是個(gè)別值的點(diǎn)估計(jì),例如，如果我們只是想知道貸款余額為,72.8,億元的那個(gè)分行,(,這里是編號(hào)為,10,的那個(gè)分行,),的不良貸款是多少，則屬于個(gè)別值的點(diǎn)估計(jì) 。根據(jù)估計(jì)的回歸方程得,y 的個(gè)別值的點(diǎn)估計(jì)?利用估計(jì)的回歸方程，對(duì)于自變量 x 的,區(qū)間估計(jì),區(qū)間估計(jì),區(qū)間估計(jì),點(diǎn)估計(jì)不

38、能給出估計(jì)的精度，點(diǎn)估計(jì)值與實(shí)際值之間是有誤差的，因此需要進(jìn)行區(qū)間估計(jì),對(duì)于自變量,,x,的一個(gè)給定值,x,0,，根據(jù)回歸方程得到因變量,y,的一個(gè)估計(jì)區(qū)間,區(qū)間估計(jì)有兩種類型,置信區(qū)間估計(jì),(,confidence interval estimate,),預(yù)測(cè)區(qū)間估計(jì),(prediction,interval estimate,),區(qū)間估計(jì)點(diǎn)估計(jì)不能給出估計(jì)的精度，點(diǎn)估計(jì)值與實(shí)際值之間是有誤,置信區(qū)間估計(jì),利用,估計(jì)的回歸方程，對(duì)于自變量,x,的一個(gè)給定值,x,0,,，求出因變量,y,,的平均值的估計(jì)區(qū)間 ，這一估計(jì)區(qū)間稱為,置信區(qū)間,(,confidence interval,),,E,(

39、,y,0,),,在,1-,?,置信,水平下的置信區(qū)間為,式中：,s,e,為估計(jì)標(biāo)準(zhǔn)誤差,置信區(qū)間估計(jì)利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值,置信區(qū)間估計(jì),(,例題分析,),,【,例,】,求出貸款余額為,100,億元時(shí)，不良貸款,95%,置信水平下的置信區(qū)間,,解：,根據(jù)前面的計(jì)算結(jié)果，已知,n,=25,，,,s,e,=,1.9799,，,t,?,??,(25-2)=2.069,,置信區(qū)間為,當(dāng)貸款余額為,100,億元時(shí)，不良貸款的平均值在,2.1141,億元到,3.8059,億元之間,置信區(qū)間估計(jì)(例題分析) 【例】求出貸款余額為100億元,預(yù)測(cè)區(qū)間估計(jì),利用估計(jì),的回歸方程，對(duì)

40、于自變量,x,的一個(gè)給定值,x,0,,，求出因變量,y,,的一個(gè)個(gè)別值的估計(jì)區(qū)間，這一區(qū)間稱為,預(yù)測(cè)區(qū)間,(prediction,interval,),,,y,0,在,1-,?,置信水平下的預(yù)測(cè)區(qū)間為,,,注意！,預(yù)測(cè)區(qū)間估計(jì)利用估計(jì)的回歸方程，對(duì)于自變量 x 的一個(gè)給定值,預(yù)測(cè)區(qū)間估計(jì),(,例題分析,),【,例,】,求出貸款余額為,72.8,億元的那個(gè)分行，不良貸款,95%,的預(yù)測(cè)區(qū)間,,解：,根據(jù)前面的計(jì)算結(jié)果，已知,n,=25,，,,s,e,=,1.9799,，,t,?,??,(25-2)=2.069,,預(yù)測(cè)區(qū)間為,貸款余額為,72.8,億元的那個(gè)分行，其不良貸款的預(yù)測(cè)區(qū)間在,-2.27

41、66,億元到,6.1366,億元之間,預(yù)測(cè)區(qū)間估計(jì)(例題分析)【例】求出貸款余額為72.8億元的,11.4,殘差分析,11.4.1,殘差與殘差圖,11.4.2,標(biāo)準(zhǔn)化,11.4 殘差分析11.4.1 殘差與殘差圖,殘差與殘差圖,殘差與殘差圖,殘差,(residual),因變量的觀測(cè)值與根據(jù)估計(jì)的回歸方程求出的預(yù)測(cè)值之差，用,e,表示,,反映了用估計(jì)的回歸方程去預(yù)測(cè)而引起的誤差,可用于確定有關(guān)誤差項(xiàng),?,的假定是否成立,用于檢測(cè)有影響的觀測(cè)值,殘差(residual)因變量的觀測(cè)值與根據(jù)估計(jì)的回歸方程,殘差圖,(residual plot),表示殘差的圖形,關(guān)于,x,的殘差圖,關(guān)于,

42、y,的殘差圖,標(biāo)準(zhǔn)化殘差圖,用于判斷誤差,?,的假定是否成立,檢測(cè)有影響的觀測(cè)值,殘差圖(residual plot)表示殘差的圖形,殘差與標(biāo)準(zhǔn)化殘差圖,(,例題分析,),殘差與標(biāo)準(zhǔn)化殘差圖(例題分析),殘差圖,(,形態(tài)及判別,),?,?,?,?,?,?,?,?,?,?,(a),滿意模式,?,?,?,?,?,?,?,?,?,?,?,殘差,x,?,0,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,(b),非常數(shù)方差,?,?,?,?,?,?,?,?,?,殘差,x,?,0,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,(c),模型不合適,?,?,?,?

43、,?,?,?,?,?,,殘差,x,?,0,?,,?,殘差圖(形態(tài)及判別)??????????(a)滿意模式??,殘差圖,(,例題分析,),殘差圖(例題分析),標(biāo)準(zhǔn)化殘差,標(biāo)準(zhǔn)化殘差,標(biāo)準(zhǔn)化殘差,(,standardized residual,),殘差除以它的標(biāo)準(zhǔn)差,也稱為,Pearson,殘差或半學(xué)生化殘差,(semi-studentized residuals),計(jì)算公式為,注意：,Excel,給出的標(biāo)準(zhǔn)殘差的計(jì)算公式為,,,,這實(shí)際上是,學(xué)生化刪除殘差,(studentized deleted residuals),標(biāo)準(zhǔn)化殘差(standardized residual)殘,標(biāo)準(zhǔn)化殘差圖,?,用以直觀地判斷誤差項(xiàng)服從正態(tài)分布這一假定是否成立,若假定成立，標(biāo)準(zhǔn)化殘差的分布也應(yīng)服從正態(tài)分布,在標(biāo)準(zhǔn)化殘差圖中，大約有,95%,的標(biāo)準(zhǔn)化殘差在,-2,到,+2,之間,標(biāo)準(zhǔn)化殘差圖? 用以直觀地判斷誤差項(xiàng)服從正態(tài)分布這一假定是否,標(biāo)準(zhǔn)化殘差圖,(,例題分析,),標(biāo)準(zhǔn)化殘差圖(例題分析),本章小結(jié),變量間關(guān)系的度量,回歸模型、回歸方程與估計(jì)的回歸方程,回歸直線的擬合優(yōu)度,回歸分析中的顯著性檢驗(yàn),估計(jì)和預(yù)測(cè),用,Excel,進(jìn)行回歸分析,本章小結(jié)變量間關(guān)系的度量,結(jié) 束,THANKS,結(jié) 束THANKS,