回歸分析與協(xié)方差分析.ppt

回歸分析與協(xié)方差分析,內(nèi)容,,9.1一元線性回歸,學(xué)習(xí)目標(biāo),,散點圖,回歸系數(shù),正規(guī)方程,經(jīng)驗回歸方程；回歸平方和,剩余平方和,相關(guān)系數(shù),顯著性檢驗.,不確定關(guān)系,人的身高,體重,農(nóng)作物的單位面積產(chǎn)量,施肥量,9.1一元線性回歸,1.一元線性回歸的基本概念,線性模型,例為了研究彈簧懸掛不同重量(單位：克力)x時長度(單位：厘米)y的關(guān)系。通過試驗得到一組數(shù)據(jù)。,重量xi51015202530長度yj7.258.128.959.9010.9011.80,把這些數(shù)據(jù)點(xi,yj)畫在xoy坐標(biāo)系中，圖形稱為散點圖。,,,,*,*,*,*,*,*,L,散點圖,記L為,進行n次獨立試驗，測得數(shù)據(jù)如下：,我們的問題是，如何根據(jù)這些觀測值用“最佳的”形式來表達變量Y與X之間的相關(guān)關(guān)系？,一般而言，在變量x取值以后，若Y所取的值服從N(α+βx,σ2)分布，當(dāng)α、β及σ2未知時，根據(jù)樣本(x1,Y1),(x2,Y2),…,(xn,Yn)的觀測值(x1,y1),(x2,y2),…,(xn,yn)對未知參數(shù)α、β及σ2所作的估計與檢驗稱為一元線性回歸分析，而α稱為截距，β稱為回歸系數(shù)，E(Y)＝α+βx稱為回歸方程。,由回歸方程可以推出,根據(jù)樣本及其觀測值可以得到α、β及σ2的估計量及估計值,得到回歸方程的估計式或經(jīng)驗回歸方程,最常用的是最小二乘法，即求出,的值最小，所求出的a稱為經(jīng)驗截距，簡稱為截距，b稱為經(jīng)驗回歸系數(shù)，簡稱為回歸系數(shù)，而,2.總體中未知參數(shù)的估計,根據(jù)最小二乘法的要求由,得到一元線性回歸的正規(guī)方程組,并求出,建立一元線性回歸方程的具體步驟：,(3)計算b和a，寫出一元線性回歸方程。,與上述a和b相對應(yīng)的Q的數(shù)值又記作SSE，稱為剩余平方和。,將a、b和SSE以及和看作是統(tǒng)計量，它們的表達式分別為,這些統(tǒng)計量之間以及它們與總體參數(shù)之間有以下的內(nèi)在聯(lián)系：,①為提高a的估計精度，最理想的選擇是使＝0，其絕對值越小越好；,②為提高b的估計精度，應(yīng)該使lxx取較大的數(shù)值，x1、x2、…、xn越分散越好；③觀測值的個數(shù)n不能太小。,3.線性回歸方程的顯著性檢驗,因此，必須對回歸方程的擬合情況或效果作顯著性檢驗。,其理論基礎(chǔ)就是總平方和的分解，即,表示n個y1、y2、…、yn與之間的差異，當(dāng)各個yi已知時，它是一個定值，稱為總平方和，記作SST。,通過回歸已經(jīng)達到了最小值，稱為剩余平方和，記作SSE。,稱為回歸平方和，記作SSR。,因此，SST＝SSE+SSR。,如果SSR的數(shù)值較大，SSE的數(shù)值便比較小，說明回歸的效果好；如果SSR的數(shù)值較小，SSE的數(shù)值便比較大，說明回歸的效果差。,如果|r|較大，SSE的數(shù)值便比較小，說明回歸的效果好或者說x與Y的線性關(guān)系密切；如果|r|較小，SSE的數(shù)值便比較大，說明回歸的效果差或者說x與Y的線性關(guān)系不密切；因此稱r為x與Y的觀測值的相關(guān)系數(shù)。又由r及回歸系數(shù)的計算公式,可以推出：r>0時b>0，x增加時Y的觀測值呈增加的趨勢；r0時稱x與Y正相關(guān)，r<0時稱x與Y負相關(guān)。,綜上所述，如果設(shè)H0為β＝0，也就是假設(shè)x與Y不是線性關(guān)系，則可以用以下三種實質(zhì)相同的方法檢驗線性回歸方程的顯著性，且當(dāng)檢驗的結(jié)果顯著時x與Y的線性關(guān)系顯著，回歸方程可供應(yīng)用；當(dāng)檢驗的結(jié)果不顯著時x與Y的線性關(guān)系不顯著，回歸方程不可應(yīng)用。,⑴F檢驗法：,,當(dāng)H0為真時，,且SSR與SSE相互獨立；因此，當(dāng)H0為真時，,當(dāng)F≥F1-α(1,n-2)時應(yīng)該放棄原假設(shè)H0。,(2)t檢驗法：,當(dāng)H0為真時，,當(dāng)|t|≥t1-0.5α(n-2)時應(yīng)該放棄原假設(shè)H0。,(3)r檢驗法：,根據(jù)x與Y的觀測值的相關(guān)系數(shù),可以推出,當(dāng)H0為真時，,當(dāng)F≥F1-α(1,n-2)或|r|≥rα(n-2)時應(yīng)該放棄原假設(shè)H0，式中的,,可由r檢驗用表中查出。,因此，r常常用來表示x與Y的線性關(guān)系在x與Y的全部關(guān)系中所占的百分比，又稱為x與Y的觀測值的決定系數(shù)。,4.利用回歸方程進行點預(yù)測和區(qū)間預(yù)測,若線性回歸作顯著性檢驗的結(jié)果是放棄H0，也就是放棄回歸系數(shù)β＝0的假設(shè)，便可以利用回歸方程進行點預(yù)測和區(qū)間預(yù)測，這是人們關(guān)注線性回歸的主要原因之一。,⑴當(dāng)x＝x0時，,Y0的觀測值y0的點預(yù)測是無偏的。,⑵當(dāng)x＝x0時，用適合不等式P{Y0∈(G,H)}≥1-α的統(tǒng)計量G和H所確定的隨機區(qū)間(G,H)預(yù)測Y0的取值范圍稱為區(qū)間預(yù)測，而(G,H)稱為Y0的1-α預(yù)測區(qū)間。,若Y0與樣本中的各Yi相互獨立，則根據(jù)Z＝Y(jié)0-(a+bx0)服從正態(tài)分布，E(Z)＝0，,Z與SSE相互獨立，,可以導(dǎo)出,因此，Y0的1-α預(yù)測區(qū)間為a+bx0Δ(x0)，,例1.1《吸附方程》某種物質(zhì)在不同溫度下可以吸附另一種物質(zhì)，如果溫度x(單位：℃)與吸附重量Y(單位：mg)的觀測值如下表所示：,溫度x1.51.82.43.03.53.94.44.85.0,重量y4.85.77.08.310.912.413.113.615.3,試求線性回歸方程并用三種方法作顯著性檢驗，若x0＝2，求Y0的0.95預(yù)測區(qū)間。,解：根據(jù)上述觀測值得到n＝9，,所求的線性回歸方程為,顯著性檢驗方法⑴F檢驗法：SST＝lyy＝114.516，SSR＝blxy＝112.485，SSE＝SST-blxy＝2.031，n-2＝7，F(xiàn)0.99(1,7)＝12.2，,所以回歸方程極顯著；,⑵t檢驗法：,,所以回歸方程極顯著；,(3)r檢驗法：,所以回歸方程極顯著.,Y0的0.95預(yù)測區(qū)間為(4.09,8.15)。這說明當(dāng)溫度為2時，應(yīng)該預(yù)測吸附另一種物質(zhì)的重量在4.09至8.15之間，并且預(yù)測100次將有95次是正確的。,例1.2《植物保護》一些夏季害蟲的盛發(fā)期與春季溫度有關(guān)，現(xiàn)有1956-1964年間3月下旬至4月中旬旬平均溫度的累計數(shù)x和一代三化螟蛾盛發(fā)期Y(以5月10日為0)的觀測值如下：,溫度x35.534.131.740.336.840.231.739.244.2,盛發(fā)期y12169273139-1,試求線性回歸方程并用三種方法作顯著性檢驗，若x0＝40，求Y0的0.95預(yù)測區(qū)間。,解：根據(jù)上述觀測值得到n＝9，,所求的線性回歸方程為,顯著性檢驗方法⑴F檢驗法：SST＝lyy＝249.5556，SSR＝blxy＝174.8886，SSE＝SST-blxy＝74.6670，n-2＝7，F(xiàn)0.99(1,7)＝12.2，,所以回歸方程極顯著；,⑵t檢驗法：,所以回歸方程極顯著；,(3)r檢驗法：,所以回歸方程極顯著.,Y0的0.95預(yù)測區(qū)間為(-3.80,12.92)。,這說明當(dāng)3月下旬至4月中旬旬平均溫度的累計數(shù)為40時，應(yīng)該預(yù)測一代三化螟蛾盛發(fā)期為5月6日至5月23日之間，并且預(yù)測100次將有95次是正確的。,