《偏最小二乘法》PPT課件.ppt

《《偏最小二乘法》PPT課件.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《《偏最小二乘法》PPT課件.ppt（23頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

第十一章偏最小二乘法,偏最小二乘回歸是一種新型的多元統(tǒng)計(jì)數(shù)據(jù)分析方法，它與1983年由伍德和阿巴諾等人首次提出。近十年來，它在理論、方法和應(yīng)用方面都得到了迅速的發(fā)展。密西根大學(xué)的弗耐爾教授稱偏最小二乘回歸為第二代回歸分析方法。偏最小二乘回歸方法在統(tǒng)計(jì)應(yīng)用中的重要性主要的有以下幾個(gè)方面：（1）偏最小二乘回歸是一種多因變量對(duì)多自變量的回歸建模方法。（2）偏最小二乘回歸可以較好地解決許多以往用普通多元回歸無法解決的問題。,在普通多元線形回歸的應(yīng)用中，我們常受到許多限制。最典型的問題就是自變量之間的多重共線性。如果采用普通的最小二乘方法，這種變量多重相關(guān)性就會(huì)嚴(yán)重危害參數(shù)估計(jì)，擴(kuò)大模型誤差，并破壞模型的穩(wěn)定性。變量多重相關(guān)問題十分復(fù)雜，長期以來在理論和方法上都未給出滿意的答案，這一直困擾著從事實(shí)際系統(tǒng)分析的工作人員。偏最小二乘回歸中開辟了一種有效的技術(shù)途徑，它利用對(duì)系統(tǒng)中的數(shù)據(jù)信息進(jìn)行分解和篩選的方式，提取對(duì)因變量的解釋性最強(qiáng)的綜合變量，辨識(shí)系統(tǒng)中的信息與噪聲，從而更好地克服變量多重相關(guān)性在系統(tǒng)建模中的不良作用。,（3）偏最小二乘回歸之所以被稱為第二代回歸方法，還由于它可以實(shí)現(xiàn)多種數(shù)據(jù)分析方法的綜合應(yīng)用。,偏最小二乘回歸=多元線性回歸分析+典型相關(guān)分析+主成分分析,由于偏最小二乘回歸在建模的同時(shí)實(shí)現(xiàn)了數(shù)據(jù)結(jié)構(gòu)的簡化，因此，可以在二維平面圖上對(duì)多維數(shù)據(jù)的特性進(jìn)行觀察，這使得偏最小二乘回歸分析的圖形功能十分強(qiáng)大。在一次偏最小二乘回歸分析計(jì)算后，不但可以得到多因變量對(duì)多自變量的回歸模型，而且可以在平面圖上直接觀察兩組變量之間的相關(guān)關(guān)系，以及觀察樣本點(diǎn)間的相似性結(jié)構(gòu)。這種高維數(shù)據(jù)多個(gè)層面的可視見性，可以使數(shù)據(jù)系統(tǒng)的分析內(nèi)容更加豐富，同時(shí)又可以對(duì)所建立的回歸模型給予許多更詳細(xì)深入的實(shí)際解釋。,一、偏最小二乘回歸的建模原理和方法,（一）建模原理設(shè)有q個(gè)因變量{y1,y2,…,yq}和p個(gè)自變量{x1,x2,…,xp}。為了討論兩組變量之間的關(guān)系，觀測了n個(gè)樣本點(diǎn)。偏最小二乘回歸開始與典型相關(guān)分析相同，分別在X與Y中提取出主成分。設(shè){t1,t2,…,tr}為{x1,x2,…,xp}的主成分，{u1,u2,…,ur}為{y1,y2,…,yq}，其中r=min（p，q）。,(1)t1和u1應(yīng)盡可能大地?cái)y帶他們各自數(shù)據(jù)表中的變異信息;(2)t1和u1的相關(guān)程度能夠達(dá)到最大。這兩個(gè)要求表明，t1和u1應(yīng)盡可能好的代表數(shù)據(jù)表X和Y,同時(shí)自變量的成分t1對(duì)因變量的成分u1又有最強(qiáng)的解釋能力。,在第一個(gè)成分t1和u1被提取后，偏最小二乘回歸分別實(shí)施X對(duì)t1的回歸以及Y對(duì)t1的回歸。如果回歸方程已經(jīng)達(dá)到滿意的精度，則算法終止；否則,將利用X被t1解釋后的殘余信息以及Y被t1解釋后的殘余信息進(jìn)行第二輪的成分提取。如此往復(fù)，直到能達(dá)到一個(gè)較滿意的精度為止。若最終對(duì)X共提取了m個(gè)成分{t1,t2,…,tr}，偏最小二乘將通過實(shí)施Y1，Y2，…，Yq對(duì){t1,t2,…,tr}的回歸，然后再表達(dá)成YK關(guān)于原變量X1，X2，…，Xp的回歸方程，其中k=1，2，…，q。,（二）計(jì)算方法推導(dǎo),首先將數(shù)據(jù)做標(biāo)準(zhǔn)化處理。設(shè)X組變量標(biāo)準(zhǔn)化的觀測值矩陣為,設(shè)Y組變量標(biāo)準(zhǔn)化的觀測值矩陣為,求X組變量的第一主成分t1，w1為第一主成分的系數(shù)向量，w1是一個(gè)單位向量。t1=X0w1求Y組變量的第一主成分t1，c1為第一主成分的系數(shù)向量，c1是一個(gè)單位向量。u1=Y0c1有Var(t1)=maxVar(u1)=max?(t1,u1)=max,因此綜合起來，在偏最小二乘回歸中，我們要求與的協(xié)方差達(dá)到最大，既,（1）求w1和c1,對(duì)Q分別求關(guān)于c1，w2，?1，?2和的偏導(dǎo)并令之為零，有,采用拉格朗日乘數(shù)法，討論有約束條件的極值問題。,可以推出,則,,記,可得,,可見,w1是矩陣的特征向量,對(duì)應(yīng)的特征值為。所以w1是對(duì)應(yīng)于矩陣最大特征值的單位特征向量。而另一方面,c1是對(duì)應(yīng)于矩陣最大特征值的單位特征向量c1。,注意這里t1和u1分別為n維向量，是n個(gè)個(gè)案在兩組變量的主成分的取值。,分別求X0和Y0對(duì)t1和u1的兩個(gè)回歸方程,,,,根據(jù)最小二乘估計(jì)的原理，則,稱?1為模型效應(yīng)載荷量。,2.建立回歸方程,3.用殘差代替X0和Y0的進(jìn)行以上的工作,在第二步工作中，由于第一對(duì)主成分并未將相關(guān)的信息提取完，所以需要再重復(fù)第一步工作，在殘差矩陣E0和F0中再提取第二對(duì)主成分。,分別求E1和F1對(duì)t2和u2的兩個(gè)回歸方程，即,,,,根據(jù)最小二乘估計(jì)的原理，則,進(jìn)而有,4.設(shè)n?p數(shù)據(jù)觀測矩陣的秩為r=min（n，p），則存在r個(gè)成分t1，t2，…，tr。使得,將（3）式代入（2）式，并合并同類項(xiàng),非標(biāo)準(zhǔn)化的偏最小二乘回歸方程為,5.抽取主成分個(gè)數(shù)l的確定,至于抽取幾個(gè)主成份進(jìn)行偏最小二乘模型，需要進(jìn)行進(jìn)一步的檢驗(yàn)。當(dāng)然一定小于r。我們首先定義殘差平方和其中i為第i個(gè)樣本點(diǎn)，j為第j個(gè)指標(biāo)，k為主成分的個(gè)數(shù)。通常情況下，選擇使殘差平方和最小的個(gè)數(shù)l。有四種方法。,（1）舍一交叉驗(yàn)證法,依次舍去第i（i=1，2，…，n）個(gè)樣本點(diǎn)，用余下的n-1個(gè)樣本點(diǎn)做偏最小二乘回歸模型，并預(yù)測相應(yīng)的，k為主成分的個(gè)數(shù)。,選擇使PRESS(k)最小的主成分的個(gè)數(shù)。,（2）分批交叉驗(yàn)證法,分批交叉驗(yàn)證法是每次留下q個(gè)觀測作為檢驗(yàn)數(shù)據(jù)，q=1是為“舍一交叉驗(yàn)證方法”。類似按預(yù)測殘差平方和達(dá)到最小的主成分個(gè)數(shù)。,（3）分裂樣本交叉驗(yàn)證法,與分批交叉驗(yàn)證法不同的是分裂樣本法所扣留的樣本不是連續(xù)的，而是燈具抽取的。例如第一次抽{1，11，…}，第二次抽{2，12，22，…}等等。然后再根據(jù)預(yù)測殘差平方和最小的原則，確定主成份的個(gè)數(shù)l。,（4）隨機(jī)樣本交叉驗(yàn)證,按隨機(jī)的原則來扣留樣本，再根據(jù)預(yù)測殘差平方和最小的原則，確定主成份的個(gè)數(shù)。,