數(shù)據(jù)挖掘與應(yīng)用(十三)課件

《數(shù)據(jù)挖掘與應(yīng)用(十三)課件》由會員分享，可在線閱讀，更多相關(guān)《數(shù)據(jù)挖掘與應(yīng)用(十三)課件（43頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,1,第十三講,模型評估,2,模型評估,為了得到能有效預(yù)測因變量的模型，可以建立多個模型，對它們進(jìn)行評估和比較，并從中選擇最優(yōu)的模型。通常根據(jù)對修正數(shù)據(jù)集的預(yù)測效果來選擇模型。一般地：,令,D,為評估數(shù)據(jù)集；,N,D,為其中的觀測數(shù)；,令,Y,i,和 分別表示,D,中觀測,i,的因變量的真實值和模型預(yù)測值。,3,因變量為二分變量的情形,若因變量只有兩種取值，可不失一般性地假設(shè)它們?yōu)?0,和,t,。,設(shè)模型預(yù)測觀測,i,屬于類別,0,和類別,1,的概率分別為 和,。,可使用以下方法得到,Y,i,的預(yù)測值,:,如

2、果,0.5,，令,=1,，否則令,=0,。,4,獲取,Y,i,的預(yù)測值,也可定義分類利潤，令,P(l,2,l,1,),表示將實際屬于類別,l,1,的觀測歸入類別,l,2,所產(chǎn)生的利潤。,缺省地,P(00)=P(11)=1,，,P(10)=P(01)=0。,在實際應(yīng)用中，需要根據(jù)實際情況設(shè)置分類利潤的值。,例如，在直郵營銷中，假設(shè)類別,1,代表潛在顧客響應(yīng),(,即進(jìn)行了購買,),，類別,0,代表潛在顧客不響應(yīng)。,P(00),和,P(01),對應(yīng)于不郵寄產(chǎn)品目錄，帶來的利潤為,0。,P(10),對應(yīng)于將實際不響應(yīng)的顧客錯誤判斷為響應(yīng)而郵寄產(chǎn)品目錄，帶來的利潤為負(fù)，等于聯(lián)系顧客成本,(,包括產(chǎn)品目錄

3、制作、郵寄等成本,),的負(fù)值。,P(11),對應(yīng)于將實際響應(yīng)的顧客正確判斷為響應(yīng)而郵寄產(chǎn)品目錄，帶來的利潤為顧客的購買金額減去聯(lián)系成本的差,;,因為,P(11),只能取一個值，這里采用的購買金額是顧客的平均購買金額。,5,獲取,Y,i,的預(yù)測值,給,賦值時需要比較期望利潤,:,將觀測,i,歸入類別,0,所帶來的期望利潤為,P(00)+P(01),，而將觀測,i,歸入類別,1,所帶來的期望利潤為,P(10)+P(11),；如果前者小于后者，即,則令,=1,，否則令,=0,。,6,獲取,Y,i,的預(yù)測值,也可定義分類損失，令,C(l,2,l,1,),表示將實際屬于類別,l,1,的觀測歸入類別,l,

4、2,所產(chǎn)生的損失。缺省地,C(00)=C(11)=0,，,C(10)=C(01)=0。,給 賦值時需要比較期望損失,:,將觀測,i,歸入類別,0,所帶來的期望損失為,C(00)+C(01),，而將觀測,i,歸入類別,1,所帶來的期望損失為,C(10)+C(11),；如果前者大于后者，即,則令,=1,，否則令,=0,。,7,混淆矩陣,最簡單的模型評估方法是使用下表所示的混淆矩陣，表中,N,l1l2,為實際屬于類別,l,1,而被預(yù)測屬于類別,l,2,的觀測數(shù)；顯然，,N,00,+N,01,+N,10,+N,11,=N,D,。,8,混淆矩陣,實際屬于類別,0,的觀測中被誤分入類別,1,的比例為,N,

5、01,/(N,00,+N,01,),，實際屬于類別,1,的觀測中被誤分入類別,0,的比例為,N,10,/(N,10,+N,11,),，總的誤分類率為,(N,01,+N,10,)/N,D,。,9,平均利潤或平均損失,當(dāng)分類利潤和分類損失取缺省值時，評估模型的平均利潤或平均損失等價于評估總誤分類率。,如果定義了分類利潤或分類損失，還可評估模型的平均利潤,或平均損失,。,10,更加細(xì)致的評估,我們可以直接使用模型預(yù)測概率以對模型進(jìn)行更加細(xì)致的評估。,設(shè)某個關(guān)于直郵營銷的歷史數(shù)據(jù)集,D,中有,100,000,位顧客，總體響應(yīng)率為,20%,，也就是說，如果把產(chǎn)品目錄郵寄給這,100,000,位顧客，實際

6、會收到,20,000,份響應(yīng)。,將這,100,000,位顧客按照預(yù)測概率,從大到小進(jìn)行排列，我們將考慮聯(lián)系其中的某些顧客。,為了方便討論起見，按十分位數(shù)將排列好的顧客等分為十組，考慮聯(lián)系第一組的顧客、第二組的顧客，等等；但實際中可以精確到聯(lián)系多少位顧客。,11,更加細(xì)致的評估,響應(yīng)率,:,被聯(lián)系的人中響應(yīng)的比例，即,基準(zhǔn)響應(yīng)率,:,不使用任何模型而隨機(jī)聯(lián)系顧客時所得的響應(yīng)率，出于隨機(jī)性，它等于總體響應(yīng)率。,捕獲響應(yīng)率,:,聯(lián)系顧客所得的響應(yīng)人數(shù)占響應(yīng)者總?cè)藬?shù)的比例，即,基準(zhǔn)捕獲響應(yīng)率,:,不使用任何模型而隨機(jī)聯(lián)系顧客時所得的捕獲響應(yīng)率，出于隨機(jī)性，它等于被聯(lián)系人數(shù)占顧客總?cè)藬?shù)的比例。,提升值,

7、:,使用模型所得的響應(yīng)率與基準(zhǔn)響應(yīng)率之比。如果提升值大于,1,，說明使用模型挑選聯(lián)系人比隨機(jī)挑選效果更好。,12,非累積響應(yīng)情況,13,累積響應(yīng)情況,14,響應(yīng)率圖,15,響應(yīng)率圖,ideal,表示理想情況,:,之后，當(dāng)非累積被聯(lián)系人都屬于非響應(yīng)者時，非累積響應(yīng)率變成,0,，而累積響應(yīng)率等于響應(yīng)者總?cè)藬?shù)與累積被聯(lián)系人數(shù)之比，最后達(dá)到總體響應(yīng)率。,任意響應(yīng)者的預(yù)測響應(yīng)概率都大于所有非響應(yīng)者的預(yù)測響應(yīng)概率，因此，若按照預(yù)測響應(yīng)概率從大到小排序，響應(yīng)者都排在非響應(yīng)者的前面。,當(dāng)累積被聯(lián)系人數(shù)不超過響應(yīng)者總?cè)藬?shù)時，不管是非累積還是累積情形，被聯(lián)系的所有人都是響應(yīng)者，所以非累積響應(yīng)率和累積響應(yīng)率都是,1

8、00%;,“model”,表示使用模型挑選聯(lián)系人的情況,;,“baseline”,表示不使用任何模型而隨機(jī)聯(lián)系顧客的基準(zhǔn)情況。,實際的模型當(dāng)然無法達(dá)到理想效果，但模型的效果越接近理想效果越好。,16,響應(yīng)率圖,非累積捕獲響應(yīng)率圖,模型效果越接近理想效果越好。,在理想情況下，當(dāng)累積被聯(lián)系人數(shù)不超過響應(yīng)者總?cè)藬?shù)時，不管是非累積還是累積情形，被聯(lián)系的所有人都是響應(yīng)者，所以非累積捕獲相應(yīng)率和累積捕獲響應(yīng)率都等于相應(yīng)的被聯(lián)系人數(shù)與響應(yīng)者點人數(shù)之比。之后非累積捕獲響應(yīng)率變?yōu)?0,，而累積捕獲響應(yīng)率變成,100%,。,累積捕獲響應(yīng)率圖,17,準(zhǔn)確度比率,從累積捕獲響應(yīng)率圖還可以計算一個數(shù)值指標(biāo),:,準(zhǔn)確度比

9、率,(Accuracy Ratio),。,首先計算模型的累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積，它度量了使用模型相比于基準(zhǔn)情況而言增加的預(yù)測性能,;,然后計算理想累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積，它度量了理想情況相比于基準(zhǔn)情況而言增加的性能；準(zhǔn)確度比率是這兩個面積的比值。,準(zhǔn)確度比率的取值在,0,至,1,之間，取值,0,表示使用模型的預(yù)測效果和基準(zhǔn)情況一樣，取值,1,表示模型的預(yù)測效果和理想情況一樣,;,準(zhǔn)確度比率的值越接近于,1,，模型效果越好。,18,準(zhǔn)確度比率,數(shù)學(xué)上，準(zhǔn)確度比率被定義為,（,1,）,r,模型,(q),表示聯(lián)系模型預(yù)測概率的排序處于前面比

10、例,q(oq1),的顧客時所得的累積捕獲響應(yīng)率，,0,1,r,模型,(q)dq,表示模型的累積捕獲響應(yīng)率曲線之下的面積。,19,準(zhǔn)確度比率,基準(zhǔn)累積捕獲響應(yīng)率,r,基準(zhǔn),(q)=q,，因此基準(zhǔn)累積捕獲響應(yīng)率曲線之下的面積為,。,公式中的分子計算了模型的累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積，類似可推出分母計算了理想累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積。,積分的近似,:,示例中使用十分位數(shù)，積分可用,來近似,;,在實際應(yīng)用時可精確到每一位顧客，積分可用,來近似。,20,受試者操作特性曲線,受試者操作特性曲線,(Receiver Operating Character

11、istic Curve,以下簡稱,ROC,曲線,),也是衡量模型預(yù)測能力的一種常用工具，它來源于并經(jīng)常應(yīng)用于醫(yī)學(xué)領(lǐng)域。,假設(shè)習(xí)齊模型預(yù)測響應(yīng)概率大于某個臨界值,C,的顧客都預(yù)測為響應(yīng)者，而將其他顧客都預(yù)測為非響應(yīng)者。,21,受試者操作特性曲線,特異度,(specificity),定義為真陰性,(true negative),觀測數(shù)與陰性總觀測數(shù)之比。,敏感度,(sensitivity),定義為真陽性,(true positive),觀測數(shù)與陽性總觀測數(shù)之比。,真陽性觀測數(shù)指的是實際響應(yīng)而模型也預(yù)測響應(yīng)的顧客數(shù)，陽性總觀測數(shù)指的是實際響應(yīng)的顧客數(shù),(,很容易推出，此處敏感度等于累積捕獲響應(yīng)率,)

12、,。,真陰性觀測數(shù)指的是實際不響應(yīng)而模型也預(yù)測不響應(yīng)的顧客數(shù)；陰性總觀測數(shù)指的是實際不響應(yīng)的顧客數(shù)。,22,受試者操作特性曲線,C,的值從,1,變化到,0,時，特異度和敏感度的值都會變化，將“,1-,特異度”作為橫軸、敏感度作為縱軸作圖，這種變化在圖中形成的曲線就被稱為,ROC,曲線。,當(dāng),C=1,時，所有顧客都被預(yù)測為不會響應(yīng)，因此特異度,=1(1-,特異度,=0),，敏感度,=0;,當(dāng),C=0,時，所有顧客都被預(yù)測為會響應(yīng)，因此特異度,=0(1-,特異度,=1),，敏感度,=1,。,ROC,曲線是連接,(0,0),點和,(1,1),點的一條曲線。,23,受試者操作特性曲線,理想情況下，任意

13、響應(yīng)者的預(yù)測響應(yīng)概率都大于所有非響應(yīng)者的預(yù)測響應(yīng)概率。因此，存在,C*,使得預(yù)測響應(yīng)概率大于,C*,的所有顧客都是響應(yīng)者，而其他顧客都是非響應(yīng)者。,24,受試者操作特性曲線,當(dāng),C,C*,時，所有實際非響應(yīng)者都被正確地預(yù)測為不響應(yīng),;,因為特異度是實際非響應(yīng)者中被模型預(yù)測為非響應(yīng)者的比例，所以特異度,=1(1-,特異度,=0),，而敏感度是實際響應(yīng)者中被模型預(yù)測為響應(yīng)者的比例,;,當(dāng),CC*,時，所有實際響應(yīng)者都被正確地預(yù)測為響應(yīng)，因此敏感度,=1,，當(dāng),C,的值從,C*,變化到,0,時，特異度從,1,變化到,0(1-,特異度”從,0,變化到,1),。,所以理想的,ROC,曲線由連接,(0,0

14、),點和,(1,0),點的線段與連接,(1,0),點和,(1,1),點的線段組成。,25,受試者操作特性曲線,所以基準(zhǔn)的,ROC,曲線就是連接,(o,o,點和,(1,1),點的一條對角直線。,在基準(zhǔn)情況下，任意選取一部分顧客，其中響應(yīng)者所占的比例都等于總體響應(yīng)率，非響應(yīng)者所占的比例都等于總體非響應(yīng)率。對任意,C,值：,特異度都等于預(yù)測非響應(yīng)者人數(shù)占顧客總?cè)藬?shù)的比例；,而敏感度都等于預(yù)測響應(yīng)者人數(shù)占顧客總?cè)藬?shù)的比例；,它們的和總是等于,1,。,26,受試者操作特性曲線,一般而言，模型的,ROC,曲線落在理想,ROC,曲線與基準(zhǔn),ROC,曲線之間。,基準(zhǔn),ROC,曲線下的面積為,0.5,，理想,R

15、OC,曲線下的面積為,1,，一般模型,ROC,曲線下的面積在,0.5,至,1,之間，這個值越接近,1,，模型效果越好。,ROC,曲線下的面積也可作為衡量模型效果的一個數(shù)值指標(biāo)。,27,受試者操作特性曲線,對模型的預(yù)測效果而言，特異度和敏感度都是越大越好，但是這兩者之間需要平衡。,有時在實際應(yīng)用中，我們希望選擇截斷值,C,以使特異度與敏感度的和達(dá)到最大,;,這時可以取,45,度角直線簇,敏感度,=,+(1-,特異度,),特異度,+,敏感度,=,+1,與,ROC,曲線的切點，選取切點對應(yīng)的,C,值。,28,盈利評估,除了考察顧客的響應(yīng)情況，還可以考察直郵營銷的盈利情況。,前面討論過分類利潤，涉及顧

16、客的平均購買金額，但在實際中顧客購買的金額通常大小不一。,評估模型效果時使用顧客的實際購買金額評估將更加細(xì)致。,29,盈利評估,假設(shè)聯(lián)系顧客的成本為每人,1,元。,30,盈利評估,31,盈利評估,出于隨機(jī)性，它等于聯(lián)系所有顧客所得利潤,(,累計利潤表最后一行的利潤,-13,060),與被聯(lián)系人數(shù)占顧客總?cè)藬?shù)的比例的乘積。,基準(zhǔn)利潤,:,不使用任何模型而隨機(jī)聯(lián)系顧客所得的利潤。,非累積利潤圖,累積利潤圖,非累積情形下，基準(zhǔn)利潤等于總利潤的,1/10,，即,-1,306,；累積情形下，基準(zhǔn)利潤等于總利潤的,i/10,，即,-1.3061i(i=1,10),。,32,因變量為二分變量的情形,在實際應(yīng)用中，有時,D,中類別,1,和類別,0,的比例,1,及,0,不同于模型將來要應(yīng)用的數(shù)據(jù)中的比例,1,及,0,，而又希望根據(jù),D,評估模型對將來要應(yīng)用的數(shù)據(jù)的預(yù)測性能。,這時，需要給,D,中的觀測賦予不同的權(quán)重,w,i,:,屬于類別,1,的觀測被賦予權(quán)重,w,i,=,1,/,1,屬于類別,0,的觀測被賦予權(quán)重,w,i,=,0,/,0,在計算各項評估指標(biāo)時，都需要考慮權(quán)重，例如，響應(yīng)率不再簡單地是響應(yīng)