數(shù)據(jù)挖掘應(yīng)用簡介

Click to edit Master text styles,,Second level,,Third level,,Fourth level,,Fifth level,,Master title style,,,,,,數(shù)據(jù)挖掘應(yīng)用簡介,,,引言,,,,分析報告給你后見之明 (hindsight)；,,統(tǒng)計分析給你先機(jī) (foresight)；,,數(shù)據(jù)挖掘給你洞察力 (insight)。,,,Berry & Linoff (1997),,目錄,數(shù)據(jù)挖掘基本概念,,客戶分群,,流失預(yù)測,,數(shù)據(jù)挖掘的定義,,數(shù)據(jù)挖掘的歷史雖然較短，但從20世紀(jì)90年代以來，它的發(fā)展速度很快，加之它是多學(xué)科綜合的產(chǎn)物，目前還沒有一個完整的定義，人們提出了多種數(shù)據(jù)挖掘的定義，例如：,,,SAS研究所(1997)：“在大量相關(guān)數(shù)據(jù)基礎(chǔ)之上進(jìn)行數(shù)據(jù)探索和建立相關(guān)模型的先進(jìn)方法”。 Bhavani(1999)：“使用模式識別技術(shù)、統(tǒng)計和數(shù)學(xué)技術(shù)，在大量的數(shù)據(jù)中發(fā)現(xiàn)有意義的新關(guān)系、模式和趨勢的過程”。　 Hand et al(2000)：“數(shù)據(jù)挖掘就是在大型數(shù)據(jù)庫中尋找有意義、有價值信息的過程”。,,,,,(1) 分類:按照分析對象的屬性、特征，建立不同的組類來描述事物。,,,(2) 聚類:識別出分析對內(nèi)在的規(guī)則，按照這些規(guī)則把對象分成若干類。,,,(3) 關(guān)聯(lián)規(guī)則和序列模式的發(fā)現(xiàn)：關(guān)聯(lián)是某種事物發(fā)生時其他事物會發(fā)生的這樣一種聯(lián)系。,,,(4) 預(yù)測:把握分析對象發(fā)展的規(guī)律,對未來的趨勢做出預(yù)見。,,,(5) 偏差的檢測:對分析對象的少數(shù)的、極端的特例的描述，揭示內(nèi)在的原因。,,數(shù)據(jù)挖掘主要功能,數(shù)據(jù)挖掘的方法,,,(1) 傳統(tǒng)統(tǒng)計方法：① 抽樣技術(shù)：我們面對的是大量的數(shù)據(jù)，對所有的數(shù)據(jù)進(jìn)行分析是不可能的也是沒有必要的，就要在理論的指導(dǎo)下進(jìn)行合理的抽樣。② 多元統(tǒng)計分析：因子分析，聚類分析等。③ 統(tǒng)計預(yù)測方法，如回歸分析，時間序列分析等。,,,,(2) 可視化技術(shù)：用圖表等方式把數(shù)據(jù)特征用直觀地表述出來，如直方圖等，這其中運用的許多描述統(tǒng)計的方法。可視化技術(shù)面對的一個難題是高維數(shù)據(jù)的可視化。,,,(3) 決策樹：利用一系列規(guī)則劃分，建立樹狀圖，可用于分類和預(yù)測。常用的算法有CART、CHAID、ID3、C4.5、C5.0等。,,,,數(shù)據(jù)挖掘的方法,,(4) 神經(jīng)網(wǎng)絡(luò)：模擬人的神經(jīng)元功能，經(jīng)過輸入層，隱藏層，輸出層等，對數(shù)據(jù)進(jìn)行調(diào)整，計算，最后得到結(jié)果，用于分類和回歸。,,,,(5) 遺傳算法：基于自然進(jìn)化理論，模擬基因聯(lián)合、突變、選擇等過程的一種優(yōu)化技術(shù)。,,(6) 關(guān)聯(lián)規(guī)則挖掘算法：關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)之間存在關(guān)系的規(guī)則，形式為“A1∧A2∧…An→B1∧B2∧…Bn”。一般分為兩個步驟：① 求出大數(shù)據(jù)項集。② 用大數(shù)據(jù)項集產(chǎn)生關(guān)聯(lián)規(guī)則。,,,數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程 ——CRISP-DM,CRISP－DM是CRoss-Industry Standard Process－Data Mining的縮寫,CRISP－DM,商業(yè)理解,,數(shù)據(jù)理解,,數(shù)據(jù)準(zhǔn)備,,建立模型,,模型評估,,模型發(fā)布,商業(yè)理解（Business Understanding),,找問題,----,確定商業(yè)目標(biāo),,對現(xiàn)有資源的評估,,確定問題是否能夠通過數(shù)據(jù)挖掘來解決,,確定數(shù)據(jù)挖掘的目標(biāo),,制定數(shù)據(jù)挖掘計劃,數(shù)據(jù)理解(Data Understanding),,確定數(shù)據(jù)挖掘所需要的數(shù)據(jù),,對數(shù)據(jù)進(jìn)行描述,,數(shù)據(jù)的初步探索,,檢查數(shù)據(jù)的質(zhì)量,數(shù)據(jù)準(zhǔn)備(Data Preparation),,選擇數(shù)據(jù),,清理數(shù)據(jù),,對數(shù)據(jù)進(jìn)行重建,,調(diào)整數(shù)據(jù)格式使之適合建模,建立模型（Modeling),,對各個模型進(jìn)行評價,,選擇數(shù)據(jù)挖掘模型,,建立模型,,模型評估(Evaluation),,評估數(shù)據(jù)挖掘的結(jié)果,,對整個數(shù)據(jù)挖掘過程的前面步驟進(jìn)行評估,,確定下一步怎么辦？是發(fā)布模型？還是對數(shù)據(jù)挖掘過程進(jìn)行進(jìn)一步的調(diào)整，產(chǎn)生新的模型,模型發(fā)布（Deployment）,,把,數(shù)據(jù)挖掘模型的結(jié)果送到相應(yīng)的管理人員手中,,對模型進(jìn)行日常的監(jiān)測和維護(hù),,定期更新數(shù)據(jù)挖掘模型,,數(shù)據(jù)挖掘應(yīng)用領(lǐng)域,電信：流失、聚類,,銀行：聚類（細(xì)分）, 交叉銷售,,百貨公司/超市：購物籃分析 （關(guān)聯(lián)規(guī)則）,,保險：細(xì)分，交叉銷售，流失（原因分析）,,信用卡：欺詐探測，細(xì)分,,電子商務(wù)：網(wǎng)站日志分析,,稅務(wù)部門：偷漏稅行為探測,,警察機(jī)關(guān)：犯罪行為分析,,醫(yī)學(xué)：醫(yī)療保健,為何要數(shù)據(jù)挖掘?,數(shù)據(jù),,+ 工具,,+ 方法,,+,目標(biāo),,= 知識,數(shù)據(jù),,+,工具,+,,方法,,= 信息,＋,＋,＋,＋,數(shù)據(jù),,+,工具,+ 方法,,+ 目標(biāo),,+,行動,,= 價值,目錄,數(shù)據(jù)挖掘基本概念,,客戶分群,,流失預(yù)測,,引言,,,我不知道成功的關(guān)鍵是什么，但是我,,知道失敗的關(guān)鍵是什么？那就是你試圖取,,悅于每一個人!,,,Bill Cosby,,客戶分群,客戶分群,物以類聚,人以群分,客戶分群----商業(yè)理解,根據(jù)目前業(yè)務(wù)的需要，首先對公眾客戶進(jìn)行價值分析。,,,根據(jù)各公眾客戶的價值，結(jié)合客戶的使用行為，對客戶進(jìn)行分群，便于市場人員針對不同客戶群體制定合適的市場策略，取得提升、保留目標(biāo)客戶群的實質(zhì)性效果。,,,確定工作計劃,,客戶價值,,,賬單收入＋結(jié)算費用,－成本,,由于目前客戶成本無法計算，所以暫時考慮賬單收入和結(jié)算費用。,,帳單收入,,普通電話和小靈通后付費帳單收入,,小靈通預(yù)付費帳單收入,,寬帶收入,,卡通話費用折算(目前出帳帳單不含此項，需從卡話單中統(tǒng)計),,結(jié)算費用,,一般通話結(jié)算費用,,智能網(wǎng)結(jié)算費用,,客戶分群----商業(yè)理解,客戶分群----商業(yè)理解,注：以,上杭州數(shù)據(jù)截止。,,基準(zhǔn)客戶群,,公眾客戶:,,當(dāng)前在網(wǎng)：,,入網(wǎng)超過3個月:,,擁有,,在網(wǎng),,非公免,,甲種用戶,,入網(wǎng)滿三個月,,普通電話、小靈通、普通電話和小靈通1～4部,,客戶分群----數(shù)據(jù)理解,理解數(shù)據(jù)倉庫的基本數(shù)據(jù)信息,：,,公眾客戶基本信息,,公眾用戶基本信息,,公眾用戶(固話)帳單信息,,公眾寬帶用戶帳單信息,,公眾用戶本地通話信息,,公眾用戶長途通話信息,,公眾用戶卡通話信息,,公眾用戶結(jié)算信息,,,數(shù)據(jù)倉庫,客戶分群----數(shù)據(jù)準(zhǔn)備,變量設(shè)計,,,,數(shù)據(jù)探索,,,變量選擇,,變量設(shè)計,變量設(shè)計,,,,A.客戶基本信息,,,B.客戶價值信息,,,C.客戶行為信息,,價值、行為變量,客 戶,競爭行為,（月平均呼叫移動次數(shù)、非電信,IP,不同運營商個數(shù)……,呼叫行為,（傳統(tǒng)長途月平均呼叫次數(shù)、,IP,長途呼叫趨勢……）,繳/欠費信息,（按時繳費次數(shù)、平均每次欠費時長……）,客戶接觸記錄,（10000號呼叫次數(shù)、業(yè)務(wù)受理比率,……）,產(chǎn)品擁有,（是否擁有,IP,語音服務(wù)、擁有號線個數(shù)……）,在網(wǎng)時長,（成為電信客戶時長）,收入,（月平均區(qū)內(nèi)費趨勢、總跳表費用趨勢、,IP,費用比例……,數(shù)據(jù)業(yè)務(wù)使用行為,（月平均撥號時長、平均每天上網(wǎng)時長……）,行為,價值,行為,價值,行,為,價值,行為,行為,客戶分群----數(shù)據(jù)準(zhǔn)備,變量設(shè)計,,,,數(shù)據(jù)探索,,,變量選擇,,數(shù)據(jù)探索,,主要目標(biāo),,,通過圖形化呈現(xiàn)工具和其他的統(tǒng)計方法對數(shù)據(jù)質(zhì)量、數(shù)據(jù)分布有較全面的理解，最終選擇建立模型的數(shù)據(jù)記錄和數(shù)據(jù)屬性奠定基礎(chǔ)。,,主要手段,,值分析,,統(tǒng)計分析,,柱狀圖分析,,頻次分析,,其他,值分析,變量名,記錄數(shù),NULL值,不同值個數(shù),空格個數(shù),零值個數(shù),正值,負(fù)值,v_avg_phs_ipld_int_fee,85154,0,56,0,85094,60,0,v_avg_phs_tld_int_fee,85154,0,85,0,85057,97,0,v_avg_phs_ld_int_fee,85154,0,118,0,85021,133,0,v_fix_ipld_int_fee_trd,85154,0,565,0,84512,334,308,v_200_ld_chg_trd,85154,0,658,0,84290,342,522,v_200_lc_chg_trd,85154,0,464,0,84401,360,393,v_200_chg_trd,85154,0,959,0,83828,542,784,v_fix_tld_int_fee_trd,85154,0,965,0,83907,605,642,v_avg_fix_ipld_int_fee,85154,0,425,0,84511,643,0,v_avg_fix_dis_fee_rt,85154,0,5760,0,72429,732,11993,v_avg_fix_dis_fee,85154,0,6355,0,72429,733,11992,v_200_lc_chg_fluc,85154,0,277,0,84401,753,0,v_avg_200_lc_chg_all_rt,85154,0,585,0,84401,753,0,v_avg_200_lc_chg,85154,0,232,0,84401,753,0,統(tǒng)計分析,變量名,記錄數(shù),最小值,最大值,均值,標(biāo)準(zhǔn)差,眾數(shù),取眾數(shù)值個數(shù),取眾數(shù)值占比,v_avg_phs_ld_int_fee,85154,0,37381,4.07206,254.2262,0,85021,99.84％,v_fix_ipld_int_fee_trd,85154,-787.32,637.54,0.00108,6.30476,0,84512,99.24％,v_avg_fix_ipld_int_fee,85154,0,102480,26.05267,799.6381,0,84511,99.24％,v_200_lc_chg_fluc,85154,0,12.25,0.08696,0.9633,0,84401,99.11％,v_avg_200_ld_chg_all_rt,85154,0,0.6837,0.00103,0.01542,0,84290,98.98％,v_avg_200_ld_chg,85154,0,21003.17,7.04395,192.3413,0,84290,98.98％,v_200_ld_chg_fluc,85154,0,12.25,0.10362,1.06177,0,84290,98.98％,v_avg_fix_tld_int_fee,85154,0,148626.7,39.48853,1046.238,0,83907,98.53％,v_fix_tld_int_fee_trd,85154,-1015.84,529.11,-0.03426,9.01527,0,83907,98.53％,v_200_chg_trd,85154,-418,310.56,-0.07828,3.32384,0,83828,98.44％,v_200_chg_fluc,85154,0,12.25,0.15303,1.27241,0,83828,98.44％,v_avg_200_chg,85154,0,22642.83,11.11534,240.9923,0,83828,98.44％,v_avg_fix_ld_int_fee_rt,85154,0,0.9817,0.0043,0.04455,0,83476,98.02％,v_avg_fix_ld_int_fee,85154,0,148626.7,65.5412,1366.096,0,83476,98.02％,v_fix_ld_int_fee_trd,85154,-1015.84,645.05,-0.03319,10.72853,0,83476,98.02％,柱狀圖分析,用戶的收入主要集中在20至80元，占80%以上用戶數(shù),其他,杭州西湖區(qū)某客戶，3部固定電話，近三月平均用卡通話次數(shù)1926次?。?！,主叫號碼,被叫號碼,接入碼,通話開始時間,實際通話時長,88162525,88866533,96201,2004-11-2 13:17,48,88162525,88477867,96201,2004-11-1 15:31,200,88162525,85805204,96201,2004-11-1 15:23,70.4,88162525,87632232,96201,2004-11-1 15:22,52.1,88162525,88808310,96201,2004-11-1 15:14,50.7,88162525,13355711081,96201,2004-11-1 13:07,51.6,88162525,87582059,96201,2004-11-1 12:57,203.7,88162525,13905819155,96201,2004-11-1 12:53,87,88162525,87240866,96201,2004-10-29 16:13,84.8,88162525,13805714854,96201,2004-10-29 16:05,75.5,88162525,87217881,96201,2004-10-29 16:04,6.2,88162525,87217881,96201,2004-10-29 16:03,12.5,88162525,13857173355,96201,2004-10-29 15:56,27,88162525,677372870,96201,2004-10-29 15:48,429,88162525,13391010110,96201,2004-10-29 14:46,77.7,88162525,13606641733,96201,2004-10-29 14:44,57.8,主叫號碼,被叫號碼,接入碼,通話開始時間,實際通話時長,88254348,13805714854,96201,2004-11-19 10:49,36.4,88254348,13906551056,96201,2004-11-18 16:28,56.3,88254348,85353396,96201,2004-11-18 16:23,52.9,88254348,13858063336,96201,2004-11-18 16:21,20.5,88254348,85804753,96201,2004-11-18 16:18,77.2,88254348,13600518404,96201,2004-11-18 16:17,19.8,88254348,85804753,96201,2004-11-18 16:16,21.5,88254348,27860541,96201,2004-11-18 16:11,176.2,88254348,85804800,96201,2004-11-18 16:08,150.9,88254348,85675245,96201,2004-11-18 15:59,27.4,88254348,85353396,96201,2004-11-18 15:57,24.7,88254348,13355711081,96201,2004-11-18 15:55,123.1,88254348,13905819155,96201,2004-11-18 15:52,57.7,88254348,13905819155,96201,2004-11-18 15:51,40.1,88254348,88368155,96201,2004-11-18 13:14,197.5,88254348,13396817860,96201,2004-11-17 15:19,139.8,主叫號碼,被叫號碼,接入碼,通話開始時間,實際通話時長,88254444,2210319,96201,2004-10-13 15:17,61.1,88254444,13003613991,96201,2004-10-13 15:12,33.6,88254444,2210189,96201,2004-10-13 14:30,20.9,88254444,2227713,96201,2004-10-13 14:21,334.8,88254444,2227713,96201,2004-10-13 14:20,49.3,88254444,2210189,96201,2004-10-13 14:15,83.7,88254444,4225190,96201,2004-10-13 13:36,115.4,88254444,114,96201,2004-10-13 13:35,22.5,88254444,87048376,96201,2004-10-13 12:12,49,88254444,87049576,96201,2004-10-13 12:12,27.1,88254444,85610873,96201,2004-10-13 12:03,84.6,88254444,2210319,96201,2004-10-13 11:17,21.3,88254444,85384102,96201,2004-10-13 11:05,43.6,88254444,85384102,96201,2004-10-13 10:45,314.6,88254444,85384116,96201,2004-10-13 10:44,18.2,88254444,89180139,96201,2004-10-13 10:20,343.7,高帳單收入用戶對電信的貢獻(xiàn)不一定高,杭州桐廬縣小靈通用戶C,,當(dāng)月帳單金額,493.66,元,,發(fā)話網(wǎng)通通話,25,次，受話網(wǎng)通通話,5,次，結(jié)算費用－,473.04,元，損失,473.04,元,!!!!,,,建德市新安江鎮(zhèn)普通用戶,D,,當(dāng)月帳單金額,318.00,元,,撥打,168,結(jié)算費用,-255.00,元，損失,255.00,元,!!!!,,注：以,上杭州數(shù)據(jù)帳務(wù)月為2004年10月,低帳單收入用戶對電信的貢獻(xiàn)不一定低,目前，電信衡量用戶貢獻(xiàn)度的主要指標(biāo)是帳單收入，即用戶以發(fā)話方或發(fā)話費用給電信帶來的收入,,杭州西湖區(qū)普通電話用戶 A,,當(dāng)月帳單金額16.40元,,使用96201卡1143次，通話費用684.42元，按6折算，貢獻(xiàn)410.65元!!!!,,建德市新安江鎮(zhèn)小靈通用戶B,,當(dāng)月帳單金額25.05元,,受話網(wǎng)通通話60次，結(jié)算費用334.53元，貢獻(xiàn)334.53元!!!!,注：以,上杭州數(shù)據(jù)帳務(wù)月為2004年10月,客戶分群----數(shù)據(jù)準(zhǔn)備,變量設(shè)計,,,,數(shù)據(jù)探索,,,變量選擇,,變量選擇,,應(yīng)結(jié)合業(yè)務(wù)意義、分群目的和數(shù)據(jù)質(zhì)量來選擇參與分群的變量：,,,從業(yè)務(wù)的角度看，無分析意義的變量不建議參與分群；,,取值個數(shù)較少、離散的變量及數(shù)據(jù)質(zhì)量較差的變量不建議參與分群；,,互相之間可以派生(相關(guān)性太強(qiáng))的變量不建議全部參與分群；,,總量和分量不建議一起參與分群。,,客戶分群----建立模型,建模工具：,,,TERADATA WAREHOUSE MINER (Clustering),,算法：,,,a.,K-Means,,,b.,高斯混合模型,,,分群個數(shù)(7 加減 2),注：利用K均值算法需要先將數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理（Z_Score）,分群結(jié)果特征刻畫,,,分群模型調(diào)優(yōu),客戶分群----模型評估,注：建立模型和模型評估不是孤立的兩個階段，無法將兩個階段區(qū)隔的很清楚,特征刻畫,利用TWM聚類結(jié)果cluster similarity進(jìn)行特征刻畫,特征刻畫,利用透視圖進(jìn)行特征刻畫,模型調(diào)優(yōu),,客戶分群是一個螺旋上升，不斷優(yōu)化的過程，判斷分群結(jié)果是否理想：,,,群內(nèi)特征是否相似,,群間特征差異是否明顯,,分群結(jié)果是否具有業(yè)務(wù)指導(dǎo)意義,,,分群調(diào)優(yōu)可通過調(diào)整分群個數(shù)及調(diào)整分群變量輸入來實現(xiàn),客戶分群----模型發(fā)布,,確定,客戶分群,模型的結(jié)果，送到相應(yīng)的管理人員手中，對,客戶分群,模型結(jié)果進(jìn)行應(yīng)用。,,對,客戶分群,模型進(jìn)行日常的監(jiān)測和維護(hù),,定期更新,客戶分群,模型,,附：,,基于,(MR),市場營銷再造的思想，在完成客戶行為分群和價值分群的基礎(chǔ)上，生成,VB,矩陣，山坡圖、戰(zhàn)略分群,VB矩陣,價值,,模式1,價值,,模式2,價值,,模式4,行為,,模式3,行為,,模式4,價值,,模式3,行為,,模式1,行為,,模式2,將VB分群結(jié)果交叉,山坡圖,戰(zhàn)略分群,SS1,低值休眠型,,SS2,本地溫飽型,,SS3,短途離家型,,SS4,本地預(yù)警型,,SS5,本地活躍精明型,,SS6,長途中值型,,SS7,傳統(tǒng)長途成長型,,SS8 IP,高值敏感型,,SS9,靈通伴我型,,特征刻畫后命名,戰(zhàn)略分群特征刻畫,戰(zhàn)略分群總體特征描述 － SS1,低值休眠型,人數(shù),21103,，占總?cè)藬?shù),25,.,20,%。,,總費用,占各客戶群總收入的,9.28%,，,ARPU值,最,低,，,為,19,.,56,元,。,,區(qū)間（,0.22,元）和長途費用（傳統(tǒng)國內(nèi)長途,0.66,元、傳統(tǒng)國際長途,0.01,元、,IP,國內(nèi)長途,0.10,元）幾乎沒有，,以區(qū)內(nèi)費為主（,3.32,元，占總收入,16.74%,），但區(qū)內(nèi)費遠(yuǎn)低于平均值（,12.23,元）；月租費占比最高，為,70.8%,。,,幾乎沒用優(yōu)惠！,,總費用有微弱上升趨勢。,,繳費周期最長（平均,16,天,/,月）。,,平均欠費金額次最低：,1.16,元。,SS1,,客戶分群總體特征描述 － SS8,ＩＰ高值敏感型,人數(shù),3193,，占總?cè)藬?shù),3,.,81,%。,,收入占比,7.51%,，,ARPU值,次最高,為,104,.,66,元,,,不含小靈通達(dá),98.62,元。,,區(qū)內(nèi)費用,(27.73,元,),次最高。區(qū)間費,(4.68,元,),用較高。區(qū)內(nèi)區(qū)間費用下降趨勢明顯。,,,總長途費用最高,,IP,長途費用最高（,35.54,元,）,,；國際費用最高,(5.76,元,),，但是以,IP,為主,,,且,IP,國際最高（,4.73,元,，平均值,0.55,元） ；有一定的傳統(tǒng)長途（,8.91,元,),。所有的長途費用趨勢下降。有一定,17908,費用。,201,費用最高，略高于,17908,費用，主要為長途,201,費用。,201,卡和,17908,費用均有下降趨勢。電信,IP,接入費最高且遠(yuǎn)高于他網(wǎng),IP,。撥打異商,IP,電話較多 ；撥打本地行動較多。簡單地說，用,17909,打長途，電信,IP,一族！平均每個用戶半年撥打,35,個不同的長途號碼。撥打不同長途電話最多。,,享受的總優(yōu)惠最多。,,總費用下降趨勢最明顯。,,平均欠費金額接近最高：,6.34,元。,SS8,戰(zhàn)略分群分布,群號,人數(shù),人數(shù)占比,收入,收入占比,ARPU值,SS1,21,103,25.20%,412,725.24,9.28%,19.56,SS2,19,028,22.73%,560,889.39,12.61%,29.48,SS3,2,632,3.14%,116,503.04,2.62%,44.26,SS4,2,870,3.43%,110,944.87,2.49%,38.66,SS5,7,388,8.82%,429,685.85,9.66%,58.16,SS6,3,730,4.45%,175,541.46,3.95%,47.06,SS7,3,201,3.82%,283,863.51,6.38%,88.68,SS8,3,193,3.81%,334,165.06,7.51%,104.66,SS9,11,379,13.59%,1,404,491.09,31.58%,123.43,合計,74,524,89.01%,3,828,809.51,86.10%,,目錄,數(shù)據(jù)挖掘基本概念,,客戶分群,,流失預(yù)測,,引言,,,世界是物質(zhì)的，物質(zhì)是運動的，運動是,,有規(guī)律的，規(guī)律是可以認(rèn)識和利用的,,,,馬克思,,流失預(yù)測----商業(yè)理解,對用戶話音收入進(jìn)行監(jiān)控，盡早感知用戶流失的可能性，在流失前或流失行為的初期階段就能夠有針對性的開展工作，避免進(jìn)一步的損失；,,,根據(jù)目前業(yè)務(wù)的需要，首先對,公眾用戶,進(jìn)行分析,。,,,確定工作計劃,,話音收入,,,包括除月租、來顯費、信息費等增值業(yè)務(wù)費以外所有語音通信收入，含上網(wǎng)通信費。,,基準(zhǔn)用戶群,,公眾固話用戶,,(普通電話和小靈通，由于小靈通預(yù)付費暫無賬單，目前主要針對普通電話)；,,當(dāng)前在網(wǎng)用戶；,,非公免用戶；,,入網(wǎng)三個月以上用戶；,,基準(zhǔn)客戶群,,基準(zhǔn)用戶所屬的所有客戶；,,擁有4部以下固話（普通電話、小靈通）；,,潛在話音收入流失客戶,,,客戶所屬的用戶中，至少有一個潛在的話音收入流失用戶；,,話音收入流失定義,,月話音收入與前三個月平均話音收入相比下降30%以上；,流失預(yù)測----商業(yè)理解,流失預(yù)測----數(shù)據(jù)理解,理解數(shù)據(jù)倉庫的基本數(shù)據(jù)信息,：,,公眾客戶基本信息,,公眾用戶基本信息,,公眾用戶(固話)帳單信息,,公眾用戶本地通話信息,,公眾用戶長途通話信息,,,數(shù)據(jù)倉庫,流失預(yù)測----數(shù)據(jù)準(zhǔn)備,變量設(shè)計,,,,數(shù)據(jù)探索,,,變量選擇,,變量設(shè)計,變量設(shè)計,,,,A.客戶(用戶)基本信息,,,B.用戶價值信息,,,C.用戶行為信息,,價值、行為變量,用戶,競爭行為,（月平均呼叫移動次數(shù)、非電信,IP,不同運營商個數(shù)……,呼叫行為,（傳統(tǒng)長途月平均呼叫次數(shù)……）,繳/欠費信息,（按時繳費次數(shù)、平均每次欠費時長……）,客戶接觸記錄,（10000號呼叫次數(shù)、業(yè)務(wù)受理比率……）,產(chǎn)品擁有,（是否擁有,IP,語音服務(wù)、擁有號線個數(shù)……）,在網(wǎng)時長,（成為電信用戶時長）,收入,（月平均區(qū)內(nèi)費趨勢、,IP,費用比例……,價值,行為,價值,行為,價值,行為,行為,流失預(yù)測----數(shù)據(jù)準(zhǔn)備,變量設(shè)計,,,,數(shù)據(jù)探索,,,變量選擇,,數(shù)據(jù)探索,,主要目標(biāo),,,通過圖形化呈現(xiàn)工具和其他的統(tǒng)計方法對數(shù)據(jù)質(zhì)量、數(shù)據(jù)分布有較全面的理解，最終選擇建立模型的數(shù)據(jù)記錄和數(shù)據(jù)屬性奠定基礎(chǔ),。,,主要手段,,值分析,,統(tǒng)計分析,,柱狀圖分析,,頻次分析,,其他,27%用戶8月份話音收入比7月份下降30%以上,注：以,上杭州數(shù)據(jù)截止2004.8.21.,高收入段的用戶流失率也高,一旦流失，少有回頭,公眾普通電話用戶,,2004年3月到8月在網(wǎng)；,,三月的話音收入[20,300]（元）,,共：400533用戶,,M3,M4,M5,M6,M7,M8,38%,69%,79%,83%,89%,M3,三月份為基準(zhǔn)月，共400533普通電話用戶，占24%，話音收入占65%;,,四月份話音收入比三月份下降30%者(M4)占目標(biāo)群的38%;,,M4中，69%在五月份話音收入繼續(xù)保持比三月份下降30%(M5)；,,這樣的比例，在6,7,8分別達(dá)到,79%,83%,89%；,,啟示：,,一旦下降，后續(xù)月份很少反彈；,,如果本月比上月相比下降了,30%,以上，則應(yīng)該立即有所行動；,,如果需要對將要流失的用戶實施預(yù)見性的市場保育工作，那么關(guān)鍵是要預(yù)測下月將要流失的用戶；,話音收入下降要警惕,,本月話音收入比近三個月話音收入下降20%以上的用戶，流失率開始明顯高于平均流失率；,,傳統(tǒng)長話收入與流失,近三個月傳統(tǒng)長話收入較高的用戶，流失率相對較高；,,在,近三個月傳統(tǒng)長話收入大于,12,元的用戶群中，流失率比平均流失率高,10,個百分點；,入網(wǎng)時長與流失,入網(wǎng)時間小于三年的用戶，流失率略高于平均流失率，而且入網(wǎng)時間越短流失率越高；,流失預(yù)測----數(shù)據(jù)準(zhǔn)備,變量設(shè)計,,,,數(shù)據(jù)探索,,,變量選擇,,變量選擇,,應(yīng)結(jié)合數(shù)據(jù)探索(變量分析)和數(shù)據(jù)質(zhì)量來選擇參與預(yù)測建模的變量：,,,變量分析時各分段組內(nèi)流失率與平均流失率相近的變量不參與建模；,,,相關(guān)性太強(qiáng)(各分段組內(nèi)流失率相近)的變量不建議參與預(yù)測建模；,流失預(yù)測----建立模型,注：采樣比例不一定都是50%，視數(shù)據(jù)量而定,建模工具,,TERADATA WAREHOUSE MINER（DECISION TREE),,,采樣,,訓(xùn)練集：50%,,測試集：50%,流失預(yù)測----模型評估,使用模型對八月的用戶數(shù)據(jù)進(jìn)行評分，得到每個用戶在九月的流失傾向分值；使用模型對九月的用戶數(shù)據(jù)進(jìn)行評分，得到每個用戶在十月的流失傾向分值；,,使用用戶在九月、十月實際的流失情況，來評估模型預(yù)測結(jié)果在未來一個月、兩個月的命中率；,,主要的關(guān)注點：模型評分分值較高的若干用戶中，實際的命中率；用戶數(shù)的一般取法：,,占總用戶群10%的用戶；,,根據(jù)市場需要，關(guān)注評分靠前的1000、5000、10000、20000或50000個用戶；,驗證數(shù)據(jù)：9月,流失預(yù)測----模型發(fā)布,,確定,流失預(yù)測,模型的結(jié)果，送到相應(yīng)的管理人員手中，對,流失預(yù)測,模型結(jié)果進(jìn)行應(yīng)用。,,,對,流失預(yù)測,模型進(jìn)行日常的監(jiān)測和維護(hù),,,定期更新,流失預(yù)測,模型,,?????,?,?。。?！,謝謝,