騰訊、大講堂59數(shù)據(jù)蘊含商機挖掘決勝千里

《騰訊、大講堂59數(shù)據(jù)蘊含商機挖掘決勝千里》由會員分享，可在線閱讀，更多相關(guān)《騰訊、大講堂59數(shù)據(jù)蘊含商機挖掘決勝千里（39頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、騰 訊 大 講 堂第五十九期研發(fā)管理部數(shù)據(jù)蘊含商機，挖掘決勝千里騰騰訊研究院訊研究院 數(shù)據(jù)分析數(shù)據(jù)分析研究室研究室SimonJiangSimonJiang / / 江宇聞江宇聞2009-02-242009-02-24Agenda數(shù)據(jù)挖掘是什么？1模型+算法2數(shù)據(jù)挖掘?qū)嵺`分享3心得與總結(jié)4從運籌帷幄到?jīng)Q勝千里舌戰(zhàn)群儒草船借箭巧借東風火燒赤壁赤壁懷古 蘇軾羽扇綸巾談笑間檣櫓灰飛煙滅.觀日月之行，察天地之變風雷電雨云云多會下雨刮風會下雨下雨會閃電閃電會打雷換成它呢？數(shù)據(jù)爆炸的時代Data Mining, circa 1963 IBM 7090 600 cases“Machine storage li

2、mitationsrestricted the total number ofvariables which could beconsidered at one time to 25.”數(shù)據(jù)挖掘是DataInformationKnowledgeWisdom To find / discover / extract / dredge / harvest 、 Interesting / novel / useful / implicit / actable / meaningful 、 Information / knowledge / patterns / trends / rules / an

3、omalies 、 In massive data / large data set / large database / data warehouse 、Data + contextInformation + rulesKnowledge + experience多學科的融合DatabasesStatisticsPatternRecognitionKDDMachineLearningAINeurocomputingData MiningAgenda數(shù)據(jù)挖掘是什么？1模型+算法2數(shù)據(jù)挖掘?qū)嵺`分享3心得與總結(jié)4幾個基本概念幾個基本概念n 模型（Model） vs 模式（Pattern） 數(shù)據(jù)挖掘

4、的根本目的就是把樣本數(shù)據(jù)中隱含的結(jié)構(gòu)泛化（Generalize）到總體（Population）上去 模型：對數(shù)據(jù)集的一種全局性的整體特征的描述或概括，適用于數(shù)據(jù)空間中的所有點，例如聚類分析 模式：對數(shù)據(jù)集的一種局部性的有限特征的描述或概括，適用于數(shù)據(jù)空間的一個子集，例如關(guān)聯(lián)分析n 算法（Algorithm）：一個定義完備（well-defined）的過程，它以數(shù)據(jù)作為輸入并產(chǎn)生模型或模式形式的輸出n 描述型挖掘（Descriptive） vs 預(yù)測型挖掘（Predictive） 描述型挖掘：對數(shù)據(jù)進行概括，以方便的形式呈現(xiàn)數(shù)據(jù)的重要特征 預(yù)測型挖掘：根據(jù)觀察到的對象特征值來預(yù)測它的其他特征值

5、描述型挖掘可以是目的，也可以是手段數(shù)據(jù)挖掘是一個過程- “from data mining to knowledge discovery in database”. U. fayyad, G.P.Shapiro and P.Smyth (1996)數(shù)據(jù)挖掘方法論CRISP_DM （Cross Industry Standard Process for DM） 1998年，由NCRNCR、ClementineClementine、OHRAOHRA和Daimler-BenzDaimler-Benz的聯(lián)合項目組提出SEMMA SAS公司提出的方法 Sample, Explore, Modify, M

6、odel, Assess在戰(zhàn)略上使用Crisp_DM方法論，在戰(zhàn)術(shù)上應(yīng)用SEMMA方法論工欲善其事必先利其器n 數(shù)據(jù)清洗 填充缺失值, 修均噪聲數(shù)據(jù), 識別或刪除孤立點, 并解決數(shù)據(jù)不一致問題 主要分析方法：分箱（Binning）、聚類、回歸n 數(shù)據(jù)集成 多個數(shù)據(jù)庫、數(shù)據(jù)方或文件的集成n 數(shù)據(jù)變換 規(guī)范化與匯總n 數(shù)據(jù)簡化 減少數(shù)據(jù)量的同時, 還可以得到相同或相近的分析結(jié)果 主要分析方法：抽樣、主成分分析n 數(shù)據(jù)離散化 數(shù)據(jù)簡化的一部分, 但非常重要 (尤其對于數(shù)值型數(shù)據(jù)來說)先來玩玩數(shù)據(jù)（EDA）n 探索性數(shù)據(jù)分析（Exploratory Data Analysis, EDA） 探索性地查看

7、數(shù)據(jù)，概括數(shù)據(jù)集的結(jié)構(gòu)和關(guān)系 對數(shù)據(jù)集沒有各種嚴格假定n 主要任務(wù) 數(shù)據(jù)可視化（a picture is worth a thousand words） 殘差分析（數(shù)據(jù)擬合 + 殘差） 數(shù)據(jù)的重新表達（什么樣的尺度對數(shù)抑或平方根會簡化分析） 方法的耐抗性（對數(shù)據(jù)局部不良的不敏感性，如中位數(shù)耐抗甚于均值）n 常見方法 統(tǒng)計量，如均值、方差、根方差、協(xié)方差、峰度、偏度、相關(guān)系數(shù)等 統(tǒng)計圖，如餅圖、直方圖、散點圖、箱尾圖等 模型，如聚類數(shù)據(jù)挖掘 = 模型 + 算法你使用過信用卡嗎？ 卡應(yīng)該發(fā)給誰？ 哪些持卡人會拖欠？ 哪些拖欠的客戶會還款？影響 資產(chǎn)組合（Portfolio）1、根據(jù)歷史，預(yù)測將來2

8、、目標是一個分類變量3、預(yù)測結(jié)果是一個統(tǒng)計意義下的概率1、哪些人可以發(fā)卡，額度是多少。2、持卡人拖欠的概率是多少3、該對誰催收分類過程訓練集訓練集分類學習分類學習訓練集訓練集IF rank = professorOR years 6THEN tenured = yesJef is YES!分類器分類器物以類聚，人以群分人為地選取細分維度人為地選取細分維度 客戶價值 地域 活躍程度 維度災(zāi)難的發(fā)生維度災(zāi)難的發(fā)生 維度增長 細分數(shù)目指數(shù)增長 人腦僅能處理有限的維度市場市場聚類示意n 基于歐氏距離的三維空間中的聚類n 基于質(zhì)心的聚類算法(K-Means)|(|),(222jzizjyiyjxixji

9、dA1A2B1xyz發(fā)現(xiàn)商品間的關(guān)聯(lián)規(guī)則buy(x,”diapers”) buy(x,”beers”)關(guān)聯(lián)規(guī)則的量度n 支持度：Support(A=B)=#AB/#N，表示A和B同時出現(xiàn)的概率n 期望可信度：Support(A)=#A/#N，表示A出現(xiàn)的概率n 置信度：Confidence(A=B)=Support(A=B)/Support(B)n 改善度：Lift(A=B)=Confidence(A=B)/Support(B)名稱描述公式支持度X、Y同時出現(xiàn)的頻率 P(XY) 期望可信度 Y出現(xiàn)的頻率 P(Y) 置信度X出現(xiàn)的前提下，Y出現(xiàn)的頻率P(Y|X) 改善度 置信度對期望可信度的比值

10、 P(Y|X)/P(Y) 關(guān)聯(lián)規(guī)則的度量n 發(fā)現(xiàn)具有最小置信度和支持度的全部規(guī)則 X Y Z 支持度(support), s, 事務(wù)中包含X & Y & Z的概率 置信度(confidence), c, 事務(wù)中包含X & Y的條件下, 包含Z的條件概率n 令最小支持度為50%, 最小置信度為50%, 則有A C (50%, 66.6%)C A (50%, 100%)顧客購買尿布顧客購買尿布顧客購買兩者顧客購買兩者顧客購買啤酒顧客購買啤酒從算法到應(yīng)用數(shù)據(jù)挖掘廠商挖掘和統(tǒng)計分析平臺挖掘和統(tǒng)計分析平臺SAS EMSPSS ClementineS+MinerStatistic Data Miner與數(shù)

11、據(jù)庫集成挖掘平臺與數(shù)據(jù)庫集成挖掘平臺IBM IMOracleNCR Teradata MinerSQL 2005 DM 行業(yè)運用及解決方案行業(yè)運用及解決方案UnicaKXENHNCAgenda數(shù)據(jù)挖掘是什么？1模型+算法2數(shù)據(jù)挖掘?qū)嵺`分享3心得與總結(jié)4看看QQ的流失數(shù)據(jù)流失率2007年3月2007年4月2007年5月2007年6月當月活躍總帳戶數(shù)253,668,411255,749,736264,006,894269,060,000當月流失老帳戶數(shù)6,572,0876,006,5825,466,8078,217,569當月老帳戶流失率2.59%2.35%2.07%3.05%每個月每個月5001

12、0005001000萬的老用戶流失，萬的老用戶流失，一年老用戶流失接近一年老用戶流失接近1 1億億, ,實際自然實際自然人流失狀況雖然沒有這么嚴重，但人流失狀況雖然沒有這么嚴重，但是仍然是一個驚人的數(shù)據(jù)。是仍然是一個驚人的數(shù)據(jù)。客戶流失是每客戶流失是每個行業(yè)每天都個行業(yè)每天都在面對的問題在面對的問題1、建立流失預(yù)測模型，回答、建立流失預(yù)測模型，回答客戶是否要流失，何時流失的客戶是否要流失，何時流失的問題問題2、通過預(yù)測模型建立客戶流、通過預(yù)測模型建立客戶流失管理機制，更為有效地管理失管理機制，更為有效地管理流失，而不是去防止流失流失，而不是去防止流失一切從目標出發(fā)目標變量目標變量：即需要根據(jù)業(yè)

13、務(wù)需求確定模型：即需要根據(jù)業(yè)務(wù)需求確定模型需要預(yù)測的對象，在需要預(yù)測的對象，在QQQQ客戶流失模型中即客戶流失模型中即是在業(yè)務(wù)上對是在業(yè)務(wù)上對“流失流失”的定義。的定義。沉默客戶數(shù)在4月后區(qū)域穩(wěn)定模型選擇連續(xù)沉默2個月作為流失的定義目標變量的定義：目標變量的定義：Good：在表現(xiàn)窗口連續(xù)兩個月有登陸的客戶在表現(xiàn)窗口連續(xù)兩個月有登陸的客戶Bad: 在表現(xiàn)窗口連續(xù)兩個月都沒有登陸的客戶在表現(xiàn)窗口連續(xù)兩個月都沒有登陸的客戶Intermediate: 在表現(xiàn)窗口其中一個月有登陸的客戶在表現(xiàn)窗口其中一個月有登陸的客戶打開觀測用戶的窗口訓練樣本 測試樣本觀察窗口: 2007年1月2007年3月表現(xiàn)窗口:

14、2007年5月2007年6月Time Lag: 2007年4月交叉校驗樣本觀察窗口: 2007年2月2007年4月表現(xiàn)窗口: 2007年6月2007年7月Time Lag: 2007年5月觀察窗口表現(xiàn)窗口Time LagMM-1M-2M-3M-4M-5M+1M+2M+31觀察窗口：觀察窗口：形成自變量的時間段。表現(xiàn)窗口表現(xiàn)窗口：形成因變量的時間段。23Time Lag：預(yù)留給業(yè)務(wù)部門進行相應(yīng)操作的時間段。123變化幅度特征變量 描述用戶使用量上的變化幅度勾勒出用戶行為的特征基本屬性變量 描述用戶的基本屬性產(chǎn)品使用行為特征 描述用戶使用產(chǎn)品的情況消息業(yè)務(wù)使用行為特征 描述用戶使用消息業(yè)務(wù)的情況音

15、頻業(yè)務(wù)使用行為特征 描述用戶使用音頻業(yè)務(wù)的情況視頻業(yè)務(wù)使用行為特征 描述用戶使用視頻業(yè)務(wù)的情況客戶在線的行為特征 從在線時長，登陸次數(shù)，登陸頻率等角度研究用戶的使用行為歸屬地變化的行為特征 描述用戶在某一時間周期內(nèi)登陸所在地的變化情況中間變量中間變量比例特征變量 描述用戶業(yè)務(wù)使用占比基礎(chǔ)變量基礎(chǔ)變量變量描述變量描述行為趨勢特征變量 描述用戶的使用行為變化趨勢變量描述變量描述黃沙吹盡始到金基礎(chǔ)變量和中間變量數(shù)目約為224個經(jīng)過變量變換后的變量數(shù)目約為1700個變量篩選使用Logistic回歸的Stepwise方法進行下一步擬合卡方統(tǒng)計量卡方統(tǒng)計量 Chi Square信息價值信息價值 Infor

16、mation Value信息增益信息增益 Gain Index單變量回歸單變量回歸偏相關(guān)分析偏相關(guān)分析 Partial CorrelationLift曲線曲線十分位十分位樣本數(shù)量樣本數(shù)量LiftLift0226,7295.171226,7292.272226,7281.033226,7300.554226,7290.355226,7290.256226,7300.157226,7290.118226,7290.079226,7300.05Total2,267,2931ROC曲線50%75%建立閉環(huán)的業(yè)務(wù)流程流失客戶分析流失客戶分析數(shù)據(jù)挖掘數(shù)據(jù)挖掘數(shù)據(jù)分析數(shù)據(jù)分析數(shù)據(jù)采集數(shù)據(jù)采集/ETL現(xiàn)有流程

17、評估現(xiàn)有流程評估計劃和設(shè)計挽留行動計劃和設(shè)計挽留行動執(zhí)行挽留行動執(zhí)行挽留行動評估挽留結(jié)果評估挽留結(jié)果調(diào)整應(yīng)用流程調(diào)整應(yīng)用流程Agenda數(shù)據(jù)挖掘是什么？1模型+算法2數(shù)據(jù)挖掘?qū)嵺`分享3心得與總結(jié)4幾點心得實施數(shù)據(jù)挖掘是一個戰(zhàn)略性舉措Business First, Technique Second數(shù)據(jù)挖掘不是萬能的，沒有它也不是萬萬不能數(shù)據(jù)挖掘是一個循環(huán)探索的過程參考文獻網(wǎng)絡(luò)資源u u u u u Tecent Research Question & Answer ?聯(lián)系我們聯(lián)系我們RTX：simonjiang TEL：7999RTX：florayi TEL：8889RTX：jeavinqiu TEL：5909RTX：neilliao TEL：4232Thank youThank you ! !