XXX運營商大數(shù)據(jù)平臺規(guī)劃解決方案課件

《XXX運營商大數(shù)據(jù)平臺規(guī)劃解決方案課件》由會員分享，可在線閱讀，更多相關《XXX運營商大數(shù)據(jù)平臺規(guī)劃解決方案課件（45頁珍藏版）》請在裝配圖網上搜索。

1、單擊此處編輯母版文本樣式,的,的,單擊此處編輯母版標題樣式,#,XX,運營商大數(shù)據(jù)平臺規(guī)劃解決方案,XX運營商大數(shù)據(jù)平臺規(guī)劃解決方案,目 錄,二,、大數(shù)據(jù)平臺整體規(guī)劃,一、大數(shù)據(jù)應用發(fā)展趨勢,目 錄二、大數(shù)據(jù)平臺整體規(guī)劃一、大數(shù)據(jù)應用發(fā)展趨勢,大數(shù)據(jù),所謂“大數(shù)據(jù)”，,指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內達到截取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的信息。,。,大數(shù)據(jù)處理技術代表了新一代的技術架構，這種架構通過高速獲取數(shù)據(jù)并對其進行分析和挖掘，從海量形式各異的數(shù)據(jù)源中更有效地抽取出富含價值的信息。,從大量數(shù)據(jù)中挖掘高價值知識是各界對于大數(shù)據(jù)的一個共

2、識。,海量數(shù)據(jù)可廣泛獲得，所稀缺的是如何從中挖掘出智慧和觀點。,Google,首席經濟學家,Hal Varian,大數(shù)據(jù)主要被用于分析和決策，,企業(yè)用以分析的數(shù)據(jù)越全面，分析的結果就越接近于真實。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務的各個細節(jié)相融合,，對企業(yè)產生新的價值。,大數(shù)據(jù)所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過,大數(shù)據(jù)對,電信,運營商的應用價值體現(xiàn),3,1,5,4,2,自助分析、生產管道,可視化、資源解耦隨,需而動，營銷實時，,以業(yè)務效率提升為標志。,提升業(yè)務效率,數(shù)據(jù)集中到數(shù)據(jù)中心,，多數(shù)據(jù)源管理，透,明服務支持，實時的,決策和預測能

3、力提升,整體經營管理水平。,增強管理水平,數(shù)據(jù)開放服務、與,OTT,廠商合作的后向收費、,廣告等新業(yè)務,.,創(chuàng)新商業(yè)模式,互聯(lián)網化的電子渠道,全景體驗、個性化商,品推薦、,LBS,位置營,銷、面向客戶個體的,深度洞察,提升客戶體驗,以技術驅動為標志，內,存計算、,MPP,、,CEP,分而治之的分布式計算,讓運營商實時高效決策,.,技術高效、低成本,大數(shù)據(jù)對電信運營商的應用價值體現(xiàn)31542自助分析、生產管道,XX,運營商數(shù)據(jù),平臺現(xiàn)狀,精細化營銷數(shù)據(jù)中心,營賬系統(tǒng),經分,(BI),GN,口上網話單,終端,(DM),VAC,短彩信中心,語音通話詳單,客服接觸記錄,流媒體平臺詳單,位置信令話單,基

4、站信息,116114,企業(yè)黃頁信息,渠道應用助銷信息,經過一二期的建設，精細化運營平臺的數(shù)據(jù)中心，已經,成為,XX,運營商,最大,、內容最豐富,的數(shù)據(jù)倉庫；,隨著,數(shù)據(jù)量的增長,，需要對基礎架構做長遠規(guī)劃；,有必要深入,挖掘數(shù)據(jù)價值,，研究新的商業(yè)模式，將成本中心轉化為利潤中心,XX運營商數(shù)據(jù)平臺現(xiàn)狀精細化營銷數(shù)據(jù)中心營賬系統(tǒng)經分(BI),5,擴展性,增量式的、幾乎無限的擴展,可用性,要求系統(tǒng)總是在線運行,靈活性,靈活可動態(tài)改變的數(shù)據(jù)模型,擴展性,縱向擴展,橫向擴展,分布式,資源集中,計算和存儲分布,可用性,單份數(shù)據(jù),數(shù)據(jù)復制,一致性,不要使用分布式事務處理,大數(shù)據(jù)處理的需求和特點,5擴展性增

5、量式的、幾乎無限的擴展可用性要求系統(tǒng)總是在線運行靈,低成本運營,一體化運營,精細化運營,全網運營,實時、智能化運營,集中化建設、管理和維護,可不斷線性擴展,提高資源綜合利用率,標準化功能組件，可共享可復用,按業(yè)務量、按需支付,BASS,與,BOSS,、,CRM,的一體化,BSS,與,MSS,、,OSS,、,VAS,等跨域一體化,對外部客戶和應用的一體化,片區(qū)化、網格化管理,長尾市場、小眾市場的支撐,個性化、短周期需求的滿足,異地客戶、家庭客戶、集團客戶,一點接入、全網服務、全網客戶畫像,全國統(tǒng)一套餐、全網營銷、統(tǒng)一客服,實時數(shù)據(jù)獲取、處理、分析,智能化主動事件觸發(fā),智能管道,移動互聯(lián)網,業(yè)務運

6、營發(fā)展趨勢,對業(yè)務,支撐平臺的集中化要求,對,數(shù)據(jù),架構的,集中化,要求,集中化、大容量、高擴展、高可用數(shù)據(jù)庫平臺：支持全網型數(shù)據(jù)、跨域數(shù)據(jù)的整合，形成集中化管理的的企業(yè)級數(shù)據(jù)中心,高,性能：,支持,3G,時代更高的實時性,要求、支持,動態(tài)資源共享：支持多租戶管理、資源動態(tài)按需供應,可重用、標準化組件：形成可重用組件，支持一次開發(fā)、各省共享的模式，形成規(guī)模型效益,數(shù)據(jù)集中化趨勢使得運營商面臨著海量數(shù)據(jù)的存儲及分析問題，大數(shù)據(jù)在支撐移動業(yè)務發(fā)展趨勢中，充當重要角色。,電信運營商數(shù)據(jù)集中化趨勢,低成本運營一體化運營精細化運營全網運營實時、智能化運營集中化,7,電信,運營,面臨的大數(shù)據(jù)挑戰(zhàn),移動互聯(lián)

7、網和個人消費領域,業(yè)務擴展,和,CEM,導致海量數(shù)據(jù)的及時分析帶來挑戰(zhàn),運營,商一體化集中運營和透明管控，催生巨大的經營分析數(shù)據(jù),倉庫,，對大數(shù)據(jù)的存儲、性能、開放帶來挑戰(zhàn),DPI,和信令監(jiān)測，產生的大量事件在存儲和用戶通信行為分析的實時處理性能帶來挑戰(zhàn),ICT,融合，核心網絡、運營支撐和,VAS,業(yè)務數(shù)據(jù)的融合催生海量,User Profile,并集，對大數(shù)據(jù)的關聯(lián)分析計算效能帶來挑戰(zhàn),移動互聯(lián)網流量井噴與客戶行為分析,業(yè)務融合、能力互通帶來數(shù)據(jù)融合,提升客戶體驗要求分析網絡服務數(shù)據(jù),IT,系統(tǒng)集中化和行業(yè)數(shù)據(jù)價值挖掘,BSS BI,數(shù)據(jù)：,河南,17,個地市，每天抽取正常用戶數(shù),7000,

8、多萬，撥備用戶數(shù),3000,多萬，,DW,層用戶表總量,1,億多條,；語音清單每天,2.7,億條數(shù)據(jù),，,GPRS,清單,每天,4.2,億條數(shù)據(jù),；賬務每天,4.7,億條數(shù)據(jù),；,GPRS,文件每個,100M,左右，其它文件,25M,。,日接口數(shù)據(jù)量：,2000G,，其中話單,220G,，,WAP,清單,300G,，,工單服務,200G,，,用戶、帳務,300G,，其它,980G,。,每月,124TB,數(shù)據(jù)量入庫，歷史數(shù)據(jù)保留,1,年，總數(shù)據(jù)量,1.45PB,。,按照用戶數(shù)簡單測算,6.5,億用戶下，總數(shù)據(jù)量,10PB!,聯(lián)通總部,3G,互聯(lián)網訪問記錄查詢及分析,系統(tǒng)：,全國,每日新增,10T

9、B,數(shù)據(jù)，,每月近萬億條,記錄，要,存放,6,個月,，約,2PB,的上網記錄數(shù)據(jù)。上網記錄入庫時間小于,30,分鐘，原始上網記錄保留,6,個月。上網,查詢速度不高于,1,秒，并發(fā)查詢數(shù),1000,請求,/,秒,。,集群規(guī)模,188,個數(shù)據(jù)節(jié)點，存儲容量,2.6 PB,7電信運營面臨的大數(shù)據(jù)挑戰(zhàn)移動互聯(lián)網和個人消費領域業(yè)務擴展和,傳統(tǒng),數(shù)據(jù)倉庫無法有效存儲日益增長的業(yè)務,數(shù)據(jù)存儲需求,基礎,數(shù)據(jù),（,用戶資料，產品訂購信息）：,15G/,日*,365+40G*12,月,=5T,/,年,考慮,20%,的業(yè)務增長率后為,：,6T,/,年,用戶上網數(shù)據(jù),話單數(shù)據(jù)：,250T/,年,考慮,20%,的業(yè)務

10、增長率后為：,300T/,年,MR,數(shù)據(jù),話單數(shù)據(jù),：,634G/,日,634G/,日*,365,=227T/,年,考慮,20%,的業(yè)務增長率后為,：,272T,/,年,BSS,數(shù)據(jù),新增,新增,評估中,日使用流量,（,TB,）,6,月,10,月,隨著業(yè)務發(fā)展數(shù)據(jù)量的增加，隨著應用復雜導致的數(shù)據(jù)量增加，這些數(shù)據(jù)量導致了數(shù)據(jù)存儲和處理壓力；數(shù)據(jù)倉庫無法線性擴容，管理難度加大，成本高擴容壓力大，效率下降,等,傳統(tǒng)數(shù)據(jù)倉庫只保存處理后的匯總數(shù)據(jù)。在大,數(shù)據(jù)架構下需要對用戶原始話單進行長期保存,。需要擴容大量存儲空間。,大,數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理,方法面臨,新問題,用戶層,現(xiàn)平臺的數(shù)據(jù)保存周期,大數(shù)據(jù)

11、的數(shù)據(jù)保存周期,應用層,KR/CB/DM,層,永久保留,至少,2,年,數(shù)據(jù)存儲層,MK,層,永久保留,至少,2,年,DW,層,5,個月,永久保留,數(shù)據(jù)獲取層,ODS,層,37,天,永久保留,面對海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺,提供可供線性擴容的存儲能力。,傳統(tǒng)數(shù)據(jù)倉庫無法有效存儲日益增長的業(yè)務數(shù)據(jù)存儲需求基礎數(shù)據(jù)用,每個應用需求的變化就是一場災難。由于數(shù)據(jù)處理與業(yè)務的緊密關聯(lián)可能需要對中間每個處理環(huán)節(jié)進行逐個調整。重新生成數(shù)據(jù)的周期也非常緩慢。,由于傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)處理流程與業(yè)務保持緊密關聯(lián)。整個數(shù)據(jù)加工流程為最終應用服務。為緩解存儲壓力在數(shù)據(jù)抽取和清洗階段會過濾掉與業(yè)務無關的數(shù)據(jù)記錄和字段

12、。,大,數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理,方法面臨,新問題,數(shù)據(jù)源,明細數(shù)據(jù)層,（,DW,）,匯總層（,MK,）,報表數(shù)據(jù),標簽庫,指標數(shù)據(jù),客戶統(tǒng)一視圖,應用層,DW&MK,操作型數(shù)據(jù),ODS,層,Oracle,數(shù)據(jù)庫,精細化營銷架構,短信中心,經分,DM,VAC,GN,話單,流媒體,客服系統(tǒng),計費中心,MC,話單,彩信中心,MR,數(shù)據(jù),BSS,用戶互聯(lián)網聯(lián)系方式（總部研究院）,2,4,1,2,3,4,現(xiàn)網數(shù)據(jù)平臺是傳統(tǒng)關系型數(shù)據(jù)庫架構。大量的用戶上網、用戶行為等半結構化和非結構化數(shù)據(jù)無法保存和處理，,缺乏非結構化數(shù)據(jù)的處理能力。用戶上網行為等,互聯(lián)網行為數(shù)據(jù)以結構化數(shù)據(jù)方式保存至數(shù)據(jù)倉庫中。,傳統(tǒng),

13、數(shù)據(jù),倉庫無法有效應對大數(shù)據(jù)分析需求,1,現(xiàn)網每日用戶上網,HTTP,話單達,14,億條。每月匯總的記錄條數(shù)也近,30,億條。,隨著移動互聯(lián)網正在迅猛增長，,傳統(tǒng)數(shù)據(jù)倉庫將很難駕馭，無法滿足數(shù)據(jù)處理時限和事務處理需求。,3,面對海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺提供快速的處理,能力。,每個應用需求的變化就是一場災難。由于數(shù)據(jù)處理與業(yè)務的緊密關聯(lián),大,數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理,方法面臨,新問題,傳統(tǒng),數(shù)據(jù),倉庫組網將是大數(shù)據(jù)分析的瓶頸,現(xiàn)網精細化營銷平臺的數(shù)據(jù)庫既存放著所有采集的原始數(shù)據(jù)，又承擔所有的數(shù)據(jù)加工任務，還承載所有報表和業(yè)務應用的數(shù)據(jù)存儲和計算。缺乏對數(shù)據(jù)分層分級及生命周期的有效管理。,系統(tǒng)

14、,核心架構為,Oracle,數(shù)據(jù)庫,+,小型機,+,磁,陣。數(shù)據(jù)存放在磁陣上，計算時由數(shù)據(jù)庫服務器從磁陣讀到本地后進行計算結果。隨著,數(shù)據(jù),量增長，磁盤,I/O,、,網絡,帶寬、數(shù)據(jù)庫服務器的處理能力將存在,瓶頸，處理時延嚴重,。由于傳統(tǒng)架構的可,擴展性,差，無法滿足大數(shù)據(jù)的計算的擴容需求。,為應對海量,數(shù)據(jù)處理需求,，大數(shù)據(jù)將從集中數(shù)據(jù)庫向分布式數(shù)據(jù)庫進行,轉變。計算和存儲資源都由,x86,服務器提供。,大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題傳統(tǒng)數(shù)據(jù)倉庫組網將是大,因為在移動互聯(lián)網和物聯(lián)網上需要有新領域的突破，不同于傳統(tǒng)通信業(yè)務分析特點，需要對內容等非結構化、大容量信息進行有效分析，傳統(tǒng)的架

15、構處理吃力。,關系數(shù)據(jù)庫引入對,XML,的支持仍然無法有效處理,ETL,大,數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理,方法面臨,新問題,傳統(tǒng)數(shù)據(jù)倉庫無法有效處理新型的業(yè)務數(shù)據(jù),主要關鍵技術,自然語言理解，,文本分詞、語義,分析，情感分析或者大規(guī)模計算技,術,非結構化數(shù)據(jù)索引技術，,如搜索,引擎倒排索引技術,多媒體處理，,包括圖像識別，語,音識別，多媒體索引等技術,傳統(tǒng)數(shù)據(jù),倉庫無法有效支撐數(shù)據(jù)合作運營,由于保存原始話單數(shù)據(jù)周期較短，合作運營無法追溯歷史原始數(shù)據(jù)。,現(xiàn)網傳統(tǒng)主數(shù)據(jù)庫的設計只適用與向上層提供既定好的數(shù)據(jù)分析任務結果。對外開放底層數(shù)據(jù)將大大消耗系統(tǒng)資源，影響主庫正常的數(shù)據(jù)處理流程。同時數(shù)據(jù)的處理方式及

16、結果也恐難以滿足合作運營的需要,。,大數(shù)據(jù)平臺的架構將數(shù)據(jù)分層管理。在各層提供數(shù)據(jù)開放接口，以滿足不同數(shù)據(jù)需求。將更有效支撐數(shù)據(jù)合作運營。同時歷時數(shù)據(jù)能促使合作在第一時間就開展起來。,因為在移動互聯(lián)網和物聯(lián)網上需要有新領域的突破，不同于,4G,、,M2M,將大大加快移動網絡數(shù)據(jù)業(yè)務和流量增長,2013,年,4G,網絡將占到全球流量的,20%,，,2016,年將超過,3G,網絡流量，,2018,年將占據(jù)超過,2/3,的移動網絡流量。,2013-2018,年，,4G,流量的年復合增長率達到,82.2%,。,2018,年數(shù)據(jù)業(yè)務收入占運營商的份額的,47.3%,ABI Research 2013.09,數(shù)據(jù)來源：,Ericsson 2013.11,2012,年,9,月,Verizon LTE,網絡建成不到,2,年，用戶達到,11M,，占,Verizon,用戶總數(shù)約,12%,，流量消耗占全網流量的,35%,以上。,2013,年,1,月，,4G,流量占比,50%,，,2013,年,11,月，,4G,流量超過,64%,，視頻是主要業(yè)務,2017,年，全球,4G,終端產生的數(shù)據(jù)流量是非,4G,終端的