數(shù)據(jù)挖掘與商務(wù)智能技術(shù)

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,第,6,章 數(shù)據(jù)挖掘與商務(wù)智能技術(shù),6.1,商務(wù)智能概述,6.1.1,商務(wù)智能技術(shù)的發(fā)展,商務(wù)智能的定義,商務(wù)智能是指透過(guò)資料的萃取、整合及分析，支持決策過(guò)程的技術(shù)和商業(yè)處理流程，其目的是為了使使用者能在決策的時(shí)候，盡可能得到更好的協(xié)助。,商務(wù)智能是運(yùn)用數(shù)據(jù)倉(cāng)庫(kù)、在線分析和數(shù)據(jù)挖掘技術(shù)來(lái)處理和分析數(shù)據(jù)的技術(shù)，它允許用戶查詢和分析數(shù)據(jù)庫(kù)，進(jìn)而得出影響商業(yè)活動(dòng)的關(guān)鍵因素，幫助用戶做出更好、更合理的決策。,6.1,商務(wù)智能概述（續(xù)）,6.1.1,商務(wù)智能技術(shù)的發(fā)展（續(xù)）,商務(wù)智能的定義（續(xù)）,商務(wù)智能是通過(guò)利用多個(gè)數(shù)據(jù)源的信息以及應(yīng)用經(jīng)驗(yàn)和假設(shè)，來(lái)促進(jìn)對(duì)企業(yè)動(dòng)態(tài)性的準(zhǔn)確理解，以便提高企業(yè)決策能力的一組概念、方法和過(guò)程的集合。,商務(wù)智能是通過(guò)獲取與各個(gè)主題相關(guān)的高質(zhì)量和有意義的信息來(lái)幫助人們分析信息、得出結(jié)論、形成假設(shè)的過(guò)程。,6.1,商務(wù)智能概述（續(xù)）,6.1.2,商務(wù)智能與管理決策,商務(wù)智能技術(shù)能夠幫助企業(yè)實(shí)現(xiàn)商業(yè)信息收集和處理的自動(dòng)化，以降低運(yùn)營(yíng)成本；,商務(wù)智能能夠幫助企業(yè)真實(shí)地分析財(cái)務(wù)狀況和盈利水平，規(guī)范企業(yè)的業(yè)務(wù)行為和管理行為，使企業(yè)的管理決策實(shí)現(xiàn)由人為經(jīng)驗(yàn)型到科學(xué)決策型轉(zhuǎn)變；,6.1,商務(wù)智能概述（續(xù)）,6.1.2,商務(wù)智能與管理決策（續(xù)）,使用商務(wù)智能可以使企業(yè)深入了解自己的客戶并保持穩(wěn)定的客戶群；,商務(wù)智能的引人可以幫助企業(yè)整合這些集成應(yīng)用系統(tǒng)，使這些相對(duì)獨(dú)立、各自為戰(zhàn)的系統(tǒng)發(fā)揮更大的作用，使數(shù)據(jù)信息得到更有效的利用。,6.1,商務(wù)智能概述（續(xù)）,6.1.3,商務(wù)智能的大眾化,6.1,商務(wù)智能概述（續(xù)）,6.1.3,商務(wù)智能的大眾化,6.1,商務(wù)智能概述（續(xù)）,6.1.3,商務(wù)智能的大眾化,紐約時(shí)報(bào),是美國(guó)新聞界的領(lǐng)頭羊和風(fēng)向標(biāo)。在,IT,技術(shù)的應(yīng)用方面，它不惜重金。,2009,年，其,IT,研發(fā)部門宣布，將圍繞實(shí)時(shí)分析、智能預(yù)測(cè)和用戶互動(dòng)三大,IT,技術(shù)來(lái)提高新聞發(fā)布和時(shí)事分析的質(zhì)量。這三大技術(shù)，都在不同程度上涉及到商務(wù)智能。,6.2,商務(wù)智能過(guò)程,6.2.1,知識(shí)發(fā)現(xiàn),知識(shí)發(fā)現(xiàn)的特征,知識(shí)模式是使用一種形式化語(yǔ)言來(lái)進(jìn)行的表達(dá)，表達(dá)描述了事實(shí)集合的子集中的一種顯著的事實(shí)。,通過(guò)某種知識(shí)發(fā)現(xiàn)方法得到一個(gè)顧客細(xì)分的結(jié)果子集為,41,歲顧客，,42,歲顧客，,48,歲顧客，,43,歲顧客，,64,歲顧客,，可以歸納為“,40,歲之上的顧客”或者“中年以上的顧客”等。,知識(shí)發(fā)現(xiàn)強(qiáng)調(diào)模式的有效性、新穎性、潛在有用性以及最終能被理解。,6.2,商務(wù)智能過(guò)程（續(xù)）,6.2.2,知識(shí)發(fā)現(xiàn)過(guò)程,1,、理解所要進(jìn)行研究的領(lǐng)域、與之相關(guān)的以前的知識(shí)、以及用戶的目標(biāo)；,2,、創(chuàng)建,/,選擇目標(biāo)數(shù)據(jù)集合；,3,、數(shù)據(jù)清理和預(yù)處理；,4,、數(shù)據(jù)縮減和投影；,5,、選定數(shù)據(jù)挖掘任務(wù)；,6,、選擇數(shù)據(jù)挖掘算法；,7,、數(shù)據(jù)挖掘過(guò)程；,8,、對(duì)挖掘出來(lái)的模式進(jìn)行解釋；,9,、完善和鞏固所發(fā)現(xiàn)的知識(shí)。,6.2,商務(wù)智能過(guò),程,程（續(xù)）,知識(shí)表達(dá)形,式,式與數(shù)據(jù)挖,掘,掘,數(shù)據(jù)挖掘方,法,法,分類分析,例如信用卡,用,用戶可以分,為,為按時(shí)還款,客,客戶和拖欠,還,還款客戶等,。,。,回歸分析,根據(jù)歷年的,勞,勞動(dòng)力水平,，,，總投資等,因,因變量來(lái)回,歸,歸得到與,GDP,有關(guān)的回歸,模,模型方程，,進(jìn),進(jìn)一步用以,預(yù),預(yù)測(cè)。,關(guān)聯(lián)規(guī)則,如“年輕顧,客,客會(huì)購(gòu)買,Levis,牛仔褲”，,“,“購(gòu)買,信息系統(tǒng),一書的顧客,經(jīng),經(jīng)常會(huì)購(gòu)買,C,語(yǔ)言,一書”。,聚類分析,將相似的對(duì),象,象聚集在一,起,起的一種分,析,析方法。,6.2,商務(wù)智能過(guò),程,程（續(xù)）,數(shù)據(jù)預(yù)處理,（,1,）數(shù)據(jù)集整,理,理,將相關(guān)的數(shù),據(jù),據(jù)都整理在,一,一個(gè)或多個(gè),二,二維表中；,注意數(shù)據(jù)的,一,一致性以及,完,完整性。,（,2,）數(shù)據(jù)采樣,通過(guò)隨機(jī)采,樣,樣等方法從,海,海量數(shù)據(jù)中,抽,抽取少量的,記,記錄；,采樣只能在,記,記錄維度上,，,，而不能在,屬,屬性維度上,。,。,（,3,）數(shù)據(jù)清洗,將不必要的,屬,屬性剔除；,修正或刪除,有,有明顯錯(cuò)誤,和,和沖突的數(shù),據(jù),據(jù)；,識(shí)別異常值,。,。,6.2,商務(wù)智能過(guò),程,程（續(xù)）,數(shù)據(jù)預(yù)處理,（,（續(xù)）,（,4,）缺失數(shù)據(jù),處,處理,缺失值指的,是,是應(yīng)該有但,卻,卻沒(méi)有的數(shù),據(jù),據(jù)；,采用該屬性,的,的平均值或,是,是眾數(shù)替代,；,；,采取回歸或,神,神經(jīng)元網(wǎng)絡(luò),等,等技術(shù)來(lái)進(jìn),行,行計(jì)算和預(yù),測(cè),測(cè)相應(yīng)的數(shù),值,值；,利用軟計(jì)算,方,方法來(lái)處理,缺,缺失值。,（,5,）初步統(tǒng)計(jì),分,分析,描述均值，,中,中位數(shù)，眾,數(shù),數(shù)，最大值,，,，最小值，,標(biāo),標(biāo)準(zhǔn)差，數(shù),據(jù),據(jù)個(gè)數(shù)；,兩兩相關(guān)系,數(shù),數(shù)、數(shù)據(jù)直,方,方圖等。,6.3,數(shù)據(jù)挖掘方,法,法,分類,分類分析是,對(duì),對(duì)對(duì)象的特,征,征進(jìn)行分析,，,，并將之歸,類,類到已定義,類,類中。,分類分析的,過(guò),過(guò)程,首先，基于,訓(xùn),訓(xùn)練數(shù)據(jù)集,，,，采用分類,算,算法來(lái)構(gòu)造,分,分類器；,訓(xùn)練數(shù)據(jù)集,指,指一個(gè)已有,的,的數(shù)據(jù)集，,其,其中每條記,錄,錄都已經(jīng)屬,于,于一個(gè)已知,的,的類別中。,其次，使用,分,分類器對(duì)新,數(shù),數(shù)據(jù)集進(jìn)行,分,分類。,6.3,數(shù)據(jù)挖掘方,法,法（續(xù)）,分類（續(xù)）,分類分析的,評(píng),評(píng)估標(biāo)準(zhǔn),速度：即生,成,成和使用分,類,類器的計(jì)算,花,花費(fèi)；,魯棒性：即,給,給定噪音數(shù),據(jù),據(jù)，分類器,能,能夠正確預(yù),測(cè),測(cè)的能力；,可伸縮性：,即,即在大量數(shù),據(jù),據(jù)規(guī)模時(shí)，,有,有效構(gòu)造分,類,類器的能力,；,；,可解釋性：,及,及通過(guò)訓(xùn)練,得,得到的分類,器,器可理解和,被,被解釋的層,次,次和水平。,6.3,數(shù)據(jù)挖掘方,法,法（續(xù)）,聚類,聚類分析是,將,將一個(gè)數(shù)據(jù),對(duì),對(duì)象的集合,按,按照某種標(biāo),準(zhǔn),準(zhǔn)進(jìn)行劃分,，,，但是要?jiǎng)?分,分的類是未,知,知的。,一個(gè)聚類內(nèi),部,部的數(shù)據(jù)對(duì),象,象按照該標(biāo),準(zhǔn),準(zhǔn)具有極高,的,的相似性，,而,而類與類之,間,間的數(shù)據(jù)對(duì),象,象的相似性,很,很低。如,貓,貓和狗、動(dòng),物,物和植物。,聚類分析軟,件,件：,SPSS,、,SAS,等。,6.3,數(shù)據(jù)挖掘方,法,法（續(xù)）,聚類（續(xù)）,聚類的局限,性,性,對(duì)數(shù)據(jù)要求,嚴(yán),嚴(yán)，要聚類,結(jié),結(jié)果要明確,，,，就需分離,度,度很好的數(shù),據(jù),據(jù)。,所有聚類方,法,法分析的僅,是,是簡(jiǎn)單的一,對(duì),對(duì)一的關(guān)系,，,，可能忽視,商,商務(wù)和經(jīng)濟(jì),系,系統(tǒng)多因素,和,和非線性的,特,特點(diǎn)。,6.3,數(shù)據(jù)挖掘方,法,法（續(xù)）,關(guān)聯(lián)規(guī)則,大規(guī)?？蛻?交,交易數(shù)據(jù)庫(kù),中,中會(huì)存在著,數(shù),數(shù)據(jù)項(xiàng)之間,所,所潛在的相,互,互關(guān)系的知,識(shí),識(shí)模式。,如“年輕顧,客,客會(huì)購(gòu)買,Levis,牛仔褲”，,“,“購(gòu)買,信息系統(tǒng),一書的顧客,經(jīng),經(jīng)常會(huì)購(gòu)買,C,語(yǔ)言,一書”等。,關(guān)聯(lián)規(guī)則挖,掘,掘已經(jīng)成為,商,商務(wù)智能中,引,引人注目且,發(fā),發(fā)展相當(dāng)迅,速,速的分支。,6.4,復(fù)雜類型數(shù),據(jù),據(jù)挖掘,空間數(shù)據(jù)挖,掘,掘,空間數(shù)據(jù)包,括,括：地圖，,遙,遙感圖片，,醫(yī),醫(yī)學(xué)圖像等,。,。,空間數(shù)據(jù)的,特,特點(diǎn),包括距離、,位,位置、色塊,、,、氣溫等信,息,息。,通常,按,按照,復(fù),復(fù)雜,、,、多,維,維的,空,空間,索,索引,結(jié),結(jié)構(gòu),組,組織,數(shù),數(shù)據(jù),。,。,6.4,復(fù)雜,類,類型,數(shù),數(shù)據(jù),挖,挖掘,（,（續(xù),）,）,空間,數(shù),數(shù)據(jù),挖,挖掘,（,（續(xù),）,）,空間,數(shù),數(shù)據(jù),挖,挖掘,是,是指,對(duì),對(duì)空,間,間中,非,非顯,式,式存,在,在的,知,知識(shí),、,、空,間,間關(guān),系,系或,其,其他,有,有意,義,義的,模,模式,等,等進(jìn),行,行提,取,取，,需,需要,綜,綜合,數(shù),數(shù)據(jù),挖,挖掘,與,與空,間,間數(shù),據(jù),據(jù)庫(kù),技,技術(shù),。,。,例如,，,，通,過(guò),過(guò)對(duì),地,地質(zhì),斷,斷裂,帶,帶應(yīng),力,力分,析,析可,以,以推,斷,斷出,哪,哪些,地,地方,近,近期,發(fā),發(fā)生,地,地震,的,的概,率,率較,高,高，,這,這個(gè),挖,挖掘,過(guò),過(guò)程,中,中，,不,不但,需,需要,對(duì),對(duì)地,址,址斷,裂,裂帶,的,的地,理,理位,置,置數(shù),據(jù),據(jù)進(jìn),行,行處,理,理，,還,還需,要,要結(jié),合,合地,震,震歷,史,史數(shù),據(jù),據(jù)和,時(shí),時(shí)間,數(shù),數(shù)據(jù),進(jìn),進(jìn)行,挖,挖掘,。,。,6.4,復(fù)雜,類,類型,數(shù),數(shù)據(jù),挖,挖掘,（,（續(xù),）,）,多媒,體,體數(shù),據(jù),據(jù)挖,掘,掘,多媒,體,體數(shù),據(jù),據(jù)包,括,括：,音,音頻,數(shù),數(shù)據(jù),、,、視,頻,頻數(shù),據(jù),據(jù)、,圖,圖像,數(shù),數(shù)據(jù),等,等。,典型,的,的多,媒,媒體,數(shù),數(shù)據(jù),庫(kù),庫(kù)系,統(tǒng),統(tǒng)包,括,括,GoogleEarth,，百,度,度圖,像,像，,人,人類,基,基因,數(shù),數(shù)據(jù),庫(kù),庫(kù)等,。,。,如在,反,反恐,檔,檔案,和,和追,蹤,蹤系,統(tǒng),統(tǒng)中,，,，應(yīng),用,用恐,怖,怖份,子,子圖,像,像查,詢,詢和,搜,搜索,，,，音,頻,頻匹,配,配與,語(yǔ),語(yǔ)音,識(shí),識(shí)別,等,等方,面,面。,6.4,復(fù)雜,類,類型,數(shù),數(shù)據(jù),挖,挖掘,（,（續(xù),）,）,時(shí)序,數(shù),數(shù)據(jù),和,和序,列,列數(shù),據(jù),據(jù)挖,掘,掘,時(shí)序,數(shù),數(shù)據(jù),庫(kù),庫(kù)是,指,指由,隨,隨時(shí),間,間變,化,化的,序,序列,值,值或,事,事件,組,組成,的,的數(shù),據(jù),據(jù)庫(kù),，,，即,每,每個(gè),數(shù),數(shù)據(jù),對(duì),對(duì)象,都,都有,一,一個(gè),相,相應(yīng),的,的時(shí),間,間屬,性,性值,。,。如,，,，股,票,票市,場(chǎng),場(chǎng)的,每,每日,行,行情,等,等。,時(shí)序,數(shù),數(shù)據(jù),庫(kù),庫(kù)和,序,序列,數(shù),數(shù)據(jù),庫(kù),庫(kù)挖,掘,掘的,主,主要,內(nèi),內(nèi)容,包,包括,趨,趨勢(shì),分,分析,，,，相,似,似性,搜,搜索,以,以及,序,序列,模,模式,挖,挖掘,。,。,6.4,復(fù)雜,類,類型,數(shù),數(shù)據(jù),挖,挖掘,（,（續(xù),）,）,文本,數(shù),數(shù)據(jù),挖,挖掘,文本,數(shù),數(shù)據(jù),來(lái),來(lái)自,各,各種,數(shù),數(shù)據(jù),源,源，,如,如新,聞,聞文,章,章、,研,研究,論,論文,、,、電,子,子書,籍,籍、,電,電子,郵,郵件,和,和,Web,頁(yè)面,等,等。,文本,數(shù),數(shù)據(jù),庫(kù),庫(kù)中,存,存儲(chǔ),最,最多,的,的數(shù),據(jù),據(jù)是,半,半結(jié),構(gòu),構(gòu)化,數(shù),數(shù)據(jù),，,，它,既,既不,是,是完,全,全結(jié),構(gòu),構(gòu)化,的,的也,不,不是,完,完全,無(wú),無(wú)結(jié),構(gòu),構(gòu)。,例如,，,，一,個(gè),個(gè)電,子,子郵,件,件中,即,即包,括,括標(biāo),題,題、,作,作者,、,、出,版,版日,期,期、,長(zhǎng),長(zhǎng)度,和,和時(shí),間,間等,結(jié),結(jié)構(gòu),化,化數(shù),據(jù),據(jù)，,也,也會(huì),包,包含,大,大量,非,非結(jié),構(gòu),構(gòu)化,數(shù),數(shù)據(jù),內(nèi),內(nèi)容,，,，如,內(nèi),內(nèi)容,文,文本,和,和摘,要,要等,。,。,Google,和百,度,度搜,索,索引,擎,擎就,是,是典,型,型的,文,文本,挖,挖掘,的,的系,統(tǒng),統(tǒng)應(yīng),用,用。,6.4,復(fù)雜,類,類型,數(shù),數(shù)據(jù),挖,挖掘,（,（續(xù),）,）,網(wǎng)絡(luò),挖,挖掘,網(wǎng)絡(luò),數(shù),數(shù)據(jù),特,特點(diǎn),：,：復(fù),雜,雜性,更,更大,，,，網(wǎng),絡(luò),絡(luò)數(shù),據(jù),據(jù)具,有,有極,強(qiáng),強(qiáng)的,動(dòng),動(dòng)態(tài),性,性，,用,用戶,需,需求,多,多種,多,多樣,。,。,網(wǎng)絡(luò),數(shù),數(shù)據(jù),挖,挖掘,應(yīng),應(yīng)用,網(wǎng)頁(yè),有,有效,排,排序,鏈接,結(jié),結(jié)構(gòu),挖,挖掘,Web,文檔,的,的自,動(dòng),動(dòng)分,類,類和,組,組織,Web,記錄,挖,挖掘,6.5,商務(wù),智,智能,應(yīng),應(yīng)用,與,與發(fā),展,展趨,勢(shì),勢(shì),商務(wù),智,智能,的,的決,策,策考,量,量,應(yīng)用,商,商務(wù),智,智能,需,需要,考,考慮,的,的因,素,素,要根,據(jù),據(jù)企,業(yè),業(yè)自,身,身的,特,特點(diǎn),考,考慮,是,是否,應(yīng),應(yīng)用,商,商務(wù),智,智能,技,技術(shù),，,，以,及,及構(gòu),建,建怎,樣,樣的,商,商務(wù),智,智能,系,系統(tǒng),，,，切,忌,忌盲,目,目