哈爾濱醫(yī)科大學(xué)《數(shù)據(jù)挖掘》第1章緒論

Click to edit Master title style,Click to edit Master text styles,Second Level,Third Level,李春權(quán) 數(shù)據(jù)挖掘 哈爾濱醫(yī)科大學(xué) 生物信息科學(xué)與技術(shù)學(xué)院,2012,*,數(shù)據(jù)挖掘,:,緒論,第,1,章 緒論,數(shù)據(jù),電子商務(wù)網(wǎng)站的日志,銀行帳務(wù)數(shù)據(jù),顧客購物的數(shù)據(jù),為什么要進(jìn)行數(shù)據(jù)挖掘,?,商業(yè)觀點(diǎn),為什么要進(jìn)行數(shù)據(jù)挖掘,?,科學(xué)觀點(diǎn),醫(yī)學(xué)、科學(xué)、工程技術(shù)界,正快速積累大量數(shù)據(jù),(GB/hour),地表、海洋和大氣的,全球觀測數(shù)據(jù),基因組數(shù)據(jù),數(shù)據(jù)挖掘技術(shù)可以幫助處理這些數(shù)據(jù),干旱和颶風(fēng)等生態(tài)擾動(dòng)與全球變暖關(guān)系？,海洋表面溫度對地表降水量和溫度影響？,蛋白質(zhì)結(jié)構(gòu)預(yù)測、多序列比對、生物,化學(xué)通路建模、種系發(fā)生學(xué),什么是數(shù)據(jù)挖掘,?,定義,數(shù)據(jù)挖掘是在大型數(shù)據(jù)存儲(chǔ)庫中，,自動(dòng)地發(fā)現(xiàn)有用信息,的過程。,數(shù)據(jù)挖掘技術(shù)用來探查大型數(shù)據(jù)庫，發(fā)現(xiàn)先前未知的有用模式,.,什么是數(shù)據(jù)挖掘,?,什么不是？,什么是數(shù)據(jù)挖掘,?,把搜索引擎得到的相似數(shù)據(jù)合并在一起,(e.g.Amazon rainforest,A,),利用網(wǎng)絡(luò)數(shù)據(jù)分析哪些歌星在中國的名氣最高,什么不是數(shù)據(jù)挖掘,?,在電話本里搜,索電話號碼,利用搜索引擎,如“,Google”,搜索“,Amazon”,數(shù)據(jù)挖掘利用了來自如下一些領(lǐng)域的思想：,(,),統(tǒng)計(jì)學(xué)的抽樣、估計(jì)、假設(shè)檢驗(yàn),(,),人工智能、模式識(shí)別、機(jī)器學(xué)習(xí),的搜索算法建摸技術(shù)、學(xué)習(xí)理論,(,),最優(yōu)化、進(jìn)化算法、,信息論、信號處理、,可視化、信息檢索,(,),數(shù)據(jù)庫技術(shù)、并行計(jì)算,、分布式計(jì)算,傳統(tǒng)的方法可能不適合,數(shù)據(jù)量巨大,數(shù)據(jù)維度高,數(shù)據(jù)異種性（具有序列,和三維結(jié)構(gòu)的,DNA,數(shù)據(jù)）,數(shù)據(jù)挖掘的起源,人工智能、,機(jī)器學(xué)習(xí),和模式識(shí)別,統(tǒng)計(jì)學(xué),數(shù)據(jù)挖掘,數(shù)據(jù)庫技術(shù)、并行技術(shù)、分布式技術(shù),數(shù)據(jù)挖掘的任務(wù),預(yù)測,使用已知變量預(yù)測未知變量的值,.,描述,導(dǎo)出潛在聯(lián)系的模式（相關(guān)、趨勢、聚類、異常）,.,數(shù)據(jù)挖掘的任務(wù),分類,預(yù)測,聚類,描述,關(guān)聯(lián)分析,描述,異常檢測,預(yù)測,分類 例子,categorical,categorical,continuous,class,Test,Set,Training,Set,Model,Learn,Classifier,聚類,Intracluster distances,are minimized,Intercluster distances,are maximized,關(guān)聯(lián)分析,:,定義,用來發(fā)現(xiàn)描述數(shù)據(jù)中強(qiáng)關(guān)聯(lián)特征的模式，所發(fā)現(xiàn)的模式通常用蘊(yùn)涵規(guī)則或特征子集的形式表示。由于搜索空間是指數(shù)規(guī)模的，關(guān)聯(lián)分析的目標(biāo)是以有效的方式提取最有趣的模式,;,找出具有相關(guān)功能的基因組、識(shí)別一起訪問的,Web,頁面、理解地球氣候系統(tǒng)不同元素之間的聯(lián)系,.,Rules Discovered:,Diaper-Milk,Diaper,Milk-Beer,數(shù)據(jù)挖掘的挑戰(zhàn),可伸縮,高維性,異種數(shù)據(jù)和復(fù)雜數(shù)據(jù),數(shù)據(jù)的所有權(quán)和分布,非傳統(tǒng)數(shù)據(jù),可伸縮,高維性,異種數(shù)據(jù)和復(fù)雜數(shù)據(jù),2.DIP,數(shù)據(jù)庫,DIP,數(shù)據(jù)庫是專門存儲(chǔ)蛋白質(zhì)相互作用信息的數(shù)據(jù)庫。該數(shù)據(jù)庫中也包含人工檢查的可靠信息和自動(dòng)計(jì)算方法所獲取的高通量數(shù)據(jù)。,3.MIPS,數(shù)據(jù)庫,MIPS,數(shù)據(jù)庫是一個(gè)跨物種的綜合性數(shù)據(jù)庫，包含多種數(shù)據(jù)庫信息。其中的,CYGD,數(shù)據(jù)庫提供了比較完整酵母蛋白質(zhì)互作信息。而,MIPS,哺乳動(dòng)物數(shù)據(jù)庫,MPPI,則提供了經(jīng)過人工檢查的哺乳動(dòng)物蛋白質(zhì)互作信息。,4.BioGrid,數(shù)據(jù)庫,BioGrid,數(shù)據(jù)庫是一個(gè)包含多物種蛋白質(zhì)互作信息的數(shù)據(jù)庫。數(shù)據(jù)庫中包含來自多個(gè)物種的互作信息，其中即包括物理互作信息也包括遺傳互作信息。,主要記錄蛋白質(zhì)互作在內(nèi)的生物分子間的相互作用信息，并將其中的信息分為經(jīng)過人工檢查的可信信息和高通量數(shù)據(jù)信息。,1.BIND,數(shù)據(jù)庫,數(shù)據(jù)的所有權(quán)和分布,內(nèi)容安排,數(shù)據(jù),探索數(shù)據(jù),分類：基本概念、決策樹與模型評估,分類：其他技術(shù),關(guān)聯(lián)分析：基本概念和算法,關(guān)聯(lián)分析：高級概念,聚類分析：基本概念和算法,聚類分析：附加問題與算法,