數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)第2章

單擊此處編輯母版標(biāo)題樣式,,單擊此處編輯母版文本樣式,,第二級(jí),,第三級(jí),,第四級(jí),,第五級(jí),,*,*,第二章 數(shù)據(jù)倉(cāng)庫(kù)的分析,,主要內(nèi)容,,如何建立數(shù)據(jù)倉(cāng)庫(kù)的需求模型？,,影響數(shù)據(jù)倉(cāng)庫(kù)成功的因素有哪些？,,數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)各階段的任務(wù)是什么？,,數(shù)據(jù)倉(cāng)庫(kù)的基本體系結(jié)構(gòu)是怎樣的？,,數(shù)據(jù)倉(cāng)庫(kù)的邏輯結(jié)構(gòu)是怎樣的？,12/11/2024,1,,1、如何建立數(shù)據(jù)倉(cāng)庫(kù)的需求模型？,——是數(shù)據(jù)倉(cāng)庫(kù)的分析中首要解決的問(wèn)題,12/11/2024,2,,圖2.1 數(shù)據(jù)倉(cāng)庫(kù)的需求分析模型,12/11/2024,3,,2、影響數(shù)據(jù)倉(cāng)庫(kù)成功的因素有哪些？,12/11/2024,4,,影響因素,數(shù)據(jù)存儲(chǔ)的組織方式，決定了數(shù)據(jù)的可獲取性與有用性，進(jìn)而決定了數(shù)據(jù)的價(jià)值。,,數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)庫(kù)結(jié)構(gòu)有以下要求：（P44表2.1）,,反映靜態(tài)數(shù)據(jù),,存儲(chǔ)歷史數(shù)據(jù),,在時(shí)間上是可見(jiàn)的、明確的,,數(shù)據(jù)的粒度是詳細(xì)的可導(dǎo)出的匯總,,定期的、計(jì)劃的更新,,支持的任務(wù)是不可預(yù)期的,,對(duì)數(shù)據(jù)庫(kù)的靈活性要求高,12/11/2024,5,,12/11/2024,6,,12/11/2024,7,,3、數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)各階段的任務(wù)是什么？,12/11/2024,8,,傳統(tǒng)的操作型系統(tǒng)的生命周期,,System Development Life Cycle,,,SDLC,系統(tǒng)開(kāi)發(fā)生命周期,,,需求驅(qū)動(dòng),的開(kāi)發(fā)生命周期,12/11/2024,9,,數(shù)據(jù)倉(cāng)庫(kù)的生命周期CLDS,,CLDS,數(shù)據(jù)驅(qū)動(dòng),的開(kāi)發(fā)生命周期（SDLC的逆序）,,實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù),,集成數(shù)據(jù),,檢驗(yàn)偏差,,針對(duì)數(shù)據(jù)編程,,設(shè)計(jì)DSS系統(tǒng),,分析結(jié)果和,,理解需求,,參見(jiàn)P45圖2.5,12/11/2024,10,,12/11/2024,11,,1.數(shù)據(jù)倉(cāng)庫(kù)計(jì)劃與準(zhǔn)備階段,,用戶(hù)需求分析,,可行性研究,,用戶(hù)的認(rèn)可,,建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)調(diào)與阻力分析,,開(kāi)發(fā)項(xiàng)目計(jì)劃制定,,關(guān)鍵資源管理,12/11/2024,12,,（1）用戶(hù)需求分析內(nèi)容,用戶(hù)如何處理其事務(wù),,如何衡量用戶(hù)的工作表現(xiàn),,用戶(hù)需要什么屬性（在信息方面）,,應(yīng)用于這些屬性的業(yè)務(wù)層次結(jié)構(gòu)是什么,,用戶(hù)現(xiàn)在使用什么數(shù)據(jù)，以及需要什么數(shù)據(jù),,用戶(hù)需要什么水平的細(xì)節(jié)或匯總數(shù)據(jù),12/11/2024,13,,12/11/2024,14,,（2）可行性研究,,三個(gè)重要分析,,技術(shù)可行性,,操作可行性,,經(jīng)濟(jì)可行性,12/11/2024,15,,（3）用戶(hù)認(rèn)可（User buy in）,重要因素,,用戶(hù)大力支持不可少，其與上層的支持是不同的,,不能完全改變決策方式，只能改變決策信息的獲取方法，改進(jìn)用戶(hù)獲取信息的方法,,數(shù)據(jù)倉(cāng)庫(kù)必須經(jīng)常集成其中應(yīng)用軟件的數(shù)據(jù)，理解用戶(hù)的看法,12/11/2024,16,,（4）建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)調(diào)與阻力分析,12/11/2024,17,,（5）開(kāi)發(fā)項(xiàng)目計(jì)劃制定,12/11/2024,18,,（6）創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)所使用的關(guān)鍵資源,,人才,,業(yè)務(wù)分析員,,確定和定義目的和目標(biāo)用戶(hù)群,,確定滿(mǎn)足組織戰(zhàn)略性商業(yè)目標(biāo),,數(shù)據(jù)體系結(jié)構(gòu)設(shè)計(jì)師,,數(shù)據(jù)的采集、轉(zhuǎn)換、分配和加載,,定義數(shù)據(jù)模型,,信息系統(tǒng)服務(wù)人員,,最終用戶(hù)支持人員,,領(lǐng)導(dǎo)和管理人員,,項(xiàng)目領(lǐng)導(dǎo),,項(xiàng)目經(jīng)理,,硬件,,軟件,12/11/2024,19,,2.數(shù)據(jù)倉(cāng)庫(kù)的其他階段,,12/11/2024,20,,數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)分析,,系統(tǒng)分析的目標(biāo)是了解當(dāng)前實(shí)際是如何工作的，以使得系統(tǒng)的操作可在將來(lái)得到改善。,,原型法,,注意：不能與其所有可操作數(shù)據(jù)源相連，數(shù)據(jù)仍然需要做數(shù)據(jù)凈化、傳送等工作,,開(kāi)發(fā)方法,,數(shù)據(jù)驅(qū)動(dòng)法,,應(yīng)用驅(qū)動(dòng)法,12/11/2024,21,,數(shù)據(jù)驅(qū)動(dòng)方法,,數(shù)據(jù)源：連續(xù)的數(shù)據(jù)源,,次序：自頂向下,,優(yōu)點(diǎn)：每一個(gè)階段在技術(shù)上都很簡(jiǎn)單，只涉及一個(gè)文件或數(shù)據(jù)庫(kù)類(lèi)型映射到數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)之中，每個(gè)附加數(shù)據(jù)源只有在其前面的附加數(shù)據(jù)源處理完之后才添加。,,缺點(diǎn)：數(shù)據(jù)資源不能利落地映射到商業(yè)查詢(xún)中。,12/11/2024,22,,應(yīng)用驅(qū)動(dòng)方法,,數(shù)據(jù)源：來(lái)自幾個(gè)操作系統(tǒng)的數(shù)據(jù),,次序：自頂向下,,優(yōu)點(diǎn)：在第一階段就提供有用的信息,,缺點(diǎn)：到達(dá)這一階段要花費(fèi)較長(zhǎng)的時(shí)間、并且需要的活動(dòng)很多很復(fù)雜,12/11/2024,23,,數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)設(shè)計(jì),,重點(diǎn)：設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的元素，即數(shù)據(jù)庫(kù)和數(shù)據(jù)分析,,如何選擇數(shù)據(jù)庫(kù)體系結(jié)構(gòu),,按照哪種系統(tǒng)結(jié)構(gòu)設(shè)計(jì),,如何安排數(shù)據(jù)庫(kù),,定義數(shù)據(jù)如何使用所有的數(shù)據(jù)源都被映射傳送到數(shù)據(jù)倉(cāng)庫(kù),,描述數(shù)據(jù)倉(cāng)庫(kù)何時(shí)及時(shí)如何更新并回答程序員遇到的無(wú)數(shù)多個(gè)”我該怎么辦”,12/11/2024,24,,數(shù)據(jù)倉(cāng)庫(kù)的測(cè)試,,適用于順序測(cè)試,,確保對(duì)源文件提取記錄及字段的正確性,,證明傳送和凈化工作正常，對(duì)比元數(shù)據(jù)，檢查數(shù)據(jù)倉(cāng)庫(kù)內(nèi)容以確保整個(gè)加載過(guò)程有效，可能要測(cè)試有關(guān)已知誰(shuí)的回答的分析。,,增強(qiáng)維護(hù)，增強(qiáng)用戶(hù)支持,12/11/2024,25,,思考,查閱賽迪網(wǎng)，閱讀和比較不同的數(shù)據(jù)倉(cāng)庫(kù)的解決方案。明確數(shù)據(jù)驅(qū)動(dòng)法與應(yīng)用驅(qū)動(dòng)法兩種方法在數(shù)據(jù)倉(cāng)庫(kù)實(shí)施中的不同表現(xiàn)。,12/11/2024,26,,4、數(shù)據(jù)倉(cāng)庫(kù)的基本體系結(jié)構(gòu)是怎樣的？,12/11/2024,27,,數(shù)據(jù)倉(cāng)庫(kù)基本體系結(jié)構(gòu),12/11/2024,28,,數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu),數(shù)據(jù)是從各種內(nèi)外部的源系統(tǒng)文件或數(shù)據(jù)庫(kù)中抽取得到,不同源系統(tǒng)中的數(shù)據(jù)在加載到數(shù)據(jù)倉(cāng)庫(kù)之前需要被轉(zhuǎn)換和集成,建立為決策支持服務(wù)的數(shù)據(jù)庫(kù)，即數(shù)據(jù)倉(cāng)庫(kù)，它通常會(huì)同時(shí)包括詳細(xì)的和概括的數(shù)據(jù),數(shù)據(jù)倉(cāng)庫(kù),用戶(hù)通過(guò)SQL查詢(xún)語(yǔ)言、分析工具或數(shù)據(jù)挖掘工具訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù),12/11/2024,29,,數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu),,12/11/2024,30,,數(shù)據(jù)分級(jí),,Data Staging,,提取，轉(zhuǎn)化，凈化，加載,,,數(shù)據(jù)倉(cāng)庫(kù)不直接存儲(chǔ)事務(wù)數(shù)據(jù),，提取時(shí)必須將事務(wù)數(shù)據(jù)進(jìn)行轉(zhuǎn)換成數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)結(jié)構(gòu)和內(nèi)部格式，為了保證數(shù)據(jù)的品質(zhì)，還要對(duì)數(shù)據(jù)進(jìn)行凈化，將凈化后的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中。,12/11/2024,31,,ETL（提取—轉(zhuǎn)換—加載）,,數(shù)據(jù)的提取—轉(zhuǎn)換—加載（ETL）是用來(lái)實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的數(shù)據(jù)集成，即完成數(shù)據(jù)的抓取/抽取、清洗、轉(zhuǎn)換、加載與索引等數(shù)據(jù)調(diào)和工作。,,ETL是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中最重要的處理工具之一，它的主要任務(wù)是建立、維護(hù)數(shù)據(jù)倉(cāng)庫(kù)，通過(guò)與操作型數(shù)據(jù)源的映像關(guān)系執(zhí)行數(shù)據(jù)提取—轉(zhuǎn)換—加載的任務(wù)。其中涉及各種各樣的技術(shù)和處理，比如，數(shù)據(jù)清洗及其準(zhǔn)備結(jié)構(gòu)的設(shè)計(jì)和處理、映像技術(shù)和方法、粒度的考慮，以及數(shù)據(jù)的提取、轉(zhuǎn)換、追加、加載作業(yè)控制等一系列問(wèn)題。,操作型系統(tǒng),數(shù)據(jù)倉(cāng)庫(kù),提取,集結(jié)地,清洗,轉(zhuǎn)換,加載與索引,拒絕數(shù)據(jù)的信息,有關(guān)拒絕數(shù)據(jù)的信息,12/11/2024,32,,元數(shù)據(jù),,元數(shù)據(jù)Metadata,,“有關(guān)數(shù)據(jù)的數(shù)據(jù)”,,“數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)是要解決何人在何時(shí)何地為了什么原因及怎樣使用數(shù)據(jù)倉(cāng)庫(kù)的問(wèn)題”。 可對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的各種數(shù)據(jù)進(jìn)行詳細(xì)的描述與說(shuō)明，說(shuō)明每個(gè)數(shù)據(jù)的上下文關(guān)系，使每個(gè)數(shù)據(jù)具有符合現(xiàn)實(shí)的真實(shí)含義，使最終用戶(hù)了解這些數(shù)據(jù)之間的關(guān)系。,,作用：,,,通過(guò)元數(shù)據(jù)進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的管理；,,通過(guò)元數(shù)據(jù)來(lái)使用數(shù)據(jù)倉(cāng)庫(kù)。,12/11/2024,33,,,技術(shù)元數(shù)據(jù),：用于對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行管理的元數(shù)據(jù),,是數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和管理人員用于數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)和日常管理數(shù)據(jù)倉(cāng)庫(kù)時(shí)使用的元數(shù)據(jù)。它包括數(shù)據(jù)源信息、數(shù)據(jù)轉(zhuǎn)換的描述、數(shù)據(jù)倉(cāng)庫(kù)對(duì)象和數(shù)據(jù)結(jié)構(gòu)的定義、數(shù)據(jù)清理和數(shù)據(jù)更新時(shí)采用的規(guī)則、源數(shù)據(jù)到目的數(shù)據(jù)的映射、用戶(hù)訪(fǎng)問(wèn)權(quán)限、數(shù)據(jù)備份歷史紀(jì)錄、數(shù)據(jù)導(dǎo)入歷史紀(jì)錄、信息發(fā)布?xì)v史紀(jì)錄等。,,商業(yè)元數(shù)據(jù),：幫助使用數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù),,從商業(yè)業(yè)務(wù)的角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。它包括業(yè)務(wù)主題的描述，以及對(duì)所包含的數(shù)據(jù)、查詢(xún)、報(bào)表的描述，等等。,12/11/2024,34,,元數(shù)據(jù)為訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)提供了一個(gè)信息目錄,,數(shù)據(jù)倉(cāng)庫(kù)中都有些什么數(shù)據(jù),,這些數(shù)據(jù)是怎么得到的,,誰(shuí)在管轄,,怎么訪(fǎng)問(wèn)這些數(shù)據(jù),,其他更多的信息,,可通過(guò)查詢(xún)工具得知元數(shù)據(jù)的有關(guān)資料,,元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行和維護(hù)的中心，數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器必須利用元數(shù)據(jù)來(lái)存儲(chǔ)和更新數(shù)據(jù)，用戶(hù)必須通過(guò)元數(shù)據(jù)來(lái)了解和訪(fǎng)問(wèn)數(shù)據(jù)。,12/11/2024,35,,數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù),,是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境的核心，是數(shù)據(jù)存放的地方，提供對(duì)數(shù)據(jù)的支持和快速檢索的支持,,相對(duì)于操縱型數(shù)據(jù)庫(kù)來(lái)說(shuō)，其突出的特點(diǎn)是,對(duì)海量數(shù)據(jù)的支持和快速的檢索技術(shù),。,,包含,,明細(xì)數(shù)據(jù)和匯總數(shù)據(jù),12/11/2024,36,,查詢(xún)工具,,查詢(xún)工具通常包括一個(gè)用于向數(shù)據(jù)庫(kù)提出問(wèn)題的最終用戶(hù)接口，此接口位于,聯(lián)機(jī)分析處理OLAP,的程序中。,12/11/2024,37,,4、數(shù)據(jù)倉(cāng)庫(kù)的邏輯結(jié)構(gòu)是怎樣的？,12/11/2024,38,,數(shù)據(jù)倉(cāng)庫(kù)的粒度,,粒度是指數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)單位中保存數(shù)據(jù)細(xì)化或綜合程度的級(jí)別。,12/11/2024,39,,數(shù)據(jù)倉(cāng)庫(kù)的粒度,粒度,,粒度越小，細(xì)節(jié)程度越高，綜合程度越低，回答查詢(xún)的種類(lèi)就越多反之，粒度的增大將會(huì)提高查詢(xún)效率，但同時(shí)也造成回答細(xì)節(jié)問(wèn)題能力的下降。,,低粒度級(jí)（高細(xì)節(jié)級(jí)）,,高粒度級(jí)（低細(xì)節(jié)級(jí)）,,例如：電訊公司數(shù)據(jù)倉(cāng)庫(kù)中，保存一個(gè)顧客一個(gè)月內(nèi)每個(gè)電話(huà)的細(xì)節(jié)——高細(xì)節(jié)級(jí)，低粒度級(jí)，假設(shè)有200個(gè)記錄，包含本月內(nèi)200個(gè)電話(huà)的任何信息；保存一個(gè)顧客一個(gè)月內(nèi)每天電話(huà)的匯總——輕度綜合，較高粒度級(jí)，只有30或31條記錄，只能回答匯總查詢(xún)的問(wèn)題。保存一個(gè)顧客一個(gè)月內(nèi)的電話(huà)的綜合——低細(xì)節(jié)級(jí)，高粒度級(jí)，只有一條記錄。,12/11/2024,40,,輕度綜合數(shù)據(jù),,12/11/2024,41,,數(shù)據(jù)倉(cāng)庫(kù)的粒度,,雙重粒度,,指輕度綜合數(shù)據(jù)和真實(shí)細(xì)節(jié)數(shù)據(jù)級(jí)（最低粒度級(jí)）,,大部分的分析數(shù)據(jù)是針對(duì)被壓縮的、存取效率高的輕度粒度級(jí)數(shù)據(jù)進(jìn)行的。,,需要分析更低的細(xì)節(jié)數(shù)據(jù)時(shí)才訪(fǎng)問(wèn)最低粒度級(jí)數(shù)據(jù)。,12/11/2024,42,,12/11/2024,43,,數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)分割,,把數(shù)據(jù)分散到各自小的物理單元中去,,任何給定的單元屬于一個(gè)分割,,數(shù)據(jù)分割后的數(shù)據(jù)單元稱(chēng)為分片,,分割后的單元具有,靈活性,，能夠?qū)崿F(xiàn)重構(gòu)、索引、順序掃描、重組、恢復(fù)、監(jiān)控等,12/11/2024,44,,數(shù)據(jù)分割,,12/11/2024,45,,12/11/2024,46,,數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)組織,,簡(jiǎn)單堆積結(jié)構(gòu),,輪轉(zhuǎn)綜合數(shù)據(jù)存儲(chǔ),,簡(jiǎn)單直接文件,,連續(xù)組織,12/11/2024,47,,簡(jiǎn)單堆積結(jié)構(gòu),,從操作型環(huán)境中取出每天的事務(wù)數(shù)據(jù),,根據(jù)主題來(lái)綜合成數(shù)據(jù)倉(cāng)庫(kù)記錄,12/11/2024,48,,輪轉(zhuǎn)綜合數(shù)據(jù)存儲(chǔ),只有在輪轉(zhuǎn)綜合文件中的數(shù)據(jù)才能被輸入到不同的結(jié)構(gòu)形式中，而操作型數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中的數(shù)據(jù)處理方法簡(jiǎn)單的堆積結(jié)構(gòu)相同。,方式：每天進(jìn)行數(shù)據(jù)綜合，每周累加，月底將每周的數(shù)據(jù)加到一起，并放于第一個(gè)每月響應(yīng)的數(shù)據(jù)位置處，然后每周數(shù)據(jù)位置清零。到了年底，將每月數(shù)據(jù)累加，放入第一個(gè)年度響應(yīng)的數(shù)據(jù)位置處，然后每月數(shù)據(jù)位置清零。,12/11/2024,49,,簡(jiǎn)單堆積與輪轉(zhuǎn)綜合的比較,12/11/2024,50,,簡(jiǎn)單直接文件組織,,把數(shù)據(jù)從操作型環(huán)境拖入數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中，無(wú)任何累積，以較長(zhǎng)時(shí)間為單位的,,它是間隔一定時(shí)間的操作型數(shù)據(jù)的一個(gè)快照,12/11/2024,51,,連續(xù)數(shù)據(jù)組織,,依據(jù)兩個(gè)或更多的簡(jiǎn)單直接文件快照進(jìn)行合并創(chuàng)建或追加的,12/11/2024,52,,快照,,是為一些事件的發(fā)生而產(chǎn)生的,,事件的類(lèi)型,,隨機(jī)發(fā)生的離散活動(dòng),,在規(guī)定時(shí)間點(diǎn),,事件觸發(fā)快照，其基本結(jié)構(gòu)由四個(gè)部分組成,,鍵碼（Key）,,時(shí)間單元（描述事件已發(fā)生或捕捉數(shù)據(jù)的時(shí)間）,,只和關(guān)鍵碼相關(guān)的初始數(shù)據(jù),,與關(guān)鍵碼無(wú)直接關(guān)系的二次數(shù)據(jù),12/11/2024,53,,課堂練習(xí),,充分認(rèn)識(shí)數(shù)據(jù)倉(cāng)庫(kù)中幾個(gè)關(guān)鍵術(shù)語(yǔ)，說(shuō)明它們的概念與意義,,ETL,,元數(shù)據(jù),,粒度,,數(shù)據(jù)分割,,快照,,輪轉(zhuǎn)綜合數(shù)據(jù)存儲(chǔ),12/11/2024,54,,