數(shù)據(jù)倉庫初稿(第二版).ppt

《數(shù)據(jù)倉庫初稿(第二版).ppt》由會員分享，可在線閱讀，更多相關(guān)《數(shù)據(jù)倉庫初稿(第二版).ppt（24頁珍藏版）》請在裝配圖網(wǎng)上搜索。

數(shù)據(jù)倉庫,顧安寧,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,1,內(nèi)容,數(shù)據(jù)倉庫一些特點(diǎn)數(shù)據(jù)倉庫的架構(gòu)OracleRAC架構(gòu)GreenPlum架構(gòu)MapReduce的概念架構(gòu)比較風(fēng)險評估,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,2,數(shù)據(jù)倉庫的目前的現(xiàn)狀,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,3,軟件架構(gòu)硬件架構(gòu)硬軟架構(gòu)又可以分成封閉式和開放式。封閉式硬件架構(gòu)代表廠商有teradata，其硬件是專屬的，必須使用特殊的硬件才能運(yùn)行。開放式硬件架構(gòu)的代表有oracle，可以運(yùn)行在各種硬件上，不過開放和封閉之間的界限也逐步的融合。,數(shù)據(jù)倉庫的目前的現(xiàn)狀,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,4,Greenplum在這兩方面取長補(bǔ)短，所提供的該公司的旗艦產(chǎn)品——Greenplum數(shù)據(jù)引擎就是特別為支持新型數(shù)據(jù)倉庫和大規(guī)模分析處理而設(shè)計開發(fā)的，可以同時支持SQL和MapReduce技術(shù)。Greenplum數(shù)據(jù)引擎對有PB量級數(shù)據(jù)的大型公司提供數(shù)據(jù)處理能力。基于Greenplum數(shù)據(jù)引擎的解決方案的核心優(yōu)勢在于可將原來長達(dá)數(shù)小時甚至數(shù)天的運(yùn)算時間縮短為幾分鐘。,數(shù)據(jù)倉庫的軟件架構(gòu),數(shù)據(jù)倉庫的軟件架構(gòu)選擇更加豐富數(shù)據(jù)庫軟件ETL軟件展現(xiàn)軟件數(shù)據(jù)挖掘軟件每一種類型里面都具備非常多的選擇。,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,5,ETL約占整個項目的70%,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,6,ETL，Extraction-Transformation-Loading的縮寫，中文名稱為數(shù)據(jù)抽取、轉(zhuǎn)換和加載。ETL負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。如果說數(shù)據(jù)倉庫的模型設(shè)計是一座大廈的設(shè)計藍(lán)圖，數(shù)據(jù)是磚瓦的話，那么ETL就是建設(shè)大廈的過程。在整個項目中最難部分是用戶需求分析和模型設(shè)計，而ETL規(guī)則設(shè)計和實(shí)施則是工作量最大的，約占整個項目的60%～80%，,數(shù)據(jù)倉庫的架構(gòu)設(shè)計一些考慮因素,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,7,1.成本。成本永遠(yuǎn)是企業(yè)關(guān)心的一個核心問題，特別在如今經(jīng)濟(jì)寒冬，更是如此。2.效率。能否高效的處理海量的數(shù)據(jù)是一個基礎(chǔ)要素，搞數(shù)據(jù)倉庫的都知道，數(shù)據(jù)量永遠(yuǎn)是一個經(jīng)常被拿出來討論的話題。3.線性擴(kuò)展。能支持線性擴(kuò)展的系統(tǒng)在計劃支撐多年的系統(tǒng)中特別重要，可以非常方便的做出年度預(yù)算。4.協(xié)同工作。解決多人協(xié)同開發(fā)問題。,數(shù)據(jù)倉庫的架構(gòu)設(shè)計一些考慮因素,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,8,5.調(diào)度。能否很方便的一目了然的看到整體調(diào)度，站在一個非常高的高度來管理各種數(shù)據(jù)流。6.兼容性。能否兼容各種異構(gòu)數(shù)據(jù)。7.準(zhǔn)確的監(jiān)控系統(tǒng)。8.高效的開發(fā)框架。,數(shù)據(jù)倉庫的架構(gòu)類型,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,9,Oracle數(shù)據(jù)倉庫的架構(gòu),2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,10,GreenPlum數(shù)據(jù)倉庫的架構(gòu),2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,11,GreenPlum數(shù)據(jù)倉庫的架構(gòu),2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,12,MapReduce概念,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,13,MapReduce是一種編程模型(并不是google自己開發(fā)的編程工具)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念"Map（映射）"和"Reduce（化簡）"，和他們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程人員在不會分布式并行編程的情況下,將自己的程序運(yùn)行在分布式系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（化簡）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。,MapReduce映射概念,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,14,簡單說來，一個映射函數(shù)就是對一些獨(dú)立元素組成的概念上的列表（例如，一個測試成績的列表）的每一個元素進(jìn)行指定的操作（比如前面的例子里，有人發(fā)現(xiàn)所有學(xué)生的成績都被高估了一分，他可以定義一個“減一”的映射函數(shù)，用來修正這個錯誤。）。事實(shí)上，每個元素都是被獨(dú)立操作的，而原始列表沒有被更改，因為這里創(chuàng)建了一個新的列表來保存新的答案。這就是說，Map操作是可以高度并行的，這對高性能要求的應(yīng)用以及并行計算領(lǐng)域的需求非常有用。,MapReduce化簡概念,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,15,而化簡操作指的是對一個列表的元素進(jìn)行適當(dāng)?shù)暮喜ⅲɡ^續(xù)看前面的例子，如果有人想知道班級的平均分該怎么做？他可以定義一個化簡函數(shù)，通過讓列表中的元素跟自己的相鄰的元素相加的方式把列表減半，如此遞歸運(yùn)算直到列表只剩下一個元素，然后用這個元素除以人數(shù)，就得到了平均分。）。雖然他不如映射函數(shù)那么并行，但是因為化簡總是有一個簡單的答案，大規(guī)模的運(yùn)算相對獨(dú)立，所以化簡函數(shù)在高度并行環(huán)境下也很有用。,MapReduce的分布和可靠性,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,16,MapReduce通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個節(jié)點(diǎn)實(shí)現(xiàn)可靠性；每個節(jié)點(diǎn)會周期性的把完成的工作和狀態(tài)的更新報告回來。如果一個節(jié)點(diǎn)保持沉默超過一個預(yù)設(shè)的時間間隔，主節(jié)點(diǎn)（類同GoogleFileSystem中的主服務(wù)器）記錄下這個節(jié)點(diǎn)狀態(tài)為死亡，并把分配給這個節(jié)點(diǎn)的數(shù)據(jù)發(fā)到別的節(jié)點(diǎn)。每個操作使用命名文件的原子操作以確保不會發(fā)生并行線程間的沖突；當(dāng)文件被改名的時候，系統(tǒng)可能會把他們復(fù)制到任務(wù)名以外的另一個名字上去。（避免副作用）。,MapReduce的分布和可靠性,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,17,化簡操作工作方式很類似，但是由于化簡操作在并行能力較差，主節(jié)點(diǎn)會盡量把化簡操作調(diào)度在一個節(jié)點(diǎn)上，或者離需要操作的數(shù)據(jù)盡可能近的節(jié)點(diǎn)上了；這個特性可以滿足Google的需求，因為他們有足夠的帶寬，他們的內(nèi)部網(wǎng)絡(luò)沒有那么多的機(jī)器。,MapReduce的用途,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,18,在Google，MapReduce用在非常廣泛的應(yīng)用程序中，包括“分布grep，分布排序，web連接圖反轉(zhuǎn)，每臺機(jī)器的詞矢量，web訪問日志分析，反向索引構(gòu)建，文檔聚類,機(jī)器學(xué)習(xí)，基于統(tǒng)計的機(jī)器翻譯...”值得注意的是，MapReduce實(shí)現(xiàn)以后，它被用來重新生成Google的整個索引。MapReduce會生成大量的臨時文件，為了提高效率，它利用Google文件系統(tǒng)來管理和訪問這些文件。,數(shù)據(jù)倉庫的架構(gòu)比較,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,19,硬件物理架構(gòu)比較,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,20,數(shù)據(jù)倉庫的物理架構(gòu)，包含硬件物理架構(gòu)和軟件物理架構(gòu)。硬件物理架構(gòu)包含集中式和分布式兩種，在企業(yè)里面都有運(yùn)用。集中式硬件物理架構(gòu)偏向于使用非常power的小型機(jī)或者大型機(jī)，非常高端的海量存儲，管理簡單，在不計投入的情況下性能也能滿足企業(yè)需求。分布式硬件物理架構(gòu)目前非常流行，特征是采用價格低廉的中低端機(jī)器組成計算集群，不同的技術(shù)驅(qū)動下，在sharednothing的架構(gòu)下可以采用本機(jī)的硬盤，在sharedeverything的架構(gòu)下偏向使用集中存儲，分布式集群在網(wǎng)絡(luò)上的要求比較高，擴(kuò)展性比較好，配合好的軟件可以達(dá)到線性擴(kuò)展的要求。,軟件物理架構(gòu)比較,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,21,軟件物理架構(gòu)主要特征區(qū)別就是行存儲和列存儲。這個也是曾經(jīng)很多廠商津津樂道的地方，根據(jù)需求的不同，2種方式可以靈活采用。大部分DB軟件都是采用行存儲，而列存儲的特征在于高效的單列值壓縮，在選擇列比較少的時候需要io要求很低，速度很快，不過行存儲的DB目前在壓縮效率上也在迅速提升，大部分需求還是選擇行數(shù)據(jù)進(jìn)行觀察，行存儲也更加便于表的按記錄拆分進(jìn)行并行化。,OracleRAC和GreenPlum成本比較,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,22,,OracleRAC包括軟件成本，維護(hù)成本，硬件成本，由于Oracle采用sharedeverything方式，因而除了OracleRAC本身的軟件成本，維護(hù)成本外，還有很大一塊存儲成本。而GreenPlum是采用sharednothing方式，可以采用廉價的硬盤存儲方式。軟件成本相對于Oracle來說也便宜很多。因為數(shù)據(jù)倉庫的主要的工作量和維護(hù)成本是ETL，而斯凱目前大部分?jǐn)?shù)據(jù)都放在Oracle數(shù)據(jù)庫中，因而采用OracleRAC方案ETL時間會大大縮小。,OracleRAC和GreenPlum風(fēng)險評估,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,23,,OracleRAC方案是基于成熟的架構(gòu)，被業(yè)界采用最廣泛的方案，因而風(fēng)險相對小很多而GreenPlum方案是目前最近的解決方案，國外VideoEgg和Skype等公司采用。09年剛剛進(jìn)入中國，目前國內(nèi)還沒有公司正式采用，淘寶，阿里巴巴B2B公司在試用。因而遇到的風(fēng)險相對會大很多,提問與討論,しろうとかんがくろうとじっこう素人のように考え、玄人として実行する像外行一樣思考，像專家一樣實(shí)踐かなでたけお金出武雄,2020/4/27,杭州斯凱網(wǎng)絡(luò)科技有限公司,24,