數(shù)據(jù)倉庫技術(shù)制定方案.doc

《數(shù)據(jù)倉庫技術(shù)制定方案.doc》由會(huì)員分享，可在線閱讀，更多相關(guān)《數(shù)據(jù)倉庫技術(shù)制定方案.doc（7頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

數(shù)據(jù)倉庫制定方案 在當(dāng)下的數(shù)據(jù)倉庫系統(tǒng)安全控制模塊中，我國數(shù)據(jù)倉庫安全分為不同的等級(jí)。總體來說，我國的數(shù)據(jù)倉庫安全性是比較低。為更好的健全計(jì)算機(jī)數(shù)據(jù)倉庫體系，進(jìn)行數(shù)據(jù)倉庫安全體系的研究是必要的。很多軟件都是因?yàn)槠浔容^缺乏安全性而得不到較大范圍的應(yīng)用，歸根結(jié)底是數(shù)據(jù)倉庫安全性級(jí)別比較低。為滿足現(xiàn)階段數(shù)據(jù)倉庫安全工作的需要，有利于數(shù)據(jù)倉庫保密性的控制，保證這些數(shù)據(jù)存儲(chǔ)與調(diào)用的一致性。 當(dāng)前數(shù)據(jù)倉庫安全控制過程中，首先需要對(duì)這些數(shù)據(jù)進(jìn)行可用性的分析，從而有利于避免數(shù)據(jù)倉庫遭到破壞，更有利于進(jìn)行數(shù)據(jù)倉庫的損壞控制及其修復(fù)。其次為了保證數(shù)據(jù)倉庫的安全性、效益性，也離不開對(duì)數(shù)據(jù)倉庫整體安全性方案的應(yīng)用。最后必須對(duì)數(shù)據(jù)倉庫進(jìn)行的一切操作進(jìn)行跟蹤記錄，以實(shí)現(xiàn)對(duì)修改和訪問數(shù)據(jù)倉庫的用戶進(jìn)行追蹤，從而方便追查并防止非法用戶對(duì)數(shù)據(jù)倉庫進(jìn)行操作。 2.1數(shù)據(jù)倉庫安全整體規(guī)劃 本方案通過對(duì)電力行業(yè)敏感信息泄露安全威脅的分析，對(duì)數(shù)據(jù)倉庫安全進(jìn)行整體設(shè)計(jì)與規(guī)劃，通過全系列數(shù)據(jù)倉庫安全產(chǎn)品相互之間分工協(xié)作，共同形成整體的防護(hù)體系，覆蓋了數(shù)據(jù)倉庫安全防護(hù)的事前診斷、事中控制和事后分析。 制定嚴(yán)密可行的實(shí)施計(jì)劃，整個(gè)工程嚴(yán)格按照計(jì)劃進(jìn)行；公司質(zhì)量控制部利用ISO9000質(zhì)量管理規(guī)范對(duì)工程的軟件開發(fā)及實(shí)施全過程進(jìn)行監(jiān)督和控制；建立完善的軟件開發(fā)和工程實(shí)施的文檔體系。對(duì)程序進(jìn)行測(cè)試，對(duì)各個(gè)模塊之間的關(guān)聯(lián)情況下可能出現(xiàn)的問題進(jìn)行嚴(yán)密的測(cè)試，并不斷完善在測(cè)試過程中暴露出來的問題。在這過程中質(zhì)量控制小組將全程參與，確保軟件質(zhì)量。 需求調(diào)研是數(shù)據(jù)倉庫開發(fā)的最重要的環(huán)節(jié)之一，在調(diào)研的過程中能否真實(shí)、準(zhǔn)確地描述客戶的需求，對(duì)于數(shù)據(jù)倉庫的開發(fā)有著舉足輕重的影響。與客戶溝通不夠?qū)е聦?duì)同一個(gè)事物的描述或者理解有分歧和差異，或者調(diào)研過程中流于表面文字，而沒有進(jìn)入實(shí)際的操作，都可能造成在需求調(diào)研的過程中造成對(duì)需求不精確的理解。失之毫厘，謬之千里，需求調(diào)研的微小差異可能會(huì)在軟件的開發(fā)過程中造成較大的偏差，直接影響了工程的建設(shè)質(zhì)量。為此我們?yōu)樾枨笳{(diào)研工作分配了充裕的人力的時(shí)間，制定了完善的調(diào)研方案，對(duì)需求調(diào)研的深度和廣度做了規(guī)范性的描述。確保需求調(diào)研的工作質(zhì)量。 2.2數(shù)據(jù)倉庫開發(fā)階段劃分與目標(biāo) 2.2.1、需求分析階段 主要對(duì)供電公司的需求、軟硬件條件、數(shù)據(jù)狀況等情況進(jìn)行調(diào)研，對(duì)需求調(diào)研的結(jié)果進(jìn)行分析，同時(shí)考慮需求的廣泛適用性，歸結(jié)出其中共同的部分和相異的部分，以便下一步根據(jù)需求完成系統(tǒng)軟件開發(fā)。 2.2.2、物理建模階段 依照需求分析得到的邏輯模式，設(shè)計(jì)數(shù)據(jù)倉庫中的數(shù)據(jù)倉庫，開發(fā)數(shù)據(jù)倉庫中數(shù)據(jù)的物理存儲(chǔ)結(jié)構(gòu)，即設(shè)計(jì)多維數(shù)據(jù)結(jié)構(gòu)的事實(shí)表和維表。 2.2.3、數(shù)據(jù)轉(zhuǎn)換階段 此階段實(shí)現(xiàn)從多個(gè)源系統(tǒng)中抽取、清理、一致化、綜合、裝載數(shù)據(jù)等過程的設(shè)計(jì)和編碼。 2.2.4、生成多維模式并搭建立方體階段 在已創(chuàng)建的倉庫模式的基礎(chǔ)上，對(duì)維定義了層和層次；創(chuàng)建了需要預(yù)計(jì)算的量度；利用優(yōu)化器根據(jù)業(yè)務(wù)進(jìn)行了切片優(yōu)化和預(yù)處理，生成MQT（物化視圖）；在模式中建立立方體，供查詢和多維分析使用。 2.2.5、多維分析及展現(xiàn)階段 使用數(shù)據(jù)分析和展現(xiàn)工具，開發(fā)多維分析程序以及展現(xiàn)頁面。 2.2.6、數(shù)據(jù)挖掘階段 使用數(shù)據(jù)挖掘建模工具進(jìn)行聚類、關(guān)聯(lián)、分類、預(yù)測(cè)，使用數(shù)據(jù)挖掘模型圖示化工具，使用圖形展示挖掘結(jié)果。 2.2.7、數(shù)據(jù)倉庫項(xiàng)目目標(biāo) 使數(shù)據(jù)倉庫達(dá)到一致性、有效性、易用性、便攜性、安全性、共享、糾錯(cuò)、速度、原子事物處理、持久性和備份、降低成本和可擴(kuò)展性、復(fù)雜的計(jì)算、CRUD把信息系統(tǒng)中大量的數(shù)據(jù)按一定的模型組織起來，提供儲(chǔ)存、維護(hù)、檢索數(shù)據(jù)的功能，使信息系統(tǒng)可以方便、及時(shí)、準(zhǔn)確地從數(shù)據(jù)倉庫中獲得所需的信息。 2.3數(shù)據(jù)倉庫技術(shù)要求和范圍 項(xiàng)目方案要面向未來，技術(shù)必須具有合理性和前瞻性，應(yīng)當(dāng)符合以下幾點(diǎn)要求： 2.3.1可擴(kuò)展性 系統(tǒng)的數(shù)據(jù)倉庫技術(shù)方案要能將現(xiàn)有各種資源和應(yīng)用系統(tǒng)有效地集成在一起，系統(tǒng)數(shù)據(jù)倉庫的結(jié)構(gòu)要合理，要具有良好的可擴(kuò)展性，由于IT 領(lǐng)域技術(shù)發(fā)展十分迅速，應(yīng)用環(huán)境，系統(tǒng)硬件及系統(tǒng)軟件都會(huì)不可避免將被更新，因此系統(tǒng)的可擴(kuò)充性及版本的兼容性好壞，直接影響著應(yīng)用系統(tǒng)和用戶需求的發(fā)展和功能的提升。另一方面，它還要有與其它系統(tǒng)的接口能力，利用各系統(tǒng)功能之長，進(jìn)行優(yōu)勢(shì)互補(bǔ)。 2.3.2標(biāo)準(zhǔn)化 現(xiàn)有信息技術(shù)的發(fā)展越來越快，為了使該系統(tǒng)在未來運(yùn)行過程中其技術(shù)能和整個(gè)信息技術(shù)的發(fā)展同步，系統(tǒng)數(shù)據(jù)倉庫應(yīng)具有備靈活適應(yīng)性和良好的可擴(kuò)展性，系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)和產(chǎn)品選型要堅(jiān)持標(biāo)準(zhǔn)化，首先采用國家標(biāo)準(zhǔn)和國際標(biāo)準(zhǔn)，其次采用廣為流傳的實(shí)用化工業(yè)標(biāo)準(zhǔn)。 2.3.3可管理性 本系統(tǒng)數(shù)據(jù)倉庫是一個(gè)比較大、較復(fù)雜的系統(tǒng)，它包含大量硬件設(shè)備、軟件系統(tǒng)和數(shù)據(jù)信息資源，這些資源分布在各個(gè)不同的地點(diǎn)，因此系統(tǒng)的技術(shù)方案要提供多層次、方便、有效的管理手段，為系統(tǒng)正常運(yùn)行提供技術(shù)管理保障。 2.3.4可配臵性 由于整個(gè)系統(tǒng)數(shù)據(jù)倉庫涉及的系統(tǒng)比較多，業(yè)務(wù)種類比較復(fù)雜，因此系統(tǒng)的靈活配臵性就顯得非常重要，系統(tǒng)的可配臵性應(yīng)包括部門配臵、人員角色配臵、公文樣式配臵、處理流程配臵等。 2.3.5數(shù)據(jù)倉庫項(xiàng)目范圍 1、 數(shù)據(jù)倉庫是信息系統(tǒng)的核心和基礎(chǔ) 2、 數(shù)據(jù)倉庫是信息系統(tǒng)的各個(gè)部分是否能緊密地結(jié)合在一起以及如何結(jié)合的關(guān)鍵所在。 3、 數(shù)據(jù)倉庫設(shè)計(jì)是信息系統(tǒng)開發(fā)和建設(shè)的重要組成部分 2.4開發(fā)過程和結(jié)構(gòu)選擇 2.4.1.結(jié)構(gòu)開發(fā) 在數(shù)據(jù)倉庫規(guī)劃中一般需要經(jīng)歷這樣幾個(gè)過程：選擇實(shí)現(xiàn)策略、確定數(shù)據(jù)倉庫的開發(fā)目標(biāo)和實(shí)現(xiàn)范圍、選擇數(shù)據(jù)倉庫體系結(jié)構(gòu)、建立商業(yè)和項(xiàng)目規(guī)劃預(yù)算。 當(dāng)數(shù)據(jù)倉庫規(guī)劃完成后，需要編制相應(yīng)的數(shù)據(jù)倉庫規(guī)劃說明書，說明數(shù)據(jù)倉庫與企業(yè)戰(zhàn)略的關(guān)系，以及與企業(yè)急需處理的、范圍相對(duì)有限的開發(fā)機(jī)會(huì)，重點(diǎn)支持的職能部門和今后數(shù)據(jù)倉庫開發(fā)工作的建議，實(shí)際使用方案和開發(fā)預(yù)算，作為數(shù)據(jù)倉庫實(shí)際開發(fā)的依據(jù)。 2.4.2.結(jié)構(gòu)選擇 數(shù)據(jù)倉庫的結(jié)構(gòu)可以進(jìn)行靈活的選擇，可將組織所使用的各種平臺(tái)進(jìn)行恰當(dāng)?shù)姆指睿褦?shù)據(jù)源、數(shù)據(jù)倉庫和最終用戶使用的工作站分割開來進(jìn)行恰當(dāng)?shù)脑O(shè)計(jì)。 2.5數(shù)據(jù)倉庫的應(yīng)用結(jié)構(gòu) 基于業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)倉庫在這種結(jié)構(gòu)中，將運(yùn)作的數(shù)據(jù)用于無需修改數(shù)據(jù)的只讀應(yīng)用程序中。具有這種結(jié)構(gòu)的數(shù)據(jù)倉庫元數(shù)據(jù)倉庫是一種虛庫，而不是數(shù)據(jù)倉庫自身的元數(shù)據(jù)。在數(shù)據(jù)倉庫元數(shù)據(jù)倉庫的直接指導(dǎo)下，對(duì)數(shù)據(jù)倉庫的查詢就是簡(jiǎn)單的從數(shù)據(jù)倉庫中抽取數(shù)據(jù)。 單純數(shù)據(jù)倉庫 利用在數(shù)據(jù)倉庫中的數(shù)據(jù)源凈化、集成、概括和集成等操作，將數(shù)據(jù)源從業(yè)務(wù)處理系統(tǒng)中傳輸進(jìn)集中的數(shù)據(jù)倉庫，各部門的數(shù)據(jù)倉庫應(yīng)用只在數(shù)據(jù)倉庫中進(jìn)行。這種結(jié)構(gòu)經(jīng)常發(fā)生在多部門、少用戶使用數(shù)據(jù)倉庫的情況下。這里的集中僅僅是邏輯上的，物理上可能是分散的。 單純數(shù)據(jù)集市 數(shù)據(jù)集市是指在部門中使用的數(shù)據(jù)倉庫，因?yàn)槠髽I(yè)中的各個(gè)職能部門都有自己的特殊需要，而統(tǒng)一的數(shù)據(jù)倉庫可能不能滿足這些部門的特殊要求。這種體系結(jié)構(gòu)經(jīng)常發(fā)生在個(gè)別部門對(duì)數(shù)據(jù)倉庫的應(yīng)用感興趣，而組織中其他部門卻對(duì)數(shù)據(jù)倉庫的應(yīng)用十分冷漠之時(shí)，由熱心的部門單獨(dú)開發(fā)式所采用。 數(shù)據(jù)倉庫和數(shù)據(jù)集市 企業(yè)各部門擁有滿足自己需要的數(shù)據(jù)集市，其數(shù)據(jù)從企業(yè)數(shù)據(jù)倉庫中獲取，而數(shù)據(jù)倉庫從企業(yè)各種數(shù)據(jù)源中收集和分配。這種體系結(jié)構(gòu)是一種較為完善的數(shù)據(jù)倉庫體系結(jié)構(gòu)，往往發(fā)生在組織整體對(duì)數(shù)據(jù)倉庫應(yīng)用感興趣之時(shí)所采用的體系結(jié)構(gòu)。 2.6數(shù)據(jù)倉庫的技術(shù)平臺(tái)結(jié)構(gòu) 單層結(jié)構(gòu) 單層結(jié)構(gòu)主要是在數(shù)據(jù)源和數(shù)據(jù)倉庫之間共享平臺(tái)，或者讓數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市與最終用戶工作站使用同一個(gè)平臺(tái)。共享一個(gè)平臺(tái)可以降低數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換的復(fù)雜性，但是共享平臺(tái)在應(yīng)用中可能遇到性能和管理方面的問題，這種體系結(jié)構(gòu)一般在數(shù)據(jù)倉庫規(guī)模較小，而組織的業(yè)務(wù)系統(tǒng)平臺(tái)具有較大潛力之時(shí)所采用。 客戶/服務(wù)器兩層結(jié)構(gòu) 一層為客戶機(jī)，一層為服務(wù)器，最終用戶訪問工具在客戶層上運(yùn)行，而數(shù)據(jù)源、數(shù)據(jù)倉庫和數(shù)據(jù)集市位于服務(wù)器上，該技術(shù)機(jī)構(gòu)一般用于普通規(guī)模的數(shù)據(jù)倉庫。 三層客戶/服務(wù)器結(jié)構(gòu) 基于工作站的客戶層、基于服務(wù)器的中間層和基于主機(jī)的第三層。主機(jī)層負(fù)責(zé)管理數(shù)據(jù)源和可選的源數(shù)據(jù)轉(zhuǎn)換；服務(wù)器運(yùn)行數(shù)據(jù)倉庫和數(shù)據(jù)集市軟件，并且存儲(chǔ)倉庫的數(shù)據(jù)；客戶工作站運(yùn)行查詢和報(bào)表運(yùn)用程序，且還可以存儲(chǔ)從數(shù)據(jù)集市或數(shù)據(jù)倉庫卸載的局部數(shù)據(jù)。在數(shù)據(jù)倉庫稍具規(guī)模，兩層數(shù)據(jù)倉庫結(jié)構(gòu)已經(jīng)不能滿足客戶的需求，要講數(shù)據(jù)倉庫的數(shù)據(jù)存儲(chǔ)管理、數(shù)據(jù)倉庫的應(yīng)用處理和客戶端應(yīng)用分開之時(shí)，可以采用這種結(jié)構(gòu)。 多層式結(jié)構(gòu) 這是在三層機(jī)構(gòu)基礎(chǔ)上發(fā)展起來的數(shù)據(jù)倉庫結(jié)構(gòu)，在該結(jié)構(gòu)中從最內(nèi)數(shù)據(jù)層到最外層的客戶層依次是：?jiǎn)为?dú)的數(shù)據(jù)倉庫存儲(chǔ)層、對(duì)數(shù)據(jù)倉庫和數(shù)據(jù)集市進(jìn)行管理的數(shù)據(jù)倉庫服務(wù)層、進(jìn)行數(shù)據(jù)倉庫查詢處理的查詢服務(wù)層、完成數(shù)據(jù)倉庫應(yīng)用處理的應(yīng)用服務(wù)層和面向最終用戶的客戶層。體系層次可能多達(dá)五層，這種體系結(jié)構(gòu)一般用于超規(guī)模數(shù)據(jù)倉庫系統(tǒng)。 2.7數(shù)據(jù)倉庫使用方案和項(xiàng)目規(guī)劃預(yù)算 數(shù)據(jù)倉庫的實(shí)際使用方案與開發(fā)預(yù)算，是數(shù)據(jù)倉庫規(guī)劃中最后需要確定的問題。因?yàn)閿?shù)據(jù)倉庫主要用于對(duì)企業(yè)管理人員的決策支持，確保其實(shí)用性是十分重要的，因此需要讓最終用戶參與數(shù)據(jù)倉庫的功能設(shè)計(jì)。這種參與是通過用戶的實(shí)際使用方案進(jìn)行的，使用方案是一個(gè)非常重要的需求模型。實(shí)際使用方案必須有助于闡明最終用戶對(duì)數(shù)據(jù)倉庫的要求，這些要求有的只使用適當(dāng)?shù)臄?shù)據(jù)源就可以得到基本滿足，而有的卻需要來自企業(yè)外部的數(shù)據(jù)源，這就需要通過使用方案將這些不同的要求聯(lián)系起來。 實(shí)際使用方案還可以將最終用戶的決策支持要求與數(shù)據(jù)倉庫的技術(shù)要求聯(lián)系起來。因?yàn)楫?dāng)用戶確定最終要求后，為元數(shù)據(jù)倉庫的范圍確定一個(gè)界限。還可以確定所需要的歷史信息的數(shù)量，當(dāng)根據(jù)特定的用戶進(jìn)行數(shù)據(jù)倉庫的規(guī)劃時(shí)，就可確定最終用戶所關(guān)心的維度（時(shí)間、方位、商業(yè)單位和生產(chǎn)企業(yè)），因?yàn)榫S度與所需要的概括操作有明顯的關(guān)系，必須選擇對(duì)最終用戶有實(shí)際意義的維度，如：“月”、“季度”、“年”等。最后，還可以確定數(shù)據(jù)集市/數(shù)據(jù)倉庫的結(jié)構(gòu)需要，使設(shè)計(jì)人員確定采用單純數(shù)據(jù)倉庫結(jié)構(gòu)，還是單純的數(shù)據(jù)集市結(jié)構(gòu)或者是兩者相結(jié)合的結(jié)構(gòu)。 在實(shí)際使用開發(fā)方案確定后，還需要對(duì)開發(fā)方案的預(yù)算進(jìn)行估計(jì)，確定項(xiàng)目的投資數(shù)額。投資方案的確定可以依據(jù)以往的軟件開發(fā)成本，但是這種預(yù)算的評(píng)估比較粗糙。另一種方法是參照結(jié)構(gòu)進(jìn)行成本評(píng)估，也就是說，將數(shù)據(jù)倉庫實(shí)際使用方案所確定的構(gòu)件進(jìn)行分解，根據(jù)各個(gè)構(gòu)件的成本進(jìn)行預(yù)算估算。數(shù)據(jù)倉庫的構(gòu)件包含在數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市、最終用戶存取、數(shù)據(jù)管理、元數(shù)據(jù)管理、傳輸基礎(chǔ)等部分中，這些構(gòu)件有的在企業(yè)原有信息系統(tǒng)中已經(jīng)具備，有的可以選擇商品化構(gòu)件，有的則需要自我開發(fā)。根據(jù)這些構(gòu)件的不同來源，可以確定比較準(zhǔn)確的預(yù)算。 在完成數(shù)據(jù)倉庫規(guī)劃后，就需要編制數(shù)據(jù)倉庫開發(fā)說明書，說明系統(tǒng)與企業(yè)戰(zhàn)略目標(biāo)的關(guān)系，以及系統(tǒng)與企業(yè)急需處理的范圍相對(duì)有限的開發(fā)機(jī)會(huì)，所設(shè)想的業(yè)務(wù)機(jī)會(huì)的說明以及目標(biāo)任務(wù)概況說明、重點(diǎn)支持的職能部門和今后工作的建議。數(shù)據(jù)倉庫項(xiàng)目應(yīng)有明確的業(yè)務(wù)價(jià)值計(jì)劃開始，在計(jì)劃中需要闡明期望取得的有形和無形的利益。無形利益包含利用數(shù)據(jù)倉庫使決策完成得更快更好等利益。業(yè)務(wù)價(jià)值計(jì)劃最好由目標(biāo)業(yè)務(wù)主管來完成，因?yàn)閿?shù)據(jù)倉庫是用戶驅(qū)動(dòng)的，應(yīng)該讓用戶積極參與數(shù)據(jù)倉庫的建設(shè)，在規(guī)劃書中要確定數(shù)據(jù)倉庫開發(fā)目標(biāo)的實(shí)現(xiàn)范圍、體系結(jié)構(gòu)和使用方案及開發(fā)預(yù)算。