數(shù)據(jù)倉庫技術(shù)制定方案.doc
《數(shù)據(jù)倉庫技術(shù)制定方案.doc》由會員分享,可在線閱讀,更多相關(guān)《數(shù)據(jù)倉庫技術(shù)制定方案.doc(7頁珍藏版)》請在裝配圖網(wǎng)上搜索。
數(shù)據(jù)倉庫制定方案 在當下的數(shù)據(jù)倉庫系統(tǒng)安全控制模塊中,我國數(shù)據(jù)倉庫安全分為不同的等級??傮w來說,我國的數(shù)據(jù)倉庫安全性是比較低。為更好的健全計算機數(shù)據(jù)倉庫體系,進行數(shù)據(jù)倉庫安全體系的研究是必要的。很多軟件都是因為其比較缺乏安全性而得不到較大范圍的應(yīng)用,歸根結(jié)底是數(shù)據(jù)倉庫安全性級別比較低。為滿足現(xiàn)階段數(shù)據(jù)倉庫安全工作的需要,有利于數(shù)據(jù)倉庫保密性的控制,保證這些數(shù)據(jù)存儲與調(diào)用的一致性。 當前數(shù)據(jù)倉庫安全控制過程中,首先需要對這些數(shù)據(jù)進行可用性的分析,從而有利于避免數(shù)據(jù)倉庫遭到破壞,更有利于進行數(shù)據(jù)倉庫的損壞控制及其修復(fù)。其次為了保證數(shù)據(jù)倉庫的安全性、效益性,也離不開對數(shù)據(jù)倉庫整體安全性方案的應(yīng)用。最后必須對數(shù)據(jù)倉庫進行的一切操作進行跟蹤記錄,以實現(xiàn)對修改和訪問數(shù)據(jù)倉庫的用戶進行追蹤,從而方便追查并防止非法用戶對數(shù)據(jù)倉庫進行操作。 2.1數(shù)據(jù)倉庫安全整體規(guī)劃 本方案通過對電力行業(yè)敏感信息泄露安全威脅的分析,對數(shù)據(jù)倉庫安全進行整體設(shè)計與規(guī)劃,通過全系列數(shù)據(jù)倉庫安全產(chǎn)品相互之間分工協(xié)作,共同形成整體的防護體系,覆蓋了數(shù)據(jù)倉庫安全防護的事前診斷、事中控制和事后分析。 制定嚴密可行的實施計劃,整個工程嚴格按照計劃進行;公司質(zhì)量控制部利用ISO9000質(zhì)量管理規(guī)范對工程的軟件開發(fā)及實施全過程進行監(jiān)督和控制;建立完善的軟件開發(fā)和工程實施的文檔體系。對程序進行測試,對各個模塊之間的關(guān)聯(lián)情況下可能出現(xiàn)的問題進行嚴密的測試,并不斷完善在測試過程中暴露出來的問題。在這過程中質(zhì)量控制小組將全程參與,確保軟件質(zhì)量。 需求調(diào)研是數(shù)據(jù)倉庫開發(fā)的最重要的環(huán)節(jié)之一,在調(diào)研的過程中能否真實、準確地描述客戶的需求,對于數(shù)據(jù)倉庫的開發(fā)有著舉足輕重的影響。與客戶溝通不夠?qū)е聦ν粋€事物的描述或者理解有分歧和差異,或者調(diào)研過程中流于表面文字,而沒有進入實際的操作,都可能造成在需求調(diào)研的過程中造成對需求不精確的理解。失之毫厘,謬之千里,需求調(diào)研的微小差異可能會在軟件的開發(fā)過程中造成較大的偏差,直接影響了工程的建設(shè)質(zhì)量。為此我們?yōu)樾枨笳{(diào)研工作分配了充裕的人力的時間,制定了完善的調(diào)研方案,對需求調(diào)研的深度和廣度做了規(guī)范性的描述。確保需求調(diào)研的工作質(zhì)量。 2.2數(shù)據(jù)倉庫開發(fā)階段劃分與目標 2.2.1、需求分析階段 主要對供電公司的需求、軟硬件條件、數(shù)據(jù)狀況等情況進行調(diào)研,對需求調(diào)研的結(jié)果進行分析,同時考慮需求的廣泛適用性,歸結(jié)出其中共同的部分和相異的部分,以便下一步根據(jù)需求完成系統(tǒng)軟件開發(fā)。 2.2.2、物理建模階段 依照需求分析得到的邏輯模式,設(shè)計數(shù)據(jù)倉庫中的數(shù)據(jù)倉庫,開發(fā)數(shù)據(jù)倉庫中數(shù)據(jù)的物理存儲結(jié)構(gòu),即設(shè)計多維數(shù)據(jù)結(jié)構(gòu)的事實表和維表。 2.2.3、數(shù)據(jù)轉(zhuǎn)換階段 此階段實現(xiàn)從多個源系統(tǒng)中抽取、清理、一致化、綜合、裝載數(shù)據(jù)等過程的設(shè)計和編碼。 2.2.4、生成多維模式并搭建立方體階段 在已創(chuàng)建的倉庫模式的基礎(chǔ)上,對維定義了層和層次;創(chuàng)建了需要預(yù)計算的量度;利用優(yōu)化器根據(jù)業(yè)務(wù)進行了切片優(yōu)化和預(yù)處理,生成MQT(物化視圖);在模式中建立立方體,供查詢和多維分析使用。 2.2.5、多維分析及展現(xiàn)階段 使用數(shù)據(jù)分析和展現(xiàn)工具,開發(fā)多維分析程序以及展現(xiàn)頁面。 2.2.6、數(shù)據(jù)挖掘階段 使用數(shù)據(jù)挖掘建模工具進行聚類、關(guān)聯(lián)、分類、預(yù)測,使用數(shù)據(jù)挖掘模型圖示化工具,使用圖形展示挖掘結(jié)果。 2.2.7、數(shù)據(jù)倉庫項目目標 使數(shù)據(jù)倉庫達到一致性、有效性、易用性、便攜性、安全性、共享、糾錯、速度、原子事物處理、持久性和備份、降低成本和可擴展性、復(fù)雜的計算、CRUD把信息系統(tǒng)中大量的數(shù)據(jù)按一定的模型組織起來,提供儲存、維護、檢索數(shù)據(jù)的功能,使信息系統(tǒng)可以方便、及時、準確地從數(shù)據(jù)倉庫中獲得所需的信息。 2.3數(shù)據(jù)倉庫技術(shù)要求和范圍 項目方案要面向未來,技術(shù)必須具有合理性和前瞻性,應(yīng)當符合以下幾點要求: 2.3.1可擴展性 系統(tǒng)的數(shù)據(jù)倉庫技術(shù)方案要能將現(xiàn)有各種資源和應(yīng)用系統(tǒng)有效地集成在一起,系統(tǒng)數(shù)據(jù)倉庫的結(jié)構(gòu)要合理,要具有良好的可擴展性,由于IT 領(lǐng)域技術(shù)發(fā)展十分迅速,應(yīng)用環(huán)境,系統(tǒng)硬件及系統(tǒng)軟件都會不可避免將被更新,因此系統(tǒng)的可擴充性及版本的兼容性好壞,直接影響著應(yīng)用系統(tǒng)和用戶需求的發(fā)展和功能的提升。另一方面,它還要有與其它系統(tǒng)的接口能力,利用各系統(tǒng)功能之長,進行優(yōu)勢互補。 2.3.2標準化 現(xiàn)有信息技術(shù)的發(fā)展越來越快,為了使該系統(tǒng)在未來運行過程中其技術(shù)能和整個信息技術(shù)的發(fā)展同步,系統(tǒng)數(shù)據(jù)倉庫應(yīng)具有備靈活適應(yīng)性和良好的可擴展性,系統(tǒng)的結(jié)構(gòu)設(shè)計和產(chǎn)品選型要堅持標準化,首先采用國家標準和國際標準,其次采用廣為流傳的實用化工業(yè)標準。 2.3.3可管理性 本系統(tǒng)數(shù)據(jù)倉庫是一個比較大、較復(fù)雜的系統(tǒng),它包含大量硬件設(shè)備、軟件系統(tǒng)和數(shù)據(jù)信息資源,這些資源分布在各個不同的地點,因此系統(tǒng)的技術(shù)方案要提供多層次、方便、有效的管理手段,為系統(tǒng)正常運行提供技術(shù)管理保障。 2.3.4可配臵性 由于整個系統(tǒng)數(shù)據(jù)倉庫涉及的系統(tǒng)比較多,業(yè)務(wù)種類比較復(fù)雜,因此系統(tǒng)的靈活配臵性就顯得非常重要,系統(tǒng)的可配臵性應(yīng)包括部門配臵、人員角色配臵、公文樣式配臵、處理流程配臵等。 2.3.5數(shù)據(jù)倉庫項目范圍 1、 數(shù)據(jù)倉庫是信息系統(tǒng)的核心和基礎(chǔ) 2、 數(shù)據(jù)倉庫是信息系統(tǒng)的各個部分是否能緊密地結(jié)合在一起以及如何結(jié)合的關(guān)鍵所在。 3、 數(shù)據(jù)倉庫設(shè)計是信息系統(tǒng)開發(fā)和建設(shè)的重要組成部分 2.4開發(fā)過程和結(jié)構(gòu)選擇 2.4.1.結(jié)構(gòu)開發(fā) 在數(shù)據(jù)倉庫規(guī)劃中一般需要經(jīng)歷這樣幾個過程:選擇實現(xiàn)策略、確定數(shù)據(jù)倉庫的開發(fā)目標和實現(xiàn)范圍、選擇數(shù)據(jù)倉庫體系結(jié)構(gòu)、建立商業(yè)和項目規(guī)劃預(yù)算。 當數(shù)據(jù)倉庫規(guī)劃完成后,需要編制相應(yīng)的數(shù)據(jù)倉庫規(guī)劃說明書,說明數(shù)據(jù)倉庫與企業(yè)戰(zhàn)略的關(guān)系,以及與企業(yè)急需處理的、范圍相對有限的開發(fā)機會,重點支持的職能部門和今后數(shù)據(jù)倉庫開發(fā)工作的建議,實際使用方案和開發(fā)預(yù)算,作為數(shù)據(jù)倉庫實際開發(fā)的依據(jù)。 2.4.2.結(jié)構(gòu)選擇 數(shù)據(jù)倉庫的結(jié)構(gòu)可以進行靈活的選擇,可將組織所使用的各種平臺進行恰當?shù)姆指?,把?shù)據(jù)源、數(shù)據(jù)倉庫和最終用戶使用的工作站分割開來進行恰當?shù)脑O(shè)計。 2.5數(shù)據(jù)倉庫的應(yīng)用結(jié)構(gòu) 基于業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)倉庫在這種結(jié)構(gòu)中,將運作的數(shù)據(jù)用于無需修改數(shù)據(jù)的只讀應(yīng)用程序中。具有這種結(jié)構(gòu)的數(shù)據(jù)倉庫元數(shù)據(jù)倉庫是一種虛庫,而不是數(shù)據(jù)倉庫自身的元數(shù)據(jù)。在數(shù)據(jù)倉庫元數(shù)據(jù)倉庫的直接指導(dǎo)下,對數(shù)據(jù)倉庫的查詢就是簡單的從數(shù)據(jù)倉庫中抽取數(shù)據(jù)。 單純數(shù)據(jù)倉庫 利用在數(shù)據(jù)倉庫中的數(shù)據(jù)源凈化、集成、概括和集成等操作,將數(shù)據(jù)源從業(yè)務(wù)處理系統(tǒng)中傳輸進集中的數(shù)據(jù)倉庫,各部門的數(shù)據(jù)倉庫應(yīng)用只在數(shù)據(jù)倉庫中進行。這種結(jié)構(gòu)經(jīng)常發(fā)生在多部門、少用戶使用數(shù)據(jù)倉庫的情況下。這里的集中僅僅是邏輯上的,物理上可能是分散的。 單純數(shù)據(jù)集市 數(shù)據(jù)集市是指在部門中使用的數(shù)據(jù)倉庫,因為企業(yè)中的各個職能部門都有自己的特殊需要,而統(tǒng)一的數(shù)據(jù)倉庫可能不能滿足這些部門的特殊要求。這種體系結(jié)構(gòu)經(jīng)常發(fā)生在個別部門對數(shù)據(jù)倉庫的應(yīng)用感興趣,而組織中其他部門卻對數(shù)據(jù)倉庫的應(yīng)用十分冷漠之時,由熱心的部門單獨開發(fā)式所采用。 數(shù)據(jù)倉庫和數(shù)據(jù)集市 企業(yè)各部門擁有滿足自己需要的數(shù)據(jù)集市,其數(shù)據(jù)從企業(yè)數(shù)據(jù)倉庫中獲取,而數(shù)據(jù)倉庫從企業(yè)各種數(shù)據(jù)源中收集和分配。這種體系結(jié)構(gòu)是一種較為完善的數(shù)據(jù)倉庫體系結(jié)構(gòu),往往發(fā)生在組織整體對數(shù)據(jù)倉庫應(yīng)用感興趣之時所采用的體系結(jié)構(gòu)。 2.6數(shù)據(jù)倉庫的技術(shù)平臺結(jié)構(gòu) 單層結(jié)構(gòu) 單層結(jié)構(gòu)主要是在數(shù)據(jù)源和數(shù)據(jù)倉庫之間共享平臺,或者讓數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市與最終用戶工作站使用同一個平臺。共享一個平臺可以降低數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換的復(fù)雜性,但是共享平臺在應(yīng)用中可能遇到性能和管理方面的問題,這種體系結(jié)構(gòu)一般在數(shù)據(jù)倉庫規(guī)模較小,而組織的業(yè)務(wù)系統(tǒng)平臺具有較大潛力之時所采用。 客戶/服務(wù)器兩層結(jié)構(gòu) 一層為客戶機,一層為服務(wù)器,最終用戶訪問工具在客戶層上運行,而數(shù)據(jù)源、數(shù)據(jù)倉庫和數(shù)據(jù)集市位于服務(wù)器上,該技術(shù)機構(gòu)一般用于普通規(guī)模的數(shù)據(jù)倉庫。 三層客戶/服務(wù)器結(jié)構(gòu) 基于工作站的客戶層、基于服務(wù)器的中間層和基于主機的第三層。主機層負責管理數(shù)據(jù)源和可選的源數(shù)據(jù)轉(zhuǎn)換;服務(wù)器運行數(shù)據(jù)倉庫和數(shù)據(jù)集市軟件,并且存儲倉庫的數(shù)據(jù);客戶工作站運行查詢和報表運用程序,且還可以存儲從數(shù)據(jù)集市或數(shù)據(jù)倉庫卸載的局部數(shù)據(jù)。在數(shù)據(jù)倉庫稍具規(guī)模,兩層數(shù)據(jù)倉庫結(jié)構(gòu)已經(jīng)不能滿足客戶的需求,要講數(shù)據(jù)倉庫的數(shù)據(jù)存儲管理、數(shù)據(jù)倉庫的應(yīng)用處理和客戶端應(yīng)用分開之時,可以采用這種結(jié)構(gòu)。 多層式結(jié)構(gòu) 這是在三層機構(gòu)基礎(chǔ)上發(fā)展起來的數(shù)據(jù)倉庫結(jié)構(gòu),在該結(jié)構(gòu)中從最內(nèi)數(shù)據(jù)層到最外層的客戶層依次是:單獨的數(shù)據(jù)倉庫存儲層、對數(shù)據(jù)倉庫和數(shù)據(jù)集市進行管理的數(shù)據(jù)倉庫服務(wù)層、進行數(shù)據(jù)倉庫查詢處理的查詢服務(wù)層、完成數(shù)據(jù)倉庫應(yīng)用處理的應(yīng)用服務(wù)層和面向最終用戶的客戶層。體系層次可能多達五層,這種體系結(jié)構(gòu)一般用于超規(guī)模數(shù)據(jù)倉庫系統(tǒng)。 2.7數(shù)據(jù)倉庫使用方案和項目規(guī)劃預(yù)算 數(shù)據(jù)倉庫的實際使用方案與開發(fā)預(yù)算,是數(shù)據(jù)倉庫規(guī)劃中最后需要確定的問題。因為數(shù)據(jù)倉庫主要用于對企業(yè)管理人員的決策支持,確保其實用性是十分重要的,因此需要讓最終用戶參與數(shù)據(jù)倉庫的功能設(shè)計。這種參與是通過用戶的實際使用方案進行的,使用方案是一個非常重要的需求模型。實際使用方案必須有助于闡明最終用戶對數(shù)據(jù)倉庫的要求,這些要求有的只使用適當?shù)臄?shù)據(jù)源就可以得到基本滿足,而有的卻需要來自企業(yè)外部的數(shù)據(jù)源,這就需要通過使用方案將這些不同的要求聯(lián)系起來。 實際使用方案還可以將最終用戶的決策支持要求與數(shù)據(jù)倉庫的技術(shù)要求聯(lián)系起來。因為當用戶確定最終要求后,為元數(shù)據(jù)倉庫的范圍確定一個界限。還可以確定所需要的歷史信息的數(shù)量,當根據(jù)特定的用戶進行數(shù)據(jù)倉庫的規(guī)劃時,就可確定最終用戶所關(guān)心的維度(時間、方位、商業(yè)單位和生產(chǎn)企業(yè)),因為維度與所需要的概括操作有明顯的關(guān)系,必須選擇對最終用戶有實際意義的維度,如:“月”、“季度”、“年”等。最后,還可以確定數(shù)據(jù)集市/數(shù)據(jù)倉庫的結(jié)構(gòu)需要,使設(shè)計人員確定采用單純數(shù)據(jù)倉庫結(jié)構(gòu),還是單純的數(shù)據(jù)集市結(jié)構(gòu)或者是兩者相結(jié)合的結(jié)構(gòu)。 在實際使用開發(fā)方案確定后,還需要對開發(fā)方案的預(yù)算進行估計,確定項目的投資數(shù)額。投資方案的確定可以依據(jù)以往的軟件開發(fā)成本,但是這種預(yù)算的評估比較粗糙。另一種方法是參照結(jié)構(gòu)進行成本評估,也就是說,將數(shù)據(jù)倉庫實際使用方案所確定的構(gòu)件進行分解,根據(jù)各個構(gòu)件的成本進行預(yù)算估算。數(shù)據(jù)倉庫的構(gòu)件包含在數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市、最終用戶存取、數(shù)據(jù)管理、元數(shù)據(jù)管理、傳輸基礎(chǔ)等部分中,這些構(gòu)件有的在企業(yè)原有信息系統(tǒng)中已經(jīng)具備,有的可以選擇商品化構(gòu)件,有的則需要自我開發(fā)。根據(jù)這些構(gòu)件的不同來源,可以確定比較準確的預(yù)算。 在完成數(shù)據(jù)倉庫規(guī)劃后,就需要編制數(shù)據(jù)倉庫開發(fā)說明書,說明系統(tǒng)與企業(yè)戰(zhàn)略目標的關(guān)系,以及系統(tǒng)與企業(yè)急需處理的范圍相對有限的開發(fā)機會,所設(shè)想的業(yè)務(wù)機會的說明以及目標任務(wù)概況說明、重點支持的職能部門和今后工作的建議。數(shù)據(jù)倉庫項目應(yīng)有明確的業(yè)務(wù)價值計劃開始,在計劃中需要闡明期望取得的有形和無形的利益。無形利益包含利用數(shù)據(jù)倉庫使決策完成得更快更好等利益。業(yè)務(wù)價值計劃最好由目標業(yè)務(wù)主管來完成,因為數(shù)據(jù)倉庫是用戶驅(qū)動的,應(yīng)該讓用戶積極參與數(shù)據(jù)倉庫的建設(shè),在規(guī)劃書中要確定數(shù)據(jù)倉庫開發(fā)目標的實現(xiàn)范圍、體系結(jié)構(gòu)和使用方案及開發(fā)預(yù)算。- 1.請仔細閱讀文檔,確保文檔完整性,對于不預(yù)覽、不比對內(nèi)容而直接下載帶來的問題本站不予受理。
- 2.下載的文檔,不會出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預(yù)覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請點此認領(lǐng)!既往收益都歸您。
下載文檔到電腦,查找使用更方便
9.9 積分
下載 |
- 配套講稿:
如PPT文件的首頁顯示word圖標,表示該PPT已包含配套word講稿。雙擊word圖標可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國旗、國徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計者僅對作品中獨創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- 數(shù)據(jù)倉庫 技術(shù) 制定 方案
鏈接地址:http://m.jqnhouse.com/p-6556058.html