數(shù)據(jù)倉庫-系統(tǒng)設計說明書.doc

《數(shù)據(jù)倉庫-系統(tǒng)設計說明書.doc》由會員分享，可在線閱讀，更多相關《數(shù)據(jù)倉庫-系統(tǒng)設計說明書.doc（18頁珍藏版）》請在裝配圖網(wǎng)上搜索。

歸一大數(shù)據(jù)平臺 數(shù)據(jù)倉庫 系統(tǒng)設計說明書 件控制 檔編號 版本號 分冊名稱 第冊/共冊 總頁數(shù) 正文 附錄 編制 審批 生效日期 修改變更記錄： 更改條款及內容 更改人 審批人 更改日期 創(chuàng)建文檔 閻飛 謝益武 2015-11-5 目錄 1 引言 5 1.1 文檔編制目的 5 1.2 背景 6 1.3 詞匯表 6 1.4 參考資料 6 2 總體設計 6 2.1 軟件體系結構 6 2.2 系統(tǒng)運行體系 7 2.2.1 運行體系圖 7 2.2.2 程序/模塊對應表 7 2.3 系統(tǒng)物理結構 8 2.4 技術路線 8 3 系統(tǒng)接口設計 8 3.1 用戶接口 8 4 子系統(tǒng)/模塊設計 9 4.1 數(shù)據(jù)倉庫 9 4.1.1 ODL(操作數(shù)據(jù))層設計 9 4.1.2 BDL(數(shù)據(jù)倉庫)層設計 10 4.1.3 IDL(寬表)層設計 12 4.1.4 PDL(應用)層設計 13 4.1.5 PUB(維度)層設計 14 4.1.6 數(shù)據(jù)導出設計 16 5 數(shù)據(jù)結構與數(shù)據(jù)庫設計 17 6 外部存儲結構設計 17 7 故障處理說明 17 8 尚需解決的問題 17 編寫指南： 本模板力圖給出系統(tǒng)設計階段可能包括的基本信息，重點在于和需求分析文檔相聯(lián)系。描述系統(tǒng)整體情況。如果某個章節(jié)在項目或當前階段中無法描述，則可保留其標題，注明“不適用”；如果需要對本模板的個別章節(jié)詳細描述，也可將其形成單獨的文檔，成為本文檔附件。 若文檔中的某個章節(jié)已經(jīng)在其他項目文檔中加以描述，可保留標題，注明“參見（文檔編號）（文檔名稱）（條款）”。 形成正式文檔后須刪除斜體字內容。 0 報告編制要求 這里列出本系統(tǒng)設計報告編制的經(jīng)驗性要求，須由系統(tǒng)設計人員參照其進行裁剪以確定本次報告編制的相關規(guī)定。 序號 要求 1 對各種結構圖要求采用Visio繪制。 2 軟件體系結構圖通常包括：子系統(tǒng)實體、子系統(tǒng)間數(shù)據(jù)流、相關說明。 3 軟件結構圖通常包括：模塊實體、模塊間數(shù)據(jù)流、數(shù)據(jù)存儲、相關說明。 4 運行體系圖包括：進程實體、啟動順序、并發(fā)性、數(shù)據(jù)交換。 5 物理結構圖包括：物理節(jié)點實體、物理節(jié)點分布、物理節(jié)點描述、物理節(jié)點間相互關系。 6 對數(shù)據(jù)庫結構的描述要求采用結構圖方式描述，而非采用過多表格。 7 數(shù)據(jù)庫結構圖主要包括：表實體、表間關系、主要字段、相關說明四部分。 8 對于平臺性產(chǎn)品，要求有系統(tǒng)層次的劃分圖。 9 通常要隔離應用對數(shù)據(jù)庫的直接訪問。 1 引言 1.1 文檔編制目的 指導開發(fā)人員進行后期的開發(fā)工作； 指導測試人員進行解決方案級的系統(tǒng)測試； 1.2 背景 敘述系統(tǒng)設計階段的目標、作用范圍以及其他應向讀者說明的理解本報告所需的背景，如與公司其它軟件之間的聯(lián)系等。 1.3 詞匯表 列出本系統(tǒng)設計說明書中專門術語的定義、英文縮寫詞的原詞組和意義、項目組內達成一致意見的專用詞匯，同時要求繼承全部的先前過程中定義過的詞匯。 詞匯名稱 詞匯含義 備注 備注中注明該詞匯的來源，或有其他更詳細的解釋的文檔位置；以及對該詞匯的其他叫法。 1.4 參考資料 需求規(guī)格說明書 系統(tǒng)架構設計說明書 數(shù)據(jù)倉庫命名規(guī)范.docx 2 總體設計 2.1 軟件體系結構 2.2 系統(tǒng)物理結構 描述使用本軟件系統(tǒng)典型用戶的物理設備分布圖及設備上相應基本軟件配置。軟件環(huán)境包括：操作系統(tǒng)、數(shù)據(jù)庫、以及其它支撐軟件；硬件環(huán)境包括：主機類型、網(wǎng)絡類型、存儲器容量、其它特殊設備。 要求： 1） 盡量為系統(tǒng)的每個物理節(jié)點定義一個和功能相關的名稱，名稱的含義在詞匯表中說明； 2） 結合運行體系圖中提到的“程序”，將相關的“運行程序”分布到各個物理節(jié)點中； 3） 采用網(wǎng)絡拓撲圖表示。 2.3 技術路線 描述本軟件系統(tǒng)在實現(xiàn)過程中所采用的技術路線、方法。對較新的技術給予詳細的闡述及必要的說明，在可能的情況下給出相應的技術參考資料。 3 系統(tǒng)接口設計 3.1 用戶接口 無接口。 4 子系統(tǒng)/模塊設計 4.1 數(shù)據(jù)倉庫 4.1.1 ODL(操作數(shù)據(jù)層)設計 4.1.1.1 功能描述 實現(xiàn)從外部系統(tǒng)導入數(shù)據(jù)到大數(shù)據(jù)平臺,ODL層數(shù)據(jù)與數(shù)據(jù)源保持一致. 同步方式包括: l 增量同步 l 全量同步 數(shù)據(jù)源類型包括: l 數(shù)據(jù)庫 4.1.1.2 業(yè)務流程 流程圖: 流程說明: 1. 調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè). 2. 作業(yè)讀取數(shù)據(jù)同步腳本,遠程調用數(shù)據(jù)庫接口. 3. 數(shù)據(jù)庫接口返回遠程調用結果. 4. 接收數(shù)據(jù)庫接口返回的數(shù)據(jù)集,裝載到ODL本地表. 異常處理: 調度系統(tǒng)捕獲異常并處理 日志說明: 由調度系統(tǒng)負責記錄作業(yè)(正常和異常)日志. 數(shù)據(jù)源說明: 1. 通過視圖封裝需要同步的物理表, 與業(yè)務進行隔離. 當物理表發(fā)生變動,盡量通過修改視圖兼容. 2. 數(shù)據(jù)同步程序訪問數(shù)據(jù)源視圖. 數(shù)據(jù)粒度說明： 與數(shù)據(jù)源保持完全一致。 4.1.1.3 作業(yè)設計 詳見<<數(shù)據(jù)同步列表.xlsx>> 4.1.2 BDL(事物層)設計 4.1.2.1 功能描述 BDL層對ODL數(shù)據(jù)進行清洗、轉換，實現(xiàn)統(tǒng)一維度的數(shù)據(jù)整合。 4.1.2.2 業(yè)務流程 流程圖: 流程說明: 1. 調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè). 2. 作業(yè)讀取ODL表，進行數(shù)據(jù)清洗，對不符合規(guī)則的數(shù)據(jù)進行丟棄或轉換. 3. 將轉換后的結果數(shù)據(jù)裝載到BDL本地表. 異常處理: 調度系統(tǒng)捕獲異常并處理. 日志說明: 由調度系統(tǒng)負責記錄作業(yè)(正常和異常)日志. 數(shù)據(jù)粒度說明： 與ODL保持一致. 4.1.2.3 作業(yè)設計 詳見<<數(shù)據(jù)倉庫轉換文檔.xlsx>> 4.1.3 IDL(寬表層)設計 4.1.3.1 功能描述 在IDL層對BDL事實表按主題進行合并, 形成一次寫多次讀的寬表, 降低系統(tǒng)整體開銷. 并實際根據(jù)需要進行用戶級粒度的聚合, 進一步提高查詢效率. 4.1.3.2 業(yè)務流程 流程圖: 流程說明: 1. 調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè). 2. 按主題讀取相關BDL表, 進行關聯(lián), 盡量補齊維度字段, 生成事物級寬表. 3. 按用戶級粒度聚合, 生成用戶級寬表. 異常處理: 調度系統(tǒng)捕獲異常并處理 日志說明: 由調度系統(tǒng)負責記錄作業(yè)(正常和異常)日志. 數(shù)據(jù)粒度說明: 1. 事物級粒度. 2. 用戶級粒度. 4.1.3.3 作業(yè)設計 詳見<<數(shù)據(jù)倉庫轉換文檔.xlsx>> 4.1.4 PDL(應用層)設計 4.1.4.1 功能描述 PDL層按業(yè)務需求, IDL寬表匯總查詢生成各種結果表. 4.1.4.2 業(yè)務流程 流程圖: 流程說明: 1. 調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè). 2. 讀取IDL寬表,按業(yè)務需求進行聚合,篩選,生成指標數(shù)據(jù). 3. 結果寫入PDL層結果表. 異常處理: 調度系統(tǒng)捕獲異常并處理 日志說明: 由調度系統(tǒng)負責記錄作業(yè)(正常和異常)日志. 數(shù)據(jù)粒度說明: 1. 按業(yè)務需求的各種粒度. 4.1.4.3 業(yè)務賬數(shù)據(jù)統(tǒng)計設計 業(yè)務賬數(shù)據(jù)統(tǒng)計如下特點: 業(yè)務賬指標由多個交易類型代碼組合, 一個交易類型代碼對應多個業(yè)務指標, 例如: 業(yè)務賬指標A 交易類型代碼{M00010, M00001,M00002,M00003,…} 業(yè)務賬指標B 交易類型代碼{M00010, M00011,M00012,M00013,…} 業(yè)務賬指標C 交易類型代碼{M00000, M00011,M00002,M00023,…} 隨需求也業(yè)務變化, 業(yè)務賬指標及其交易類型代碼也會變化. 每個業(yè)務賬指標統(tǒng)計算法相同, 只是其交易類型代碼組合不同. 每個業(yè)務賬指標可能會被多個報表調用，例如“積分總金額” 針對以上特性, 通過抽象的方法，設計對指標（交易類型代碼）配置化管理、運算統(tǒng)一化技術的功能， 減少系統(tǒng)維護成本。 4.1.4.4 作業(yè)設計 詳見<<數(shù)據(jù)倉庫轉換文檔.xlsx>> 4.1.5 PUB(維度)庫設計 4.1.5.1 功能描述 采用異步LOOUP方法,主動捕獲非法維度數(shù)據(jù),經(jīng)過人工識別生成維度數(shù)據(jù). 4.1.5.2 業(yè)務流程 流程圖: 流程說明: 1. 調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè). 2. 異步讀取ODL表和維表,對比維度映射表查找是否有不存在的維度數(shù)據(jù). 3. 如果發(fā)現(xiàn)非法維度數(shù)據(jù),經(jīng)過人工識別,寫入維度映射表和維度表. 異常處理: 調度系統(tǒng)捕獲異常并處理 日志說明: 由調度系統(tǒng)負責記錄作業(yè)(正常和異常)日志. 4.1.5.3 作業(yè)設計 詳見<<數(shù)據(jù)倉庫轉換文檔.xlsx>> 4.1.6 業(yè)務賬(數(shù)據(jù)集市)庫 4.1.7 數(shù)據(jù)導出設計 4.1.7.1 功能描述 將PDL表和維度導出,同步給mysql庫,供統(tǒng)計報表查詢使用. 4.1.7.2 業(yè)務流程 流程說明: 1. 調度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè). 2. 讀取PDL表和維表,將數(shù)據(jù)裝載到MYSQL庫對應的表中. 異常處理: 調度系統(tǒng)捕獲異常并處理 日志說明: 由調度系統(tǒng)負責記錄作業(yè)(正常和異常)日志. 4.1.7.3 作業(yè)設計 5 數(shù)據(jù)結構與數(shù)據(jù)庫設計 詳見<<數(shù)據(jù)庫設計說明書.docx>> 6 外部存儲結構設計 說明本系統(tǒng)存貯于磁盤等持久性存貯介質，而且不是由數(shù)據(jù)庫管理系統(tǒng)進行管理的數(shù)據(jù)的組織結構，包括數(shù)據(jù)名稱、用途、每個數(shù)據(jù)項的標識名、類型和含義，組織結構、訪問方法和存儲要求。 7 故障處理說明 說明本系統(tǒng)所采用的基本錯誤處理方法和原則，例如：統(tǒng)一采用C++ try-catch錯誤方法，所有錯誤最終必須以界面形式向用戶說明。用一覽表方式說明各類可能的錯誤或故障出現(xiàn)時系統(tǒng)的處理方法和補救措施。 8 尚需解決的問題 以列表的形式列出在系統(tǒng)設計階段必須解決但尚未解決的問題?？蓪栴}進行編號以便進行跟蹤。