《淺談數(shù)據(jù)庫(kù)信息管理系統(tǒng)的邏輯架構(gòu)與功能設(shè)計(jì)》由會(huì)員分享，可在線閱讀，更多相關(guān)《淺談數(shù)據(jù)庫(kù)信息管理系統(tǒng)的邏輯架構(gòu)與功能設(shè)計(jì)（3頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、淺談數(shù)據(jù)庫(kù)信息管理系統(tǒng)的邏輯架構(gòu)與功能設(shè)計(jì)
摘要：筆者結(jié)合數(shù)據(jù)庫(kù)理論和實(shí)際經(jīng)驗(yàn)從以下幾個(gè)方面探討淺談數(shù)據(jù)庫(kù)信息管理系統(tǒng)的邏輯架構(gòu)與功能設(shè)計(jì)。 關(guān)鍵詞：數(shù)據(jù)庫(kù)信息管理
2、系統(tǒng)邏輯架構(gòu)功能設(shè)計(jì) 0引言 數(shù)據(jù)庫(kù)信息管理系統(tǒng)一個(gè)重要的功能是完成系統(tǒng)前臺(tái)與后臺(tái)之間的數(shù)據(jù)通信。將前臺(tái)業(yè)務(wù)打包數(shù)據(jù)經(jīng)過解析傳輸?shù)胶笈_(tái)數(shù)據(jù)庫(kù)，達(dá)到對(duì)后臺(tái)數(shù)據(jù)庫(kù)的處理。還可以實(shí)現(xiàn)后臺(tái)數(shù)據(jù)庫(kù)中數(shù)據(jù)操作包括：數(shù)據(jù)的查詢、更新、刪除等操作。將業(yè)務(wù)數(shù)據(jù)從多個(gè)操作型數(shù)據(jù)庫(kù)和外部文件中抽取出來，進(jìn)行清理、轉(zhuǎn)換、網(wǎng)絡(luò)傳輸和集成。筆者結(jié)合數(shù)據(jù)庫(kù)理論和實(shí)際經(jīng)驗(yàn)從以下幾個(gè)方面探討淺談數(shù)據(jù)庫(kù)信息管理系統(tǒng)的邏輯架構(gòu)與功能設(shè)計(jì)。 1數(shù)據(jù)庫(kù)信息管理系統(tǒng)邏輯架構(gòu) 數(shù)據(jù)庫(kù)信息管理系統(tǒng)按照各個(gè)業(yè)務(wù)發(fā)展的需要，逐步進(jìn)行多角度、深層次的數(shù)據(jù)分析與加工，充分加以利用，為各層用戶方便、快捷的服務(wù)，同時(shí)也使數(shù)據(jù)的采集和利用處于良性循環(huán)狀態(tài)
3、。 數(shù)據(jù)庫(kù)信息管理系統(tǒng)處于整個(gè)系統(tǒng)的中間位置，它主要職責(zé)對(duì)數(shù)據(jù)處理，完成前臺(tái)端的請(qǐng)求處理，完成后臺(tái)數(shù)據(jù)庫(kù)的操作。目的是分批處理任務(wù)請(qǐng)求，將任務(wù)數(shù)據(jù)包解包后，加載到數(shù)據(jù)庫(kù)中，并且根據(jù)請(qǐng)求對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行查詢、更新、刪除，將處理的結(jié)果記錄到日志文件中。數(shù)據(jù)庫(kù)信息管理系統(tǒng)的基本業(yè)務(wù)邏輯描述如下： 1.1接受請(qǐng)求，根據(jù)自己的實(shí)際情況，將自己的請(qǐng)求實(shí)時(shí)的以上傳給系統(tǒng)。 1.2解析請(qǐng)求，系統(tǒng)根據(jù)接受到的請(qǐng)求，對(duì)其進(jìn)行解析處理，首先檢查傳來的信息是不是合法，長(zhǎng)度是否按規(guī)定的。再解析信息，在解析報(bào)文信息中，就報(bào)頭、正文、報(bào)尾的標(biāo)志位做一一鑒定，若有哪一項(xiàng)不符合要求，就回傳應(yīng)答報(bào)文給前臺(tái)讓前臺(tái)重新傳輸此報(bào)文
4、，并將處理的數(shù)據(jù)實(shí)時(shí)的記錄在后臺(tái)對(duì)應(yīng)的表中。 1.3數(shù)據(jù)的抽取與加載，系統(tǒng)在對(duì)數(shù)據(jù)報(bào)文進(jìn)行解析后，若收到的報(bào)文滿足要求時(shí)，就對(duì)報(bào)文中的正文段的數(shù)據(jù)抽取出來，加載到數(shù)據(jù)庫(kù)表中。 1.4監(jiān)控管理，主要是對(duì)系統(tǒng)中的各個(gè)環(huán)節(jié)進(jìn)行監(jiān)控管理，數(shù)據(jù)的導(dǎo)入導(dǎo)出情況及數(shù)據(jù)的傳輸情況進(jìn)行監(jiān)控管理。在加載數(shù)據(jù)時(shí)，將加載成功與否實(shí)時(shí)的記錄在數(shù)據(jù)庫(kù)表中，并寫日志文件。 1.5對(duì)后臺(tái)數(shù)據(jù)庫(kù)的處理，系統(tǒng)根據(jù)報(bào)文內(nèi)容，對(duì)后臺(tái)數(shù)據(jù)庫(kù)中的表進(jìn)行插入、刪除、更新等操作。 2數(shù)據(jù)庫(kù)信息管理系統(tǒng)的功能設(shè)計(jì) 根據(jù)上面的業(yè)務(wù)流程，我提出了數(shù)據(jù)庫(kù)信息管理系統(tǒng)的業(yè)務(wù)框架及各個(gè)功能模塊。數(shù)據(jù)庫(kù)信息管理系統(tǒng)分為六個(gè)模塊：任務(wù)管理、數(shù)據(jù)抽取、數(shù)據(jù)上
5、傳、數(shù)據(jù)加載、監(jiān)控管理、查詢統(tǒng)計(jì)，分別為各個(gè)模塊設(shè)計(jì)了以下功能。 2.1任務(wù)管理任務(wù)管理主要是指后臺(tái)管理層在抽取前臺(tái)數(shù)據(jù)時(shí)對(duì)各個(gè)任務(wù)制定與執(zhí)行。對(duì)前臺(tái)數(shù)據(jù)的抽取主要是通過執(zhí)行模版文件來完成，模板的管理是整個(gè)系統(tǒng)的核心，創(chuàng)建一個(gè)模板既是在定義一個(gè)數(shù)據(jù)抽取的過程，一個(gè)模板只針對(duì)同一個(gè)數(shù)據(jù)源，保證模板的原子性，模版參數(shù)文件主要由后臺(tái)數(shù)據(jù)中心需要集中的數(shù)據(jù)類型進(jìn)行定制，任務(wù)管理是將多個(gè)相關(guān)的模版文件捆綁在一起，構(gòu)成一個(gè)更大的可執(zhí)行單位。對(duì)不同種類數(shù)據(jù)通過制作模板實(shí)現(xiàn)抽取功能，模板數(shù)據(jù)文件由后臺(tái)數(shù)據(jù)管理者制作存放在前臺(tái)，可增加、修改和刪除。 2.1.1創(chuàng)建模板：一個(gè)模板文件包括了一個(gè)完整的數(shù)據(jù)抽取過程所
6、有必要的數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)段包括：文件頭、文件正文、文件尾，其中文件頭重要有防偽標(biāo)志位，文件的發(fā)送時(shí)間等信息，正文段主要包括此文件傳送的數(shù)據(jù)，而結(jié)尾部分主要包括此文件傳輸數(shù)據(jù)的總量等信息。 2.1.2編輯模板：當(dāng)數(shù)據(jù)需求發(fā)生變化時(shí)，可以對(duì)已存在的模版文件的參數(shù)進(jìn)行修改，以適應(yīng)新的需要。 2.1.3刪除模板：當(dāng)不再對(duì)該模板文件定義的數(shù)據(jù)表進(jìn)行抽取時(shí)，可以刪除模板文件，取消抽取過程。 2.1.4由于本系統(tǒng)文件主要是以固定長(zhǎng)文件為主，所以，制定固定長(zhǎng)文件是關(guān)鍵，而且這個(gè)固定長(zhǎng)文件主要是文件頭、文件尾長(zhǎng)度固定，而每個(gè)文件的正文部分固定，但一個(gè)頭部和尾部對(duì)應(yīng)多個(gè)文件正文部分。 2.2數(shù)據(jù)抽取數(shù)據(jù)抽取模塊是對(duì)
7、后臺(tái)下發(fā)的抽取任務(wù)的執(zhí)行，是完成小核心數(shù)據(jù)處理的中心工作，是定義的抽取過程的具體實(shí)施階段，數(shù)據(jù)抽取模塊的主要功能包括：“數(shù)據(jù)抽取任務(wù)的載入”、“數(shù)據(jù)抽取配置”、“數(shù)據(jù)抽取執(zhí)行”、“數(shù)據(jù)抽取重啟”
8、 2.2.1數(shù)據(jù)抽取任務(wù)的載入：數(shù)據(jù)抽取是按照前臺(tái)對(duì)后臺(tái)數(shù)據(jù)管理層下發(fā)的各項(xiàng)抽取任務(wù)來執(zhí)行的，因此在實(shí)行數(shù)據(jù)抽取之前要對(duì)后臺(tái)管理層下發(fā)的抽取任務(wù)進(jìn)行載入到當(dāng)前系統(tǒng)中。 2.2.2數(shù)據(jù)抽取配置：要正確完成數(shù)據(jù)抽取過程的執(zhí)行，必須先配置數(shù)據(jù)抽取的范圍，先選擇數(shù)據(jù)抽取對(duì)應(yīng)的系統(tǒng)，查詢?cè)撓到y(tǒng)下所有需要執(zhí)行的抽取任務(wù)，然后對(duì)抽取數(shù)據(jù)的各個(gè)節(jié)點(diǎn)進(jìn)行配置，確定在哪些節(jié)點(diǎn)上執(zhí)行數(shù)據(jù)抽取。 2.2.3數(shù)據(jù)抽取服務(wù)：根據(jù)后臺(tái)中心下發(fā)的數(shù)據(jù)抽取任務(wù)對(duì)各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)逐
9、項(xiàng)進(jìn)行抽取，選擇的任務(wù)的流水號(hào)啟動(dòng)抽取服務(wù)；數(shù)據(jù)抽取過程中，根據(jù)抽取出來的數(shù)據(jù)內(nèi)容產(chǎn)生一個(gè)統(tǒng)計(jì)表，包括數(shù)據(jù)表名稱、記錄數(shù)等內(nèi)容，該表作為數(shù)據(jù)抽取是否完整、是否正常的參考文件。 2.2.4數(shù)據(jù)抽取服務(wù)重啟：根據(jù)抽取過程的統(tǒng)計(jì)表和日志信息，判斷抽取服務(wù)是否成功，如未成功執(zhí)行，則可通過數(shù)據(jù)抽取服務(wù)的重新啟動(dòng)來對(duì)任務(wù)進(jìn)行重做。 2.3數(shù)據(jù)上傳數(shù)據(jù)抽取完成后，數(shù)據(jù)文件導(dǎo)出保存在本地服務(wù)器中對(duì)所有導(dǎo)出文件進(jìn)行匯總打包，數(shù)據(jù)量大時(shí)，還可進(jìn)行壓縮處理，然后存儲(chǔ)在本地服務(wù)器準(zhǔn)備傳輸。 2.3.1本地服務(wù)器的配置：包括“接收數(shù)據(jù)服務(wù)器的IP、用戶名、用戶密碼、上傳，目錄、接收目錄、傳輸方式”等數(shù)據(jù)內(nèi)容。 2.3.
10、2數(shù)據(jù)匯總：對(duì)數(shù)據(jù)導(dǎo)出文件按業(yè)務(wù)系統(tǒng)數(shù)據(jù)分類分別進(jìn)行匯總、壓縮打包，使用后臺(tái)中心統(tǒng)一的命名規(guī)則，給各個(gè)數(shù)據(jù)包進(jìn)行命名、存放在文件上傳的目錄中，準(zhǔn)備上傳。 2.3.3數(shù)據(jù)上傳：系統(tǒng)制定上傳時(shí)間、上傳目錄、上傳服務(wù)器地址，數(shù)據(jù)文件上傳的工作方式以自動(dòng)方式為主，如果由于網(wǎng)絡(luò)故障或上傳文件損壞等原因自動(dòng)上傳入庫(kù)不能進(jìn)行，可人工干預(yù)，重新選擇傳輸過程，完成數(shù)據(jù)抽取和上傳工作。 2.3.4文件傳輸?shù)谋O(jiān)控：為檢驗(yàn)數(shù)據(jù)上傳情況，將數(shù)據(jù)上傳日志寫入數(shù)據(jù)庫(kù)，用戶通過應(yīng)用程序可以瀏覽傳輸過程，發(fā)現(xiàn)數(shù)據(jù)上傳是否成功。 2.4數(shù)據(jù)加載數(shù)據(jù)加載模塊將已傳輸?shù)胶笈_(tái)中心的數(shù)據(jù)經(jīng)過解壓縮，通過數(shù)據(jù)集成功能加載到數(shù)據(jù)庫(kù)中。如數(shù)據(jù)
11、加載入庫(kù)過程中出現(xiàn)問題，可以重新加載。保證同一條記錄不會(huì)重復(fù)入庫(kù)，也不會(huì)造成記錄、內(nèi)容的丟失。 2.4.1數(shù)據(jù)解壓：將已傳輸?shù)胶笈_(tái)中心的數(shù)據(jù)進(jìn)行解壓，通過數(shù)據(jù)集成功能追加到數(shù)據(jù)庫(kù)中。如數(shù)據(jù)加載入庫(kù)過程中出現(xiàn)問題，可以重新加載。保證同一條記錄不會(huì)重復(fù)入庫(kù)，也不會(huì)造成記錄、內(nèi)容的丟失。 2.4.2數(shù)據(jù)加載：分為人工加載和自動(dòng)加載兩種方式，人工加載可通過人為干預(yù)，有選擇地把數(shù)據(jù)加載入庫(kù)，也可用于數(shù)據(jù)入庫(kù)過程中，異常數(shù)據(jù)經(jīng)過特殊處理追加入庫(kù)。 2.4.3數(shù)據(jù)檢驗(yàn)：數(shù)據(jù)入庫(kù)完成后，自動(dòng)產(chǎn)生數(shù)據(jù)表、記錄個(gè)數(shù)等信息的統(tǒng)計(jì)表，與數(shù)據(jù)抽取產(chǎn)生的統(tǒng)計(jì)表進(jìn)行比較，如果兩者數(shù)據(jù)不一致，需要重新進(jìn)行數(shù)據(jù)抽取上傳入庫(kù)。
12、2.5監(jiān)控管理監(jiān)控管理模塊主要是對(duì)系統(tǒng)的各個(gè)工作環(huán)節(jié)進(jìn)行監(jiān)控灌錄，數(shù)據(jù)導(dǎo)入導(dǎo)出情況及數(shù)據(jù)傳輸情況進(jìn)行監(jiān)控管理。 2.5.1數(shù)據(jù)抽取監(jiān)控：通過數(shù)據(jù)抽取的監(jiān)控，發(fā)現(xiàn)數(shù)據(jù)抽取與轉(zhuǎn)換過程中因?yàn)榫W(wǎng)絡(luò)或人為原因等所引起的數(shù)據(jù)錯(cuò)誤。 2.5.2數(shù)據(jù)傳輸監(jiān)控：將數(shù)據(jù)上傳日志寫入數(shù)據(jù)庫(kù)，用戶通過應(yīng)用程序可以瀏覽傳輸過程，發(fā)現(xiàn)數(shù)據(jù)上傳是否成功以及未進(jìn)行數(shù)據(jù)抽取上傳的地區(qū)。 2.5.3數(shù)據(jù)加載監(jiān)控：監(jiān)控?cái)?shù)據(jù)加載中出現(xiàn)的數(shù)據(jù)丟失與加載錯(cuò)誤。 2.6查詢統(tǒng)計(jì)查詢統(tǒng)計(jì)主要按照一定的條件和工作要求，查詢數(shù)據(jù)完整性信息和任務(wù)執(zhí)行情況。將每個(gè)模塊的處理結(jié)構(gòu)制成表，存儲(chǔ)在后臺(tái)數(shù)據(jù)庫(kù)中。
淺談數(shù)據(jù)庫(kù)信息管理系統(tǒng)的邏輯架構(gòu)與功能設(shè)計(jì)
