大學(xué)教育云數(shù)據(jù)中心項目數(shù)據(jù)中心設(shè)計方案
《大學(xué)教育云數(shù)據(jù)中心項目數(shù)據(jù)中心設(shè)計方案》由會員分享,可在線閱讀,更多相關(guān)《大學(xué)教育云數(shù)據(jù)中心項目數(shù)據(jù)中心設(shè)計方案(27頁珍藏版)》請在裝配圖網(wǎng)上搜索。
XXXXXX大學(xué)教育云數(shù)據(jù)中心項目 設(shè)計方案 教育信息技術(shù)中心 2011年06月 VER:7.6 目 錄 1. 需求概述 3 2. 數(shù)據(jù)中心設(shè)計概要 5 3. 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計 8 3.1 可靠性和自愈能力 9 3.2 擁塞控制與服務(wù)質(zhì)量保障 9 3.3 網(wǎng)絡(luò)的擴展能力 10 3.4 通信協(xié)議的支持 10 3.5 網(wǎng)絡(luò)交換設(shè)備設(shè)計需求 11 3.6 數(shù)據(jù)中心網(wǎng)絡(luò)出口設(shè)計 12 3.7 數(shù)據(jù)中心安全設(shè)計 15 3.8 網(wǎng)絡(luò)管理與安全體系 16 3.9 數(shù)字KVM系統(tǒng) 21 4. 數(shù)據(jù)中心服務(wù)器設(shè)計 22 5. 數(shù)據(jù)中心存儲設(shè)計 25 5.1 需求分析 25 5.2 系統(tǒng)設(shè)計 25 6. 服務(wù)與技術(shù)支持需求 27 1. 需求概述 XXXXX大學(xué)是XXX省教育廳直屬的,運用廣播、電視、文字教材、音像教材、計算機課件和網(wǎng)絡(luò)等多種媒體,面向全省開展遠程開放教育的新型高等學(xué)校, 1979 年創(chuàng)辦。學(xué)校行政上由省教育廳管理,實行統(tǒng)籌規(guī)劃、分級辦學(xué)、分級管理、分工協(xié)作的體制。 我校校園網(wǎng)一期始建于1998年,于1999年6月18日接通中國教育和科研計算機網(wǎng),當(dāng)時網(wǎng)絡(luò)結(jié)構(gòu)以155M ATM 為主干,10M/100M到桌面,光纖連接各樓棟的校園綜合網(wǎng)絡(luò)系統(tǒng)。網(wǎng)絡(luò)覆蓋了學(xué)校各主要教學(xué)、辦公場所,初步形成了一個信息化校園環(huán)境。此后,為了滿足開放教育試點工作的需要,建設(shè)了“電大在線”硬件平臺和全省視頻會議系統(tǒng)。 2004年6月我校啟動了二期校園網(wǎng)全面升級改造工程,完成了原有的ATM網(wǎng)向萬兆以太網(wǎng)移植改造。通過簡單的網(wǎng)絡(luò)結(jié)構(gòu),建立起了一個可進行數(shù)據(jù)、語音、視頻和圖像實時傳輸?shù)腎P網(wǎng)絡(luò)系統(tǒng)。二期校園網(wǎng)改造采用兩臺銳捷多業(yè)務(wù)萬兆交換機6810E作為核心層交換機,銳捷3550-12G作為匯聚層交換機,銳捷2100系列作為接入層交換機,初步構(gòu)成了雙核心星形分布的拓撲格局。 原有網(wǎng)絡(luò)基礎(chǔ)設(shè)施存在的主要問題有: 1.現(xiàn)有網(wǎng)絡(luò)設(shè)施無法支撐學(xué)校當(dāng)前的業(yè)務(wù)需求 現(xiàn)有網(wǎng)絡(luò)設(shè)施原來的設(shè)計主要是滿足校園用戶對外網(wǎng)的訪問,隨著學(xué)校業(yè)務(wù)的不斷擴張,本次改造后的網(wǎng)絡(luò)設(shè)施主要承擔(dān)滿足遍布全省的學(xué)習(xí)者對學(xué)校教學(xué)資源訪問的任務(wù),訪問對象網(wǎng)絡(luò)條件復(fù)雜,且有大量的外網(wǎng)視頻訪問要求。服務(wù)器等基礎(chǔ)設(shè)施均已處于超負荷和老化狀態(tài),04年以前購置的18臺服務(wù)器均已老化,其中硬盤損壞嚴重,電氣性能下降。有的業(yè)務(wù)系統(tǒng)是使用帶病服務(wù)器運行,隨時可能導(dǎo)致系統(tǒng)崩潰。分散在其他處室的服務(wù)器如教務(wù)處學(xué)籍管理、考試管理、圖書館的服務(wù)器更加老化,已經(jīng)成為影響學(xué)校業(yè)務(wù)工作的嚴重隱患。雖然后來為干部在線、繼續(xù)教育培訓(xùn)項目添置了幾臺服務(wù)器,均為專用設(shè)備,無法實現(xiàn)資源共享。此外,和校內(nèi)各結(jié)點的匯聚層交換機和接入層的交換機也年久失修,故障頻仍,導(dǎo)致信息不暢。開放教育新平臺即將部署、XX學(xué)習(xí)廣場的管理系統(tǒng)開發(fā)、干部在線進入擴展期、國家數(shù)字化資源庫項目等新項目上馬,信息化基礎(chǔ)設(shè)施建設(shè)已經(jīng)刻不容緩。 2.信息化基礎(chǔ)設(shè)施架構(gòu)技術(shù)落后,設(shè)備資源不能有效利用 學(xué)校二期校園網(wǎng)改造采用簡單以太網(wǎng)三層交換結(jié)構(gòu)是受制于當(dāng)時的網(wǎng)絡(luò)技術(shù)水平。學(xué)校雖有700M帶寬(電信3條100M、聯(lián)通100M、移動100M、教科網(wǎng)100M、省有線100M)卻因為沒有鏈路負載均衡,無法滿足某項業(yè)務(wù)在某一時段較高的帶寬要求。服務(wù)器數(shù)量嚴重不足,一有新任務(wù)就要拆東墻補西墻,開發(fā)新項目就要刪除一些原有服務(wù)器中的信息,騰出空間進行項目開發(fā),導(dǎo)致一些重要信息被丟失。目前系統(tǒng)中只有20T的SAN存貯,遠遠無法滿足學(xué)校資源存貯的要求。按照原有網(wǎng)絡(luò)結(jié)構(gòu),學(xué)校有的服務(wù)器負載十分繁重,有的服務(wù)器卻相對空閑,瓶頸現(xiàn)象十分突出。 3.網(wǎng)絡(luò)監(jiān)控和管理一的缺乏監(jiān)控和管理手段缺乏,網(wǎng)絡(luò)安全存在隱患 學(xué)校二期校園網(wǎng)改造時,網(wǎng)絡(luò)管理功能設(shè)計十分薄弱。網(wǎng)絡(luò)監(jiān)控管理、身份認證系統(tǒng)、流量控制系統(tǒng)、運行環(huán)境監(jiān)控、應(yīng)用防火墻等都需要重新建設(shè)。 根據(jù)建設(shè)XX大學(xué)的需要,學(xué)校的應(yīng)用業(yè)務(wù)系統(tǒng)將采用私有云與共有云相結(jié)合的方法來解決大規(guī)模用戶訪問所需的并發(fā)訪問,帶寬資源要求高的視頻訪問將主要依托社會公共云資源的基礎(chǔ)設(shè)施,學(xué)校教育云網(wǎng)絡(luò)數(shù)據(jù)中心必須按照其所承載核心數(shù)據(jù)和信息管理需求,運用虛擬化技術(shù),朝私有云的方向來建設(shè),以滿足最靈活、最高效和最經(jīng)濟技術(shù)路線來建設(shè),建設(shè)技術(shù)一流的信息化基礎(chǔ)設(shè)施,滿足一流開放大學(xué)建設(shè)的需要。 2. 數(shù)據(jù)中心設(shè)計概要 2.1 總體要求 本項目為教育云架構(gòu)的網(wǎng)絡(luò)數(shù)據(jù)中心建設(shè),主要服務(wù)XX學(xué)習(xí)廣場的學(xué)分銀行、國家數(shù)字化學(xué)習(xí)資源中心XX中心資源存儲和管理、學(xué)校教學(xué)資源總庫、學(xué)校數(shù)字圖書館、培訓(xùn)學(xué)院和網(wǎng)絡(luò)學(xué)院的各類教育教學(xué)平臺和管理系統(tǒng)在線學(xué)習(xí)和考試,滿足學(xué)校URP業(yè)務(wù)交互需求。一方面大量的業(yè)務(wù)系統(tǒng)需要對數(shù)據(jù)進行共享,另一方面由于數(shù)據(jù)的重要性,又需要相互隔離,要求對接入訪問有嚴格的身份認證和權(quán)限控制。 總體來說,學(xué)校數(shù)據(jù)中心要求網(wǎng)絡(luò)架構(gòu)清晰,同時具有良好的可靠性、安全性、易管理性和擴展性。 建設(shè)目標: 本次XX大學(xué)數(shù)據(jù)中心建設(shè)屬于開啟XX大學(xué)教育云建設(shè)的第一步,主要由虛擬化網(wǎng)絡(luò)系統(tǒng)建設(shè)、虛擬化服務(wù)器系統(tǒng)建設(shè)、統(tǒng)一存貯系統(tǒng)建設(shè)三部分構(gòu)成,其中虛擬化網(wǎng)絡(luò)建設(shè)包括:網(wǎng)絡(luò)核心建設(shè),網(wǎng)絡(luò)匯聚建設(shè),網(wǎng)絡(luò)安全建設(shè),網(wǎng)絡(luò)運維系統(tǒng)建設(shè),網(wǎng)絡(luò)出口系統(tǒng)建設(shè)。本次建設(shè)要求技術(shù)架構(gòu)先進、按需滿足、可無限擴充的技術(shù)路線,徹底改善在傳統(tǒng)構(gòu)架的網(wǎng)絡(luò)中進行業(yè)務(wù)擴容、遷移或增加新的服務(wù)功能越來越困難的問題。通過使用虛擬化技術(shù),采用云模式構(gòu)架,增加虛擬化核心交換機、虛擬化服務(wù)器設(shè)備和虛擬化統(tǒng)一存儲系統(tǒng),建設(shè)XXXXX大學(xué)教育私有云。教育云數(shù)據(jù)中心建成后,所有的服務(wù)都在數(shù)據(jù)中心運行,新增的業(yè)務(wù)需求都由數(shù)據(jù)中心統(tǒng)一分配網(wǎng)絡(luò)、服務(wù)器、存儲資源,學(xué)校提供統(tǒng)一的運行環(huán)境。滿足湖湘學(xué)習(xí)廣場門戶、社區(qū)教育網(wǎng)站、干部在線等大規(guī)模訪問用戶的訪問需求,成為學(xué)校管理信息系統(tǒng)、XX教育平臺、高職教育平臺、國家數(shù)字化學(xué)習(xí)資源中心、學(xué)校資源中心的數(shù)據(jù)中心。建設(shè)的最終目標是構(gòu)建XX大學(xué)系統(tǒng)的教育云,本次建設(shè)的本部的網(wǎng)絡(luò)數(shù)據(jù)中心主要性能要求如下: 系統(tǒng)高性能:10萬兆處理性能、無收斂、吞吐量高、快速響應(yīng)、構(gòu)建全網(wǎng)無阻塞的網(wǎng)絡(luò)架構(gòu),解決上一代數(shù)據(jù)中心架構(gòu)中最難解決的N:1流量收斂問題,確保大流量突發(fā)情況下不丟包。 系統(tǒng)高可用:通過虛擬化技術(shù)實現(xiàn)關(guān)鍵設(shè)備的多變一,將各種故障的恢復(fù)時間縮短到毫秒級。 統(tǒng)一交換FCoE:利用FCoE技術(shù)將數(shù)據(jù)中心的存儲資源、計算資源、網(wǎng)絡(luò)資源整合在一起,減少系統(tǒng)布線、硬件設(shè)備、能源消耗,降低數(shù)據(jù)中心整體投資和日常運營維護費用。 系統(tǒng)高安全:基于云計算中按需資源調(diào)度的前提,各種安全控制策略需要能夠智能感知業(yè)務(wù)的遷移和變化,動態(tài)實現(xiàn)精細化的安全訪問控制,確保業(yè)務(wù)的安全。 資源可調(diào)度:將計算任務(wù)分布在大量計算機構(gòu)成的資源池上,使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計算力、存儲空間和信息服務(wù)。并根據(jù)系統(tǒng)訪問的波峰期、波谷期靈活的對數(shù)據(jù)中心的網(wǎng)絡(luò)資源、計算資源、存儲資源實現(xiàn)統(tǒng)一調(diào)度。 系統(tǒng)易管理:各種控制和隔離策略要靈活部署,做到對網(wǎng)絡(luò)設(shè)備、服務(wù)器系統(tǒng)、存儲等系統(tǒng)的全面管理,同時管理數(shù)據(jù)流與業(yè)務(wù)數(shù)據(jù)流保持隔離。 網(wǎng)絡(luò)安全:構(gòu)建校園安全防護體系,建設(shè)一套行之有效的安全管理機制,采用統(tǒng)一的接入網(wǎng)身份認證,主動發(fā)現(xiàn)、及時防御、迅速解決安全問題,并采用各種技術(shù)有效防止校園網(wǎng)絡(luò)病毒的傳播。 XXX大學(xué)教育云拓撲結(jié)構(gòu) 本次建設(shè)分層分區(qū)設(shè)計 學(xué)校數(shù)據(jù)中心為學(xué)校終身教育的湖湘學(xué)習(xí)廣場建設(shè)(終身教育學(xué)習(xí)平臺)、大學(xué)管理信息系統(tǒng)建設(shè)(URP)、新型開放教育教學(xué)平臺建設(shè)、國家數(shù)字化學(xué)習(xí)資源中心建設(shè)、信息化基礎(chǔ)設(shè)施建設(shè)等服務(wù),以及各業(yè)務(wù)的安全隔離控制。 按照網(wǎng)絡(luò)核心、匯聚和接入的模型對學(xué)校網(wǎng)絡(luò)系統(tǒng)進行劃分,從而完成用戶接入層面與數(shù)據(jù)中心的數(shù)據(jù)接入層面的分層設(shè)計。 根據(jù)網(wǎng)絡(luò)實現(xiàn)的功能,從數(shù)據(jù)中心所提供業(yè)務(wù)的獨立性和互訪關(guān)系綜合考慮,根據(jù)業(yè)務(wù)相關(guān)性和數(shù)據(jù)流訪問控制的要求,將數(shù)據(jù)中心網(wǎng)絡(luò)根據(jù)業(yè)務(wù)和功能劃分為以下幾個個功能區(qū): l 核心業(yè)務(wù)區(qū):學(xué)校核心業(yè)務(wù)數(shù)據(jù)(終身教育學(xué)習(xí)平臺、國家數(shù)字化學(xué)習(xí)資源中心等) l IT公共數(shù)據(jù)區(qū)(OA):為辦公提供基礎(chǔ)IT服務(wù)和相關(guān)數(shù)據(jù) l 外聯(lián)區(qū):與分?;蚱渌饴?lián)單位互訪接口 l 互聯(lián)網(wǎng)區(qū):門戶網(wǎng)站和遠程辦公接入出口、公共服務(wù) l 網(wǎng)管維護區(qū):網(wǎng)絡(luò)的管理控制中心 教育云網(wǎng)絡(luò)數(shù)據(jù)中心拓撲圖 3. 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計 XXXX大學(xué)下設(shè)市州和行業(yè)、企業(yè)分校眾多,而作為校園網(wǎng)運轉(zhuǎn)核心之一的IT系統(tǒng)訪問量巨大,為滿足學(xué)校業(yè)務(wù)擴張和數(shù)據(jù)大集中的發(fā)展需要,數(shù)據(jù)中心的建設(shè)中必須要考慮到系統(tǒng)的容量、性能、擴展性、安全性和易管理等諸多因素。因此,在數(shù)據(jù)中心的建設(shè)中,采用業(yè)界通用的交換網(wǎng)絡(luò)設(shè)計,具有性能高、吞吐量大,可靠性高,擴展性好等優(yōu)勢。 設(shè)計要求 數(shù)據(jù)中心是XXXX大學(xué)最主要的業(yè)務(wù)平臺,承載著學(xué)校的核心業(yè)務(wù),供學(xué)校內(nèi)部數(shù)據(jù)交換,具有系統(tǒng)復(fù)雜、重要性極高、訪問頻繁、業(yè)務(wù)流量大、安全要求高、管理控制策略復(fù)雜等諸多特點,因此,數(shù)據(jù)中心網(wǎng)絡(luò)的設(shè)計必須要做到: 1、 應(yīng)用系統(tǒng)高性能:10萬兆核心、無收斂、吞吐量高、快速響應(yīng)、服務(wù)器負載均衡,確保大流量突發(fā)情況下不丟包; 2、 系統(tǒng)高可用:網(wǎng)絡(luò)采用全冗余設(shè)計,對各種故障和誤操作具有良好的魯棒性; 3、 網(wǎng)絡(luò)高安全:對各種訪問做到精細控制,防止各種非法和越權(quán)訪問; 4、易于管理:各種控制和隔離策略要靈活部署,做到對網(wǎng)絡(luò)設(shè)備、服務(wù)器系統(tǒng)、存儲等系統(tǒng)的全面管理,同時管理數(shù)據(jù)流與業(yè)務(wù)數(shù)據(jù)流保持隔離。 3.1 可靠性和自愈能力 l 鏈路冗余 在主干連接上具備可靠的線路冗余方式。采用負載均衡的冗余方式,即通常情況下兩條連接均提供數(shù)據(jù)傳輸,并互為備份。主線路可實時、自動的切換到備份線路,而不影響業(yè)務(wù)應(yīng)用。這種高速的網(wǎng)絡(luò)自愈特性應(yīng)可以保證不會引起IP路由的重新計算,不會引起業(yè)務(wù)的瞬間質(zhì)量惡化,更不會引起業(yè)務(wù)的中斷。 l 模塊冗余 主干設(shè)備的所有模塊和環(huán)境部件具備1+1或1:N熱備份的功能,切換時間小于3秒。所有模塊具備熱插拔的功能。系統(tǒng)具備99.999%以上的可用性。每臺核心交換機要求配置至少4塊獨立的交換網(wǎng)板(非主控或板卡集成)。 l 設(shè)備冗余 提供由兩臺或兩臺以上設(shè)備組成一個虛擬設(shè)備的能力。當(dāng)其中一個設(shè)備因故障停止工作時,另一臺設(shè)備自動接替其工作,并且不引起其他節(jié)點的路由表重新計算,從而提高網(wǎng)絡(luò)的穩(wěn)定性。以保證大部分IP應(yīng)用不會出現(xiàn)超時錯誤。 l 路由冗余 網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計應(yīng)提供足夠的路由冗余功能,在上述冗余特性仍不能解決問題時,數(shù)據(jù)流應(yīng)能尋找其他路徑到達目的地址。 3.2 擁塞控制與服務(wù)質(zhì)量保障 擁塞控制和服務(wù)質(zhì)量保障(QoS)是企業(yè)信息網(wǎng)關(guān)注的重要品質(zhì)。由于接入方式、接入速率、應(yīng)用方式、數(shù)據(jù)性質(zhì)的豐富多樣,網(wǎng)絡(luò)的數(shù)據(jù)流量突發(fā)是不可避免的,因此,網(wǎng)絡(luò)對擁塞的控制和對不同性質(zhì)數(shù)據(jù)流的不同處理是十分重要的。 n 業(yè)務(wù)分類 網(wǎng)絡(luò)設(shè)備應(yīng)支持6~8種業(yè)務(wù)分類(COS)。當(dāng)用戶終端不提供業(yè)務(wù)分類信息時,網(wǎng)絡(luò)設(shè)備應(yīng)根據(jù)用戶的IP地址、應(yīng)用類型、流量大小等自動對業(yè)務(wù)進行分類。 n 接入速率控制 接入本網(wǎng)絡(luò)的業(yè)務(wù)應(yīng)遵守其接入速率承諾。超過承諾速率的數(shù)據(jù)將被丟棄或標以最低的優(yōu)先級。 n 隊列機制 具有先進的隊列機制進行擁塞控制,對不同等級的業(yè)務(wù)進行不同的處理,包括時延的不同和丟包率的不同。 n 先期擁塞控制 當(dāng)網(wǎng)絡(luò)出現(xiàn)真正的擁塞時,瞬間大量的丟包會引起大量TCP數(shù)據(jù)同時重發(fā),加劇網(wǎng)絡(luò)擁塞的程度并引起網(wǎng)絡(luò)的不穩(wěn)定。網(wǎng)絡(luò)設(shè)備應(yīng)具備先進的技術(shù),在網(wǎng)路出現(xiàn)擁塞前就自動采取適當(dāng)?shù)拇胧?,進行先期擁塞控制,避免瞬間大量的丟包現(xiàn)象。 n 資源預(yù)留 對非常重要的特殊應(yīng)用,應(yīng)可以采用保留帶寬資源的方式保證其QoS。 3.3 網(wǎng)絡(luò)的擴展能力 網(wǎng)絡(luò)的擴展能力包括設(shè)備交換容量的擴展能力、端口密度的擴展能力、主干帶寬的擴展,以及網(wǎng)絡(luò)規(guī)模的擴展能力。 n 交換容量擴展 交換容量具備在規(guī)劃業(yè)務(wù)水平上保證4~8倍容量的能力,以適應(yīng)IP類業(yè)務(wù)急速膨脹的現(xiàn)實。 n 端口密度擴展 設(shè)備的端口密度應(yīng)能滿足網(wǎng)絡(luò)擴容時設(shè)備間互聯(lián)的需要。 n 主干帶寬擴展 主干帶寬具備高帶寬擴展能力,以適應(yīng)IP類業(yè)務(wù)急速膨脹的現(xiàn)實。 n 網(wǎng)絡(luò)規(guī)模擴展 網(wǎng)絡(luò)體系、路由協(xié)議的規(guī)劃和設(shè)備的CPU/NP路由處理能力,在網(wǎng)絡(luò)節(jié)點數(shù)目上應(yīng)能滿足3~5年的擴展要求。 3.4 通信協(xié)議的支持 n 網(wǎng)絡(luò)通信協(xié)議 以支持TCP/IP協(xié)議為主,兼支持IPX等協(xié)議。設(shè)備商應(yīng)提供服務(wù)營運級別的網(wǎng)絡(luò)通信軟件和網(wǎng)際通用操作系統(tǒng)。 n 域內(nèi)路由協(xié)議 支持RIP、RIPv2、OSPF、IS-IS等多種國際標準的路由協(xié)議。根據(jù)網(wǎng)絡(luò)工程的規(guī)模和需求,采用OSPF路由協(xié)議來進行規(guī)劃建設(shè)。并采取合理的區(qū)域劃分和路由規(guī)劃來保證網(wǎng)絡(luò)的穩(wěn)定性。 n 域間路由協(xié)議 支持BGP-4等標準的域間路由協(xié)議,保證與可與廣域網(wǎng)采用多種方式進行可靠互聯(lián)。 n MPLS MPLS提高網(wǎng)絡(luò)整體交換性能,在無連接的IP環(huán)境下實現(xiàn)面向連接的效果,MPLS可以支持VPN功能,有效隔離不用業(yè)務(wù)網(wǎng)段。網(wǎng)絡(luò)支持MPLS標準,具備3層、2層MPLS VPN的功能,可以在與未來XXXX大學(xué)MPLS VPN網(wǎng)絡(luò)無縫對接。 3.5 網(wǎng)絡(luò)交換設(shè)備設(shè)計需求 核心層 核心層提供多個數(shù)據(jù)中心匯聚模塊互聯(lián),并連接園區(qū)網(wǎng)核心、互聯(lián)網(wǎng)出口和外聯(lián)單位;具有高交換能力和突發(fā)流量適應(yīng)能力,無阻塞、低收斂或無收斂,采用多條萬兆鏈路捆綁互聯(lián),同時核心交換機要求多匯聚模塊擴展能力,高性能要求4-8 10GE鏈路捆綁。采用多級的交換網(wǎng)架構(gòu),交換網(wǎng)板必須與主控分離,獨立于主控和線卡。同時核心層設(shè)備必須有大量成功部署在大型數(shù)據(jù)中心的應(yīng)用案例,以保證設(shè)備的可用性。要求核心交換機能力支持16個萬光端口以上的業(yè)務(wù)插卡模塊, 配置虛擬化技術(shù),要求兩臺物理設(shè)備的虛擬為一臺邏輯設(shè)備,支持統(tǒng)一的管理、跨設(shè)備鏈路聚合,要求提供虛擬化技術(shù)的用戶使用報告至少兩份,至少提供一個本地可參觀的虛擬化技術(shù)應(yīng)用樣板點;交換容量≥3Tbps,包轉(zhuǎn)發(fā)率≥950Mpps;業(yè)務(wù)單板槽位數(shù)≥8個;要求提供冗余主控、冗余電源、滿配交換網(wǎng)板;支持基于端口的VLAN,802.1Q Vlan封裝,最大Vlan數(shù)≥4096,支持GVRP, 支持IEEE 802.1x和IEEE 802.1x SERVER。支持STP/RSTP/MSTP協(xié)議,符合IEEE802.1D、IEEE802.1W、IEEE802.1S標準。支持PIM-DM、PIM-SM、PIM-SSM、MSDP、MBGP 、Any-RP、IGMPv1/v2/v3等協(xié)議;支持FCOE和FC;支持PIM6-DM、PIM6-SM、MLDv1等協(xié)議。支持靜態(tài)路由、RIP V1/V2、OSPF、BGP,支持策略路由和VRRP 。支持IPv6靜態(tài)路由,RIPng、OSPFv3、IS-ISv6、BGP4+,支持IPv6的策略路由和VRRPv3,支持IPv4向IPv6的過渡技術(shù),包括:IPv6手工隧道、6to4隧道、ISATAP隧道、GRE隧道等。板卡可以實現(xiàn)分布式(非集中式)二、三層MPLS VPN,支持跨域MPLS VPN,包括VRF-VRF、MP-BGP、 MultiHop-BGP三種方式。 匯聚層 為服務(wù)器群(server farm)對外提供高帶寬出口;要求提供高密度10GE端口實現(xiàn)接入層互聯(lián);作為應(yīng)用服務(wù)器網(wǎng)關(guān)層,同時提供擴展業(yè)務(wù)模塊,如萬兆防火墻模塊、流量清洗模塊,實現(xiàn)網(wǎng)絡(luò)的訪問控制、DDoS防御、異常檢測和應(yīng)用加速和負載均衡等高級功能。 匯聚層與服務(wù)器群根據(jù)應(yīng)用特點進行數(shù)據(jù)中心區(qū)域劃分,形成功能分區(qū),可靈活擴展,又可滿足業(yè)務(wù)系統(tǒng)獨立和隔離的需求。交換容量≥600G,包轉(zhuǎn)發(fā)率≥360Mbps,系統(tǒng)可提供萬兆接口≥24個,支持FCOE和FC,滿配萬兆多模光模塊,提供4個千兆電接口,支持內(nèi)置電源冗余,配置雙冗余電源;支持跨設(shè)備鏈路聚合,單一IP管理,虛擬化后所有設(shè)備路由表項統(tǒng)一,未來可以通過虛擬化技術(shù)實現(xiàn)多臺匯聚虛擬成一臺大匯聚,支持IPv4/IPv6靜態(tài)路由、RIP V1/V2/ng、OSPFv2/v3、BGP-4,支持策略路由。 3.6 數(shù)據(jù)中心網(wǎng)絡(luò)出口設(shè)計 根據(jù)XXX大學(xué)的數(shù)據(jù)中心的訪問需求、業(yè)務(wù)系統(tǒng)類型、數(shù)據(jù)流特點,將數(shù)據(jù)中心出口分為三部分進行設(shè)計: 1、 互聯(lián)網(wǎng)區(qū):提供學(xué)校的網(wǎng)絡(luò)出口:學(xué)校WEB網(wǎng)站系統(tǒng)、終身教育的XX學(xué)習(xí)廣場(終身教育學(xué)習(xí)平臺)、新型開放教育教學(xué)平臺、國家數(shù)字化學(xué)習(xí)資源中心、學(xué)校教師通過互聯(lián)網(wǎng)接入的移動辦公、通過Internet對外的業(yè)務(wù)交互等;出口路由器與ISP骨干網(wǎng)直連,需要高帶寬接口,同時提供較高的接口密度和匯聚能力。 2、 外聯(lián)區(qū):與地州市和行業(yè)分校的業(yè)務(wù)互聯(lián)功能區(qū)、視頻會議等;一般通過專線或VPN進行接入?yún)R聚。 3、 內(nèi)網(wǎng)區(qū):包括大學(xué)管理信息系統(tǒng)建設(shè)(URP)、學(xué)分銀行系統(tǒng)、教務(wù)管理系統(tǒng)、財務(wù)系統(tǒng)、一卡通系統(tǒng)等,可根據(jù)具體的應(yīng)用做詳細的服務(wù)器群劃分。 3.6.1. Internet互聯(lián)網(wǎng)區(qū) 互聯(lián)網(wǎng)區(qū)作為XXXX大學(xué)的數(shù)據(jù)中心出口,其作用主要有: u 學(xué)校面向公眾的展示平臺-Web網(wǎng)站(前端平臺)包括:終身教育的XXX學(xué)習(xí)廣場(終身教育學(xué)習(xí)平臺)、新型開放教育教學(xué)平臺、國家數(shù)字化學(xué)習(xí)資源中心、終身教育數(shù)字化公共圖書館等。設(shè)計訪問量在50萬人并發(fā)訪問; u 公網(wǎng)訪問電子圖書館系統(tǒng); u 出差辦公接入、URP系統(tǒng)訪問:主要通過SSL VPN接入; 為滿足Internet區(qū)域訪問需要,提高網(wǎng)絡(luò)和應(yīng)用系統(tǒng)安全性,將Internet訪問的服務(wù)器及應(yīng)用系統(tǒng)規(guī)劃在DMZ區(qū)域,下掛在Internet區(qū)域,Internet區(qū)域部署VPN設(shè)備、IPS、防火墻,對各種訪問進行控制,同時對各種DDoS攻擊、嗅探、掃描、欺騙進行防御,進行病毒過濾,對SSL VPN訪問。 Internet區(qū)域需要部署出口鏈路負載均衡系統(tǒng)和防火墻設(shè)備,杜絕單點故障;部署SSL VPN設(shè)備,實現(xiàn)安全接入校園網(wǎng)絡(luò)。 1、出口鏈路負載均衡系統(tǒng): 采用多核或多CPU架構(gòu),如為多核,CPU核數(shù)目≥8個;如為多CPU架構(gòu),CPU數(shù)量不少于2個;固定接口:10/100/1000以太網(wǎng)口≥16個;千兆SFP接口≥4個;吞吐量≥4Gbps;最大并發(fā)連接數(shù)≥200萬;支持真實服務(wù)器個數(shù)≥16384;支持健康檢測個數(shù)≥16384; 配置VRRP雙機熱備,支持設(shè)備內(nèi)部以及設(shè)備之間的雙機熱備;LB模塊發(fā)生故障時,數(shù)據(jù)流能夠避開故障模塊,業(yè)務(wù)保持正常轉(zhuǎn)發(fā);支持Inbound/Outbound雙向鏈路負載均衡;支持鏈路的失效切換;支持無限hops多路徑鏈路健康檢查方式;支持靜態(tài)地址列表匹配,要求基于電信/網(wǎng)通+聯(lián)通/移動+鐵通等運營商的IP地址庫;支持智能DNS解析,512條DNS表項;支持負載均衡算法:輪詢、加權(quán)輪詢、最小連接、加權(quán)最小連接、隨機、加權(quán)隨機、源地址HASH、目的地址HASH、HTTP內(nèi)容、RTSP URL;支持ICMP、TCP、FTP、HTTP、DNS等多種方式的健康檢測技術(shù);支持和網(wǎng)絡(luò)無縫融合,可以通過網(wǎng)絡(luò)設(shè)備進行統(tǒng)一管理;支持服務(wù)器負載均衡;支持防火墻負載均衡;能夠同時支持服務(wù)器和防火墻負載均衡;支持多鏈路負載均衡;支持NAT方式的服務(wù)器負載均衡;支持DR方式的服務(wù)器負載均衡;支持路由模式的防火墻負載均衡;支持透明模式的防火墻負載均衡;支持在線部署和旁掛部署模式 2、服務(wù)器負載均衡系統(tǒng): 硬件架構(gòu),采用基于每個端口的ASIC芯片;系統(tǒng)內(nèi)核,采用封閉式的專有操作系統(tǒng),無已知安全漏洞;硬件配置要求,背板帶寬≥48G ;CPU≥雙核2.6 GHz;內(nèi)存≥4GB;端口密度, 總端口數(shù)≥14個;性能指標,四七層業(yè)務(wù)吞吐能力≥8G,并發(fā)會話數(shù)量≥400萬,四層新建會話能力≥25萬,七層新建會話能力≥12萬設(shè)備;設(shè)備可靠性,滿足雙機冗余,采用VRRP冗余協(xié)議;雙交流電源配置;主要功能,支持負載均衡算法:輪詢、加權(quán)輪詢、最少用戶數(shù)、HASH、最少流量,支持會話保持方式:cookie,session ID,URL,Http Header等,可以通過license升級到支持全局負載均衡功能,支持RIP、RIP2、OSPF,BGP等路由協(xié)議;網(wǎng)管功能,支持管理方式:CLI,WEB(HTTP/HTTPS),Telnet,SSH,GUI界面管理,同一GUI界面下可以同時管理多臺設(shè)備,支持第三方網(wǎng)管軟件的插件,IBM Tivoli, CA Unicenter, HP Openview;IPS安全防護功能,可通過購買License的方式,啟用設(shè)備的IPS功能模塊,可以實時過濾不少于1600種目前最流行的病毒,蠕蟲,木馬,后門等入侵攻擊, 要求具備特征庫自動升級的能力,DOS/DDOS防范攻擊,提供集成DOS Sheild以及基于行為模式分析的BDOS 拒絕服務(wù)攻擊防范技術(shù),集成針對syn flood的攻擊防范功能(需要DOS License);帶寬管理功能,可通過購買License的方式,啟用設(shè)備的帶寬管理功能模塊,系統(tǒng)可支持帶寬管理功能,帶寬管理的粒度 <= 1k bit,系統(tǒng)可支持對P2P軟件數(shù)據(jù)包的攔截或者帶寬限制,特征庫備識別常用P2P下載的軟件:MSN,BITTORRENT,SKYPE,EDONKEY,KAZAA,EMULE等,以節(jié)省鏈路出口帶寬,要求具備特征庫自動升級的能力。 3、SSL VPN系統(tǒng): 獨立多核硬件設(shè)備,提供4個百兆電口,可擴展支持2個千兆端口;可滿足至少300用戶同時在線;RC4加密性能不小于120Mpps;支持包括WEB、TCP、IP等免客戶端接入方式;支持RSA數(shù)字簽名算法、MD5、SHA1摘要算法、支持RC4、DES、3DES、AES等加密算法;支持客戶端退出緩存清除功能,可清除網(wǎng)頁緩存、Cookie、下載程序、配置文件等信息;支持本地認證、Radius認證、雙因子證書認證、LDAP認證、AD認證等多種認證方式;支持瀏覽器和操作系統(tǒng)類型、版本、補丁等主機安全狀態(tài)檢查; 防火墻:需要提供靈活的報文準入過濾、基于狀態(tài)的安全檢測,提供病毒防御和郵件掃描等高級應(yīng)用層功能。 3.6.2. 外聯(lián)區(qū) 外聯(lián)區(qū)主要為與地州市和行業(yè)分校的業(yè)務(wù)互聯(lián)功能區(qū)、視頻會議等;一般通過專線或VPN進行接入?yún)R聚。對內(nèi)與數(shù)據(jù)中心核心互聯(lián),進行業(yè)務(wù)的交互處理。除部署交換機和服務(wù)器外,該區(qū)域需要部署出口防火墻。 3.6.3. 內(nèi)網(wǎng)區(qū)(各類教學(xué)業(yè)務(wù)系統(tǒng)服務(wù)后端網(wǎng)絡(luò)) 流量特點 內(nèi)網(wǎng)區(qū)的主要出口流量包括:學(xué)校內(nèi)部URP系統(tǒng)訪問;DMZ區(qū)訪問,如SMTP服務(wù)器,WEB服務(wù)器等;學(xué)校教務(wù)等服務(wù)數(shù)據(jù)同步;校園一卡通;學(xué)校IT運維管理;在這個區(qū)域主要部署防火墻。 3.7 數(shù)據(jù)中心安全設(shè)計 3.7.1. 防火墻 根據(jù)XXX大學(xué)的網(wǎng)絡(luò)結(jié)構(gòu),在XXX大學(xué)數(shù)據(jù)中心進行如下防火墻部署設(shè)計: 各個不同區(qū)域的安全隔離 u 互聯(lián)網(wǎng)出口、廣域網(wǎng)出口安全控制:我們在學(xué)校互聯(lián)網(wǎng)出口,以及與下級分校廣域網(wǎng)連接處部署防火墻,兩臺防火墻與核心交換機以及出口路由器之間采取全冗余連接,保證系統(tǒng)的可靠性,同時設(shè)置兩臺防火墻為雙機熱備方式,在實現(xiàn)安全控制的同時保證線路的可靠性; u Extranet跟Intranet各業(yè)務(wù)系統(tǒng)安全隔離,Intranet內(nèi)部各業(yè)務(wù)系統(tǒng)彼此之間安全隔離:我們學(xué)校數(shù)據(jù)中心核心層交換機上部署高性能的防火墻插卡,至少每個業(yè)務(wù)系統(tǒng)保證1G以上安全轉(zhuǎn)發(fā)的吞吐量。同時采取線路全冗余和設(shè)備雙機熱備方式,以保證數(shù)據(jù)中心的高可靠性。 防火墻需求 u 要求為獨立萬兆防火墻或集成在核心交換機中 u 獨立防火墻必須為中國移動或者中國電信10G以上防火墻入圍產(chǎn)品 u 獨立防火墻必須提供8千兆電口和4個千兆光口,可以擴展8個萬兆口 u 支持無限制用戶數(shù) u 防火墻吞吐量≥10Gbps u 并發(fā)連接數(shù)≥200萬 u 每秒新建連接數(shù)≥10萬個 u 工作模式:路由和透明 u 支持最大虛擬防火墻數(shù)≥256,本次要求配置至少250個虛擬防火墻 u 管理:免費圖形化管理軟件,提供支持GUI或基于Web管理界面 u 路由協(xié)議支持OSPF、RIP和靜態(tài) u 故障切換支持:Active/Active和Active/Standby u 除了支持路由模式、透明模式、NAT 模式外,還支持動態(tài)、靜態(tài)的網(wǎng)絡(luò)地址轉(zhuǎn)換 u 對IP語音和視頻有良好支持,如SIP、H.323等 u 支持多媒體應(yīng)用的特性: RAS第2版本;RTSP;RealAudio;Streamworks;CU-SeeMe;IP Phone;IRC;Vxtreme;VDO Live; 可以控制與某些襲擊類型相關(guān)的網(wǎng)絡(luò)行為,比如: Flood Guard;FragGuard和虛擬重組;DNS控制;ActiveX阻擋;Java 過濾;URL 過濾 u 支持防攻擊類型為Ping-of-Death、Ping-Flooding、TearDrop、UDP-Flooding、SYN-Flooding、Killwin、WinNuke、LAND IGMP2、IP碎片、IP-Spoofing等等。 u 支持IPv6。 u 支持DHCP服務(wù)器和DHCP中繼,支持PAT、雙向NAT和端口重定向。 u 支持向IDS系統(tǒng)報警。 u 支持SSH和基于Web遠程管理,支持SNMP v2版本。 3.8 網(wǎng)絡(luò)管理與安全體系 1) 為了實現(xiàn)XXXXXX大學(xué)IT的管理,不僅需要對整網(wǎng)網(wǎng)絡(luò)設(shè)備實現(xiàn)統(tǒng)一管理,實現(xiàn)網(wǎng)絡(luò)的拓撲、性能、故障、配置全方位的管理,還要能夠?qū)崿F(xiàn)對存儲系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)的統(tǒng)一管理。 2) 網(wǎng)絡(luò)安全從本質(zhì)上講是管理問題。保證用戶終端的安全、阻止威脅入侵網(wǎng)絡(luò),對用戶的網(wǎng)絡(luò)訪問行為進行有效的控制,是保證學(xué)校網(wǎng)絡(luò)安全運行的前提。 3) 對于學(xué)校的Internet出口,根據(jù)公安部門在2005年頒布了《互聯(lián)網(wǎng)安全保護技術(shù)措施規(guī)定》,需要對用戶登錄和退出時間、主叫號碼、帳號、互聯(lián)網(wǎng)地址或域名等信息進行保存,能夠記錄并留存用戶使用的互聯(lián)網(wǎng)網(wǎng)絡(luò)地址和內(nèi)部網(wǎng)絡(luò)地址對應(yīng)關(guān)系,并保留3個月以上的上網(wǎng)日志信息備查,以便公安機關(guān)公共信息網(wǎng)絡(luò)安全監(jiān)察部門在需要時可以進行追查。 主要部署流控設(shè)備、網(wǎng)絡(luò)運維管理設(shè)備和數(shù)字KVM設(shè)備。 3.8.1. 流量控制與監(jiān)控設(shè)備 XXXX大學(xué)數(shù)據(jù)中心流量控制與監(jiān)控設(shè)備,要求采用多核多線程CPU分布式架構(gòu)設(shè)計,保證多業(yè)務(wù)可并行運行;獨立設(shè)備要求至少提供12個千兆端口;可以提供至少6對橋,橋可以捆綁多個接口,內(nèi)置雙電源,至少提供3組光接口橋,3組電接口橋,吞吐量> = 4G,并發(fā)會話量> = 200萬,支持Thunder(訊雷)、騰訊超級旋風(fēng)下載協(xié)議、BitTorent、eMule(電騾)/ eDonkey(電驢)、KazaA、PPLive、QQ Live、、PPStream及沸點網(wǎng)絡(luò)電視等協(xié)議,支持QQ、ICQ、MSN Messenger、Yahoo Messenger及阿里旺旺等協(xié)議,支持Skype、UUCALL、Konge(中橋語音) 、SIP、MGCP及H323等協(xié)議,提供PC-PC、PC-Phone模式的呼叫識別、干擾、阻斷,支持MSSQL-Server及Oracle等,支持Notes、IMAP、POP、SMTP、FTP、Telnet及Syslog等,支持Big Wisdom(大智慧)及Straight Flush(同花順)等,支持魔獸世界、QQ游戲、聯(lián)眾、新浪游戲大廳等且不少于30種,流媒體、WEB訪問、FTP下載、網(wǎng)絡(luò)管理共不少于20種,采用特征庫技術(shù),特征庫升級過程無需重啟、不中斷業(yè)務(wù)正常運行,且完成整個升級過程所需時間小于5分鐘,特征庫支持手動升級與自動升級,特征庫必須在網(wǎng)上發(fā)布,平均至少兩周更新一次,以便利于獲取,提供開放端口,可手工定義協(xié)議類型,支持與第三方配合,共同開發(fā)特征庫,可導(dǎo)入用戶自行開發(fā)的特征庫,可識別2000+種應(yīng)用協(xié)議,并可提供詳細列表或者腳本文件,可以識別并檢測802.1Q、MPLS、QinQ、GRE等特殊封裝的網(wǎng)絡(luò)報文。支持阻斷功能,支持限流功能,支持干擾功能,支持告警功能,可自動學(xué)習(xí)流量模型來進行策略的調(diào)整,支持輸出報表功能,支持基于用戶名、區(qū)域、源/目的IP、IP組、時間、應(yīng)用等綜合任意組合進行控制,支持對用戶URL訪問歷史記錄的查詢審計,包括提供訪問的用戶名/IP、網(wǎng)站信息、網(wǎng)頁信息、URL信息、網(wǎng)頁標題、訪問時間等,支持SMTP/POP3郵件信息審計,包括記錄發(fā)件人、收件人、抄送人、暗送人、主題、附件名、時間等,審計系統(tǒng)可接收NAT日志,會話開始時間與結(jié)束時間,從而實現(xiàn)直接審計到內(nèi)部用戶功能,審計信息可通過Excel倒出、通過郵件直接發(fā)送,可按時間、地域、用戶名、源/目的IP、動作、類型等進行查詢,應(yīng)用流量統(tǒng)計:能夠支持常見應(yīng)用流量統(tǒng)計,提供對WEB網(wǎng)站綜合分析、WEB網(wǎng)站應(yīng)用分析、WEB應(yīng)用行為分析、Email應(yīng)用行為分析,包括Top N(N為10~100)的柱狀圖、排行列表等,用戶或IP應(yīng)用流量區(qū)分 3.8.2. 網(wǎng)絡(luò)統(tǒng)一管理設(shè)計方案 智能管理平臺實現(xiàn)網(wǎng)絡(luò)資源、用戶和業(yè)務(wù)的融合管理,提供基本的網(wǎng)絡(luò)資源管理、拓撲管理、故障管理、性能管理、用戶管理及系統(tǒng)安全管理,基于B/S架構(gòu),采取組件化方式構(gòu)建網(wǎng)絡(luò)管理系統(tǒng),系統(tǒng)可以學(xué)校用戶的實際需要擴展其他所需要的業(yè)務(wù)管理組件,不需要更換基本平臺,滿足多種管理功能的需要。 智能管理平臺通過標準的設(shè)備管理協(xié)議實現(xiàn)對銳捷、Cisco、3com、H3C等各主流廠商的數(shù)據(jù)通信設(shè)備管理。 3.8.3. 拓撲管理 自動發(fā)現(xiàn)網(wǎng)絡(luò)拓撲結(jié)構(gòu),支持全網(wǎng)設(shè)備的統(tǒng)一拓撲視圖,通過視圖導(dǎo)航樹提供視圖間的快速導(dǎo)航。通過自動發(fā)現(xiàn)可以發(fā)現(xiàn)網(wǎng)絡(luò)中的所有設(shè)備及網(wǎng)絡(luò)結(jié)構(gòu),并且可以將非SNMP設(shè)備發(fā)現(xiàn)出來,只要設(shè)備可以ping通即可。同時支持自動的拓撲圖呈現(xiàn)和自定義拓撲。 支持對全網(wǎng)設(shè)備和連接定時輪詢和狀態(tài)刷新,實時了解整個網(wǎng)絡(luò)的運行情況,并且刷新周期是可定制,同時也支持對多個設(shè)備的刷新周期進行批量配置的功能。 3.8.4. 故障(告警/事件)管理 故障管理,即告警/事件管理,智能管理平臺及其他業(yè)務(wù)組件統(tǒng)一的告警中心。 告警發(fā)現(xiàn)和上報 告警中心可以按收各種告警源的告警事件,包括設(shè)備告警、本級網(wǎng)管站及下級網(wǎng)管站告警、網(wǎng)絡(luò)性能監(jiān)視告警、網(wǎng)絡(luò)配置監(jiān)視告警、網(wǎng)絡(luò)流量異常監(jiān)視告警、終端安全異常告警等;同時通過支持對設(shè)備定時輪詢,實現(xiàn)通斷告警、響應(yīng)時間告警等,以告警事件的方式上報給告警中心。支持告警智能分析,包括告警分類關(guān)聯(lián)分析、告警多源關(guān)聯(lián)分析、告警拓撲根源分析、告警網(wǎng)絡(luò)影響度分析。 3.8.5. 性能管理 網(wǎng)管系統(tǒng)提供豐富的性能管理功能,同時以直觀的方式顯示。例如:可以提供折線圖、方圖、餅圖等多種顯示方式并能生成相應(yīng)的報表。通過性能任務(wù)的配置,可自動獲得網(wǎng)絡(luò)的各種當(dāng)前性能數(shù)據(jù),并支持設(shè)置性能的閾值,當(dāng)性能超過閾值時,網(wǎng)絡(luò)以告警的方式通知告警中心: 支持能夠?qū)PU利用率、流量等關(guān)鍵指標一目了然; 提供各類常用性能指標的缺省采集模板; 支持實時性能監(jiān)視,支持二級閾值告警設(shè)置,當(dāng)鏈路或端口的流量超過閾值,系統(tǒng)將會發(fā)送性能告警,使網(wǎng)絡(luò)管理人員可以能夠及時了解網(wǎng)絡(luò)中的隱患,及時消除隱患。同時為故障定位提供手段; 提供基于歷史數(shù)據(jù)的分析,為用戶擴容網(wǎng)絡(luò)、及早發(fā)現(xiàn)網(wǎng)絡(luò)隱患提供保障; 支持餅圖、折線圖、曲線圖等多種圖形方式,直觀地反映性能指標的變化趨勢;提供靈活的組合條件統(tǒng)計和查詢;性能報表支持導(dǎo)出Html、Txt、Excel、Pdf格式文件。 3.8.6. 設(shè)備管理 設(shè)計支持設(shè)備管理,提供豐富的管理功能。通過面板管理,網(wǎng)絡(luò)管理人員可以直觀地看到設(shè)備、板卡、端口的工作狀態(tài),通過設(shè)備信息瀏覽監(jiān)視,管理人員可以了解設(shè)備的運行情況,實時監(jiān)視CPU利用率、端口利用率等重要信息。同時,提供圖形化的配置方式。 提供完善的網(wǎng)元管理功能,通過逼真的面板圖片,直觀地反映了設(shè)備運行情況。 通過面板圖標直觀地反映設(shè)備的框、架、槽、卡、風(fēng)扇、CPU、端口等關(guān)鍵部件的運行狀態(tài); 能夠查看、設(shè)置設(shè)備端口狀態(tài); 能夠查看路由、VLAN等配置信息; 能夠查看端口流量、丟包率、錯包率等關(guān)鍵統(tǒng)計數(shù)據(jù); 支持對交換機堆疊能力的管理; 通過Ping、Traceroute等功能測試當(dāng)前網(wǎng)絡(luò)鏈路的健康狀況; 支持從設(shè)備列表、設(shè)備詳細信息、拓撲等多個入口打開設(shè)備面板。 3.8.7. 設(shè)備配置統(tǒng)一管理 提供配置庫管理功能,幫助管理員對設(shè)備配置文件形成基線庫,并進行集中管理。 設(shè)備配置庫包括配置文件和配置片斷,配置內(nèi)容可帶有參數(shù),在部署時根據(jù)設(shè)備的差異設(shè)置不同的值。 系統(tǒng)缺省提供常用的配置片斷:iCC提供一些常用的基本的配置片斷,可以對其進行復(fù)制、導(dǎo)出及部署: 管理員可以從指定配置文件/片斷導(dǎo)入到配置庫中進行管理,也可以從指定設(shè)備上讀取當(dāng)前配置并導(dǎo)入到配置庫中進行管理。 除從設(shè)備導(dǎo)入、從文件導(dǎo)入配置庫功能外,管理員可以查看、增加、復(fù)制、修改、刪除、導(dǎo)出及部署指定的配置庫中任何配置文件/片斷。 當(dāng)網(wǎng)絡(luò)部署完畢,管理員可以通過配置庫管理將設(shè)備的配置信息保存下來,并進行基線化,這樣當(dāng)設(shè)備配置變化或者需要更新配置時,管理員可以參照基線化的配置文件進行修改。 3.8.8. 服務(wù)器管理功能 網(wǎng)管系統(tǒng)必須提供對服務(wù)器的管理功能,提供對常見數(shù)據(jù)庫服務(wù)器的監(jiān)控管理,包括:MySQL、Oracle、MS SQL、IBM DB2、Sybase的管理功能;提供對常見應(yīng)用服務(wù)器的監(jiān)控管理,包括:微軟.NET、GlassFish、Jboss、OracleAS、SilverStream、Tomcat、WebLogic、WebSphere;提供對常見Web服務(wù)器和HTTP URL的監(jiān)控管理,包括:Apache、IIS、PHP和Web服務(wù)。支持URL/多個URL的監(jiān)視和錄制;支持可視化管理功能,可從多種業(yè)務(wù)的角度出發(fā),提供可視化的管理視圖,包括分類視圖、圖標視圖、表格視圖、概要視圖、監(jiān)視器組視圖、批量配置視圖和業(yè)務(wù)視圖;可直接在網(wǎng)管系統(tǒng)的拓撲圖上調(diào)用業(yè)務(wù)管理功能,查看被監(jiān)控業(yè)務(wù)系統(tǒng)的詳細信息和性能參數(shù); 本次提供管理100臺設(shè)備的管理授權(quán),提供服務(wù)器管理功能; 3.8.9. 準入端點安全管理 對于XXX大學(xué)運行著非常多重要應(yīng)用的網(wǎng)絡(luò),網(wǎng)絡(luò)的安全是重中之重。但是隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,新的安全威脅不斷涌現(xiàn),病毒和蠕蟲日益肆虐,其自我繁殖的本性使其對網(wǎng)絡(luò)的破壞程度和范圍持續(xù)擴大,經(jīng)常引起系統(tǒng)崩潰、網(wǎng)絡(luò)癱瘓,使用戶蒙受嚴重損失。 能對接入網(wǎng)絡(luò)的用戶終端強制實施企業(yè)安全策略,嚴格控制終端用戶的網(wǎng)絡(luò)使用行為,有效地加強了用戶終端的主動防御能力,為網(wǎng)絡(luò)管理人員提供了有效、易用的管理工具和手段。系統(tǒng)可以配合網(wǎng)絡(luò)交換機對非正常用戶進行網(wǎng)絡(luò)接入和安全控制,服務(wù)器端可以集成在網(wǎng)絡(luò)管理系統(tǒng)中。系統(tǒng)需要支持802.1x、Portal、L2TP IPSec VPN、無線等多種網(wǎng)絡(luò)環(huán)境的身份認證,支持基于端口的802.1x和基于MAC地址的802.1x,可管理HUB或非智能交換機下的多個用戶,避免校園用戶私自擴展接入信息點;支持與包括微軟防病毒軟件在內(nèi)的主流防病毒軟件聯(lián)動,對不符合最新防病毒版本的客戶端進行網(wǎng)絡(luò)接入限制;支持與微軟WSUS/SCCM協(xié)同的自動補丁管理。與微軟無縫集成,當(dāng)用戶安全認證時,自動檢查、下載、安裝補丁,實現(xiàn)操作系統(tǒng)補丁自動升級,提升系統(tǒng)易用性;支持對軟件進行監(jiān)控、對進程進行監(jiān)控、支持對服務(wù)進行監(jiān)控;支持用戶名、密碼與用戶IP、MAC、VLAN、設(shè)備IP、設(shè)備端口、主機名、域用戶、SSID等多種元素的綁定認證,方便運維中對用戶接入進行靈活的接入控制;支持對客戶端軟硬件資產(chǎn)信息的編號、收集、統(tǒng)計、變更情況告警等功能;支持exe文件安裝、AD域登錄腳本安裝、靜默安裝、網(wǎng)頁下載等安裝方式,減小系統(tǒng)部署時的難度;系統(tǒng)支持自助平臺進行預(yù)注冊申請,管理員審核后即可開通用戶帳號,用戶可以通過自助平臺對自己的用戶信息進行管理,如查詢、修改和密碼設(shè)置等;本次提供至少5000用戶的接入管理授權(quán)。 3.9 數(shù)字KVM系統(tǒng) 機架式,帶VM虛擬媒介功能,每臺配置接口轉(zhuǎn)換線纜≥32條,每臺KVM的遠程數(shù)字用戶≥8個(KVM并發(fā)通道4個,串口會話通道4個),本地用戶≥1個,Modem口≥1個,連接被控設(shè)備接口≥32個,具有智能電源分配單元,支持多臺串接,方便擴展。支持單設(shè)備可管理服務(wù)器32臺;單設(shè)備并發(fā)IP用戶=8,(KVM并發(fā)通道4個,串口會話通道4個),持多個用戶通過Internet,LAN/WAN,或Modem撥號遠程控制被管理設(shè)備,支持所有開放系統(tǒng)(包括Windows、Unix、IRIX、Solaris、AIX系統(tǒng)等);支持多平臺多服務(wù)器環(huán)境,如PC、MAC、SUN、ALPHA、RS6000、HP6400、SGI、USB、以及 ASCII 服務(wù)器和其他數(shù)據(jù)設(shè)備??煽刂乒芾泶谠O(shè)備以及服務(wù)器終端設(shè)備、實現(xiàn)BIOS級的訪問控制。能與IBM、HP、DELL的KVM進行無縫兼容。本地界面:業(yè)界標準的OSCAR界面,可用鼠標點擊操作。遠程界面:遠程操作界面全簡體中文;純網(wǎng)頁瀏覽方式,不需要安裝客戶端軟件,必須有支持USB2.0接口,可以外接USB光驅(qū)、U盤和移動硬盤,與服務(wù)器轉(zhuǎn)接器一起配合使用時,可以為被控設(shè)備提供外置USB設(shè)備共享,虛擬此USB設(shè)備到被控設(shè)備上實現(xiàn)數(shù)據(jù)拷貝和軟件升級,本地端最高可以支持16001200@75HZ 32位真彩,遠程必須支持1024768@75HZ 16位真彩。在連接的不同分辨率服務(wù)器之間切換時,系統(tǒng)自動調(diào)節(jié)視頻大小,滿屏幕顯示,無需人工手動調(diào)節(jié),用戶可以根據(jù)需要任意拖動屏幕大小(具有矢量縮放功能)。 軟件控管平臺,便于降低管理成本,靈活操作,考慮安全因素,要求支持開放式操作系統(tǒng),便于控制安全策略,支持多機冗余集群,多臺備份系統(tǒng)可部署在不同地方,實現(xiàn)異地容災(zāi);集群中每臺服務(wù)器都處于Active狀態(tài),不同地方的運維人員可實現(xiàn)就近訪問,實現(xiàn)管理的負載均衡,最大可1中心系統(tǒng),15分支系統(tǒng)。支持IPMI/RSAII/DRAC/iLO等嵌入式芯片服務(wù)器、刀片服務(wù)器、PC服務(wù)器、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、虛擬機、電源等IT設(shè)施的集中管理。能與DRA視頻審計系統(tǒng)無須安裝任何插件,無縫兼容。支持Virtual Centers、ESX servers和ESX3i servers的管理。具備自動發(fā)現(xiàn)虛擬機、給出虛擬機資產(chǎn)列表、查看資源分配狀態(tài)、打開虛擬機的控制臺、執(zhí)行電源操作、開始或恢復(fù)一臺虛擬機、停止或掛起一臺虛擬機、打開 RDP/VNC會話、配置/接受數(shù)據(jù)日志等功能,支持分域的管理方式。在集中管理平臺中將設(shè)備和用戶等資源劃分到不同子域(部門),每個子域(部門)設(shè)立管理員,對自己所在區(qū)域的IT設(shè)備進行增刪和管理指派,實現(xiàn)以區(qū)域(部門)的自治運維管理。當(dāng)用戶斷開KVM會話后,KVM系統(tǒng)自動實現(xiàn)鎖屏。 4. 數(shù)據(jù)中心服務(wù)器設(shè)計 服務(wù)器選擇說明 XXX大學(xué)數(shù)據(jù)中心建設(shè)中,根據(jù)應(yīng)用系統(tǒng)對于服務(wù)器的性能要求,可以將服務(wù)器分成兩種大的類型。一類是數(shù)據(jù)庫,針對這種應(yīng)用,采用四路的高配服務(wù)器。第二類是較繁忙應(yīng)用,主要包括支持中間件,web, 數(shù)字圖書館等。針對這種應(yīng)用,采用兩路或四路的較高配置服務(wù)器??紤]到集中管理和系統(tǒng)的先進性服務(wù)器采用刀片式服務(wù)器系統(tǒng)。 四路服務(wù)器選擇 四路服務(wù)器,選擇最新的企業(yè)級服務(wù)器擔(dān)任該服務(wù)器,支持4路英特爾至強E7 處理器、4個嵌入式千兆位以太網(wǎng)控制器、支持高達1024GB的DDR3 RAM、獨立SAS 控制器以及最多 5個內(nèi)部硬盤等最新技術(shù)。其目標應(yīng)用包括:域控制器(PDC/BDC)/ 目錄服務(wù)、DNS/DHCP/WINS、客戶互聯(lián)網(wǎng)WEB應(yīng)用、系統(tǒng)管理應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù),電子郵件服務(wù),URP等。 為了進一步保證服務(wù)器操作系統(tǒng)和應(yīng)用系統(tǒng)的可靠性,所有服務(wù)器采用兩塊磁盤設(shè)置為磁盤鏡像(RAID1),當(dāng)任意一塊磁盤發(fā)生故障時整體系統(tǒng)不受影響,只需在線更換磁盤既可解決問題。 兩路服務(wù)器選擇 兩路服務(wù)器,選擇支持2路英特爾至強5600 DP處理器(6核)、4個嵌入式千兆位以太網(wǎng)控制器、支持高達192GB的DDR3 RAM、獨立SAS 控制器以及最多 6個內(nèi)部硬盤等最新技術(shù)。其目標應(yīng)用包括:域控制器、目錄服務(wù)、DNS/DHCP/WINS、客戶互聯(lián)網(wǎng)WEB應(yīng)用、文件服務(wù),電子郵件服務(wù)、網(wǎng)絡(luò)管理等。 服務(wù)器虛擬化的考慮 每一臺虛擬服務(wù)器都可以利用VMware/Hyper-V 虛擬對稱式多重處理 (SMP)技術(shù),通過使單個虛擬機能夠同時使用多個物理處理器,增強了虛擬機性能。支持虛擬化需要多處理器和密集資源的應(yīng)用程序。 根據(jù)上面的分析,考慮將大量的Web、小型數(shù)據(jù)庫等用戶都放到虛擬服務(wù)器上,從而建立自己的虛擬服務(wù)器服務(wù)群。考慮選擇4-6臺四路配置較高的服務(wù)器虛擬多個虛擬服務(wù)器 服務(wù)器配置 項目 說明 配置項 要求 數(shù)量 應(yīng)用服務(wù)器 (刀片系統(tǒng)) 集中提供全部業(yè)務(wù)邏輯方法服務(wù);用于支持三維分析、設(shè)計、仿真軟件的大規(guī)模運算;集中提供數(shù)據(jù)庫管理功能 刀片箱、功能模塊及配件 2個萬兆以太網(wǎng)交換機模塊 2套 2個光纖交換機模塊及連接配件 滿配冗余電源、電源線、KVM模塊提供USB、顯示器和模擬控制臺界面(ACI)端口,支持多服務(wù)器之間進行切換,支持硬件故障檢測,診斷功能。 雙路刀片 兩顆Intel(R) 至強CPU 主頻≥2.0G,每顆CPU核心≥6 緩存≥12M,128GB DDR3-1333 RAM,2塊146GB SAS 10000RPM硬盤,RAID0/1,配置雙口10Gb CNA聚合網(wǎng)絡(luò)適配卡,雙端口萬兆以太網(wǎng)卡,標配顯卡,2個上PCI擴展插槽。 8臺 四路刀片 4顆Intel E7-4820 CPU,主頻1.86GHZ,64GB DDR3 1333 RAM,2塊146GB SAS 10000RPM硬盤,RAID0/1,配置雙口10Gb CNA聚合網(wǎng)絡(luò)適配卡,雙端口萬兆以太網(wǎng)卡,標配顯卡,2個以上PCI擴展插槽,支持FCOE。 2臺 軟件項目 服務(wù)器運行軟件 Vmware虛擬化軟件 16+1企業(yè)版 1套 操作系統(tǒng) Windows2008 R2 企業(yè)版 VLK 4套 應(yīng)用軟件 SQLServer2008R2企業(yè)版 VLK VisualStudio2010 旗艦版 VLK 1套 5. 數(shù)據(jù)中心存儲設(shè)計 數(shù)據(jù)中心不僅承載著學(xué)校的核心業(yè)務(wù),還要負責(zé)與業(yè)務(wù)密切相關(guān)的核心數(shù)據(jù)存儲、備份功能,同時還要承擔(dān)著業(yè)務(wù)備份和災(zāi)難恢復(fù)等重要功能。 在數(shù)據(jù)中心規(guī)劃中,采用主流的“兩地三中心”的模式,即一個主數(shù)據(jù)中心、一個備用數(shù)據(jù)中心和一個數(shù)據(jù)備份中心。在具體建設(shè)中,可采用分期分步的建設(shè)步驟。首先分析一下存儲業(yè)務(wù)。 5.1 需求分析 隨著XXXX大學(xué)數(shù)據(jù)中心建設(shè)的不斷深入,數(shù)字資源的容量也不斷增加。數(shù)字資源主要包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩大類。結(jié)構(gòu)化數(shù)據(jù)主要是各應(yīng)用系統(tǒng)本身的各種管理數(shù)據(jù)、用戶賬號、資源屬性等;還有圖書館所購買的商業(yè)資源庫的索引目錄數(shù)據(jù)庫和部分圖書館管理系統(tǒng)的業(yè)務(wù)數(shù)據(jù)庫。非結(jié)構(gòu)化數(shù)據(jù)包括所有的多媒體資源、商業(yè)資源庫的數(shù)字化圖書資源和自建資源中的課件等。其中,非結(jié)構(gòu)化數(shù)據(jù)占所有數(shù)字化圖書館資源總?cè)萘康?5%以上。 5.2 系統(tǒng)設(shè)計 5.2.1. 設(shè)計原則 先進性和成熟性 系統(tǒng)建設(shè)必須符合當(dāng)代信息技術(shù)發(fā)展形勢,既有先進技術(shù)又發(fā)展成熟,并且采用各領(lǐng)域公認的領(lǐng)先產(chǎn)品。以達到保護投資,降低系統(tǒng)實施風(fēng)險的目的。 高性能 新建基礎(chǔ)設(shè)施必須具有較高的性能。能夠為各應(yīng)用系統(tǒng)提供良好的支撐。并且能夠滿足各系統(tǒng)峰值時的性能需求。且應(yīng)用系統(tǒng)峰值時,基礎(chǔ)設(shè)施系統(tǒng)的負載應(yīng)不超過其系統(tǒng)容量的70%。 可靠性和穩(wěn)定性 安全性和保密性 可擴展性和可管理性 5.2.2. 存儲系統(tǒng)方案設(shè)計 基于上述的需求分析和設(shè)計原則,我們考慮采用統(tǒng)一存儲平臺解決方案來滿足海量存儲系統(tǒng)平臺的需求。 核心存儲采用一臺高端統(tǒng)一存儲系統(tǒng)。同時提供FC、iSCSI、FCOE和NAS訪問,帶有不少于8個8Gbps前端FC接口、4個10Gbps FCOE前端接口和4個10Gbps NAS接口,前端配置兩個冗余NAS處理器24GB讀寫緩存,后端存儲控制器不低于24GB讀寫緩存,系統(tǒng)讀寫緩存可擴充到不低于800GB,后端磁盤接口總帶寬不低于96Gbps,提供高性能文件存儲服務(wù)。核心存儲支持SSD企業(yè)級閃存盤、6Gbps SAS 2.0硬盤通道和大容量NL SAS硬盤,結(jié)構(gòu)化數(shù)據(jù)存放在SSD或者是SAS硬盤上,非結(jié)構(gòu)化數(shù)據(jù)存放在NL SAS硬盤上。整個系統(tǒng)采用雙控制器、雙后端環(huán)路、雙/多主機連接架構(gòu),配合相應(yīng)的多路徑鏈路冗余和負載均衡軟件,實現(xiàn)全冗余高可用架構(gòu)。設(shè)計使用容量1TB SSD企業(yè)級閃存盤,10TB 15KRPM 6Gbps SAS 2.0硬盤,100TB 7200RPM 6Gbps NL SAS硬盤。為了滿足將來容量擴展的需求,存儲系統(tǒng)應(yīng)能支持不少于240塊硬盤。 為了實現(xiàn)針對數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)保護,采用備份軟件與專業(yè)備份存儲相結(jié)合的方式,來實現(xiàn)關(guān)鍵數(shù)據(jù)庫數(shù)據(jù)的自動備份和恢復(fù)管理。使用在線重復(fù)數(shù)據(jù)刪除技術(shù),保證備份性能的前提下,降低備份數(shù)據(jù)所占用的磁盤空間,節(jié)省硬件維護費用和資源消耗,同時,帶有基于備份存儲層面的遠程數(shù)據(jù)復(fù)制技術(shù),實現(xiàn)備份數(shù)據(jù)的遠程容災(zāi),進一步提高數(shù)據(jù)保護的級別。 NAS控制器需要能夠提供并行文件系統(tǒng),該文件系統(tǒng)與NFS和CIFS兩大標準協(xié)議兼容,實現(xiàn)帶外NAS服務(wù)。為了滿足前端應(yīng)用的并行擴展和負載均衡,必須帶有針對前端應(yīng)用服務(wù)的并行NFS和并行CIFS協(xié)議 備份管理軟件能夠?qū)崿F(xiàn)針對不同服務(wù)器和不同應(yīng)用的數(shù)據(jù)的備份和恢復(fù)操作的集中管理和自動化。能夠根據(jù)用戶定義的策略,實現(xiàn)這些數(shù)據(jù)的定時定量備份。并且能夠?qū)崿F(xiàn)在出現(xiàn)數(shù)據(jù)丟失時,將數(shù)據(jù)自動恢復(fù)到服務(wù)器上。 備份存儲可以用來保存?zhèn)浞輸?shù)據(jù)。在線重復(fù)數(shù)據(jù)刪除功能能夠在使用較少的磁盤的情況下,就能夠保存大量的數(shù)據(jù)。在一定的備份周期和友好數(shù)據(jù)類型的情況下,平均數(shù)據(jù)刪除比例是20倍。 6. 應(yīng)用系統(tǒng)集成需求 XXX大學(xué)數(shù)據(jù)中心建設(shè)為新建方案,建設(shè)方需要在項目實施期間協(xié)助XXXXXXX大學(xué)對已形成的建設(shè)需求進行細化,在建設(shè)后期的業(yè)務(wù)與數(shù)據(jù)遷移中對與教育信息技術(shù)中心提供技術(shù)支持。 主要涉及到: 1.XXX大學(xué)教育云數(shù)據(jù)中心建設(shè)主要為終身教育的業(yè)務(wù)管理與學(xué)生數(shù)據(jù)信息管理服務(wù),將來在終身教育中云模式將是必然趨勢。所以在項目籌備之際,XX大學(xué)特別重視信息系統(tǒng),并把信息技術(shù)能力作為學(xué)校的核心競爭能力之一。XXX大學(xué)教育云數(shù)據(jù)中心的特殊性表現(xiàn)在其潛在的典范作用。因為國內(nèi)目前的教育行業(yè)尚處于起步階段,尤其是在省內(nèi)各高校,更是一片空白。所以,本次建設(shè)的目標非常明確——對于省內(nèi)各高校,XX大學(xué)云數(shù)據(jù)中心應(yīng)起到樣板工程的作用。要求各系統(tǒng)集成商在進行相關(guān)系統(tǒng)設(shè)計的時候,必須要有一個高的起點。 2.應(yīng)用系統(tǒng)模式和技術(shù)解決方案:系統(tǒng)集成商以系統(tǒng)的高度為XXX大學(xué)教育云數(shù)據(jù)中心需求提供應(yīng)用的系統(tǒng)模式,以及實現(xiàn)該系統(tǒng)模式的具體技術(shù)解決方案和運作方案,提供一個全面的系統(tǒng)解決方案。 3.系統(tǒng)集成所用產(chǎn)品:系統(tǒng)集成商對原始廠商提供的產(chǎn)品的技術(shù)掌握要強,提供工程實施服務(wù),高端核心網(wǎng)絡(luò)設(shè)備軟件部署服務(wù),虛擬化方案部署與業(yè)務(wù)遷移服務(wù)、網(wǎng)絡(luò)與安全業(yè)務(wù)遷移和驗證服務(wù)。 系統(tǒng)集成商需要對本次教育云數(shù)據(jù)中心的各種應(yīng)用提供應(yīng)用系統(tǒng)軟件的開發(fā)與后期建設(shè)方案。對于數(shù)據(jù)中心建設(shè)還需要提供,網(wǎng)絡(luò)基礎(chǔ)架構(gòu)評估優(yōu)化、網(wǎng)絡(luò)性能評估優(yōu)化、高實時性業(yè)務(wù)部署能力評估優(yōu)化、網(wǎng)絡(luò)安全評估優(yōu)化。 4.系統(tǒng)集成項目管理:要求系統(tǒng)集成商對本次教育云數(shù)據(jù)中心項目的各個環(huán)節(jié),包括:供貨管理、進度管理、質(zhì)- 1.請仔細閱讀文檔,確保文檔完整性,對于不預(yù)覽、不比對內(nèi)容而直接下載帶來的問題本站不予受理。
- 2.下載的文檔,不會出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預(yù)覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請點此認領(lǐng)!既往收益都歸您。
下載文檔到電腦,查找使用更方便
15 積分
下載 |
- 配套講稿:
如PPT文件的首頁顯示word圖標,表示該PPT已包含配套word講稿。雙擊word圖標可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國旗、國徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計者僅對作品中獨創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- 大學(xué) 教育 數(shù)據(jù)中心 項目 設(shè)計方案
鏈接地址:http://m.jqnhouse.com/p-10867273.html