數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案.doc
《數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案.doc》由會(huì)員分享,可在線閱讀,更多相關(guān)《數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方案.doc(32頁(yè)珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
第 16/2016/DAF/SA 號(hào)公開(kāi)招標(biāo)方案建議書(shū) 第1章 數(shù)據(jù)倉(cāng)庫(kù)建設(shè) 1.1 數(shù)據(jù)倉(cāng)庫(kù)總體架構(gòu) 專家系統(tǒng)接收增購(gòu)項(xiàng)目車(chē)輛TCMS或其他子系統(tǒng)通過(guò)車(chē)地通信傳輸?shù)膶?shí)時(shí)或離線數(shù)據(jù),經(jīng)過(guò)一系列綜合診斷分析,以各種報(bào)表圖形或信息推送的形式向用戶展示分析結(jié)果。針對(duì)診斷出的車(chē)輛故障將給出專家建議處理措施,為車(chē)輛的故障根因修復(fù)提供必要的支持。 根據(jù)專家系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)目標(biāo),結(jié)合系統(tǒng)數(shù)據(jù)業(yè)務(wù)規(guī)范,包括數(shù)據(jù)采集頻率、數(shù)據(jù)采集量等相關(guān)因素,設(shè)計(jì)專家系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)如下: 數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)從層次結(jié)構(gòu)上分為數(shù)據(jù)采集、數(shù)據(jù)存、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等幾個(gè)方面的內(nèi)容: 數(shù)據(jù)采集:負(fù)責(zé)從各業(yè)務(wù)自系統(tǒng)中匯集信息數(shù)據(jù),系統(tǒng)支撐Kafka、Storm、Flume及傳統(tǒng)的ETL采集工具。 數(shù)據(jù)存儲(chǔ):本系統(tǒng)提供Hdfs、Hbase及RDBMS相結(jié)合的存儲(chǔ)模式,支持海量數(shù)據(jù)的分布式存儲(chǔ)。 數(shù)據(jù)分析:數(shù)據(jù)倉(cāng)庫(kù)體系支持傳統(tǒng)的OLAP分析及基于Spark常規(guī)機(jī)器學(xué)習(xí)算法。 數(shù)據(jù)服務(wù)總線:數(shù)據(jù)系統(tǒng)提供數(shù)據(jù)服務(wù)總線服務(wù),實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的統(tǒng)一管理和調(diào)度,并對(duì)外提供數(shù)據(jù)服務(wù)。 1.2 數(shù)據(jù)采集 專家系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)采集包括兩個(gè)部分內(nèi)容:外部數(shù)據(jù)匯集、內(nèi)部各層數(shù)據(jù)的提取與加載。外部數(shù)據(jù)匯集是指從TCMS、車(chē)載子系統(tǒng)等外部信息系統(tǒng)匯集數(shù)據(jù)到專家數(shù)據(jù)倉(cāng)庫(kù)的操作型存儲(chǔ)層(ODS);內(nèi)部各層數(shù)據(jù)的提取與加載是指數(shù)據(jù)倉(cāng)庫(kù)各存儲(chǔ)層間的數(shù)據(jù)提取、轉(zhuǎn)換與加載。 1.2.1 外部數(shù)據(jù)匯集 專家數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)源包括列車(chē)監(jiān)控與檢測(cè)系統(tǒng)(TCMS)、車(chē)載子系統(tǒng)等相關(guān)子系統(tǒng),數(shù)據(jù)采集的內(nèi)容分為實(shí)時(shí)數(shù)據(jù)采集和定時(shí)數(shù)據(jù)采集兩大類,實(shí)時(shí)數(shù)據(jù)采集主要對(duì)于各項(xiàng)檢測(cè)指標(biāo)數(shù)據(jù);非實(shí)時(shí)采集包括日檢修數(shù)據(jù)等。 根據(jù)項(xiàng)目信息匯集要求,列車(chē)指標(biāo)信息采集具有采集數(shù)據(jù)量大,采集頻率高的特點(diǎn),考慮到系統(tǒng)后期的擴(kuò)展,因此在數(shù)據(jù)數(shù)據(jù)采集方面,要求采集體系支持高吞吐量、高頻率、海量數(shù)據(jù)采集,同時(shí)系統(tǒng)應(yīng)該靈活可配置,可根據(jù)業(yè)務(wù)的需要進(jìn)行靈活配置橫向擴(kuò)展。 本方案在數(shù)據(jù)采集架構(gòu)采用Flume+Kafka+Storm的組合架構(gòu),采用Flume和ETL工具作為Kafka的Producer,采用Storm作為Kafka的Consumer,Storm可實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的實(shí)時(shí)處理,及時(shí)對(duì)問(wèn)題指標(biāo)進(jìn)行預(yù)警。具體采集系統(tǒng)技術(shù)結(jié)構(gòu)圖如下: 1.2.1.1 數(shù)據(jù)匯集架構(gòu)功能 Flume提供了從console(控制臺(tái))、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系統(tǒng),支持TCP和UDP等2種模式),exec(命令執(zhí)行)等數(shù)據(jù)源上收集數(shù)據(jù)的能力。Flume的數(shù)據(jù)接受方,可以是console(控制臺(tái))、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCP syslog日志系統(tǒng))等。在我們系統(tǒng)中由kafka來(lái)接收。 Kafka分布式消息隊(duì)列,支撐系統(tǒng)性能橫向擴(kuò)展,通過(guò)增加broker來(lái)提高系統(tǒng)的性能。 Storm流處理技術(shù),支撐Supervisor橫向擴(kuò)展以提高系統(tǒng)的擴(kuò)展性和數(shù)據(jù)處理的實(shí)時(shí)性。 1.2.1.2 采集架構(gòu)優(yōu)勢(shì) (一) 解耦 在項(xiàng)目中要平衡數(shù)據(jù)的匯集與數(shù)據(jù)的處理性能平衡,是極其困難的。消息隊(duì)列在處理過(guò)程中間插入了一個(gè)隱含的、基于數(shù)據(jù)的接口層,兩邊的處理過(guò)程都要實(shí)現(xiàn)這一接口。這允許你獨(dú)立的擴(kuò)展或修改兩邊的處理過(guò)程,只要確保它們遵守同樣的接口約束。 冗余 有些情況下,處理數(shù)據(jù)的過(guò)程會(huì)失敗。除非數(shù)據(jù)被持久化,否則將造成丟失。消息隊(duì)列把數(shù)據(jù)進(jìn)行持久化直到它們已經(jīng)被完全處理,通過(guò)這一方式規(guī)避了數(shù)據(jù)丟失風(fēng)險(xiǎn)。在被許多消息隊(duì)列所采用的“插入-獲取-刪除”范式中,在把一個(gè)消息從隊(duì)列中刪除之前,需要你的處理過(guò)程明確的指出該消息已經(jīng)被處理完畢,確保你的數(shù)據(jù)被安全的保存直到你使用完畢。 擴(kuò)展性 因?yàn)橄㈥?duì)列解耦了你的處理過(guò)程,所以增大消息入隊(duì)和處理的頻率是很容易的;只要另外增加處理過(guò)程即可。不需要改變代碼、不需要調(diào)節(jié)參數(shù)。擴(kuò)展就像調(diào)大電力按鈕一樣簡(jiǎn)單。 靈活性 & 峰值處理能力 在訪問(wèn)量劇增的情況下,應(yīng)用仍然需要繼續(xù)發(fā)揮作用,但是這樣的突發(fā)流量并不常見(jiàn);如果為以能處理這類峰值訪問(wèn)為標(biāo)準(zhǔn)來(lái)投入資源隨時(shí)待命無(wú)疑是巨大的浪費(fèi)。使用消息隊(duì)列能夠使關(guān)鍵組件頂住突發(fā)的訪問(wèn)壓力,而不會(huì)因?yàn)橥话l(fā)的超負(fù)荷的請(qǐng)求而完全崩潰。 可恢復(fù)性 當(dāng)體系的一部分組件失效,不會(huì)影響到整個(gè)系統(tǒng)。消息隊(duì)列降低了進(jìn)程間的耦合度,所以即使一個(gè)處理消息的進(jìn)程掛掉,加入隊(duì)列中的消息仍然可以在系統(tǒng)恢復(fù)后被處理。而這種允許重試或者延后處理請(qǐng)求的能力通常是造就一個(gè)略感不便的用戶和一個(gè)沮喪透頂?shù)挠脩糁g的區(qū)別。 送達(dá)保證 消息隊(duì)列提供的冗余機(jī)制保證了消息能被實(shí)際的處理,只要一個(gè)進(jìn)程讀取了該隊(duì)列即可。在此基礎(chǔ)上,IronMQ提供了一個(gè)”只送達(dá)一次”保證。無(wú)論有多少進(jìn)程在從隊(duì)列中領(lǐng)取數(shù)據(jù),每一個(gè)消息只能被處理一次。這之所以成為可能,是因?yàn)楂@取一個(gè)消息只是”預(yù)定”了這個(gè)消息,暫時(shí)把它移出了隊(duì)列。除非客戶端明確的表示已經(jīng)處理完了這個(gè)消息,否則這個(gè)消息會(huì)被放回隊(duì)列中去,在一段可配置的時(shí)間之后可再次被處理。 緩沖 在任何重要的系統(tǒng)中,都會(huì)有需要不同的處理時(shí)間的元素。例如,加載一張圖片比應(yīng)用過(guò)濾器花費(fèi)更少的時(shí)間。消息隊(duì)列通過(guò)一個(gè)緩沖層來(lái)幫助任務(wù)最高效率的執(zhí)行—寫(xiě)入隊(duì)列的處理會(huì)盡可能的快速,而不受從隊(duì)列讀的預(yù)備處理的約束。該緩沖有助于控制和優(yōu)化數(shù)據(jù)流經(jīng)過(guò)系統(tǒng)的速度。 異步通信 很多時(shí)候,你不想也不需要立即處理消息。消息隊(duì)列提供了異步處理機(jī)制,允許你把一個(gè)消息放入隊(duì)列,但并不立即處理它。你想向隊(duì)列中放入多少消息就放多少,然后在你樂(lè)意的時(shí)候再去處理它們。 1.2.2 內(nèi)部各層數(shù)據(jù)提取與加載 數(shù)據(jù)匯集將數(shù)據(jù)儲(chǔ)存于操作型數(shù)據(jù)存儲(chǔ)層(ODS),在數(shù)據(jù)倉(cāng)庫(kù)各層次間數(shù)據(jù)轉(zhuǎn)換提取加載,采用傳統(tǒng)的ETL工具進(jìn)行采集,數(shù)據(jù)倉(cāng)庫(kù)間的各層次的數(shù)據(jù)采集的實(shí)效性根據(jù)具體的數(shù)據(jù)需求而定,具體ETL建模界面如圖: 1.3 數(shù)據(jù)加工與處理 對(duì)于數(shù)據(jù)倉(cāng)庫(kù)平臺(tái),應(yīng)該建立一套標(biāo)準(zhǔn)化、規(guī)范化的數(shù)據(jù)處理流程,例如:如何采集內(nèi)部和外部數(shù)據(jù)、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù);如何清洗采集來(lái)的臟數(shù)據(jù)和無(wú)效數(shù)據(jù);如何對(duì)不同來(lái)源的數(shù)據(jù)進(jìn)行打通;如何對(duì)非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化加工;如何在結(jié)構(gòu)化數(shù)據(jù)的基礎(chǔ)上進(jìn)行商業(yè)建模和數(shù)據(jù)挖掘等等。 大數(shù)據(jù)管理層在一條數(shù)據(jù)總線上構(gòu)建了一條完整的大數(shù)據(jù)處理流水線。這條流水線從數(shù)據(jù)的采集、清洗到加工處理,把原始雜亂無(wú)章的數(shù)據(jù)加工成結(jié)構(gòu)化的數(shù)據(jù)組件,供上層的大數(shù)據(jù)應(yīng)用來(lái)拼裝調(diào)用,讓企業(yè)擁有創(chuàng)造數(shù)據(jù)資產(chǎn)的能力。 1.4 存儲(chǔ)設(shè)計(jì) 1.4.1 數(shù)據(jù)量估算 按每列列車(chē)平均500毫秒通過(guò)車(chē)地通信采集監(jiān)測(cè)數(shù)據(jù)100條,每天運(yùn)營(yíng)時(shí)間18小時(shí),按每條記錄160字節(jié)計(jì)算(監(jiān)測(cè)數(shù)據(jù)的數(shù)據(jù)項(xiàng)相對(duì)簡(jiǎn)單),初步按照67列列車(chē)計(jì)算。 單列列車(chē)日監(jiān)測(cè)數(shù)據(jù)=3600*2*160*100*18/1024/1024/1024≈2G 67列列車(chē)年數(shù)據(jù)量=2*67*365/1024 ≈ 48T 10年總數(shù)據(jù)量(乘上增長(zhǎng)系數(shù)10%)≈530T (含操作系統(tǒng)) 數(shù)據(jù)規(guī)劃10年,加上系統(tǒng)用戶信息、系統(tǒng)日志信息、專家信息、業(yè)務(wù)數(shù)據(jù)及其它不可預(yù)測(cè)類數(shù)據(jù),數(shù)據(jù)總量預(yù)估530T。 1.4.2 數(shù)據(jù)存儲(chǔ) 專家系統(tǒng)數(shù)據(jù)采用混合存儲(chǔ)模式進(jìn)行存儲(chǔ),RDBMS存儲(chǔ)專家系統(tǒng)業(yè)務(wù)基本數(shù)據(jù)及最近1年的監(jiān)測(cè)數(shù)據(jù),10年內(nèi)歷史監(jiān)測(cè)數(shù)據(jù)采用NoSQL HBase數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ),以方便查詢,HBase基于Hdfs分布式文件系統(tǒng)搭建,具體存儲(chǔ)模式如下圖。 1. RDBMS數(shù)據(jù)庫(kù),支持專家?guī)斓暮诵臉I(yè)務(wù),存儲(chǔ)列車(chē)最近1年的監(jiān)測(cè)數(shù)據(jù)為保證專家系統(tǒng)安全、穩(wěn)定運(yùn)行,在數(shù)據(jù)庫(kù)系統(tǒng)上支撐各種統(tǒng)計(jì)分析及傳統(tǒng)的BI業(yè)務(wù)??紤]到操作系統(tǒng)存儲(chǔ)、緩存存儲(chǔ)、數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)、日志存儲(chǔ)等因素, RDBMS數(shù)據(jù)庫(kù)服務(wù)器預(yù)計(jì)每臺(tái)60T存儲(chǔ),考慮數(shù)據(jù)安全及系統(tǒng)穩(wěn)定因素RDBMS采用雙機(jī)熱備技術(shù)互備。 2. 大數(shù)據(jù)平臺(tái)規(guī)劃存儲(chǔ)最近10年監(jiān)測(cè)數(shù)據(jù),日志文件備份及歷史數(shù)據(jù)采用大數(shù)據(jù)Hadoop和HBase存儲(chǔ),大數(shù)據(jù)平臺(tái)數(shù)據(jù)采用節(jié)點(diǎn)間冗余備份,預(yù)設(shè)數(shù)據(jù)2倍冗余存儲(chǔ), (考慮平臺(tái)提供的壓縮技術(shù),壓縮存儲(chǔ)可以節(jié)省30-55%的空間)。 10年數(shù)據(jù)量=530T*1.5≈ 800T (2倍冗余存儲(chǔ)) 1.4.3 分層存儲(chǔ) 專家數(shù)據(jù)分三個(gè)層次進(jìn)行匯集與存儲(chǔ),分別為ODS層、數(shù)據(jù)倉(cāng)庫(kù)層、主題數(shù)據(jù)層,各層次數(shù)據(jù)存儲(chǔ)內(nèi)容如下 ODS層:數(shù)據(jù)來(lái)源于各生產(chǎn)系統(tǒng),通過(guò)ETL工具對(duì)接口文件數(shù)據(jù)進(jìn)行編碼替換和數(shù)據(jù)清洗轉(zhuǎn)換,不做關(guān)聯(lián)操作。未來(lái)也可用于準(zhǔn)實(shí)時(shí)數(shù)據(jù)查詢。 數(shù)據(jù)倉(cāng)庫(kù)層:數(shù)據(jù)深度匯集層,根據(jù)業(yè)務(wù)有選擇的對(duì)ODS層的數(shù)據(jù)進(jìn)行提取,通過(guò)對(duì)數(shù)據(jù)的加工處理,將單一的數(shù)據(jù)信息轉(zhuǎn)換成體系信息,將點(diǎn)信息數(shù)據(jù)變成面信息數(shù)據(jù)。 主題數(shù)據(jù)層:將數(shù)據(jù)信息體系根據(jù)各主題進(jìn)行提取與轉(zhuǎn)換,主題域內(nèi)部進(jìn)行拆分、關(guān)聯(lián)。是對(duì)ODS操作型數(shù)據(jù)按照主題域劃分規(guī)則進(jìn)行的拆分及合并。 1.5 數(shù)據(jù)分析建模 伴隨著大數(shù)據(jù)時(shí)代的悄然來(lái)臨,數(shù)據(jù)的價(jià)值得到人們的廣泛認(rèn)同,對(duì)數(shù)據(jù)的重視提到了前所未有的高度。數(shù)據(jù)已經(jīng)作為企業(yè)、事業(yè)單位的重要資產(chǎn)被廣泛應(yīng)用于盈利分析與預(yù)測(cè)、客戶關(guān)系管理、合規(guī)性監(jiān)管、運(yùn)營(yíng)風(fēng)險(xiǎn)管理等業(yè)務(wù)當(dāng)中。如何建立大數(shù)據(jù)分析模型,以提供決策依據(jù)是很多用戶所迫切解決的問(wèn)題。 專家數(shù)據(jù)倉(cāng)庫(kù)建立在Hadoop分布式系統(tǒng)之上,提供了多種豐富的算法模型,不同的應(yīng)用通過(guò)借助不同的接口實(shí)現(xiàn)數(shù)據(jù)的多維呈現(xiàn)和結(jié)果展示,為用戶提供科學(xué)的決策支持。 圖 10-7 hadoop算法模型圖 大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)挖掘模型、分布式計(jì)算引擎、高性能機(jī)器學(xué)習(xí)算法庫(kù)(包含分類 、聚類 、預(yù)測(cè)、推薦等機(jī)器學(xué)習(xí)算法)、即席查詢功能,可以幫助決策者快速建立數(shù)據(jù)分析模型立方體,便于決策者進(jìn)行OLAP分析。 常用算法模型: 分類算法: 分類是找出數(shù)據(jù)庫(kù)中的一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類,其目的是通過(guò)分類模型,將數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到某個(gè)給定的類別中。如政務(wù)網(wǎng)中將用戶在一段時(shí)間內(nèi)的網(wǎng)上辦理所遇到的問(wèn)題劃分成不同的類,根據(jù)情況向用戶推薦關(guān)聯(lián)類的問(wèn)題解決方案,從而方便用戶快速解決網(wǎng)上辦事審批中遇到的各類問(wèn)題。 回歸算法 回歸分析反映了數(shù)據(jù)庫(kù)中數(shù)據(jù)的屬性值的特性,通過(guò)函數(shù)表達(dá)數(shù)據(jù)映射的關(guān)系來(lái)發(fā)現(xiàn)屬性值之間的依賴關(guān)系。在回歸算法中通常將數(shù)值結(jié)果轉(zhuǎn)化為了0到1之間的概率,數(shù)值越大,函數(shù)越逼近1,數(shù)值越小,函數(shù)越逼近0,它可以應(yīng)用到對(duì)數(shù)據(jù)序列的預(yù)測(cè)及相關(guān)關(guān)系的研究中去。如我們根據(jù)這個(gè)概率可以做垃圾郵件預(yù)測(cè),例如概率大于0.5,則這封郵件就是垃圾郵件。 聚類算法 聚類類似于分類,但與分類的目的不同,是針對(duì)數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個(gè)類別。屬于同一類別的數(shù)據(jù)間的相似性很大,但不同類別之間數(shù)據(jù)的相似性很小,跨類的數(shù)據(jù)關(guān)聯(lián)性很低。分類算法中的一個(gè)顯著特征就是訓(xùn)練數(shù)據(jù)中包含了標(biāo)簽,訓(xùn)練出的模型可以對(duì)其他未知數(shù)據(jù)預(yù)測(cè)標(biāo)簽。在聚類的算法中,訓(xùn)練數(shù)據(jù)都是不含標(biāo)簽的,而算法的目的則是通過(guò)訓(xùn)練,推測(cè)出這些數(shù)據(jù)的標(biāo)簽。以二維的數(shù)據(jù)來(lái)說(shuō),一個(gè)數(shù)據(jù)就包含兩個(gè)特征,可通過(guò)聚類算法,給他們中不同的種類打上標(biāo)簽,通過(guò)聚類算法計(jì)算出種群中的距離,根據(jù)距離的遠(yuǎn)近將數(shù)據(jù)劃分為多個(gè)族群。 關(guān)聯(lián)算法 關(guān)聯(lián)規(guī)則是隱藏在數(shù)據(jù)項(xiàng)之間的關(guān)聯(lián)或相互關(guān)系,即可以根據(jù)一個(gè)數(shù)據(jù)項(xiàng)的出現(xiàn)推導(dǎo)出其他數(shù)據(jù)項(xiàng)的出現(xiàn)。關(guān)聯(lián)規(guī)則的挖掘過(guò)程主要包括兩個(gè)階段:第一階段為從海量原始數(shù)據(jù)中找出所有的高頻項(xiàng)目組;第二極端為從這些高頻項(xiàng)目組產(chǎn)生關(guān)聯(lián)規(guī)則。 推薦算法 推薦算法是目前業(yè)界非常火的一種算法,在電商界,如亞馬遜,天貓,京東等得到了廣泛的運(yùn)用。推薦算法的主要特征就是可以自動(dòng)向用戶推薦他們最感興趣的東西,從而增加購(gòu)買(mǎi)率,提升效益。 神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)模型,因其自身自行處理、分布存儲(chǔ)和高度容錯(cuò)等特性非常適合處理非線性的以及那些以模糊、不完整、不嚴(yán)密的知識(shí)或數(shù)據(jù)為特征的處理問(wèn)題,它的這一特點(diǎn)十分適合解決數(shù)據(jù)挖掘的問(wèn)題。典型的神經(jīng)網(wǎng)絡(luò)模型主要分為三大類:第一類是以用于分類預(yù)測(cè)和模式識(shí)別的前饋式神經(jīng)網(wǎng)絡(luò)模型;第二類是用于聯(lián)想記憶和優(yōu)化算法的反饋式神經(jīng)網(wǎng)絡(luò)模型。第三類是用于聚類的自組織映射方法。 Adaboost算法 其核心思想是針對(duì)同一個(gè)訓(xùn)練集,訓(xùn)練不同的分類器(弱分類器),然后把這些弱分類器集合起來(lái),構(gòu)成一個(gè)更強(qiáng)的最終分類器 (強(qiáng)分類器)。其算法本身是通過(guò)改變數(shù)據(jù)分布來(lái)實(shí)現(xiàn)的,它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確,以及上次的總體分類的準(zhǔn)確率,來(lái)確定每個(gè)樣本的權(quán)值。將修改過(guò)權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練,最后將每次訓(xùn)練得到的分類器最后融合起來(lái),作為最后的決策分類器。 深度學(xué)習(xí) 深度學(xué)習(xí)算法是對(duì)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展。在計(jì)算能力變得日益廉價(jià)的今天,深度學(xué)習(xí)試圖建立大得多也復(fù)雜得多的神經(jīng)網(wǎng)絡(luò),用來(lái)處理存在少量未標(biāo)識(shí)數(shù)據(jù)的大數(shù)據(jù)集。 1.6 數(shù)據(jù)資源管理 專家系統(tǒng)數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)類別多、數(shù)據(jù)關(guān)聯(lián)關(guān)系緊密等特點(diǎn),隨著數(shù)據(jù)的積累,數(shù)據(jù)資源的利用價(jià)值逐步體現(xiàn),提高數(shù)據(jù)的管理,是對(duì)數(shù)據(jù)資源充分利用的前提條件。數(shù)據(jù)資源管了包括如下幾部分內(nèi)容:數(shù)據(jù)標(biāo)準(zhǔn)化管理、數(shù)據(jù)監(jiān)測(cè)管理及元數(shù)據(jù)管理等。 1.6.1 數(shù)據(jù)標(biāo)準(zhǔn)管理 匯集整理數(shù)據(jù)資源管理所需的標(biāo)準(zhǔn)規(guī)范信息,建立數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)。利用專家系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)管理系統(tǒng)的接口同步更新標(biāo)準(zhǔn)信息。包括數(shù)據(jù)元標(biāo)準(zhǔn)以及信息代碼標(biāo)準(zhǔn)。 1. 建設(shè)數(shù)據(jù)資源庫(kù),實(shí)現(xiàn)專家系統(tǒng)發(fā)布標(biāo)準(zhǔn)數(shù)據(jù)元與本地?cái)U(kuò)展數(shù)據(jù)元標(biāo)準(zhǔn)的匯集。實(shí)現(xiàn)與車(chē)輛檢修等數(shù)據(jù)源管理系統(tǒng)接口對(duì)接。 2. 建設(shè)信息代碼資源庫(kù),梳理國(guó)標(biāo)、部標(biāo)和本省定義的標(biāo)準(zhǔn)代碼以及各業(yè)務(wù)信息系統(tǒng)需要使用的其它代碼,建立字典代碼實(shí)體數(shù)據(jù)庫(kù)。應(yīng)具備字典代碼定期同步功能。并建設(shè)信息代碼在線映射維護(hù)功能,以便對(duì)數(shù)據(jù)標(biāo)準(zhǔn)化轉(zhuǎn)換提供支持。 1.6.2 數(shù)據(jù)監(jiān)控管理 大數(shù)據(jù)運(yùn)行監(jiān)控通過(guò)對(duì)大數(shù)據(jù)資源庫(kù)相關(guān)服務(wù)器、Oracle數(shù)據(jù)庫(kù)、分布式存儲(chǔ)系統(tǒng)、Hadoop平臺(tái)等的運(yùn)行狀態(tài)、性能指標(biāo)以及數(shù)據(jù)更新情況進(jìn)行持續(xù)監(jiān)控,及時(shí)發(fā)現(xiàn)存在的問(wèn)題及隱患,輔助系統(tǒng)管理員及時(shí)采取措施,提高大數(shù)據(jù)資源庫(kù)的運(yùn)行可靠性,保障大數(shù)據(jù)資源庫(kù)穩(wěn)定高效運(yùn)行。發(fā)現(xiàn)異常問(wèn)題時(shí)通過(guò)短信、郵件等方式通知系統(tǒng)管理員及時(shí)處理,實(shí)現(xiàn)通過(guò)自動(dòng)、智能、持續(xù)的自動(dòng)監(jiān)控預(yù)警代替人工巡檢,降低運(yùn)維工作量,提高運(yùn)維效率。通過(guò)可視化圖表對(duì)監(jiān)控結(jié)果進(jìn)行統(tǒng)計(jì)分析直觀展現(xiàn)平臺(tái)運(yùn)行各類運(yùn)行指標(biāo),輔助管理員從宏觀角度掌握平臺(tái)運(yùn)行情況。 性能指標(biāo)監(jiān)控 可以對(duì)服務(wù)器CPU負(fù)載、Oracle數(shù)據(jù)庫(kù)連接數(shù)、分布式存儲(chǔ)IO負(fù)載、Hadoop負(fù)載等各類性能相關(guān)指標(biāo)進(jìn)行監(jiān)控,以便掌握平臺(tái)負(fù)載情況,及時(shí)發(fā)現(xiàn)性能問(wèn)題,輔助平臺(tái)優(yōu)化。 大數(shù)據(jù)庫(kù)日志監(jiān)控 自動(dòng)采集大數(shù)據(jù)相關(guān)組件運(yùn)行日志,并根據(jù)既定規(guī)則進(jìn)行分析,發(fā)現(xiàn)異常及時(shí)告警。提供日志查詢檢索功能,可以按組件類型、時(shí)間、關(guān)鍵字等進(jìn)行過(guò)濾。 數(shù)據(jù)量監(jiān)控 數(shù)據(jù)量監(jiān)控通過(guò)對(duì)數(shù)據(jù)總量以及增量進(jìn)行定期監(jiān)控,可以掌握數(shù)據(jù)量變化情況,也可以從數(shù)據(jù)增量角度發(fā)現(xiàn)數(shù)據(jù)入庫(kù)異常。數(shù)據(jù)量監(jiān)測(cè)結(jié)果可同步到數(shù)據(jù)臺(tái)帳,以便數(shù)據(jù)臺(tái)帳統(tǒng)計(jì)數(shù)據(jù)總量情況。 1.6.3 元數(shù)據(jù)管理 元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)的基本單元,實(shí)現(xiàn)對(duì)元數(shù)據(jù)的管理,數(shù)據(jù)倉(cāng)庫(kù)的最基本功能之一。元數(shù)據(jù)管理包括元數(shù)據(jù)注冊(cè)登記、元數(shù)據(jù)存儲(chǔ)、元數(shù)據(jù)建模等多方面功能。 1.7 數(shù)據(jù)服務(wù) 大數(shù)據(jù)平臺(tái)開(kāi)放存儲(chǔ)訪問(wèn)接口,提供基于 Hadoop 技術(shù)體系的 HDFS、HBase訪問(wèn)接口,以 OpenAPI 的方式,為應(yīng)用提供大數(shù)據(jù)存儲(chǔ)服務(wù)。 數(shù)據(jù)服務(wù)層主要由數(shù)據(jù)服務(wù)總線來(lái)建設(shè),主要負(fù)責(zé)將大數(shù)據(jù)平臺(tái)的能力接口注冊(cè)進(jìn)去,再以標(biāo)準(zhǔn)化接口開(kāi)放給應(yīng)用系統(tǒng)使用,支持多種協(xié)議轉(zhuǎn)換、服務(wù)質(zhì)量 控制、訪問(wèn)控制、規(guī)則引擎等。數(shù)據(jù)服務(wù)層將大數(shù)據(jù)平臺(tái)的數(shù)據(jù)服務(wù)能力開(kāi)放出去,供第三方平臺(tái)使用。 如上圖:應(yīng)用服務(wù)系統(tǒng)使用服務(wù)接口,來(lái)接入數(shù)據(jù)服務(wù)總線,經(jīng)過(guò)數(shù)據(jù)服務(wù) 總線的接入端點(diǎn),進(jìn)行過(guò)濾。同時(shí)根據(jù)訪問(wèn)控制、服務(wù)質(zhì)量、協(xié)議轉(zhuǎn)換、策略調(diào) 度、規(guī)則引擎的處理,接出到大數(shù)據(jù)平臺(tái)的能力接口。 第2章 大數(shù)據(jù)平臺(tái) 2.1 大數(shù)據(jù)平臺(tái)基礎(chǔ)架構(gòu) 大數(shù)據(jù)基礎(chǔ)平臺(tái)基于烽火自主知識(shí)產(chǎn)權(quán)FitData產(chǎn)品,F(xiàn)itData主要集成了基礎(chǔ)計(jì)算資源、網(wǎng)絡(luò)資源、存儲(chǔ)資源,在統(tǒng)一的安全體管理體系下,將這些資源再進(jìn)行深度加工、處理、關(guān)聯(lián),形成多種類型的基礎(chǔ)服務(wù)能力,構(gòu)建基礎(chǔ)資源層,向應(yīng)用提供基礎(chǔ)資源的服務(wù)能力。數(shù)據(jù)服務(wù)總線通過(guò)服務(wù)治理來(lái)維護(hù)基礎(chǔ)資源服務(wù)能力,并通過(guò)訪 問(wèn)控制、服務(wù)質(zhì)量、協(xié)議轉(zhuǎn)換等,對(duì)應(yīng)用提供多協(xié)議支持。平臺(tái)支撐體系的運(yùn)維體系提供整體運(yùn)維能力,保障平臺(tái)的正常運(yùn)行;安全體系提供整體安全能力,保障平臺(tái)的數(shù)據(jù)安全和使用安全;平臺(tái)采用分布式架構(gòu),支持巨量數(shù)據(jù)存儲(chǔ)與分析, 保障專家管理系統(tǒng)的高性能、高可用性和易擴(kuò)展性。FitData大數(shù)據(jù)基礎(chǔ)平臺(tái)結(jié)構(gòu)如下圖紅線標(biāo)出部分。 n 數(shù)據(jù)計(jì)算與存儲(chǔ):是FitData 大數(shù)據(jù)平臺(tái)的核心內(nèi)容,提供分布式存儲(chǔ)能力和分布式計(jì)算能力。提供的存儲(chǔ)框架能力,包括基于結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ),其計(jì)算框架與存儲(chǔ)框架均是分布式集群方式部署,可以平滑的進(jìn)行彈性擴(kuò)容。 n 數(shù)據(jù)服務(wù)層:數(shù)據(jù)服務(wù)層主要由數(shù)據(jù)服務(wù)接口來(lái)實(shí)現(xiàn),對(duì)應(yīng)用提供數(shù)據(jù)支撐。通過(guò)數(shù)據(jù)服務(wù)接口將平臺(tái)的數(shù)據(jù)資源以標(biāo)準(zhǔn) API 接口的方式開(kāi)放出來(lái),供不同的應(yīng)用系統(tǒng)使用。數(shù)據(jù)應(yīng)用層主要提供基于該平臺(tái)來(lái)構(gòu)建的專家系統(tǒng)應(yīng)用。采用平臺(tái)的標(biāo)準(zhǔn)API,數(shù)據(jù)資源層獲取數(shù)據(jù)服務(wù),目前API 接口包括資源目錄瀏覽、數(shù)據(jù)查詢搜索等。 n 數(shù)據(jù)匯聚層:提供各層之間數(shù)據(jù)交換能力,由ETL數(shù)據(jù)集成工具來(lái)實(shí)現(xiàn)。平臺(tái)支持多中異構(gòu)數(shù)據(jù)源,針對(duì)不同數(shù)據(jù)源的不同數(shù)據(jù),也提供多種數(shù)據(jù)抽取方式,例如數(shù)據(jù)庫(kù)直 連抽取、Sqoop 抽取等。提供計(jì)算框架能力,主要集成了批處理計(jì)算框 架、流式計(jì)算框架、內(nèi)存計(jì)算框架等能力,還提供了像 Hive、Mahout、 Spark 等二次計(jì)算能力框架。平臺(tái)可將這些計(jì)算能力開(kāi)放,供數(shù)據(jù)模型、數(shù)據(jù)挖掘、應(yīng)用系統(tǒng)來(lái)使用。 n 運(yùn)維體系:運(yùn)維體系提供面向?qū)<蚁到y(tǒng)完整運(yùn)維方案, 涵蓋了運(yùn)行監(jiān)控到使用操作。安全體系提供面向?qū)<蚁到y(tǒng)大數(shù)據(jù)平臺(tái)的用戶權(quán)限管理、終 端訪問(wèn)控制、日志安全審計(jì)等能力。 數(shù)據(jù)存與計(jì)算是 FitData 大數(shù)據(jù)平臺(tái)核心能力,將目前專家系統(tǒng)內(nèi)部業(yè)務(wù)數(shù)據(jù)源進(jìn)行有效整合,集成以數(shù)據(jù)為核心的查詢、 分析和管理能力。采用分層整合,靈活配置,橫向擴(kuò)展,縱向貫穿的大數(shù)據(jù)平臺(tái)服務(wù)能力,其計(jì)算框架、存儲(chǔ)框架都以容器的方式,可輕松靈活的在線進(jìn)行裝卸,以平滑擴(kuò)充大數(shù)據(jù)平臺(tái)的集成能力。除此還集成了二級(jí)計(jì)算框架、通用的數(shù)據(jù)處理算法庫(kù)和數(shù)據(jù)倉(cāng)庫(kù),將大數(shù)據(jù)平臺(tái)的數(shù)據(jù)進(jìn)行清洗、加工和分析挖掘,處理后的數(shù)據(jù)可訂閱,充分體現(xiàn)數(shù)據(jù)即服務(wù)的大數(shù)據(jù)思想。 ? 分布式存儲(chǔ)框架:主要負(fù)責(zé)針對(duì)巨量數(shù)據(jù)的存儲(chǔ),以分布式存儲(chǔ)技術(shù), 支持快速、巨量、多種類型的數(shù)據(jù)存取。支持從數(shù)據(jù)源抽取數(shù)據(jù)到大數(shù) 據(jù)平臺(tái)存儲(chǔ),集成多種存儲(chǔ)方式,有針對(duì)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和 半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。 ? 計(jì)算框架:主要提供批處理計(jì)算、內(nèi)存計(jì)算、流式計(jì)算框架,由數(shù)據(jù)處 理管理驅(qū)動(dòng)來(lái)分配和調(diào)度計(jì)算框架,加載數(shù)據(jù)處理算法,完成數(shù)據(jù)處理。 ? 數(shù)據(jù)倉(cāng)庫(kù):主要對(duì)計(jì)算框架完成后的結(jié)果進(jìn)行存儲(chǔ),支持 Hbase、MS SQL Server 等存儲(chǔ),同時(shí)將數(shù)據(jù)以接口的形式開(kāi)放出去。 ? 數(shù)據(jù)處理算法庫(kù):集成通用的數(shù)據(jù)分析算法、能夠插入用戶自定義的數(shù) 據(jù)模型算法,配合以資源管理系統(tǒng)為主的計(jì)算存儲(chǔ)框架,進(jìn)行數(shù)據(jù)處理。 ? 資源管理系統(tǒng),以容器的方式,來(lái)為計(jì)算框架和存儲(chǔ)框架分配資源,并 支持資源調(diào)度,彈性伸縮。 ? 數(shù)據(jù)服務(wù)總線:主要將基礎(chǔ)平臺(tái)的能力和數(shù)據(jù)服務(wù)接口,以 API 的方式開(kāi)放出去,形成一個(gè)共享的、供應(yīng)用使用的服務(wù)總線。 2.2 FitData特點(diǎn) l 廣泛適應(yīng)性:支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù);支持實(shí)時(shí)數(shù)據(jù)。 l 巨量數(shù)據(jù):數(shù)據(jù)處理能力在PB級(jí)以上。 l 線性擴(kuò)展:存儲(chǔ)、計(jì)算均可增加節(jié)點(diǎn)進(jìn)行線性擴(kuò)展。 l 統(tǒng)一運(yùn)維管理:降低安裝部署、運(yùn)營(yíng)、維護(hù)成本。 l 經(jīng)濟(jì)性:可運(yùn)行在普通X86服務(wù)器上,硬件成本低。 l 高可靠性:支持容災(zāi)容錯(cuò)、備份恢復(fù)機(jī)制,支持自動(dòng)告警。支持節(jié)點(diǎn)可靠性、數(shù)據(jù)可靠性。 l 高性能:高效數(shù)據(jù)處理性能,支持Spark、Storm、R。 l 認(rèn)證安全:支持Kerberos安全認(rèn)證、LDAP賬戶管理控制。 l 數(shù)據(jù)安全:支持?jǐn)?shù)據(jù)加密。 l 負(fù)載均衡:支持節(jié)點(diǎn)間存儲(chǔ)、技術(shù)負(fù)載均衡。 l 開(kāi)放性:支持符合Hadoop規(guī)范的第三方組件或工具。 2.3 FitData主要功能 FitData是基于開(kāi)源Hadoop開(kāi)發(fā)的企業(yè)級(jí)大數(shù)據(jù)產(chǎn)品,提供PB級(jí)數(shù)據(jù)的采集、存儲(chǔ)和處理能力,支持?jǐn)?shù)據(jù)加載、查詢、分析、挖掘等功能。 2.3.1 節(jié)點(diǎn)批量自動(dòng)部署 通過(guò)以Web管理,以圖形界面的方式實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)節(jié)點(diǎn)批量自動(dòng)部署,只需添加主機(jī)名(或者IP地址)即可實(shí)現(xiàn)將節(jié)點(diǎn)服務(wù)器添加到集群中,截圖如下: 圖 向集群中添加節(jié)點(diǎn) 2.3.2 節(jié)點(diǎn)動(dòng)態(tài)管理 通過(guò)web管理實(shí)現(xiàn)節(jié)點(diǎn)的動(dòng)態(tài)添加、刪除,當(dāng)存儲(chǔ)空間或者計(jì)算資源不足時(shí),支持向集群中添加同等配置的服務(wù)器,實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)在線動(dòng)態(tài)擴(kuò)容,而不需要停機(jī)處理,不影響平臺(tái)正常運(yùn)行。 大數(shù)據(jù)平臺(tái)以Web圖形界面實(shí)現(xiàn)Hadoop集群監(jiān)控,包括大數(shù)據(jù)平臺(tái)的硬件資源、軟件資源、數(shù)據(jù)資源的監(jiān)控,以及整個(gè)Hadoop集群的工作負(fù)載。主要包括以下幾個(gè)方面: 2.3.3 服務(wù)組件狀態(tài)監(jiān)控 通過(guò)管理平臺(tái)可以看到所有目前已安裝的服務(wù)組件的健康狀況。 圖 服務(wù)組件運(yùn)行狀況 2.3.4 計(jì)算資源負(fù)載監(jiān)控 通過(guò)管理平臺(tái)可以實(shí)時(shí)看到整個(gè)平臺(tái)的資源負(fù)載情況,包括集群的CPU、集群磁盤(pán)IO、集群網(wǎng)絡(luò)IO、HDFS IO,如下圖所示: 圖 計(jì)算資源監(jiān)控 2.3.5 多任務(wù)實(shí)時(shí)監(jiān)控 通過(guò)對(duì)集群運(yùn)行任務(wù)的實(shí)時(shí)監(jiān)測(cè),并根據(jù)任務(wù)優(yōu)先級(jí)和耗時(shí)不同對(duì)任務(wù)進(jìn)行動(dòng)態(tài)調(diào)度,減少出現(xiàn)大量任務(wù)等待和重要任務(wù)無(wú)法及時(shí)完成的可能,可以使Hadoop集群的運(yùn)行變得更加高效合理。 (1)、系統(tǒng)根據(jù)各隊(duì)列資源的最小值分配集群資源,這樣可以按照需求對(duì)各任務(wù)隊(duì)列獲取的集群資源進(jìn)行分配,而且不會(huì)出現(xiàn)集群資源的閑置浪費(fèi)。 (2)、可以實(shí)現(xiàn)對(duì)各任務(wù)隊(duì)列獲取的集群資源大小實(shí)時(shí)動(dòng)態(tài)調(diào)整,及時(shí)保證高優(yōu)先級(jí)任務(wù)所在隊(duì)列獲得更多的集群資源。 (3)、可以實(shí)現(xiàn)在某個(gè)任務(wù)隊(duì)列出現(xiàn)空閑時(shí),將該任務(wù)隊(duì)列獲取的集群資源自動(dòng)分配給其他繁忙的任務(wù)隊(duì)列,以使得集群資源利用最大化。 2.3.6 磁盤(pán)性能監(jiān)控 對(duì)集群機(jī)器的硬盤(pán)進(jìn)行監(jiān)控,如下圖所示,詳細(xì)的展示出磁盤(pán)IO的利用率,讀寫(xiě)速度,磁盤(pán)的等待時(shí)間。 圖:磁盤(pán)性能監(jiān)控 2.3.7 故障快速定位 大數(shù)據(jù)平臺(tái)具備完整的告警監(jiān)控和故障快速定位能力。能夠?qū)⒂?jì)算框架的每個(gè)作業(yè)進(jìn)度、狀態(tài)、資源利用情況進(jìn)行監(jiān)控,并通過(guò)可視化圖形界面進(jìn)行展示。 當(dāng)大數(shù)據(jù)平臺(tái)出現(xiàn)異常情況時(shí),平臺(tái)能夠通過(guò)監(jiān)控系統(tǒng),對(duì)服務(wù)器節(jié)點(diǎn)宕機(jī)、集群異常、安全異常等異常事件進(jìn)行預(yù)警、報(bào)警,并通過(guò)郵件、短信報(bào)警手段進(jìn)行告警通知。提供預(yù)制的恢復(fù)規(guī)則和安全規(guī)則,對(duì)集群異常進(jìn)行自動(dòng)修復(fù)、自動(dòng)限制非安全行為的操作。 大數(shù)據(jù)平臺(tái)能夠通過(guò)對(duì)告警信息的分析,快速定位平臺(tái)內(nèi)部出現(xiàn)故障的節(jié)點(diǎn),對(duì)于因故障無(wú)法繼續(xù)提供服務(wù)器的節(jié)點(diǎn)進(jìn)行標(biāo)記,將平臺(tái)的作業(yè)任務(wù)自動(dòng)分配到其他的節(jié)點(diǎn)上運(yùn)行,同時(shí),大數(shù)據(jù)平臺(tái)采用分布式體系結(jié)構(gòu)及無(wú)單點(diǎn)故障設(shè)計(jì),平臺(tái)內(nèi)任何節(jié)點(diǎn)的宕機(jī)都不會(huì)影響平臺(tái)的穩(wěn)定運(yùn)行和業(yè)務(wù)的正常使用。待故障節(jié)點(diǎn)恢復(fù)正常后,再將該節(jié)點(diǎn)納入平臺(tái)的資源中,將作業(yè)任務(wù)分配到恢復(fù)后的節(jié)點(diǎn)上運(yùn)行。 2.3.8 日常運(yùn)維監(jiān)控 大數(shù)據(jù)綜合平臺(tái)提供完整的日常運(yùn)維監(jiān)控的服務(wù)能力,針對(duì)從上層應(yīng)用平臺(tái)到底層基礎(chǔ)平臺(tái)的各個(gè)功能模塊和組件均提供有監(jiān)控能力,能夠分析系統(tǒng)的運(yùn)行日志和用戶日志,并且能夠?qū)⒈O(jiān)控?cái)?shù)據(jù)通過(guò)文件接口或webservice接口的方式匯總到平臺(tái)管理運(yùn)維模塊的監(jiān)控管理界面中進(jìn)行統(tǒng)一呈現(xiàn)和管理使用。系統(tǒng)能夠根據(jù)監(jiān)控到的數(shù)據(jù)進(jìn)行分析判斷,對(duì)異常的數(shù)據(jù)觸發(fā)告警,在前臺(tái)界面提醒,直至出發(fā)通知和處理等進(jìn)一步動(dòng)作。 平臺(tái)的監(jiān)控范圍涵蓋有: l 平臺(tái)管理資源的使用與分配 o 服務(wù)器視圖:提供針對(duì)各服務(wù)器和存儲(chǔ)等設(shè)備的資源使用情況的實(shí)時(shí)查看,包括當(dāng)前設(shè)備的CPU負(fù)荷,內(nèi)存占用情況,存儲(chǔ)空間使用情況,網(wǎng)絡(luò)帶寬占用情況、設(shè)備運(yùn)行狀態(tài)等。管理員能夠根據(jù)監(jiān)控信息在管理平臺(tái)上有效調(diào)度分配系統(tǒng)資源。其中集群的監(jiān)控如下圖所示: 針對(duì)服務(wù)器的監(jiān)控如下圖所示: o 服務(wù)視圖:提供系統(tǒng)中各服務(wù)資源使用情況的實(shí)時(shí)查看,包括連接數(shù)、當(dāng)前作業(yè)數(shù),I/O情況,運(yùn)行狀態(tài)等。 l 監(jiān)控系統(tǒng)的運(yùn)行情況 o 接口服務(wù)運(yùn)行監(jiān)控:提供針對(duì)數(shù)據(jù)源和應(yīng)用層的監(jiān)控服務(wù),包括運(yùn)行狀態(tài)和流量等信息; o 數(shù)據(jù)存取過(guò)程監(jiān)控:提供針對(duì)數(shù)據(jù)存儲(chǔ)過(guò)程的監(jiān)控服務(wù),包括系統(tǒng)平臺(tái)的I/O情況(整體I/O和具體各節(jié)點(diǎn)I/O以及具體的各作業(yè)的I/O情況)和數(shù)據(jù)存取過(guò)程的任務(wù)列表; o 數(shù)據(jù)匯聚過(guò)程監(jiān)控:監(jiān)控系統(tǒng)的數(shù)據(jù)匯聚過(guò)程,包括使用資源信息,使用的數(shù)據(jù)源信息,作業(yè)進(jìn)程運(yùn)行狀況信息,使用時(shí)間/計(jì)劃完成時(shí)間等信息; o 數(shù)據(jù)處理過(guò)程監(jiān)控(作業(yè)監(jiān)控):監(jiān)控系統(tǒng)的數(shù)據(jù)處理(作業(yè))過(guò)程,包括使用資源信息,使用的數(shù)據(jù)源信息,作業(yè)進(jìn)程運(yùn)行狀況信息,使用時(shí)間/計(jì)劃完成時(shí)間等信息; o 應(yīng)用監(jiān)控:針對(duì)運(yùn)行在平臺(tái)上的應(yīng)用進(jìn)行監(jiān)控,包括各應(yīng)用當(dāng)前的運(yùn)行狀態(tài)、應(yīng)用對(duì)數(shù)據(jù)的使用狀況,應(yīng)用為用戶提供的查詢數(shù)量等; l 系統(tǒng)異常告警與處理 o 用戶告警:對(duì)用戶操作使用過(guò)程中的異常行為進(jìn)行告警,例如某用戶訪問(wèn)了超過(guò)其正常權(quán)限的數(shù)據(jù)等。 o 系統(tǒng)告警:對(duì)系統(tǒng)中存在的服務(wù)節(jié)點(diǎn)宕機(jī),系統(tǒng)接口異常,數(shù)據(jù)存儲(chǔ)報(bào)錯(cuò),系統(tǒng)資源緊張等系統(tǒng)運(yùn)行異常情況進(jìn)行告警觸發(fā),并提醒用戶進(jìn)行操作處理。 2.4 FitData優(yōu)勢(shì) 烽火大數(shù)據(jù)平臺(tái)FitData借助先進(jìn)開(kāi)源的大數(shù)據(jù)存儲(chǔ)及處理技術(shù),成功實(shí)施了公安大數(shù)據(jù)平臺(tái)、楚天云政務(wù)大數(shù)據(jù)平臺(tái),通過(guò)大數(shù)據(jù)項(xiàng)目的實(shí)施,逐步沉淀了大量的算法模型及分析與展示工具,在平臺(tái)性能及穩(wěn)定性上經(jīng)歷了實(shí)戰(zhàn)的考驗(yàn),逐步總結(jié)出一套FitData自己的系統(tǒng)優(yōu)化策略及系統(tǒng)運(yùn)維策略,平臺(tái)經(jīng)受住了單節(jié)點(diǎn)超過(guò)1000臺(tái)集群的實(shí)戰(zhàn)考驗(yàn),并支持HA高可用性運(yùn)行策略,經(jīng)過(guò)四年時(shí)間及高強(qiáng)度項(xiàng)目的錘煉,F(xiàn)itData大數(shù)據(jù)平臺(tái)已經(jīng)走出了自己的路。在數(shù)據(jù)處理上支持PB及超大量數(shù)據(jù)的秒級(jí)查詢及匯集。 SmartAS是企業(yè)級(jí)基礎(chǔ)開(kāi)發(fā)平臺(tái),它基于FitData平臺(tái)之上,采用微服務(wù)架構(gòu),支持分布式部署,是成熟可靠的多終端應(yīng)用開(kāi)發(fā)框架。它集成業(yè)界流行和成熟的技術(shù)框架,通過(guò)應(yīng)用系統(tǒng)使用,反饋的情況不斷完善應(yīng)用框架的通用功能,滿足業(yè)務(wù)系統(tǒng)快熟構(gòu)建的目標(biāo),具備良好用戶體驗(yàn) 第3章 硬件部署 按照專家系統(tǒng)安裝接口規(guī)范要求,結(jié)合專家管理系統(tǒng)數(shù)據(jù)量估算值和數(shù)據(jù)存儲(chǔ)特點(diǎn),本著數(shù)據(jù)安全、系統(tǒng)穩(wěn)定可靠的核心設(shè)計(jì)思路,設(shè)計(jì)專家系統(tǒng)大數(shù)據(jù)平臺(tái)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器22臺(tái),其中管理節(jié)點(diǎn)服務(wù)器2臺(tái),數(shù)據(jù)節(jié)點(diǎn)服務(wù)器19臺(tái),監(jiān)控節(jié)點(diǎn)一臺(tái),系統(tǒng)RDBMS數(shù)據(jù)庫(kù)服務(wù)器臺(tái),應(yīng)用服務(wù)器6臺(tái),繪制專家系統(tǒng)部署邏輯結(jié)構(gòu)圖如下: 第4章 硬件清單 根據(jù)系統(tǒng)規(guī)劃及安裝接口規(guī)范要求,初步規(guī)劃服務(wù)器如下:系統(tǒng)應(yīng)用服務(wù)器需求6臺(tái);大數(shù)據(jù)平臺(tái)設(shè)計(jì)節(jié)點(diǎn)22個(gè),其中管理節(jié)點(diǎn)2個(gè),數(shù)據(jù)節(jié)點(diǎn)19個(gè),監(jiān)控節(jié)點(diǎn)服務(wù)器1臺(tái),RDBMS數(shù)據(jù)庫(kù)服務(wù)器兩臺(tái)雙機(jī)熱備。具體各服務(wù)器硬件需求如下表: 編號(hào) 服務(wù)器名 配置 數(shù)量 說(shuō)明 1 RDBMS數(shù)據(jù)庫(kù)服務(wù)器 4*Intel Xeon E7-4800/8800 v3 最大可擴(kuò)展至4 CPU,72 核 支持8GB/16GB/32GB/64GB DDR4 高速內(nèi)存 配置128GB DDR4 內(nèi)存 配置9 塊900GB 15K SAS,14*4T NL SAS 硬盤(pán)。 2 雙機(jī)備份 2 大數(shù)據(jù)平臺(tái)管理節(jié)點(diǎn) 2*Intel Xeon E7-4800/8800 v3 最大可擴(kuò)展至4 CPU,72 核 支持8GB/16GB/32GB/64GB DDR4 高速內(nèi)存 配置128GB DDR4 內(nèi)存 配置6 塊600GB 15K SAS,3*4T NL SAS 硬盤(pán)。 1 Active 3 大數(shù)據(jù)平臺(tái)管理節(jié)點(diǎn) 2*Intel Xeon E7-4800/8800 v3 最大可擴(kuò)展至4 CPU,72 核 支持8GB/16GB/32GB/64GB DDR4 高速內(nèi)存 配置128GB DDR4 內(nèi)存 配置6 塊600GB 15K SAS,3*4T NL SAS 硬盤(pán)。 1 Standby 4 大數(shù)據(jù)平臺(tái)數(shù)據(jù)節(jié)點(diǎn) 2*Intel Xeon E7-4800/8800 v3 最大可擴(kuò)展至4 CPU,72 核 支持8GB/16GB/32GB/64GB DDR4 高速內(nèi)存 配置128GB DDR4 內(nèi)存 配置6 塊600GB 15K SAS,12*4T NL SAS 硬盤(pán)。 19 數(shù)據(jù)節(jié)點(diǎn) 5 大數(shù)據(jù)集群性能檢測(cè)服務(wù)器 2*Intel Xeon E7-4800/8800 v3 最大可擴(kuò)展至4 CPU,72 核 支持8GB/16GB/32GB/64GB DDR4 高速內(nèi)存 配置128GB DDR4 內(nèi)存 配置6 塊600GB 15K SAS,3*4T NL SAS 硬盤(pán)。 1 監(jiān)控節(jié)點(diǎn) 6 應(yīng)用服務(wù)器 CPU:2 顆E5-2630 v3 ≥24 個(gè)內(nèi)存插槽,最大支持1.5TB 內(nèi)存,支持2133 MHz 內(nèi)存。當(dāng)前配置64GB 內(nèi)存。 支持SAS、SSD 和PCIe SSD 硬盤(pán),支持2.5 寸和3.5 寸硬盤(pán)混插。 支持24+2 個(gè)2.5 寸 SAS/SATA 或者 14 個(gè)3.5 寸 SAS/SATA + 2 個(gè)2.5 寸SAS/SATA +16 個(gè) 1.8" SSD。 硬盤(pán):配置6 塊600GB 15K SAS 硬盤(pán) 2 應(yīng)用服務(wù)器 7 交換機(jī) 48 10/100/1000Base-TX, 4 100/1000Base-X SFP 2 網(wǎng)絡(luò)設(shè)備 8 防火墻 多功能防火墻,4口以上 2 安防設(shè)備 9 工作站 Intel(R)Xeon CPU E5,配置1T SATA 硬盤(pán)。內(nèi)存:8GB 2 說(shuō)明:硬件部分交換機(jī)、防火強(qiáng)及工作站,請(qǐng)根據(jù)標(biāo)書(shū)確認(rèn)!大數(shù)據(jù)服務(wù)器、RDBMS數(shù)據(jù)庫(kù)服務(wù)器及應(yīng)用服務(wù)器的具體配置參數(shù)請(qǐng)硬件朋友和標(biāo)書(shū)上進(jìn)行重新確認(rèn),這邊只對(duì)內(nèi)存量、CPU顆數(shù)及存儲(chǔ)空間大小做了要求。 第5章 個(gè)人介紹 吳宏勛:“烽火集成”高級(jí)大數(shù)據(jù)架構(gòu)師,曾擔(dān)任醫(yī)療大數(shù)據(jù)、公安大數(shù)據(jù)、財(cái)稅大數(shù)據(jù)項(xiàng)目大數(shù)據(jù)架構(gòu)師,具有豐富的大數(shù)據(jù)項(xiàng)目實(shí)施經(jīng)驗(yàn),對(duì)高吞吐、高并發(fā)、海量數(shù)據(jù)實(shí)時(shí)匯集,TB、PB級(jí)海量數(shù)據(jù)即席查詢與實(shí)時(shí)處理具有針對(duì)性方案和經(jīng)驗(yàn),研讀過(guò)部分Hadoop、HBase、Spark源碼,對(duì)Hadoop、HBase、Spark的原理有很深的理解,曾從事多個(gè)項(xiàng)目大數(shù)據(jù)平臺(tái)的調(diào)優(yōu)工作! 第6章 專家系統(tǒng)架構(gòu)設(shè)計(jì) 本系統(tǒng)總共分為四個(gè)層次,從下到上依次為數(shù)據(jù)采集層、基礎(chǔ)平臺(tái)層、應(yīng)用支撐層、應(yīng)用及展示層,各層在專家系統(tǒng)統(tǒng)一業(yè)務(wù)規(guī)范、技術(shù)規(guī)范、安全規(guī)范下進(jìn)行數(shù)據(jù)通信及集成。 1. 數(shù)據(jù)采集層:負(fù)責(zé)專家系統(tǒng)信息數(shù)據(jù)的匯集、轉(zhuǎn)換與加載,數(shù)據(jù)采集層提供多種數(shù)據(jù)采集方法:ETL、Flume、Kafka等,系統(tǒng)支持Flume+Kafka+Storm混合架構(gòu)的數(shù)據(jù)采集模式,以提高數(shù)據(jù)采集系統(tǒng)的吞吐量和并發(fā)量。 2. 基礎(chǔ)平臺(tái)層:基礎(chǔ)平臺(tái)層為專家數(shù)據(jù)倉(cāng)庫(kù)提供大數(shù)據(jù)基礎(chǔ)平臺(tái)支撐,包括分布式存儲(chǔ)系統(tǒng)、Hbase數(shù)據(jù)庫(kù)系統(tǒng)、Yarn并行計(jì)算資源管理與監(jiān)控等,同時(shí)支持Spark 機(jī)器學(xué)習(xí)算法庫(kù),支持R等行業(yè)分析庫(kù)。 3. 應(yīng)用支撐層:應(yīng)用支撐層為系統(tǒng)各類應(yīng)用提供支撐,是系統(tǒng)數(shù)據(jù)層和應(yīng)用層的連接紐帶。應(yīng)用支撐層包括基礎(chǔ)平臺(tái)和常規(guī)算法兩個(gè)部分,基礎(chǔ)平臺(tái)負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)與并行計(jì)算,數(shù)據(jù)存儲(chǔ)支持分布式存儲(chǔ)、RDBMS存儲(chǔ)等存儲(chǔ)方式,常規(guī)算法負(fù)責(zé)數(shù)據(jù)分析與業(yè)務(wù)建模。 4. 應(yīng)用及展示層:應(yīng)用層是系統(tǒng)各項(xiàng)業(yè)務(wù)功能的集合,主要包括資車(chē)輛故障診斷、車(chē)輛健康評(píng)估、車(chē)輛部件檢修、車(chē)輛故障處理及車(chē)輛對(duì)比分析等。展示層是用戶同系統(tǒng)交互的窗口,是應(yīng)用層對(duì)外提供服務(wù)的主要手段。支持多種圖表展示如餅圖、柱狀圖、曲線圖、熱力圖、氣泡圖和散點(diǎn)圖等可視化展示。 第7章 平臺(tái)運(yùn)維管理 7.1 Hadoop集群監(jiān)控 大數(shù)據(jù)平臺(tái)以Web圖形界面實(shí)現(xiàn)Hadoop集群監(jiān)控,包括大數(shù)據(jù)平臺(tái)的硬件資源、軟件資源、數(shù)據(jù)資源的監(jiān)控,以及整個(gè)Hadoop集群的工作負(fù)載。主要包括以下幾個(gè)方面: 7.1.1 服務(wù)組件狀態(tài)監(jiān)控 通過(guò)管理平臺(tái)可以看到所有目前已安裝的服務(wù)組件的健康狀況,綠色圈表示運(yùn)行狀態(tài)健康。 圖:服務(wù)組件運(yùn)行狀況 7.1.2 存儲(chǔ)與內(nèi)存資源監(jiān)控 包括獲取存儲(chǔ)量、剩余存儲(chǔ)量以及存儲(chǔ)系統(tǒng)整體情況信息。如果集群中的某臺(tái)機(jī)器的磁盤(pán)或者內(nèi)存的使用率達(dá)到指定的閥值,系統(tǒng)可以通過(guò)郵件或者短信的方式進(jìn)行預(yù)警。 圖:存儲(chǔ)和內(nèi)存資源監(jiān)控 7.2 系統(tǒng)負(fù)載管理 I 通過(guò)管理平臺(tái)可以實(shí)時(shí)看到整個(gè)平臺(tái)的資源負(fù)載情況,包括集群的CPU、集群磁盤(pán)IO、集群網(wǎng)絡(luò)IO、HDFS IO,如下圖所示: 通過(guò)對(duì)集群運(yùn)行任務(wù)的實(shí)時(shí)監(jiān)測(cè),并根據(jù)任務(wù)優(yōu)先級(jí)和耗時(shí)不同對(duì)任務(wù)進(jìn)行動(dòng)態(tài)調(diào)度,減少出現(xiàn)大量任務(wù)等待和重要任務(wù)無(wú)法及時(shí)完成的可能,可以使Hadoop集群的運(yùn)行變得更加高效合理。 (1)、系統(tǒng)根據(jù)各隊(duì)列資源的最小值分配集群資源,這樣可以按照需求對(duì)各任務(wù)隊(duì)列獲取的集群資源進(jìn)行分配,而且不會(huì)出現(xiàn)集群資源的閑置浪費(fèi)。 (2)、可以實(shí)現(xiàn)對(duì)各任務(wù)隊(duì)列獲取的集群資源大小實(shí)時(shí)動(dòng)態(tài)調(diào)整,及時(shí)保證高優(yōu)先級(jí)任務(wù)所在隊(duì)列獲得更多的集群資源。 (3)、可以實(shí)現(xiàn)在某個(gè)任務(wù)隊(duì)列出現(xiàn)空閑時(shí),將該任務(wù)隊(duì)列獲取的集群資源自動(dòng)分配給其他繁忙的任務(wù)隊(duì)列,以使得集群資源利用最大化。 7.3 操作系統(tǒng)管理 7.3.1 磁盤(pán)性能監(jiān)控 對(duì)集群機(jī)器的硬盤(pán)進(jìn)行監(jiān)控,如下圖所示,詳細(xì)的展示出磁盤(pán)IO的利用率,讀寫(xiě)速度,磁盤(pán)的等待時(shí)間。 圖:磁盤(pán)性能監(jiān)控 7.3.2 故障快速定位 大數(shù)據(jù)平臺(tái)具備完整的告警監(jiān)控和故障快速定位能力。能夠?qū)⒂?jì)算框架的每個(gè)作業(yè)進(jìn)度、狀態(tài)、資源利用情況進(jìn)行監(jiān)控,并通過(guò)可視化圖形界面進(jìn)行展示。 當(dāng)大數(shù)據(jù)平臺(tái)出現(xiàn)異常情況時(shí),平臺(tái)能夠通過(guò)監(jiān)控系統(tǒng),對(duì)服務(wù)器節(jié)點(diǎn)宕機(jī)等集群異常、安全異常等異常事件進(jìn)行預(yù)警、報(bào)警,并通過(guò)郵件、短信等報(bào)警手段進(jìn)行告警通知。提供預(yù)制的恢復(fù)規(guī)則和安全規(guī)則,對(duì)集群異常進(jìn)行自動(dòng)修復(fù)、自動(dòng)限制非安全行為的操作。 大數(shù)據(jù)平臺(tái)能夠通過(guò)對(duì)告警信息的分析,快速定位平臺(tái)內(nèi)部出現(xiàn)故障的節(jié)點(diǎn),對(duì)于因故障無(wú)法繼續(xù)提供服務(wù)器的節(jié)點(diǎn)進(jìn)行標(biāo)記,將平臺(tái)的作業(yè)任務(wù)自動(dòng)分配到其他的節(jié)點(diǎn)上運(yùn)行,同時(shí),大數(shù)據(jù)平臺(tái)采用分布式體系結(jié)構(gòu)及無(wú)單點(diǎn)故障設(shè)計(jì),平臺(tái)內(nèi)任何節(jié)點(diǎn)的宕機(jī)都不會(huì)影響平臺(tái)的穩(wěn)定運(yùn)行和業(yè)務(wù)的正常使用。待故障節(jié)點(diǎn)恢復(fù)正常后,再將該節(jié)點(diǎn)納入平臺(tái)的資源中,將作業(yè)任務(wù)分配到恢復(fù)后的節(jié)點(diǎn)上運(yùn)行。 7.3.3 運(yùn)行日志監(jiān)控 針對(duì)每個(gè)服務(wù)組件運(yùn)行的實(shí)時(shí)日志信息可以從平臺(tái)中查看,便于在服務(wù)組件運(yùn)行中斷時(shí)查找和追蹤原因。例如,我們想要查看HBase服務(wù)組件中Mater角色的日志信息,如下圖所示: 7.4 平臺(tái)安全管理 在Hadoop 2.x中加入了Kerberos認(rèn)證機(jī)制。Kerberos可以將認(rèn)證的密鑰在集群部署時(shí)事先放到可靠的節(jié)點(diǎn)上。集群運(yùn)行時(shí),集群內(nèi)的節(jié)點(diǎn)使用密鑰得到認(rèn)證。只有被認(rèn)證過(guò)節(jié)點(diǎn)才能正常使用,防止惡意的使用或篡改Hadoop集群的問(wèn)題,確保Hadoop集群的可靠安全。 7.5 數(shù)據(jù)質(zhì)量管理 7.5.1 數(shù)據(jù)標(biāo)準(zhǔn)化 數(shù)據(jù)標(biāo)準(zhǔn)化包括數(shù)據(jù)標(biāo)準(zhǔn)制定及數(shù)據(jù)標(biāo)準(zhǔn)化處理兩個(gè)部分,數(shù)據(jù)標(biāo)準(zhǔn)制定是在專家系統(tǒng)業(yè)務(wù)統(tǒng)一規(guī)范前提下,指導(dǎo)專家系統(tǒng)大數(shù)據(jù)標(biāo)準(zhǔn),包括數(shù)據(jù)格式標(biāo)準(zhǔn)、數(shù)據(jù)交換標(biāo)準(zhǔn)、數(shù)據(jù)共享標(biāo)準(zhǔn)等;數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化是指按照統(tǒng)一專家系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)格式。將專家信息數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,生成符合專家系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)要求的信息數(shù)據(jù)。 7.5.2 數(shù)據(jù)質(zhì)量檢測(cè) 根據(jù)數(shù)據(jù)質(zhì)量監(jiān)測(cè)規(guī)則,通過(guò)數(shù)據(jù)質(zhì)量檢測(cè)引擎,對(duì)數(shù)據(jù)表中的增量數(shù)據(jù)進(jìn)行掃描,調(diào)用規(guī)則算法或擴(kuò)展程序進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè),并提供問(wèn)題數(shù)據(jù)庫(kù)的建立、數(shù)據(jù)質(zhì)量報(bào)告的生成、問(wèn)題數(shù)據(jù)的處理、以及對(duì)問(wèn)題數(shù)據(jù)的通報(bào)和反饋來(lái)保證數(shù)據(jù)的質(zhì)量和實(shí)效性等功能。 7.5.3 數(shù)據(jù)關(guān)聯(lián) 對(duì)采集的數(shù)據(jù)庫(kù)根據(jù)數(shù)據(jù)間的業(yè)務(wù)關(guān)聯(lián)關(guān)系實(shí)現(xiàn)數(shù)據(jù)的關(guān)聯(lián),通過(guò)數(shù)據(jù)的關(guān)聯(lián),增加實(shí)體數(shù)據(jù)的維度,將單個(gè)的數(shù)據(jù)擴(kuò)展成行業(yè)信息資源,提高數(shù)據(jù)的價(jià)值。- 1.請(qǐng)仔細(xì)閱讀文檔,確保文檔完整性,對(duì)于不預(yù)覽、不比對(duì)內(nèi)容而直接下載帶來(lái)的問(wèn)題本站不予受理。
- 2.下載的文檔,不會(huì)出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預(yù)覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請(qǐng)點(diǎn)此認(rèn)領(lǐng)!既往收益都?xì)w您。
下載文檔到電腦,查找使用更方便
9.9 積分
下載 |
- 配套講稿:
如PPT文件的首頁(yè)顯示word圖標(biāo),表示該P(yáng)PT已包含配套word講稿。雙擊word圖標(biāo)可打開(kāi)word文檔。
- 特殊限制:
部分文檔作品中含有的國(guó)旗、國(guó)徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計(jì)者僅對(duì)作品中獨(dú)創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- 數(shù)據(jù)倉(cāng)庫(kù) 建設(shè) 方案
鏈接地址:http://m.jqnhouse.com/p-6596417.html