并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討

單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),,,?#?,,Internet,,,Storage,Element,,,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,,,,Front End,Certificate Server,TESTBED SITE 3,Graphics by Aldo Stentella,并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討,,,,內(nèi)容大,綱,綱,并行計(jì),算,算技術(shù),集群及,相,相關(guān)技,術(shù),術(shù),網(wǎng)格計(jì),算,算,,,,,如何滿,足,足不斷,增,增長(zhǎng)的,計(jì),計(jì)算力,需,需求？,用速度,更,更快的,硬,硬件，,也,也就是,減,減少每,一,一條指,令,令所需,時(shí),時(shí)間,優(yōu)化算,法,法（或,者,者優(yōu)化,編,編譯）,用多個(gè),處,處理機(jī)(器)同時(shí)解,決,決一個(gè),問(wèn),問(wèn)題,并行計(jì),算,算,,,,串行計(jì),算,算與并,行,行計(jì)算,,,,并行的,層,層次,程序級(jí),并,并行,子程序,級(jí),級(jí)并行,語(yǔ)句級(jí),并,并行,操作級(jí),并,并行,微操作,級(jí),級(jí)并行,并行粒,度,度,粗,細(xì),,,,共享內(nèi),存,存與分,布,布式內(nèi),存,存,P=處理器,M=內(nèi)存,S=網(wǎng)絡(luò)交,換,換設(shè)備,P,M,P,…,P,M,P,M,S,…,,,,局部共,享,享內(nèi)存,…,S,P,M,P,…,P,M,P,…,Node,Node,,,,實(shí)現(xiàn)并,行,行計(jì)算,的,的常見(jiàn),方,方法,1、多線,程,程程序,2、基于OpenMP的并行,程,程序,3、基于,消,消息傳,遞,遞的并,行,行程序,PVM,MPI,,,,XPVM,,,,XPVM,,,,并行計(jì),算,算環(huán)境,簡(jiǎn),簡(jiǎn)介,PVP（ParallelVectorProcessor）,使用專,用,用向量,處,處理器,銀河I，CrayT90，NEC的地球,模,模擬器,。,。。。,SMP（SymmetricMultiprocessor）,同一主,板,板上多,個(gè),個(gè)處理,器,器可以,等,等同訪,問(wèn),問(wèn)共享,存,存儲(chǔ)器,、,、I/O設(shè)備和,操,操作系,統(tǒng),統(tǒng)服務(wù),IBMRS6000。。。,Cluster,由很多,連,連接在,一,一起的,獨(dú),獨(dú)立計(jì),算,算機(jī)組,成,成，像,一,一個(gè)單,獨(dú),獨(dú)的集,成,成的計(jì),算,算機(jī)一,樣,樣協(xié)同,工,工作,集群的,節(jié),節(jié)點(diǎn)可,以,以是SMP（或者PVP）,Cluster1350，藍(lán)色,基,基因。,。,。。,,,,在虛擬,天,天文臺(tái),中,中的應(yīng),用,用情形,處理實(shí),時(shí),時(shí)性要,求,求很高,的,的大量,觀,觀測(cè)數(shù),據(jù),據(jù),觀測(cè)數(shù),據(jù),據(jù)的并,行,行可視,化,化處理,并行數(shù),據(jù),據(jù)挖掘,并行數(shù),據(jù),據(jù)服務(wù),提,提供,。。。,。,。。。,,,,,集群技,術(shù),術(shù),集群概,念,念最早,由,由IBM于20世紀(jì)60年代提,出,出,集群一,般,般由高,速,速網(wǎng)絡(luò),連,連接起,來(lái),來(lái)的高,性,性能工,作,作站或PC機(jī)組成,。,。集群,在,在工作,中,中像一,個(gè),個(gè)統(tǒng)一,的,的整合,資,資源，,所,所有節(jié),點(diǎn),點(diǎn)使用,單,單一界,面,面。,,,,集群,NotaClusterCluster,,,,,集群計(jì),算,算系統(tǒng),體,體系結(jié),構(gòu),構(gòu),,,,集群相,關(guān),關(guān)技術(shù),網(wǎng)絡(luò)層,網(wǎng)絡(luò)互,聯(lián),聯(lián)結(jié)構(gòu),、,、通信,協(xié),協(xié)議、,信,信號(hào)技,術(shù),術(shù)等。,節(jié)點(diǎn)機(jī),及,及操作,系,系統(tǒng)層,高性能PC或工作,站,站、分,層,層或基,于,于微內(nèi),核,核的操,作,作系統(tǒng),等,等。,集群系,統(tǒng),統(tǒng)管理,層,層,資源管,理,理、資,源,源調(diào)度,、,、負(fù)載,平,平衡、,并,并行I/O、安全,等,等。,應(yīng)用層,并行程,序,序開(kāi)發(fā),環(huán),環(huán)境、,串,串行應(yīng),用,用、并,行,行應(yīng)用,等,等。,,,,Cluster1350,Cluster1350是IBM公司目,標(biāo),標(biāo)定位,于,于高性,能,能計(jì)算,市,市場(chǎng)的Linux集群，,包,包括一,套,套完整,的,的解決,方,方案，,集,集成了,眾,眾多IBM與非IBM的先進(jìn),的,的軟硬,件,件技術(shù),，,，有其,特,特有的,技,技術(shù)優(yōu),勢(shì),勢(shì)與強(qiáng),大,大的服,務(wù),務(wù)支持,。,。,,,,Cluster1350邏輯結(jié),構(gòu),構(gòu),,,,Cluster1350節(jié)點(diǎn)硬,件,件、網(wǎng),絡(luò),絡(luò)和操,作,作系統(tǒng)(天津大,學(xué),學(xué)IBM中心）,管理節(jié),點(diǎn),點(diǎn),IBMeServerxSeries 345,(,(1),計(jì)算節(jié),點(diǎn),點(diǎn),IBMeServerxSeries 335,(,(16,),),網(wǎng)絡(luò),千兆以,太,太網(wǎng),操作系,統(tǒng),統(tǒng),RedHat Linux 7,.,.3,,,,CSM,（,（ClusterSystemManagement）,CSM是IBM公司開(kāi),發(fā),發(fā)，專,門,門用于,集,集群系,統(tǒng),統(tǒng)管理,的,的中間,件,件，在Cluster1350解決方,案,案集成,。,。,CSM的設(shè)計(jì),思,思想與,體,體系結(jié),構(gòu),構(gòu)來(lái)自PSSP (IBMParallelSystem SupportProgramsfor AIX)與其它,一,一些開(kāi),源,源的集,群,群管理,軟,軟件。,還,還有一,些,些中間,件,件及技,術(shù),術(shù)，雖,然,然不直,接,接為用,戶,戶服務(wù),，,，但構(gòu),成,成了CSM的不可,或,或缺的,基,基礎(chǔ)，,包,包括RMC、SRC、RSCT等。,,,,CSM,,,,Cluster1350系,統(tǒng),統(tǒng)管理,整個(gè)集,群,群由單,一,一結(jié)點(diǎn),控,控制,所有結(jié),點(diǎn),點(diǎn)的,開(kāi)機(jī)、,關(guān),關(guān)機(jī)、,狀,狀態(tài)查,詢,詢,顯示遠(yuǎn),程,程控制,臺(tái),臺(tái),安裝操,作,作系統(tǒng),升級(jí)(安裝)各結(jié)點(diǎn),系,系統(tǒng)及,應(yīng),應(yīng)用軟,件,件,。。。,一個(gè)完,整,整的集,群,群只需,一,一套外,置,置輸入/輸出設(shè),備,備(鍵盤、,鼠,鼠標(biāo)、,顯,顯示器),,,,Linux,集,集群上,可,可用的,任,任務(wù)調(diào),度,度系統(tǒng),Mosix（Multicomputer OperatingSystemfor UnIX）,可以自,動(dòng),動(dòng)完成,節(jié),節(jié)點(diǎn)間,進(jìn),進(jìn)程遷,移,移,需要重,新,新編譯Linux內(nèi)核,對(duì)用戶,來(lái),來(lái)說(shuō)是,透,透明的,PBS（PortableBatchSystem）,由NASA的Ames研究中,心,心開(kāi)發(fā),為了達(dá),到,到集群,系,系統(tǒng)整,體,體上的,負(fù),負(fù)載平,衡,衡，對(duì),各,各個(gè)節(jié),點(diǎn),點(diǎn)上的,任,任務(wù)進(jìn),行,行調(diào)度,，,，但不,進(jìn),進(jìn)行節(jié),點(diǎn),點(diǎn)間任,務(wù),務(wù)遷移,不需要,重,重新編,譯,譯內(nèi)核,,,,集群上,的,的應(yīng)用,程,程序（,計(jì),計(jì)算）,開(kāi),開(kāi)發(fā),適于開(kāi),發(fā),發(fā)基于,消,消息傳,遞,遞的并,行,行應(yīng)用,程,程序,可以使,用,用PVM,/,/MPI,步驟：,配置并,行,行計(jì)算,的,的編譯,與,與運(yùn)行,環(huán),環(huán)境,主要是rsh,/,/ssh,設(shè)計(jì)、,編,編寫、,編,編譯程,序,序,使用PVM,/,/MPI提供的,程,程序庫(kù),及,及編譯,環(huán),環(huán)境,部署應(yīng),用,用程序,ftp、rcp、scp、CSM、NFS、GPFS等方式,運(yùn)行程,序,序,,,,配置高,可,可用集,群,群,最大程,度,度地減,少,少服務(wù),中,中斷，,而,而不是,容,容錯(cuò)。,Hearbeat,LVS（LinuxVirtual Sever）,IBM的Tivoli和WebSphere系列軟,件,件,……,,,,,Heartbeat,集,集群,,,,LVS,集,集群,,,,集群在,虛,虛擬天,文,文臺(tái)中,的,的角色,高性能,計(jì),計(jì)算,構(gòu)成虛,擬,擬天文,臺(tái),臺(tái)網(wǎng)格,環(huán),環(huán)境中,強(qiáng),強(qiáng)有力,的,的計(jì)算,資,資源,高可用,服,服務(wù),在網(wǎng)格,環(huán),環(huán)境中,提,提供穩(wěn),定,定、可,靠,靠的數(shù),據(jù),據(jù)、計(jì),算,算、調(diào),度,度等服,務(wù),務(wù),,,,網(wǎng)格計(jì),算,算,“Resourcesharing &coordinatedproblemsolving in dynamic,,,, multi-institutionalvirtualorganizations”,,,,,,OnDemand,,,,理想的,網(wǎng),網(wǎng)格,,,,理想的,網(wǎng),網(wǎng)格,,,,Thepicture above describesa DataGrid testbedwith three sitesandaCertification Authority.Forspacereasons wedonotshowallthemachinesofeachsite.,Theuserrequestsa certificatetotheCertificateAuthoritywebfront,-,-end.,,ThecertificateisproducedandsignedbytheCertificateServer.,,Theusergetsthecertificate,.,.,,Nowthattheuserhashis/hercertificateinstalledonhis/herUser Interface,he/shecansubmithis/herjobrequests.,,Aftercreatingaproxyprocess withtemporary credentials(“grid-proxy-init”command),theusersubmits his/herjobrequest totheResourceBroker,.,.,Submitted,TheResourceBrokerqueriestheReplicaCatalogandInformationIndextofind suitable resources(storagespace,dataandcomputing power).,Waiting,,TheResourceBrokerselectstheresources.,,Ready,TheResourceBrokersubmitsthejobtotheselectedComputingElement(s),.,.,,Scheduled,TheComputingElement deliversthejobtoitsWorker Node(s),,,,whichwilldotherealwork.,Done,,OutputReady,TheoutputismovedtotheResourceBroker,,,Theusergets his/heroutput,,Cleared,,網(wǎng)格計(jì),算,算環(huán)境,示,示例,Grid,,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,,LAN,Site A,Site B,Site C,UI/API,Grid,UI/API,Grid,,LAN,,,,結(jié)束語(yǔ),虛擬天,文,文臺(tái)將,構(gòu),構(gòu)筑于,網(wǎng),網(wǎng)格環(huán),境,境之上,集群將,構(gòu),構(gòu)成網(wǎng),格,格環(huán)境,中,中強(qiáng)有,力,力的計(jì),算,算與服,務(wù),務(wù)支撐,平,平臺(tái),并行計(jì),算,算將為,具,具體事,務(wù),務(wù)處理,提,提供技,術(shù),術(shù)與手,段,段上支,持,持,,,,Thanks,!,!,,,,