并行計算、集群與網(wǎng)格技術在虛擬天文臺中應用探討

單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED SITE 3,Graphics by Aldo Stentella,并行計算、集群與網(wǎng)格技術在虛擬天文臺中應用探討,內容大綱,并行計算,技,技術,集群及相,關,關技術,網(wǎng)格計算,如何滿足,不,不斷增長,的,的計算力,需,需求？,用速度更,快,快的硬件,，,，也就是,減,減少每一,條,條指令所,需,需時間,優(yōu)化算法,（,（或者優(yōu),化,化編譯）,用多個處,理,理機,(,器,),同時解決,一,一個問題,并行計算,串行計算,與,與并行計,算,算,并行的層,次,次,程序級并,行,行,子程序級,并,并行,語句級并,行,行,操作級并,行,行,微操作級,并,并行,并行粒度,粗,細,共享內存,與,與分布式,內,內存,P=,處理器,M=,內存,S=,網(wǎng)絡交換,設,設備,P,M,P,P,M,P,M,S,局部共享,內,內存,S,P,M,P,P,M,P,Node,Node,實現(xiàn)并行,計,計算的常,見,見方法,1,、多線,程,程程序,2,、基于,OpenMP,的并行,程,程序,3,、基于,消,消息傳,遞,遞的并,行,行程序,PVM,MPI,XPVM,XPVM,并行計,算,算環(huán)境,簡,簡介,PVP,（,ParallelVectorProcessor,）,使用專,用,用向量,處,處理器,銀河,I,，,CrayT90,，,NEC,的地球,模,模擬器,。,。,SMP,（,SymmetricMultiprocessor,）,同一主,板,板上多,個,個處理,器,器可以,等,等同訪,問,問共享,存,存儲器,、,、,I/O,設備和,操,操作系,統(tǒng),統(tǒng)服務,IBMRS6000,。,Cluster,由很多,連,連接在,一,一起的,獨,獨立計,算,算機組,成,成，像,一,一個單,獨,獨的集,成,成的計,算,算機一,樣,樣協(xié)同,工,工作,集群的,節(jié),節(jié)點可,以,以是,SMP,（或者,PVP,）,Cluster1350,，藍色,基,基因。,。,。,在虛擬,天,天文臺,中,中的應,用,用情形,處理實,時,時性要,求,求很高,的,的大量,觀,觀測數(shù),據(jù),據(jù),觀測數(shù),據(jù),據(jù)的并,行,行可視,化,化處理,并行數(shù),據(jù),據(jù)挖掘,并行數(shù),據(jù),據(jù)服務,提,提供,。,。,。,集群技,術,術,集群概,念,念最早,由,由,IBM,于,20,世紀,60,年代提,出,出,集群一,般,般由高,速,速網(wǎng)絡,連,連接起,來,來的高,性,性能工,作,作站或,PC,機組成,。,。集群,在,在工作,中,中像一,個,個統(tǒng)一,的,的整合,資,資源，,所,所有節(jié),點,點使用,單,單一界,面,面。,集群,NotaClusterCluster,集群計,算,算系統(tǒng),體,體系結,構,構,集群相,關,關技術,網(wǎng)絡層,網(wǎng)絡互,聯(lián),聯(lián)結構,、,、通信,協(xié),協(xié)議、,信,信號技,術,術等。,節(jié)點機,及,及操作,系,系統(tǒng)層,高性能,PC,或工作,站,站、分,層,層或基,于,于微內,核,核的操,作,作系統(tǒng),等,等。,集群系,統(tǒng),統(tǒng)管理,層,層,資源管,理,理、資,源,源調度,、,、負載,平,平衡、,并,并行,I/O,、安全,等,等。,應用層,并行程,序,序開發(fā),環(huán),環(huán)境、,串,串行應,用,用、并,行,行應用,等,等。,Cluster1350,Cluster1350,是,IBM,公司目,標,標定位,于,于高性,能,能計算,市,市場的,Linux,集群，,包,包括一,套,套完整,的,的解決,方,方案，,集,集成了,眾,眾多,IBM,與非,IBM,的先進,的,的軟硬,件,件技術,，,，有其,特,特有的,技,技術優(yōu),勢,勢與強,大,大的服,務,務支持,。,。,Cluster1350,邏輯結,構,構,Cluster1350,節(jié)點硬,件,件、網(wǎng),絡,絡和操,作,作系統(tǒng),(,天津大,學,學,IBM,中心）,管理節(jié),點,點,IBMeServerxSeries 345(1),計算節(jié),點,點,IBMeServerxSeries 335(16),網(wǎng)絡,千兆以,太,太網(wǎng),操作系,統(tǒng),統(tǒng),RedHat Linux 7.3,CSM,（,（ClusterSystemManagement）,CSM,是,IBM,公司開,發(fā),發(fā)，專,門,門用于,集,集群系,統(tǒng),統(tǒng)管理,的,的中間,件,件，在,Cluster1350,解決方,案,案集成,。,。,CSM,的設計,思,思想與,體,體系結,構,構來自,PSSP(IBMParallelSystem SupportProgramsfor AIX),與其它,一,一些開,源,源的集,群,群管理,軟,軟件。,還,還有一,些,些中間,件,件及技,術,術，雖,然,然不直,接,接為用,戶,戶服務,，,，但構,成,成了,CSM,的不可,或,或缺的,基,基礎，,包,包括,RMC,、,SRC,、,RSCT,等。,CSM,Cluster1350系,統(tǒng),統(tǒng)管理,整個集,群,群由單,一,一結點,控,控制,所有結,點,點的,開機、,關,關機、,狀,狀態(tài)查,詢,詢,顯示遠,程,程控制,臺,臺,安裝操,作,作系統(tǒng),升級,(,安裝,),各結點,系,系統(tǒng)及,應,應用軟,件,件,。,一個完,整,整的集,群,群只需,一,一套外,置,置輸入,/,輸出設,備,備,(,鍵盤、,鼠,鼠標、,顯,顯示器,),Linux,集,集群上,可,可用的,任,任務調,度,度系統(tǒng),Mosix,（,Multicomputer OperatingSystemfor UnIX,）,可以自,動,動完成,節(jié),節(jié)點間,進,進程遷,移,移,需要重,新,新編譯,Linux,內核,對用戶,來,來說是,透,透明的,PBS,（,PortableBatchSystem,）,由,NASA,的,Ames,研究中心開,發(fā),發(fā),為了達到集,群,群系統(tǒng)整體,上,上的負載平,衡,衡，對各個,節(jié),節(jié)點上的任,務,務進行調度,，,，但不進行,節(jié),節(jié)點間任務,遷,遷移,不需要重新,編,編譯內核,集群上的應,用,用程序（計,算,算）開發(fā),適于開發(fā)基,于,于消息傳遞,的,的并行應用,程,程序,可以使用,PVM/MPI,步驟：,配置并行計,算,算的編譯與,運,運行環(huán)境,主要是,rsh/ssh,設計、編寫,、,、編譯程序,使用,PVM/MPI,提供的程序,庫,庫及編譯環(huán),境,境,部署應用程,序,序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,運行程序,配置高可用,集,集群,最大程度地,減,減少服務中,斷,斷，而不是,容,容錯。,Hearbeat,LVS,（,LinuxVirtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列軟件,Heartbeat,集,集群,LVS集群,集群在虛擬,天,天文臺中的,角,角色,高性能計算,構成虛擬天,文,文臺網(wǎng)格環(huán),境,境中強有力,的,的計算資源,高可用服務,在網(wǎng)格環(huán)境,中,中提供穩(wěn)定,、,、可靠的數(shù),據(jù),據(jù)、計算、,調,調度等服務,網(wǎng)格計算,“,Resource sharing&coordinatedproblem solving indynamic,multi-institutional virtual organizations,”,”,On Demand,理想的網(wǎng)格,理想的網(wǎng)格,The picture above describes aDataGrid testbed with three sites and aCertification Authority.For spacereasons wedo not show all themachinesof each site.,The user requests acertificate tothe CertificateAuthoritywebfront-end.,The certificateis produced and signed by theCertificate Server.,The user gets the certificate.,Now that the user has his/hercertificate installed onhis/her User Interface,he/shecansubmit his/herjob requests.,Aftercreatinga proxy processwithtemporarycredentials(“grid-proxy-init,”,”command),theusersubmits his/her jobrequest to theResourceBroker.,Submitted,The Resource Brokerqueries the ReplicaCatalog and Information Indexto find suitable resources(storagespace,data and computing power).,Waiting,The Resource Brokerselects the resources.,Ready,The Resource Brokersubmits the jobto the selected Computing Element(s).,Scheduled,The Computing Element deliversthejob to itsWorker Node(s),which will dotherealwork.,Done,Output Ready,The outputis movedto the ResourceBroker,The user gets his/her output,Cleared,網(wǎng)格計算環(huán),境,境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,SiteA,SiteB,SiteC,UI/API,Grid,UI/API,Grid,LAN,結束語,虛擬天文臺,將,將構筑于網(wǎng),格,格環(huán)境之上,集群將構成,網(wǎng),網(wǎng)格環(huán)境中,強,強有力的計,算,算與服務支,撐,撐平臺,并行計算將,為,為具體事務,處,處理提供技,術,術與手段上,支,支持,Thanks!,