《并行計(jì)算概述》PPT課件

單擊此處編輯母版文本樣式,,第二級(jí),,第三級(jí),,第四級(jí),,第五級(jí),,*,并行計(jì)算基礎(chǔ)知識(shí),*,單擊此處編輯母版標(biāo)題樣式,,,,,單擊此處編輯母版文本樣式,,第二級(jí),,第三級(jí),,第四級(jí),,第五級(jí),,單擊此處編輯母版標(biāo)題樣式,,*,并行計(jì)算基礎(chǔ)知識(shí),*,2024/10/5,并行計(jì)算,概述,1,并行計(jì)算概述,,,安俊秀,,軟件工程學(xué)院,,并行計(jì)算實(shí)驗(yàn)室,6412,,云計(jì)算云搜索中心（成都,）,,如何滿足不斷增長(zhǎng)的計(jì)算力需求？,用速度更快的硬件，也就是減少每一條指令所需時(shí)間,,,優(yōu)化算法（或者優(yōu)化編譯）,,,用多個(gè)處理機(jī),(,器,),同時(shí)解決一個(gè)問題,,并行計(jì)算,2,并行計(jì)算,概述,并行計(jì)算概述,3,并行,:,古老的思想,!,“...,并行計(jì)算并不是什么新的思想,,,只是將它擴(kuò)展應(yīng)用于計(jì)算機(jī)而已”,.,作者也不認(rèn)為這種擴(kuò)展應(yīng)用會(huì)存在什么無(wú)法克服的困難,.,但也不要期待有效的并行編程方法與技術(shù)能夠在一夜之間誕生,.,期間還需要有許多的工作和實(shí)驗(yàn)要做,.,畢竟,,,今天的編程技術(shù),(,串行,),是若干年來艱苦的探索才取得的,.,現(xiàn)在編程工作似乎成了一種令人單調(diào)乏味的工作,,,事實(shí)上,,,并行編程的出現(xiàn)將會(huì)使重新恢復(fù)編程工作者們的探索精神,...”,(,Gill, S. (1958),,“Parallel Programming”,,The Computer Journal, vol. 1, April, pp. 2-10.),Parallel Programming with MPI,,by Peter Pacheco(2000),并行計(jì)算--高性能計(jì)算,,并行計(jì)算,(Parallel Computing,）,,,高端計(jì)算,(High-end Parallel Computing),,,高性能計(jì)算,(High Performance Computing),,,超級(jí)計(jì)算,(Super Computing),,,任何高性能計(jì)算和超級(jí)計(jì)算都離不開使用并行技術(shù),,,The simultaneous use of more than one computer to solve a problem.,,由,由運(yùn)行在多個(gè)部件上的小任務(wù)合作來求解一個(gè)規(guī)模很大的計(jì)算問題的一種方法,4,什么是高性能并行計(jì)算機(jī),由,多個(gè)計(jì)算單元,組成，,運(yùn)算速度快,、,存儲(chǔ)容量大,、,可靠性高,的計(jì)算機(jī)系統(tǒng)。,也稱為：巨型計(jì)算機(jī)、超級(jí)計(jì)算機(jī),,,目前,任何高性能計(jì)算和超級(jí)計(jì)算都離不開使用并行技術(shù),，所以高性能計(jì)算機(jī)肯定是并行計(jì)算機(jī)。,5,并行計(jì)算的概念,6,串行計(jì)算與并行計(jì)算,并行計(jì)算,概述,7,為什么要做并行計(jì)算？ －－應(yīng)用需求,,8,9,計(jì)算科學(xué),與傳統(tǒng)的兩種科學(xué)，即,理論科學(xué),和,實(shí)驗(yàn)科學(xué),，并列被認(rèn)為是人類認(rèn)識(shí)自然的三大支柱，他們彼此相輔相成地推動(dòng)科學(xué)發(fā)展與社會(huì)進(jìn)步。在許多情況下，或者是理論模型復(fù)雜甚至理論尚未建立，或者實(shí)驗(yàn)費(fèi)用昂貴甚至無(wú)法進(jìn)行時(shí)，計(jì)算就成了求解問題的唯一或主要的手段。,為什么要做并行計(jì)算？ －－應(yīng)用需求,10,為什么要做并行計(jì)算？,,人類對(duì)計(jì)算及性能的要求是無(wú)止境的,,從系統(tǒng)的角度,：集成系統(tǒng)資源，以滿足不斷增長(zhǎng)的對(duì)性能和功能的要求,,從應(yīng)用的角度,：適當(dāng)分解應(yīng)用，以實(shí)現(xiàn),更大規(guī)模,或,更細(xì)致,的計(jì)算,11,為什么要做并行計(jì)算？,,問題,:,科學(xué)和工程問題的數(shù)值模擬與仿真,,計(jì)算密集,,數(shù)據(jù)密集,,網(wǎng)絡(luò)密集,,三種混合,,,要求,:,在合理的時(shí)限內(nèi)完成計(jì)算任務(wù),,秒級(jí) 制造業(yè),,分鐘級(jí) 短時(shí)天氣預(yù)報(bào),(,當(dāng)天,),,小時(shí)級(jí) 中期天氣預(yù)報(bào),(3~10,日,),,盡可能快 長(zhǎng)期天氣預(yù)報(bào),(,氣候,),,可計(jì)算 湍流模擬,12,13,其發(fā)展歷程可以簡(jiǎn)單的分為兩個(gè)時(shí)代,專用時(shí)代,,包括向量機(jī)，,MPP,系統(tǒng)，,SGI NUMA,系統(tǒng)，,SUN,大型,SMP,系統(tǒng)，也包括我國(guó)的神威，銀河，曙光,1000,等。之所以稱為“專用”，并不是說它們只能運(yùn)行某種應(yīng)用，是指它們的組成部件是專門設(shè)計(jì)的，它們的,CPU,板，內(nèi)存板，,I/O,板，甚至操作系統(tǒng)，都是不能在其它系統(tǒng)中使用的。由于技術(shù)上桌面系統(tǒng)與高端系統(tǒng)的巨大差異，和用戶群窄小。,,,普及時(shí)代,高性能計(jì)算機(jī)價(jià)格下降，應(yīng)用門檻降低，應(yīng)用開始普及。兩個(gè)技術(shù)趨勢(shì)起到重要作用。,商品化趨勢(shì),使得大量生產(chǎn)的商品部件接近了高性能計(jì)算機(jī)專有部件,標(biāo)準(zhǔn)化趨勢(shì),使得這些部件之間能夠集成一個(gè)系統(tǒng)中，其中,X86,處理器、以太網(wǎng)、內(nèi)存部件、,Linux,都起到?jīng)Q定性作用。,機(jī)群系統(tǒng),是高性能計(jì)算機(jī)的一種，它的技術(shù)基礎(chǔ)和工業(yè)基礎(chǔ)都是商品化和標(biāo)準(zhǔn)化。,14,Top500中的超級(jí)計(jì)算機(jī),,地球模擬器,,ASCI Q,,ASCI White,,,15,Earth Simulator,,Earth simulator center,,Nec,,Rmax:35.86Tflops,,8*8*640,Earth Simulator,,,Earth Simulator,,ASCI Q,,1024 nodes,,8cpu/node,,10240Gflops,,7727Gflops,ASCI white,,LLNL IBM SP power3 Rmax 7.22Tflops,曙光,1000,曙光,1000,有,36,個(gè)結(jié)點(diǎn)機(jī),;,,峰值計(jì)算速度為浮點(diǎn),25.6,億次,/,秒，實(shí)際達(dá)到,15.8,億次,/,秒；,,內(nèi)存容量為,1024,兆字節(jié)；,,基于,Wormhole,機(jī)制的二維,Mesh,通訊網(wǎng)，結(jié)點(diǎn)與網(wǎng)絡(luò)通訊總帶寬為,2.88GB/,秒；,,采用基于,UNIX,的并行操作系統(tǒng)和并行文件系統(tǒng)；,并行計(jì)算機(jī),-CRAY,System Name Jaguar 1059000 GFlops,,System Family Cray XT,,Operating System CNL,,Interconnect XT4 Internal Interconnect,,Processor AMD Opteron Quad Core 2300 MHz (9.2 GFlops),并行計(jì)算機(jī),-IBM,System Name Roadrunner 1105000 GFlops,,System Family IBM Cluster,,Operating System Linux,,Interconnect Infiniband,,Processor PowerXCell 8i 3200 MHz (12.8 GFlops),并行計(jì)算機(jī),-DAWNING,System Name Dawning 5000A 180600 GFlops,,System Family Dawning Cluster,,Operating System Windows HPC server 2008 and SUSE,,Interconnect Infiniband DDR,,Processor AMD Opteron Quad Core 1900 MHz (7.6 GFlops),并行計(jì)算機(jī)所用的處理器,AMD Opteron,,Xeon Nocona,,Intel Itanium,,Compaq Alpha,,HP PA-RISC,,Sun UltraSPARC,,IBM POWER5+,POWER6,,IBM BlueGene processor,,MIPS R10000,,龍芯,最新TOP500cpu分布,,并行機(jī)處理器,-AMD,PERFORMANCE 1-WAY,PERFORMANCE 2-WAY,PERFORMANCE 4-WAY AND 8-WAY,AMD Opteron? 200 Series & 2000 Series Processors,,Designed for 2-way Server / Workstation solutions,,First native x86 dual-core solution for 2-way computing,,,AMD Opteron? 100 Series & 1000 Series Processors,,Designed for 1-way Server / Workstation solutions,,First native x86 dual-core solution for 1-way computing,,AMD Opteron? 800 Series & 8000 Series Processors,,Designed for 4-way and 8-way Server solutions,,First native x86 dual-core solution for 4-way / 8-way computing,AMD Opteron? Processors for Servers and Workstations,并行機(jī)處理器,-Intel,數(shù)據(jù)要求苛刻,雙核英特爾,®,,至強(qiáng),®,7000,系列處理器,,,最大限度提高性能、可靠性和可擴(kuò)展性,雙核英特爾,®,,安騰,®,,處理器,9000,,大型機(jī)級(jí)服務(wù)器,,,具有頂級(jí)的靈活性和可靠性,RISC,與大型機(jī)現(xiàn)代化,基本 計(jì)算,四核英特爾,®,,至強(qiáng),®,3000,系列處理器,經(jīng)濟(jì)、可靠的單路服務(wù)器,高密度 基礎(chǔ)設(shè)施,四核英特爾,®,,至強(qiáng),®,5000,系列處理器,利用四核處理最大限度提高性能密度,RISC,與大型機(jī)現(xiàn)代化,并行機(jī)處理器,-,龍芯,Godson,意思為“教子”，相對(duì)于此的另一個(gè)詞叫教父（,Godfather,）,