《并行計算概述》PPT課件

《《并行計算概述》PPT課件》由會員分享，可在線閱讀，更多相關(guān)《《并行計算概述》PPT課件（84頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、并行計算,,第一級,,第二級,,第三級,,第一級,,第二級,,第三級,,國家高性能計算中心（合肥）,*,*,并行計算,——,結(jié)構(gòu)?算法?編程,并行計算——結(jié)構(gòu),?,算法,?,編程,第一篇 并行計算的基礎(chǔ),,第一章 并行計算機系統(tǒng)及其結(jié)構(gòu)模型,,第二章 當代并行機系統(tǒng)：,SMP、MPP,和,Cluster,,第三章 并行計算性能評測,,,第二篇 并行算法的設(shè)計,,第四章 并行算法的設(shè)計基礎(chǔ),,第五章 并行算法的一般設(shè)計方法,,第六章 并行算法的基本設(shè)計技術(shù),,第七章 并行算法的一般設(shè)計過程,2024/10/7,2,,國家高性能計算中心（合肥）,并行計算——結(jié)構(gòu),?,算法,?,編程,第三篇 并行數(shù)

2、值算法,,第八章 基本通信操作,,第九章 稠密矩陣運算,,第十章 線性方程組的求解,,第十一章 快速傅里葉變換,,,第四篇 并行程序設(shè)計,,第十二章 并行程序設(shè)計基礎(chǔ),,第十三章 并行程序設(shè)計模型和共享存儲系統(tǒng)編程,,第十四章 分布存儲系統(tǒng)并行編程,,第十五章 并行程序設(shè)計環(huán)境與工具,2024/10/7,3,,國家高性能計算中心（合肥）,第一章并行計算機系統(tǒng)及結(jié)構(gòu)模型,,1.1 并行計算,,1.1.1,并行計算與計算科學,,1.1.2 當代科學與工程問題的計算需求,,1.2,并行計算機系統(tǒng)互連,,1.2.1 系統(tǒng)互連,,1.2.2 靜態(tài)互聯(lián)網(wǎng)絡,,1.2.3 動態(tài)互連網(wǎng)絡,,1.2.4,標準

3、互聯(lián)網(wǎng)絡,,1.3 并行計算機系統(tǒng)結(jié)構(gòu),,1.3.1,并行計算機結(jié)構(gòu)模型,,1.3.2 并行計算機訪存模型,2024/10/7,4,,國家高性能計算中心（合肥）,并行計算,,并行計算：并行機上所作的計算，又稱高性能計算或超級計算。,,三大學科：計算科學，理論科學和實驗科學,,所有的學科都轉(zhuǎn)向定量化和精確化。,,計算科學是一個交叉學科，用計算的方法來解決應用問題。,,,適用于理論模型復雜或尚未建立，實驗費用昂貴或無法進行,,計算科學：計算物理、計算化學、計算生物學等,,科學與工程問題的需求：氣象預報、油藏模擬、核武器數(shù)值模擬、航天器設(shè)計、基因測序等。,,需求類型：計算密集、數(shù)據(jù)密集、網(wǎng)絡密集。,

4、2024/10/7,5,,國家高性能計算中心（合肥）,2024/10/7,6,,國家高性能計算中心（合肥）,2024/10/7,7,,國家高性能計算中心（合肥）,并行計算,,,美國,HPCC,計劃：高性能計算和通信，重大挑戰(zhàn)性課題，3,T,性能,,美國,Petaflops,研究項目：,Pflop/s,。,,美國,ASCI,計劃：加速戰(zhàn)略計算創(chuàng)新，核武器數(shù)值模擬。高性能,2024/10/7,8,,國家高性能計算中心（合肥）,2024/10/7,9,,國家高性能計算中心（合肥）,2024/10/7,10,,國家高性能計算中心（合肥）,2024/10/7,11,,國家高性能計算中心（合肥）,2024

5、/10/7,12,,國家高性能計算中心（合肥）,2024/10/7,13,,國家高性能計算中心（合肥）,高性能計算機,,Intel（Option Red)： 1Tflops,1997,Pentium Pro,,SGI(Option Blue Mountain): 3Tflops,1998,MIPS10000,,IBM(Option White): 7Tflops,Top4,2001,Power3,,日本,Earth Simulator: 35Tflops,Top1,2002,VP,,Hewlett-Packard ASCI Q： 7Tflops ,Top2,3,200

6、2, Alpha Server,,中國聯(lián)想： 1,Tflops,Top43,2002,,,2024/10/7,14,,國家高性能計算中心（合肥）,系統(tǒng)互連,,不同帶寬與距離的互連技術(shù): 總線、,SAN、LAN、MAN、WAN,2024/10/7,15,,國家高性能計算中心（合肥）,局部總線、,I/O,總線、,SAN,和,LAN,,2024/10/7,16,,國家高性能計算中心（合肥）,網(wǎng)絡性能指標,,節(jié)點度（,Node Degree）：,射入或射出一個節(jié)點的邊數(shù)。在單向網(wǎng)絡中，入射和出射邊之和稱為節(jié)點度。,,網(wǎng)絡直徑（,Network Diameter）：,網(wǎng)絡中任何兩個節(jié)點

7、之間的最長距離，即最大路徑數(shù)。,,對剖寬度（,Bisection Width） ：,對分網(wǎng)絡各半所必須移去的最少邊數(shù),,對剖帶寬（,Bisection Bandwidth）:,每秒鐘內(nèi)，在最小的對剖平面上通過所有連線的最大信息位（或字節(jié)）數(shù),,如果從任一節(jié)點觀看網(wǎng)絡都一樣，則稱網(wǎng)絡為對稱的（,Symmetry）,2024/10/7,17,,國家高性能計算中心（合肥）,靜態(tài)互連網(wǎng)絡 與動態(tài)互連網(wǎng)絡,,靜態(tài)互連網(wǎng)絡：處理單元間有著固定連接的一類網(wǎng)絡，在程序執(zhí)行期間，這種點到點的鏈接保持不變；典型的靜態(tài)網(wǎng)絡有一維線性陣列、二維網(wǎng)孔、樹連接、超立方網(wǎng)絡、立方環(huán)、洗牌交換網(wǎng)、蝶形網(wǎng)絡等,,動態(tài)網(wǎng)絡：用交

8、換開關(guān)構(gòu)成的，可按應用程序的要求動態(tài)地改變連接組態(tài)；典型的動態(tài)網(wǎng)絡包括總線、交叉開關(guān)和多級互連網(wǎng)絡等。,,2024/10/7,18,,國家高性能計算中心（合肥）,靜態(tài)互連網(wǎng)絡（1）,,一維線性陣列（1-,D Linear Array）：,,并行機中最簡單、最基本的互連方式，,,每個節(jié)點只與其左、右近鄰相連，也叫二近鄰連接，,,N,個節(jié)點用,N-1,條邊串接之，內(nèi)節(jié)點度為2，直徑為,N-1，,對剖寬度為1,,當首、尾節(jié)點相連時可構(gòu)成循環(huán)移位器，在拓撲結(jié)構(gòu)上等同于環(huán)，環(huán)可以是單向的或雙向的，其節(jié)點度恒為2，直徑或為,,（雙向環(huán)）或為,N-1（,單向環(huán)），對剖寬度為2,2024/10/7,19,,國

9、家高性能計算中心（合肥）,靜態(tài)互連網(wǎng)絡（2）,,二維網(wǎng)孔（2-,D Mesh）：,,每個節(jié)點只與其上、下、左、右的近鄰相連（邊界節(jié)點除外），節(jié)點度為4，網(wǎng)絡直徑為 ，對剖寬度為,,在垂直方向上帶環(huán)繞，水平方向呈蛇狀，就變成,Illiac,網(wǎng)孔了，節(jié)點度恒為4，網(wǎng)絡直徑為 ，而對剖寬度為,,垂直和水平方向均帶環(huán)繞，則變成了2-,D,環(huán)繞（2-,D,Torus,），,節(jié)點度恒為4，網(wǎng)絡直徑為 ，對剖寬度為,2024/10/7,20,,國家高性能計算中心（合肥）,靜態(tài)互連網(wǎng)絡（3）,,二叉樹：,,除了根、葉節(jié)點，每個內(nèi)節(jié)點只與其父節(jié)點和兩個子節(jié)

10、點相連。,,節(jié)點度為3，對剖寬度為1，而樹的直徑為,,如果盡量增大節(jié)點度為， 則直徑縮小為2，此時就變成了星形網(wǎng)絡，其對剖寬度為,,傳統(tǒng)二叉樹的主要問題是根易成為通信瓶頸。胖樹節(jié)點間的通路自葉向根逐漸變寬。,2024/10/7,21,,國家高性能計算中心（合肥）,靜態(tài)互連網(wǎng)絡（4）,,超立方 ：,,一個,n-,立方由 個頂點組成，3-立方如圖(,a),所示；4-立方如圖(,b),所示，由兩個3-立方的對應頂點連接而成。,,n-,立方的節(jié)點度為,n，,網(wǎng)絡直徑也是,n ，,而對剖寬度為 。,,如果將3-立方的每個頂點代之以一個環(huán)就構(gòu)成了如圖(,d),所示的3-立

11、方環(huán)，此時每個頂點的度為3，而不像超立方那樣節(jié)點度為,n。,2024/10/7,22,,國家高性能計算中心（合肥）,嵌入,,將網(wǎng)絡中的各節(jié)點映射到另一個網(wǎng)絡中去,,用,膨脹,（,Dilation,）系數(shù)來描述嵌入的質(zhì)量，它是指被嵌入網(wǎng)絡中的一條鏈路在所要嵌入的網(wǎng)絡中對應所需的最大鏈路數(shù),,如果該系數(shù)為,1,，則稱為完美嵌入。,,,環(huán)網(wǎng)可完美嵌入到,2-D,環(huán)繞網(wǎng)中,,超立方網(wǎng)可完美嵌入到,2,－,D,環(huán)繞網(wǎng)中,,,2024/10/7,23,,國家高性能計算中心（合肥）,嵌入,,,2024/10/7,24,,國家高性能計算中心（合肥）,網(wǎng)絡名稱,網(wǎng)絡規(guī)模,節(jié)點度,網(wǎng)絡直徑,對剖寬度,對稱,鏈路數(shù)

12、,線性陣列,,2,,1,非,,環(huán)形,,2,（雙向）,2,是,,2-,D,網(wǎng)孔,,4,,,非,,Illiac,網(wǎng)孔,,4,,,非,,2-,D,環(huán)繞,,4,,,是,,二叉樹,,3,,1,非,,星形,,,2,,非,,超立方,,,n,n,,是,,立方環(huán),,3,,,是,,靜態(tài)互連網(wǎng)絡特性比較,,2024/10/7,25,,國家高性能計算中心（合肥）,動態(tài)互連網(wǎng)絡 (1),,總線：,PCI、VME、Multics、Sbus、MicroChannel,,,多處理機總線系統(tǒng)的主要問題包括總線仲裁、中斷處理、協(xié)議轉(zhuǎn)換、快速同步、高速緩存一致性協(xié)議、分事務、總線橋和層次總線擴展等,2024/10/7,26,,國家

13、高性能計算中心（合肥）,動態(tài)互連網(wǎng)絡 （2）,,交叉開關(guān)（,Crossbar）：,,單級交換網(wǎng)絡，可為每個端口提供更高的帶寬。象電話交換機一樣，交叉點開關(guān)可由程序控制動態(tài)設(shè)置其處于“開”或“關(guān)”狀態(tài)，而能提供所有（源、目的）對之間的動態(tài)連接。,,交叉開關(guān)一般有兩種使用方式：一種是用于對稱的多處理機或多計算機機群中的處理器間的通信；另一種是用于,SMP,服務器或向量超級計算機中處理器和存儲器之間的存取。,2024/10/7,27,,國家高性能計算中心（合肥）,動態(tài)互聯(lián)網(wǎng)絡 （3）,,單級交叉開關(guān)級聯(lián)起來形成多級互連網(wǎng)絡,MIN（Multistage Interconnection Network

14、）,,,2024/10/7,28,,國家高性能計算中心（合肥）,動態(tài)互連網(wǎng)絡（4）,,交換開關(guān)模塊：,,,一個交換開關(guān)模塊有,n,個輸入和,n,個輸出，每個輸入可連接到任意輸出端口，但只允許一對一或一對多的映射，不允許多對一的映射，因為這將發(fā)生輸出沖突,,級間互連（,Interstage,Connection ）：,,均勻洗牌、蝶網(wǎng)、多路均勻洗牌、交叉開關(guān)、立方連接,,n,輸入的,Ω,網(wǎng)絡需要 級 開關(guān)，在,Ilinois,大學的,Cedar[2],多處理機系統(tǒng)中采用了,Ω,網(wǎng)絡,,Cray Y/MP,多級網(wǎng)絡，該網(wǎng)絡用來支持8個向量處理器和256個存儲器模塊之間的

15、數(shù)據(jù)傳輸。網(wǎng)絡能夠避免8個處理器同時進行存儲器存取時的沖突。,2024/10/7,29,,國家高性能計算中心（合肥）,動態(tài)互連網(wǎng)絡比較,,n,,節(jié)點規(guī)模,w，,數(shù)據(jù)寬度,動態(tài)互連網(wǎng)絡的復雜度和帶寬性能一覽表,,,,網(wǎng)絡特性,總線系統(tǒng),多級互連網(wǎng)絡,交叉開關(guān),硬件復雜度,,,,每個處理器帶寬,,,～,,,報道的聚集帶寬,SunFire,服務器中的,Gigaplane,總線：2.67,GB/s,IBM SP2,中的512節(jié)點的,HPS：10.24GB/s,Digital,的千兆開關(guān)：3.4,GB/s,2024/10/7,30,,國家高性能計算中心（合肥）,標準互聯(lián)網(wǎng)絡（1）,,Myrinet,:,

16、,Myrinet,是由,Myricom,公司設(shè)計的千兆位包交換網(wǎng)絡，其目的是為了構(gòu)筑計算機機群，使系統(tǒng)互連成為一種商業(yè)產(chǎn)品。,,Myrinet,是基于加州理工學院開發(fā)的多計算機和,VLSI,技術(shù)以及在南加州大學開發(fā)的,ATOMIC/LAN,技術(shù)。,Myrinet,能假設(shè)任意拓撲結(jié)構(gòu)，不必限定為開關(guān)網(wǎng)孔或任何規(guī)則的結(jié)構(gòu)。,,Myrinet,在數(shù)據(jù)鏈路層具有可變長的包格式，對每條鏈路施行流控制和錯誤控制，并使用切通選路法以及定制的可編程的主機接口。在物理層上，,Myrinet,網(wǎng)使用全雙工,SAN,鏈路，最長可達3米，峰值速率為（1.28＋1.28）,Gbps,（,目前有2.56+2.56),,M

17、yrinet,交換開關(guān) :8,12,16端口,,Myrinet,主機接口 : 32位的稱作,LANai,芯片的用戶定制的,VLSI,處理器，它帶有,Myrinet,接口、包接口、,DMA,引擎和快速靜態(tài)隨機存取存儲器,SRAM。,,140,of the November 2002 TOP500 use,Myrinet,, including 15 of the top 100,,2024/10/7,31,,國家高性能計算中心（合肥）,Myrinet,連接的,LAN/Cluster,,,2024/10/7,32,,國家高性能計算中心（合肥）,標準互連網(wǎng)絡（2,),,高性能并行接口（,HiPPI,

18、）,,Los Alamos,國家實驗室于1987年提出的一個標準，其目的是試圖統(tǒng)一來自不同產(chǎn)商生產(chǎn)的所有大型機和超級計算機的接口。在大型機和超級計算機工業(yè)界，,HiPPI,作為短距離的系統(tǒng)到系統(tǒng)以及系統(tǒng)到外設(shè)連接的高速,I/O,通道。,,1993年，,ANSI X3T9.3,委員會認可了,HiPPI,標準，它覆蓋了物理和數(shù)據(jù)鏈路層，但在這兩層之上的任何規(guī)定卻取決于用戶。,,HiPPI,是個單工的點到點的數(shù)據(jù)傳輸接口，其速率可達800,Mbps,到1.6,Gbps,。,,開發(fā)成功了一種能提供潛在的6.4,Gbps,速率，比,HiPPI,快8倍且有很低時延的超級,HiPPI,技術(shù)，,,SGI,公司

19、和,Los Alamos,國家實驗室都開發(fā)了用來構(gòu)筑速率高達25.6,Gbps,的,HiPPI,交換開關(guān)的,HiPPI,技術(shù)。,,HiPPI,通道和,HiPPI,交換開關(guān)被用在,SGI Power Challenge,服務器、,IBM 390,主機、,Cray Y/MP、C90,和,T3D/T3E,等系統(tǒng),,2024/10/7,33,,國家高性能計算中心（合肥）,使用,HiPPI,通道和開關(guān)構(gòu)筑的,LAN,主干網(wǎng),,2024/10/7,34,,國家高性能計算中心（合肥）,標準互連網(wǎng)絡（3）,,光纖通道,FC（Fiber Channel） :,,通道和網(wǎng)絡標準的集成,,光纖通道既可以是共享介質(zhì)，

20、也可以是一種交換技術(shù),,光纖通道操作速度范圍可從100到133、200、400和800,Mbps。FCSI,廠商也正在推出未來具有更高速度（1、2或4,Gbps,）,的光纖通道,,光纖通道的價值已被現(xiàn)在的某些千兆位局域網(wǎng)所證實，這些局域網(wǎng)就是基于光纖通道技術(shù)的,,連網(wǎng)拓撲結(jié)構(gòu)的靈活性是光纖通道的主要財富，它支持點到點、仲裁環(huán)及交換光纖連接,,FDDI :,,光纖分布式數(shù)據(jù)接口,FDDI（Fiber Distributed Data Interface）,,FDDI,采用雙向光纖令牌環(huán)可提供100-200,Mbps,數(shù)據(jù)傳輸速率,,FDDI,具有互連大量設(shè)備的能力,,傳統(tǒng)的,FDDI,僅以異步方

21、式操作,2024/10/7,35,,國家高性能計算中心（合肥）,雙向,FDDI,環(huán)作為主干網(wǎng),,2024/10/7,36,,國家高性能計算中心（合肥）,標準互聯(lián)網(wǎng)絡（4）,,ATM（Asynchronous Transfer Mode）:,,由成立于1991年的,ATM,論壇和,ITU,標準定義。,,ATM,是一種獨立于介質(zhì)的消息傳輸協(xié)議，它將消息段變成更短的固定長度為53字節(jié)的報元進行傳輸。,,這種技術(shù)是基于報元交換機制。,ATM,的目的是將實時和突發(fā)數(shù)據(jù)的傳輸合并成單一的網(wǎng)絡技術(shù)。,,ATM,網(wǎng)絡支持從25到51、155和622,Mbps,不同的速率，其速率越低,ATM,交換器和使用的鏈路

22、價格越低。,,2024/10/7,37,,國家高性能計算中心（合肥）,香港大學開發(fā)的,Pearl,機群,,2024/10/7,38,,國家高性能計算中心（合肥）,標準互連網(wǎng)絡（5）,,代別,,類型,,以太網(wǎng),,10,BaseT,快速以太網(wǎng),,100,BaseT,千兆位以太網(wǎng),,1,GB,引入年代,,1982,1994,1997,速度（帶寬）,,10,Mb/s,100,Mb/s,1,Gb/s,最,,大,,距,,離,UTR（,非屏蔽雙扭對）,100,m,100,m,25－100,m,,STP（,屏蔽雙扭對）,,同軸電纜,500,m,100,m,25－100,m,,多模光纖,2,Km,412,m（,

23、半雙工）,,2,Km（,全雙工）,500,m,,單模光纖,25,Km,20,Km,3,Km,主要應用領(lǐng)域,,文件共享，,,打印機共享,COW,計算，,,C/S,結(jié)構(gòu)，,,大型數(shù)據(jù)庫存取等,大型圖像文件，,,多媒體，,,因特網(wǎng)，,,內(nèi)部網(wǎng)，,,數(shù)據(jù)倉庫等,2024/10/7,39,,國家高性能計算中心（合肥）,并行計算機結(jié)構(gòu)模型,,2024/10/7,40,,國家高性能計算中心（合肥）,并行計算機體系合一結(jié)構(gòu),,SMP、MPP、DSM,和,COW,并行結(jié)構(gòu)漸趨一致。,,大量的節(jié)點通過高速網(wǎng)絡互連起來,,節(jié)點遵循,Shell,結(jié)構(gòu)：用專門定制的,Shell,電路將商用微處理器和節(jié)點的其它部分（包括

24、板級,Cache、,局存、,NIC,和,DISK）,連接起來。優(yōu)點是,CPU,升級只需要更換,Shell。,2024/10/7,41,,國家高性能計算中心（合肥）,五種結(jié)構(gòu)特性一覽表,,屬性,,PVP,,SMP,,MPP,,DSM,,COW,,結(jié)構(gòu)類型,,MIMD,,MIMD,,MIMD,,MIMD,,MIMD,,處理器類型,,專用定制,,商用,,商用,(,可定制,),,商用,,商用,,互連網(wǎng)絡,,定制交叉開關(guān),,總線、交叉開關(guān),,定制網(wǎng)絡,,定制網(wǎng)絡,,商用網(wǎng)絡（以太,ATM,）,,通信機制,,共享變量,,共享變量,,消息傳遞,,共享變量,,消息傳遞,,地址空間,,單地址空間,,單地址空間,

25、,多地址空間,,單地址空間,,多地址空間,,系統(tǒng)存儲器,,集中共享,,集中共享,,分布非共享,,分布共享,,分布非共享,,訪存模型,,UMA,,UMA,,NORMA,,NUMA,,NORMA,,代表機器,,Cray C-90,，,,Cray T-90,，,,銀河,1,號,,IBM R50,，,SGI Power Challenge,，,,曙光,1,號,,Intel Paragon,，,IBMSP2,，,曙光,1000/2000,,Stanford DASH,，,Cray T 3D,,Berkeley NOW,，,Alpha Farm,,2024/10/7,42,,國家高性能計算中心（合肥）,并

26、行計算機訪存模型（1),,UMA,（,Uniform Memory Access,）,模型是均勻存儲訪問模型的簡稱。其特點是：,,物理存儲器被所有處理器均勻共享；,,所有處理器訪問任何存儲字取相同的時間；,,每臺處理器可帶私有高速緩存；,,外圍設(shè)備也可以一定形式共享。,2024/10/7,43,,國家高性能計算中心（合肥）,并行計算機訪存模型（2),,NUMA(Nonuniform,Memory Access),模型是,非均勻存儲訪問,模型的簡稱。特點是：,,被共享的存儲器在物理上是分布在所有的處理器中的，其所有本地存儲器的集合就組成了全局地址空間；,,處理器訪問存儲器的時間是不一樣的；訪問本

27、地存儲器,LM,或群內(nèi)共享存儲器,CSM,較快，而訪問外地的存儲器或全局共享存儲器,GSM,較慢,(,此即非均勻存儲訪問名稱的由來,),；,,每臺處理器照例可帶私有高速緩存，外設(shè)也可以某種形式共享。,,LM,1,P,1,LM,2,P,2,LM,n,P,n,互,連,網(wǎng),絡,(,a),共享本地存儲模型,全局互連網(wǎng)絡,(,b),層次式機群模型,GSM,GSM,GSM,…,…,…,…,P,C,I,N,CSM,P,P,CSM,CSM,群1,…,…,P,C,I,N,CSM,群,N,P,P,CSM,CSM,…,…,2024/10/7,44,,國家高性能計算中心（合肥）,并行計算機訪存模型（3),,COMA(

28、Cache-Only Memory Access),模型是,全高速緩存存儲訪問,的簡稱。其特點是：,,各處理器節(jié)點中沒有存儲層次結(jié)構(gòu)，全部高速緩存組成了全局地址空間；,,利用分布的高速緩存目錄,D,進行遠程高速緩存的訪問;,,COMA,中的高速緩存容量一般都大于,2,級高速緩存容量；,,使用,COMA,時，數(shù)據(jù)開始時可任意分配，因為在運行時它最終會被遷移到要用到它們的地方。,,2024/10/7,45,,國家高性能計算中心（合肥）,并行計算機訪存模型（4),,CC-NUMA,（,Coherent-Cache,Nonuniform,Memory Access,）,模型是,高速緩存一致性非均勻存儲

29、訪問,模型的簡稱。其特點是：,,大多數(shù)使用基于目錄的高速緩存一致性協(xié)議；,,保留,SMP,結(jié)構(gòu)易于編程的優(yōu)點，也改善常規(guī),SMP,的可擴放性；,,CC-NUMA,實際上是一個分布共享存儲的,DSM,多處理機系統(tǒng)；,,它最顯著的優(yōu)點是程序員無需明確地在節(jié)點上分配數(shù)據(jù)，系統(tǒng)的硬件和軟件開始時自動在各節(jié)點分配數(shù)據(jù)，在運行期間，高速緩存一致性硬件會自動地將數(shù)據(jù)遷移至要用到它的地方。,,2024/10/7,46,,國家高性能計算中心（合肥）,并行計算機訪存模型（5),,NORMA（No-Remote Memory Access）,模型是,非遠程存儲訪問,模型的簡稱。,NORMA,的特點是：,,所有存儲器

30、是私有的；,,絕大數(shù),NUMA,都不支持遠程存儲器的訪問；,,在,DSM,中，,NORMA,就消失了。,,2024/10/7,47,,國家高性能計算中心（合肥）,構(gòu)筑并行機系統(tǒng)的不同存儲結(jié)構(gòu),,2024/10/7,48,,國家高性能計算中心（合肥）,第二章 當代并行機系統(tǒng),,2.1 共享存儲多處理機系統(tǒng),,2.1.1,對稱多處理機,SMP,結(jié)構(gòu)特性,,2.2 分布存儲多計算機系統(tǒng),,2.2.1,大規(guī)模并行機,MPP,結(jié)構(gòu)特性,,2.3 機群系統(tǒng),,2.3.1 大規(guī)模并行處理系統(tǒng),MPP,機群,SP2,,2.3.2,工作站機群,COW,2024/10/7,49,,國家高性能計算中心（合肥）,對稱

31、多處理機,SMP(1),,SMP:,采用商用微處理器，通常有片上和片外,Cache，,基于總線連接，集中式共享存儲，,UMA,結(jié)構(gòu),,例子：,SGI Power Challenge, DEC Alpha Server,Dawning 1,2024/10/7,50,,國家高性能計算中心（合肥）,對稱多處理機,SMP(2),,優(yōu)點,,對稱性,,單地址空間，易編程性，動態(tài)負載平衡，無需顯示數(shù)據(jù)分配,,高速緩存及其一致性，數(shù)據(jù)局部性，硬件維持一致性,,低通信延遲，,Load/Store,完成,,問題,,欠可靠，,BUS,OS,SM,,通信延遲（相對于,CPU），,競爭加劇,,慢速增加的帶寬（,MB d

32、ouble/3,年,,IOB,更慢）,,不可擴放性---〉,CC-NUMA,,2024/10/7,51,,國家高性能計算中心（合肥）,大規(guī)模并行機,MPP,,成百上千個處理器組成的大規(guī)模計算機系統(tǒng)，規(guī)模是變化的。,,NORMA,結(jié)構(gòu)，高帶寬低延遲定制互連。,,可擴放性：,Mem,, I/O,,平衡設(shè)計,,系統(tǒng)成本：商用處理器，相對穩(wěn)定的結(jié)構(gòu),(shell),，,SMP,節(jié)點,,,分布,,通用性和可用性：不同的應用，,PVM,MPI,,交互，批處理，互連對用戶透明，單一系統(tǒng)映象，故障,,通信要求,,存儲器和,I/O,能力,,例子：,Intel Option Red,,,IBM SP2 Dawn

33、ing 1000,2024/10/7,52,,國家高性能計算中心（合肥）,典型,MPP,系統(tǒng)特性比較,,MPP,模型,,Intel/,Sandia,ASCI Option Red,,IBM SP2,,SGI/Cray Origin2000,,一個大型樣機的配置,,9072,個處理器，,1.8,Tflop/s(NSL,),,400,個處理器，,100,Gflop/s(MHPCC,),,128,個處理器，,51,Gflop/s(NCSA,),,問世日期,,1996,年,12,月,,1994,年,9,月,,1996,年,10,月,,處理器類型,,200,MHz, 200Mflop/s Pentium

34、 Pro,,67,MHz,，,267Mflop/s POWER2,,200,MHz,，,400Mflop/s MIPS R10000,,節(jié)點體系結(jié)構(gòu),,和數(shù)據(jù)存儲器,,2,個處理器，,32,到,256,MB,主存，共享磁盤,,1,個處理器，,64,MB,到,2,GB,本地主存，,1,GB,到,14.5,GB,本地磁盤,,2,個處理器，,64,MB,到,256,MB,分布共享主存和共享磁盤,,互連網(wǎng)絡和主存模型,,分離兩維網(wǎng)孔，,NORMA,,多級網(wǎng)絡，,NORMA,,胖超立方體網(wǎng)絡，,CC-NUMA,,節(jié)點操作系統(tǒng),,輕量級內(nèi)核（,LWK,）,,完全,AIX,（,IBM UNIX,）,,微內(nèi)核

35、,Cellular IRIX,,自然編程機制,,基于,PUMA Portals,的,MPI,,MPI,和,PVM,,Power C,，,Power Fortran,,其他編程模型,,Nx,，,PVM,，,HPF,,HPF,，,Linda,,MPI,，,PVM,,2024/10/7,53,,國家高性能計算中心（合肥）,MPP,所用的高性能,CPU,特性比較,,屬性,,Pentium Pro,,PowerPC 602,,Alpha 21164A,,Ultra SPARC II,,MIPS R10000,,工藝,,BiCMOS,,CMOS,,CMOS,,CMOS,,CMOS,,晶體管數(shù),,5.5,M

36、/15.5M,,7,M,,9.6,M,,5.4,M,,6.8,M,,時鐘頻率,,150,MHz,,133,MHz,,417,MHz,,200,MHz,,200,MHz,,電壓,,2.9,V,,3.3,V,,2.2,V,,2.5,V,,3.3,V,,功率,,20,W,,30,W,,20,W,,28,W,,30,W,,字長,,32,位,,64,位,,64,位,,64,位,,64,位,,I/O,,高速緩存,,8,KB/8KB,,32,KB/32KB,,8,KB/8KB,,16,KB/16KB,,32,KB/32KB,,2,級,,高速緩存,,256,KB,,(,多芯片模塊,),,1~128,MB,,(

37、,片外,),,96,KB,,(,片上,),,16,MB,,(,片外,),,16,MB,,(,片外,),,執(zhí)行單元,,5,個單元,,6,個單元,,4,個單元,,9,個單元,,5,個單元,,超標量,,3,路,(,Way),,4,路,,4,路,,4,路,,4,路,,流水線深度,,14,級,,4~8,級,,7~9,級,,9,級,,5~7,級,,SPECint,92,,366,,225,,>500,,350,,300,,SPECfp,92,,283,,300,,>750,,550,,600,,SPECint,95,,8.09,,225,,>11,,N/A,,7.4,,SPECfp,95,,6.70,,3

38、00,,>17,,N/A,,15,,其它特性,,CISC/RISC,混合,,短流水線長,L1,高速緩存,,最高時鐘頻率最大片上,2,級高速緩存,,多媒體和圖形指令,,MP,機群總線可支持,4,個,CPU,,2024/10/7,54,,國家高性能計算中心（合肥）,機群型大規(guī)模并行機,SP2,,設(shè)計策略：,,機群體系結(jié)構(gòu),,標準環(huán)境,,標準編程模型,,系統(tǒng)可用性,,精選的單一系統(tǒng)映像,,系統(tǒng)結(jié)構(gòu)：,,高性能開關(guān),HPS,多級,Ω,網(wǎng)絡,,寬節(jié)點、窄節(jié)點和窄節(jié)點2,2024/10/7,55,,國家高性能計算中心（合肥）,工作站機群,COW,,分布式存儲，,MIMD，,工作站+商用互連網(wǎng)絡，每個節(jié)點是

39、一個完整的計算機，有自己的磁盤和操作系統(tǒng)，而,MPP,中只有微內(nèi)核,,優(yōu)點：,,投資風險小,,系統(tǒng)結(jié)構(gòu)靈活,,性能/價格比高,,能充分利用分散的計算資源,,可擴放性好,,問題,,通信性能,,并行編程環(huán)境,,,例子：,Berkeley NOW，Alpha Farm, FXCOW,,,,P/C,M,MIO,MIO,M,P/C,NIC,NIC,D,D,LAN,2024/10/7,56,,國家高性能計算中心（合肥）,典型的機群系統(tǒng),,典型的機群系統(tǒng)特點一覽表,,名稱,,系統(tǒng)特點,,Princeton:SHRIMP,,PC,商用組件，通過專用網(wǎng)絡接口達到共享虛擬存儲，支持有效通信,,Karsruhe:P

40、arastation,,用于分布并行處理的有效通信網(wǎng)絡和軟件開發(fā),,Rice:TreadMarks,,軟件實現(xiàn)分布共享存儲的工作站機群,,Wisconsin:Wind Tunnel,,在經(jīng)由商用網(wǎng)絡互連的工作站機群上實現(xiàn)分布共享存儲,,Chica,、,Maryl,、,Penns:NSCP,,國家可擴放機群計劃：在通過因特網(wǎng)互連的,3,個本地機群系統(tǒng)上進行元計算,,Argonne:Globus,,在由,ATM,連接的北美,17,個站點的,WAN,上開發(fā)元計算平臺和軟件,,Syracuse:WWVM,,使用因特網(wǎng)和,HPCC,技術(shù)，在世界范圍的虛擬機上進行高性能計算,,HKU:Pearl Clus

41、ter,,研究機群在分布式多媒體和金融數(shù)字庫方面的應用,,Virgina:Legion,,在國家虛擬計算機設(shè)施上開發(fā)元計算軟件,,2024/10/7,57,,國家高性能計算中心（合肥）,SMP\MPP\,機群比較,,系統(tǒng)特征,,SMP,,MPP,,機群,,節(jié)點數(shù)量,(,N),,?,O(10),,O(100)-O(1000),,?,O(100),,節(jié)點復雜度,,中粒度或細粒度,,細粒度或中粒度,,中粒度或粗粒度,,節(jié)點間通信,,,,共享存儲器,,消息傳遞,,或共享變量（有,DSM,時）,,消息傳遞,,節(jié)點操作系統(tǒng),,1,,N(,微內(nèi)核,),,和,1,個主機,OS(,單一,),,N (,希望為同構(gòu)

42、,),,支持單一系統(tǒng)映像,,永遠,,部分,,希望,,地址空間,,單一,,多或單一（有,DSM,時）,,多個,,作業(yè)調(diào)度,,單一運行隊列,,主機上單一運行隊列,,協(xié)作多隊列,,網(wǎng)絡協(xié)議,,非標準,,非標準,,標準或非標準,,可用性,,通常較低,,低到中,,高可用或容錯,,性能,/,價格比,,一般,,一般,,高,,互連網(wǎng)絡,,總線,/,交叉開關(guān),,定制,,商用,,2024/10/7,58,,國家高性能計算中心（合肥）,第三章 并行計算性能評測,,3.1 并行機的一些基本性能指標,,3.2 加速比性能定律,,3.2.1,Amdahl,定律,,3.2.2,Gustafson,定律,,3.2.3,Sun

43、,和,Ni,定律,,3.3 可擴放性評測標準,,3.3.1 并行計算的可擴放性,,3.3.2 等效率度量標準,,3.3.3 等速度度量標準,,3.3.4 平均延遲度量標準,2024/10/7,59,,國家高性能計算中心（合肥）,CPU,的某些基本性能指標,,工作負載,,執(zhí)行時間,,浮點運算數(shù),,指令數(shù)目,,,并行執(zhí)行時間,T,,comput,,為計算時間，,T,paro,,為并行開銷時間，,T,comm,為相互通信時間,,,T,n,= T,,comput,+ T,,paro,+ T,,comm,,,,例：估計,APRAM,模型下執(zhí)行時間,,,2024/10/7,60,,國家高性能計算中心（合肥

44、）,存儲器性能,,存儲器的層次結(jié)構(gòu),(,C,L,B),,各層性能參數(shù),：,容量,C,、,延遲,L,、,帶寬,B,。,,,相關(guān)參數(shù)：,存儲粒度、一致性粒度、層管理方案等。,2024/10/7,61,,國家高性能計算中心（合肥）,影響存儲器容量,C,設(shè)計因素,：,,,與主流應用的進程數(shù)及各進程工作集尺寸等有關(guān)。,影響存儲器延遲,L,設(shè)計因素,：,,與,CPU,指令系統(tǒng),CPI,及指令所需數(shù)據(jù)量等有關(guān)。,影響存儲器帶寬,B,設(shè)計因素,：,,與應用的數(shù)據(jù)通信量、通信頻率和延遲,L,等有關(guān)。,2024/10/7,62,,國家高性能計算中心（合肥）,并行與通信開銷,,并行和通信開銷：相對于計算很大。,,,

45、PowerPC (,每個周期,15,ns,執(zhí)行,4,flops;,,,創(chuàng)建一個進程,1.4,ms,可執(zhí)行,372000,flops),,開銷的測量：乒,--,乓方法（,Ping-Pong Scheme）,節(jié)點,0,發(fā)送,m,個字節(jié)給節(jié)點,1,；節(jié)點,1,從節(jié)點,0,接收,m,個字節(jié)后，立即將消息發(fā)回節(jié)點,0,?？偟臅r間除以,2,，即可得到點到點通信時間，也就是執(zhí)行單一發(fā)送或接收操作的時間。,,可一般化為熱土豆法（,Hot-Potato），,也稱為救火隊法（,Fire-Brigade) 0——1 —— 2 —— … —— -n-1 —— 0,,,2024/10/7,63,,國家高性能計算

46、中心（合肥）,Ping-Pong Scheme,,if （my _node _id =0） then /*,發(fā)送者*,/,,,start _time =second（ ）,,send an m-byte message to node 1,,receive an m-byte message from node 1,,end_time = second（ ）,,total_time = end_time – start_time,,communication_time[i] = total_time/2,,else if （my_node_id = 1） then /*,接收者*,/,,

47、,receive an m-byte message from node 0,,send an m-byte message to node 0,,,endif,,2024/10/7,64,,國家高性能計算中心（合肥）,并行開銷的表達式：點到點通信,,通信開銷,,t,(,m,) =,t,0,+,m,/,r,∞,,通信啟動時間,t,0,,漸近,帶寬,r,∞,,：,傳送無限長的消息時的通信速率,,,半,峰值長度,m,1/2,：達到一半漸近帶寬所要的消息長度,,特定性能,π,0,：表示短消息帶寬,,,t,0,= m,1/2,/,,r,∞,= 1 /,π,0,2024/10/7,65,,國家高性能計

48、算中心（合肥）,并行開銷的表達式：整體通信,,典型的整體通信有：,,,播送（,Broadcasting）：,處理器,0,發(fā)送,m,個字節(jié)給所有的,n,個處理器,,收集（,Gather）：,處理,0,接收所有,n,個處理器發(fā)來在消息，所以處理器,0,最終接收了,m n,個字節(jié)；,,散射（,Scatter）：,處理器,0,發(fā)送了,m,個字節(jié)的不同消息給所有,n,個處理器，因此處理器,0,最終發(fā)送了,m n,個字節(jié)；,,全交換（,Total Exchange）：,每個處理器均彼此相互發(fā)送,m,個字節(jié)的不同消息給對方，所以總通信量為,mn,2,個字節(jié)；,,循環(huán)移位（,Circular-shift）：,

49、處理器,i,發(fā)送,m,個字節(jié)給處理器,i+1，,處理器,n-1,發(fā)送,m,個字節(jié)給處理器,0,，所以通信量為,m n,個字節(jié)。,2024/10/7,66,,國家高性能計算中心（合肥）,機器的成本、價格與性,/,價比,,機器的成本與價格,,機器的性能,/,價格比,Performance/Cost Ratio ：,系指用單位代價（通常以百萬美元表示）所獲取的性能（通常以,MIPS,或,MFLOPS,表示）每秒執(zhí)行的指令數(shù),,利用率（,Utilization）：,可達到的速度與峰值速度之比,,2024/10/7,67,,國家高性能計算中心（合肥）,算法級性能評測,,加速比性能定律,,并行系統(tǒng)的加速比

50、是指對于一個給定的應用，并行算法（或并行程序）的執(zhí)行速度相對于串行算法（或串行程序）的執(zhí)行速度加快了多少倍。,,Amdahl,定律,,Gustafson,定律,,Sun Ni,定律,,可擴放性評測標準,,等效率度量標準,,等速度度量標準,,平均延遲度量標準,2024/10/7,68,,國家高性能計算中心（合肥）,Amdahl,定律,,P：,處理器數(shù)；,,W：,問題規(guī)模（,計算負載、工作負載，給定問題的總計算量,）；,,W,s,：,應用程序中的串行分量，,f,是串行分量比例（,f = W,s,/W， W,s,=W,1,）；,,W,P,：,應用程序中可并行化部分，,1-,f,為并行分量比例；,,W

51、,s,+W,p,=W；,,T,s,=T,1,：,串行執(zhí)行時間，,T,p,：,并行執(zhí)行時間；,,S：,加速比，,E：,效率；,,出發(fā)點：,,固定不變的計算負載；,,固定的計算負載分布在多個處理器上的，,,增加處理器加快執(zhí)行速度，從而達到了加速的目的。,2024/10/7,69,,國家高性能計算中心（合肥）,Amdahl,定律,（,cont‘d),,固定負載的加速公式：,,,,W,s,+ W,p,可相應地表示為,f+（1-f）,,,,,,p→∞,時，上式極限為：,S= 1 / f,,W,o,為額外開銷,,2024/10/7,70,,國家高性能計算中心（合肥）,Amdahl’s law (cont’

52、d),,2024/10/7,71,,國家高性能計算中心（合肥）,Gustafson,定律,,出發(fā)點：,,對于很多大型計算，精度要求很高，即在此類應用中精度是個關(guān)鍵因素，而計算時間是固定不變的。此時為了提高精度，必須加大計算量，相應地亦必須增多處理器數(shù)才能維持時間不變；,,除非學術(shù)研究，在實際應用中沒有必要固定工作負載而計算程序運行在不同數(shù)目的處理器上，增多處理器必須相應地增大問題規(guī)模才有實際意義。,,,Gustafson,加速定律,:,,,,并行開銷,W,o,：,,2024/10/7,72,,國家高性能計算中心（合肥）,Gustafson,定律（,cont‘d),,2024/10/7,73,,

53、國家高性能計算中心（合肥）,Sun,和,Ni,定律,,基本思想：,,只要存儲空間許可，應盡量增大問題規(guī)模以產(chǎn)生更好和更精確的解（此時可能使執(zhí)行時間略有增加）。,,假定在單節(jié)點上使用了全部存儲容量,M,并在相應于,W,的時間內(nèi)求解之，此時工作負載,W=,fW,+ （1-f）W。,,在,p,個節(jié)點的并行系統(tǒng)上，能夠求解較大規(guī)模的問題是因為存儲容量可增加到,pM,。,令因子,G（p）,反應存儲容量增加到,p,倍時并行工作負載的增加量，所以擴大后的工作負載,W =,fW,+ （1-f）G（p）W。,,存儲受限的加速公式 ：,,,,,并行開銷,W,o,:,2024/10/7,74,,國家高性能計算中心（

54、合肥）,Sun,和,Ni,定律,(,cont’d),,G（p）=1,時就是,Amdahl,加速定律；,,,G（p）=p,變?yōu)?f + p（1-f），,就是,Gustafson,加速定律,,G（p）>p,時，相應于計算機負載比存儲要求增加得快，此時,Sun,和,N i,加速均比,Amdahl,加速和,Gustafson,加速為高。,2024/10/7,75,,國家高性能計算中心（合肥）,加速比討論,,參考的加速經(jīng)驗公式：,p/log p≤S≤P,,線性加速比：很少通信開銷的矩陣相加、內(nèi)積運算等,,p/log p,的加速 比：分治類的應用問題,,通信密集類的應用問題 ：,S = 1 / C （ p

55、 ）,,超線性加速,,絕對加速：最佳并行算法與串行算法,,相對加速：同一算法在單機和并行機的運行時間,,2024/10/7,76,,國家高性能計算中心（合肥）,可擴放性評測標準,,并行計算的可擴放性（,Scalability）,也是主要性能指標,,可擴放性最簡樸的含意是在確定的應用背景下，計算機系統(tǒng)（或算法或程序等）性能隨處理器數(shù)的增加而按比例提高的能力,,影響加速比的因素：處理器數(shù)與問題規(guī)模,,求解問題中的串行分量,,并行處理所引起的額外開銷（通信、等待、競爭、冗余操作和同步等）,,加大的處理器數(shù)超過了算法中的并發(fā)程度,,增加問題的規(guī)模有利于提高加速的因素：,,較大的問題規(guī)?？商峁┹^高的并發(fā)

56、度；,,額外開銷的增加可能慢于有效計算的增加；,,算法中的串行分量比例不是固定不變的（串行部分所占的比例隨著問題規(guī)模的增大而縮?。?。,,增加處理器數(shù)會增大額外開銷和降低處理器利用率，所以對于一個特定的并行系統(tǒng)（算法或程序），它們能否有效利用不斷增加的處理器的能力應是受限的，而度量這種能力就是可擴放性這一指標。,2024/10/7,77,,國家高性能計算中心（合肥）,可擴放性評測標準（,cont‘d),,可擴放性,:,調(diào)整什么和按什么比例調(diào)整,,并行計算要調(diào)整的是處理數(shù),p,和問題規(guī)模,W，,,兩者可按不同比例進行調(diào)整，此比例關(guān)系（可能是線性的，多項式的或指數(shù)的等）就反映了可擴放的程度。,,并行

57、算法和體系結(jié)構(gòu),,可擴放性研究的主要目的：,,確定解決某類問題用何種并行算法與何種并行體系結(jié)構(gòu)的組合，可以有效地利用大量的處理器,(,算法與結(jié)構(gòu)的組合,),；,,對于運行于某種體系結(jié)構(gòu)的并行機上的某種算法當移植到大規(guī)模處理機上后運行的性能；,,對固定的問題規(guī)模，確定在某類并行機上最優(yōu)的處理器數(shù)與可獲得的最大的加速比；,,用于指導改進并行算法和并行機體系結(jié)構(gòu)，以使并行算法盡可能地充分利用可擴充的大量處理器,,目前無一個公認的、標準的和被普遍接受的嚴格定義和評判它的標準,2024/10/7,78,,國家高性能計算中心（合肥）,等效率度量標準,,令,t,ie,,和,t,,io,,分別是并行系統(tǒng)上第,

58、i,個處理器的有用計算時間和額外開銷時間（包括通信、同步和空閑等待時間等）,,,,T,p,,是,p,個處理器系統(tǒng)上并行算法的運行時間，對于任意,i,顯然有,T,p,= t,ie,+t,,io,，,且,T,e,+ T,o,=,pT,p,,問題的規(guī)模,W,為最佳串行算法所完成的計算,量,W=T,e,,,,,如果問題規(guī)模,W,保持不變，處理器數(shù),p,增加，開銷,T,o,增大，效率,E,下降。為了維持一定的效率（介于,0與1,之間），當處理,數(shù),p,增大時，需要相應地增大問題規(guī)模,W,的值。由此定義函數(shù),f,E,（p）,為問題規(guī)模,W,隨處理器數(shù),p,變化的函數(shù)，為等效率函數(shù)（,ISO-efficie

59、ncy Function）（Kumar1987）,2024/10/7,79,,國家高性能計算中心（合肥）,等效率度量標準（,cont‘d),,曲線,1,表示算法具有很好的擴放性；曲線,2,表示算法是可擴放的；曲線,3,表示算法是不可擴放的。,,優(yōu)點：簡單可定量計算的、少量的參數(shù)計算等效率函數(shù),,缺點：如果,T,o,無法計算出（在共享存儲并行機中）,,2024/10/7,80,,國家高性能計算中心（合肥）,等速度度量標準,,p,表示處理器個數(shù)，,W,表示要求解問題的工作量或稱問題規(guī)模（在此可指浮點操作個數(shù)），,T,為并行執(zhí)行時間，定義并行計算的速度,V,為工作量,W,除以并行時間,T,,p,個處

60、理器的并行系統(tǒng)的平均速度定義為并行速度,V,除以處理器個數(shù),p：,,,W,是使用,p,個處理器時算法的工作量，令,W’,表示當處理數(shù)從,p,增大到,p’,時，為了保持整個系統(tǒng)的平均速度不變所需執(zhí)行的工作量，則可得到處理器數(shù)從,p,到,p’,時平均速度可擴放度量標準公式,2024/10/7,81,,國家高性能計算中心（合肥）,等速度度量標準（,cont’d）,,優(yōu)點：直觀地使用易測量的機器性能速度指標來度量,,缺點：某些非浮點運算可能造成性能的變化,,,2024/10/7,82,,國家高性能計算中心（合肥）,平均延遲度量標準,,T,i,為,P,i,的執(zhí)行時間，包括延遲,L,i,，Pi,的總延遲時間為“,L i+,啟動時間,+,停止時間”。定義系統(tǒng)平均延遲時間為,,,,pT,para,=T,o,+ T,s,,,,,,在,p,個處理器上求解工作量為,W,問題的平均延遲,,在,p’,個處理器上求解工作量為,W’,問題的平均延遲當處理器數(shù)由,p,變到,p’，,而推持并行執(zhí)行效率不變，則定義平均延遲可擴放性度量標準為,2024/10/7,83,,國家高性能計算中心（合肥）,平均延遲度量標準（,Cont’d),,優(yōu)點：平均延遲能在更低層次上衡量機器的性能,,缺點：需要特定的軟硬件才能獲得平均延遲,,,2024/10/7,84,,國家高性能計算中心（合肥）,