第2講-并行計算框架及案例課件

單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,*,單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,單擊此處編輯母版標題樣式,JP Navarro,*,并行計算產(chǎn)生背景,整個大的串行任務(wù),分解,各個并行執(zhí)行部分,需做大量運算，持續(xù)時間長,根據(jù)大任務(wù)內(nèi)在相關(guān)性,各個相對獨立模塊部分并行執(zhí)行，節(jié)約運算時間,并行計算產(chǎn)生背景整個大的串行任務(wù)分解各個并行執(zhí)行部分需做大量,并行計算是相對于串行計算,并行計算是相對于串行計算,并行計算概念,并行計算概念,并行計算-高性能計算,并行計算,(Parallel Computing,）,高端計算,(High-end Parallel Computing),高性能計算,(High Performance Computing),超級計算,(Super Computing),任何高性能計算和超級計算都離不開使用并行技術(shù),The simultaneous use of more than one computer to solve a problem.,由,由運行在多個部件上的小任務(wù)合作來求解一個規(guī)模很大的計算問題的一種方法,4,并行計算-高性能計算并行計算(Parallel Compu,并行計算的應(yīng)用需求,5,并行計算的應(yīng)用需求5,計算科學,與傳統(tǒng)的兩種科學，即,理論科學,和,實驗科學,，并列被認為是人類認識自然的三大支柱，他們彼此相輔相成地推動科學發(fā)展與社會進步。在許多情況下，或者是理論模型復(fù)雜甚至理論尚未建立，或者實驗費用昂貴甚至無法進行時，計算就成了求解問題的唯一或主要的手段。,并行計算的應(yīng)用需求,6,計算科學與傳統(tǒng)的兩種科學，即理論科學和實驗科學，并列被認為是,程序級并行,子程序級并行,語句級并行,操作級并行,微操作級并行,并行粒度,細,粗,并行的層次,后三層大都由硬件和編譯器負責處理，程序員通常處理前兩層的并行,程序級并行并行粒度細粗并行的層次后三層大都由硬件和編譯器負,硬件（并行機）,組成要素：節(jié)點，互聯(lián)網(wǎng)絡(luò)，內(nèi)存,結(jié)構(gòu)模型：,PVP,SMP,DSM,MPP,COW,并行算法設(shè)計（略）,并行編程環(huán)境,系統(tǒng)環(huán)境：常見主流,Unix/Linux,操作系統(tǒng),編程語言：,Fortran 77/90/9,C/C+,并行計算基本條件,硬件（并行機）并行計算基本條件,并行計算機的分類,SISD,SIMD,MIMD,并行計算科學中主要研究的是空間上的并行問題。空間上的并行導(dǎo)致了兩類并行機的產(chǎn)生，按照,Flynn,的說法分為：單指令流多數(shù)據(jù)流（,SIMD,）和多指令流多數(shù)據(jù)流（,MIMD,）。我們常用的串行機也叫做單指令流單數(shù)據(jù)流（,SISD,）。,并行計算機的分類SISDSIMDMIMD并行計算科學中主要研,10,并行計算機體系結(jié)構(gòu),組成要素,結(jié)點,（node）：一個或多個處理器組成,互聯(lián)網(wǎng)絡(luò),（interconnetct network）：連接結(jié)點,內(nèi)存,（memory）：多個存儲模塊組成,10并行計算機體系結(jié)構(gòu) 組成要素 結(jié)點（node）：一個或多,1,并行計算框架,PVP,（,Parallel Vector Processor,，,并行向量處理機）,代表：,銀河,I,NEC,地球模擬器,1并行計算框架PVP（Parallel Vector Pr,2,SMP,（,Symmetric Multiprocessor,，,對稱多處理機）,單一操作系統(tǒng)管理,共享內(nèi)存及計算機的其他資源,.,代表：,曙光,1,號,IBM RS/6000,并行計算框架,2SMP（Symmetric Multiprocessor,4,MPP,（,Massively Parallel Processor,，,大規(guī)模并行處理機）,每個結(jié)點均有自己的,操作系統(tǒng),獨立的內(nèi)存,.,代表：,Intel Option Red,IBM SP2,Dawning 1000,并行計算框架,4MPP（Massively Parallel Proces,5,COW,（,Cluster of Workstation,，,集群工作站）,代表：,IBM Cluster 1350/1600,曙光,2000,3000,目前分布式計算、云計算體系,的原型,并行計算框架,5COW（Cluster of Workstation，集群,Google,云計算數(shù)據(jù)中心,Google云計算數(shù)據(jù)中心,并行計算機發(fā)展食物鏈,并行計算機發(fā)展食物鏈,并行計算的性能分析,2,、并行效率,并行計算的性能分析,并行語言的實現(xiàn)方式和實現(xiàn)難度的關(guān)系圖,改動多少,實現(xiàn)難度,提供并行庫,擴充語法成分,新語言,并行程序設(shè)計方式：,設(shè)計全新的并行語言,擴展串行語言語法，使其支持并行特征,為串行語言提供可調(diào)用的并行庫,MPI,(,M,essage,P,assing,I,nterface,消息傳遞接口,):,是消息傳遞函數(shù)庫的標準規(guī)范，采用,提供并行庫,的方式,MPI,產(chǎn)生背景,并行語言的實現(xiàn)方式和實現(xiàn)難度的關(guān)系圖改動多少實現(xiàn)難度提供并行,一個簡單的,MPI,程序,Hello.c,#include“mpi.h”,/*,導(dǎo)入包含有,MPI,庫函數(shù)的頭文件,*,/,#include,/*,導(dǎo)入,C,語言頭文件,*,/,/*,*,使用,C,語言作為宿主語言，調(diào)用,MPI,庫編寫簡單,Hello.c,并行程序,*,/,int main(int argc,char*argv),MPI_init,(,/*MPI,庫函數(shù),*,/,printf(“hello parallel world!n”);,/*C,庫函數(shù),*,/,MPI_Finalize,();,/*MPI,庫函數(shù),*,/,return 0;,MPI_Init();,并行代碼;,MPI_Fainalize();,只能有串行代碼;,一個簡單的MPI程序 Hello.c#include“,啟動機器集群中的,3,個機器節(jié)點：,編譯,Hello.c,程序：,執(zhí)行,Hello,程序：,注意：可執(zhí)行程序,Hello.o,必須同時位于,3,個機器節(jié)點的,test3,目錄下。,一個簡單的,MPI,程序,Hello.c,運行：,啟動機器集群中的3個機器節(jié)點：一個簡單的MPI程序 He,MPI,消息,消息,(message),：,MPI,程序中在進程間通信所傳送的所有信息稱為消息。,作用：,控制整個集群內(nèi)的所有機器節(jié)點進行協(xié)同工作,對底層異構(gòu)系統(tǒng)進行抽象，實現(xiàn)程序可移植性,組成：,消息信封,消息內(nèi)容,MPI消息消息(message)：MPI程序中在進程間通信,MPI,消息傳遞過程,分三個階段：,消息裝配,消息發(fā)送,消息拆卸,數(shù)據(jù)發(fā)送緩沖區(qū),消息裝配,消息傳遞,消息拆卸,數(shù)據(jù)接收緩沖區(qū),MPI,消息傳遞過程,MPI消息傳遞過程分三個階段：數(shù)據(jù)發(fā)送緩沖區(qū)消息裝配消息傳遞,MPI,常用六個基本函數(shù),MPI_Init();,MPI_Comm_size();,MPI_Comm_rank();,MPI_Send();,MPI_Recv();,MPI_Finalize();,MPI常用六個基本函數(shù)MPI_Init();,int MPI_Init(int*argc,char*argv),啟動,MPI,環(huán)境,標志并行代碼的開始.,并行代碼之前,第一個,mpi,函數(shù)(除,MPI_Initialize(),外).,接收,main,函數(shù)傳遞的參數(shù),.,int MPI_Finalize(void),標志并行代碼的結(jié)束,結(jié)束除主進程外其它進程.,int MPI_Init(int*argc,char*,int MPI_Comm_size(MPI_Comm comm,int*size),獲得通信空間,comm,中規(guī)定的組包含的進程的數(shù)量.,int MPI_Comm_rank(MPI_Comm comm,int*rank),得到本進程在通信空間,comm,中的,rank,值,即在組中的邏輯編號(從0開始，類似于進程,ID,).,int MPI_Comm_size(MPI_Comm c,int MPI_Send(void *buff,int count,MPI_Datatype datatype,int dest,int tag,MPI_Comm comm),標準阻塞發(fā)送消息,buff,：消息發(fā)送緩沖區(qū),count:,指定數(shù)據(jù)類型,MPI_Datatype,的消息個數(shù),而不是字節(jié)數(shù),.,dest:,發(fā)送消息的目的地,tag:,消息標簽,comm:,通信空間或通信域,int MPI_Send(void *buff,int,int MPI_Recv(void *buff,int count,MPI_Datatype datatype,int source,int tag,MPI_Comm comm,MPI_Status *status),標準阻塞接收消息,buff,：消息接收緩沖區(qū),count:,指定數(shù)據(jù)類型,MPI_Datatype,的消息個數(shù),而不是字節(jié)數(shù),.,source:,發(fā)送消息源,tag:,消息標簽,comm:,通信空間或通信域,status,：記錄消息接收狀態(tài)（成功或失敗）,int MPI_Recv(void *buff,int,簡單消息發(fā)送與接收案例,HelloWord.c,#include“mpi.h”,main(int argc,char*argv),int,p;,/*,進程數(shù),該變量為各處理器中的同名變量*,/,int,my_rank;,/*,我的進程,ID,存儲也是分布的 *,/,MPI_Status,status;,/*,消息接收狀態(tài)變量,存儲也是分布 *,/,char,message100;,/*,消息,buffer,存儲也是分布的 *,/,MPI_Init,(,/*,初始化,MPI*/,/*,該函數(shù)被各進程各調(diào)用一次,得到自己的進程,rank,值*,/,MPI_Comm_rank,(MPI_COMM_WORLD,/*,該函數(shù)被各進程各調(diào)用一次,得到進程數(shù)*,/,MPI_Comm_size,(MPI_COMM_WORLD,簡單消息發(fā)送與接收案例HelloWord.c#includ,if(my_rank!=0),/*,建立消息*,/,sprintf(message,“Hello Word,I am%d!,my_rank);,/*,發(fā)送長度取,strlen(message)+1,使,0,也一同發(fā)送出去*,/,MPI_Send,(message,strlen(message)+1,MPI_CHAR,0,99,MPI_COMM_WORLD);,else /*my_rank=0*/,for(source=1;source=2;source+),/*,指定,3,個進程的并行環(huán)境*,/,MPI_Recv,(message,100,MPI_CHAR,source,99,MPI_COMM_WORLD,printf(“%sn,message);,MPI_Finalize();,/*,關(guān)閉,MPI,標志并行代碼段的結(jié)束*,/,/*main*/,簡單消息發(fā)送與接收案例,HelloWord.c,if(my_rank!=0)/*,HelloWord.c,的編譯與運行,mpicc HelloWord.c,默認生成,a.out,的可執(zhí)行代碼.,mpicc o HelloWord Hello