高性能網(wǎng)格并行計算論文

《高性能網(wǎng)格并行計算論文》由會員分享，可在線閱讀，更多相關(guān)《高性能網(wǎng)格并行計算論文（9頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、高性能網(wǎng)格并行計算 摘 要 ：對高性能計算的各種方式進行了分析和比較，并闡述了網(wǎng)格和元計算的關(guān)系。通過 對當前各種網(wǎng)格工程的透視，論述了網(wǎng)格體系結(jié)構(gòu)和網(wǎng)格服務語義。探討了網(wǎng)格的兩個關(guān)鍵 特點：異構(gòu)性和動態(tài)性及其解決方法。對于認識網(wǎng)格概念以及指明未來高性能并行計算發(fā)展 方向有一定意義。 關(guān)鍵詞：網(wǎng)格；高性能計算；開放網(wǎng)格服務體系結(jié)構(gòu)；異構(gòu)性 1 高性能計算的各種形式 1.1 分布式計算 所謂分布式計算是指在分布式計算機系統(tǒng)上的程序設計和實現(xiàn)。而分布式系統(tǒng)又是指由 多個地理上分散的計算機經(jīng)互聯(lián)網(wǎng)連接而成的系統(tǒng)，它是多計算機系統(tǒng)的一種形式，強調(diào)資 源、任務、功能和控制的全面分布。就物理資源

2、而言，包括處理機、輸入輸出設備、通信接 口和輔助存儲器等。就邏輯資源而言，包括進程、任務、文件、表格和數(shù)據(jù)庫等。早期分布 式計算的側(cè)重點是分布資源的共享利用，以便減少購買昂貴設備( )如激光圖形打印機的開銷。 由于分布式計算系統(tǒng)中有多個處理結(jié)點，因此應用任務在各個結(jié)點上的負載平衡也是分布式 計算追求的目標。分布式計算主要是支持具有地理分布特征的應用項目，如飛機售票系統(tǒng)、 銀行通存通兌系統(tǒng)等。而且還能利用分布資源實現(xiàn)容錯功能，但計算任務的高性能不是它刻 意追求的目標。 1.2 并行計算 并行計算簡單地說，就是在并行計算機上所做的計算，它和常說的高性能計算、超級計 算是同義詞。并行計算的物質(zhì)基

3、礎是高性能并行計算機，如單指令多數(shù)據(jù)流機、SIMD并行 向量處理機PVP、對稱多處理機SMP、大規(guī)模并行處理機MPP、工作站機群COW,也包括 分布網(wǎng)絡計算機等。任何超級計算都離不開使用并行技術(shù)，從理論上講，沒有因果關(guān)系 ( ) 或依賴關(guān)系的兩個事件可以并發(fā)執(zhí)行。直覺上，則是指兩個事件同時執(zhí)行。開發(fā)并行性的途 徑有3 種，即時間共享、空間共享和資源重復。如流水線計算機是通過時間共享，讓多個部 件在時間上交錯重疊地執(zhí)行運算和處理；陣列處理機利用的是資源重復。由于業(yè)已提供的計 算能力總是滿足不了人類對計算能力的需求，而且這種需求是無止境的，因此并行計算的宗 旨是追求高性能，有時甚至不惜代價去達到這

4、樣的目標。另外，并行計算理論還不成熟，尚 沒有成為主流計算技術(shù)，許多問題有待解決。 1.3 異構(gòu)計算 自 Freund 首先提出優(yōu)化選擇理論之后［1］，異構(gòu)計算便成為近年并行處理研究的新臺階。 IEEE每年組織召開一次HCW(heterogeneous computing workshop)。所謂異構(gòu)計算，是指將性 能、屬性各異的計算機(如PC、工作站群、向量機等)，通過高速網(wǎng)絡連成并行計算環(huán)境，充 分利用程序和體系結(jié)構(gòu)的異構(gòu)性，各盡潛能，合理分治，協(xié)同完成一個計算任務，使得完成 時間最少的過程。形象地說，異構(gòu)計算如同交響樂團演奏一首樂曲，各種樂器協(xié)同彈奏，產(chǎn) 生最美妙的樂感。據(jù)報道，許

5、多超級計算機的峰值性能只發(fā)揮了， 5% 原因是程序特征和體 系結(jié)構(gòu)不匹配。異構(gòu)計算追求的目標正是充分挖掘程序和機器潛在的特征，并且讓這兩種特 征匹配，從而大大提高任務的執(zhí)行效率。 1.4 元計算 元計算概念是伴隨著 LAN 向 WAN、 Internet 的發(fā)展過程中提出來的。要回答什么是元 計算，先要搞清楚什么是元系統(tǒng)、元計算環(huán)境等概念。一般來講，具有存在的主要任務和根 本目標的任何形式的集體均可算是一個元系統(tǒng)。廣義上講，元系統(tǒng)是一個異構(gòu)系統(tǒng)，這個系 統(tǒng)通過某種網(wǎng)絡將各個構(gòu)件無縫地結(jié)合在一起，每個構(gòu)件有自己的分工，完成一種特定的任 務。整個系統(tǒng)將所有構(gòu)件協(xié)調(diào)起來完成一個總體目標，并對外表

6、現(xiàn)為單一的整體，且構(gòu)件對 外是不可見的。如果為了計算目的而組建的元系統(tǒng)，則稱之為元計算環(huán)境。在元計算環(huán)境中 開展的程序設計和程序運行，則被稱為元計算。如果將元計算環(huán)境引入到廣域網(wǎng)范圍內(nèi)，使 得廣域網(wǎng)上的空閑計算機資源集成和共享起來，對那些亟需科學計算的用戶提供統(tǒng)一界面的 服務，而不必關(guān)心用戶提交的任務是如何劃分的，在何種機器上運行，結(jié)果如何收集等，這 就是元計算追求的目標 1.5 網(wǎng)格計算 網(wǎng)格計算是在元計算的基礎上發(fā)展起來的，是 Internet 應用的新發(fā)展，是在巨型機與互 聯(lián)網(wǎng)技術(shù)的基礎上推出的一項新變革，是完成超級計算任務的一種新模式，又稱為虛擬計算 環(huán)境，或全球計算統(tǒng)一平臺。網(wǎng)格

7、試圖實現(xiàn)互聯(lián)網(wǎng)上所有資源的全面連通和共享，包括計算 資源、存儲資源、通信資源、軟件資源、信息資源等。網(wǎng)格計算需要使用一套能夠把一個應 用程序劃分成能在上千個計算機上執(zhí)行的軟件和機制，感覺上如同個人使用一臺超級計算機 一樣。從學術(shù)上講，網(wǎng)格是分布計算的一種形態(tài)。網(wǎng)格追求的目標來源于人們對“電力網(wǎng)” 的類比理解，人們希望從網(wǎng)格中獲取“計算或服務”，就像家電用插頭從電力網(wǎng)中獲得“電 能”一樣方便和普及。 2 著名的網(wǎng)格工程 2.1 Globus 工程 Globus是美國Argonne國家實驗室的研發(fā)項目，全美有12所大學和研究機構(gòu)參與了該 工程。 Globus 對資源管理、安全、信息服務及數(shù)據(jù)

8、管理等網(wǎng)格計算的關(guān)鍵理論進行研究， 開發(fā)了能在各種平臺上運行的網(wǎng)格計算工具軟件。工Globus程的目標是闡明網(wǎng)格化應用的 需求和開發(fā)必要的技術(shù)來滿足這些需求。Globus系統(tǒng)的主要部分是Globus元計算工具軟件, 提供了實現(xiàn)高層服務需使用的底層機制。Globus最重要的成果是Globus Toolkits，它是開 放代碼，第1版在1999年推出，目前可得到的版本是。Release 2.2另外，基于OGSA機制 的下一代Globus Toolkits 3.0即將推出。Globus技術(shù)已在NASA網(wǎng)格(NASA IPG)、歐洲數(shù)據(jù)網(wǎng) 格(Data Grid)、美國國家技術(shù)網(wǎng)格(NTG)等10多個

9、網(wǎng)格工程中得到了廣泛應用。 2.2 Legion 工程 Legion 工程是基于對象的元系統(tǒng)軟件［2］。它始于 1993 年，由 Virginia 大學的課題研究 組開發(fā)。Legion工程的目標是在一定的原則下構(gòu)建高可用的、有效的、可擴展的系統(tǒng)。Legion 工程研究的關(guān)鍵問題是可擴展性、易編程性、容錯和安全等。它支持應用代碼級的大規(guī)模并 行計算，以及物理系統(tǒng)復雜性的管理。 Legion 工程開發(fā)了一個豐富的對象模型來提供元計 算服務，它提供了一個編程工具集、一個人機交互的環(huán)境，以及一個應用程序請求元計算的 執(zhí)行環(huán)境。在一個 Legion 應用程序里，分布的構(gòu)件被看作對象。 2.3 Co

10、ndor 工程 Condor 工程于 20 世紀 80 年代中期開始于 Wisconsin Madison ,大學是具體實現(xiàn)元計 算含義的最初的平臺之一［2］。一個 Condor 機群由局域網(wǎng)互聯(lián)的同構(gòu)的工作站組成。 Condor 主要思想是認為并不是所有時刻、所有工作站都是忙碌的。因此，在空閑機器上的 CPU 周 期可以用來處理其它待執(zhí)行的任務。 Condor 網(wǎng)格包含一臺作為中央資源管理器的機器，它 負責把任務分配到其它空閑的Condor結(jié)點上。所有其它的Condor結(jié)點運行兩個守護進程， 一個負責與中央資源管理器協(xié)商，并把本地任務遷移到其它機群上；另一個負責當該結(jié)點空 閑時通知中央資源

11、管理器。 2.4 Ninf 工程和 Netsolve 工程 Ninf 工程始于1995 年，由日本開發(fā)，旨在構(gòu)造一個強大的、靈活的網(wǎng)絡使能服務 (NES) 系統(tǒng)。Netsolve是由Innovative Computing Laboratory開發(fā)的基于RPC /的客戶機代理/服務器 系統(tǒng)［2］。 Ninf 工程和 Netsolve 工程都以科學計算應用為目的，它們鏈接有著名的數(shù)學庫， 如ScaLAPACK. Ninf和Netsolve使用一系列RPC函數(shù)調(diào)用的作為編程接口，用來取代傳統(tǒng)的 庫函數(shù)，通過極少量的代碼修改和重新編譯，應用程序使用這些系統(tǒng)是可能的。這兩個系統(tǒng) 非常相似，所以開發(fā)

12、了一個“橋”，用來轉(zhuǎn)換兩系統(tǒng)間的內(nèi)部數(shù)據(jù)格式，就能使用彼此的資 源。近來，兩個系統(tǒng)能夠與其它的元計算環(huán)境接合，如和Globus Condor系統(tǒng)o Ninf和Netsolve 的不足是被局限在數(shù)學應用上。 3 網(wǎng)格體系結(jié)構(gòu) 描述網(wǎng)格體系結(jié)構(gòu)的目的不是提供對所需的協(xié)議和服務進行完整羅列，而是闡明各組成 部分的需求和關(guān)聯(lián)。一般用“沙漏模型”來描述網(wǎng)格的層次結(jié)構(gòu)，如圖 1，兩頭大中間小， 最上層是應用服務，最下層是各種網(wǎng)格資源，中間層是網(wǎng)格資源管理核心件。同時，每層的 組成和功能可以利用其任意下層的能力和行為來構(gòu)建。并且如圖1 所示的結(jié)構(gòu)抽象層次很高 在設計和實現(xiàn)上幾乎沒作什么限制。 圖

13、1 Globus 協(xié)議結(jié)構(gòu)及與互聯(lián)網(wǎng)協(xié)議的關(guān)系 構(gòu)造層是物理或邏輯實體，它實現(xiàn)本地的具體資源的構(gòu)造層是物理或邏輯實體，它實現(xiàn) 本地的具體資源的操作。連接層定義網(wǎng)格中網(wǎng)絡事務的通信與認證控制的核心協(xié)議，構(gòu)造層 提交的各種資源間的數(shù)據(jù)交換都在這一層的控制下實現(xiàn)，各資源間的認證、安全控制也在這 里實現(xiàn)。資源層的作用是對單個資源實施控制，資源和連接層形成了“沙漏模型”的瓶頸。 匯集層的作用是將資源層提交的受控資源匯集在一起，供虛擬組織［3］的應用程序共享、調(diào) 用。應用層是網(wǎng)格上用戶的應用程序。應用程序通過各層的API調(diào)用相應的服務，再通過服 務調(diào)用網(wǎng)格上的資源來完成任務。 4 網(wǎng)格異構(gòu)性及其解

14、決方法 從哲學的角度來說，同構(gòu)是相對的，異構(gòu)是絕對的4］?；贗nternet的信息系統(tǒng)無處不 存在異構(gòu)性，主要體現(xiàn)在以下方面：計算機硬件平臺的異構(gòu)性，網(wǎng)格中進行計算的服務器可 以是大型機、小型機、工作站或 PC. 這些機器在計算機體系結(jié)構(gòu)和指令系統(tǒng)上的都存在異構(gòu) 性?；A操作系統(tǒng)的異構(gòu)性，網(wǎng)格上計算機的基礎操作系統(tǒng)可以是、Unix Windows NT、Mac 等。操作系統(tǒng)之間的文件系統(tǒng)、命名規(guī)則、文件類型、操作命令的解析和執(zhí)行、進程之間的 通信機制不可能相同。數(shù)據(jù)庫的異構(gòu)性，網(wǎng)格中可以有一個或多個數(shù)據(jù)庫系統(tǒng)。最流行的是 關(guān)系型數(shù)據(jù)庫系統(tǒng)，如、Oracle Sybase、SQL Serve

15、r等。也可采用由不同數(shù)據(jù)模型的數(shù)據(jù)庫， 如關(guān)系、模式、層次、網(wǎng)絡、面向?qū)ο笮蛿?shù)據(jù)庫共同組成一個異構(gòu)數(shù)據(jù)庫系統(tǒng)。此外，還有 通信網(wǎng)絡、應用程序、信息本身的異構(gòu)性。 下面是異構(gòu)性的一些解決辦法： (1)制定統(tǒng)一的規(guī)范、協(xié)議，通過制定統(tǒng)一的規(guī)范和接 口，使網(wǎng)格中的服務標準化，用戶訪問網(wǎng)格中的共享資源都遵循統(tǒng)一的協(xié)議，調(diào)用標準的接 口來獲得所需要的服務。如在網(wǎng)格系統(tǒng)中，可利用Web服務描述語言(WSDL)來描述所有的 資源，屏蔽資源的異構(gòu)性。 (2)采用轉(zhuǎn)換機制和代理，在網(wǎng)格系統(tǒng)中，由于硬件、操作系統(tǒng)、 體系結(jié)構(gòu)、數(shù)據(jù)庫等眾多資源的異構(gòu)性，用戶在請求利用這些異構(gòu)資源時，必須對分配到這 些異構(gòu)資源上的

16、服務請求進行合理的轉(zhuǎn)換。采用代理的方法是一種行之有效的轉(zhuǎn)換機制。 (3) 采用虛擬機(VM)技術(shù)(這也是隱藏異構(gòu)性的一種方法)，用戶通過虛擬機提供的標準接口訪 問異構(gòu)資源，而標準接口的具體實現(xiàn)由各異構(gòu)資源提供者負責落實，因此用戶感覺不到請求 的資源的異構(gòu)性。和Java VM PVM是比較成功的采用虛擬機技術(shù)實現(xiàn)跨平臺、屏蔽異構(gòu)性的 典型例子。Java源程序經(jīng)過編譯成為UniCode代碼，并利用不同操作系統(tǒng)上的Java VM轉(zhuǎn) 化為本地的機器代碼執(zhí)行，從而實現(xiàn)了 Java源程序的平臺無關(guān)性。(4)邏輯與物理的映射， 在網(wǎng)格系統(tǒng)中把物理資源都映射成邏輯資源，網(wǎng)格成為邏輯共享資源的集合。一個或多個物

17、 理資源可以映射到一個邏輯資源，一個物理資源也可以映射成多個邏輯資源。用戶通過訪問 邏輯資源的形式間接訪問物理資源，映射關(guān)系負責屏蔽資源的異構(gòu)性。 URL 是運用邏輯與 物理資源映射技術(shù)的成功實例。 5 網(wǎng)格動態(tài)性及其解決方法 動態(tài)性是網(wǎng)格的另一關(guān)鍵特征，表現(xiàn)在：網(wǎng)格規(guī)模和配置是動態(tài)變化的；網(wǎng)格資源的利 用率和服務質(zhì)量是可調(diào)節(jié)的；網(wǎng)格中服務請求是隨機的；網(wǎng)格中資源故障事件是不可預測的； 網(wǎng)格結(jié)點協(xié)同合作是不固定的。網(wǎng)格的動態(tài)性增加了網(wǎng)格資源利用和管理的復雜性，為了充 分地利用網(wǎng)格中的共享資源，以下是一些解決方法： (1) 預約，由于網(wǎng)格中共享資源的動態(tài)性，一個資源在當前時間是可用的，但不

18、能保證在以 后的某一時刻是可用的。通過預約機制對用戶請求的資源進行預約，保證用戶可以擁有必要 的資源，從而順利地完成應用程序的執(zhí)行。如在賓館預定了某一天的房間，而不用擔心當天 可能定不到房間。然而預約請求也會增加網(wǎng)格內(nèi)新資源協(xié)作的成本［5］。 (2) 協(xié)商，用戶不能無期限地獨占網(wǎng)格中的共享資源。因此，資源的消費者應該與資源的提 供者協(xié)商資源使用的生命期。當請求的共享到達協(xié)商的生命期時，共享資源被回收，以提供 給其它的需要此共享資源的用戶使用。資源的生命期是資源提供者與消費者雙方共同協(xié)商的 結(jié)果。資源的消費者可能希望更長時間地占用此資源，而資源提供者則希望每個消費者占用 資源盡量少的時間，以便

19、更多的消費者可以使用該資源。 (3) -生產(chǎn)者消費者模型方法，網(wǎng)格中可利用的共享資源是動態(tài)的，不斷有新資源產(chǎn)生，也隨 時有因不可預測的原因而變得不可用的資源。生產(chǎn)者消費- 者模型用于管理動態(tài)的資源。當 某些共享資源因利用率過高而負載太重時，消費者將進行排隊等待資源生產(chǎn)者產(chǎn)生的共享資 源，資源的利用將依據(jù)一定的優(yōu)先規(guī)則，公平、有序地進行著，從而保證動態(tài)資源的合理使 用。 (4) 自適應方法，事實上，由于網(wǎng)格資源的動態(tài)特征，共享資源經(jīng)常只有在運行時才能確定。 因此，成功的應用任務必須能夠自我調(diào)節(jié)配置，以適應動態(tài)的網(wǎng)格執(zhí)行環(huán)境，使它們的動作 適應資源特征的不斷變化。例如，在Globus網(wǎng)格工程中

20、提出構(gòu)建一個自適應廣域資源環(huán)境 (Adaptive Wide Area Resource Environment)來配置應用問題和優(yōu)化性能⑸。(5)容錯，資源 故障是無法避免的，也是不可預測的。它影響了應用任務的順利執(zhí)行，降低了服務質(zhì)量。容 錯是解決資源故障問題的有效方法,但也帶來其它一些問題，如降低資源利用率、增加系統(tǒng) 復雜性等。 6 網(wǎng)格服務語義 6.1 Web 服務 Web 服務描述了一種重要的分布式計算示例，不同于 DCE、 CORBA、 Java RMI 這樣 簡單的、基于Internet標準的分布式計算途徑，它強調(diào)異構(gòu)分布式計算。Web服務是一種 中性編程語言、編程模型和系統(tǒng)

21、軟件。 Web 服務標準由 W3C 等標準組織定義，已成為主 要新工業(yè)技術(shù)的基礎，如 Microsoft 的.NET、IBM 的 Dynamic e-Business 和的 Sun SunONE. Web服務中有3個很重要的標準：和SOAP, WSDL WSInspection. Web服務框架有兩個優(yōu)勢： (1)在異構(gòu)環(huán)境里支持動態(tài)發(fā)現(xiàn)和組合服務，定義注冊機制和發(fā)現(xiàn)機制的接口，并為具 體的接口動態(tài)生成基于綁定的代理機制； (2)廣泛使用Web服務機制意味著基于Web服務的框架可以利用許多工具及擴展服務, 如 WSDL 處理器、工作流系統(tǒng)等。 6.2 Grid 服務 Grid 服務是一

22、種提供良好接口集和遵循具體約定及協(xié)議的 Web 服務［6］。 Grid 服務的 接口集強調(diào)資源的發(fā)現(xiàn)、動態(tài)服務創(chuàng)建、生命周期管理、通知和可管理性。 Grid 服務的約 定和協(xié)議強調(diào)命名、可升級性、授權(quán)和流控制。今后， Grid 服務還將考慮授權(quán)和并發(fā)控制。 Grid 服務的接口和約定，特別考慮了關(guān)系到臨時服務實例管理的行為。虛擬組織參與者維護 的不僅是一個永久靜態(tài)的服務集，它們需要動態(tài)地創(chuàng)建新的臨時服務實例，這些實例處理與 特定的活動狀態(tài)相聯(lián)系的管理和交互，當活動狀態(tài)不再需要時，服務就被撤消。 6?3 OGSA、 Globus Toolkits、 Web 的聯(lián)系 開放式網(wǎng)格服務體系結(jié)構(gòu)(O

23、GSA)(是將網(wǎng)格關(guān)鍵技術(shù)包括Globus Toolkits)和Web服務機 制集成起來，面向網(wǎng)格服務而創(chuàng)建的一種分布系統(tǒng)框架。 OGSA 的基本假定是把任何東西 都表示成服務［6］，具體地說，就是 Grid 服務。計算資源、存儲資源、網(wǎng)絡、數(shù)據(jù)庫等都是 服務。一個 Grid 服務實例就是滿足一組約定和規(guī)范的服務。采用這種統(tǒng)一的面向服務的模 型意味著環(huán)境中的任意構(gòu)件都是虛擬的oOGSA的產(chǎn)生代表了 Globus Toolkits 2.0的自然發(fā)展， 雖 然在Globus Toolkits中存在著工廠、注冊、可靠的和安全的調(diào)用等概念，但不如在OGSA 中的通用、靈活。GlobusToolkit

24、s是OGSA實現(xiàn)的基礎。OGSA的完善也代表了服Web務的 自然發(fā)展。通過利用存在的Web服務技術(shù)集成支持臨時的、有狀態(tài)的服務實例，OGSA擴展 了 Web服務框架的能力。 7 結(jié)語 網(wǎng)格是新生事物，尚無統(tǒng)一的認識。隨著網(wǎng)格技術(shù)的成熟和廣泛應用，基于nternet的 全球統(tǒng)一計算平臺必將建立，高性能計算的春天就將來臨，求解超級挑戰(zhàn)問題變得可能和簡 單。因此我們認為：網(wǎng)格起源于高性能計算，必將最終服務于高性能計算。的格式，向EIS 的硬信息庫和軟信息庫中提供信息。 本文針對EIS應具備軟信息服務的特殊功能，提出了 EIS的一個六部件結(jié)構(gòu)框架。本結(jié) 構(gòu)框架與傳統(tǒng)的、和MIS DSS以往的EI

25、S結(jié)構(gòu)框架的區(qū)別在于：在本結(jié)構(gòu)框架中不僅具有獲 取與提供硬信息的部件，而且具有軟信息的獲取以及軟信息的管理部件。與和MIS DSS的另 一個區(qū)別是，在本框架結(jié)構(gòu)中集成了供高層管理者進行信息交漩)溝通的軟件工具。從而， 可以實現(xiàn)為高層管理者提供硬、軟信息的服務功能，又使EIS具有信息交流工具的作用，這 與高層管理者的工作要求是相吻合的。本框架在筆者開發(fā)的“陜西省國有資產(chǎn)運行監(jiān)測評價 系統(tǒng)(SGZJP-EIS) ”中已得到應用，證明其是合理的、可行的和實用的。 參考文獻 1 . 畢春斌 . 經(jīng)理信息系統(tǒng)的研究展望 , 決策與決策支持系統(tǒng) 1997, (3) 2 Rainer R K, Watson H J. What Does It for Successful Executive Information System?. Decision Support System, 1995, (14): 147-156 3 Watson H J. Including Soft Information in EISs. Information System Management, 1996, Summer, 1996: 66-77 4, .王鎖柱李懷祖 (EIS 高層管理信息系統(tǒng) )研究. 情報科學, 1999, 17(3): 228-231