鐘 敏，陳朝根，葛宇飛，亓雪冬，梁 鴻，仝兆岐

(1.中國石油大學(xué)計(jì)算機(jī)與通信工程學(xué)院，山東青島266580;2.中國石油大學(xué)地球科學(xué)與技術(shù)學(xué)院，山東青島266580)

在地球物理勘探領(lǐng)域，疊前深度偏移、疊前反演和全波形地震反演等方法處理的數(shù)據(jù)量和計(jì)算量極其巨大，是高性能計(jì)算技術(shù)應(yīng)用的主要領(lǐng)域［1-2］。長期以來中國石油行業(yè)的地震資料處理主要依賴從國外引進(jìn)的昂貴專業(yè)處理軟件，系統(tǒng)架構(gòu)主要采用高性能集群計(jì)算機(jī)系統(tǒng)。近年來，隨著國產(chǎn)自主知識產(chǎn)權(quán)處理軟件的研發(fā)與應(yīng)用，PC集群技術(shù)逐漸在行業(yè)的數(shù)據(jù)處理中得到應(yīng)用和推廣［3］。但是隨著地震勘探數(shù)據(jù)量與計(jì)算量的增長，亟需借助新的高性能計(jì)算技術(shù)進(jìn)一步擴(kuò)大處理規(guī)模。另一方面，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)格計(jì)算［4-5］和云計(jì)算［6］等新型網(wǎng)絡(luò)計(jì)算模式逐步被引入高性能計(jì)算領(lǐng)域，用于解決更大范圍的資源整合與協(xié)同計(jì)算［7-14］。國際上，Globus項(xiàng)目是最具影響力的網(wǎng)格計(jì)算項(xiàng)目之一，其定義的網(wǎng)格協(xié)議和中間件實(shí)現(xiàn)Globus Toolkit［15］已成為網(wǎng)格界事實(shí)上的標(biāo)準(zhǔn)，國際上許多成功的網(wǎng)格項(xiàng)目都是基于Globus Tookit所提供的協(xié)議及服務(wù)建設(shè) 的，如 NorduGrid［7］、EGEE［8］、UK e-Science［9］、TeraGrid［10］等。在地震勘探集成環(huán)境高性能計(jì)算平臺基礎(chǔ)設(shè)施的建設(shè)過程中，需要集成局域分布、異構(gòu)的高性能計(jì)算與存儲資源，為地震勘探應(yīng)用提供海量數(shù)據(jù)處理服務(wù)。利用網(wǎng)格技術(shù)可以將企業(yè)內(nèi)部積累的豐富的高性能資源集成起來，屏蔽系統(tǒng)的分布、異構(gòu)等特性，為用戶提供統(tǒng)一部署的管理和監(jiān)控界面，實(shí)現(xiàn)系統(tǒng)的統(tǒng)一管理、配置和有效利用，協(xié)同完成海量數(shù)據(jù)處理任務(wù)，從而提高地震資料處理效率、縮短處理周期，對降低地震勘探處理成本也有著重要的理論和現(xiàn)實(shí)意義。筆者根據(jù)地震資料數(shù)據(jù)處理應(yīng)用特征，基于Gloubs Toolkit構(gòu)建高性能分布并行處理平臺，實(shí)現(xiàn)地震資料分布并行處理的初步應(yīng)用。

1 地震資料數(shù)據(jù)處理特征分析

在石油勘探開發(fā)數(shù)據(jù)中，數(shù)據(jù)量最大的是地球物理數(shù)據(jù)，其中主要是地震數(shù)據(jù)。地震資料主要有以下幾個(gè)特征:

(1)海量數(shù)據(jù)規(guī)模。地震勘探項(xiàng)目規(guī)模一般為數(shù)百至上千平方千米，原始地震數(shù)據(jù)量通常為幾百GB，甚至達(dá)到TB數(shù)量級。隨著高密度地震勘探技術(shù)的應(yīng)用，未來地震勘探采集數(shù)據(jù)量將達(dá)到百TB的量級，勢必需要進(jìn)行大規(guī)模的并行處理。

(2)只讀數(shù)據(jù)。地震資料的另一個(gè)特點(diǎn)是“一次采集，多次使用”。原始數(shù)據(jù)通常是只讀的，處理程序通常只讀取數(shù)據(jù)，生成的中間數(shù)據(jù)一般也只用于后續(xù)處理程序的讀取，而不會對其進(jìn)行修改。這就簡化了網(wǎng)格環(huán)境中地震資料的分布數(shù)據(jù)管理策略，不需要考慮數(shù)據(jù)的一致性問題。

(3)并行化特征明顯。地震資料特殊的勘探與采集流程使地震資料具有天然的可分性與并行化特征。一方面，地震資料原始數(shù)據(jù)是按束、線、炮、道等方式組織。另一方面，地震資料的處理通常在各種抽道集上進(jìn)行，如共炮點(diǎn)、共中心點(diǎn)、共反射點(diǎn)道集等，各道集處理任務(wù)相對獨(dú)立，任務(wù)之間需要很少甚至不需要通信。

利用網(wǎng)格技術(shù)實(shí)現(xiàn)大規(guī)模并行處理的過程中，可以將地震資料按道集劃分，分發(fā)到各高性能網(wǎng)格節(jié)點(diǎn)，采用單程序多數(shù)據(jù)并行方式處理。在任務(wù)的劃分處理過程中，網(wǎng)格基礎(chǔ)設(shè)施要解決多管理域高性能資源的統(tǒng)一描述與選擇、任務(wù)的劃分與分配、作業(yè)的描述與調(diào)度、跨管理域的作業(yè)執(zhí)行管理，以及整個(gè)過程中地震數(shù)據(jù)和結(jié)果的傳輸與管理等問題。

2 應(yīng)用網(wǎng)格體系結(jié)構(gòu)

地震勘探應(yīng)用網(wǎng)格環(huán)境下，資源具有局域分布、動態(tài)、異構(gòu)、跨管理域等特征。共享的高性能資源需要借助網(wǎng)格中間件隱藏與應(yīng)用無關(guān)的物理特性，經(jīng)過抽象和虛擬化，加入網(wǎng)格虛擬社區(qū)，為用戶提供數(shù)據(jù)處理和存儲服務(wù)。應(yīng)用網(wǎng)格平臺的核心任務(wù)包括:①資源統(tǒng)一描述與狀態(tài)監(jiān)控;②使用統(tǒng)一的接口實(shí)現(xiàn)海量計(jì)算任務(wù)在多個(gè)分布資源上的分發(fā)、調(diào)度與實(shí)時(shí)監(jiān)控;③對海量數(shù)據(jù)及處理結(jié)果數(shù)據(jù)的存儲、傳輸和管理。因此，建立如圖1所示的應(yīng)用網(wǎng)格體系結(jié)構(gòu)。本文主要解決前兩個(gè)核心任務(wù)，數(shù)據(jù)管理相關(guān)服務(wù)參見文獻(xiàn)［16］。

圖1 應(yīng)用網(wǎng)格體系結(jié)構(gòu)Fig.1 Grid architecture for seismic domain

應(yīng)用網(wǎng)格體系結(jié)構(gòu)從邏輯上自下而上分為本地資源層、網(wǎng)格基礎(chǔ)服務(wù)層、網(wǎng)格高級服務(wù)層、環(huán)境工具層和應(yīng)用層。

(1)本地資源層為地震資料處理提供高性能計(jì)算和存儲資源，主要由局域分布的高性能集群、高性能工作站和存儲服務(wù)器系統(tǒng)組成。這些資源節(jié)點(diǎn)通過千兆以太網(wǎng)互聯(lián)，節(jié)點(diǎn)內(nèi)資源硬件與軟件系統(tǒng)同構(gòu)，安裝了本地文件系統(tǒng)與作業(yè)管理軟件。

(2)網(wǎng)格基礎(chǔ)服務(wù)層通過Globus Toolkit相關(guān)協(xié)議規(guī)范與中間件為位于不同管理域的資源提供統(tǒng)一的安全服務(wù)，實(shí)現(xiàn)各網(wǎng)格資源節(jié)點(diǎn)的信息采集與匯聚、網(wǎng)格作業(yè)向資源節(jié)點(diǎn)的本地作業(yè)管理系統(tǒng)的映射、網(wǎng)格數(shù)據(jù)傳輸和副本定位等服務(wù)。

(3)網(wǎng)格高級服務(wù)層為上層提供資網(wǎng)格資源信息的查詢、存檔、信息分析等服務(wù);為處理任務(wù)定義作業(yè)模板，實(shí)現(xiàn)作業(yè)提交管理、作業(yè)解析、作業(yè)與資源隊(duì)列管理、作業(yè)與資源匹配與調(diào)度;實(shí)現(xiàn)地震數(shù)據(jù)的統(tǒng)一描述、檢索和定位等服務(wù);根據(jù)應(yīng)用需求提供高可用等其他服務(wù)。

(4)環(huán)境工具層為上層提供平臺編程接口、友好的用戶交互界面、適合網(wǎng)格環(huán)境的應(yīng)用開發(fā)語言、函數(shù)庫和開發(fā)工具。

(5)應(yīng)用層是地震資料處理領(lǐng)域應(yīng)用需求的具體體現(xiàn)?；赪eb的網(wǎng)格Portal便于領(lǐng)域用戶監(jiān)控網(wǎng)格環(huán)境、提交網(wǎng)格作業(yè)、管理應(yīng)用數(shù)據(jù);根據(jù)地震資料處理應(yīng)用特征，利用網(wǎng)格平臺提供的編程接口和函數(shù)庫，對地震數(shù)據(jù)進(jìn)行劃分并分配到一個(gè)或多個(gè)網(wǎng)格節(jié)點(diǎn)進(jìn)行并行處理。

本文主要工作是在基于Globus Toolkit構(gòu)建的網(wǎng)格基礎(chǔ)服務(wù)層上實(shí)現(xiàn)高級服務(wù)層的各種服務(wù);為網(wǎng)格應(yīng)用開發(fā)提供應(yīng)用接口;分析疊前深度偏移處理流程，實(shí)現(xiàn)網(wǎng)格并行處理。其中，以實(shí)現(xiàn)網(wǎng)格作業(yè)-資源映射為目標(biāo)的調(diào)度相關(guān)服務(wù)是整個(gè)平臺要解決的核心問題。

3 應(yīng)用網(wǎng)格平臺關(guān)鍵技術(shù)

3.1 網(wǎng)格資源信息模型

資源監(jiān)控相關(guān)服務(wù)是應(yīng)用網(wǎng)格平臺的重要組成部分，一方面要為平臺資源管理和監(jiān)控提供全局統(tǒng)一的視圖，另一方面要為網(wǎng)格調(diào)度系統(tǒng)提供可用計(jì)算資源列表及其動態(tài)信息，以指導(dǎo)調(diào)度策略的實(shí)施。

在應(yīng)用網(wǎng)格環(huán)境中，資源的加入與退出是動態(tài)發(fā)生的，需要保證網(wǎng)格環(huán)境具有較好的可擴(kuò)展性;各網(wǎng)格資源的使用與管理首先要遵守其本地管理策略，網(wǎng)格用戶不能超越權(quán)限使用網(wǎng)格資源。因此，應(yīng)用網(wǎng)格中的資源組織采用樹狀層次型拓?fù)浣Y(jié)構(gòu)，資源信息模型也組織為如圖2所示的資源信息樹。

圖2 資源信息樹Fig.2 Information tree of resource

網(wǎng)格資源信息可分為靜態(tài)信息和動態(tài)信息兩類。靜態(tài)信息如處理器相關(guān)信息、內(nèi)存容量、操作系統(tǒng)信息、存儲空間以及網(wǎng)絡(luò)地址信息等，基本不隨資源狀態(tài)變化而變化。動態(tài)信息包括處理器負(fù)載、內(nèi)存消耗情況、網(wǎng)絡(luò)負(fù)載、磁盤可用空間、網(wǎng)絡(luò)負(fù)載等，這些信息隨著資源負(fù)載的變化而動態(tài)變化，需要實(shí)時(shí)動態(tài)更新。各網(wǎng)格資源節(jié)點(diǎn)的靜態(tài)信息通常由本地調(diào)度器(如 PBS、Condor、Fork等)注冊到 Globus Toolkit的信息服務(wù)組件MDS的信息索引服務(wù)。資源動態(tài)信息通過各本地工作節(jié)點(diǎn)的信息采集工具收集并定時(shí)推送到MDS本地索引服務(wù)，進(jìn)一步向上匯聚到網(wǎng)格社區(qū)索引層的全局索引服務(wù)。

3.2 層次式分級調(diào)度框架

在分布式系統(tǒng)中，常用的調(diào)度模式主要有集中式調(diào)度、分布式調(diào)度和層次式調(diào)度3種。其中，集中式調(diào)度容易使調(diào)度主機(jī)過載，從而成為系統(tǒng)瓶頸;分布式調(diào)度由于缺乏系統(tǒng)全局信息，組織困難，實(shí)現(xiàn)比較復(fù)雜。層次式調(diào)度結(jié)合了集中式調(diào)度的高效和分布式調(diào)度組織靈活、易于擴(kuò)展的優(yōu)點(diǎn)，在分布的多個(gè)本地調(diào)度系統(tǒng)之上引入全局調(diào)度中心，從系統(tǒng)全局的角度統(tǒng)一協(xié)調(diào)本地調(diào)度系統(tǒng)的工作，可以更加高效地進(jìn)行作業(yè)分配、資源監(jiān)控等任務(wù)。因此，應(yīng)用網(wǎng)格平臺采用層次式分級調(diào)度模式，調(diào)度框架如圖3所示。應(yīng)用網(wǎng)格用戶提交的作業(yè)在協(xié)同層和本地調(diào)度層兩個(gè)層次上實(shí)現(xiàn)調(diào)度。

圖3 應(yīng)用網(wǎng)格層次式分級調(diào)度框架Fig.3 Hierarchical scheduling framework of grid

資源層的高性能資源通過標(biāo)準(zhǔn)的信息發(fā)布接口向本地信息中心注冊并動態(tài)更新。信息中心進(jìn)一步向上層社區(qū)索引中心的全局索引服務(wù)匯聚可用資源信息。社區(qū)索引中心為元調(diào)度提供全局可用的資源列表。

全局調(diào)度單元的元調(diào)度器是整個(gè)層次框架的核心。Globus Toolkit工具包實(shí)現(xiàn)了網(wǎng)格作業(yè)提交服務(wù)組件GRAM，實(shí)現(xiàn)了一個(gè)獨(dú)立作業(yè)向網(wǎng)格節(jié)點(diǎn)的本地調(diào)度單元的映射，由本地調(diào)度中心將作業(yè)分配到指定工作節(jié)點(diǎn)。但是GRAM組件不具備統(tǒng)一的資源管理、作業(yè)管理和作業(yè)-資源匹配調(diào)度等功能，需要元調(diào)度器對多個(gè)管理域的網(wǎng)格資源進(jìn)行管理，使網(wǎng)格用戶能夠透明地訪問與使用網(wǎng)格資源，完成處理任務(wù)，更好地實(shí)現(xiàn)資源共享和協(xié)作。

元調(diào)度器將匯聚的資源按資源屬性特征進(jìn)行模糊聚類，形成具有并發(fā)作業(yè)協(xié)同能力的資源集合，即邏輯共同體。接收地震資料處理作業(yè)請求后，選擇適當(dāng)?shù)恼{(diào)度策略將作業(yè)分配給匹配的一個(gè)或多個(gè)邏輯共同體，并將調(diào)度信息和待處理數(shù)據(jù)發(fā)送到邏輯共同體中的資源實(shí)體所屬的本地調(diào)度單元。最終由本地調(diào)度單元的調(diào)度中心實(shí)現(xiàn)作業(yè)的分發(fā)、狀態(tài)監(jiān)控和結(jié)果回收。

通過元調(diào)度器系統(tǒng)，網(wǎng)格用戶可以使用簡單的命令或者鼠標(biāo)點(diǎn)擊操作實(shí)現(xiàn)作業(yè)提交，等待作業(yè)自動調(diào)度執(zhí)行，監(jiān)控作業(yè)狀態(tài)并獲取執(zhí)行結(jié)果，平臺作業(yè)調(diào)度流程如圖4所示。元調(diào)度器大大增強(qiáng)了應(yīng)用網(wǎng)格平臺的可操作性，方便了用戶的使用。

圖4 元調(diào)度器調(diào)度流程Fig.4 Flow chart of meta scheduler

3.3 基于模糊聚類的資源聚合

在網(wǎng)格環(huán)境中，資源具有動態(tài)、異構(gòu)特點(diǎn)，在進(jìn)行網(wǎng)格作業(yè)調(diào)度的過程中需要從大量的網(wǎng)格資源中篩選能夠勝任作業(yè)執(zhí)行的資源，這無疑增加了整個(gè)調(diào)度周期的時(shí)間花費(fèi)。采用模糊聚類方法［17］對網(wǎng)格資源進(jìn)行統(tǒng)計(jì)與分類，形成邏輯共同體，為調(diào)度器的資源匹配縮小了資源搜索空間，從而有效地減少網(wǎng)格作業(yè)調(diào)度的時(shí)間?；静襟E如下:

設(shè)資源節(jié)點(diǎn)集合為 N={N1，N2，…，Nn}，節(jié)點(diǎn)Ni的計(jì)算能力用向量 Pi=(pi1，pi2，…，pis)表示。其中pik(k=1，2，…，s)表示節(jié)點(diǎn)Ni的第k項(xiàng)屬性值，如網(wǎng)絡(luò)性能、處理器性能、內(nèi)存性能、硬盤性能等。對于集群節(jié)點(diǎn)來說各屬性值取所有工作節(jié)點(diǎn)對應(yīng)屬性值的均值。所有資源節(jié)點(diǎn)的計(jì)算能力構(gòu)成計(jì)算力矩陣 P={pik|i=1，2，…，n;k=1，2，…，s}。

(1)由計(jì)算力矩陣P求出第k個(gè)屬性的均值tk和均方差Sk，根據(jù)下式對P進(jìn)行標(biāo)準(zhǔn)化處理得到標(biāo)準(zhǔn)化矩陣P′={p′ik|i=1，2，…，n;k=1，2，…，s}:

(2)根據(jù)如下極值標(biāo)準(zhǔn)化公式將數(shù)據(jù)歸一化到［0，1］區(qū)間:

得到 P″={p″ik|i=1，2，…，n;k=1，2，…，s}。其中，p′kmax和 p′kmin分別表示 p′ik(i=1，2，…，n)的最大值和最小值。

(3)根據(jù)指數(shù)相似系數(shù)公式計(jì)算資源節(jié)點(diǎn)集合的模糊相似關(guān)系矩陣～Rs={rij|i=1，2，…，n;j=1，2，…，n}:

式中，rij為兩個(gè)資源節(jié)點(diǎn)的相似度;為第k個(gè)屬性的方差。

(4)對模糊相似關(guān)系矩陣進(jìn)行合成操作，形成模糊等價(jià)關(guān)系矩陣R。通過設(shè)置不同的截集閾值λ，可以將資源節(jié)點(diǎn)集合N劃分為不同精度的等價(jià)類L={lr1，lr2，…，lrm}。其中 lrj為若干資源節(jié)點(diǎn)構(gòu)成的集合，即邏輯共同體。

(5)根據(jù)地震資料處理領(lǐng)域應(yīng)用對資源屬性的需求，為資源各屬性設(shè)置權(quán)值wi(i=1，…，n)，根據(jù)式(4)計(jì)算各邏輯共同體的平均計(jì)算力ˉvj，并對其進(jìn)行排序，為元調(diào)度器進(jìn)行資源選擇提供依據(jù)。

其中，ej為第j個(gè)邏輯共同體的資源節(jié)點(diǎn)數(shù)量。

3.4 基于模糊聚類的并行作業(yè)劃分策略

以二維Fourier有限差分法疊前深度偏移處理(FFD)為例，綜合應(yīng)用特征和資源負(fù)載兩方面因素提出基于模糊聚類的并行作業(yè)劃分策略。

3.4.1 FFD算法流程分析

二維FFD算法主要分?jǐn)?shù)據(jù)準(zhǔn)備、偏移預(yù)處理、對滿足偏移條件的道集進(jìn)行偏移處理和結(jié)果疊加整理與輸出4個(gè)階段。算法流程如下:

(1)變量初始化，設(shè)置基本參數(shù)，打開地震數(shù)據(jù)文件和速度文件，為后續(xù)記錄數(shù)據(jù)和速度數(shù)據(jù)的讀取操作做好準(zhǔn)備。

(2)偏移預(yù)處理，即讀取共炮點(diǎn)道集數(shù)據(jù)，判斷是否滿足起偏條件。若不滿足，則繼續(xù)讀取下一個(gè)共炮點(diǎn)道集數(shù)據(jù)進(jìn)行判斷;若滿足，則進(jìn)行下一步。

(3)對共炮點(diǎn)道集數(shù)據(jù)進(jìn)行偏移處理。首先將模擬震源和記錄數(shù)據(jù)變換到頻率域，并求取背景速度;再將模擬震源和炮集記錄變換到頻率-波數(shù)域，進(jìn)行相移處理;然后將模擬震源和炮集記錄變換到頻率-空間域，進(jìn)行時(shí)移處理;最后在頻率-空間域進(jìn)行有限差分項(xiàng)補(bǔ)償項(xiàng)計(jì)算。

(4)判斷是否已處理完所有炮集數(shù)據(jù)。如果未完成，則返回步驟(3)，讀取下一個(gè)共炮點(diǎn)道集記錄進(jìn)行處理;如果已完成，則進(jìn)行下一步。

(5)進(jìn)行結(jié)果的疊加整理，輸出偏移剖面到結(jié)果文件中，關(guān)閉相關(guān)的地震數(shù)據(jù)體文件和速度文件。

從時(shí)間復(fù)雜度來看，偏移處理包含了復(fù)數(shù)數(shù)組的快速傅立葉變換及其逆變換、大數(shù)組的三重循環(huán)疊加，是處理時(shí)間消耗的關(guān)鍵部分。從算法流程來看，“炮”是偏移處理的基本單位，各炮數(shù)據(jù)處理過程中相互無通信，耦合度較低，僅在結(jié)果回收中需將偏移結(jié)果進(jìn)行疊加。因此，可以按“炮”為基本單位進(jìn)行并行處理，最后進(jìn)行結(jié)果的疊加，任務(wù)劃分時(shí)只需計(jì)算出每個(gè)工作節(jié)點(diǎn)要處理的起止炮號即可。

3.4.2 并行作業(yè)劃分策略

(1)根據(jù)下式計(jì)算邏輯共同體集合L對應(yīng)的任務(wù)劃分集合 A={ai|i=1，2，…，t}:

其中ai為邏輯共同體lri要處理的炮集數(shù)，nxshot為待處理的炮集總數(shù)。

(2)根據(jù)P計(jì)算各邏輯共同體所執(zhí)行任務(wù)的起始炮編號start_nxshoti和結(jié)束炮編號end_nxshoti。其中，當(dāng) i=1 時(shí)，start_nxshoti=1，end_nxshoti=ai;當(dāng)i＞1時(shí)，start_nxshoti=end_nxshoti-1+1，end_nxshoti=start_nxshoti+ai。

(3)根據(jù) start_nxshoti和 end_nxshoti計(jì)算起始道編號start_tracei=(start_nxshoti-1)×shot_trace+1和結(jié)束道編號end_tracei=end_nxshoti×shot_trace。其中shot_trace為一炮中的總道數(shù)。

(4)對每個(gè)邏輯共同體所執(zhí)行任務(wù)進(jìn)行二次劃分，將任務(wù)分配到具體的工作節(jié)點(diǎn)。根據(jù)邏輯共同體內(nèi)資源性能基本同構(gòu)的特點(diǎn)，進(jìn)行均勻劃分并按步驟(2)、(3)中的公式計(jì)算各資源節(jié)點(diǎn)分配數(shù)據(jù)的起始道編號和結(jié)束道編號;若資源節(jié)點(diǎn)為集群節(jié)點(diǎn)，則元調(diào)度器將作業(yè)分配到集群管理節(jié)點(diǎn)，在本地調(diào)度層進(jìn)一步劃分。

由于在實(shí)際應(yīng)用環(huán)境中本地調(diào)度層各系統(tǒng)的工作節(jié)點(diǎn)負(fù)載是動態(tài)變化的，可根據(jù)作業(yè)實(shí)際性能進(jìn)一步按上述策略進(jìn)行劃分處理。

4 應(yīng)用網(wǎng)格平臺應(yīng)用

4.1 測試環(huán)境

應(yīng)用網(wǎng)格環(huán)境由兩個(gè)虛擬社區(qū)SL和UPC組成。社區(qū)內(nèi)各網(wǎng)格節(jié)點(diǎn)通過千兆以太網(wǎng)互聯(lián)，社區(qū)間通過Internet互聯(lián)，每個(gè)集群管理節(jié)點(diǎn)均部署了GT4.2。

社區(qū)SL包括一個(gè)98個(gè)節(jié)點(diǎn)高性能集群系統(tǒng)SL1、10個(gè)高性能工作站節(jié)點(diǎn)組成的工作站集群SL2及一個(gè)存儲服務(wù)器。其中SL1集群中每個(gè)工作節(jié)點(diǎn)本地硬盤40 G，內(nèi)存4 G，CPU采用Intel(R)Xeon(TM)CPU 3.20 GHz×2;SL2工作站集群中每個(gè)工作節(jié)點(diǎn)本地硬盤1 T，內(nèi)存8 G，CPU采用AMD 2×Opteron 2218;存儲服務(wù)器網(wǎng)絡(luò)硬盤500 G。

社區(qū)UPC包括8節(jié)點(diǎn)的微機(jī)集群UPC1、6節(jié)點(diǎn)微機(jī)集群UPC2和12個(gè)節(jié)點(diǎn)高性能集群UPC3。其中集群UPC1中每個(gè)工作節(jié)點(diǎn)CPU為3 GHz，內(nèi)存512 M，配置安裝了NFS文件系統(tǒng)和PBS集群作業(yè)管理軟件;集群UPC2中每個(gè)工作節(jié)點(diǎn)CPU為1.6 GHz，內(nèi)存1 G，配置安裝了NFS文件系統(tǒng)和Condor集群作業(yè)管理軟件;集群UPC3中每個(gè)工作節(jié)點(diǎn)CPU 采用Intel Xeon E5-2670 CPU 2.6 GHz×2，內(nèi)存32 GB，存儲服務(wù)器12 TB，配置安裝了NFS文件系統(tǒng)和Platform LSF作業(yè)管理軟件。

4.2 基于Marmousi模型地震波場正演模擬

在平臺上選擇集群UPC1和集群UPC2進(jìn)行Marmousi模型地震波有限差分波場正演處理，以驗(yàn)證平臺對不同集群系統(tǒng)的支持。整個(gè)正演任務(wù)共放368炮，震源從0開始，每25 m放一炮，每炮放置368個(gè)檢波器，道間距為25 m，采樣點(diǎn)為726個(gè)，采樣間隔為4 ms。震源子波采用Ricker子波，主頻率25 Hz。處理時(shí)間190 min，平均7.2 min/炮。正演模擬生成的零偏移距剖面如圖5所示。通過采用單炮加權(quán)平均參考時(shí)間計(jì)算加速比為13.25，效率比較理想。

圖5 Marmousi零偏移距剖面合成記錄Fig.5 Synthetic seismogram of Marmousi zero offset section

4.3 Marmousi模型FFD疊前深度偏移

在平臺上從集群UPC3分別按照5組方案分別選擇 2、3、4、5、6 個(gè)節(jié)點(diǎn)，對 Marmousi模型按炮集劃分進(jìn)行了并行處理。其中輸入炮數(shù)為240炮，總道數(shù)23040，水平采樣間隔25 m，深度采樣間隔4 m，子波頻率25 HZ，速度模型水平采樣點(diǎn)數(shù)249，深度采樣點(diǎn)數(shù)750。各工作節(jié)點(diǎn)處理道數(shù)和處理時(shí)間如表1和表2所示。

表1 各工作節(jié)點(diǎn)處理道數(shù)Table 1 Distribution of gathers on each worker

整個(gè)處理過程中使用的時(shí)間主要用于疊前偏移。由于Marmousi模型前102炮中參與偏移的道數(shù)是依次遞增的，從103炮開始每炮的所有道都參與了偏移。雖然每個(gè)節(jié)點(diǎn)劃分炮數(shù)不同，從表2中黑體數(shù)字部分可以看出在所有道都參與偏移的節(jié)點(diǎn)上，處理時(shí)間基本相當(dāng)，說明作業(yè)劃分策略是有效的。

表2 各工作節(jié)點(diǎn)處理時(shí)間Table 2 Processing time on each worker

4.4 實(shí)際生產(chǎn)數(shù)據(jù)處理

在應(yīng)用網(wǎng)格平臺和某油田基于集群系統(tǒng)的神通軟件處理平臺上運(yùn)行了積分法疊前時(shí)間偏移程序，處理了某研究區(qū)的600條測線1000個(gè)點(diǎn)的數(shù)據(jù)，以驗(yàn)證應(yīng)用平臺的穩(wěn)定性與執(zhí)行效率。處理過程中，均基于CMP道集均勻分配任務(wù)。

網(wǎng)格平臺上選擇集群SL1的98個(gè)節(jié)點(diǎn)和SL2的一個(gè)工作站節(jié)點(diǎn)進(jìn)行數(shù)據(jù)處理，處理時(shí)間為19980 s，結(jié)果見圖6。在神通平臺上選用120個(gè)集群節(jié)點(diǎn)，處理時(shí)間18026 s，處理結(jié)果見圖7。

圖6 應(yīng)用網(wǎng)格平臺處理結(jié)果Fig.6 Processing result on grid platform

圖7 神通平臺處理結(jié)果Fig.7 Processing result on STseis platform

兩種平臺處理結(jié)果一致，處理時(shí)間相當(dāng)。說明在應(yīng)用網(wǎng)格平臺上能夠成功部署地震勘探應(yīng)用程序，處理地震數(shù)據(jù)，并且效率和常用的神通平臺基本一致，優(yōu)勢在于能夠?qū)崿F(xiàn)集群間的協(xié)同計(jì)算，進(jìn)一步擴(kuò)大處理的規(guī)模。

5 結(jié)束語

利用網(wǎng)格技術(shù)為地震勘探領(lǐng)域海量數(shù)據(jù)處理需求及行業(yè)豐富的高性能資源整合需求建立了分布并行處理平臺。成功部署了包含兩個(gè)虛擬社區(qū)的應(yīng)用網(wǎng)格平臺，共整合5個(gè)異構(gòu)的集群系統(tǒng)。在平臺上進(jìn)行了Marmousi模型地震波場正演模擬、基于模糊聚類作業(yè)劃分策略的疊前深度偏移并行處理、積分法疊前時(shí)間偏移的并行處理。平臺運(yùn)行穩(wěn)定，處理結(jié)果正確，同等資源規(guī)模情況下與單集群上并行處理效率相當(dāng)。利用分布并行處理平臺能夠?qū)⒏嗟募嘿Y源整合在一起，擴(kuò)大地震資料處理規(guī)模，縮短處理周期。在FFD并行作業(yè)劃分處理過程中，由于FFD偏移的關(guān)鍵計(jì)算量都集中在偏移處理的步驟，不同的炮集雖然包含道數(shù)相同，但是實(shí)際參加偏移計(jì)算的道數(shù)并不一樣，從而產(chǎn)生了數(shù)據(jù)傾斜效應(yīng)，任務(wù)執(zhí)行時(shí)間分布并不完全均勻。今后工作應(yīng)進(jìn)一步結(jié)合應(yīng)用特征優(yōu)化作業(yè)劃分策略。

［1］ 張軍華，臧勝濤，單聯(lián)瑜，等.高性能計(jì)算的發(fā)展現(xiàn)狀及趨勢［J］.石油地球物理勘探，2010，45(6):918-925.

ZHANG Jun-hua，ZANG Sheng-tao，SHAN Lian-yu，et al.Development and trend of high performance computing［J］.Oil Geophysical Prospecting，2010，45(6):918-925.

［2］ 趙改善.我們需要多大和多快的計(jì)算機(jī)［J］.勘探地球物理進(jìn)展，2004，27(1):22-28.

ZHAO Gai-shan.How big and fast computers can meet our needs［J］.Progress in Exploration Geophysics，2004，27(1):22-28.

［3］ 張軍華，雷凌，仝兆岐.PC Cluster技術(shù)的國內(nèi)外現(xiàn)狀與發(fā)展趨勢［J］.石油物探，2003，42(4):557-561.

ZHANG Jun-hua，LEI Ling，TONG Zhao-qi.Present situation and developing trend of PC Cluster technology［J］.Geophysical Prospecting for Petroleum，2003，42(4):557-561.

［4］ FOSTER I，KESSELMAN C，TUECKE S.The anatomy of the grid:enabling scalable virtual organizations［J］.International Journal of High Performance Computing Applications，2001，15(3):200-222.

［5］ FOSTER I，KESSELMAN C，NICK J M，et al.Grid services for distributed system integration［J］.Computer，2002，35(6):37-46.

［6］ MELL P，GRANCE T.The NIST definition of cloud computing［J］.National Institute of Standards and Technology，2009，53(6):50.

［7］ SMIRNOVA O，EEROLA P，EKEL?F T，et al.The Nordu grid architecture and middleware for scientific applications［M］//Computational Science—ICCS 2003.Heidelberg:Springer，2003:264-273.

［8］ GANGLIARDI F，BEGIN M E.EGEE-providing a production quality grid for e-science［C］//Local to Global Data Interoperability-Challenges and Technologies，2005.IEEE，2005:88-92.

［9］ BLANKE T，DUNN S.The arts and humanities e-Science initiative in the UK［C］//e-Science and Grid Computing，2006.e-Science'06.Second IEEE International Conference on.IEEE，2006:136-136.

［10］ BASNEY J，MARTIN S，NAVARRO J P，et al.The problem solving environments of TeraGrid，science gateways，and the intersection of the two［C］//eScience，2008.eScience'08.IEEE Fourth International Conference on.IEEE，2008:725-734.

［11］ JUNIOR A M G，SATO L M，MASSETTO F I.A parallel application programming and processing environment proposal for grid computing［C］//Computational Science and Engineering(CSE)，2012 IEEE 15th International Conference on.IEEE，2012:154-161.

［12］ ALFIERI R，AREZZINI S，BARONE G B，et al.The HPC Testbed of the Italian Grid Infrastructure［C］//Parallel，Distributed and Network-Based Processing(PDP)，2013 21st Euromicro International Conference on.IEEE，2013:241-248.

［13］ JORISSEN K，BILA F D，REHR J J.A high performance scientific cloud computing environment for materials simulations［J］.Computer Physics Communications，2012，183(9):1911-1919.

［14］ WONG A K L，GOSCINSKI A M.A unified framework for the deployment，exposure and access of HPC applications as services in clouds［J］.Future Generation Computer Systems，2013，29(6):1333-1344.

［15］ FOSTER I.Globus toolkit version 4:software for service-oriented systems［M］//Network and Parallel Computing.Heidelberg:Springer，2005:2-13.

［16］ 鐘敏，王海霞，石進(jìn)，等.地震資料分布數(shù)據(jù)管理平臺研究與實(shí)現(xiàn)［J］.計(jì)算機(jī)應(yīng)用與軟件，2013，30(2):248-252.

ZHONG Min，WANG Hai-xia，SHI Jin，et al.Research and implementation of distributed seismic data management platform［J］.Computer Applications and Software，2013，30(2):248-252.

［17］ 王財(cái)經(jīng).現(xiàn)代應(yīng)用數(shù)學(xué)［M］.東營:中國石油大學(xué)出版社，2004.