柵格地理數(shù)據(jù)并行格式轉(zhuǎn)換引擎*

張帥1，2，3，4，李滿春1，2，陳振杰1，2，黃濤1，2，姜曉慧5
(1.南京大學(xué)地理與海洋科學(xué)學(xué)院，江蘇南京210023；2.南京大學(xué)地理信息技術(shù)江蘇省重點(diǎn)實(shí)驗(yàn)室，江蘇南京210023；3.伊利諾伊大學(xué)香檳分校地理系，伊利諾伊61801；4.伊利諾伊大學(xué)香檳分校國(guó)家超級(jí)計(jì)算機(jī)應(yīng)用中心，伊利諾伊61801；5.國(guó)電南瑞科技股份有限公司，江蘇南京211106)

如今大規(guī)模地理數(shù)據(jù)正在社會(huì)各個(gè)部門和組織中迅速積累，但是由于部門利益和歷史沿襲等原因，大規(guī)模地理數(shù)據(jù)共享仍然極具挑戰(zhàn)，相應(yīng)共享技術(shù)需求仍然極其旺盛。作為地理數(shù)據(jù)共享的基礎(chǔ)方式之一，傳統(tǒng)單機(jī)地理數(shù)據(jù)格式轉(zhuǎn)換技術(shù)，一方面受限于磁盤讀寫及帶寬瓶頸，另一方面面對(duì)日趨龐大的數(shù)據(jù)規(guī)模，已很難滿足實(shí)際應(yīng)用需求。因此提出一種針對(duì)柵格地理數(shù)據(jù)的并行格式轉(zhuǎn)換引擎，采用高性能計(jì)算集群環(huán)境支持大規(guī)模柵格地理數(shù)據(jù)轉(zhuǎn)換共享，大幅降低了大規(guī)模柵格地理數(shù)據(jù)轉(zhuǎn)換過(guò)程的時(shí)間成本。柵格地理數(shù)據(jù)并行格式轉(zhuǎn)換引擎采用基于公共接口的設(shè)計(jì)理念，框架靈活、具有良好的擴(kuò)展性，支持地理數(shù)據(jù)格式的讀寫自定義以及新數(shù)據(jù)格式添加，能夠?qū)崿F(xiàn)接入數(shù)據(jù)格式間的任意兩兩轉(zhuǎn)換。為驗(yàn)證引擎框架及其處理效率，在Lustre并行集群環(huán)境下以格網(wǎng)數(shù)據(jù)交換格式(國(guó)家地理空間數(shù)據(jù)交換格式)向常見(jiàn)柵格地理格式的轉(zhuǎn)換為示例進(jìn)行了測(cè)試實(shí)驗(yàn)。結(jié)果表明，柵格地理數(shù)據(jù)并行格式轉(zhuǎn)換引擎能夠在8個(gè)節(jié)點(diǎn)Lustre集群中達(dá)到7.54的良好并行加速比。

柵格數(shù)據(jù)格式轉(zhuǎn)換；并行計(jì)算；高性能計(jì)算；地理計(jì)算；Lustre并行文件系統(tǒng)

地理信息共享技術(shù)經(jīng)過(guò)幾十年的發(fā)展和討論，形成了許許多多的方案方法［1］，其中具有代表性的方法可分為三類:地理數(shù)據(jù)格式轉(zhuǎn)換技術(shù)、基于中間件技術(shù)的地理數(shù)據(jù)共享技術(shù)以及基于網(wǎng)絡(luò)服務(wù)的地理數(shù)據(jù)互操作技術(shù)［2-3］。地理數(shù)據(jù)格式轉(zhuǎn)換是最為基礎(chǔ)的地理信息共享方式，其目的是將存儲(chǔ)在一個(gè)系統(tǒng)中的地理數(shù)據(jù)通過(guò)數(shù)據(jù)轉(zhuǎn)換的方式導(dǎo)入到目標(biāo)系統(tǒng)中，實(shí)現(xiàn)數(shù)據(jù)共享［4］?；谥虚g件技術(shù)的地理數(shù)據(jù)共享為前端用戶提供了統(tǒng)一的數(shù)據(jù)視圖，很好地處理了數(shù)據(jù)自治與統(tǒng)一的關(guān)系，在更廣的范圍上和更多樣化的平臺(tái)下，支持了地理數(shù)據(jù)的共享和互操作［1，5-9］?；诰W(wǎng)絡(luò)服務(wù)的數(shù)據(jù)互操作構(gòu)建在Web服務(wù)標(biāo)準(zhǔn)基礎(chǔ)之上，如開(kāi)放地理空間信息聯(lián)盟(Open Geospatial Consortium，OGC)制訂的網(wǎng)絡(luò)地圖服務(wù)(Web Map Service，WMS)和網(wǎng)絡(luò)要素服務(wù)(Web Feature Service，WFS)等服務(wù)組件，可以在超文本傳送協(xié)議(HyperText Transfer Protocol，HTTP)之上通過(guò)基于可擴(kuò)展標(biāo)記語(yǔ)言(Extensible Markup Language，XML)的消息傳遞機(jī)制實(shí)現(xiàn)與其他軟件程序之間的交互［2-3］。

然而，由于地理數(shù)據(jù)本身的異構(gòu)性、語(yǔ)義的模糊、描述文檔的缺失或者存儲(chǔ)結(jié)構(gòu)的差異等問(wèn)題，大規(guī)模地理數(shù)據(jù)共享至今仍然極具挑戰(zhàn)性［5，10-12］。中間件技術(shù)與網(wǎng)絡(luò)服務(wù)技術(shù)雖能夠在網(wǎng)絡(luò)端大范圍實(shí)現(xiàn)數(shù)據(jù)共享與互操作，但數(shù)據(jù)訪問(wèn)與處理速度往往較慢，應(yīng)用層對(duì)數(shù)據(jù)的控制能力較弱，且現(xiàn)實(shí)中許多組織部門并不愿意開(kāi)放數(shù)據(jù)庫(kù)接口而僅僅是將數(shù)據(jù)以通用格式的形式發(fā)布提供下載共享［13-15］；隨著地理信息采集技術(shù)的長(zhǎng)足發(fā)展，地理數(shù)據(jù)規(guī)模開(kāi)始急劇膨脹［16］，存儲(chǔ)在美國(guó)國(guó)家航空航天局地球觀測(cè)系統(tǒng)的數(shù)據(jù)和信息系統(tǒng)(NASA EOSDIS)中的遙感影像數(shù)據(jù)已經(jīng)超過(guò)3PB，而且還在以每天5TB的速度增加［17］；云計(jì)算、大數(shù)據(jù)、流計(jì)算等新興技術(shù)持續(xù)涌現(xiàn)，多核并行計(jì)算和多節(jié)點(diǎn)集群處理正在變得越來(lái)越常見(jiàn)，促使傳統(tǒng)地理計(jì)算模式向數(shù)據(jù)密集型高性能計(jì)算模式演變［18-19］，傳統(tǒng)串行地理數(shù)據(jù)格式轉(zhuǎn)換技術(shù)在處理大規(guī)模地理數(shù)據(jù)時(shí)已是力不從心，更無(wú)法有效利用現(xiàn)今多核、多節(jié)點(diǎn)并行處理的巨大優(yōu)勢(shì)。

地理數(shù)據(jù)格式轉(zhuǎn)換過(guò)程屬于典型的數(shù)據(jù)密集型處理任務(wù)，單機(jī)并行處理，如采用多線程OpenMP、GPU等技術(shù)，雖能夠帶來(lái)一定的效率提升，但是數(shù)據(jù)I/O瓶頸明顯且難以實(shí)現(xiàn)大規(guī)模處理水平擴(kuò)展?；贖adoop技術(shù)的集群架構(gòu)，采用Hadoop分布式文件系統(tǒng)及MapReduce并行編程模型，適合處理超大規(guī)模集群計(jì)算，而在中小規(guī)模集群環(huán)境下優(yōu)勢(shì)不明顯［19-20］，且Hadoop對(duì)地理信息系統(tǒng)(Geographic Information System，GIS)組件支持仍處于探索階段，并不適合進(jìn)行大范圍GIS業(yè)務(wù)處理［20-21］。高性能計(jì)算集群由于發(fā)展時(shí)間早，技術(shù)較為成熟，在業(yè)務(wù)部門擁有較為廣泛的技術(shù)基礎(chǔ)，是研究實(shí)現(xiàn)地理數(shù)據(jù)并行格式轉(zhuǎn)換技術(shù)的理想平臺(tái)。

本文在Lustre高性能集群技術(shù)基礎(chǔ)上，提出一種面向柵格地理數(shù)據(jù)的并行格式轉(zhuǎn)換引擎(Parallel Geo-Raster data Conversion Engine，PGRCE)，使得柵格地理數(shù)據(jù)格式轉(zhuǎn)換能夠在高性能計(jì)算集群的支持下進(jìn)行，以達(dá)到快速高效共享地理數(shù)據(jù)的目的。Lustre文件系統(tǒng)是由OpenSFS (Open Scalable File Systems incorporation)開(kāi)發(fā)的一個(gè)開(kāi)源、高性能的分布式并行全局文件系統(tǒng)［22］。在高性能計(jì)算中，Lustre并行文件系統(tǒng)具有極其廣泛的應(yīng)用，全球排名前100的高性能計(jì)算機(jī)系統(tǒng)中，超過(guò)60%的高性能計(jì)算機(jī)使用了Lustre文件系統(tǒng)［22］。Lustre針對(duì)大文件的讀/寫做了優(yōu)化，可以為集群系統(tǒng)提供高性能的I/O吞吐率、全局?jǐn)?shù)據(jù)共享環(huán)境、節(jié)點(diǎn)的失效冗余處理，較好地滿足了高性能計(jì)算集群系統(tǒng)的需要［23-24］。

PGRCE采用基于公共接口的設(shè)計(jì)方法，框架靈活且具有很好的擴(kuò)展性，能夠支持地理數(shù)據(jù)格式的自定義以及添加新的數(shù)據(jù)格式，實(shí)現(xiàn)接入地理數(shù)據(jù)格式間的任意兩兩轉(zhuǎn)換。PGRCE框架中包括三個(gè)主要部分:柵格數(shù)據(jù)公共接口、格式轉(zhuǎn)換與擴(kuò)展機(jī)制以及引擎并行調(diào)度策略。PGRCE統(tǒng)一使用柵格數(shù)據(jù)抽象數(shù)據(jù)模型作為公共接口解讀不同格式柵格數(shù)據(jù)；引擎格式轉(zhuǎn)換與擴(kuò)展機(jī)制規(guī)定地理數(shù)據(jù)格式轉(zhuǎn)換實(shí)際發(fā)生的方式，并提供開(kāi)放接口以備新格式加入；并行調(diào)度策略采用靜態(tài)與動(dòng)態(tài)相結(jié)合的負(fù)載均衡方法平衡各進(jìn)程間的數(shù)據(jù)處理，保障格式轉(zhuǎn)換引擎高效健壯運(yùn)行。

1 柵格地理數(shù)據(jù)抽象數(shù)據(jù)模型

柵格地理數(shù)據(jù)抽象數(shù)據(jù)模型居于PGRCE的中間層，連接著數(shù)據(jù)源格式與目標(biāo)格式，是PGRCE所有支持格式的公共接口，用于描述解析不同格式的柵格地理數(shù)據(jù)。柵格地理數(shù)據(jù)格式多種多樣，地理數(shù)據(jù)格式轉(zhuǎn)換庫(kù)(Geospatial Data Abstraction Library，GDAL)官網(wǎng)羅列了100余種柵格數(shù)據(jù)格式［25］，但是柵格數(shù)據(jù)大都基于像元，具有格網(wǎng)結(jié)構(gòu)，只是在像元組織結(jié)構(gòu)或者附加信息描述上各有不同，這種特性構(gòu)成了抽象數(shù)據(jù)模型設(shè)計(jì)的基礎(chǔ)。

PGRCE抽象數(shù)據(jù)模型主要由柵格數(shù)據(jù)集(Dataset)、柵格波段(RasterBand)、空間參考(SpatialReference)、元數(shù)據(jù)(Metadata)、柵格數(shù)據(jù)屬性表(RasterAttributeTable)等部分構(gòu)成，參見(jiàn)圖1。Dataset對(duì)象中定義了柵格數(shù)據(jù)的通用信息，表征著柵格地理數(shù)據(jù)文件或數(shù)據(jù)庫(kù)，但是每種格式必須實(shí)例化各自的數(shù)據(jù)集對(duì)象，以個(gè)性化定義數(shù)據(jù)格式的讀寫與操作。Dataset對(duì)象同時(shí)關(guān)聯(lián)著SpatialReference對(duì)象以及Metadata對(duì)象，其中空間參考信息采用OpenGISWell Known Text字符串定義，由SpatialReference對(duì)象維護(hù)，Metadata則包含一系列由鍵值對(duì)組成的描述項(xiàng)。

圖1 柵格地理數(shù)據(jù)抽象數(shù)據(jù)模型Fig.1 Abstract datamodel of PGRCE

Dataset對(duì)象通常由多個(gè)RasterBand對(duì)象共同組成，RasterBand負(fù)責(zé)具體存儲(chǔ)柵格數(shù)據(jù)，因此與數(shù)據(jù)直接相關(guān)的RasterAttributeTable以及RasterOverviews對(duì)象都直接與RasterBand對(duì)象相關(guān)聯(lián)，用于描述相應(yīng)柵格波段特征。由于柵格數(shù)據(jù)的像元點(diǎn)坐標(biāo)涉及兩個(gè)坐標(biāo)體系(像素坐標(biāo)和地理坐標(biāo))，因此抽象數(shù)據(jù)模型采用變換方程式(1)描述兩者的關(guān)系。

其中，(X，Y)為像元點(diǎn)地理坐標(biāo)，(xp，yp)為像元點(diǎn)像素坐標(biāo)，a1～a6為坐標(biāo)轉(zhuǎn)換參數(shù)。像素坐標(biāo)系以圖像的左上角點(diǎn)為原點(diǎn)，當(dāng)圖像格網(wǎng)為正南正北走向時(shí)，a3=a5=0，(a1，a4)為像素坐標(biāo)原點(diǎn)在地理坐標(biāo)系中的坐標(biāo)，a2表示X方向像元分辨率，a6則為Y方向像元分辨率。

2 數(shù)據(jù)格式轉(zhuǎn)換與擴(kuò)展機(jī)制

由于現(xiàn)實(shí)中柵格地理數(shù)據(jù)格式數(shù)量并不確定，PGRCE采用一種動(dòng)態(tài)管理機(jī)制提供數(shù)據(jù)格式的動(dòng)態(tài)擴(kuò)展，允許新格式以自定義的方式裝入，框架如圖2所示。新格式只需要實(shí)現(xiàn)由Dataset對(duì)象和RasterBand對(duì)象定義的數(shù)據(jù)組織框架，繼承Dataset與RasterBand類并定義其獨(dú)特的數(shù)據(jù)讀取方式、元數(shù)據(jù)獲取方式、仿射變換系數(shù)以及數(shù)據(jù)文件創(chuàng)建方式等，完成由Provider定義的讀寫接口，并在系統(tǒng)中注冊(cè)，就能夠參與PGRCE支持的格式轉(zhuǎn)換過(guò)程。另外，PGRCE在設(shè)計(jì)時(shí)以GDAL Raster為參考柵格數(shù)據(jù)標(biāo)準(zhǔn)，在實(shí)現(xiàn)時(shí)兼容GDAL數(shù)據(jù)源。

圖2 柵格地理數(shù)據(jù)并行格式轉(zhuǎn)換引擎架構(gòu)Fig.2 The architecture of PGRCE

PGRCE同時(shí)采用一種專門的機(jī)制——Provider Manager(PM)，管理注冊(cè)的格式。PM在PGRCE中扮演一種信息字典的角色，將有前端傳入的轉(zhuǎn)換命令翻譯成PGRCE可以處理的指令，指導(dǎo)PGRCE進(jìn)行數(shù)據(jù)裝載與輸出。當(dāng)PGRCE試圖打開(kāi)一個(gè)數(shù)據(jù)集時(shí)，其也需要在PM中查找相應(yīng)的注冊(cè)格式，獲取對(duì)應(yīng)格式的Provider，調(diào)用Provider的自定義接口完成數(shù)據(jù)集的讀取過(guò)程。因此，新的數(shù)據(jù)格式必須在PM中注冊(cè)，只有這樣其才有可能參與到數(shù)據(jù)格式轉(zhuǎn)換的過(guò)程。

PGRCE首先使用抽象數(shù)據(jù)模型解析源數(shù)據(jù)，建立源數(shù)據(jù)信息與目標(biāo)數(shù)據(jù)參數(shù)的映射關(guān)系，根據(jù)輸入?yún)?shù)的具體指令完成轉(zhuǎn)換操作，其處理流程如圖3所示。某些地理數(shù)據(jù)格式的數(shù)據(jù)集可能含有嵌套關(guān)系，PGRCE采用遞歸調(diào)用的方式逐層處理，而如果前端命令要求對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行某種處理，PGRCE則先將處理后的結(jié)果保存在虛擬數(shù)據(jù)集中，完成裁制后寫入目標(biāo)數(shù)據(jù)格式文件。

圖3 柵格地理數(shù)據(jù)并行格式轉(zhuǎn)換引擎處理流程Fig.3 Workflow of PGRCE

3 引擎任務(wù)并行調(diào)度策略

PGRCE采用主從并行模式設(shè)計(jì)，包含兩種角色進(jìn)程:管理進(jìn)程和計(jì)算進(jìn)程。管理進(jìn)程主要負(fù)責(zé)公共事務(wù)，如創(chuàng)建目標(biāo)數(shù)據(jù)格式文件、數(shù)據(jù)任務(wù)劃分、任務(wù)分配與調(diào)度、計(jì)算結(jié)果收集統(tǒng)計(jì)等，而計(jì)算進(jìn)程則接收指令并負(fù)責(zé)完成具體數(shù)據(jù)塊格式轉(zhuǎn)換操作，周期性地獲取任務(wù)、處理格式轉(zhuǎn)換任務(wù)以及反饋處理結(jié)果，如圖4所示。管理進(jìn)程對(duì)源數(shù)據(jù)文件的劃分是在其元數(shù)據(jù)基礎(chǔ)上的邏輯劃分，每個(gè)劃分?jǐn)?shù)據(jù)塊由式(2)定義:

式中:xn為數(shù)據(jù)塊在xp方向的寬度，通常取數(shù)據(jù)集柵格寬度；yn為數(shù)據(jù)塊在yp方向上的最大跨度；ε表示柵格數(shù)據(jù)集中包含的波段數(shù)；τ為數(shù)據(jù)集中每個(gè)像元所占的字節(jié)數(shù)；v0表示數(shù)據(jù)塊的最大容量。對(duì)于所有劃分結(jié)果，管理進(jìn)程使用一個(gè)列表和一個(gè)塊棧來(lái)進(jìn)行維護(hù)。

圖4 柵格地理數(shù)據(jù)并行格式轉(zhuǎn)換引擎主從任務(wù)調(diào)度模式Fig.4 Master-slave task scheduler in PGRCE

當(dāng)塊棧非空時(shí)，管理進(jìn)程從塊棧中取出待處理數(shù)據(jù)塊，然后與從空閑計(jì)算進(jìn)程隊(duì)列中取出的計(jì)算進(jìn)程組合構(gòu)成操作指令，發(fā)送給相應(yīng)計(jì)算進(jìn)程，同時(shí)在數(shù)據(jù)塊處理統(tǒng)計(jì)表中記錄進(jìn)程運(yùn)行開(kāi)始時(shí)間戳。計(jì)算進(jìn)程接收到管理進(jìn)程發(fā)送的指令后，首先根據(jù)數(shù)據(jù)塊的描述信息從源數(shù)據(jù)中讀取相應(yīng)的數(shù)據(jù)塊，交由轉(zhuǎn)換內(nèi)核函數(shù)進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，并寫進(jìn)目標(biāo)數(shù)據(jù)格式塊文件，同時(shí)將進(jìn)程處理統(tǒng)計(jì)信息發(fā)送給管理進(jìn)程。管理進(jìn)程接收到進(jìn)程成功執(zhí)行的反饋信息之后，將進(jìn)程入棧作為空閑進(jìn)程準(zhǔn)備再次使用，同時(shí)記錄進(jìn)程結(jié)束處理時(shí)間；如果管理進(jìn)程收到計(jì)算進(jìn)程反饋的是失敗消息或計(jì)算進(jìn)程超過(guò)一定時(shí)間仍沒(méi)有反饋，管理進(jìn)程將強(qiáng)制計(jì)算進(jìn)程終止操作，收回計(jì)算資源，并為該數(shù)據(jù)塊重新分配計(jì)算資源加以處理。

格式轉(zhuǎn)換操作屬于數(shù)據(jù)密集型計(jì)算任務(wù)，大規(guī)模數(shù)據(jù)讀寫效率直接左右轉(zhuǎn)換效率。因此，PGRCE采用并行文件系統(tǒng)Lustre管理柵格地理數(shù)據(jù)，并使用MPI-IO處理多節(jié)點(diǎn)多進(jìn)程并發(fā)訪問(wèn)，加快數(shù)據(jù)的讀寫效率。然而，需要指出的是，管理進(jìn)程并不與地理數(shù)據(jù)直接交互，其數(shù)據(jù)劃分策略基于地理數(shù)據(jù)的元數(shù)據(jù)，計(jì)算進(jìn)程負(fù)責(zé)數(shù)據(jù)的具體讀寫與處理，只有這樣才能最大程度上減少進(jìn)程間的通信，節(jié)約計(jì)算資源，提高并行處理效率。

4 應(yīng)用實(shí)例

為了檢驗(yàn)PGRCE架構(gòu)和性能，將大規(guī)模格網(wǎng)數(shù)據(jù)交換格式文件(CNSDTF-DEM)轉(zhuǎn)換為常見(jiàn)柵格數(shù)據(jù)格式GeoTIFF作為測(cè)試用例。格網(wǎng)數(shù)據(jù)交換格式是中國(guó)地球空間數(shù)據(jù)交換格式國(guó)家標(biāo)準(zhǔn)(GB/T 17798—2007)中定義的柵格數(shù)據(jù)格式，其數(shù)據(jù)文件由文件頭以及數(shù)據(jù)體兩部分共同組成。文件頭中定義了數(shù)據(jù)的一般性信息，包括數(shù)據(jù)起始點(diǎn)、柵格分辨率、柵格大小、投影參考信息、壓縮方法以及柵格值數(shù)據(jù)類型等，數(shù)據(jù)體則為數(shù)值矩陣，文件頭中定義的壓縮方法不同，數(shù)據(jù)組織略有不同，如圖5所示。

圖5 格網(wǎng)數(shù)據(jù)交換格式數(shù)據(jù)文件組成Fig.5 Data structure in CNSDTF-DEM

使用PGRCE進(jìn)行CNSDTF-DEM數(shù)據(jù)格式轉(zhuǎn)換，首先需要按照公共接口實(shí)現(xiàn)CNSDTF-DEM數(shù)據(jù)格式的Provider，并在PM中注冊(cè)，接入PGRCE框架。CNSDTF-DEM數(shù)據(jù)格式較為簡(jiǎn)單，PGRCE中一個(gè)CNSDTF-DEM數(shù)據(jù)文件表示一個(gè)Dataset對(duì)象，僅含有一個(gè)RasterBand對(duì)象。而空間參考信息可以從文件頭文件［CoordinateSystemType］中讀取，實(shí)例化為SpatialReference對(duì)象。PGRCE以一行柵格數(shù)據(jù)為數(shù)據(jù)劃分的基本單位，每個(gè)數(shù)據(jù)塊大小上限取v0=320MB，并由式(2)計(jì)算得到分塊劃分行數(shù)。

測(cè)試程序運(yùn)行在一個(gè)由9臺(tái)高性能計(jì)算節(jié)點(diǎn)構(gòu)成的Lustre并行計(jì)算機(jī)集群(1個(gè)元數(shù)據(jù)服務(wù)器(MetaData Sever，MDS)，9個(gè)元數(shù)據(jù)存儲(chǔ)目標(biāo)(Object Storage Targer，OST)，每個(gè)節(jié)點(diǎn)由8核Intel(R)Xeon(R)CPU E5-2603、16GB內(nèi)存構(gòu)成，共享8TB Lustre外存)上，測(cè)試數(shù)據(jù)由程序產(chǎn)生，數(shù)據(jù)量大小共32GB。分別測(cè)試了該數(shù)據(jù)在串行算法、單機(jī)并行處理以及集群并行處理情況下的轉(zhuǎn)換效率，結(jié)果如圖6所示。由圖中可以看出，使用串行算法需要近32min才能將測(cè)試數(shù)據(jù)處理完成，在單機(jī)并行環(huán)境下使用3個(gè)計(jì)算進(jìn)程最快可以在約14min內(nèi)完成處理任務(wù)，達(dá)到2.24的加速比，在集群并行環(huán)境下使用8個(gè)計(jì)算進(jìn)程可以在約4min內(nèi)完成，獲得7.54的加速比。

圖6 柵格地理數(shù)據(jù)并行格式轉(zhuǎn)換引擎測(cè)試結(jié)果Fig.6 PGRCE testing results

數(shù)據(jù)格式轉(zhuǎn)換操作是典型的數(shù)據(jù)密集型計(jì)算任務(wù)，I/O效率從根本上決定了任務(wù)處理效率。PGRCE在并行策略設(shè)計(jì)上采用主從并行模式，進(jìn)程間僅有少量指令通信，通信代價(jià)微乎其微，而各從進(jìn)程又單獨(dú)處理計(jì)算任務(wù)，在沒(méi)有讀寫瓶頸制約的條件下，理論上并行轉(zhuǎn)換引擎可以達(dá)到與從進(jìn)程數(shù)量正相關(guān)的加速比。

單機(jī)共享磁盤并行處理環(huán)境下，1個(gè)管理進(jìn)程，3個(gè)計(jì)算進(jìn)程，并行加速比最好，但由于受制于單個(gè)硬盤讀寫速度限制，進(jìn)程間易發(fā)生硬盤讀寫競(jìng)爭(zhēng)，并行處理加速比只能夠達(dá)到2.24。集群并行處理環(huán)境下，由于Lustre并行文件系統(tǒng)使用條帶化數(shù)據(jù)劃分存儲(chǔ)技術(shù)，9個(gè)OST理想情況下數(shù)據(jù)讀寫效率能夠達(dá)到9倍線性效果，因此測(cè)試程序在8個(gè)計(jì)算進(jìn)程條件下能夠達(dá)到7.54的加速比。

5 結(jié)論

地理數(shù)據(jù)格式轉(zhuǎn)換技術(shù)作為實(shí)現(xiàn)數(shù)據(jù)共享的基礎(chǔ)工具，仍然在地理數(shù)據(jù)共享問(wèn)題上扮演著重要角色。但是，隨著數(shù)據(jù)處理規(guī)模日趨龐大以及多核計(jì)算和大規(guī)模集群計(jì)算日益普遍，傳統(tǒng)串行數(shù)據(jù)格式轉(zhuǎn)換技術(shù)已經(jīng)難以勝任，因其很難有效充分利用多核并行處理的優(yōu)勢(shì)。因此，本文面向并行計(jì)算軟硬件環(huán)境，提出了PGRCE，實(shí)現(xiàn)了大規(guī)模柵格地理數(shù)據(jù)格式轉(zhuǎn)換操作的并行處理，大大提高了柵格地理數(shù)據(jù)格式轉(zhuǎn)換效率。測(cè)試結(jié)果表明，PGRCE具有良好可擴(kuò)展性，能夠在大規(guī)模數(shù)據(jù)處理中表現(xiàn)出良好的并行加速效果，適合在集群環(huán)境下支持大規(guī)模數(shù)據(jù)格式轉(zhuǎn)換并行處理操作。

References)

［1］Sheth A P.Changing focus on interoperability in information systems:from system，syntax，structure to semantics，in interoperating geographic information systems［M］// Goodchild M，Egenhofer M，F(xiàn)egeas R，et al.Interoperating Geographic Information Systems，Springer US，1999，495: 5-29.

［2］龔健雅，高文秀.地理信息共享與互操作技術(shù)及標(biāo)準(zhǔn)［J］.地理信息世界，2006，4(3):18-27.GONG Jianya，GAOWenxiu.Sharing and interoperability of geospatial information［J］.Geomatics World，2006，4(3): 18-27.(in Chinese)

［3］Gong J Y，Shi L T，Du D S，et al.Technologies and standards on spatial data sharing［C］//Proceedings of 20th ISPRS:Geo-imagery Bridging Continents，2004，34:118-128.

［4］Bishr Y.Overcoming the semantic and other barriers to GIS interoperability［J］.International Journal of Geographical Information Science，1998，12(4):299-314.

［5］Devogele T，Parent C，Spaccapietra S.On spatial database integration［J］.International Journal of Geographical Information Science，1998，12(4):335-352.

［6］Kavouras M，Kokla M.A method for the formalization and integration of geographical categorizations［J］.International Journal of Geographical Information Science，2002，16(5): 439-453.

［7］Stoimenov L，Djordjevic-Kajan S.An architecture for interoperable GISuse in a local community environment［J］.Computers＆Geosciences，2005，31(2):211-220.

［8］Butenuth M，v.G?sselnb G，Tiedgec M，et al.Integration of heterogeneous geospatial data in a federated database［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2007，62(5):328-346.

［9］Paul M，Ghosh S K.A framework for semantic interoperability for distributed geospatial repositories［J］.Computing and Informatics，2008，27(1):73-92.

［10］Gupta A，Marciano R，Zaslavsky I，et al.Integrating GIS and imagery through XML-based informationmediation［C］// Proceeding of ISD'99 Selected Papers from the International Workshop on Integrated Spatial Databases，Digital Inages and GIS，1999:211-234.

［11］Paudyal D R，Mcdougall K，Apan A.The impact of varying statutory arrangements on spatial data sharing and access in regional NRM bodies［J］.Isprs Annals of Photogrammetry Remote Sensing＆Spatial Information Sciences，2014，Ⅱ-8:193-197.

［12］Chao H，Chou T Y.Empirical research on organizational infrastructuremodel impact to spatial data sharing［J］.Annals of GIS，2013，19(4):263-271.

［13］Safra E，Kanza Y，Sagiv Y，et al.Ad hoc matching of vectorial road networks［J］.International Journal of Geographical Information Science，2013，27(1):114-153.

［14］Wang Y D，Gong JY，Huang JT，et al.The data transfer method based on geo-spatial data transfer format［J］.Acta Geodaetica et Cartogaphica Sinica，2000，29(2):142-148.

［15］Wong SH，Swartz SL，Sarkar D.A middleware architecture for open and interoperable GISs［J］.IEEE Multimedia，2002，9(2):62-76.

［16］Wang S，Cao G，Zhang Z，et al.A cyber GIS environment for analysis of location-based social media data，in locationbased computing and services［M］.Hassan A K，Amin H.2nd ed.USA:CRC Press，2013:187-205.

［17］VatsavaiR R，Ganguly A，Chandola V，etal.Spatiotemporal data mining in the era of big spatial data:algorithms and applications［C］//Proceedings of the 1st ACM SIGSPATIAL InternationalWorkshop on Analytics for Big Geospatial Data 2012，ACM:Redondo Beach，California，2012:1-10.

［18］Hey T，Tansley S，Tolle K.The fourth paradigm:dataintensive scientific discovery［M］.USA:Microsoft Research，2009.

［19］孟小峰，慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)［J］.計(jì)算機(jī)研究與發(fā)展，2013，50(1):146-169.MENG Xiaofeng，CIXiang.Big datamanagement:concepts，techniques and challenges［J］.Journal of Computer Research and Development，2013，50(1):146-169.(in Chinese)

［20］李建江，崔健，王聃，等.MapReduce并行編程模型研究綜述［J］.電子學(xué)報(bào)，2011，39(11):2635-2642.LI Jianjiang，CUI Jian，WANG Dan，et al.Survey of MapReduce parallel programmingmodel［J］.Acta Electronica Sinica，2011，39(11):2635-2642.(in Chinese)

［21］王爾琪，黃騫，滕壽威.地理空間信息并行處理架構(gòu)與系統(tǒng)研究［J］.測(cè)繪與空間地理信息，2013，36(S1):1-7.WANG Erqi，HUANG Qian，TENG Shouwei.Parallel GIS architecture and system［J］.Geomatics＆Spatial Information Technology，2013，36(S1):1-7.(in Chinese)

［22］OpenSFS.About Lustre File System［EB/OL］.［2015-06-20］.http://opensfs.org/lustre/

［23］張鈺森，吳慶波，譚郁松.基于Lustre的大規(guī)模文件系統(tǒng)擁塞控制算法的研究［J］.計(jì)算機(jī)研究與發(fā)展，2011，48(S1):189-193.ZHANG Yusen，WU Qingbo，TAN Yusong.An investigation of a congestion control algorithm for large scale file system based on Lustre［J］.Journal of Computer Research and Development，2011，48(S1):189-193.(in Chinese)

［24］張媛，盧澤新，劉亞萍.NFS over Lustre性能評(píng)測(cè)與分析［J］.計(jì)算機(jī)工程，2007，33(10):274-276.ZHANG Yuan，LU Zexin，LIU Yaping.Performance evaluation and analysis of NFS over Lustre［J］.Computer Engineering，2007，33(10):274-276.(in Chinese)

［25］GDAL/OGR.GDALRaster Formats［EB/OL］.［2014-03-07］.http://www.gdal.org/formats_list.html.

Parallel geo-raster data conversion engine

ZHANGShuai1，2，3，4，LIManchun1，2，CHEN Zhenjie1，2，HUANG Tao1，2，JIANGXiaohui5
(1.School of Geographic and Oceanographic Sciences，Nanjing University，Nanjing 210023，China；2.Jiangsu Key Lab of Geographical Information Technology，Nanjing University，Nanjing 210023，China；3.Department of Geography，University of Illinois at Urbana-Champaign，Illinois 61801，United States；4.National Center for Supercomputing Applications，University of Illinois at Urbana-Champaign，Illinois61801，United States；5.Nari Technology Development Limited Company，Nanjing 211106，China)

Large scale geo-raster data have been accumulated all over the world in different departments and organizations during the past decades，but quite often in a variety of data formats，resulting in geospatial data sharing as an everlasting headache.Despite of various methodologies created，geospatial data conversion hasalwaysbeen a fundamental and efficientway for geospatial data sharing.However，as the size of data tends to be larger and larger，themethodologywhich wasbounded by limited disk data transfer rateand bandwidth，needsa re-write and upgrade.A parallel geo-raster data conversion engine(PGRCE)was proposed to dealwithmassive geo-raster data sharing efficiently by utilizing high performance computing technologies.PGRCE was designed in an extendable and flexible framework，and was capable of customizing the way of reading and writing of particular spatial data formats.An experiment，in which geo-raster data in the CNSDTF-DEM format(Raster spatial data defined in Chinese Geospatial Data Transfer Format Standard)were transferred using PGRCE in a parallel file system(Lustre)，were conducted to validate the engine framework and its performance.Results show that PGRCE can achieve a 7.54 speedup on a Luster cluster of 8 nodes..

geo-raster data format conversion；parallel computing；high performance computing；geocomputation；Lustre cluster

P208

A

1001-2486(2015)05-009-06

10.11887/j.cn.201505002

http://journal.nudt.edu.cn

2015-03-02

國(guó)家863計(jì)劃資助項(xiàng)目(2011AA120301)；南京大學(xué)研究生科研創(chuàng)新基金資助項(xiàng)目(2013CL09)

張帥(1988—)，男，安徽亳州人，博士研究生，E-mail:zhangshuai.nju@gmail.com；陳振杰(通信作者)，男，副教授，博士，碩士生導(dǎo)師，E-mail:chenzj@nju.edu.cn