摘要:本文探討了地理信息公共服務(wù)平臺(tái)數(shù)據(jù)層更新面臨的問(wèn)題,介紹了地理空間數(shù)據(jù)的高性能計(jì)算,結(jié)合高性能計(jì)算在地理信息公共服務(wù)平臺(tái)數(shù)據(jù)更新中的應(yīng)用實(shí)例,對(duì)今后高性能計(jì)算在空間地理信息領(lǐng)域的發(fā)展進(jìn)行了展望。
關(guān)鍵詞:高性能計(jì)算;地理信息公共服務(wù)平臺(tái);地理空間數(shù)據(jù)更新
地理信息公共服務(wù)平臺(tái)是針對(duì)政府、企事業(yè)單位、科研院所、公眾對(duì)地理信息資源綜合利用、高效服務(wù)的需求,依托測(cè)繪地理信息部門現(xiàn)有地理信息生產(chǎn)、更新與服務(wù)架構(gòu),以及投入運(yùn)行的涉密與非涉密廣域網(wǎng)物理鏈路,在全國(guó)不同地區(qū)宏觀、中觀到微觀地理信息資源上開(kāi)發(fā)的分布式地理信息公共服務(wù)系統(tǒng)。地理信息公共服務(wù)平臺(tái)通常包括標(biāo)準(zhǔn)體系、基礎(chǔ)設(shè)施、數(shù)據(jù)層、軟件層、應(yīng)用層和用戶層等部分。
1 數(shù)據(jù)層更新面臨的問(wèn)題
數(shù)據(jù)層的建設(shè)是地理信息公共服務(wù)平臺(tái)建設(shè)的核心任務(wù)之一。平臺(tái)數(shù)據(jù)層包括矢量地圖、影像、電子地圖緩存瓦片、三維模型及場(chǎng)景、導(dǎo)航等其他專題數(shù)據(jù),數(shù)據(jù)量龐大。在2011年建成的國(guó)家天地圖(國(guó)家地理信息公共服務(wù)平臺(tái)公眾版)中,集成的基礎(chǔ)地理數(shù)據(jù)資源總數(shù)據(jù)量約30TB。各級(jí)公共服務(wù)平臺(tái)建成后,地理信息數(shù)據(jù)的現(xiàn)勢(shì)性成為用戶關(guān)注的重點(diǎn)。如何有效的持續(xù)更新數(shù)據(jù)層是整個(gè)平臺(tái)運(yùn)營(yíng)的關(guān)鍵。
平臺(tái)中海量、多元空間數(shù)據(jù)的更新是以一定的周期進(jìn)行,數(shù)據(jù)集成處理工作量、耗費(fèi)存儲(chǔ)空間巨大。現(xiàn)有的空間數(shù)據(jù)處理技術(shù)大多數(shù)還停留在單機(jī)處理或者客戶端/服務(wù)器計(jì)算模式,效率不高。尤其是對(duì)超大規(guī)??臻g數(shù)據(jù)處理的效率,無(wú)法滿足人們的需求。
2 地理空間數(shù)據(jù)的高性能計(jì)算
地理空間數(shù)據(jù)的高性能計(jì)算是GIS、空間分析、高性能計(jì)算技術(shù)等科學(xué)和技術(shù)交叉、融合、發(fā)展的結(jié)果。探索把高性能計(jì)算技術(shù)應(yīng)用到地理空間數(shù)據(jù)處理和更新中,是否可以滿足地理信息公共服務(wù)平臺(tái)對(duì)強(qiáng)大計(jì)算能力的迫切需求,在哪些數(shù)據(jù)技術(shù)處理流程上采用高性能計(jì)算技術(shù),如何測(cè)試和驗(yàn)證高性能環(huán)境下的空間數(shù)據(jù)高效處理能力,是本文探討的主要內(nèi)容。
高性能計(jì)算(HighPerformanceComputing,簡(jiǎn)稱HPC)是指從體系結(jié)構(gòu)、并行算法和軟件開(kāi)發(fā)等方面研究開(kāi)發(fā)高性能計(jì)算的技術(shù)。高性能計(jì)算(HPC) 通常使用很多處理器(作為單個(gè)機(jī)器的一部分)或者某一集群中組織的多臺(tái)計(jì)算機(jī)(作為單個(gè)計(jì)算資源操作)的計(jì)算系統(tǒng)和環(huán)境。
3 高性能計(jì)算環(huán)境下地理信息公共服務(wù)數(shù)據(jù)更新實(shí)驗(yàn)
3.1 高性能計(jì)算環(huán)境下影像處理實(shí)驗(yàn)
當(dāng)前,新的遙感技術(shù)在獲取高清晰、大比例尺、高現(xiàn)勢(shì)性、短周期等特點(diǎn)的影像數(shù)據(jù)上取得了突破,是地理信息公共服務(wù)平臺(tái)重要的更新數(shù)據(jù)源。新獲取的高清影像數(shù)據(jù)量大,重疊度高,傳統(tǒng)的單機(jī)遙感軟件處理比較困難。以較低成本實(shí)現(xiàn)海量遙感影像快速自動(dòng)化處理成為技術(shù)探索的主要方向。
目前影像自動(dòng)化高效能處理是影像處理研究的熱點(diǎn),國(guó)內(nèi)外同類軟件有Pixel Factory、CIPS集群式影像處理系統(tǒng)、PixelGrid等。該類系統(tǒng)具有集群計(jì)算機(jī)系統(tǒng)并行分布式計(jì)算的特點(diǎn),能把網(wǎng)絡(luò)互聯(lián)的高性能集群通過(guò)軟件的方式進(jìn)行通信和協(xié)作,以一定的任務(wù)調(diào)度策略共同完成影像數(shù)據(jù)的分布式處理工作。在影像預(yù)處理、核線影像生成、影像匹配和影像正射糾正等作業(yè)步驟上系統(tǒng)實(shí)現(xiàn)了自動(dòng)化處理,從而減輕人員的工作量,提高影像處理效率。
以湖南某地區(qū)無(wú)人機(jī)數(shù)碼航攝數(shù)據(jù)為例,該地區(qū)共有14條航線,868張航片,數(shù)據(jù)處理總耗時(shí)30.9小時(shí)。該地區(qū)地貌以平原為主,平均高程約為50米。影像分辨率6微米,航高400米,影像行列數(shù)3744×5616。實(shí)驗(yàn)的設(shè)備包括存儲(chǔ)設(shè)備和PC集群,存儲(chǔ)設(shè)備為16TB磁盤陣列,緩存8GB,帶寬2Gbps,每臺(tái)PC機(jī)配置如下: 處理器Intel(R) Core(TM)2 Quad CPU Q9550 2.8 GHZ,內(nèi)存4G。影像自動(dòng)化處理軟件PixelGrid。
實(shí)驗(yàn)證明,基于集群進(jìn)行大規(guī)模遙感數(shù)據(jù)的并行處理,相比其他單機(jī)遙感軟件,其生產(chǎn)效率有明顯提高,可以實(shí)現(xiàn)1人在短的時(shí)間內(nèi)完成生產(chǎn),不僅提高工作效率,由于軟件的自動(dòng)作業(yè)模式,可以實(shí)現(xiàn)夜間無(wú)人作業(yè)。該數(shù)據(jù)生產(chǎn)模式對(duì)于應(yīng)急、救災(zāi)等突發(fā)性事件的處理有著廣泛的應(yīng)用,可以高效完成地理信息公共服務(wù)平臺(tái)影像數(shù)據(jù)更新處理工作。
3.2 高性能計(jì)算環(huán)境下地圖緩存數(shù)據(jù)處理實(shí)驗(yàn)
地理信息公共服務(wù)平臺(tái)一般采用瓦片技術(shù),以迅速響應(yīng)大數(shù)據(jù)量、大用戶量的在線地圖并發(fā)訪問(wèn)請(qǐng)求。緩存地圖瓦片一般是由大量的零散圖片構(gòu)成,2011年,國(guó)家天地圖(國(guó)家地理信息公共服務(wù)平臺(tái)公眾版)瓦片數(shù)量近30億張,以湖南省為例,省級(jí)平臺(tái)的瓦片數(shù)量近億張。
地圖緩存瓦片的制作、檢查、復(fù)制和更新的時(shí)間代價(jià)巨大。在緩存瓦片的制作工藝流程中,由于涉及大規(guī)模矢量、影像等空間數(shù)據(jù)庫(kù)的訪問(wèn),地圖顯示效率受到極大的影響,地圖刷新速度慢,延長(zhǎng)了電子地圖的制作和修改的時(shí)間。創(chuàng)建緩存瓦片需要軟件不間斷運(yùn)行幾天甚至十幾天。緩存瓦片的檢查工作目前以傳統(tǒng)的人工目視檢查為主,通常會(huì)涉及原始數(shù)據(jù)、電子地圖符號(hào)配置的修改。因此,為了縮短地理信息公共服務(wù)平臺(tái)的緩存瓦片生產(chǎn)周期,加快瓦片更新發(fā)布的速度,探索高性能環(huán)境下的地圖緩存處理成為了研究方向之一。
以湖南省為例,全省地圖緩存瓦片的生產(chǎn)先后使用了中檔服務(wù)器和高性能服務(wù)器進(jìn)行處理,處理軟件為ARCGIS。測(cè)試證明,GIS服務(wù)器和桌面應(yīng)用程序能夠利用到多核CPU的優(yōu)勢(shì)。桌面應(yīng)用程序使用地圖圖層或是加速柵格圖層,會(huì)使用到多線程來(lái)實(shí)現(xiàn)繪制和渲染操作,程序的用戶界面反應(yīng)比之前的版本更快。服務(wù)器能利用到多CPU設(shè)置,支持多并發(fā)用戶進(jìn)程。瓦片緩存服務(wù)可以配置為多個(gè)實(shí)例來(lái)支持并發(fā)處理,高性能服務(wù)器在地圖瀏覽顯示和瓦片處理上效率有較大提升。
4 總結(jié)與展望
本文探討高性能計(jì)算在地理信息公共服務(wù)平臺(tái)數(shù)據(jù)更新流程上的應(yīng)用,以實(shí)例驗(yàn)證了在一定程度上該技術(shù)能夠提高數(shù)據(jù)處理的效率。在經(jīng)費(fèi)充足的條件下,如果能增加硬件的投入,數(shù)據(jù)處理的效率將會(huì)得到更大改善。相關(guān)的實(shí)現(xiàn)技術(shù)還有待更深入的研究和探討。
目前,高性能計(jì)算在地理空間領(lǐng)域的應(yīng)用還不是很廣泛。這一方面是因?yàn)榈乩砜臻g算法復(fù)雜,需求多樣,高性能計(jì)算技術(shù)尚難以實(shí)現(xiàn)成熟的應(yīng)用;另一方面由于空間數(shù)據(jù)處理的高性能計(jì)算技術(shù)成本較高,阻止了相當(dāng)?shù)目赡軕?yīng)用。我們還需要做更多的工作,提高技術(shù)的實(shí)用性,促進(jìn)它在地理空間信息領(lǐng)域的推廣和應(yīng)用。