邢漢發(fā),李長輝,林 鴻,譚喜成,宋 楊
(1.廣州市城市規(guī)劃勘測設(shè)計研究院,廣東 廣州510060;2.武漢大學(xué) 國際軟件學(xué)院,湖北 武漢430079)
城市規(guī)劃管理中的地理空間數(shù)據(jù)分析與處理面臨著數(shù)據(jù)量高速膨脹、應(yīng)用模型復(fù)雜化的雙重挑戰(zhàn)[1-2]。而超級計算是解決國家經(jīng)濟(jì)建設(shè)、社會發(fā)展、科學(xué)進(jìn)步、國家安全和國防建設(shè)等領(lǐng)域一系列重大挑戰(zhàn)性問題的重要手段,已經(jīng)成為世界各國特別是大國爭奪的戰(zhàn)略制高點(diǎn)[3-4]。然而當(dāng)前其巨大的存儲和計算潛力始終未被充分利用,如何應(yīng)用超級計算機(jī)來為工業(yè)和科研等領(lǐng)域服務(wù)已經(jīng)成為當(dāng)前研究的重要課題[5]。為滿足城市規(guī)劃和地理信息應(yīng)用領(lǐng)域?qū)A康乩砜臻g數(shù)據(jù)存儲、高性能計算和高效可視化的需求,有必要對超級計算機(jī)在規(guī)劃管理中的應(yīng)用做系統(tǒng)研究,并提出解決方案。
超級計算機(jī)是指“當(dāng)前時代運(yùn)算速度最快的大容量大型計算機(jī),是計算機(jī)領(lǐng)域的珠穆朗瑪峰”[5]。類似稱謂還有高性能計算機(jī)、高效能計算機(jī)等,是指由成百上千的處理器組成的、能計算普通PC機(jī)和服務(wù)器不能完成的大型復(fù)雜課題的計算機(jī),是運(yùn)算速度最快、存儲容量最大的計算機(jī),可以廣泛應(yīng)用于國家高科技領(lǐng)域和尖端技術(shù)研究,是國家科技發(fā)展水平和綜合國力的重要標(biāo)志。超級計算機(jī)首先是由希穆爾·克雷于20世紀(jì)60年代設(shè)計并制造,之后超級計算機(jī)飛速發(fā)展,到今天世界上運(yùn)行最快的我國自制研發(fā)的天河二號,峰值運(yùn)算達(dá)33千萬億次/s,相當(dāng)于800萬臺普通筆記本電腦同時運(yùn)算的能力。
目前超級計算機(jī)在軍事、高科技領(lǐng)域以及國民經(jīng)濟(jì)建設(shè)中發(fā)揮著愈來愈大的作用,已廣泛地應(yīng)用于核武器研究和核材料儲存仿真,應(yīng)用于如氣象氣候、地球物理、空間物理、天文物理、高能物理、加速器物理、生命科學(xué)、材料設(shè)計和模擬、系統(tǒng)科學(xué)、人工智能、醫(yī)學(xué)等基礎(chǔ)科學(xué)研究領(lǐng)域,這些領(lǐng)域的研究成果許多將為工業(yè)化、產(chǎn)業(yè)化提供直接的科技支撐[6-7]。將來隨著超級計算機(jī)的發(fā)展,其應(yīng)用會不斷拓展到商業(yè)、服務(wù)業(yè)、政府決策等領(lǐng)域。超級計算機(jī)還是云計算主要的支撐平臺之一,伴隨云計算服務(wù)的進(jìn)一步普及,超級計算機(jī)將有著更為廣泛的應(yīng)用。
經(jīng)過多年的建設(shè)與積累,城市規(guī)劃系統(tǒng)所處理的測繪地理信息數(shù)據(jù)量呈一種加速增長的趨勢,TB乃至PB的數(shù)據(jù)作為重要的資源已經(jīng)出現(xiàn)。但由于當(dāng)前數(shù)據(jù)高效存儲、查找、共享能力有限,缺乏高效計算模型,難以滿足規(guī)劃計算中數(shù)據(jù)量膨脹、模型復(fù)雜化、實(shí)時計算需求,導(dǎo)致這些數(shù)據(jù)基本上都閑置在磁盤等存儲設(shè)備中,無法體現(xiàn)它們的價值,使城市規(guī)劃系統(tǒng)面臨著挑戰(zhàn)。
隨著對地觀測技術(shù)的發(fā)展,人們獲得測繪地理信息的能力大大增強(qiáng)。如圖1所示,城市規(guī)劃中的地理信息數(shù)據(jù)種類和數(shù)量急劇增長,這給計算機(jī)的存儲和計算都帶來了很大的壓力,當(dāng)數(shù)據(jù)超過一定的限制時,普通計算機(jī)是無法處理的,這主要是由于單處理器運(yùn)行時對大數(shù)據(jù)進(jìn)行磁盤分頁和內(nèi)存映射的額外耗費(fèi)造成的。單機(jī)處理是有數(shù)據(jù)量限制的,對于更大規(guī)模的數(shù)據(jù),單機(jī)無法處理。
圖1 城市規(guī)劃中的多尺度數(shù)據(jù)資源
大部分的GIS模型都具有內(nèi)在復(fù)雜性,大多空間優(yōu)化問題都是具有NP復(fù)雜度的問題,同時,模型和算法都是高計算復(fù)雜度和海量數(shù)據(jù)計算兼?zhèn)涞膯栴}[8]。而對某些復(fù)雜問題的求解,即使是精妙地改進(jìn)算法仍然是無能為力的。因此,在GIS模型分析計算領(lǐng)域?qū)τ嬎隳芰μ岢隽似惹械男枨螅?]。
由于實(shí)際應(yīng)用的需要,如天氣預(yù)報、突發(fā)事件(火災(zāi)、地震)的快速反應(yīng)等,要求GIS系統(tǒng)具備在指定的時間內(nèi)能夠完成定量數(shù)據(jù)的處理,達(dá)到實(shí)時或近實(shí)時的處理能力,這對于實(shí)際應(yīng)用有重大的意義。這方面比較典型的例子是城市應(yīng)急響應(yīng)系統(tǒng)、災(zāi)害監(jiān)測系統(tǒng)、軍隊指揮控制系統(tǒng)及公眾地圖服務(wù)中對出圖效率和響應(yīng)時間的要求。對GIS實(shí)時計算能力要求是在考慮了數(shù)據(jù)的增長和模型復(fù)雜化的前提下的不斷提高,因此是一個很有挑戰(zhàn)性的問題。
本文充分發(fā)揮超級計算機(jī)海量數(shù)據(jù)管理和高性能計算的能力,以滿足規(guī)劃管理應(yīng)用中的GIS數(shù)據(jù)量膨脹、應(yīng)用模型復(fù)雜化、實(shí)時計算等需求。信息處理流程見圖2,平臺設(shè)計思路見圖3。針對當(dāng)前規(guī)劃數(shù)據(jù)海量增長、復(fù)雜模型計算效率低下的問題,將集群中的文件切分成塊,并創(chuàng)建多份數(shù)據(jù)塊的復(fù)制,利用多節(jié)點(diǎn)文件索引系統(tǒng)進(jìn)行管理;針對復(fù)雜模型計算效率低下的問題,應(yīng)用MPI并行計算技術(shù),在計算機(jī)集群上面根據(jù)需求運(yùn)行多個程序?qū)嵗齺硖幚砀鱾€子任務(wù),然后再對結(jié)果進(jìn)行歸并,實(shí)現(xiàn)了海量空間數(shù)據(jù)的并行地理分析。對城市規(guī)劃中涉及到的地形地貌、淹沒、日照、視場分析等數(shù)據(jù)運(yùn)算密集型應(yīng)用進(jìn)行并行化處理。
圖2 城市規(guī)劃中的GIS信息處理流程
圖3 規(guī)劃管理應(yīng)用平臺設(shè)計思路
規(guī)劃管理應(yīng)用平臺能夠?qū)崿F(xiàn)基于語義的高效檢索和基于MPI的高性能計算方法,提高基于多源遙感、三維GIS等空間數(shù)據(jù)資源的利用效率,從而實(shí)現(xiàn)高效、合理、智能的城市規(guī)劃管理和分析功能。
平臺實(shí)現(xiàn)的主要技術(shù)指標(biāo)包括:①該平臺能夠?qū)?0種以上的城市多源異構(gòu)遙感、GIS數(shù)據(jù)進(jìn)行一體化描述和語義標(biāo)注;②提供海量多源異構(gòu)城市規(guī)劃遙感、GIS數(shù)據(jù)的描述、檢索、空間分析、規(guī)劃分析等5種以上服務(wù);③城市規(guī)劃海量空間數(shù)據(jù)的檢索的查全率達(dá)到98%以上,查準(zhǔn)率達(dá)到99%;④實(shí)現(xiàn)基于MPI的大規(guī)模城市規(guī)劃分析功能,如坡度分析、通視分析、日照分析等功能,對整個城市范圍的大比例尺數(shù)據(jù)的規(guī)劃分析性能提高5倍以上。
廣州超級計算中心是廣州市的科技一號工程,是助推戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展、支撐國家創(chuàng)新型城市和智慧廣州建設(shè)的重大戰(zhàn)略性基礎(chǔ)設(shè)施,為廣州、廣東乃至華南地區(qū)的經(jīng)濟(jì)社會發(fā)展提供強(qiáng)大引擎,為物聯(lián)網(wǎng)、動漫渲染、工業(yè)設(shè)計、城市規(guī)劃、電子商務(wù)、電子政務(wù)等眾多領(lǐng)域的個人、研究機(jī)構(gòu)、企業(yè)和政府提供優(yōu)質(zhì)的高性能計算服務(wù)。有利于提升廣東、廣州的科技教育實(shí)力、產(chǎn)業(yè)競爭力、文化創(chuàng)新力和國際影響力,推動戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展,提升社會服務(wù)管理水平。同時,也為規(guī)劃系統(tǒng)海量數(shù)據(jù)的共享和計算提供了一條可行途徑[5]。
廣州超算中心超級計算機(jī)系統(tǒng)從組成結(jié)構(gòu)上看,包括計算處理分系統(tǒng)、服務(wù)處理分系統(tǒng)、互連通信分系統(tǒng)、全局存儲分系統(tǒng)、監(jiān)控診斷分系統(tǒng)和基礎(chǔ)架構(gòu)分系統(tǒng)(見圖4)。
圖4 超級計算中心系統(tǒng)組成結(jié)構(gòu)
為了驗(yàn)證規(guī)劃管理平臺設(shè)計的可行性,本項(xiàng)目組依據(jù)平臺的性能需求,在廣州超算中心申請了9個計算節(jié)點(diǎn)(見圖5)。其中,1個主節(jié)點(diǎn)部署系統(tǒng)的應(yīng)用層,負(fù)責(zé)系統(tǒng)的用戶界面顯示和規(guī)劃應(yīng)用功能展示;1個子節(jié)點(diǎn)部署任務(wù)調(diào)度層,負(fù)責(zé)并行處理的作業(yè)調(diào)度,調(diào)用并行運(yùn)算功能;并行處理層運(yùn)行在7個子節(jié)點(diǎn)上,將計算完成的結(jié)果返回給主節(jié)點(diǎn)歸并。圖5是“廣州市三維規(guī)劃管理系統(tǒng)”在廣州超算中心先導(dǎo)系統(tǒng)上的系統(tǒng)實(shí)現(xiàn)界面,其是對廣州全市DEM數(shù)據(jù)的并行坡度分析結(jié)果圖,總共運(yùn)行時間約7s,比串行坡度分析效率提高近5倍。
圖5 平臺在廣州超級計算中心實(shí)現(xiàn)效果圖
本文針對城市規(guī)劃中地理信息數(shù)據(jù)量膨脹、模型復(fù)雜化、實(shí)時計算的迫切需求,依托超級計算機(jī)海量數(shù)據(jù)管理和處理能力,突破海量GIS數(shù)據(jù)高效存儲、復(fù)雜三維空間數(shù)據(jù)并行計算等技術(shù)難題,構(gòu)建城市規(guī)劃管理與應(yīng)用智能平臺,為建設(shè)“智慧城市”、實(shí)現(xiàn)“三規(guī)合一”統(tǒng)一提供信息技術(shù)支撐,以提高測繪地理信息服務(wù)政府、服務(wù)社會的保障能力,最終推動地理信息戰(zhàn)略型新興產(chǎn)業(yè)持續(xù)、健康、快速發(fā)展。
隨著大規(guī)模科學(xué)計算成為繼實(shí)驗(yàn)和理論分析之后第三種科學(xué)研究手段后,高性能計算技術(shù)已經(jīng)成為國內(nèi)各個地區(qū)經(jīng)濟(jì)轉(zhuǎn)型期新的經(jīng)濟(jì)增長點(diǎn)和技術(shù)服務(wù)支撐,國家級和省級的超算中心雨后春筍般競相成立。廣州市正處于經(jīng)濟(jì)發(fā)展的轉(zhuǎn)型期,要充分利用廣州超算中心在高性能計算方面獨(dú)特的優(yōu)勢,為以生物、地球科學(xué)、物聯(lián)網(wǎng)等為代表的各類新興產(chǎn)業(yè)提供優(yōu)質(zhì)的高性能計算技術(shù)服務(wù)。
[1]冉磊,高磊,張宇琳,等.三維數(shù)字城市技術(shù)在城市規(guī)劃中的應(yīng)用[J].城市勘測,2010(2):99-101.
[2]劉勤,馬建林,趙江波.GIS在城市規(guī)劃管理信息系統(tǒng)中的應(yīng)用[J].城市勘測,2010(3):20-22.
[3]王握文,陳明.“天河一號”超級計算機(jī)系統(tǒng)研制[J].國防科技,2009(6):4.
[4]張丹丹,郭培卿.第39屆全球超級計算機(jī)TOP500排行榜[J].高性能計算發(fā)展與應(yīng)用,2012,39(2):06-08.
[5]張軍華,臧勝濤,單聯(lián)瑜,等.高性能計算的發(fā)展現(xiàn)狀及趨勢[J].石油地球物理勘探,2010,45(6):918-925.
[6]劉航冶,李二森,張振華.基于集群的影像并行OPTA算法研究[J].測繪工程,2011,20(2):35-38.
[7]王結(jié)臣,王豹,胡瑋,等.并行空間分析算法研究進(jìn)展及評述[J].地理與地理信息科學(xué).2011,27(6):1-5.
[8]張劍清,柯濤,孫明偉,等.并行計算在航空攝影測量中的應(yīng)用與實(shí)現(xiàn)[J].測繪通報,2008(12):11-14.
[9]吳佳妮,劉露,陳犖,等.高性能計算環(huán)境下地理計算服務(wù)流程并行處理方法[J].計算機(jī)科學(xué),2012,39(11):111-115.
[10]姚燕華,孫翔,王朝暉,等.廣州市控制性規(guī)劃導(dǎo)則實(shí)施評價研究[J].城市規(guī)劃,2008(2):38-44.
[11]周浩,鐘波,羅志才,等.OpenMP并行算法在衛(wèi)星重力場模型反演中的應(yīng)用[J].大地測量與地球動力學(xué),2011,31(5):123-127.