戴建旺,白曉飛
(1.中國(guó)地質(zhì)大學(xué)信息工程學(xué)院,湖北 武漢 430074;2.中國(guó)土地勘測(cè)規(guī)劃院,北京 100035)
第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng)建設(shè)是第二次全國(guó)土地調(diào)查工程的重點(diǎn)工作,其目標(biāo)是建設(shè)第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng),實(shí)現(xiàn)國(guó)家對(duì)第二次全國(guó)土地調(diào)查成果的集中管理,為國(guó)土資源宏觀規(guī)劃和管理決策提供準(zhǔn)確、翔實(shí)的土地調(diào)查成果數(shù)據(jù),建立長(zhǎng)效的數(shù)據(jù)上報(bào)和快速更新機(jī)制,保持土地調(diào)查數(shù)據(jù)庫(kù)的現(xiàn)勢(shì)性,實(shí)現(xiàn)國(guó)家、省、市、縣4級(jí)土地調(diào)查數(shù)據(jù)庫(kù)的互聯(lián)互通和同步更新。
第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng)主要存儲(chǔ)第二次全國(guó)土地調(diào)查形成的全國(guó)農(nóng)村土地調(diào)查數(shù)據(jù)以及相關(guān)影像等數(shù)據(jù),同時(shí)也包括第二次全國(guó)土地調(diào)查完成后每年的年度更新的土地調(diào)查矢量數(shù)據(jù)和影像數(shù)據(jù)等更新數(shù)據(jù)。主要數(shù)據(jù)內(nèi)容包括:矢量數(shù)據(jù)、DOM數(shù)據(jù)、DEM數(shù)據(jù)、元數(shù)據(jù)和其他文檔類數(shù)據(jù)。
第二次全國(guó)土地調(diào)查產(chǎn)生的數(shù)據(jù)量十分巨大,據(jù)估算近100TB(DOM影像數(shù)據(jù)不小于55TB,DEM數(shù)據(jù)不小于10TB,土地調(diào)查矢量數(shù)據(jù)約2—5TB,文檔及其他數(shù)據(jù)約為0.5TB),加上備份數(shù)據(jù)約200TB,并且數(shù)據(jù)量將會(huì)逐年遞增。這些數(shù)據(jù)內(nèi)容復(fù)雜,種類多樣,既有矢量數(shù)據(jù)也有柵格數(shù)據(jù),涵蓋縣、市、省、國(guó)家多種尺度。目前的海量數(shù)據(jù)存儲(chǔ)和管理技術(shù)還不能適應(yīng)這樣的需求,急需加強(qiáng)研究,確保第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng)建設(shè)項(xiàng)目的順利完成。
國(guó)內(nèi)外涉及海量數(shù)據(jù)存儲(chǔ)與管理的研究較多,但主要關(guān)注于存儲(chǔ)軟硬件設(shè)備,涉及海量空間數(shù)據(jù)存儲(chǔ)的較少。李圣偉[3]提出將大數(shù)據(jù)量的影像數(shù)據(jù)以BLOB的方式存儲(chǔ)在Oracle中,但沒(méi)有涉及空間數(shù)據(jù)的空間索引技術(shù)研究。汪超亮[4]等對(duì)基于文件系統(tǒng)的海量遙感數(shù)據(jù)目錄文件系統(tǒng)進(jìn)行研究。陳建明[5]等對(duì)基于SQL Server的三維遙感影像數(shù)據(jù)庫(kù)影像數(shù)據(jù)存儲(chǔ)管理技術(shù)進(jìn)行研究,探討了分層金字塔模型應(yīng)用效果。
目前國(guó)內(nèi)外海量影像數(shù)據(jù)存儲(chǔ)管理技術(shù)主要有三類:基于文件系統(tǒng)的存儲(chǔ)管理技術(shù)、基于基礎(chǔ)GIS平臺(tái)軟件的存儲(chǔ)管理技術(shù)和基于Oracle Spatial GeoRaster的存儲(chǔ)管理技術(shù),但這些技術(shù)均離國(guó)家級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng)的建設(shè)需求有一定的差距?;谖募到y(tǒng)和基于Oracle Spatial GeoRaster的存儲(chǔ)管理技術(shù)在數(shù)據(jù)安全、并發(fā)共享以及效率等方面不能滿足土地調(diào)查數(shù)據(jù)的管理和應(yīng)用需求;基于基礎(chǔ)GIS平臺(tái)軟件的存儲(chǔ)管理技術(shù)是把影像數(shù)據(jù)以BLOB字段的方式存進(jìn)商用數(shù)據(jù)庫(kù)軟件中,在應(yīng)對(duì)海量數(shù)據(jù)管理等方面的效率不能滿足土地調(diào)查數(shù)據(jù)的管理和應(yīng)用需求。海量矢量數(shù)據(jù)存儲(chǔ)管理技術(shù)主要有兩類:基于基礎(chǔ)GIS平臺(tái)軟件的存儲(chǔ)管理技術(shù)和基于Oracle Spatial的存儲(chǔ)管理技術(shù),基于基礎(chǔ)GIS平臺(tái)軟件的矢量數(shù)據(jù)存儲(chǔ)管理技術(shù)是傳統(tǒng)、常用的技術(shù),但面對(duì)海量矢量的并發(fā)查詢、檢索時(shí),效率較慢,不能滿足應(yīng)用需求;基于Oracle Spatial的矢量存儲(chǔ)管理技術(shù)的海量矢量并發(fā)查詢、檢索效率較高(可以利用Oracle的集群技術(shù)),但其空間應(yīng)用工具又較少,也不能滿足應(yīng)用需求。因此需要融合Oracle Spatial和基礎(chǔ)GIS平臺(tái)軟件的共同優(yōu)勢(shì),研究如何存儲(chǔ)組織海量矢量數(shù)據(jù),以滿足國(guó)家級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng)建設(shè)需求。
2.1.1 ArcGIS影像存儲(chǔ)[2]地理數(shù)據(jù)庫(kù)Geodatabase是ArcGIS自帶的數(shù)據(jù)格式。ArcGIS 9.x版本包含三種地理數(shù)據(jù)庫(kù):基于MicrosoftAccess的個(gè)人地理數(shù)據(jù)庫(kù),文件地理數(shù)據(jù)庫(kù)和ArcSDE地理數(shù)據(jù)庫(kù)。
個(gè)人地理數(shù)據(jù)庫(kù)和文件地理數(shù)據(jù)庫(kù)是為個(gè)體用戶和小型項(xiàng)目設(shè)計(jì)的。ArcSDE地理數(shù)據(jù)庫(kù)具有可擴(kuò)展性,專門(mén)為從中等級(jí)別到企業(yè)級(jí)應(yīng)用這樣的較大規(guī)模應(yīng)用設(shè)計(jì)的。
在企業(yè)級(jí)地理數(shù)據(jù)庫(kù)中,管理地理數(shù)據(jù)的任務(wù)由ArcGIS和所使用的RDBMS共同完成。在數(shù)據(jù)存儲(chǔ)層,RDBMS軟件提供了一個(gè)簡(jiǎn)單而正規(guī)的數(shù)據(jù)模型來(lái)存儲(chǔ)和管理表格中的信息。在RDBMS中,企業(yè)級(jí)地理數(shù)據(jù)庫(kù)的圖表以ArcSDE Repositary這樣一種表集的形式得到了延續(xù)。與數(shù)據(jù)存儲(chǔ)和檢索相關(guān)的部分是由地理數(shù)據(jù)管理中的簡(jiǎn)單表格和特定方面來(lái)實(shí)現(xiàn)的,比如基于磁盤(pán)的存儲(chǔ)、屬性類型的定義、查詢處理以及多用戶事務(wù)處理,這些都是由RDBMS來(lái)運(yùn)行的。
ArcSDE技術(shù)提供了中間件,作為地理信息系統(tǒng)的客戶端與RDBM之間的網(wǎng)關(guān),ArcSDE為空間數(shù)據(jù)服務(wù),并確保了RDBMS對(duì)數(shù)據(jù)的訪問(wèn)和管理。ArcSDE技術(shù)是由以下幾個(gè)組件聯(lián)合實(shí)現(xiàn)的:可執(zhí)行文件的目錄,數(shù)據(jù)庫(kù)(即ArcSDE庫(kù))中的一組表格和存儲(chǔ)程序,以及可選擇的服務(wù)。
2.1.2 Oracle影像存儲(chǔ) Oracle影像存儲(chǔ)由Oracle Spatial模塊來(lái)實(shí)現(xiàn)。Oracle Spatial包括一個(gè)可以原生管理Oracle數(shù)據(jù)庫(kù)中的地理參照柵格數(shù)據(jù)的數(shù)據(jù)類型,這些柵格數(shù)據(jù)包括人造衛(wèi)星圖像、遙感數(shù)據(jù)和網(wǎng)格化數(shù)據(jù)。Oracle Spatial的GeoRaster特性提供了圖像的地理參照,用于元數(shù)據(jù)管理的XML模式,以及如金字塔分層、分塊和交叉等基本操作??梢允褂盟鼇?lái)存儲(chǔ)、索引、查詢、分析和提供柵格圖像和網(wǎng)格化數(shù)據(jù)及其相關(guān)元數(shù)據(jù)。GeoRaster提供了Oracle空間數(shù)據(jù)類型和一個(gè)對(duì)象關(guān)系模式。可以使用這些數(shù)據(jù)類型和模式對(duì)象來(lái)存儲(chǔ)多維網(wǎng)格層和柵格圖像,這些網(wǎng)格層和柵格圖像可以對(duì)應(yīng)到地球表面或本地坐標(biāo)系統(tǒng)中的位置。GeoRaster還支持行業(yè)標(biāo)準(zhǔn)的壓縮技術(shù),包括JPEG基線(有損)和DEFLATE(無(wú)損)。
GeoRaster數(shù)據(jù)在Oracle的文檔中定義為柵格影像(raster image)和網(wǎng)格數(shù)據(jù)(gridded data),以及與它們相關(guān)聯(lián)的元數(shù)據(jù)(metadata)。GeoRaster提供了Oracle Spatial的數(shù)據(jù)類型和實(shí)體—關(guān)系模式(object-relational schema)。用戶可以直接使用這些數(shù)據(jù)類型和模式對(duì)象來(lái)存儲(chǔ)帶有地理坐標(biāo)的柵格數(shù)據(jù)。GeoRaster還提供了一系列豐富的配套函數(shù)以支持影像處理。
從目前情況來(lái)看,ArcGIS和Oracle Spatial的存儲(chǔ)特點(diǎn)不能滿足第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng)的建設(shè)需求,即如何在3s之內(nèi)讀取并顯示任意范圍內(nèi)的影像數(shù)據(jù)。其技術(shù)原因是沒(méi)有很好地解決數(shù)據(jù)存塊的大小與數(shù)據(jù)瀏覽需求的關(guān)系,即:(1)在滿足瀏覽范圍需求的前提下盡可能減少數(shù)據(jù)獲取的冗余;(2)在既定的數(shù)據(jù)獲取容量下,盡可能地減少磁盤(pán)讀取次數(shù);(3)取得前兩項(xiàng)要求的綜合均衡;(4)在不影響目視瀏覽效果的情況下進(jìn)行數(shù)據(jù)壓縮,節(jié)省存儲(chǔ)空間。
2.2.1 總體設(shè)計(jì) 影像數(shù)據(jù)存儲(chǔ)訪問(wèn)技術(shù)由Oracle數(shù)據(jù)存儲(chǔ)、影像數(shù)據(jù)服務(wù)程序、影像數(shù)據(jù)目錄服務(wù)程序、影像入庫(kù)工具、二維瀏覽組件、三維瀏覽組件組成一個(gè)完整的影像存儲(chǔ)與訪問(wèn)解決方案。其中各個(gè)部分主要完成的功能為:(1)Oracle數(shù)據(jù)存儲(chǔ),提供以瓦片為最小影像數(shù)據(jù)存儲(chǔ)單元的影像數(shù)據(jù)組織形式,以及高效、簡(jiǎn)單、標(biāo)準(zhǔn)的數(shù)據(jù)提供;(2)影像數(shù)據(jù)服務(wù)程序,采用標(biāo)準(zhǔn)Http請(qǐng)求與訪問(wèn)格式,將Oracle數(shù)據(jù)庫(kù)中存儲(chǔ)的海量影像數(shù)據(jù)對(duì)外發(fā)布;(3)影像數(shù)據(jù)目錄服務(wù)程序,為影像數(shù)據(jù)二維、三維瀏覽客戶端提供影像數(shù)據(jù)組織形式、影像元數(shù)據(jù)信息、居于角色的影像瀏覽控制等;(4)影像數(shù)據(jù)入庫(kù)工具。將原始影像數(shù)據(jù)按照既定的數(shù)據(jù)處理標(biāo)準(zhǔn)進(jìn)行標(biāo)準(zhǔn)化處理,并存儲(chǔ)進(jìn)Oracle數(shù)據(jù)庫(kù)中,保證不同數(shù)據(jù)源、格式、波段的影像數(shù)據(jù)無(wú)縫瀏覽;(5)影像數(shù)據(jù)二維瀏覽組件。提供影像數(shù)據(jù)的二維瀏覽模式;(6)影像數(shù)據(jù)三維瀏覽組件,提供影像數(shù)據(jù)的三維瀏覽模式。影像數(shù)據(jù)存儲(chǔ)訪問(wèn)技術(shù)總體框架如圖1所示。
圖1 影像數(shù)據(jù)存儲(chǔ)訪問(wèn)框架圖Fig.1 Framework of image data storage and access
2.2.2 存儲(chǔ)組織設(shè)計(jì) (1)存儲(chǔ)組織。影像數(shù)據(jù)的存儲(chǔ)采用純Oracle表格的方式,與ArcGIS和Oracle Spatial沒(méi)有關(guān)系,采用這種方式存儲(chǔ)瓦片數(shù)據(jù),可以有效簡(jiǎn)化影像的存儲(chǔ)模型,提高數(shù)據(jù)檢索與訪問(wèn)效率。這種存儲(chǔ)模式還可以使影像數(shù)據(jù)的備份、恢復(fù)與遷移更加容易操作,其基本存儲(chǔ)結(jié)構(gòu)如表1。
對(duì)于多源、多尺度的影像數(shù)據(jù),按波段、分辨率、區(qū)域的不同進(jìn)行規(guī)劃,分表、分塊進(jìn)行存儲(chǔ),而且金字塔的每一級(jí)都被分塊存儲(chǔ),默認(rèn)推薦分塊大小:512×512像元,允許分塊訪問(wèn)提高數(shù)據(jù)顯示效率,也允許局部構(gòu)建和更新。
(2)金字塔構(gòu)建。為了提高海量影像數(shù)據(jù)的實(shí)時(shí)縮放顯示速度,快速獲取不同分辨率的影像信息,需要對(duì)原始數(shù)據(jù)生成影像金字塔,并根據(jù)不同的顯示要求調(diào)用不同分辨率的影像,達(dá)到快速顯示漫游的目的。影像金字塔就是由原始影像開(kāi)始,建立一系列影像級(jí)別,各級(jí)影像反映詳盡程度不同。影像金字塔結(jié)構(gòu)的小同層具有不同分辨率的特點(diǎn),在對(duì)影像數(shù)據(jù)瀏覽時(shí),需要根據(jù)當(dāng)前顯示的分辨率抽取相應(yīng)金字塔層的數(shù)據(jù),以實(shí)現(xiàn)影像數(shù)據(jù)的快速瀏覽。
表1 基本存儲(chǔ)結(jié)構(gòu)表Tab.1 Basic storage structure
(3)壓縮與解壓縮。對(duì)影像數(shù)據(jù)進(jìn)行壓縮,不僅可以有效減少磁盤(pán)存儲(chǔ)空間,還可以提高數(shù)據(jù)檢索的效率、大大縮短網(wǎng)絡(luò)傳輸?shù)臅r(shí)間。影像的壓縮從數(shù)據(jù)的失真度分,一般有有損與無(wú)損壓縮兩大類。無(wú)損壓縮可以保持原始影像數(shù)據(jù)不會(huì)有任何丟失,而有損壓縮則會(huì)不同程度的丟失一些信息。無(wú)損壓縮的壓縮比一般很低,平均在2:1左右,而有損壓縮則可以在獲得很高的壓縮比的情況下保證盡量少的信息損失。
2.3.1 試驗(yàn)方法 對(duì)新的存儲(chǔ)模式分B/S(WMS接口、Http接口)和C/S(ArcEngine接口、ArcMap)兩種,通過(guò)全圖、放大、縮小、漫游操作以及矢量圖層進(jìn)行疊加等方法進(jìn)行數(shù)據(jù)調(diào)用測(cè)試。
2.3.2 試驗(yàn)小結(jié)(1)B/S接口集成測(cè)試。WMS接口能在分別在ArcCatalog、ArcMap,以及測(cè)試系統(tǒng)中正常使用,并且瀏覽效率基本能夠達(dá)到預(yù)期3s/屏的要求;Http接口能夠在信息中心的測(cè)試系統(tǒng)中正常使用,并且瀏覽效率基本能夠達(dá)到預(yù)期3s/屏的要求;獲取影像列表接口能夠正常返回指定范圍的全部影像瓦片數(shù)據(jù)的列表,以及各瓦片相應(yīng)的Worldfile文件(注:Worldfile文件為ArcGIS系列中為每幅影像定義的用于描述影像坐標(biāo)范圍和精度的文件);瀏覽器返回的XML格式的影像文件列表包含了用于影像進(jìn)一步拼接處理的必要信息;獲取指定影像接口能夠正常獲取影像列表中的各影像數(shù)據(jù),及其相應(yīng)的Worldfile文件。
(2)C/S接口集成測(cè)試。ArcEngine接口能夠通過(guò)當(dāng)前瀏覽范圍正確的獲取負(fù)荷范圍要求和級(jí)別的影像數(shù)局部刷新平移工具能很好的實(shí)現(xiàn)影像的局部刷新瀏覽。接口的使用效果和效率滿足要求;ArcMap中能很好的實(shí)現(xiàn)對(duì)影像數(shù)據(jù)的瀏覽,局部刷新平移工具能正確的實(shí)現(xiàn)影像的平移局部刷新效果。影像加載及瀏覽效果滿足要求。
第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)將存儲(chǔ)全國(guó)2859個(gè)縣的土地調(diào)查數(shù)據(jù)成果,數(shù)據(jù)量將達(dá)到3TB左右。如何將全國(guó)的土地調(diào)查數(shù)據(jù)統(tǒng)一管理,同時(shí),達(dá)到數(shù)據(jù)瀏覽、查詢、制圖以及數(shù)據(jù)更新的性能要求,是急需攻克的技術(shù)難題之一。
第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)將部署于中國(guó)土地勘測(cè)規(guī)劃院的數(shù)據(jù)中心,在滿足數(shù)據(jù)中心總體規(guī)劃框架下需要將數(shù)據(jù)管理和業(yè)務(wù)應(yīng)用相分離,以便于數(shù)據(jù)為不同的應(yīng)用提供服務(wù)。鑒于此,矢量數(shù)據(jù)采用開(kāi)放的Oracle Spatial進(jìn)行統(tǒng)一存儲(chǔ)。
通過(guò)對(duì)數(shù)據(jù)量以及數(shù)據(jù)庫(kù)存儲(chǔ)管理應(yīng)用需求的分析,項(xiàng)目組提出了分區(qū)存儲(chǔ)和分縣存儲(chǔ)兩種模式可對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)與管理,最終采用哪種存儲(chǔ)模式進(jìn)行矢量數(shù)據(jù)的存儲(chǔ),需要進(jìn)一步的實(shí)驗(yàn)和論證兩種存儲(chǔ)模式在數(shù)據(jù)存儲(chǔ)、業(yè)務(wù)應(yīng)用等層面的技術(shù)可行性和優(yōu)劣點(diǎn),以實(shí)驗(yàn)為基礎(chǔ)來(lái)最終確定國(guó)家級(jí)數(shù)據(jù)庫(kù)矢量數(shù)據(jù)的存儲(chǔ)模式。
3.1.1 分區(qū)存儲(chǔ)模式 分區(qū)存儲(chǔ)模式主要是采用數(shù)據(jù)庫(kù)的分區(qū)(Partition)技術(shù),通過(guò)分區(qū)表對(duì)空間數(shù)據(jù)進(jìn)行存儲(chǔ)和管理的一種存儲(chǔ)模式。針對(duì)于國(guó)家?guī)旃芾淼氖噶繑?shù)據(jù),每個(gè)圖層對(duì)應(yīng)一個(gè)分區(qū)表,共有25個(gè)分區(qū)表(土地利用數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)為29個(gè)圖層,除去4個(gè)柵格數(shù)據(jù)圖層)。每個(gè)分區(qū)表需要建立2859個(gè)分區(qū)(對(duì)應(yīng)于2859個(gè)縣)以及一個(gè)默認(rèn)(Default)分區(qū)。為了均衡磁盤(pán)的I/0,可以將不同的分區(qū)存放在不同的磁盤(pán)內(nèi),同時(shí),為了提高數(shù)據(jù)的訪問(wèn)性能,可以針對(duì)空間數(shù)據(jù)存儲(chǔ)字段建立全局索引或本地(分區(qū))索引。建庫(kù)流程如圖2所示。
圖2 分區(qū)模式數(shù)據(jù)入庫(kù)流程Fig.2 Data loading process in partitioned mode
分區(qū)存儲(chǔ)模式的優(yōu)勢(shì)為:將2859個(gè)縣的圖層在物理上統(tǒng)一成一套圖層,查詢、瀏覽、統(tǒng)計(jì)方便;分區(qū)表技術(shù)從Oracle 8i開(kāi)始,得到較廣泛的應(yīng)用,技術(shù)成熟穩(wěn)定。但也存在一定劣勢(shì):數(shù)據(jù)庫(kù)操作技術(shù)水平要求比較高,不易于維護(hù);每次入庫(kù)需要進(jìn)行數(shù)據(jù)導(dǎo)入(Trans)分區(qū)以及分區(qū)表索引的處理,存在大量的數(shù)據(jù)庫(kù)維護(hù)工作量,也比較耗時(shí),如分區(qū)表索引若為全局索引,則每導(dǎo)入一次數(shù)據(jù)就需要重建全局索引,若為本地(分區(qū))索引,也需要在導(dǎo)入數(shù)據(jù)時(shí)建立本區(qū)的索引;分區(qū)存儲(chǔ)模式要求數(shù)據(jù)必須是統(tǒng)一的空間參考;同一個(gè)分區(qū)表的各縣數(shù)據(jù)的圖層屬性結(jié)構(gòu)、數(shù)據(jù)記錄的質(zhì)量要求比較高,必須統(tǒng)一。
3.1.2 分縣存儲(chǔ)模式 分縣存儲(chǔ)模式是將矢量數(shù)據(jù)按分縣分圖層的方式進(jìn)行管理的一種存儲(chǔ)模式?,F(xiàn)有的分縣模式實(shí)際為分縣存儲(chǔ)+動(dòng)態(tài)調(diào)度視圖,動(dòng)態(tài)調(diào)度視圖主要解決了跨縣、跨區(qū)域組織問(wèn)題。針對(duì)于國(guó)家?guī)旃芾淼氖噶繑?shù)據(jù),每個(gè)縣為25個(gè)圖層,共2859個(gè)縣,對(duì)應(yīng)于Oracle數(shù)據(jù)庫(kù)來(lái)說(shuō)共25×2859=71475張空間數(shù)據(jù)表格。入庫(kù)時(shí)即對(duì)空間數(shù)據(jù)存儲(chǔ)字段建立R-Tree索引。
采用分縣存儲(chǔ)模式,數(shù)據(jù)入庫(kù)后即可瀏覽、查詢、統(tǒng)計(jì),具體優(yōu)勢(shì)為:數(shù)據(jù)入庫(kù)后的維護(hù)工作量比較少;各縣獨(dú)立存儲(chǔ),數(shù)據(jù)的獨(dú)立性相對(duì)較好;分縣+動(dòng)態(tài)調(diào)度視圖可以很好的實(shí)現(xiàn)多縣(跨縣)瀏覽和單縣瀏覽。劣勢(shì)主要為:數(shù)據(jù)表比較多;海量數(shù)據(jù)存取效率有待驗(yàn)證。
重點(diǎn)對(duì)兩種不同存儲(chǔ)模式下的數(shù)據(jù)瀏覽、查詢、數(shù)據(jù)更新以及數(shù)據(jù)庫(kù)維護(hù)等功能進(jìn)行測(cè)試,確定最優(yōu)方案。
3.2.1 試驗(yàn)方法 對(duì)兩種不同模式下的不同范圍(分縣、多線、全國(guó))試驗(yàn)數(shù)據(jù)進(jìn)行瀏覽、查詢和數(shù)據(jù)更新等分組測(cè)試(表2)。
3.2.2 試驗(yàn)結(jié)果 試驗(yàn)結(jié)果如表3、4、5所示。
表2 測(cè)試矢量數(shù)據(jù)說(shuō)明Tab.2 Specification of testing vector data
3.2.3 試驗(yàn)小結(jié) 從實(shí)驗(yàn)結(jié)果來(lái)看,數(shù)據(jù)瀏覽、查詢、更新在性能上,分縣存儲(chǔ)模式略優(yōu)于分區(qū)存儲(chǔ)模式:(1)數(shù)據(jù)瀏覽,分別在不同的顯示比例下,對(duì)縣內(nèi)、跨縣(4縣)的多個(gè)圖層進(jìn)行數(shù)據(jù)瀏覽,在數(shù)據(jù)瀏覽的效率上分縣模式要比分區(qū)模式快;(2)數(shù)據(jù)查詢,在兩種模式下分別對(duì)單縣和全國(guó)進(jìn)行同一條件查詢,同時(shí)要求返回相同的記錄數(shù),基于分區(qū)模式的圖層屬性查詢較基于分縣模式圖層屬性查詢約慢100%;(3)數(shù)據(jù)更新。①單圖層多用戶并發(fā)更新,在相同硬件環(huán)境、網(wǎng)絡(luò)環(huán)境、客戶端數(shù)量(10個(gè))、更新包(10組)的環(huán)境下對(duì)地類圖斑層(DLTB)進(jìn)行更新,分縣模式的更新所用時(shí)間(平均時(shí)間25.7min/縣)略優(yōu)與分區(qū)模式的更新所用時(shí)間(平均時(shí)間26.96min/縣),②多圖層多用戶并發(fā)更新,在相同硬件環(huán)境、網(wǎng)絡(luò)環(huán)境、客戶端數(shù)量(10個(gè))、更新包(10組)的環(huán)境下對(duì)(DLTB、JBNTBHPK、JBNTBHTB、XZDW、XZQ、XZQJX)進(jìn)行更新,分縣模式比分區(qū)模式快2.43min/縣。
表3 多縣數(shù)據(jù)大范圍瀏覽測(cè)試結(jié)果表Tab.3 Testing results of large range data browsing in various counties
表4 不同模式查詢結(jié)果表Tab.4 Query results in differentmodes
表5 數(shù)據(jù)更新測(cè)試結(jié)果表Tab.5 Results of data updating test
針對(duì)第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)模式,技術(shù)上兩者都可行,但在數(shù)據(jù)管理模式、數(shù)據(jù)訪問(wèn)性能、數(shù)據(jù)庫(kù)維護(hù)工作量以及國(guó)家?guī)煜到y(tǒng)的功能開(kāi)發(fā)工作量上,分縣存儲(chǔ)模式要優(yōu)于分區(qū)存儲(chǔ)模式。因此,第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)宜采用分縣模式進(jìn)行矢量數(shù)據(jù)存儲(chǔ)。
通過(guò)對(duì)海量空間數(shù)據(jù)存儲(chǔ)和管理關(guān)鍵技術(shù)的試驗(yàn)研究,解決第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng)建設(shè)項(xiàng)目中的數(shù)據(jù)存儲(chǔ)及應(yīng)用的技術(shù)瓶頸。(1)設(shè)計(jì)、開(kāi)發(fā)并驗(yàn)證了獨(dú)立于GIS和數(shù)據(jù)庫(kù)平臺(tái)軟件的、基于數(shù)據(jù)庫(kù)方式的海量影像數(shù)據(jù)存儲(chǔ)技術(shù);(2)設(shè)計(jì)、開(kāi)發(fā)并驗(yàn)證了基于Oracle Spatial的海量矢量數(shù)據(jù)存儲(chǔ)技術(shù)解決方案。但在海量矢量數(shù)據(jù)三維瀏覽、三維交互式操作的效率和效果等方面仍需進(jìn)一步研究。值得提出的是,隨著GIS和數(shù)據(jù)庫(kù)技術(shù)的發(fā)展,GIS和數(shù)據(jù)庫(kù)平臺(tái)軟件也將不斷完善和發(fā)展海量空間數(shù)據(jù)存儲(chǔ)技術(shù),第二次全國(guó)土地調(diào)查國(guó)家級(jí)數(shù)據(jù)庫(kù)管理系統(tǒng)也會(huì)在此基礎(chǔ)上進(jìn)一步完善數(shù)據(jù)存儲(chǔ)策略,更好地為全國(guó)“一張圖”工程提供數(shù)據(jù)和技術(shù)支撐。
(References):
[1]Oracle中國(guó)公司.Oracle Spatial技術(shù)白皮書(shū)[Z].
[2]ESRI中國(guó)公司.ARCGIS系列技術(shù)文檔[Z].
[3]李圣偉,王偉,白亮.長(zhǎng)江河道信息系統(tǒng)海量數(shù)據(jù)存取機(jī)制研究[J].人民長(zhǎng)江,2008,(7):60-61,88.
[4]汪超亮,李傳榮,賈彬.新型遙感衛(wèi)星數(shù)據(jù)目錄服務(wù)系統(tǒng)地研制[J].遙感學(xué)報(bào),2007,11(3):385-389.
[5]陳建明,孫衛(wèi)東.三維遙感影像數(shù)據(jù)庫(kù)系統(tǒng)的研究與實(shí)現(xiàn)[J].新疆地質(zhì),2005,23(3):308-310.