張 晨，武宇娟，段 琛，張鋅蕾

(1.自然資源陜西省衛(wèi)星應(yīng)用技術(shù)中心，陜西 西安 710002；2.陜西省地質(zhì)大數(shù)據(jù)中心)

0 引言

隨著大數(shù)據(jù)時代的到來，科學(xué)研究進(jìn)入了以大數(shù)據(jù)為基礎(chǔ)、以數(shù)據(jù)密集型計算為手段的第四范式。大數(shù)據(jù)技術(shù)可助力地質(zhì)調(diào)查工作進(jìn)入數(shù)字化、智能化的地質(zhì)調(diào)查時代，促使地質(zhì)數(shù)據(jù)共享與開放，突破各種主客觀因素的限制推動數(shù)字經(jīng)濟(jì)發(fā)展。

本文在分析、總結(jié)陜西省公益性地質(zhì)數(shù)據(jù)資源特征的基礎(chǔ)上，探討了大數(shù)據(jù)架構(gòu)思想指導(dǎo)下地質(zhì)數(shù)據(jù)分級共享服務(wù)的設(shè)計思路和實現(xiàn)情況，形成了可行的平臺建設(shè)方案，為數(shù)字中國提供了陜西省公益性地質(zhì)調(diào)查領(lǐng)域的典型案例及經(jīng)驗。

1 公益性地質(zhì)大數(shù)據(jù)服務(wù)平臺設(shè)計

1.1 總體設(shè)計思路

地質(zhì)學(xué)屬于數(shù)據(jù)密集型科學(xué)，地質(zhì)大數(shù)據(jù)具有大量性、特殊性、涉密性、多樣性和價值性[1]，也具有潛在價值大的標(biāo)志性特征[2]。陜西省公益性地質(zhì)調(diào)查工作在礦產(chǎn)地質(zhì)、農(nóng)業(yè)地質(zhì)、城市地質(zhì)、地質(zhì)災(zāi)害綜合防治、國土空間規(guī)劃、地質(zhì)遺跡、自然資源衛(wèi)星遙感技術(shù)應(yīng)用等領(lǐng)域，積累了多維、多元、多源的靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)，具有數(shù)據(jù)格式豐富、數(shù)據(jù)維護(hù)碎片化、靜態(tài)數(shù)據(jù)價值高、動態(tài)數(shù)據(jù)體量大的典型特征。

綜合分析現(xiàn)有公益性地質(zhì)數(shù)據(jù)管理和利用現(xiàn)狀，以“多級文件夾+文件”的數(shù)據(jù)存儲模式以及地質(zhì)資料匯交流程下的數(shù)據(jù)管理方式已經(jīng)無法支撐地質(zhì)數(shù)據(jù)在匯存管用各個環(huán)節(jié)的高效流轉(zhuǎn)和數(shù)字資產(chǎn)管理，與數(shù)字地質(zhì)工作新格局的要求尚存在較大距離，不利于地質(zhì)數(shù)據(jù)的深度挖掘和價值再造。充分考慮地質(zhì)數(shù)據(jù)的混合性、抽樣性、稀缺性、多源性、多元性、多態(tài)性、時空性、變化性、因果性、關(guān)聯(lián)性、方向性、分帶性、代表性、惟一性等等[4]，兼顧數(shù)據(jù)更新方式、頻率，陜西省公益性地質(zhì)大數(shù)據(jù)服務(wù)平臺自下而上劃分為基礎(chǔ)設(shè)施層、數(shù)據(jù)層、服務(wù)層、應(yīng)用層（圖1）。引入分級共享審核流程，來保障數(shù)據(jù)資產(chǎn)管理、智能分析以及服務(wù)調(diào)用等方面的需求。

圖1 系統(tǒng)總體架構(gòu)

1.2 基礎(chǔ)設(shè)施層

采用私有云方式建立一個集中式基礎(chǔ)環(huán)境，通過使用服務(wù)器端虛擬化技術(shù)對資源進(jìn)行集中管理，實現(xiàn)資源粒度的劃分和封裝，提供虛擬BIOS、虛擬處理器、虛擬內(nèi)存、虛擬設(shè)備與I/O 能力，保護(hù)關(guān)鍵業(yè)務(wù)系統(tǒng)和數(shù)據(jù)。

1.3 數(shù)據(jù)層

準(zhǔn)確、全面是大數(shù)據(jù)的基礎(chǔ)[3]。在實現(xiàn)數(shù)據(jù)隨用隨調(diào)、細(xì)粒度服務(wù)、全面可見的同時兼顧管理的可操作性是數(shù)據(jù)層設(shè)計的難點，也是本平臺設(shè)計的核心。利用Hbase 和HDFS 將多源異構(gòu)原始數(shù)據(jù)進(jìn)行分布式存儲，采用關(guān)系型+文件系統(tǒng)的存儲管理方式實現(xiàn)多源、異構(gòu)數(shù)據(jù)的管理，通過索引關(guān)系進(jìn)行統(tǒng)一的查詢、瀏覽、管理和維護(hù)。結(jié)構(gòu)化數(shù)據(jù)、元數(shù)據(jù)等采用關(guān)系型模型進(jìn)行存儲和管理；矢量數(shù)據(jù)，例如基礎(chǔ)地理數(shù)據(jù)、地質(zhì)圖件數(shù)據(jù)等，采用擴(kuò)展關(guān)系型模型（Geodatabase）來進(jìn)行存儲和管理；非結(jié)構(gòu)化的圖片、電子文檔、音視頻等數(shù)據(jù)，則以元數(shù)據(jù)+編目+文件方式統(tǒng)一存儲在文件服務(wù)器上；多源、多分辨率，多時相的遙感影像數(shù)據(jù)區(qū)分為冷數(shù)據(jù)和熱數(shù)據(jù)，采用元數(shù)據(jù)+編目+影像文件方式，冷數(shù)據(jù)存儲在磁盤陣列上，熱數(shù)據(jù)存儲在緩存中。

使用專業(yè)的數(shù)據(jù)處理工具和人工交互方式，對原始數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換、重構(gòu)、空間投影轉(zhuǎn)換和質(zhì)檢后入庫。以符合地質(zhì)調(diào)查行業(yè)習(xí)慣的數(shù)據(jù)分類為主，利用標(biāo)簽系統(tǒng)擴(kuò)展數(shù)據(jù)特征維度，建立數(shù)據(jù)庫分類目錄。在不改變空間數(shù)據(jù)原始格式的情況下，使用商用Web 空間數(shù)據(jù)服務(wù)平臺將其發(fā)布成符合OGC 標(biāo)準(zhǔn)的服務(wù)，以便提供即時服務(wù)能力。

1.4 平臺層

基于基礎(chǔ)設(shè)施層和數(shù)據(jù)層提供的工具和接口，以商用GIS 平臺為基礎(chǔ)，搭建面向應(yīng)用層的體系化服務(wù)能力。提供數(shù)據(jù)、功能、接口和管理四類服務(wù)（圖2）。

圖2 平臺層服務(wù)能力圖

1.5 應(yīng)用層

應(yīng)用層圍繞公益性地質(zhì)業(yè)務(wù)，集成已有系統(tǒng)或搭建新系統(tǒng)。以統(tǒng)一入口、標(biāo)準(zhǔn)化API接口、數(shù)據(jù)即時同步和界面風(fēng)格統(tǒng)一的基本原則，實現(xiàn)了陜西省地源熱泵監(jiān)控平臺、陜西省地質(zhì)災(zāi)害監(jiān)測預(yù)警信息系統(tǒng)、秦嶺北麓國土資源衛(wèi)星遙感監(jiān)測服務(wù)平臺、陜西省農(nóng)村生活垃圾治理遙感監(jiān)測核查與整治等業(yè)務(wù)系統(tǒng)集成。使用平臺層提供的微服務(wù)組件，快速構(gòu)建業(yè)務(wù)流。由通用數(shù)據(jù)服務(wù)、矢量數(shù)據(jù)服務(wù)、柵格數(shù)據(jù)服務(wù)提供業(yè)務(wù)數(shù)據(jù)，開發(fā)了霞客游陜西、項目管理中心、地質(zhì)調(diào)查隨身行等業(yè)務(wù)或管理應(yīng)用。

2 實驗測試

在私有云環(huán)境下，安裝Windows 10 操作系統(tǒng)，配置Hadoop、Hbase、Zookeeper、Kafka、Redis、Tomcat、ArcGIS等環(huán)境。以關(guān)系型數(shù)據(jù)庫（PostgreSQL）、NoSQL數(shù)據(jù)庫（MongoDB、MinIO）和空間數(shù)據(jù)庫（PostGIS、FileGDB）進(jìn)行數(shù)據(jù)庫存儲和管理。間數(shù)據(jù)庫整合多尺度、多源數(shù)據(jù)類型(包括矢量數(shù)據(jù)、柵格數(shù)據(jù)、遙感影像數(shù)據(jù)等)的空間數(shù)據(jù)。屬性數(shù)據(jù)庫主要用于存儲與管理具有比較精確的空間特性的地理位置屬性數(shù)據(jù)（區(qū)市地理、空間位置、相對動態(tài)等），通過空間屬性與基礎(chǔ)地理數(shù)據(jù)建立鏈接。時間是每個專業(yè)維度屬性的一個復(fù)合數(shù)據(jù)項[5]，采取時間標(biāo)簽+非結(jié)構(gòu)化數(shù)據(jù)庫存儲技術(shù)解決地質(zhì)數(shù)據(jù)的生命周期版本管理、細(xì)粒度拆分引起的數(shù)據(jù)體量幾何式增長帶來的分析和定位問題。在此基礎(chǔ)上，構(gòu)建統(tǒng)一的標(biāo)簽體系，嘗試建立了數(shù)據(jù)血緣關(guān)系分析和熱詞云功能（圖3）。

圖3 熱詞云

3 結(jié)論

地質(zhì)大數(shù)據(jù)的高維度、時空性和涉密性對平臺的構(gòu)建具有很高要求。需根據(jù)數(shù)據(jù)特征進(jìn)行分類存儲和管理，需以地質(zhì)調(diào)查業(yè)務(wù)流程和實際應(yīng)用需求設(shè)計數(shù)據(jù)調(diào)用。陜西省公益性地質(zhì)大數(shù)據(jù)平臺為地質(zhì)調(diào)查數(shù)據(jù)的匯、存、管、用提供了一套可行的實踐方案。未來對于地質(zhì)數(shù)據(jù)的時空耦合、多源異構(gòu)數(shù)據(jù)融合與挖掘、多維數(shù)據(jù)的可視化表達(dá)等前沿技術(shù)問題仍需進(jìn)一步研究。