舒 田,熊康寧

(1.貴州師范大學(xué) 喀斯特研究院，貴州 貴陽 550001；2.國家喀斯特石漠化防治工程技術(shù)研究中心，貴州 貴陽 550001；3.貴州省農(nóng)業(yè)科學(xué)院 科技信息研究所，貴州 貴陽 550006)

隨著智能感知、無線傳感、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算及區(qū)塊鏈等新興信息技術(shù)的快速發(fā)展，人類進入了大數(shù)據(jù)時代[1]。具有規(guī)模性(volume)、高速率(velocity)、多樣性(variety)、高價值(value)和真實性(veracity)“5V”特征[2-3]的大數(shù)據(jù)，集數(shù)據(jù)、技術(shù)和應(yīng)用為一體，在農(nóng)業(yè)、經(jīng)濟、貿(mào)易、氣象、交通、醫(yī)療、電力、通訊、生態(tài)、環(huán)保、軍事等領(lǐng)域取得有效應(yīng)用[4-6]，為科學(xué)決策問題提供強有力支撐。大數(shù)據(jù)技術(shù)對于處理超出傳統(tǒng)數(shù)據(jù)庫系統(tǒng)存儲管理與分析處理能力的多源海量數(shù)據(jù)集群，具有極其強大的技術(shù)優(yōu)勢[7]。

喀斯特石漠化是指在喀斯特脆弱生態(tài)環(huán)境背景下，受人類不合理社會經(jīng)濟活動影響，導(dǎo)致地表植被大量破壞，造成強烈水蝕作用，土壤嚴重侵蝕，基巖大面積裸露，土地生產(chǎn)力下降甚至喪失，地表出現(xiàn)類似荒漠化景觀的土地退化現(xiàn)象[8-11]。石漠化問題突出表現(xiàn)在生態(tài)環(huán)境脆弱、植被破壞、土壤侵蝕、基巖裸露以及土地退化，由此造成石漠化地區(qū)生物多樣性銳減、生態(tài)系統(tǒng)失調(diào)、水土流失、土壤養(yǎng)分缺失、貧困加劇的惡性循環(huán)。石漠化問題往往涉及多部門、多學(xué)科、多尺度和多因素，過程復(fù)雜、驅(qū)動因子眾多，需要處理海量的地質(zhì)、氣候、水文、地貌、生物、土壤等自然地理數(shù)據(jù)以及社會、經(jīng)濟等數(shù)據(jù),這為喀斯特石漠化的監(jiān)測治理、生態(tài)產(chǎn)業(yè)扶貧和決策支持等關(guān)鍵技術(shù)研發(fā)增加了較大難度。為此，國家林業(yè)和草原局呼吁建立石漠化大數(shù)據(jù)系統(tǒng)，逐步實現(xiàn)石漠化變化的年度監(jiān)測[12]。中國科學(xué)院地球化學(xué)研究所已建立了喀斯特科學(xué)數(shù)據(jù)中心，提供了部分基礎(chǔ)地理數(shù)據(jù)庫、基礎(chǔ)背景數(shù)據(jù)庫、專題數(shù)據(jù)庫以及“普定站”和喀斯特槽谷石漠化專題數(shù)據(jù)等數(shù)據(jù)，為開展石漠化研究與治理提供了分析資料。億利生態(tài)大數(shù)據(jù)平臺在治沙、治水、治氣、治地和環(huán)境修復(fù)等生態(tài)建設(shè)過程中積累了大量“山水林田湖草”數(shù)據(jù)，平臺為生態(tài)文明建設(shè)從政策咨詢與決策支持、環(huán)境監(jiān)管、精準修復(fù)和生態(tài)治理等提供一系列、全鏈條的數(shù)據(jù)服務(wù)[13]。受中國科學(xué)院地球化學(xué)研究所喀斯特科學(xué)數(shù)據(jù)中心和億利生態(tài)大數(shù)據(jù)平臺啟發(fā)，將大數(shù)據(jù)技術(shù)引入喀斯特石漠化領(lǐng)域，構(gòu)建喀斯特石漠化大數(shù)據(jù)平臺，充分發(fā)揮大數(shù)據(jù)的技術(shù)優(yōu)勢，高效分析和解決石漠化治理相關(guān)問題，為喀斯特石漠化綜合治理與智能監(jiān)測、生態(tài)產(chǎn)業(yè)發(fā)展與精準扶貧提供信息技術(shù)支撐和決策支持。

1 喀斯特石漠化大數(shù)據(jù)定義

大數(shù)據(jù)(Big data)是指數(shù)據(jù)規(guī)模巨大，超出了傳統(tǒng)數(shù)據(jù)庫系統(tǒng)獲取、存儲、管理和分析處理能力的多源海量數(shù)據(jù)集[7,14-15]。大數(shù)據(jù)具有數(shù)據(jù)量龐大、處理速度快、數(shù)據(jù)來源及構(gòu)成復(fù)雜且關(guān)聯(lián)性強、數(shù)據(jù)真實感強等特征[2-3,7]，具有很高的應(yīng)用價值。大數(shù)據(jù)既是一種數(shù)據(jù)，又是一種技術(shù)；既是一種應(yīng)用，又是一種思維[15]，在喀斯特石漠化動態(tài)監(jiān)測和治理決策中具有廣闊的應(yīng)用前景。

喀斯特石漠化大數(shù)據(jù)定義有廣義和狹義之分，廣義的喀斯特石漠化大數(shù)據(jù)是指與石漠化共生的地理空間的相關(guān)數(shù)據(jù)集，是石漠化物理空間到數(shù)字空間的映射和提煉。通過分析石漠化相關(guān)數(shù)據(jù)特征，提出有效應(yīng)對石漠化問題的決策行為。狹義的喀斯特石漠化大數(shù)據(jù)是指分散在地學(xué)領(lǐng)域中的石漠化相關(guān)數(shù)據(jù)及其解決、預(yù)測、分析過去、現(xiàn)在和未來石漠化發(fā)生發(fā)展綜合防治的技術(shù)和方法，即運用大數(shù)據(jù)理念、技術(shù)和方法，解決地學(xué)領(lǐng)域中喀斯特石漠化發(fā)生發(fā)展規(guī)律及其綜合治理等相關(guān)數(shù)據(jù)的采集、處理、存儲、分析、管理和應(yīng)用。石漠化大數(shù)據(jù)是運用大數(shù)據(jù)理論和技術(shù)在喀斯特石漠化研究與治理領(lǐng)域的綜合應(yīng)用與實踐。因此，喀斯特石漠化大數(shù)據(jù)不僅包括一般大數(shù)據(jù)的基本屬性，還具有地理時空性，涉及多部門、多行業(yè)、多尺度的喀斯特石漠化相關(guān)數(shù)據(jù)內(nèi)容。其數(shù)據(jù)內(nèi)容更龐雜，服務(wù)需求更為專業(yè)性。隨著物聯(lián)網(wǎng)、傳感器、無線網(wǎng)絡(luò)技術(shù)、云計算等現(xiàn)代信息技術(shù)的發(fā)展，地理時空數(shù)據(jù)迅猛增長，這為石漠化大數(shù)據(jù)提供了可靠來源。

2 喀斯特石漠化大數(shù)據(jù)平臺構(gòu)想

喀斯特石漠化的形成背景、演化和治理與水、大氣、生物、巖石等自然環(huán)境條件及人類活動密切關(guān)聯(lián)，是多種因素相互作用的結(jié)果。有效實施石漠化治理，需要開展土地石漠化成因機制的研究，只有獲得喀斯特石漠化成因理論的有力支撐，才能有效地避免大規(guī)模生態(tài)重建的盲目性和風(fēng)險性[16]，這就使得海量數(shù)據(jù)從存儲管理到分析挖掘面臨巨大挑戰(zhàn)。如何協(xié)調(diào)各行業(yè)部門的利益，實現(xiàn)跨行業(yè)、跨部門的數(shù)據(jù)共享機制，解決障礙壁壘，把分散在不同學(xué)科領(lǐng)域的多來源、多種類、多尺度的石漠化相關(guān)數(shù)據(jù)進行有效融合并集成共享，分析挖掘石漠化數(shù)據(jù)的潛在價值，提高石漠化治理能力，是石漠化大數(shù)據(jù)領(lǐng)域面臨的重要課題。當(dāng)前，我國石漠化信息有效融合與集成共享還不足，多源異構(gòu)數(shù)據(jù)管理與挖掘利用欠缺，喀斯特石漠化大數(shù)據(jù)平臺建設(shè)還面臨較大困難。

將大數(shù)據(jù)技術(shù)引入到喀斯特石漠化研究與治理領(lǐng)域，把隱藏在不同領(lǐng)域的多渠道、多種類、多尺度復(fù)雜分散的喀斯特石漠化自然地理本底數(shù)據(jù)(地質(zhì)、巖性、地貌、水文、坡度、土壤、植被等)、土地利用數(shù)據(jù)、地面監(jiān)測數(shù)據(jù)、多源遙感數(shù)據(jù)、生態(tài)產(chǎn)業(yè)數(shù)據(jù)、治理工程數(shù)據(jù)、經(jīng)濟社會數(shù)據(jù)、相關(guān)專項調(diào)查數(shù)據(jù)、能源結(jié)構(gòu)數(shù)據(jù)以及相關(guān)科學(xué)研究數(shù)據(jù)等海量數(shù)據(jù)有效融合集成，構(gòu)建喀斯特石漠化大數(shù)據(jù)平臺，平臺界面設(shè)想如圖1所示。借助大數(shù)據(jù)技術(shù)對集成數(shù)據(jù)進行存儲管理、綜合分析和信息挖掘，開展石漠化遙感信息自動識別與提取，多尺度立體動態(tài)監(jiān)測，多源異構(gòu)數(shù)據(jù)匯聚機制與智能模型構(gòu)建，挖掘算法的設(shè)計，石漠化治理及生態(tài)產(chǎn)業(yè)大數(shù)據(jù)平臺構(gòu)建等重大關(guān)鍵技術(shù)研發(fā)，構(gòu)建以“數(shù)據(jù)-服務(wù)-價值”為核心的大數(shù)據(jù)決策支持系統(tǒng)[17]，以期為高效地分析和解決石漠化治理相關(guān)問題提供共享數(shù)據(jù)，為喀斯特石漠化綜合治理與智能監(jiān)測、生態(tài)產(chǎn)業(yè)發(fā)展與精準扶貧提供信息技術(shù)支撐和決策支持。

圖1 喀斯特石漠化大數(shù)據(jù)平臺登錄界面Fig.1 Login interface of big data platform for karst rocky desertification

3 喀斯特石漠化大數(shù)據(jù)平臺架構(gòu)

一個完整通用的大數(shù)據(jù)平臺，至少需要涵蓋數(shù)據(jù)的收集、存儲、計算、分析和管理等方面。為確保數(shù)據(jù)生產(chǎn)管理的安全性和存儲管理的需要，平臺一般基于私有云環(huán)境進行設(shè)計與開發(fā)。因此，喀斯特石漠化大數(shù)據(jù)平臺建設(shè)應(yīng)基于大數(shù)據(jù)系統(tǒng)框架，集物聯(lián)網(wǎng)、傳感器、無線通訊及“天空地一體化”等技術(shù)在數(shù)據(jù)采集與獲取方面的優(yōu)勢，以及分布式數(shù)據(jù)庫、機器學(xué)習(xí)、人工智能、云計算等技術(shù)在大數(shù)據(jù)處理分析方面的優(yōu)勢和大數(shù)據(jù)庫管理系統(tǒng)技術(shù)在數(shù)據(jù)管理的優(yōu)勢，建設(shè)實時、穩(wěn)定、開放、高效的應(yīng)用平臺，實現(xiàn)喀斯特石漠化大數(shù)據(jù)平臺的自動化、專業(yè)化和智能化，從而提升喀斯特石漠化風(fēng)險預(yù)警預(yù)報水平，為石漠化治理和政府管理決策提供科技支撐，為從原理和機理上破解世界性生態(tài)難題提供保障。研究平臺參照一般大數(shù)據(jù)系統(tǒng)架構(gòu)從大數(shù)據(jù)平臺、基礎(chǔ)設(shè)施平臺、技術(shù)平臺、應(yīng)用服務(wù)平臺和運維平臺5個方面設(shè)計了喀斯特石漠化大數(shù)據(jù)平臺的總體架構(gòu)(圖2)。

圖2 喀斯特石漠化大數(shù)據(jù)平臺架構(gòu)Fig.2 Architecture of big data platform for karst rocky desertification

3.1 大數(shù)據(jù)平臺

數(shù)據(jù)源是大數(shù)據(jù)平臺的第一要素，是喀斯特石漠化大數(shù)據(jù)平臺建設(shè)的關(guān)鍵支撐。如何增強數(shù)據(jù)采集與獲取能力，有效集成并融合石漠化各類相關(guān)數(shù)據(jù)，是構(gòu)建喀斯特石漠化大數(shù)據(jù)平臺的前提和基礎(chǔ)。喀斯特石漠化數(shù)據(jù)類型多樣，不僅包括自然地理環(huán)境本底數(shù)據(jù)、土地利用現(xiàn)狀數(shù)據(jù)、實時監(jiān)測數(shù)據(jù)、多源遙感數(shù)據(jù)，還包括石漠化生態(tài)產(chǎn)業(yè)數(shù)據(jù)、社會經(jīng)濟調(diào)查數(shù)據(jù)、能源結(jié)構(gòu)分布數(shù)據(jù)、專項調(diào)查數(shù)據(jù)、石漠化治理工程數(shù)據(jù)、科學(xué)研究數(shù)據(jù)、監(jiān)測站水文站等收集的數(shù)據(jù)，并且這些數(shù)據(jù)分布在自然資源、地質(zhì)、發(fā)改、規(guī)劃、農(nóng)業(yè)、林業(yè)、統(tǒng)計、氣象、水利、能源、科研院所等眾多部門。例如，地理本底數(shù)據(jù)中包含有地形、地貌、水文、洞穴分布、土壤、巖性、植被等也分屬在不同部門；土地利用現(xiàn)狀數(shù)據(jù)、各類遙感影像及解譯數(shù)據(jù)、水土流失等國土數(shù)據(jù)；各地面氣象站、氣象衛(wèi)星、氣象雷達等監(jiān)測的氣象數(shù)據(jù)；石漠化治理的工程布局數(shù)據(jù)、治理產(chǎn)業(yè)布局、農(nóng)林草生態(tài)工程數(shù)據(jù)等各類工程數(shù)據(jù)；石漠化區(qū)石漠化現(xiàn)狀等級、土壤養(yǎng)分、理化性質(zhì)及野外調(diào)查數(shù)據(jù)等各類科研數(shù)據(jù)。疊加社會、經(jīng)濟等人文要素，再考慮1 a、10 a、30 a、50 a不同時間尺度，全球、國家、縣域、小流域不同空間尺度，從而形成了多源異構(gòu)、時空交替、復(fù)雜非線性的海量數(shù)據(jù)。

隨著物聯(lián)網(wǎng)、5G技術(shù)及“天空地一體化”技術(shù)發(fā)展，喀斯特石漠化數(shù)據(jù)來源將不斷擴展，多媒體、各類APP數(shù)據(jù)、地理位置數(shù)據(jù)、文字短報數(shù)據(jù)、各類傳感器設(shè)備采集數(shù)據(jù)等也成為喀斯特石漠化數(shù)據(jù)來源的新渠道。大數(shù)據(jù)時代，喀斯特石漠化數(shù)據(jù)的空間分布范圍更廣、時效性更強、數(shù)據(jù)量更大、內(nèi)容更龐雜，這對石漠化大數(shù)據(jù)的采集獲取、存儲管理及處理分析等提出了更高要求[7]。

3.2 基礎(chǔ)設(shè)施平臺

作為大數(shù)據(jù)平臺的運行基礎(chǔ)，基礎(chǔ)設(shè)施平臺為喀斯特石漠化大數(shù)據(jù)平臺提供堅強的軟硬件支撐?；A(chǔ)設(shè)施平臺中硬件資源就包括處理數(shù)據(jù)的計算機、通信網(wǎng)絡(luò)和存儲設(shè)備，軟件資源包括操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)以及中間件等[7]?？λ固厥髷?shù)據(jù)基礎(chǔ)設(shè)施平臺從物理資源層和虛擬資源層進行建設(shè)。物理資源層是大數(shù)據(jù)平臺架構(gòu)的最底層，由通用服務(wù)器、存儲設(shè)備和網(wǎng)絡(luò)設(shè)備(交換機、路由器)組成；虛擬層由虛擬機、虛擬化工具、虛擬服務(wù)和虛擬化應(yīng)用組成，通過虛擬化工具把物理層設(shè)備變成全局統(tǒng)一的虛擬資源池，供上層服務(wù)調(diào)取使用，用戶無需購買相關(guān)硬件設(shè)備和系統(tǒng)軟件，直接在虛擬化資源平臺上構(gòu)建自己的平臺和應(yīng)用，按各自需求對資源進行動態(tài)管理和分配，從而實現(xiàn)對喀斯特石漠化數(shù)據(jù)資源的高效利用[18]。

3.3 技術(shù)平臺

技術(shù)平臺是喀斯特石漠化大數(shù)據(jù)平臺的內(nèi)核，包括數(shù)據(jù)獲取、數(shù)據(jù)存儲與管理、數(shù)據(jù)計算和數(shù)據(jù)分析4個基本連續(xù)模塊，如圖3。利用上述基礎(chǔ)設(shè)施平臺，依托現(xiàn)代先進的數(shù)據(jù)采集、存儲和處理技術(shù)，構(gòu)建數(shù)據(jù)采集與處理、存儲與管理、計算與分析等一系列的工具模塊對多源異構(gòu)的喀斯特石漠化數(shù)據(jù)進行預(yù)處理、標準化、存儲管理和計算分析，從而形成整個大數(shù)據(jù)平臺的技術(shù)核心[19]，為喀斯特石漠化大數(shù)據(jù)應(yīng)用服務(wù)平臺的建設(shè)提供前期保障和技術(shù)支撐。

圖3 喀斯特石漠化大數(shù)據(jù)技術(shù)平臺Fig.3 Technology platform of big data for karst rocky desertification

3.3.1 數(shù)據(jù)獲取

喀斯特石漠化大數(shù)據(jù)的數(shù)據(jù)源包括用傳統(tǒng)關(guān)系數(shù)據(jù)庫方式記錄的結(jié)構(gòu)化數(shù)據(jù)，有可識別的模式并可以解析的文本數(shù)據(jù)文件、來自傳感器記錄的自描述的文本方式記錄的半結(jié)構(gòu)化數(shù)據(jù)，還有語音、圖像和視頻等格式的非結(jié)構(gòu)化數(shù)據(jù)以及具有不規(guī)則數(shù)據(jù)格式的文本數(shù)據(jù)，使用工具可以使之格式化的準結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)獲取就是通過不同方式、不同渠道獲取的數(shù)據(jù)源進行傳輸、預(yù)處理、再挖掘和集成操作的過程。

3.3.1.1 數(shù)據(jù)采集

數(shù)據(jù)采集就是搜集符合數(shù)據(jù)挖掘要求的原始數(shù)據(jù)[14-15]。數(shù)據(jù)采集在大數(shù)據(jù)研究與應(yīng)用極為重要。數(shù)據(jù)采集工作做得好，大數(shù)據(jù)集成、分析與管理工作才能有序進行[20]。根據(jù)采集數(shù)據(jù)的類型可以分為不同的采集方式，主要有傳感器采集、網(wǎng)絡(luò)數(shù)據(jù)采集、系統(tǒng)日志采集以及其他數(shù)據(jù)采集[7,14,17]等。喀斯特石漠化生態(tài)環(huán)境數(shù)據(jù)采集最常用、操作簡單的手段就是通過傳感器采集，外業(yè)科技人員利用無線或有線傳感器設(shè)備采集了大量的地質(zhì)災(zāi)害調(diào)查、石漠化治理監(jiān)測、生態(tài)環(huán)境監(jiān)測與調(diào)查、植被監(jiān)測和水土流失監(jiān)測等，常用的土壤溫濕度、空氣溫濕度、雨量、光照傳感器等都是生態(tài)環(huán)境監(jiān)測的必配；網(wǎng)絡(luò)數(shù)據(jù)采集主要針對非結(jié)構(gòu)化數(shù)據(jù)的采集，是通過網(wǎng)絡(luò)爬蟲工具或網(wǎng)頁公開的API從各類網(wǎng)頁上獲取的非結(jié)構(gòu)數(shù)據(jù)，并以結(jié)構(gòu)化的方式存儲到統(tǒng)一的本地數(shù)據(jù)文件。對于網(wǎng)絡(luò)流量的采集還可以使用DPI或DFI等帶寬管理技術(shù)進行處理。Apache的Chukwa、Cloudera的Flume、Facebook的Scribe和Linkedin的Kafka等[17,19,21]均采用系統(tǒng)日志采集，也是大多數(shù)互聯(lián)網(wǎng)企業(yè)[21]對海量數(shù)據(jù)采集的主要工具。另外，國家規(guī)定的保密性數(shù)據(jù)，必須按照國家信息技術(shù)大數(shù)據(jù)安全相關(guān)標準嚴格遵守保密規(guī)定；對于企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)或科學(xué)研究數(shù)據(jù)等保密性數(shù)據(jù)，通過簽訂保密協(xié)議、技術(shù)合作或有償購買服務(wù)，在遵守國家數(shù)據(jù)保密相關(guān)標準和數(shù)據(jù)保護知識產(chǎn)權(quán)的情況下，采用使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)，確保數(shù)據(jù)的安全性。

3.3.1.2 數(shù)據(jù)傳輸

數(shù)據(jù)傳輸就是把數(shù)據(jù)從本地傳送到其他地方的通信過程。采集完成后的源數(shù)據(jù)被送到數(shù)據(jù)存儲基礎(chǔ)設(shè)施存儲，然后對其進行計算、分析和挖掘處理。采集的源數(shù)據(jù)通過無線或有線網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)中心，數(shù)據(jù)中心內(nèi)部間通過高容量的光纖線路實現(xiàn)多個中心之間的海量數(shù)據(jù)傳輸、共享和備份存儲，最終完成大數(shù)據(jù)的輸送過程。

3.3.1.3 數(shù)據(jù)預(yù)處理

沒有高質(zhì)量的數(shù)據(jù)就沒有高質(zhì)量的數(shù)據(jù)挖掘結(jié)果。由于原始數(shù)據(jù)可能存在的不完整、含噪聲和不一致等問題。因此，需要對數(shù)據(jù)進行必要的預(yù)處理。數(shù)據(jù)預(yù)處理是指在數(shù)據(jù)深度挖掘前，對原始數(shù)據(jù)進行必要的清洗、集成、轉(zhuǎn)換、離散和歸約等一系列的處理工作，從而達到數(shù)據(jù)分析算法和工具所要求的最低規(guī)范和標準[22]。數(shù)據(jù)預(yù)處理的目的就是填補數(shù)據(jù)殘缺、糾正數(shù)據(jù)錯誤、去除數(shù)據(jù)冗余，將所需數(shù)據(jù)抽取出來進行有效集成融合，并將數(shù)據(jù)轉(zhuǎn)換為所要求的格式，從而達到數(shù)據(jù)類型和格式標準統(tǒng)一、數(shù)據(jù)存儲集中[23-26]。大數(shù)據(jù)預(yù)處理包括從數(shù)據(jù)清洗[23-24]、數(shù)據(jù)集成[24-26]、數(shù)據(jù)歸約、數(shù)據(jù)變換和數(shù)據(jù)離散化的處理步驟。

3.3.2 數(shù)據(jù)存儲與管理

數(shù)據(jù)存儲與管理是喀斯特石漠化大數(shù)據(jù)技術(shù)平臺的基礎(chǔ)，它對于數(shù)據(jù)后期的計算、統(tǒng)計分析和應(yīng)用決策具有重要作用。為保護數(shù)據(jù)存儲的安全和提供數(shù)據(jù)的持續(xù)可用性，需建立能應(yīng)付各種災(zāi)難環(huán)境的數(shù)據(jù)容災(zāi)系統(tǒng)，從而滿足隨著存儲量的增加而提供水平擴展，以及后續(xù)多種信息分析和提取算法對數(shù)據(jù)的不同需求。喀斯特石漠化大數(shù)據(jù)的數(shù)據(jù)存儲采用分布式的存儲方式，數(shù)據(jù)的元信息保存和查詢以NoSQL為主，其存儲管理包括文件系統(tǒng)和數(shù)據(jù)庫系統(tǒng)兩類。數(shù)據(jù)倉庫作為一個數(shù)據(jù)庫集合，選擇合適的用于海量數(shù)據(jù)存儲與管理的數(shù)據(jù)倉庫是非常關(guān)鍵的。

3.3.3 數(shù)據(jù)計算模式

傳統(tǒng)的計算技術(shù)不能滿足大數(shù)據(jù)時代計算的需求。因此，有必要建立一種能夠處理海量數(shù)據(jù)的大數(shù)據(jù)計算模式，以滿足大數(shù)據(jù)技術(shù)的處理要求。目前，大數(shù)據(jù)技術(shù)的計算模式包括針對靜態(tài)數(shù)據(jù)的批量處理，針對在線數(shù)據(jù)的流式處理，實時交互處理以及針對圖數(shù)據(jù)的綜合處理等4種[26]。其中，重要的圖數(shù)據(jù)在喀斯特石漠化領(lǐng)域已取得廣泛應(yīng)用，包括喀斯特石漠化的地質(zhì)地貌、地層巖性、氣象水文等圖片數(shù)據(jù)，以及像無人機、航空航天的遙感平臺獲取數(shù)據(jù)等。圖數(shù)據(jù)計算模式在喀斯特石漠化大數(shù)據(jù)平臺構(gòu)建中，具有廣闊應(yīng)用前景和重要現(xiàn)實意義。

3.3.4 數(shù)據(jù)分析

數(shù)據(jù)分析是數(shù)據(jù)處理流程的核心。大數(shù)據(jù)最主要的特征就是多源異構(gòu)，多源是指數(shù)據(jù)的來源廣，數(shù)據(jù)量大，隨著“天空地一體化”加快發(fā)展，海量數(shù)據(jù)呈指數(shù)級增長；異構(gòu)是指數(shù)據(jù)的類型和特征不一致。數(shù)據(jù)分析過程是逐層抽象、降維、概括和解讀的過程。目前，大數(shù)據(jù)分析常用的方法有統(tǒng)計分析、深度挖掘、人工智能、人機交互、機器學(xué)習(xí)、可視化分析等[7,21，27]。統(tǒng)計分析、數(shù)據(jù)挖掘和人工智能是大數(shù)據(jù)分析的基礎(chǔ)，人機交互技術(shù)、機器學(xué)習(xí)和可視化分析是大數(shù)據(jù)分析的關(guān)鍵技術(shù)。結(jié)合喀斯特石漠化大數(shù)據(jù)特點，簡要介紹以下幾種大數(shù)據(jù)分析方法在大數(shù)據(jù)平臺構(gòu)建中的應(yīng)用。

3.3.4.1 統(tǒng)計分析

數(shù)據(jù)的核心價值在于數(shù)據(jù)間的相互關(guān)聯(lián)，數(shù)據(jù)間關(guān)聯(lián)性越強，數(shù)據(jù)越有價值。剖析數(shù)據(jù)間的數(shù)理關(guān)系，挖掘數(shù)據(jù)間的潛在價值，是大數(shù)據(jù)分析應(yīng)用的關(guān)鍵[7]。統(tǒng)計分析是大數(shù)據(jù)分析中最常用的技術(shù)，通常包括線性分析、聚類分析、時間序列分析、回歸分析和主成分分析等方法。喀斯特石漠化大數(shù)據(jù)不僅具有一般數(shù)據(jù)的特性，還具有地理時空數(shù)據(jù)特征，石漠化在地理空間上的分布特征與時間動態(tài)變化分析都離不開空間分析技術(shù)。各類統(tǒng)計分析和空間分析軟件如SPSS和SAS、地理信息軟件的空間分析模塊如Arc GIS的Spatial Analyst等開發(fā)應(yīng)用，為解決石漠化相關(guān)原理問題提供有力的技術(shù)支撐。

3.3.4.2 深度挖掘

統(tǒng)計分析和軟件技術(shù)為大數(shù)據(jù)平臺的信息挖掘提供了強有力手段，但對于解決成因復(fù)雜的石漠化問題遠遠不夠。相比其他領(lǐng)域，石漠化相關(guān)研究需要更專業(yè)的技術(shù)和服務(wù)來提高數(shù)據(jù)分析挖掘能力。石漠化發(fā)生、演化及驅(qū)動機制和潛在影響因素，均需要過程模型和大數(shù)據(jù)的結(jié)合才能揭示石漠化發(fā)生發(fā)展及動態(tài)變化過程。通過石漠化發(fā)生發(fā)展驅(qū)動機制，將石漠化過程模型、石漠化發(fā)展模型、石漠化治理模型和石漠化治理模式與大量地面監(jiān)測數(shù)據(jù)的融合，提高模型的模擬精度，從而揭示石漠化過程的演變機制，探尋石漠化治理的最佳方式。

3.3.4.3 人工智能

人工智能是指對人的意識和思維的信息過程的模擬，更要超過人的智能[28]。通過近30 a來從石漠化概念的提出到石漠化形成、演化及其機理的深入研究，已積累了許多科學(xué)的研究方法和成功的石漠化治理模式與技術(shù)。在喀斯特石漠化大數(shù)據(jù)平臺的基礎(chǔ)上，利用計算機學(xué)習(xí)石漠化領(lǐng)域的相關(guān)理論、治理模式和專家知識，建立各類石漠化治理模型庫和知識庫，實現(xiàn)石漠化大數(shù)據(jù)平臺的智能化應(yīng)用，從而提高石漠化治理水平和能力。

3.3.4.4 人機交互與可視化

人機交互是人與計算機或智能空間的通信過程，可視化是對數(shù)據(jù)進行分析的有效手段?？梢暬夹g(shù)通過交互可視界面，使數(shù)據(jù)分析過程透明化。精簡和梳理復(fù)雜數(shù)據(jù)流，幫助用戶高效篩選數(shù)據(jù)，從復(fù)雜數(shù)據(jù)流中獲得新發(fā)現(xiàn)，分享新經(jīng)驗。可視化分析將人的經(jīng)驗智慧與機器的運算能力緊密結(jié)合，可視化結(jié)果搭建起人與機器合作的橋梁。大數(shù)據(jù)分析最終目的就是讓用戶看到統(tǒng)計分析的結(jié)果，文圖表相結(jié)合，解決用戶的需求和問題，做到服務(wù)于用戶。

3.4 應(yīng)用服務(wù)平臺

喀斯特石漠化的應(yīng)用服務(wù)是指通過不同渠道、不同方式，直接或間接地將有價值的石漠化資源信息提供給政府機構(gòu)、科研院所及行業(yè)主管部門等用戶，實現(xiàn)石漠化信息利用、信息傳播、科研交流和其他社會價值服務(wù)，全面展現(xiàn)我國喀斯特石漠化空間分布及動態(tài)變化以及治理現(xiàn)狀和成效，綜合揭示石漠化發(fā)生的內(nèi)外因變化規(guī)律和原理，為喀斯特石漠化的綜合治理、石漠化衍生產(chǎn)業(yè)發(fā)展和社會公眾等提供全面準確的石漠化相關(guān)信息資源。服務(wù)平臺的建設(shè)重在應(yīng)用，提供喀斯特石漠化大數(shù)據(jù)應(yīng)用服務(wù)是構(gòu)建和發(fā)展喀斯特石漠化大數(shù)據(jù)平臺的最終目的?；诖髷?shù)據(jù)技術(shù)，可以為用戶提供石漠化數(shù)據(jù)查詢和下載、專題分析、石漠化風(fēng)險評估、政府決策支持、石漠化治理推薦模式，以及為政府機構(gòu)、企事業(yè)單位、科研院所和公眾等提供相關(guān)石漠化公共業(yè)務(wù)需求服務(wù)。政府機構(gòu)通過掌握喀斯特石漠化大數(shù)據(jù)科學(xué)分析的結(jié)果，定期向社會發(fā)布區(qū)域石漠化現(xiàn)狀公報，提出本階段石漠化治理任務(wù)、實施石漠化治理工程和生態(tài)措施、發(fā)展石漠化治理生態(tài)產(chǎn)業(yè)，建立石漠化綜合治理體系，從而提高石漠化治理的信息化、產(chǎn)業(yè)化水平以及預(yù)警石漠化風(fēng)險能力。企事業(yè)單位利用石漠化大數(shù)據(jù)平臺挖掘新的知識信息，創(chuàng)造更多的社會價值?？蒲性核柚λ固厥髷?shù)據(jù)平臺，可以獲得更多的石漠化信息資源和數(shù)據(jù)成果，更好地開展基礎(chǔ)性的、前瞻性、科學(xué)性的機理機制等研究工作，為石漠化大數(shù)據(jù)平臺建設(shè)提供方向性、技術(shù)性指導(dǎo)，加快推進平臺建設(shè)，為全國性石漠化治理整體推進、產(chǎn)業(yè)發(fā)展與鄉(xiāng)村振興提供前瞻性技術(shù)服務(wù)。公眾是大數(shù)據(jù)平臺服務(wù)的最終對象，基于喀斯特石漠化平臺建立高效的公共服務(wù)體系，更好地發(fā)揮石漠化治理數(shù)據(jù)資源對各類經(jīng)濟社會活動的服務(wù)作用。

3.5 運維平臺

運維就是后臺對數(shù)據(jù)進行管理和維護，能夠有效監(jiān)控系統(tǒng)的安全態(tài)勢，為安全決策提供數(shù)據(jù)支持[29]。隨著大數(shù)據(jù)技術(shù)的發(fā)展，數(shù)據(jù)種類多、數(shù)據(jù)量大、系統(tǒng)復(fù)雜，維護量大，大數(shù)據(jù)運維面臨巨大挑戰(zhàn)。石漠化大數(shù)據(jù)運維平臺主要是對大數(shù)據(jù)采集的運維、基礎(chǔ)設(shè)施的運維、整個系統(tǒng)的運維、監(jiān)控告警分析和安全管理等。數(shù)據(jù)采集的運維主要是對系統(tǒng)的日常監(jiān)控、數(shù)據(jù)備份和監(jiān)控以及報警、故障的處理等；基礎(chǔ)設(shè)施的運維是對基礎(chǔ)設(shè)施平臺設(shè)備和網(wǎng)絡(luò)的健康和異常狀態(tài)的監(jiān)控維護及應(yīng)用服務(wù)的管理；大數(shù)據(jù)系統(tǒng)監(jiān)控告警分析和安全管理的運維是對平臺運行過程中的系統(tǒng)配置管理、故障管理、安全管理、性能管理、應(yīng)用變更管理及服務(wù)資源管理，并作出響應(yīng)和運營分析。

喀斯特石漠化大數(shù)據(jù)平臺需要專業(yè)的計算機、地理學(xué)、地質(zhì)學(xué)、數(shù)學(xué)、生態(tài)學(xué)和地理信息系統(tǒng)方面的專業(yè)人才共同打造建設(shè)，這對石漠化大數(shù)據(jù)的分析、管理、決策、更新、維護提出更高要求。

4 結(jié)論與展望

分析了喀斯特石漠化大數(shù)據(jù)的定義，提出喀斯特石漠化大數(shù)據(jù)平臺構(gòu)建的初步構(gòu)想。通過大數(shù)據(jù)平臺、基礎(chǔ)設(shè)施平臺、技術(shù)平臺、應(yīng)用服務(wù)平臺和運維平臺的搭建，初步完成喀斯特石漠化大數(shù)據(jù)平臺的總體架構(gòu)。目前，平臺正在組建中，平臺獲取的喀斯特石漠化相關(guān)數(shù)據(jù)量約100 TB，相比大數(shù)據(jù)技術(shù)要求還遠遠不夠，主要涵蓋了遙感影像、地層巖性、地形地貌、石漠化解譯、土地利用、水文氣象、植被、土壤、產(chǎn)業(yè)及地面監(jiān)測數(shù)據(jù)等方面。加強大數(shù)據(jù)產(chǎn)業(yè)鏈建設(shè)，促進大數(shù)據(jù)的應(yīng)用創(chuàng)新，實現(xiàn)石漠化大數(shù)據(jù)跨平臺跨領(lǐng)域協(xié)同發(fā)展，使大數(shù)據(jù)真正成為提高石漠化監(jiān)測和綜合治理的信息化手段，是我們建設(shè)喀斯特石漠化大數(shù)據(jù)應(yīng)用平臺的最終目標。建設(shè)實時、開放、高效的石漠化大數(shù)據(jù)應(yīng)用平臺，實現(xiàn)“天空地一體”數(shù)據(jù)與人工智能的有機結(jié)合，從海量的、雜亂的、無序的數(shù)據(jù)和信息中深度挖掘那些隱含的、不為人知的信息和知識，發(fā)現(xiàn)那些對石漠化生態(tài)治理至關(guān)重要的知識、智能和智慧，研究石漠化發(fā)生發(fā)展演變與地形地貌、植被覆蓋、土地利用、土壤類型、海拔坡度、氣象水文之間的關(guān)系規(guī)律和模型，從機制機理上破解石漠化生態(tài)科學(xué)難題。爭取通過各方面的努力早日實現(xiàn)喀斯特石漠化大數(shù)據(jù)平臺上線應(yīng)用，為石漠化綜合治理和監(jiān)測預(yù)警提供平臺應(yīng)用和技術(shù)支撐。

數(shù)據(jù)量的大小是喀斯特石漠化大數(shù)據(jù)平臺分析處理的關(guān)鍵。如何協(xié)調(diào)各行業(yè)部門的利益，把分散隱藏在不同領(lǐng)域的多學(xué)科、多來源、多種類、多尺度的石漠化相關(guān)數(shù)據(jù)有效融合并集成共享，是建設(shè)喀斯特石漠化大數(shù)據(jù)平臺的基礎(chǔ)。我國跨行業(yè)、跨部門的數(shù)據(jù)共享機制還未成熟，仍存在很大障礙壁壘，集成海量數(shù)據(jù)去探尋隱藏在數(shù)據(jù)中的相關(guān)性，揭示石漠化演變規(guī)律和內(nèi)在機制。當(dāng)前，我國石漠化數(shù)據(jù)共享機制還不完善，如何在石漠化治理空間數(shù)據(jù)獲取與聚合方法、表征模型、信息提取與知識發(fā)現(xiàn)機理研究的基礎(chǔ)上開展大數(shù)據(jù)挖掘算法、多源異構(gòu)數(shù)據(jù)匯聚機制和模型的構(gòu)建等重大關(guān)鍵技術(shù)研發(fā)[14-15]，實現(xiàn)喀斯特石漠化大數(shù)據(jù)平臺及決策支持系統(tǒng)的推廣，是當(dāng)前亟需解決的難題。