劉錫鈴，張世良

（寧德師范學(xué)院 計(jì)算機(jī)系，福建 寧德352100）

自然災(zāi)害日益嚴(yán)重的問題已引起了我國政府和學(xué)術(shù)界的高度重視.由于城市地形分異明顯，地質(zhì)環(huán)境復(fù)雜，氣候頻繁，各類自然災(zāi)害頻繁發(fā)生，尤其是洪水和干旱每年都會發(fā)生.臺風(fēng)，冰雹，暴風(fēng)雪，沙塵暴，山崩，山體滑坡，泥石流等地質(zhì)災(zāi)害，風(fēng)暴潮，海嘯等海洋災(zāi)害，森林大火，重大生物災(zāi)害等自然災(zāi)害造成的氣象災(zāi)害傷亡事故，經(jīng)濟(jì)損失高達(dá)數(shù)十億元，對城市的生命財(cái)產(chǎn)造成了嚴(yán)重破壞.自然災(zāi)害通常是暴力的，破壞力巨大，帶來破壞的持續(xù)時(shí)間長.自然災(zāi)害可能會造成傷亡，對財(cái)產(chǎn)造成巨大損失，并造成相當(dāng)程度的混亂.災(zāi)難事件持續(xù)的時(shí)間越長，對受害者的威脅越大，事件的影響也越大［1］.

災(zāi)害影響的程度與人們能否收到足夠的預(yù)警有關(guān).構(gòu)建一個(gè)具有智能決策功能的自然災(zāi)害應(yīng)急平臺，形成一套標(biāo)準(zhǔn)化的應(yīng)急救援平臺變得十分重要.隨著大數(shù)據(jù)時(shí)代的到來，數(shù)據(jù)體現(xiàn)了時(shí)空動(dòng)態(tài)性、復(fù)雜性、多尺度性、不確定性、復(fù)雜和多用戶態(tài)，傳統(tǒng)系統(tǒng)中的分析方法無法滿足大數(shù)據(jù)的處理，結(jié)合當(dāng)前主流技術(shù)，提出構(gòu)建應(yīng)急救援系統(tǒng)智能處理通用庫算法、多源、異構(gòu)空間數(shù)據(jù)的集成、融合與共享以及嵌入時(shí)空信息到地圖的無盲點(diǎn)時(shí)空數(shù)據(jù)可視化等關(guān)鍵技術(shù)，依據(jù)不同用戶形態(tài)，不同數(shù)據(jù)形式以及不同應(yīng)用需求，通過選擇不同處理算法，實(shí)現(xiàn)不同服務(wù)應(yīng)用的智能化處理.

1 多源異構(gòu)數(shù)據(jù)集成與融合技術(shù)

由于自然災(zāi)害時(shí)空數(shù)據(jù)來源廣泛，數(shù)據(jù)源結(jié)構(gòu)變化多樣，沒有統(tǒng)一的標(biāo)準(zhǔn)，具有很大不確定性；數(shù)據(jù)源隨著時(shí)間變化，增加、變更或者修改數(shù)據(jù)源的時(shí)候，要求系統(tǒng)能夠適應(yīng)這樣的變化；數(shù)據(jù)量巨大，處理需要占用大量系統(tǒng)資源，如何應(yīng)用來自多部門的異構(gòu)數(shù)據(jù)是一個(gè)需要解決的問題.數(shù)據(jù)融合方法和元數(shù)據(jù)提供了持續(xù)可靠地應(yīng)用多源數(shù)據(jù)的手段，需要設(shè)計(jì)一種可注冊的自然災(zāi)害異構(gòu)數(shù)據(jù)源集成策略，可以方便集成各種結(jié)構(gòu)、半結(jié)構(gòu)或者非結(jié)構(gòu)數(shù)據(jù)源；發(fā)揮 Hadoop的集群優(yōu)勢，為不同客戶端提供統(tǒng)一的Web Service 接口［2］.

自然災(zāi)害數(shù)據(jù)源加載程序可以完成自然災(zāi)害數(shù)據(jù)源的集成，包括數(shù)據(jù)源注冊，數(shù)據(jù)提取，數(shù)據(jù)清理，數(shù)據(jù)模型統(tǒng)一和數(shù)據(jù)存儲.自然災(zāi)害數(shù)據(jù)源加載器采用策略模型，解釋器模型和工廠方法模式設(shè)計(jì)，可以根據(jù)不同的數(shù)據(jù)源動(dòng)態(tài)調(diào)整加載策略，也可以適應(yīng)數(shù)據(jù)源的變化，滿足需求不同的事件加載和異構(gòu)數(shù)據(jù)源的集成［3-4］.該模型采用分層體系結(jié)構(gòu)，將系統(tǒng)劃分為數(shù)據(jù)源層（文件，數(shù)據(jù)庫和其他形式），數(shù)據(jù)加載層（ETL工具），數(shù)據(jù)管理層，業(yè)務(wù)邏輯層和表示層等功能類別.模型框架結(jié)構(gòu)見圖1.數(shù)據(jù)源層向系統(tǒng)提供數(shù)據(jù).這些數(shù)據(jù)不能直接使用.數(shù)據(jù)加載層需要被提取，清理，轉(zhuǎn)換并加載到ODS中.ODS以增量的方式向數(shù)據(jù)倉庫提供歷史數(shù)據(jù).業(yè)務(wù)邏輯層為數(shù)據(jù)訪問提供Web服務(wù)接口，并完成數(shù)據(jù)查詢，修改和處理任務(wù).表示層提供了不同的客戶端來根據(jù)用戶需求查詢、分析、下載和可視化數(shù)據(jù).解決多源異構(gòu)地理大數(shù)據(jù)建立自然災(zāi)害和大數(shù)據(jù)集成的統(tǒng)一框架，建立高度可擴(kuò)展的數(shù)據(jù)集成模型，實(shí)現(xiàn)數(shù)據(jù)源的“即插即用”，實(shí)現(xiàn)軟件模塊化的目標(biāo)模型；從基礎(chǔ)數(shù)據(jù)模型層面，統(tǒng)一自然災(zāi)害大數(shù)據(jù)的表達(dá)，組織和管理；為多源異構(gòu)地理數(shù)據(jù)提供統(tǒng)一的參考，一致的訪問模型和集成處理機(jī)制.

圖1 多源數(shù)據(jù)集成融合

2 空間信息服務(wù)云數(shù)據(jù)管理技術(shù)

自然災(zāi)害擁有大量的數(shù)據(jù).數(shù)據(jù)處理需要大量的系統(tǒng)資源.傳統(tǒng)的單節(jié)點(diǎn)計(jì)算機(jī)或服務(wù)器無法完成處理海量數(shù)據(jù)的任務(wù).自然災(zāi)害數(shù)據(jù)處理需要確保數(shù)據(jù)處理的響應(yīng)時(shí)間，并且盡可能縮短用戶的等待時(shí)間.用戶體驗(yàn).基于云計(jì)算模型的開源Hadoop被用于通過Map Reduce操作將任務(wù)分發(fā)到不同的計(jì)算節(jié)點(diǎn)，并且使用并行計(jì)算來提高數(shù)據(jù)處理效率.該框架極大地簡化了分布式計(jì)算的復(fù)雜性并確保了數(shù)據(jù)處理的響應(yīng)時(shí)間.為了消除不同應(yīng)用服務(wù)在實(shí)施和訪問方面的差異，降低數(shù)據(jù)存儲和維護(hù)成本，服務(wù)器的S端結(jié)合云服務(wù)的虛擬化和分布特性，并使用數(shù)據(jù)資源標(biāo)識符HGML和行業(yè)身份XXML在應(yīng)用程序服務(wù)層.實(shí)現(xiàn)空間信息的統(tǒng)一交換與描述，并實(shí)現(xiàn)空間信息資源管理與集成云服務(wù)架構(gòu).在空間信息服務(wù)云中，其數(shù)據(jù)資源由“物理云”，“網(wǎng)絡(luò)云”和“存儲云”組成，并通過數(shù)據(jù)注冊中心向G端用戶提供數(shù)據(jù)訪問服務(wù)［5-6］.空間信息服務(wù)云的體系架構(gòu)見圖2.

圖2 數(shù)據(jù)獲取流程

由于大數(shù)據(jù)資源數(shù)據(jù)涉及國家安全，數(shù)據(jù)保密等級要求高，為此在公共服務(wù)平臺提供大數(shù)據(jù)資源和數(shù)據(jù)服務(wù)時(shí)需要考慮訪問者身份的安全性、數(shù)據(jù)交換的安全性和數(shù)據(jù)存儲的安全性.針對大數(shù)據(jù)資源數(shù)據(jù)安全問題，采用基于粒計(jì)算的大數(shù)據(jù)資源數(shù)據(jù)安全服務(wù)框架，通過雙向虛擬身份（Virtual Identities，簡稱VID）的細(xì)粒度訪問控制保證數(shù)據(jù)的安全和用戶訪問行為的限制.高安全等級的大數(shù)據(jù)資源數(shù)據(jù)通過數(shù)據(jù)粒化分類成數(shù)據(jù)塊以VID的形式呈現(xiàn)給用戶.用戶通過系統(tǒng)安全認(rèn)證后獲得VID，與數(shù)據(jù)實(shí)體的VID之間通過角色細(xì)粒度訪問控制機(jī)制建立連接.系統(tǒng)提供認(rèn)證、授權(quán)、統(tǒng)計(jì)、審計(jì)和計(jì)費(fèi)的A4C（Authentication,Authorization,Accounting,Auditing&Charging）服務(wù)框架，運(yùn)行數(shù)據(jù)對象的?；c角色屬性?；陌踩珯C(jī)制，保證大數(shù)據(jù)資源和數(shù)據(jù)服務(wù)的安全性.

3 無盲點(diǎn)時(shí)空數(shù)據(jù)可視化技術(shù)

開發(fā)一種全新的能夠把時(shí)間顯示無縫集成到地圖的無盲點(diǎn)的時(shí)空數(shù)據(jù)可視化技術(shù).總的目標(biāo)是支持在保存空間信息的路網(wǎng)圖上做時(shí)空格局分析.為了更加精確，在分析某個(gè)道路的屬性的時(shí)間模式時(shí)，希望能夠考慮到的鄰域信息，例如是否該小區(qū)道路貫穿的是商業(yè)或住宅，以及周邊道路網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu).這個(gè)目標(biāo)適用于不同類型的任務(wù)和用戶.例如，調(diào)查交通阻塞的分析師可能希望查明當(dāng)擁塞發(fā)生時(shí)的情況，加上了解到的周圍基礎(chǔ)設(shè)施信息來推測為什么擁塞發(fā)生.計(jì)劃跨越城市旅行的人可能在他們出發(fā)的時(shí)候，希望找到最不塞車的路線而且沿線有加油站.對于在電視上發(fā)表對現(xiàn)在正在變化事件的記者來說，他們可能要在空間路網(wǎng)地圖上顯示一些收集的圖片.需要同時(shí)分析空間和時(shí)間的應(yīng)用.應(yīng)用4種類型的時(shí)空任務(wù)：天氣表征估計(jì)在一個(gè)大空間區(qū)域不同時(shí)間段的屬性的趨勢和變化；本地表征估計(jì)在局部區(qū)域不同時(shí)間段的屬性的趨勢和變化；模式檢測定位在其發(fā)生的時(shí)間和空間位置的屬性的一個(gè)特定的圖案；圖案的比較在不同的時(shí)間和空間區(qū)域比較的屬性值的模式.

新技術(shù)的開發(fā)將遵循可視化的原則“首先概述，縮放和過濾，然后根據(jù)需要提供詳細(xì)信息”.概覽首先向用戶提供在地圖上顯示的各種數(shù)據(jù)的分布.用戶可以直接在地圖上滑動(dòng)并放大一條或多條道路.將在地圖上使用稀疏的道路空間，同時(shí)最大限度地減少其他扭曲.將開發(fā)用于擴(kuò)大縫焊的算法，以擴(kuò)大道路的選定部分并引入足夠的空間以在地圖上嵌入時(shí)間顯示.也將研究編碼時(shí)間方向的選擇，因?yàn)榈缆房梢允侨魏纹露龋较蚩偸菑淖蟮接一驈南碌缴?，但這些方法在這里不適用.有很多方法來表示時(shí)間的方向，例如文本標(biāo)簽，視覺符號，顏色，甚至動(dòng)畫.我們將進(jìn)行研究，比較各種方法，并評估其有效性和效率.為了評估內(nèi)聯(lián)視圖的優(yōu)缺點(diǎn)，我們必須將此方法與傳統(tǒng)的鏈接視圖進(jìn)行比較.最后，我們將新的可視化工具應(yīng)用于不同應(yīng)用程序的各種分析任務(wù).

4 建立通用算法庫

對自然災(zāi)害資源數(shù)據(jù)的特點(diǎn)建立其對應(yīng)的數(shù)據(jù)智能處理算法庫，利用聚類算法實(shí)現(xiàn)分布式處理節(jié)點(diǎn)的選擇，數(shù)據(jù)子集的劃分，用戶的分群，數(shù)據(jù)質(zhì)量的提升等數(shù)據(jù)處理過程；利用分類算法實(shí)現(xiàn)用戶的分群，用戶行為的判別，用戶服務(wù)的決策，高維數(shù)據(jù)屬性的約簡等處理過程；利用數(shù)據(jù)屬性降維方法去除數(shù)據(jù)的冗余屬性和決策不相關(guān)屬性，并通過屬性降維得到數(shù)據(jù)的主要特征，加快數(shù)據(jù)后續(xù)處理的過程的同時(shí)，提供決策對間的準(zhǔn)確性；利用矩陣分解技術(shù)進(jìn)行高維數(shù)據(jù)稀疏，數(shù)據(jù)的特征選擇，高維數(shù)據(jù)隱藏信息發(fā)現(xiàn)等方面；基于負(fù)載均衡理論的大數(shù)據(jù)分割算法實(shí)現(xiàn)負(fù)載均衡理論為基礎(chǔ)，研究最佳的數(shù)據(jù)分配方案，使得多個(gè)節(jié)點(diǎn)能夠在同樣的時(shí)間內(nèi)完成任務(wù)，避免因?yàn)閱蝹€(gè)任務(wù)的拖延，導(dǎo)致整體任務(wù)實(shí)時(shí)性減低等算法.通過?；汛罅繌?fù)雜信息按照其各自的特征和屬性劃分成塊，方便管理控制，這些塊稱之為粒［7-8］.智能算法庫依據(jù)所提取或?qū)W習(xí)到的數(shù)據(jù)特征和屬性構(gòu)建準(zhǔn)則進(jìn)行.

針對大數(shù)據(jù)資源大數(shù)據(jù)自身以及其應(yīng)用的特點(diǎn)，提出針對資源特定應(yīng)用的新方法.通過MapReduce分布式處理框架，實(shí)現(xiàn)聚類、分類等現(xiàn)有算法的分布式處理，加快算法的執(zhí)行速度.基于分布式減法聚類的不完整數(shù)據(jù)填充算法，利用改進(jìn)的減法聚類算法對整個(gè)數(shù)據(jù)集進(jìn)行聚類.為了提高聚類算法的效率，利用云計(jì)算技術(shù)對聚類算法進(jìn)行優(yōu)化，實(shí)現(xiàn)基于多級MapReduce的分布式減法聚類算法.然后根據(jù)聚類結(jié)果和加權(quán)距離對缺失值進(jìn)行填充，在保證數(shù)據(jù)填充精度的同時(shí)大幅度降低了填充過程的處理時(shí)間.此種離線的數(shù)據(jù)質(zhì)量提升算法，能夠?yàn)槠渌麛?shù)據(jù)處理過程提供準(zhǔn)確的結(jié)果支撐.考慮分布式處理模型的調(diào)度機(jī)制，以最少的模型開銷，達(dá)到最優(yōu)的數(shù)據(jù)處理結(jié)果.對于離線數(shù)據(jù)（變?yōu)閱螌舆x擇機(jī)制），通過數(shù)據(jù)分類選取基于數(shù)據(jù)主題（礦產(chǎn)、耕地、商業(yè)用地等）的分布式數(shù)據(jù)存儲節(jié)點(diǎn)，然后對特定主題數(shù)據(jù)進(jìn)行分布式處理；關(guān)于在線數(shù)據(jù)，首先根據(jù)離線方法選擇分布式數(shù)據(jù)存儲節(jié)點(diǎn)，然后通過存儲節(jié)點(diǎn)的特征標(biāo)簽與新到在線數(shù)據(jù)比對，選取最終的數(shù)據(jù)服務(wù)節(jié)點(diǎn)，中間過程包括數(shù)據(jù)標(biāo)簽的更新、重構(gòu).通過張量網(wǎng)絡(luò)統(tǒng)一表示資源結(jié)構(gòu)化數(shù)據(jù)和文本、圖片等非結(jié)構(gòu)化數(shù)據(jù)，利用高階SVD分解等相關(guān)技術(shù)降低數(shù)據(jù)維度，并利用深度計(jì)算方法綜合挖掘分析數(shù)據(jù)隱藏的潛在價(jià)值.

5 結(jié)論

針對目前自然災(zāi)害還沒有較高通用性的城市智能化應(yīng)急救援信息系統(tǒng)的現(xiàn)狀，立足于滿足日益增長的應(yīng)急救援?dāng)?shù)字化、智能化管理的需要，進(jìn)行可復(fù)用的面向大數(shù)據(jù)智能決策的自然災(zāi)害救援信息系統(tǒng)所需的關(guān)鍵技術(shù)的研究.提出了自然災(zāi)害基礎(chǔ)數(shù)據(jù)獲取、整合與標(biāo)準(zhǔn)化機(jī)制，通過研究數(shù)據(jù)的標(biāo)準(zhǔn)和結(jié)構(gòu)，把握數(shù)據(jù)的基本情況，把自然災(zāi)害觀測數(shù)據(jù)、業(yè)務(wù)管理數(shù)據(jù)、辦公數(shù)據(jù)、歷史檔案數(shù)據(jù)等自然災(zāi)害數(shù)據(jù)中可利用的部分抽取出來，進(jìn)行各種加工轉(zhuǎn)換整合，然后對經(jīng)過“粗加工”的數(shù)據(jù)進(jìn)行深層“清洗”，最后裝載到統(tǒng)一的“數(shù)據(jù)倉庫”上，進(jìn)行數(shù)據(jù)應(yīng)用與服務(wù)；提出了適應(yīng)于結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的可靠存儲系統(tǒng)，可以為多源異構(gòu)自然災(zāi)害大數(shù)據(jù)任務(wù)提供后臺存儲系統(tǒng)在讀寫效率、速度及吞吐率上的重要支撐；針對不同用戶形態(tài)，不同數(shù)據(jù)形式，以及不同應(yīng)用需求，選擇不同處理算法，達(dá)到不同服務(wù)應(yīng)用的自然災(zāi)害大數(shù)據(jù)智能處理技術(shù)算法庫，可以為自然災(zāi)害大數(shù)據(jù)的服務(wù)應(yīng)用提供多選擇、多匹配、實(shí)時(shí)快速的響應(yīng)需求.