倪金生, 劉翔, 楊勁林, 李瑩, 蘇曉玉, 朱學山
(北京航天泰坦科技股份有限公司,北京 100070)
海量動態(tài)異構空間標繪信息實時接入技術
倪金生, 劉翔, 楊勁林, 李瑩, 蘇曉玉, 朱學山
(北京航天泰坦科技股份有限公司,北京 100070)
隨著全球經濟建設和社會發(fā)展,社會各界對互聯(lián)網空間信息的需求日益廣泛。通過分析動態(tài)異構空間信息特征及來源,建立空間數(shù)據(jù)自組織規(guī)則,采用互聯(lián)網信息地名識別與內容整合技術、萬個級用戶協(xié)同標繪技術、基于虛擬資源池的動態(tài)異構空間信息存儲技術、空間數(shù)據(jù)的自適應顯示技術和斷點續(xù)傳的要素級數(shù)據(jù)更新機制,對海量全球動態(tài)異構空間信息實時接入方法進行原型設計。結果表明: 海量動態(tài)異構空間信息實時接入技術解決了標繪信息的實時傳輸,實現(xiàn)了多尺度下的標繪數(shù)據(jù)的實時/準實時顯示,確保了海量空間信息資源服務的實時性和可讀性。
動態(tài)異構; 空間標繪信息; 動態(tài)接入
協(xié)同交互工作于1984年由Irene Greif和Paul Cashman等提出,當時是為了描述他們所組織的有關如何用計算機支持來自不同領域與學科的共同工作的課題。隨著計算機技術和互聯(lián)網絡信息技術的發(fā)展,協(xié)同交互技術的研究適應了信息化社會中人們工作方式的群體性、交互性、分布性和協(xié)作性特點,因此該技術被認為是未來社會中廣泛采用的技術[1]。隨著對協(xié)同交互技術研究的日益深入,研究人員對協(xié)同交互系統(tǒng)的概念越來越趨于一致。Ellis在1991年提出“協(xié)同交互系統(tǒng)可以定義為這樣的計算機系統(tǒng),它支持一組用戶參與一個共同的任務,并提供給他們共享環(huán)境的接口”。協(xié)同交互技術的實質是通過計算機網絡為用戶建立一個共享環(huán)境,在這個環(huán)境下,用戶可以相互合作來共同完成一項工作[2]。
目前協(xié)同交互系統(tǒng)非常多,如桌面會議系統(tǒng)、遠程教學、遠程醫(yī)療、遠程實時軍事指揮、分布式虛擬環(huán)境、協(xié)同寫作與編著系統(tǒng)、工作流系統(tǒng)等?;跀?shù)據(jù)庫的協(xié)同標繪系統(tǒng)同樣屬于協(xié)同交互系統(tǒng),它體現(xiàn)了協(xié)同交互工作的2個基本特征: 多協(xié)作對象和共享信息協(xié)同交互。協(xié)同標繪最多也最早運用于軍事指揮上,目前在國際上,外軍已將一些較為優(yōu)秀、實用的系統(tǒng)用于軍隊作戰(zhàn)和指揮。以美軍為例: 20世紀70年代末開始研究計算機輔助標圖(以下簡稱機助標圖)的方法; 80年代初初具規(guī)模,80年代末進入成熟階段; 90年代后,美軍已在多次局部戰(zhàn)爭和軍事演習中使用機助協(xié)同標圖系統(tǒng),協(xié)同標圖系統(tǒng)提供在地理信息基礎上疊加顯示來自戰(zhàn)場空間相關的各種實體信息的能力[3]。在國內,計算機標圖工作起步較晚。目前,已經開發(fā)出成熟、實用的單機標繪系統(tǒng),其中不乏一些優(yōu)秀之作,如相關單位開發(fā)的標圖系統(tǒng)、參謀系統(tǒng)等。網絡環(huán)境下的協(xié)同標繪也已經有不少研究,比如信息工程大學測繪學院已經做出了原型系統(tǒng),但是離真正實用還是有一定的距離。
雖然許多因素制約了協(xié)同標繪在實際中的應用,但是國內外學者近年來對協(xié)同技術研究的深入,尤其是協(xié)同編輯和工作流等相關技術及理論研究的深入,為解決GIS協(xié)同標繪問題提供了解決思路,使得GIS協(xié)同標繪的實現(xiàn)成為可能。本文在綜合以往研究工作基礎上,針對目前國內外發(fā)展的需求,提出了基于萬級用戶的全球系統(tǒng)標繪技術的研究方法和思路,并對其進行了原型設計。
全球動態(tài)異構標繪信息實時/準實時接入的技術難點包括基于網絡信息的地名自動識別及空間定位、基于虛擬資源池的全球動態(tài)異構標繪信息接入、標繪信息自適應實時/準實時顯示、動態(tài)異構標繪信息的更新等?;诰W絡信息的地名自動識別及空間定位通過建立全球范圍內的地名索引庫,利用地名自動識別,從相關的網絡文本中提取地名,從空間數(shù)據(jù)庫中獲取地名坐標,目的是實現(xiàn)地名的自動識別和空間信息的定位; 基于虛擬資源池的全球動態(tài)異構標繪信息接入實現(xiàn)標繪信息在服務器端和客戶端的傳輸和客戶端快速定位,還原展示標繪數(shù)據(jù)庫中的標繪信息,是標繪信息的再現(xiàn); 標繪信息自適應實時/準實時顯示基于細節(jié)層次(levels of detail,LOD)、影像金字塔和GIS符號化,建立不同尺度下空間標繪數(shù)據(jù)的顯示規(guī)則,為后續(xù)的數(shù)據(jù)實時顯示、動態(tài)發(fā)布提供基礎; 標繪信息的更新采用斷點續(xù)傳的要素級數(shù)據(jù)更新機制,確保遙感應用資源元數(shù)據(jù)信息的實時性和唯一性。
全球海量動態(tài)異構空間信息實時/準實時接入技術是全球動態(tài)異構空間信息協(xié)同標繪的重要組成部分,主要包括動態(tài)異構標繪信息的獲取與接入。
針對動態(tài)異構標繪信息實時/準實時載入的主要任務,結合標繪信息的自身特點,進行動態(tài)異構標繪信息的來源分析,對標繪數(shù)據(jù)進行入庫,利用標繪信息內容整合技術生成標繪知識,采用基于多維數(shù)據(jù)索引結構實現(xiàn)動態(tài)異構數(shù)據(jù)的接入,基于時空關聯(lián)規(guī)則的標繪數(shù)據(jù)的更新,實現(xiàn)全球動態(tài)異構標繪信息實時/準實時接入,具體技術路線如圖1所示。
圖1 全球動態(tài)異構標繪信息實時/準實時接入技術路線圖
2.1 動態(tài)異構標繪信息的獲取
首先分析動態(tài)異構標繪信息的特征,建立標繪數(shù)據(jù)組織規(guī)則; 再針對數(shù)據(jù)的來源,通過人民搜索引擎、人工標繪以及數(shù)據(jù)截取等方式,獲取動態(tài)異構標繪數(shù)據(jù),并對其進行地名自動識別,進行標繪數(shù)據(jù)的入庫; 最后對標繪數(shù)據(jù)庫中的數(shù)據(jù)進行整合(參見多尺度空間標繪數(shù)據(jù)內容整合與實時動態(tài)發(fā)布),獲取標繪知識數(shù)據(jù)。圖2為動態(tài)異構標繪信息獲取的技術流程圖。
圖2 動態(tài)異構標繪信息獲取的技術流程圖
2.1.1動態(tài)異構標繪信息的分類
動態(tài)異構標繪信息的是指多形態(tài)、多結構化的標繪數(shù)據(jù),按其表現(xiàn)形式及其屬性特征劃分,主要包括文字、圖片、視頻/音頻、矢量數(shù)據(jù)、柵格數(shù)據(jù)以及三維模型等數(shù)據(jù)類別。
2.1.2 動態(tài)異構標繪信息的來源
基于數(shù)據(jù)獲取的途徑,動態(tài)異構標繪信息可以通過人工標繪以及網絡數(shù)據(jù)的截獲獲取。人工標繪數(shù)據(jù)是指人工手動標繪的數(shù)據(jù),包括文字、文本、圖片、視頻/音頻、空間矢量數(shù)據(jù)、柵格數(shù)據(jù)以及三維模型等形式,這些數(shù)據(jù)都以統(tǒng)一的規(guī)則存放于標繪知識庫中,并具有時空屬性特征; 網絡數(shù)據(jù)截獲主要利用系統(tǒng)提供的協(xié)議編程接口來實現(xiàn),通信時,數(shù)據(jù)首先被寫入本地主機的socket中,然后該socket通過網絡接口卡(network interface card,NIC)的傳輸介質將傳來的信息發(fā)送到另一臺主機的socket中,從而實現(xiàn)數(shù)據(jù)的截獲。
2.1.3 基于網絡信息的地名自動識別及空間定位
通過對GIS地名庫及專題地名庫進行整合處理,構建比較完整的城市地名詞典和地名索引庫; 通過地名自動識別,從相關的網絡文本中提取地名,從空間數(shù)據(jù)庫中獲取地名坐標,最終將具有空間屬性的數(shù)據(jù)存入標繪信息數(shù)據(jù)庫。圖3為該流程的技術框圖。
圖3 基于網絡信息的地名自動識別及空間定位技術流程圖
基于網絡信息的地名自動識別及空間定位關鍵技術主要包括地名詞典的數(shù)據(jù)組織、地名詞典空間索引的構建和單句地名的自動識別。
1)地名詞典的數(shù)據(jù)組織。要實現(xiàn)對任意文本和任意形式的地名都能自動識別出來,地名詞典應具備地名完備性。詞典越完整,地名識別的效果就越好。采用“分層分塊”的地名數(shù)據(jù)組織方式構建地名詞典,根據(jù)不同類型和不同區(qū)域專題數(shù)據(jù),提取相應層和相應區(qū)域的地名作為地名詞典。這樣既保證了詞典的數(shù)據(jù)完整性,又提高了識別效率。
2)地名詞典索引庫的建立。構建地名詞典索引庫的目的主要有2個: 一是提高對地名詞典的檢索效率,類似于普通詞典中的檢索目錄,同時這也是借鑒了GIS中對空間數(shù)據(jù)進行索引的思想; 二是從地名詞典中提取相關特征字和特征參數(shù),為快速地名識別做好相關準備工作。地名詞典索引庫的構建過程如圖4所示。
圖4 地名詞典索引庫的建立流程圖
首先遍歷地名詞典,將所有地名首字去重后排序; 然后構建全局單字索引,并在索引中存儲對應的所有地名記錄ID和最大地名長度。
3)單句地名的自動識別。單句地名自動識別可分為2步進行: 一是地名單元切分,二是編碼分析和單元合并,具體的切分算法流程如圖5所示。圖中S1表示待切分的地名字符串,S2表示經過單句地名識別后輸出的字符串結果,H表示從待切分的地名字符串左起選取的首單字,MaxLength和L分別表示遍歷地名詞典索引庫得到的單字的最大長度及對應詞典的地名鏈表;W=S1·Left(MaxLength)為一個字符串截取函數(shù)(W,S1及MaxLength均為變量),表示從左起截取S1字符串的MaxLength個字符,函數(shù)返回的結果存儲在W字符串中。圖中DI表示地名詞典索引庫,C表示地名單元對應的行政區(qū)劃編碼,P表示地名單元到句首的相對距離。
圖5 單句地名自動識別方法流程圖
2.2 基于虛擬資源池的動態(tài)異構標繪信息接入
動態(tài)異構標繪信息的接入主要解決標繪信息怎么在服務器端和客戶端傳輸,并在客戶端如何快速定位還原展示標繪數(shù)據(jù)庫中的標繪信息。
建立在標繪數(shù)據(jù)自組織模型和互操作模型之上,針對不同類型標繪數(shù)據(jù)的特點,將已存在于分布式數(shù)據(jù)庫中的標繪知識數(shù)據(jù)(經整合后的標繪數(shù)據(jù)),依據(jù)數(shù)據(jù)的存儲機制,實現(xiàn)分析、提取和轉換等預處理操作,對外提供動態(tài)異構標繪信息的快速訪問能力,并且將標繪信息快速定位還原顯示。圖6為該流程的技術框圖。
圖6 基于虛擬資源池的全球動態(tài)異構標繪信息接入技術流程圖
2.2.1數(shù)據(jù)的傳輸方式
數(shù)據(jù)的傳輸方式主要包括端/端發(fā)送方式、多播發(fā)送方式和廣播方式[4]。端/端發(fā)送方式主要用于客戶端與服務器建立連接后,客戶端標繪的數(shù)據(jù)傳送給服務器端; 多播發(fā)送方式是針對不同層面級別的用戶,從“控制層面”和“數(shù)據(jù)層面”2個方面實現(xiàn)數(shù)據(jù)載入的控制; 而廣播方式是主機之間一對所有的通訊模式,網絡對其中每一臺主機發(fā)出的信號都進行無條件復制并轉發(fā),所有主機都可以接收到所有信息。
數(shù)據(jù)庫中的標繪信息數(shù)據(jù)必須轉換成網絡數(shù)據(jù)報才能在服務器端和客戶端進行傳輸,接收端收到網絡數(shù)據(jù)報后再進行還原,因此網絡數(shù)據(jù)報是整個數(shù)據(jù)的傳輸基礎,具體表現(xiàn)形式為XML。
2.2.2 標繪信息映射
基于網絡數(shù)據(jù)報的傳輸技術,針對計算資源、I/O資源分布不均衡以及服務器節(jié)點存在異構性的特點[5],采用虛擬資源池和虛擬映射的技術,將每一個服務器按照其處理能力計算資源數(shù)量,并將計算出的資源加入資源池中,進行統(tǒng)一的分配與調度,從而實現(xiàn)異構環(huán)境下混合負載的均衡分布,采用保證數(shù)據(jù)的快速傳輸。其技術流程如圖7所示。為了加快系統(tǒng)的處理速度,可以按區(qū)域將空間標繪信息從服務器傳送到某一虛擬的資源池中,當用戶鼠標點擊某一區(qū)域范圍時,直接將需要顯示的標繪信息指向該區(qū)域所對應的虛擬資源池,再將其映射到實際用戶的操作界面。
圖7 基于虛擬資源池的全球動態(tài)異構標繪信息的映射技術流程圖
2.3 標繪信息自適應實時/準實時顯示
基于LOD、影像金字塔和GIS符號化,建立不同尺度下空間標繪數(shù)據(jù)的顯示規(guī)則,突破標繪數(shù)據(jù)的自適應顯示技術,實現(xiàn)多尺度下的標繪數(shù)據(jù)的實時/準實時顯示,主要工作包括標繪數(shù)據(jù)的顯示規(guī)則的建立和標繪數(shù)據(jù)的實時/準實時顯示[9]。數(shù)據(jù)實時顯示的機制如圖8所示。
圖8 數(shù)據(jù)實時顯示機制
2.4 動態(tài)異構標繪信息更新
基于“分布式文件系統(tǒng)+數(shù)據(jù)庫”的存儲機制,采用斷點續(xù)傳的要素級數(shù)據(jù)更新機制實現(xiàn)動態(tài)異構標繪信息的更新。
動態(tài)異構標繪信息的更新包括搜索引擎數(shù)據(jù)的更新和協(xié)同標繪數(shù)據(jù)的更新[7]。搜索引擎數(shù)據(jù)的更新是指由搜索引擎獲取的數(shù)據(jù)利用基于網絡信息的地名自動識別及空間定位技術對搜索引擎獲取的數(shù)據(jù)(網頁)進行處理,并存入標繪信息數(shù)據(jù)庫; 標繪數(shù)據(jù)的更新是指對實時標繪的數(shù)據(jù)進行整合后,存入標繪信息數(shù)據(jù)庫,對數(shù)據(jù)進行更新的過程。
本研究取得的主要技術成果有: 在動態(tài)載入中解決了標繪信息的實時傳輸; 突破了標繪數(shù)據(jù)的自適應顯示技術,實現(xiàn)了多尺度下的標繪數(shù)據(jù)的實時/準實時顯示問題; 在協(xié)同標繪模型中解決了萬級用戶協(xié)同標繪角色訪問控制和沖突消解機制,從而實現(xiàn)兆字節(jié)級動態(tài)數(shù)據(jù)實時或準實時接入連接,以及萬個用戶級的協(xié)同標繪。
[1] Boujut J F,Blanco E.Intermediary objects as a means to foster co-operation in engineering design[J].Computer Supported Cooperative Work(CSCW),2003,12(2):205-219.
[2] 溫泉,何建敏,曹杰,等.面向協(xié)同制造的分布式對象與虛擬設計環(huán)境研究[J].通信學報,2006,27(11):154-160. Wen Q,He J M,Cao J,et al.Study on collaborative manufacturing oriented distributed objects and virtual design environment[J].Journal on Communications,2006,27(11):154-160.
[3] 劉海濤.GIS協(xié)同標繪技術研究[D].濟南:山東大學,2006. Liu H T.The Research of GIS Collaborative Plotting Technology[D].Ji’nan:Shandong University,2006.
[4] 李菲,俞波,郭亞寧,等.桌面視頻會議系統(tǒng)研究開發(fā)[J].計算機工程與科學,2003,25(3):56-59. Li F,Yu B,Guo Y N,et al.Research and development of desktop video conference systems[J].Computer Engineering and Science,2003,25(3):56-59.
[5] 鄭浩,馮毅雄,譚建榮,等.一類制造資源的協(xié)同建模、優(yōu)化與求解技術[J].計算機集成制造系統(tǒng),2012,18(7):1387-1395. Zheng H,Feng Y X,Tan J R,et al.Collaborative modeling,optimization and solving technology for one manufacturing resource[J].Computer Integrated Manufacturing Systems,2012,18(7):1387-1395.
[6] 余粉,王光霞,萬剛.大數(shù)據(jù)量遙感影像的快速調度與顯示[J].海洋測繪,2006,26(2):27-30,40. Yu F,Wang G X,Wan G. Rapid allocation and display of massive remote sensing image[J].Hydrographic Surveying and Charting,2006,26(2):27-30,40.
[7] 白玉琪,楊崇俊.空間信息搜索引擎研究[J].中國礦業(yè)大學學報,2004,33(1):90-94. Bai Y Q,Yang C J.Research on spatial information search engine[J].Journal of China University of Mining and Technology,2004,33(1):90-94.
(責任編輯: 邢宇)
A real-time access technology for massive dynamic heterogeneous spatial information
NI Jinsheng, LIU Xiang, YANG Jinlin, LI Ying, SU Xiaoyu, ZHU Xueshan
(BeijingAerospaceTitanTechnologyCo,LTD,Beijing100070,China)
With the development of global economy and society, international spatial information is needed by community increasingly. The features and sources of dynamic heterogeneous space information are analyzed and, on such a basis, organizational rules of spatial data are established. Using international place names identification and content integration technology, tens of thousands of users’ collaboration plotting, dynamic heterogeneous spatial information storage technology based on virtual resource pool, adaptive display of spatial data and mechanism of breakpoint continuingly element level data updating, the authors prototyped the method of massive global dynamic heterogeneous spatial information real-time/near real-time access. The design and research results show that the real-time access technology for massive dynamic heterogeneous spatial information solves real-time transmission of plotted information, realizes the real-time/near real-time display of plotting data on multiple scales and ensures the real-time and readability of massive spatial information resources and services.
dynamic heterogeneous; space plotting information; dynamic access
10.6046/gtzyyg.2017.02.32
倪金生,劉翔,楊勁林,等.海量動態(tài)異構空間標繪信息實時接入技術[J].國土資源遙感,2017,29(2):221-225.(Ni J S,Liu X,Yang J L,et al.A real-time access technology for massive dynamic heterogeneous spatial information[J].Remote Sensing for Land and Resources,2017,29(2):221-225.)
2015-09-17;
2015-12-15
國家“863”計劃項目“星機地綜合定量遙感系統(tǒng)與應用示范” (編號: 2013AA12A303)和“全球海量空間信息更新關聯(lián)與主動服務系統(tǒng)”(編號: 2013AA12A402)共同資助。
倪金生(1964-),男,博士,主要從事空間信息處理與行業(yè)應用服務等方面的研究。Email: jasonni@apollotg.com。
TP 722.6
A
1001-070X(2017)02-0221-05