吳亞非 鄧振國(guó) 王振龍

(華北計(jì)算技術(shù)研究所 北京 100083)

?

元數(shù)據(jù)技術(shù)在艦艇數(shù)據(jù)共享平臺(tái)中的應(yīng)用與實(shí)現(xiàn)*

吳亞非 鄧振國(guó) 王振龍

(華北計(jì)算技術(shù)研究所 北京 100083)

元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù),是數(shù)據(jù)共享的關(guān)鍵技術(shù)。以元數(shù)據(jù)為核心構(gòu)建數(shù)據(jù)共享平臺(tái)需要建立統(tǒng)一的元數(shù)據(jù)標(biāo)準(zhǔn),以實(shí)現(xiàn)異構(gòu)數(shù)據(jù)的一致性表達(dá),資源的生產(chǎn)者按照元數(shù)據(jù)標(biāo)準(zhǔn)抽取元數(shù)據(jù),注冊(cè)到全局資源目錄中;使用者通過資源目錄查詢定位元資源,并與資源生產(chǎn)者建立訂閱關(guān)系從而實(shí)現(xiàn)數(shù)據(jù)資源的共享。論文利用元數(shù)據(jù)技術(shù)、Web Service架構(gòu)實(shí)現(xiàn)了無線環(huán)境下不同平臺(tái)之間的數(shù)據(jù)共享,能夠適用于艦艇之間數(shù)據(jù)共享。

元數(shù)據(jù); 元數(shù)據(jù)標(biāo)準(zhǔn); 資源目錄; 數(shù)據(jù)共享

Class Number TP391.1

1 引言

數(shù)據(jù)是信息系統(tǒng)的基礎(chǔ),在指揮自動(dòng)化系統(tǒng)建設(shè)過程中,如何共享各平臺(tái)的自有數(shù)據(jù),快速發(fā)現(xiàn)、充分利用處于分布式網(wǎng)絡(luò)環(huán)境中的各類異構(gòu)數(shù)據(jù),是提高資源利用效率、減少重復(fù)建設(shè)、決定指控系統(tǒng)建設(shè)成敗的關(guān)鍵因素。

通常,業(yè)務(wù)系統(tǒng)數(shù)據(jù)共享主要通過以下兩種方法:

1) 直接使用模式。資源使用者直接向資源生產(chǎn)者提出申請(qǐng),經(jīng)允許后按照雙方約定的格式進(jìn)行共享。這種方式的優(yōu)點(diǎn)在于簡(jiǎn)單直接,但缺點(diǎn)也非常明顯,擴(kuò)展性和維護(hù)性太差,若有新的數(shù)據(jù)需求或者數(shù)據(jù)發(fā)生變化,就必須更改程序代碼。

2) 共享使用模式。資源生產(chǎn)者將可以共享的數(shù)據(jù)提交到公認(rèn)的位置,比如網(wǎng)絡(luò)磁盤空間或共享數(shù)據(jù)庫(kù)中,資源使用者可以按需獲取所需數(shù)據(jù)。這種方式的優(yōu)點(diǎn)在于公開透明,建設(shè)成本也相對(duì)較低,但對(duì)于海量異構(gòu)數(shù)據(jù)缺少必要的管理機(jī)制,在多用戶網(wǎng)絡(luò)環(huán)境背景下的安全性、便捷性都可能帶來一定的問題。

本文提出一種基于元數(shù)據(jù)技術(shù)的數(shù)據(jù)共享機(jī)制,并在某科研項(xiàng)目中得以實(shí)現(xiàn)和驗(yàn)證,取得了良好的效果。實(shí)驗(yàn)證明,這種機(jī)制應(yīng)該能夠用于艦艇之間的數(shù)據(jù)共享。

2 元數(shù)據(jù)

元數(shù)據(jù)(Metadata)的定義有兩種,即“關(guān)于數(shù)據(jù)的數(shù)據(jù)”或“描述數(shù)據(jù)的數(shù)據(jù)”,它提供了數(shù)據(jù)或信息資源的描述性信息,是對(duì)數(shù)據(jù)特性的抽象與概括。

利用元數(shù)據(jù)描述數(shù)據(jù)資源,使得數(shù)據(jù)資源能夠被發(fā)現(xiàn)、定位、獲取、管理和評(píng)價(jià)。對(duì)數(shù)據(jù)資源進(jìn)行個(gè)性化描述,使用戶能夠識(shí)別數(shù)據(jù)資源;提供數(shù)據(jù)資源的位置信息,如出處、位置等,以供用戶訪問時(shí)使用,通過在描述數(shù)據(jù)中提供檢索熱點(diǎn),方便用戶對(duì)資源的檢索和利用;通過對(duì)記錄數(shù)據(jù)資源的各種特征屬性,輔助用戶對(duì)是否使用、何時(shí)何地使用數(shù)據(jù)資源進(jìn)行判斷;信息系統(tǒng)處理數(shù)據(jù)時(shí)可以利用元數(shù)據(jù)所記錄的數(shù)據(jù)特征屬性,決定數(shù)據(jù)處理的具體方式,例如在交換過程中進(jìn)行數(shù)據(jù)的轉(zhuǎn)換;元數(shù)據(jù)是原始信息的簡(jiǎn)潔描述,通過元數(shù)據(jù)可以實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的管理。

利用元數(shù)據(jù)描述數(shù)據(jù)資源而不直接訪問數(shù)據(jù)在信息系統(tǒng)中有很明顯的好處:

1) 通過元數(shù)據(jù)描述可抽取出數(shù)據(jù)的表示細(xì)節(jié),如數(shù)據(jù)的格式及組織方式,從而使系統(tǒng)能夠以獨(dú)立于數(shù)據(jù)表示細(xì)節(jié)的方式來獲取數(shù)據(jù)的信息內(nèi)容。

2) 元數(shù)據(jù)描述可用來表達(dá)與數(shù)據(jù)所屬信息領(lǐng)域相關(guān)的領(lǐng)域知識(shí)。系統(tǒng)可利用此領(lǐng)域知識(shí)來對(duì)數(shù)據(jù)進(jìn)行推理,以確定數(shù)據(jù)之間的相關(guān)性。而這種推理又無需直接訪問數(shù)據(jù),因而使需要處理的數(shù)據(jù)量呈幾何級(jí)降低。

3 元數(shù)據(jù)共享的原理與實(shí)現(xiàn)流程

圖1演示了元數(shù)據(jù)共享的一般流程。

圖1 元數(shù)據(jù)共享的一般流程圖

1) 構(gòu)建元數(shù)據(jù)標(biāo)準(zhǔn)。基于元數(shù)據(jù)共享必須構(gòu)建元數(shù)據(jù)標(biāo)準(zhǔn)。元數(shù)據(jù)標(biāo)準(zhǔn)采用結(jié)構(gòu)化的表達(dá)方式,描述數(shù)據(jù)的邏輯結(jié)構(gòu),在組織與系統(tǒng)內(nèi)部統(tǒng)一元數(shù)據(jù)標(biāo)準(zhǔn),能夠讓數(shù)據(jù)的生產(chǎn)者和使用者達(dá)成對(duì)數(shù)據(jù)理解的一致性,同時(shí)有利于計(jì)算機(jī)的自動(dòng)識(shí)別與分析。在不同的數(shù)據(jù)之間建立統(tǒng)一的元數(shù)據(jù)標(biāo)準(zhǔn),實(shí)現(xiàn)對(duì)數(shù)據(jù)的統(tǒng)一描述,為數(shù)據(jù)共享提供基礎(chǔ)。

2) 以元數(shù)據(jù)標(biāo)準(zhǔn)為模型抽取元數(shù)據(jù)?；谠獢?shù)據(jù)標(biāo)準(zhǔn),在資源生產(chǎn)節(jié)點(diǎn)上,對(duì)該類數(shù)據(jù)進(jìn)行抽取后,形成對(duì)數(shù)據(jù)可理解的描述,即元數(shù)據(jù),元數(shù)據(jù)是用戶進(jìn)行數(shù)據(jù)發(fā)現(xiàn)的基礎(chǔ)。

3) 形成資源目錄。在局部節(jié)點(diǎn)通過將各類數(shù)據(jù)的元數(shù)據(jù)組織成有序的樹狀結(jié)構(gòu),形成資源目錄,使得元數(shù)據(jù)有機(jī)的進(jìn)行組織,并以快捷的形式提供用戶可見,方便用戶的發(fā)現(xiàn)。這解決了節(jié)點(diǎn)內(nèi)資源發(fā)現(xiàn)的問題。

4) 建立全局共享的資源目錄。在全局空間內(nèi)通過對(duì)局部資源目錄的進(jìn)行管理與整合,形成全局的資源目錄,使得分布式環(huán)境下各個(gè)節(jié)點(diǎn)都可以發(fā)現(xiàn)自身感興趣的資源,這解決了節(jié)點(diǎn)間數(shù)據(jù)發(fā)現(xiàn)的問題。

5) 數(shù)據(jù)的訂閱與分發(fā)。基于資源目錄,用戶可以選擇感興趣的資源進(jìn)行訂閱,在建立訂閱關(guān)系后,資源發(fā)布方的數(shù)據(jù)在變化時(shí),自動(dòng)推送給資源訂閱方,達(dá)到數(shù)據(jù)共享的目的。

4 艦艇平臺(tái)元數(shù)據(jù)共享的設(shè)計(jì)實(shí)現(xiàn)

在某科研項(xiàng)目中模擬建立了具備多級(jí)指揮關(guān)系艦艇編隊(duì)環(huán)境,實(shí)現(xiàn)了無線環(huán)境的基于統(tǒng)一元數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)交換、共享的服務(wù)平臺(tái),它的設(shè)計(jì)實(shí)現(xiàn),為必要時(shí)豐富艦艇裝備數(shù)據(jù)共享手段奠定技術(shù)基礎(chǔ)。

基于元數(shù)據(jù)的數(shù)據(jù)共享服務(wù)平臺(tái)利用元數(shù)據(jù)來構(gòu)建信息資源目錄,可為海上異構(gòu)信息資源建立起統(tǒng)一的注冊(cè)、發(fā)布、維護(hù)與檢索平臺(tái),從而使得信息資源對(duì)用戶可視、可訪問、可理解,實(shí)現(xiàn)數(shù)據(jù)的有效發(fā)現(xiàn)、定位、集成和對(duì)使用數(shù)據(jù)的有效維管。在此基礎(chǔ)上,可進(jìn)一步實(shí)現(xiàn)基于訂閱/分發(fā)機(jī)制的數(shù)據(jù)共享模式:數(shù)據(jù)擁有者將數(shù)據(jù)及其相關(guān)元數(shù)據(jù)發(fā)布到共享環(huán)境中,訂閱者根據(jù)自己的信息需求,從共享環(huán)境中獲取所需的數(shù)據(jù)來完成自己的處理功能和任務(wù)。同時(shí),采用半結(jié)構(gòu)化語(yǔ)言XML進(jìn)行描述,在數(shù)據(jù)的語(yǔ)法上進(jìn)一步約束數(shù)據(jù)涵義,使數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化,從而提高系統(tǒng)數(shù)據(jù)的表示能力和共享程度。

基于元數(shù)據(jù)的數(shù)據(jù)共享服務(wù)平臺(tái)采用分布式J2EE的Browser/Server/DB三層軟件架構(gòu),前端界面使用瀏覽器搭建用戶UI界面,利用XML技術(shù)表達(dá)統(tǒng)一的元數(shù)據(jù)標(biāo)準(zhǔn),實(shí)現(xiàn)了元數(shù)據(jù)構(gòu)建、查詢、共享、監(jiān)察等功能,并能夠結(jié)合用戶權(quán)限管理實(shí)現(xiàn)數(shù)據(jù)的分級(jí)、分類訪問,保證了數(shù)據(jù)的安全與保密性。

圖2 元數(shù)據(jù)共享軟件架構(gòu)圖

在瀏覽器端,利用瀏覽器設(shè)計(jì)工具軟件人機(jī)界面,用戶直接利用瀏覽器進(jìn)行數(shù)據(jù)抽取、注冊(cè)及共享本機(jī)數(shù)據(jù)工作,同時(shí)可以同步、下載其他平臺(tái)的數(shù)據(jù),并執(zhí)行用戶管理的任務(wù)。

服務(wù)端采用EJB技術(shù)實(shí)現(xiàn)邏輯服務(wù),向客戶端提供元數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)、資源目錄服務(wù)、訂閱/分發(fā)服務(wù)、用戶管理服務(wù),是元數(shù)據(jù)共享服務(wù)平臺(tái)的核心。元數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)提供業(yè)務(wù)數(shù)據(jù)的描述抽取、注冊(cè)服務(wù),用戶統(tǒng)一的元數(shù)據(jù)標(biāo)準(zhǔn)采用自動(dòng)、半自動(dòng)甚至手工方法描述數(shù)據(jù)資源,以便將數(shù)據(jù)資源注冊(cè)到本級(jí)資源目錄,供資源使用者發(fā)現(xiàn)訪問。資源目錄服務(wù)提供資源目錄維護(hù)與管理,保證資源能夠被及時(shí)發(fā)現(xiàn)與訪問;資源目錄服務(wù)同時(shí)提供目錄同步服務(wù)能力,能夠?qū)⒈酒脚_(tái)的資源目錄同步注冊(cè)到上一級(jí)管理節(jié)點(diǎn),逐級(jí)注冊(cè)后能夠形成一個(gè)全局的資源目錄,根據(jù)需要全局資源目錄可以逐級(jí)同步到具備指揮關(guān)系的各個(gè)節(jié)點(diǎn),此時(shí)資源使用者只需訪問本平臺(tái)的全局資源目錄即可定位數(shù)據(jù)資源,否則就需要逐級(jí)訪問相應(yīng)的目錄,直到最高級(jí)指揮節(jié)點(diǎn)的全局目錄以搜索數(shù)據(jù)資源。訂閱/分發(fā)服務(wù)利用無線環(huán)境提供的各類通信手段,以訂單的方式,提供用戶間的數(shù)據(jù)共享手段;用戶管理服務(wù)維護(hù)數(shù)據(jù)使用者及使用權(quán)限。

數(shù)據(jù)庫(kù)段存儲(chǔ)本地業(yè)務(wù)數(shù)據(jù),包括本地產(chǎn)生的業(yè)務(wù)數(shù)據(jù)和共享而來的業(yè)務(wù)數(shù)據(jù);資源目錄庫(kù)存儲(chǔ)全局資源目錄,各平臺(tái)資源目錄同步一致;系統(tǒng)管理庫(kù)保存系統(tǒng)運(yùn)行時(shí)必備的運(yùn)維數(shù)據(jù),包括用戶數(shù)據(jù)及系統(tǒng)運(yùn)行日志,后者便于資源評(píng)價(jià)、故障排除。

為適應(yīng)艦艇平臺(tái)之間基于無線環(huán)境的多種通信模式,基于元數(shù)據(jù)的數(shù)據(jù)共享服務(wù)平臺(tái)在設(shè)計(jì)時(shí)也針對(duì)多種通信鏈路的有對(duì)應(yīng)的傳輸模式與方法。數(shù)據(jù)同步以訂單為媒介在數(shù)據(jù)的訂閱方和發(fā)布方建立同步關(guān)系,數(shù)據(jù)發(fā)布方對(duì)捕獲出來的二進(jìn)制數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮和加密,并用可配置數(shù)據(jù)包的大小來進(jìn)行拆包控制發(fā)送的頻率以適應(yīng)不同帶寬的通信,由此變化數(shù)據(jù)到達(dá)數(shù)據(jù)訂閱方;數(shù)據(jù)訂閱方接受到變化數(shù)據(jù)后,采用已存在數(shù)據(jù)更新、未存在數(shù)據(jù)插入的策略來支持?jǐn)?shù)據(jù)同步過程中重復(fù)數(shù)據(jù)的沖突檢測(cè)及處理機(jī)制,由此實(shí)現(xiàn)變化數(shù)據(jù)的入目的數(shù)據(jù)庫(kù)。同時(shí)對(duì)于節(jié)點(diǎn)不連通的情況下也提供了離線的數(shù)據(jù)同步手段,來進(jìn)行數(shù)據(jù)的離線同步。同時(shí)對(duì)于數(shù)據(jù)同步策略也動(dòng)態(tài)進(jìn)行配置調(diào)整,比如從變換數(shù)據(jù)同步的模式(自動(dòng)、手動(dòng)),數(shù)據(jù)同步的頻率和優(yōu)先級(jí)等手段均可以適應(yīng)不同通信信道條件下數(shù)據(jù)的同步需求。

5 結(jié)語(yǔ)

元數(shù)據(jù)為描述異構(gòu)數(shù)據(jù)提供了有效的途徑,構(gòu)建元數(shù)據(jù)標(biāo)準(zhǔn)是實(shí)現(xiàn)元數(shù)據(jù)理解一致性,達(dá)到數(shù)據(jù)共享與交換的前提與保障。以Web Service為技術(shù)基礎(chǔ)能夠建立跨平臺(tái)分布式的數(shù)據(jù)表現(xiàn)與交換平臺(tái)。

元數(shù)據(jù)共享技術(shù)同樣能夠在軍事項(xiàng)目中發(fā)揮重要作用。基于元數(shù)據(jù)技術(shù),論文在某科研項(xiàng)目中實(shí)現(xiàn)了基于元數(shù)據(jù)進(jìn)行共享的解決方案,為在艦艇編隊(duì)環(huán)境下進(jìn)行跨平臺(tái)、跨業(yè)務(wù)系統(tǒng)之間進(jìn)行數(shù)據(jù)共享提供了有效支撐。研制過程中進(jìn)行了多級(jí)指揮關(guān)系下的數(shù)據(jù)共享試驗(yàn),同時(shí)運(yùn)用規(guī)模非實(shí)時(shí)數(shù)據(jù)相關(guān)實(shí)驗(yàn),實(shí)驗(yàn)均取得了良好的效果。

一定意義上說,元數(shù)據(jù)標(biāo)準(zhǔn)的抽象統(tǒng)一的程度與數(shù)據(jù)應(yīng)用的便利性是相反的。軍事作戰(zhàn)過程中包含大量的異構(gòu)數(shù)據(jù),元數(shù)據(jù)標(biāo)準(zhǔn)的高度統(tǒng)一不利于海量數(shù)據(jù)大快速查詢定位與應(yīng)用。下一步將進(jìn)一步探索在分級(jí)指揮關(guān)系背景下構(gòu)建分類的專業(yè)元數(shù)據(jù)標(biāo)準(zhǔn),并且研究在多標(biāo)準(zhǔn)下的元數(shù)據(jù)表達(dá)與共享方案,為元數(shù)據(jù)在軍事項(xiàng)目中的推廣應(yīng)用奠定基礎(chǔ)。

[1] 趙亮,樓向英,張春景,等.元數(shù)據(jù)應(yīng)用:語(yǔ)義、結(jié)構(gòu)與句法[J].圖書館雜志,2004,23(7):49-55.

[2] 張曉林.元數(shù)據(jù)研究與應(yīng)用[M].北京:北京圖書館出版社,2002.

[3] 牛曉琳,季民,趙志剛.基于元數(shù)據(jù)管理的數(shù)據(jù)共享研究[J].艦船電子工程,2006,26(1):71-74.

[4] 邰峻,李博,梁麗華,等.國(guó)內(nèi)元數(shù)據(jù)研究共詞圖譜分析[J].情報(bào)雜質(zhì),2013,32(10):106-110.

[5] 游祎,趙榮.我國(guó)元數(shù)據(jù)研究現(xiàn)狀與發(fā)展[J].圖書情報(bào)工作,2008,增刊(1):202-205.

[6] 王繼周,李成名,林宗堅(jiān).面向共享的空間元數(shù)據(jù)管理框架研究與設(shè)計(jì)[J].國(guó)土資源遙感,2003,3:67-70.

[7] 趙景明,張福.元數(shù)據(jù)互操作方法體系研究[J].圖書館理論與實(shí)踐,2007,4:52-54.

[8] 辜寄蓉,苗放,王成善.基于元數(shù)據(jù)的信息共享機(jī)制研究[J].物探化探計(jì)算技術(shù),2006,28(1):75-79.

[9] 羅英偉,汪小林,許卓群.基于XML的地理信息元數(shù)據(jù)系統(tǒng)計(jì)[J].計(jì)算機(jī)學(xué)報(bào),2005,28(7):1205-1212.

[10] 韓夏,李秉嚴(yán).元數(shù)據(jù)的互操作研究[J].情報(bào)科學(xué),2004,22(7):812-814.

Application and Implementation of Metadata-based Technology for Naval Vessel Data Sharing Platform

WU Yafei DENG Zhenguo WANG Zhenlong

(North China Institute of Computing Technology, Beijing 100083)

Metadata is data about data, is the key technology for data sharing. The metadata technology, core structure in data sharing platform, needs to build a unified standard, consistency of data schema. Producers extract and define the metadata int global libraries, subscribers query the global libraries to find the data, since the relationship between subscribers and producers has been established. Metadata, a rich data form, has been implemented with web service architecture to communicate between different platforms under the wireless environment, can be applied to data sharing between ship.

metadata, metadata standard, resource directory, data sharing

2015年6月13日,

2015年7月30日

吳亞非,男,高級(jí)工程師,研究方向:軍用圖形學(xué)、指揮自動(dòng)化系統(tǒng)的工程設(shè)計(jì)和研究工作。鄧振國(guó),男,碩士,工程師,研究方向:搜索引擎技術(shù)的研究工作。王振龍,男,工程師,研究方向:指揮自動(dòng)化系統(tǒng)的應(yīng)用與研究工作。

TP391.1

10.3969/j.issn.1672-9730.2015.12.025