馬 辰 李 瑋 薛 松 韓世杰 曹寧生
(1.中國(guó)艦船研究院 北京 100192)(2.北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所 北京 100854)
一種面向船舶平臺(tái)設(shè)備的數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)?
馬 辰1李 瑋1薛 松1韓世杰2曹寧生1
(1.中國(guó)艦船研究院 北京 100192)(2.北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所 北京 100854)
論文從數(shù)據(jù)處理、數(shù)據(jù)庫(kù)和數(shù)據(jù)類(lèi)型等三個(gè)方面分析船舶平臺(tái)設(shè)備對(duì)數(shù)據(jù)管理系統(tǒng)的需求,在此基礎(chǔ)上設(shè)計(jì)并實(shí)施一種新型的船舶數(shù)據(jù)管理系統(tǒng),并實(shí)現(xiàn)多源多類(lèi)型數(shù)據(jù)的存儲(chǔ)與展示功能。
機(jī)電平臺(tái);數(shù)據(jù)管理系統(tǒng);大數(shù)據(jù);數(shù)據(jù)庫(kù)
全艦計(jì)算環(huán)境(total ship computing environment,TSCE)是新一代艦載集成技術(shù),對(duì)艦艇平臺(tái)信 息 化 具 有 重 要 的 意 義 和 影 響[1~2]。 美 軍 在DDG-1000中,實(shí)現(xiàn)了TSCE,引起了國(guó)內(nèi)眾多研究人員的關(guān)注[3~5]。與傳統(tǒng)的艦載信息系統(tǒng)相比,TSCE需要支撐通用顯示系統(tǒng)、傳感系統(tǒng)、武器系統(tǒng)、平臺(tái)系統(tǒng)、訓(xùn)練系統(tǒng)、指揮系統(tǒng)和外部通信系統(tǒng)等諸多分系統(tǒng)[5~6]。
相關(guān)專(zhuān)家對(duì)未來(lái)我國(guó)船舶的信息技術(shù)也進(jìn)行了規(guī)劃和展望。文獻(xiàn)[7]對(duì)我軍的全艦計(jì)算環(huán)境的任務(wù)作出規(guī)劃,提出在傳感器信息管理域、平臺(tái)控制域和武控通道管理域都要基于TSCE。因而,在數(shù)據(jù)管理中,需要考慮各領(lǐng)域?qū)?shù)據(jù)需求的不同帶來(lái)的差異。文獻(xiàn)[8]詳細(xì)的對(duì)比了艦載信息化裝備和通用信息系統(tǒng)的區(qū)別,指出艦載信息化裝備的主要目的是控制、驅(qū)動(dòng)物理傳感器和武器,報(bào)文類(lèi)型較少,格式確定,實(shí)時(shí)性要求高等特點(diǎn),其中數(shù)據(jù)約大部分具備時(shí)效性,短時(shí)間有效。
未來(lái)的船舶信息系統(tǒng),集成了各類(lèi)信息系統(tǒng),在其使用中,產(chǎn)生了大量的報(bào)文、圖像、音頻、視頻等多類(lèi)數(shù)據(jù),需要進(jìn)行統(tǒng)一采集、存儲(chǔ)和管理。大數(shù)據(jù)時(shí)代的到來(lái),為數(shù)據(jù)管理系統(tǒng)提出了新的要求。目前,數(shù)據(jù)只有部分是結(jié)構(gòu)化的,適用于傳統(tǒng)數(shù)據(jù)庫(kù);而許多數(shù)據(jù)如協(xié)議、文本和圖像等是半結(jié)構(gòu)化和非結(jié)構(gòu)化的,需要有合適的數(shù)據(jù)存儲(chǔ)機(jī)制來(lái)存儲(chǔ)和檢索[9]。并且大數(shù)據(jù)架構(gòu)也提供了多種數(shù)據(jù)分析方法,使得對(duì)數(shù)據(jù)進(jìn)行多維度的分析成為可能[10]。
本文對(duì)船舶數(shù)據(jù)管理系統(tǒng)進(jìn)行描述,從數(shù)據(jù)處理、數(shù)據(jù)庫(kù)和數(shù)據(jù)類(lèi)型等三個(gè)方面對(duì)船舶數(shù)據(jù)管理系統(tǒng)進(jìn)行分析,并設(shè)計(jì)出一種基于分布式集群的數(shù)據(jù)管理系統(tǒng)(Data Management System,DMS),在此基礎(chǔ)上進(jìn)行軟件開(kāi)發(fā),實(shí)現(xiàn)了軟件倉(cāng)庫(kù)和機(jī)電監(jiān)控大屏兩個(gè)應(yīng)用。
數(shù)據(jù)管理系統(tǒng)為用戶(hù)提供數(shù)據(jù)存儲(chǔ)、檢索和處理等功能的綜合管理系統(tǒng)。由于船舶所涉及專(zhuān)業(yè)對(duì)數(shù)據(jù)使用的目的、范圍、時(shí)延等要求不同,因而在DMS中需要根據(jù)不同的專(zhuān)業(yè)分析其數(shù)據(jù)處理特點(diǎn),進(jìn)行差異化數(shù)據(jù)管理。在本文中,根據(jù)數(shù)據(jù)管理的邏輯結(jié)構(gòu),由上至下,將其分為數(shù)據(jù)處理、數(shù)據(jù)庫(kù)和數(shù)據(jù)類(lèi)型三層,如圖1所示。
圖1 數(shù)據(jù)管理系統(tǒng)架構(gòu)圖
2.1 數(shù)據(jù)處理
數(shù)據(jù)處理可分為聯(lián)機(jī)事務(wù)處理過(guò)程(On-Line Transaction Processing,OLTP)和聯(lián)機(jī)分析處理過(guò)程(On-Line Analytical Processing,OLAP)。 其 中 ,OLTP也被稱(chēng)為面向交易的處理系統(tǒng),由前臺(tái)、應(yīng)用和數(shù)據(jù)庫(kù)共同完成,基本特征是前臺(tái)接收應(yīng)用的數(shù)據(jù)可以立即傳送到計(jì)算中心的數(shù)據(jù)庫(kù)中進(jìn)行處理,并在短時(shí)間里給出計(jì)算結(jié)果。由于OLTP處理速度快,響應(yīng)及時(shí),因而也被稱(chēng)為實(shí)時(shí)系統(tǒng)。OLAP主要適用于數(shù)據(jù)的分析和挖掘,使分析人員或管理人員能夠從多維度對(duì)數(shù)據(jù)進(jìn)行快速、一致、交互地存取,從而獲得更多有效的數(shù)據(jù)分析信息。OLAP是數(shù)據(jù)倉(cāng)庫(kù)中的主要應(yīng)用,支持對(duì)數(shù)據(jù)復(fù)雜分析操作,并提供多樣化表示的查詢(xún)結(jié)果。由于OLAP具有靈活的分析功能、直觀(guān)的數(shù)據(jù)操作和分析結(jié)果可視化表示等突出優(yōu)點(diǎn),用戶(hù)對(duì)基于大量復(fù)雜數(shù)據(jù)的分析變得輕松而高效,能夠迅速做出正確判斷。
在船舶平臺(tái)中,各控制類(lèi)專(zhuān)業(yè)應(yīng)用以O(shè)LTP為主,例如導(dǎo)航、動(dòng)力等專(zhuān)業(yè),主要是實(shí)時(shí)的數(shù)據(jù)檢索與記錄,時(shí)延要求比較高;而在綜合決策的專(zhuān)業(yè)中,需要查閱大量歷史數(shù)據(jù),并分析其規(guī)律,為指揮人員提供決策依據(jù),例如路徑規(guī)劃、海況感知等,大多數(shù)此類(lèi)應(yīng)用屬于OLAP類(lèi)業(yè)務(wù)。OLTP和OLAP的對(duì)比如表1所示。
表1 數(shù)據(jù)處理對(duì)比表
2.2 數(shù)據(jù)庫(kù)
數(shù)據(jù)庫(kù)有多種分類(lèi)方法,數(shù)據(jù)模型角度上可以分為關(guān)系型和非關(guān)系型數(shù)據(jù)庫(kù),計(jì)算機(jī)系統(tǒng)上分為嵌入式數(shù)據(jù)庫(kù)和通用數(shù)據(jù)庫(kù),部署位置上又能分為單機(jī)數(shù)據(jù)庫(kù)和分布式數(shù)據(jù)庫(kù)。下面,本文主要從數(shù)據(jù)模型上對(duì)數(shù)據(jù)庫(kù)進(jìn)行對(duì)比分析。
關(guān)系型數(shù)據(jù)庫(kù)(Relational Database)是建立在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫(kù),借助于集合代數(shù)等數(shù)學(xué)概念和方法來(lái)處理數(shù)據(jù)庫(kù)中的數(shù)據(jù),其數(shù)據(jù)類(lèi)型主要是關(guān)系型數(shù)據(jù)。嵌入式數(shù)據(jù)庫(kù)是一種特殊的關(guān)系型數(shù)據(jù)庫(kù)。在嵌入式系統(tǒng)中,對(duì)數(shù)據(jù)庫(kù)的操作具有定時(shí)限制的特性,這是把應(yīng)用于嵌入式系統(tǒng)的數(shù)據(jù)庫(kù)稱(chēng)為嵌入式數(shù)據(jù)庫(kù)或嵌入式實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)(Embedded Real-Time Database System,ERTDBS)??煽啃砸笫俏闳葜靡傻模度胧较到y(tǒng)必須能夠在沒(méi)有人工干預(yù)的情況下,長(zhǎng)時(shí)間不間斷地運(yùn)行。同時(shí)要求數(shù)據(jù)庫(kù)操作具備可預(yù)知性,而且系統(tǒng)的大小和性能也都必須是可預(yù)知的,這樣才能保證系統(tǒng)的性能。嵌入式系統(tǒng)中會(huì)不可避免地與底層硬件打交道,因此在數(shù)據(jù)管理時(shí),也要有底層控制的能力,如什么時(shí)候會(huì)發(fā)生磁盤(pán)操作,磁盤(pán)操作的次數(shù),如何控制等。底層控制的能力是決定數(shù)據(jù)庫(kù)管理操作的關(guān)鍵。嵌入式數(shù)據(jù)庫(kù)是嵌入式系統(tǒng)的重要組成部分,也成為定制化應(yīng)用進(jìn)行開(kāi)發(fā)和管理的必要手段。隨著計(jì)算機(jī)技術(shù)的發(fā)展,嵌入式數(shù)據(jù)庫(kù)已不僅僅局限于嵌入式系統(tǒng),由于其具有資源需求少、處理速度快等優(yōu)點(diǎn),在個(gè)人機(jī)和服務(wù)器的輕應(yīng)用中也得到了廣泛的應(yīng)用。
NoSQL(Not only SQL)泛指非關(guān)系型的數(shù)據(jù)庫(kù)。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起,傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在處理web2.0網(wǎng)站,特別是超大規(guī)模和高并發(fā)的SNS類(lèi)型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心,暴露了很多難以克服的問(wèn)題,而非關(guān)系型的數(shù)據(jù)庫(kù)則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫(kù)的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類(lèi)帶來(lái)的挑戰(zhàn),尤其是大數(shù)據(jù)應(yīng)用難題。非關(guān)系型數(shù)據(jù)庫(kù)一般分為鍵值(Key-value)存儲(chǔ)數(shù)據(jù)庫(kù)、列存儲(chǔ)數(shù)據(jù)庫(kù)、文檔型數(shù)據(jù)庫(kù)和圖形數(shù)據(jù)庫(kù)。非關(guān)系型數(shù)據(jù)庫(kù)并沒(méi)有一個(gè)明確的范圍和定義,但是它們都普遍存在著無(wú)需預(yù)定義模式、無(wú)共享架構(gòu)、彈性可擴(kuò)展、分區(qū)和異步復(fù)制等共同特征,適用于數(shù)據(jù)模型比較簡(jiǎn)單、靈活性強(qiáng)、數(shù)據(jù)庫(kù)性能要求高、數(shù)據(jù)一致性低并且可以映射復(fù)雜值的環(huán)境。
從部署方式的角度上來(lái)講,分布式數(shù)據(jù)庫(kù)(Distributed Database,DDB)通常使用較小的計(jì)算機(jī)系統(tǒng),每臺(tái)計(jì)算機(jī)可單獨(dú)放在一個(gè)地方,每臺(tái)計(jì)算機(jī)中都可能有DDB的一份或部分拷貝副本,并具有自己局部的數(shù)據(jù)庫(kù),位于不同地點(diǎn)的許多計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)相互連接,共同組成一個(gè)完整的、全局的邏輯上集中、物理上分布的大型數(shù)據(jù)庫(kù)。分布式數(shù)據(jù)庫(kù)是大規(guī)模并行處理系統(tǒng)(Massive Parallel Processing,MPP)的一個(gè)重要應(yīng)用。在未來(lái)的船舶DMS發(fā)展中,有兩個(gè)方向需要注意,一是集中使用若干臺(tái)服務(wù)器用來(lái)存儲(chǔ)海量數(shù)據(jù);二是協(xié)調(diào)不同的服務(wù)器和邊緣計(jì)算機(jī)之間的存儲(chǔ)空間,優(yōu)化存儲(chǔ)方式。而這兩類(lèi)情況,均需要考慮數(shù)據(jù)庫(kù)的分布式存儲(chǔ)和備份。
數(shù)據(jù)庫(kù)的對(duì)比如表2所示。
表2 數(shù)據(jù)庫(kù)對(duì)比表
2.3 數(shù)據(jù)類(lèi)型
隨著船舶信息化和智能化程度的提高,數(shù)據(jù)管理系統(tǒng)需要處理的數(shù)據(jù)類(lèi)型也越來(lái)越多樣化,總體來(lái)講可以分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。
結(jié)構(gòu)化數(shù)據(jù)能夠用數(shù)據(jù)或統(tǒng)一的結(jié)構(gòu)加以表示,如數(shù)字、符號(hào)。傳統(tǒng)關(guān)系數(shù)據(jù)模型、行數(shù)據(jù),存儲(chǔ)于數(shù)據(jù)庫(kù),可用二維表結(jié)構(gòu)表示,因而結(jié)構(gòu)化數(shù)據(jù)的模型為二維表。在平臺(tái)設(shè)備中,大部分的二維數(shù)據(jù)表格都是結(jié)構(gòu)化數(shù)據(jù)。
半結(jié)構(gòu)化數(shù)據(jù)是介于完全結(jié)構(gòu)化數(shù)據(jù)(如關(guān)系型數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù)中的數(shù)據(jù))和完全無(wú)結(jié)構(gòu)的數(shù)據(jù)(如聲音、圖像文件等)之間的數(shù)據(jù),XML、HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。它一般是自描述的,數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起,沒(méi)有明顯的區(qū)分。半結(jié)構(gòu)化數(shù)據(jù)的模型為樹(shù)和圖。在平臺(tái)中,導(dǎo)航路徑一種典型的半結(jié)構(gòu)化數(shù)據(jù)。在導(dǎo)航路徑中,航路節(jié)點(diǎn)由若干只有經(jīng)緯度的二維節(jié)點(diǎn)構(gòu)成,是簡(jiǎn)單的叉樹(shù)。
非結(jié)構(gòu)化數(shù)據(jù)庫(kù)是指其字段長(zhǎng)度可變,并且每個(gè)字段的記錄又可以由可重復(fù)或不可重復(fù)的子字段構(gòu)成的數(shù)據(jù)庫(kù),用它不僅可以處理結(jié)構(gòu)化數(shù)據(jù)(如數(shù)字、符號(hào)等信息)而且更適合處理非結(jié)構(gòu)化數(shù)據(jù)(全文文本、圖像、聲音、影視、超媒體等信息)。非結(jié)構(gòu)化數(shù)據(jù)無(wú)數(shù)據(jù)模型。在平臺(tái)中,視頻傳回的圖像和文本數(shù)據(jù)均以非結(jié)構(gòu)化數(shù)據(jù)存在。
基于船舶平臺(tái)設(shè)備的數(shù)據(jù)需求,本文設(shè)計(jì)一種DMS,用來(lái)存儲(chǔ)和管理船舶中的數(shù)據(jù)。
3.1 數(shù)據(jù)關(guān)系設(shè)計(jì)
在DMS中,首先要考慮數(shù)據(jù)之間的關(guān)系與流向,利用DDS消息中間件為船舶平臺(tái)設(shè)備與各類(lèi)數(shù)據(jù)庫(kù)和處理架構(gòu)之間的提供統(tǒng)一的傳遞通道,為船舶平臺(tái)提供多種可以定制化的數(shù)據(jù)處理方式,其數(shù)據(jù)關(guān)系圖如圖2所示。
圖2 數(shù)據(jù)關(guān)系圖
船舶平臺(tái)中各類(lèi)傳感器獲取的數(shù)據(jù)可以直接送入任何一類(lèi)數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)進(jìn)行管理。嵌入式數(shù)據(jù)庫(kù)在任務(wù)機(jī)中提供少量數(shù)據(jù)的快速存取;通用關(guān)系型數(shù)據(jù)庫(kù)既為嵌入式數(shù)據(jù)庫(kù)做備份,也可為容許毫秒級(jí)延時(shí)的業(yè)務(wù)提供數(shù)據(jù)存?。环顷P(guān)系型數(shù)據(jù)庫(kù)依賴(lài)大數(shù)據(jù)分布式文件管理系統(tǒng),存儲(chǔ)和備份平臺(tái)、嵌入式數(shù)據(jù)庫(kù)以及通用關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù),并且為大數(shù)據(jù)的計(jì)算提供數(shù)據(jù)支撐;分布式文件管理系統(tǒng),既可以為非關(guān)系型數(shù)據(jù)庫(kù)提供支撐,也可以直接存入大容量文件。
在數(shù)據(jù)管理系統(tǒng)的頂層,由大數(shù)據(jù)組件的MapReduce、Spark等提供海量數(shù)據(jù)計(jì)算,并且支持應(yīng)用中的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等智能化算法。在整個(gè)數(shù)據(jù)處理過(guò)程中,可以分別由不同的數(shù)據(jù)庫(kù)提供圖形、表格、動(dòng)態(tài)顯示等多種方式的數(shù)據(jù)展示。
3.2 軟件架構(gòu)設(shè)計(jì)
圖3是船舶平臺(tái)DMS的架構(gòu)圖。在本設(shè)計(jì)中,該系統(tǒng)分為數(shù)據(jù)庫(kù)、數(shù)據(jù)管理系統(tǒng)和應(yīng)用示例等三層。
圖3 數(shù)據(jù)管理系統(tǒng)軟件架構(gòu)
在底層是數(shù)據(jù)庫(kù),包含了嵌入式數(shù)據(jù)庫(kù)、通用關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)。嵌入式數(shù)據(jù)庫(kù)應(yīng)用于機(jī)電設(shè)備中,與設(shè)備的控制監(jiān)測(cè)應(yīng)用軟件一同編譯,能夠有效地提高設(shè)備的實(shí)時(shí)控制效率。通用數(shù)據(jù)庫(kù)在于各類(lèi)控制臺(tái)中,通用DDS消息中間件,實(shí)現(xiàn)數(shù)據(jù)的快速存儲(chǔ)和檢索。非關(guān)系型數(shù)據(jù)庫(kù)存在于服務(wù)器中,能夠?qū)η度胧綌?shù)據(jù)庫(kù)和通用關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)實(shí)現(xiàn)匯集和備份,并為各類(lèi)應(yīng)用提供接口。中間是數(shù)據(jù)管理系統(tǒng),由數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、數(shù)據(jù)檢索、數(shù)據(jù)展示、接口管理、硬件管理、用戶(hù)管理和界面設(shè)計(jì)等八個(gè)模塊構(gòu)成,各模塊功能如表3所示。最上層是應(yīng)用實(shí)例層,可以分為實(shí)時(shí)應(yīng)用、非實(shí)時(shí)應(yīng)用、數(shù)據(jù)監(jiān)控和決策分析等四種。實(shí)時(shí)應(yīng)用中,部分應(yīng)用與嵌入式數(shù)據(jù)庫(kù)通過(guò)專(zhuān)業(yè)接口直接實(shí)現(xiàn)數(shù)據(jù)的增刪改查,部分應(yīng)用通過(guò)DDS消息中間件,實(shí)現(xiàn)與通用數(shù)據(jù)庫(kù)的連通;非實(shí)時(shí)應(yīng)用,例如軟件倉(cāng)庫(kù),其對(duì)數(shù)據(jù)的實(shí)效性管理不強(qiáng),但是需要存儲(chǔ)大容量的數(shù)據(jù),此類(lèi)應(yīng)用可以分別與關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)連接;數(shù)據(jù)監(jiān)控,能夠監(jiān)測(cè)到實(shí)時(shí)監(jiān)控、非實(shí)時(shí)存儲(chǔ)以及實(shí)時(shí)計(jì)算等各類(lèi)數(shù)據(jù);決策分析主要指對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行計(jì)算和管理。
表3 數(shù)據(jù)管理系統(tǒng)各部分功能表
3.3 系統(tǒng)部署環(huán)境
船舶平臺(tái)的數(shù)據(jù)管理系統(tǒng)主要任務(wù)是實(shí)現(xiàn)多任務(wù)機(jī)(動(dòng)力、電力、導(dǎo)航、推進(jìn)等)之間數(shù)據(jù)傳輸、存儲(chǔ)、處理和展示等功能,實(shí)現(xiàn)數(shù)據(jù)的優(yōu)化管理,其部署如圖4所示。
數(shù)據(jù)傳輸部分由若干臺(tái)接入交換機(jī)、匯聚交換機(jī)和有線(xiàn)傳輸線(xiàn)纜組成。接入交換機(jī)負(fù)責(zé)將船舶平臺(tái)設(shè)備中的任務(wù)機(jī)和傳感器接入到系統(tǒng)中;匯聚交換機(jī)負(fù)責(zé)平臺(tái)內(nèi)部網(wǎng)絡(luò)的通連。
圖4 數(shù)據(jù)管理系統(tǒng)部署圖
數(shù)據(jù)存儲(chǔ)部分硬件由若干臺(tái)任務(wù)機(jī)和兩組服務(wù)器實(shí)現(xiàn),軟件由嵌入式數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系數(shù)據(jù)庫(kù)以及分布式文件管理系統(tǒng)實(shí)現(xiàn),配置如表4所示,數(shù)據(jù)關(guān)系如圖4所示。在任務(wù)機(jī)中,由于其數(shù)據(jù)實(shí)時(shí)性比較高,需要對(duì)數(shù)據(jù)快速的存儲(chǔ)和查詢(xún),因而使用嵌入式數(shù)據(jù)庫(kù),其數(shù)據(jù)定時(shí)匯入平臺(tái)系統(tǒng)數(shù)據(jù)管理服務(wù)器和綜合大數(shù)據(jù)管理服務(wù)器中;由一臺(tái)服務(wù)器,使用關(guān)系型數(shù)據(jù)庫(kù),組成船舶平臺(tái)設(shè)備數(shù)據(jù)管理服務(wù)器,主要作用是為船舶平臺(tái)系統(tǒng)提供數(shù)據(jù)存儲(chǔ)和查詢(xún)服務(wù),其數(shù)據(jù)定時(shí)匯入綜合大數(shù)據(jù)管理服務(wù)器中;兩臺(tái)安裝大數(shù)據(jù)組件的服務(wù)器組成綜合大數(shù)據(jù)管理服務(wù)器,其作用主要是為船舶平臺(tái)系統(tǒng)提供數(shù)據(jù)資源的存儲(chǔ)和備份,并支撐上層應(yīng)用的數(shù)據(jù)挖掘。
表4 數(shù)據(jù)管理系統(tǒng)設(shè)備配置表
4.1 軟件倉(cāng)庫(kù)
軟件倉(cāng)庫(kù)是基于船舶DMS的一款非實(shí)時(shí)應(yīng)用,該應(yīng)用的目的是用戶(hù)能夠在客戶(hù)端實(shí)現(xiàn)軟件的增、刪、改、查以及自動(dòng)部署。在軟件倉(cāng)庫(kù)應(yīng)用中,使用關(guān)系型數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)。在軟件倉(cāng)庫(kù)中,首先有一張信息表存儲(chǔ)軟件的名稱(chēng)、版本等基本信息。軟件通過(guò)兩種方式存儲(chǔ),小于4G的軟件以blob的格式存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中;大于4G的軟件以文件的方式存儲(chǔ)于分布式文件系統(tǒng)中,并在信息表中存儲(chǔ)軟件在分布式文件系統(tǒng)中的索引信息。
圖5 軟件倉(cāng)庫(kù)示例
客戶(hù)端和數(shù)據(jù)庫(kù)通過(guò)DDS消息中間件進(jìn)行控制信息和軟件的數(shù)據(jù)傳輸。當(dāng)用戶(hù)需要存入一個(gè)軟件時(shí),可以在信息表中新建一條記錄,并且根據(jù)軟件的大小自動(dòng)分配存儲(chǔ)位置;當(dāng)用戶(hù)需要部署某一軟件時(shí),用戶(hù)向數(shù)據(jù)庫(kù)發(fā)送請(qǐng)求,將不同位置的軟件發(fā)送至相關(guān)終端機(jī)的文件夾中。軟件倉(cāng)庫(kù)的功能界面如圖5所示,通過(guò)此示例,可以有效的驗(yàn)證數(shù)據(jù)管理系統(tǒng)對(duì)于非實(shí)時(shí)應(yīng)用的支持。
4.2 監(jiān)控大屏
在數(shù)據(jù)管理系統(tǒng)的基礎(chǔ)上,我們做了機(jī)電系統(tǒng)的監(jiān)控大屏,如圖6所示。在該示例中,數(shù)據(jù)來(lái)源于不同方式的應(yīng)用,其中左上圖中的電流、電壓數(shù)據(jù)來(lái)源于實(shí)時(shí)監(jiān)控傳感器,功率數(shù)據(jù)來(lái)源于實(shí)時(shí)計(jì)算;右上的電壓監(jiān)控圖像,來(lái)源于傳感器的實(shí)時(shí)監(jiān)控;左下的負(fù)載數(shù)據(jù),來(lái)源于通用數(shù)據(jù)庫(kù);右下的用電量分析數(shù)據(jù),來(lái)源于非關(guān)系型數(shù)據(jù)庫(kù)。屏中的數(shù)據(jù)均實(shí)現(xiàn)2s一次的刷新頻率。通過(guò)該示例,能夠有效地驗(yàn)證數(shù)據(jù)管理系統(tǒng)在數(shù)據(jù)處理和數(shù)據(jù)流向上,支持不同的數(shù)據(jù)應(yīng)用。
圖6 監(jiān)控大屏示例
本文首先分析船舶平臺(tái)的數(shù)據(jù)需求,設(shè)計(jì)一種數(shù)據(jù)管理模型,從數(shù)據(jù)關(guān)系、軟件架構(gòu)和系統(tǒng)部署三個(gè)方面進(jìn)行設(shè)計(jì),并在此基礎(chǔ)上開(kāi)發(fā)了軟件倉(cāng)庫(kù)和機(jī)電監(jiān)控兩個(gè)應(yīng)用。這兩個(gè)應(yīng)用能夠有效的驗(yàn)證所提數(shù)據(jù)管理系統(tǒng)的功能,實(shí)現(xiàn)多源數(shù)據(jù)的存儲(chǔ)、管理與展示功能。
[1]張偉.美國(guó)海軍全艦計(jì)算環(huán)境發(fā)展及關(guān)鍵技術(shù)[J].艦船科學(xué)技術(shù),2016,38(4):148-152.ZHANG Wei.Total Ship Computing Environment Development and Key Technologies[J].Ship Science and Technology,2016,38(4):148-152.
[2]董曉明.新一代水面艦艇作戰(zhàn)系統(tǒng)發(fā)展理念及途徑[J].中國(guó)艦船研究,2015,10(1):1-6.DONG Xiaoming.Development Concepts and Approaches of the Next Generation Combat System for Surface Combatant Ship[J].Chinese Journal of Ship Research,2015,10(1):1-6.
[3]董曉明,石朝明,黃坤,等.美海軍DDG-1000全艦計(jì)算環(huán)境體系結(jié)構(gòu)探析[J].中國(guó)艦船研究,2012,7(6):7-15.DONG Xiaoming,SHI Chaoming,HUANG Kun,et al.Analysis on the Architecture of USN DDG-1000 Total Ship Computing Environment[J].Chinese Journal of Ship Research,2012,7(6):7-15.
[4]裴曉黎.美海軍TSCE設(shè)計(jì)剖析及對(duì)我軍信息系統(tǒng)集成模式的啟示[J].計(jì)算機(jī)與數(shù)字工程,2015,43(9):1607-1614.PEI Xiaoli.Analysis of USA Navy TSCE Design and Enlightenment in Information System Integration Model[J].Computer& DigitalEngineering,2015,43 (9) :1607-1614.
[5]姜艷,楊心武,吳明,等.美海軍DDG-1000艦任務(wù)系統(tǒng)關(guān)鍵信息技術(shù)分析[J].艦船電子工程,2016,36(12):14-22.JIANG Yan,YANG Xinwu,WU Ming,et al.Key Information Technologies of US Navy Ship DDG-1000 Mission System[J].Ship Electronic Engineering,2016,36(12):14-22.
[6]黃坤,石朝明,董曉明,等.面向服務(wù)的艦艇作戰(zhàn)系統(tǒng)集成框架研究與原理驗(yàn)證[J].中國(guó)艦船研究,2013,8(5):1-5.HUANG Kun,SHI Chaoming,DONG Xiaoming,et al.A Service-Oriented Integration Architecture of Ship Combat Systems and Its Principle Verification[J].Chinese Journal of Ship Research,2013,8(5):1-5.
[7]徐勇.全艦計(jì)算環(huán)境及信息化總體概念方案研究[J].艦船電子工程,2016,36(11):12-20.XU Yong.Conceptual Scheme of Total Ship Computing Environment and Information System[J].Ship Electronic Engineering,2016,36(11):12-20.
[8]陸光宇,孔祥營(yíng),劉云飛,等.艦載信息化裝備安全可信計(jì)算環(huán)境構(gòu)建技術(shù)[J].指揮控制與仿真,2015,37(6):94-99.LU Guangyu,KONG Xiangying,LIU Yunfei,et al.Construction Technology of Trusted Computing Environment for Warship Information Equipment[J].Command Control&Simulation,2015,37(6):94-99.
[9]維克托·邁爾—舍恩伯格,肯尼思·庫(kù)克耶.大數(shù)據(jù)時(shí)代——生活、工作與思維的大變革[M].杭州:浙江人民出版社,2013.Viktor Mayer-Sch?nberger,Kenneth Cukier.Big Data a Revolution:That Will Transform How We Live,Work,and Think[M].Hangzhou:Zhejiang People's Publishing House,2013.
[10]何健偉.基于Hadoop的數(shù)據(jù)挖掘算法研究與實(shí)現(xiàn)[D].北京:北京郵電大學(xué),2014.HE Jiangwei.The Research and Implement of Data Mining Algorithms based on Hadoop[D].Beijing:Beijing University of Posts and Telecommunications,2014.11.
Design and Implementation of Data Management System for Devices of Ship Platform
MA Chen1LI Wei1XUE Song1HAN Shijie2CAO Ningsheng1
(1.China Ship Research and Development Academy,Beijing 100192)(2.Beijing Institute of Computer Technology and Application,Beijing 100854)
In this work,data management system(DMS)is analyzed by data processing,data base and data type of each field of the ship mechanical and electronic platform.And then,a new DMS for ship is designed and deployed with functions of multi-source and multi-type data restored and shown.
mechanical and electronic platform,data management system,big data,database
F926
10.3969/j.issn.1672-9722.2017.11.023
Class Number F926