郭海波,宋 達(dá),高翔宇,胡家銘,朱 進(jìn)
(中國(guó)艦船研究院,北京 100101)
物聯(lián)網(wǎng)、大數(shù)據(jù)、數(shù)據(jù)挖掘是近幾年受到各行各業(yè)普遍關(guān)注的新概念。物聯(lián)網(wǎng)的目標(biāo)就是將所有的設(shè)備進(jìn)行連接,實(shí)現(xiàn)設(shè)備之間的通信與數(shù)據(jù)交換。物聯(lián)網(wǎng)概念與相關(guān)技術(shù)層出不窮,目前應(yīng)用較為廣泛的物聯(lián)網(wǎng)平臺(tái)有EdgeX Foundry,NB-loT[1],LoRa等,物聯(lián)網(wǎng)的整體感知、可靠傳輸和智能處理可實(shí)現(xiàn)艦艇物與物、物與人的泛在連接。物聯(lián)網(wǎng)中需要進(jìn)行大量的數(shù)據(jù)交換與數(shù)據(jù)處理工作,艦艇大數(shù)據(jù)具有4V特征[2],Volume(數(shù)據(jù)量大)、Velocity(速度快)、Variety(多樣化)、Value(價(jià)值密度低),艦艇物聯(lián)網(wǎng)中的大數(shù)據(jù),不僅精確涵蓋所有數(shù)據(jù),更加關(guān)注數(shù)據(jù)間的因果關(guān)系和相關(guān)關(guān)系,依托艦艇大數(shù)據(jù)平臺(tái)可對(duì)海量艦艇數(shù)據(jù)進(jìn)行分布式存儲(chǔ)并為進(jìn)一步的數(shù)據(jù)挖掘提供強(qiáng)大算力。數(shù)據(jù)挖掘是統(tǒng)計(jì)學(xué)的延伸,指通過(guò)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等算法在海量數(shù)據(jù)中迭代學(xué)習(xí),搜索其中隱藏信息的過(guò)程,經(jīng)過(guò)迭代學(xué)習(xí)的數(shù)學(xué)模型可在后續(xù)的生產(chǎn)中起到輔助決策的作用。物聯(lián)網(wǎng)、大數(shù)據(jù)、數(shù)據(jù)挖掘三者關(guān)系如圖1所示,設(shè)備產(chǎn)生的數(shù)據(jù)通過(guò)物聯(lián)網(wǎng)平臺(tái)進(jìn)行采集,大數(shù)據(jù)平臺(tái)為物聯(lián)網(wǎng)平臺(tái)提供海量數(shù)據(jù)的存儲(chǔ)服務(wù),為數(shù)據(jù)挖掘分析平臺(tái)提供算力支撐,數(shù)據(jù)挖掘平臺(tái)通過(guò)分析處理物聯(lián)網(wǎng)采集的海量數(shù)據(jù)得出有價(jià)值信息并反饋給物聯(lián)網(wǎng)平臺(tái),進(jìn)行設(shè)備的有效控制。
圖1 物聯(lián)網(wǎng)、大數(shù)據(jù)、數(shù)據(jù)挖掘的關(guān)系Fig. 1 The relationship between the IOT, big data, and data mining
國(guó)內(nèi)外在物聯(lián)網(wǎng)、大數(shù)據(jù)與智能計(jì)算方面已經(jīng)進(jìn)行了廣泛的研究。物聯(lián)網(wǎng)方面,趙梓銘等[3]闡述了邊緣計(jì)算的定義,明確了未來(lái)邊緣計(jì)算的發(fā)展方向,并在物聯(lián)網(wǎng)與移動(dòng)應(yīng)用方面列舉了實(shí)例,展現(xiàn)出了邊緣計(jì)算在這些方向上的巨大優(yōu)勢(shì)。溫華斌[4]基于對(duì)不同邊緣計(jì)算平臺(tái)的研究,綜合各平臺(tái)優(yōu)勢(shì)提出了改進(jìn)的邊緣計(jì)算架構(gòu),增強(qiáng)了平臺(tái)的適應(yīng)能力。大數(shù)據(jù)處理平臺(tái)方面,潘衛(wèi)軍等[5]對(duì)空管大數(shù)據(jù)處理平臺(tái)架構(gòu)進(jìn)行研究,規(guī)劃了大數(shù)據(jù)處理平臺(tái)的層次架構(gòu),對(duì)空管大數(shù)據(jù)處理平臺(tái)架構(gòu)進(jìn)行了應(yīng)用分析,驗(yàn)證了平臺(tái)架構(gòu)的可行性,為智慧空管的建設(shè)提供了平臺(tái)技術(shù)支持。戚紅雨[6]介紹了主流的分布式流處理平臺(tái),對(duì)流處理平臺(tái)的特點(diǎn)與優(yōu)勢(shì)進(jìn)行了總結(jié)分析,并給出了詳細(xì)的對(duì)比分析。在數(shù)據(jù)挖掘平臺(tái)方面,郭喬進(jìn)等[7]對(duì)目前市場(chǎng)上常見(jiàn)的深度學(xué)習(xí)計(jì)算平臺(tái)進(jìn)行了綜述,并對(duì)相關(guān)平臺(tái)的應(yīng)用案例進(jìn)行了簡(jiǎn)單介紹。
本文在分析主流大數(shù)據(jù)平臺(tái)與數(shù)據(jù)挖掘平臺(tái)優(yōu)缺點(diǎn)的基礎(chǔ)上,結(jié)合艦艇信息化現(xiàn)狀與國(guó)內(nèi)外大數(shù)據(jù)與數(shù)據(jù)挖掘技術(shù)發(fā)展現(xiàn)狀,對(duì)艦艇大數(shù)據(jù)處理平臺(tái)架構(gòu)進(jìn)行研究,規(guī)劃了艦艇大數(shù)據(jù)平臺(tái)的層次架構(gòu),提出了基于EdgeX的艦艇大數(shù)據(jù)處理平臺(tái)。本文提出的艦艇大數(shù)據(jù)處理平臺(tái)可以實(shí)時(shí)采集艦艇設(shè)備與傳感器數(shù)據(jù),針對(duì)不同的數(shù)據(jù)挖掘計(jì)算場(chǎng)景可以提供不同的計(jì)算處理引擎。最后通過(guò)模擬實(shí)驗(yàn)驗(yàn)證了艦艇大數(shù)據(jù)處理平臺(tái)架構(gòu)的可行性,為智能艦艇的發(fā)展提供平臺(tái)技術(shù)支撐。
艦艇設(shè)備硬件架構(gòu)種類繁多,操作系統(tǒng)多樣,設(shè)備管理較為分散,數(shù)據(jù)的采集難度較大,數(shù)據(jù)的內(nèi)在價(jià)值較高。為了對(duì)艦艇平臺(tái)的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、挖掘、運(yùn)用需要一套支持多種硬件架構(gòu)、兼容多種操作系統(tǒng)、支持不同通信協(xié)議的物聯(lián)網(wǎng)數(shù)據(jù)采集與控制平臺(tái)。
EdgeX Foundry[8]是由Linux基金會(huì)主持的開(kāi)源項(xiàng)目,EdgeX Foundry可以適用于多種操作系統(tǒng),對(duì)硬件架構(gòu)的支持性較好,可以同時(shí)滿足不同協(xié)議設(shè)備間的通信需求。EdgeX Foundry提出了物聯(lián)網(wǎng)南向和北向的概念,北向指能夠提供功能的基礎(chǔ)和軟件,具體為IT基礎(chǔ)設(shè)施以及應(yīng)用軟件。南向代表了數(shù)據(jù)的來(lái)源,具體為設(shè)備的傳感器、執(zhí)行器。EdgeX Foundry的微服務(wù)架構(gòu)可以分為4個(gè)服務(wù)層和2個(gè)基礎(chǔ)系統(tǒng)服務(wù),其中服務(wù)層由核心服務(wù)層、支持服務(wù)層、導(dǎo)出服務(wù)層及設(shè)備服務(wù)層;其系統(tǒng)服務(wù)由安全服務(wù)和管理服務(wù)構(gòu)成。EdgeX Foundry的架構(gòu)大幅提高了工作效率,其可剪裁特性使其能夠在性能較低的設(shè)備上流暢運(yùn)行。
離線處理是指海量數(shù)據(jù)的離線挖掘,可用在艦艇的顯控操作記錄、日志安全審計(jì)、航路軌跡分析、故障定位預(yù)測(cè)、能源消耗預(yù)測(cè)、離線模型訓(xùn)練等方面。離線處理主要挖掘歷史數(shù)據(jù),對(duì)計(jì)算平臺(tái)的運(yùn)算能力與存儲(chǔ)能力具有較高的要求,對(duì)計(jì)算的實(shí)時(shí)性要求較低。
表1 Hadoop和spark對(duì)比Tab. 1 Comparison of Hadoop and spark
Spark[9]在海量數(shù)據(jù)的分析方面具有極大優(yōu)勢(shì),其基于內(nèi)存的處理方式與基于MapReduce[10]設(shè)計(jì)的大數(shù)據(jù)分析平臺(tái)hadoop[11]相比,可通過(guò)減少磁盤交互操作降低延遲提高處理速度,并利用彈性分布式數(shù)據(jù)集(Resiliennt Distributed Datasets,RDD)算子實(shí)現(xiàn)更多復(fù)雜算法,為大數(shù)據(jù)分析挖掘提供強(qiáng)大算力支持,同時(shí)其機(jī)器學(xué)習(xí)算法庫(kù)使其優(yōu)勢(shì)更加明顯。
實(shí)時(shí)處理指海量數(shù)據(jù)的在線處理,主要用在目標(biāo)快速識(shí)別、航線實(shí)時(shí)規(guī)劃、自動(dòng)行動(dòng)控制、異常操作告警、資源占用量實(shí)時(shí)預(yù)測(cè)等方面。實(shí)時(shí)計(jì)算主要分析系統(tǒng)實(shí)時(shí)產(chǎn)生的數(shù)據(jù),具有數(shù)據(jù)規(guī)模較小,但對(duì)數(shù)據(jù)的處理速度有較高的要求。
Spark Streaming具有高吞吐量、高性能、高容錯(cuò)率的特點(diǎn),可以實(shí)現(xiàn)實(shí)時(shí)流數(shù)據(jù)處理,其內(nèi)部可以通過(guò)接收kafka,flume等組件的實(shí)時(shí)數(shù)據(jù)流,并根據(jù)時(shí)間間隔將數(shù)據(jù)量處理成不同的匹數(shù)據(jù),然后通過(guò)Spark Streaming的API進(jìn)行數(shù)據(jù)的批處理,得出實(shí)時(shí)流數(shù)據(jù)的處理結(jié)果。Spark Streaming可以與spark的其他組件結(jié)合使用,大大增強(qiáng)其數(shù)據(jù)分析能力。例如與MLlib結(jié)合使用機(jī)器學(xué)習(xí)算法對(duì)流數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,利用Spark SQL可以使用類似SQL的程序語(yǔ)言進(jìn)行流數(shù)據(jù)分析。
Flink是一個(gè)面向流處理和批處理的分布式計(jì)算框架,F(xiàn)link在實(shí)現(xiàn)流處理和批處理時(shí)與已有解決方法存在差異,F(xiàn)link在實(shí)現(xiàn)流處理和批處理時(shí),與傳統(tǒng)的一些方案完全不同,F(xiàn)link將流處理和批處理二者統(tǒng)一起來(lái)。Flink是完全支持流處理,也就是說(shuō)作為流處理看待時(shí)輸入數(shù)據(jù)流是無(wú)界的,批處理被作為一種特殊的流處理,只是它的輸入數(shù)據(jù)流被定義為有界的。Flink與所有常見(jiàn)的集群資源管理器(如Hadoop YARN,Apache Mesos和Kubernetes)集成,也可以設(shè)置為獨(dú)立集群運(yùn)行。
深度學(xué)習(xí)平臺(tái)主要用于海量數(shù)據(jù)的分析處理,通過(guò)對(duì)待分析的問(wèn)題進(jìn)行建模分析,利用深度學(xué)習(xí)算法進(jìn)行模型實(shí)現(xiàn),利用歷史數(shù)據(jù)進(jìn)行模型訓(xùn)練與參數(shù)調(diào)優(yōu),在海量數(shù)據(jù)中探索數(shù)據(jù)的內(nèi)在關(guān)系,挖掘數(shù)據(jù)包含的價(jià)值。目前常用的深度學(xué)習(xí)框架主要包括Tensor-Flow,PyTorch等。TensorFlow使用較為靈活,用戶可以根據(jù)自己需求建立深度學(xué)習(xí)模型,或者直接調(diào)用框架已有的模型進(jìn)行訓(xùn)練,解決自己的問(wèn)題。新版本的TensorFlow與keras進(jìn)行結(jié)合,使用keras可以事半功倍,大幅提高模型的開(kāi)發(fā)效率。PyTorch以其在圖像處理領(lǐng)域的深耕和易用性而著稱,PyTorch具有易上手的特點(diǎn),受到許多數(shù)據(jù)分析工作人員的青睞。2個(gè)框架都支持GPU加速,使用GPU可以加快模型的訓(xùn)練速度。
基于EdgeX的艦艇大數(shù)據(jù)處理平臺(tái)架構(gòu)設(shè)計(jì)主要包括運(yùn)行支撐環(huán)境、數(shù)據(jù)源、數(shù)據(jù)采集平臺(tái)、數(shù)據(jù)交換層、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理層、數(shù)據(jù)應(yīng)用層等。
圖2 基于EdgeX的艦艇大數(shù)據(jù)處理平臺(tái)架構(gòu)Fig. 2 The architecture diagram of EdgeX Foundry
艦艇大數(shù)據(jù)處理平臺(tái)以艦艇私有云環(huán)境為基礎(chǔ),艦艇私有云環(huán)境采用基于KVM的虛擬化技術(shù)完成對(duì)硬件資源的虛擬化管理,用戶可通過(guò)統(tǒng)一接口實(shí)現(xiàn)對(duì)虛擬資源的集中調(diào)配,艦艇私有云平臺(tái)提高了硬件資源利用率,保證了系統(tǒng)的安全可靠運(yùn)行。
數(shù)據(jù)采集平臺(tái)主要負(fù)責(zé)艦載設(shè)備的數(shù)據(jù)采集,數(shù)據(jù)采集平臺(tái)支持多種硬件架構(gòu)、兼容多種操作系統(tǒng)、支持不同通信協(xié)議的物聯(lián)網(wǎng)數(shù)據(jù)采集與控制系統(tǒng)。通過(guò)數(shù)據(jù)采集系統(tǒng)可以將來(lái)自聲吶、雷達(dá)、傳感器等艦載設(shè)備的實(shí)時(shí)數(shù)據(jù)進(jìn)行采集、傳輸和存儲(chǔ),通過(guò)數(shù)據(jù)采集平臺(tái)也可以進(jìn)行艦載設(shè)備的控制。數(shù)據(jù)采集平臺(tái)通過(guò)艦艇私有云的容器云平臺(tái)進(jìn)行部署,容器云平臺(tái)可以保障數(shù)據(jù)采集平臺(tái)的高可用性,采集平臺(tái)的高可用從源頭處對(duì)數(shù)據(jù)的完整性進(jìn)行了保障。
數(shù)據(jù)采集層使用微服務(wù)風(fēng)格的EdgeX架構(gòu),EdgeX使用RAML這一RESTful API建模語(yǔ)言定義了核心服務(wù)、設(shè)備服務(wù)、支持服務(wù)、導(dǎo)出服務(wù)、安全服務(wù)、系統(tǒng)管理服務(wù)6個(gè)API接口。EdgeX的總體數(shù)據(jù)流如下:設(shè)備服務(wù)首先從設(shè)備采集實(shí)時(shí)數(shù)據(jù),然后將設(shè)備實(shí)時(shí)數(shù)據(jù)發(fā)送給核心服務(wù),并進(jìn)行本地持久化存儲(chǔ),核心服務(wù)會(huì)將實(shí)時(shí)數(shù)據(jù)發(fā)送給導(dǎo)出服務(wù),導(dǎo)出服務(wù)可以將數(shù)據(jù)發(fā)送到云端服務(wù)器或者艦艇信息系統(tǒng)。
圖3 EdgeX服務(wù)組成結(jié)構(gòu)Fig. 3 EdgeX service composition structure
數(shù)據(jù)交換層主要提供3個(gè)核心的功能,解耦、異步、削峰。通過(guò)消息隊(duì)列,平臺(tái)不同功能模塊之間實(shí)現(xiàn)了松耦合,數(shù)據(jù)采集平臺(tái)只需將數(shù)據(jù)發(fā)送到消息隊(duì)列即可,不需要關(guān)注其他功能模塊的實(shí)時(shí)狀態(tài),也不需要關(guān)注數(shù)據(jù)的實(shí)際用戶。通過(guò)消息隊(duì)列不同模塊之間可以進(jìn)行異步處理,提高了系統(tǒng)的整體響應(yīng)速度,提升了平臺(tái)的效能。消息隊(duì)列可以起到緩存的作用,如果數(shù)據(jù)采集的峰值較大,如果直接進(jìn)行處理會(huì)導(dǎo)致處理模塊壓力較大,通過(guò)消息隊(duì)列對(duì)數(shù)據(jù)進(jìn)行緩存可以有效降低相關(guān)模塊的處理壓力,提升系統(tǒng)整體的可靠性。
數(shù)據(jù)交換層采用Kafka[12]消息隊(duì)列,Kafka主要包括生產(chǎn)者、消費(fèi)者、連接器、流處理4種核心API,其中生產(chǎn)者是指應(yīng)用程序發(fā)布時(shí)間流到Kafka的一個(gè)或多個(gè)主題,消費(fèi)者是指應(yīng)用程序訂閱Kafka的一個(gè)或多個(gè)主題并處理數(shù)據(jù)流,連接器將Kafka主題和已有數(shù)據(jù)源進(jìn)行連接,數(shù)據(jù)可以互相導(dǎo)入和導(dǎo)出,流處理從Kafka主題消費(fèi)輸入流,經(jīng)過(guò)處理后產(chǎn)生輸出流到指定主題。Kafka對(duì)硬件資源消耗相對(duì)較少,支持多個(gè)生產(chǎn)者和消費(fèi)者,利用副本集機(jī)制實(shí)現(xiàn)數(shù)據(jù)冗余,最大程度保證數(shù)據(jù)不丟失,通過(guò)分批發(fā)送壓縮的方式,減少網(wǎng)絡(luò)的數(shù)據(jù)傳輸開(kāi)銷,提升數(shù)據(jù)吞吐量,并且可以保證在大數(shù)據(jù)量的情況下亞秒級(jí)消息延遲。可以很好地實(shí)現(xiàn)解耦、異步、削峰功能,提升艦艇數(shù)據(jù)處理平臺(tái)的可靠性。
數(shù)據(jù)存儲(chǔ)索結(jié)合了Elasticsearch與Hadoop的特點(diǎn),Hadoop通過(guò)分布式文件存儲(chǔ)可以保證海量數(shù)據(jù)文件的安全可靠存儲(chǔ),Elasticsearch在實(shí)時(shí)搜索、數(shù)據(jù)交互方面具有明顯優(yōu)勢(shì),并且支持與多種數(shù)據(jù)可視化工具結(jié)合進(jìn)行數(shù)據(jù)的可視化展示,通過(guò)ES-Hadoop插件可以實(shí)現(xiàn)強(qiáng)強(qiáng)聯(lián)合,完成數(shù)據(jù)在Elasticsearch和Hadoop之間輕松的雙向移動(dòng)。EdgeX獲取到的源數(shù)據(jù)經(jīng)預(yù)處理后通過(guò)Kafka首先存入HDFS實(shí)現(xiàn)長(zhǎng)期存檔,然后與Elasticsearch結(jié)合實(shí)現(xiàn)對(duì)數(shù)據(jù)的實(shí)時(shí)訪問(wèn)與檢索。
數(shù)據(jù)處理由離線批量計(jì)算與實(shí)時(shí)數(shù)據(jù)流計(jì)算兩部分構(gòu)成,離線批量計(jì)算主要采用Hadoop的MapReduce加hive的方式。Hadoop上的并行應(yīng)用程序開(kāi)發(fā)是基于MapReduce編程框架。通過(guò)將復(fù)雜的、運(yùn)行于大規(guī)模集群上的并行計(jì)算過(guò)程抽象為Map和Reduce兩個(gè)函數(shù)來(lái)實(shí)現(xiàn)基本的并行計(jì)算任務(wù),自動(dòng)劃分處理數(shù)據(jù)和計(jì)算任務(wù),最大程度地減少并行計(jì)算通信開(kāi)銷,并對(duì)外提供并行編程接口來(lái)完成自定義數(shù)據(jù)處理。實(shí)時(shí)數(shù)據(jù)流計(jì)算主要采用Spark Streaming進(jìn)行處理,將數(shù)據(jù)交換層傳輸?shù)膶?shí)時(shí)數(shù)據(jù)流以秒級(jí)的時(shí)間片劃分成塊,再把每塊數(shù)據(jù)作為一個(gè)單獨(dú)的RDD,利用RDD對(duì)分塊的數(shù)據(jù)實(shí)現(xiàn)操作處理。另外,Spark Streaming可以和MLlib實(shí)現(xiàn)很好的融合以完成進(jìn)一步的機(jī)器學(xué)習(xí)計(jì)算任務(wù)。
圖4 Kafka 4中核心API Fig. 4 Core API in Kafka 4
應(yīng)用層主要依賴數(shù)據(jù)處理層所提供的算力以及源數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的挖掘分析,針對(duì)應(yīng)用需求所抽象成的智能學(xué)習(xí)任務(wù),對(duì)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)算法模型進(jìn)行分布式迭代訓(xùn)練,并對(duì)初步訓(xùn)練獲得的算法模型進(jìn)行效果評(píng)估。將性能較好的模型應(yīng)用在目標(biāo)識(shí)別與定位、態(tài)勢(shì)感知與分析、故障告警與預(yù)測(cè)等艦艇使用場(chǎng)景中,生成靜態(tài)報(bào)表及動(dòng)態(tài)規(guī)劃、預(yù)測(cè)、報(bào)警等信息,為艦艇運(yùn)行過(guò)程中的相關(guān)決策提供支持,提升艦艇指控、作戰(zhàn)智能化水平。
采用x86架構(gòu)pc機(jī),在基于KVM的私有云上搭建了大數(shù)據(jù)處理平臺(tái)。
仿真系統(tǒng)數(shù)據(jù)流圖如圖5所示。在EdgeX上通過(guò)仿真模擬程序產(chǎn)生船艙機(jī)房中單個(gè)機(jī)柜的溫度、濕度、CPU使用率和內(nèi)存使用率數(shù)據(jù),Kafka通過(guò)EdgeX數(shù)據(jù)讀取端口獲取JSON格式的模擬數(shù)據(jù),溫度、濕度等較穩(wěn)定的數(shù)據(jù)在hdfs上進(jìn)行存儲(chǔ)并實(shí)現(xiàn)離線數(shù)據(jù)計(jì)算分析其變化趨勢(shì),CPU使用率及內(nèi)存使用率等實(shí)時(shí)數(shù)據(jù)通過(guò)Spark Steaming進(jìn)行實(shí)時(shí)流處理,在前端頁(yè)面實(shí)現(xiàn)數(shù)據(jù)可視化監(jiān)控展示,并使用PyTorch平臺(tái)進(jìn)行進(jìn)一步挖掘,分析資源使用率、建立應(yīng)用健康度模型。
圖5 實(shí)際仿真系統(tǒng)中數(shù)據(jù)流圖Fig. 5 The diagram of data flow in the actual simulation system
如圖6所示,可以在前端頁(yè)面查看艦艇機(jī)柜資源的使用情況以及健康度情況,通過(guò)EdgeX仿真程序生成的艦艇坐標(biāo)仿真數(shù)據(jù)可以與cesium前端頁(yè)面進(jìn)行交互,查看實(shí)時(shí)的艦艇位置。
圖6 前端展示界面Fig. 6 Front-end display interface
本文在分析主流大數(shù)據(jù)平臺(tái)與數(shù)據(jù)挖掘平臺(tái)優(yōu)缺點(diǎn)的基礎(chǔ)上,結(jié)合艦艇信息化現(xiàn)狀與國(guó)內(nèi)外大數(shù)據(jù)與數(shù)據(jù)挖掘技術(shù)發(fā)展現(xiàn)狀,對(duì)艦艇大數(shù)據(jù)處理平臺(tái)架構(gòu)進(jìn)行研究,規(guī)劃了艦艇大數(shù)據(jù)平臺(tái)的層次架構(gòu),提出了基于EdgeX的艦艇大數(shù)據(jù)處理平臺(tái)。本文所提出的艦艇大數(shù)據(jù)處理平臺(tái)可以實(shí)時(shí)采集艦艇設(shè)備與傳感器數(shù)據(jù),針對(duì)不同的數(shù)據(jù)挖掘計(jì)算場(chǎng)景和計(jì)算任務(wù)可以提供不同的計(jì)算處理引擎。通過(guò)模擬實(shí)驗(yàn)驗(yàn)證了艦艇大數(shù)據(jù)處理平臺(tái)架構(gòu)的可行性,為智能艦艇的發(fā)展提供了平臺(tái)技術(shù)支撐。