陳春宇

（中國(guó)電子科技集團(tuán)公司電子科學(xué)研究院，北京100041）

1 多源異構(gòu)數(shù)據(jù)庫(kù)系統(tǒng)框架

電磁數(shù)據(jù)具備格式多、來(lái)源多、種類多、數(shù)量多等特點(diǎn)，從格式上來(lái)講包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；從來(lái)源上來(lái)講包括裝備采集數(shù)據(jù)、系統(tǒng)處理數(shù)據(jù)和人工分析數(shù)據(jù)；從種類上來(lái)講包括原始采集數(shù)據(jù)（全脈沖、中頻、無(wú)線頻譜）、分析結(jié)論數(shù)據(jù)（分選結(jié)論、信號(hào)樣式、目標(biāo)位置、識(shí)別結(jié)論、人工分析報(bào)告）、支援情報(bào)數(shù)據(jù)（?？涨椤⑿l(wèi)星情報(bào)、資料情報(bào)、偽基站傳播短信息內(nèi)容、黑廣播傳播內(nèi)容）、電子目標(biāo)數(shù)據(jù)（輻射源參數(shù)、平臺(tái)目標(biāo)及其活動(dòng)規(guī)律、電子標(biāo)簽、電磁目標(biāo)位置及軌跡）和作戰(zhàn)基礎(chǔ)數(shù)據(jù)（電子戰(zhàn)部隊(duì)、電子戰(zhàn)武器裝備、臺(tái)站庫(kù)）等。

由于電磁數(shù)據(jù)具備以上特點(diǎn)，如不進(jìn)行統(tǒng)一的預(yù)處理，將給后面的挖掘分析帶來(lái)很大的困難。多源異構(gòu)電磁海量數(shù)據(jù)采集及匯聚技術(shù)主要解決電磁數(shù)據(jù)的統(tǒng)一采集（包括實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)接入）、數(shù)據(jù)解析提取、數(shù)據(jù)去重去噪、數(shù)據(jù)格式轉(zhuǎn)換和數(shù)據(jù)持久化等問(wèn)題。

電磁數(shù)據(jù)統(tǒng)一采集和匯聚技術(shù)主要通過(guò)數(shù)據(jù)服務(wù)總線ES 消息發(fā)布訂閱機(jī)制實(shí)現(xiàn)。主要實(shí)現(xiàn)途徑如下：

（1）實(shí)時(shí)數(shù)據(jù)或非實(shí)時(shí)數(shù)據(jù)，統(tǒng)一發(fā)布至數(shù)據(jù)服務(wù)總線ESB，并通知各訂閱組件；

（2）系統(tǒng)訂閱到數(shù)據(jù)后根據(jù)類別調(diào)用相應(yīng)的數(shù)據(jù)解析服務(wù)進(jìn)行索引信息和特性信息的提?。?/p>

（3）根據(jù)數(shù)據(jù)索引信息和特征信息跟數(shù)據(jù)庫(kù)中數(shù)據(jù)進(jìn)行匹配計(jì)算，過(guò)濾掉重復(fù)數(shù)據(jù)；

（4）根據(jù)數(shù)據(jù)質(zhì)量準(zhǔn)則對(duì)數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估，過(guò)濾掉不符合質(zhì)量要求的數(shù)據(jù)；

（5）將數(shù)據(jù)格式統(tǒng)一轉(zhuǎn)換為Protobu 式，并調(diào)用存儲(chǔ)服務(wù)對(duì)數(shù)據(jù)進(jìn)行持久化。

對(duì)于不支持?jǐn)?shù)據(jù)總線采集和匯聚的老系統(tǒng)，采用數(shù)據(jù)庫(kù)上報(bào)和文件FT 傳方式來(lái)實(shí)現(xiàn)，以及通過(guò)智能網(wǎng)關(guān)進(jìn)行協(xié)議轉(zhuǎn)換實(shí)現(xiàn)老設(shè)備掛接到數(shù)據(jù)服務(wù)總線ES，突破了多源異構(gòu)海量電磁數(shù)據(jù)的統(tǒng)一采集、數(shù)據(jù)解析提取、數(shù)據(jù)去重去噪、數(shù)據(jù)格式轉(zhuǎn)換和數(shù)據(jù)持久化等問(wèn)題。

2 數(shù)據(jù)讀寫語(yǔ)言

（1）通過(guò)服務(wù)接口返回采集

系統(tǒng)建設(shè)符合《無(wú)線電監(jiān)測(cè)數(shù)據(jù)采集規(guī)范》和《無(wú)線電監(jiān)測(cè)數(shù)據(jù)傳輸規(guī)范》。根據(jù)《無(wú)線電監(jiān)測(cè)數(shù)據(jù)采集規(guī)范》和《無(wú)線電監(jiān)測(cè)數(shù)據(jù)傳輸規(guī)范》，監(jiān)測(cè)設(shè)備接到上層控制指令后，按指令要求進(jìn)行監(jiān)測(cè)采集，采集過(guò)程中或采集完成后，生成的結(jié)果通過(guò)如表1 的五種方式之一返回。

其中XML、stream 種方式結(jié)果返回到發(fā)起命令的監(jiān)測(cè)管理平臺(tái)，由監(jiān)測(cè)管理平臺(tái)處理后存入電磁大數(shù)據(jù)中心；URL、FTP、database 種方式結(jié)果直接存到電磁大數(shù)據(jù)中心。下層文件系統(tǒng)上傳大量詳細(xì)監(jiān)測(cè)的結(jié)果以文件的方式保存在文件系統(tǒng)中。下層文件系統(tǒng)通過(guò)FT 傳到上層電磁大數(shù)據(jù)中心。

表1

（2）通過(guò)下層數(shù)據(jù)庫(kù)上報(bào)

電磁大數(shù)據(jù)中心的數(shù)據(jù)主要來(lái)源于下層業(yè)務(wù)數(shù)據(jù)庫(kù)。地市級(jí)數(shù)據(jù)庫(kù)定期將數(shù)據(jù)同步到省數(shù)據(jù)中心或省數(shù)據(jù)分中心，省數(shù)據(jù)中心或省數(shù)據(jù)分中心將本級(jí)數(shù)據(jù)定期同步到電磁大數(shù)據(jù)中心。

例如：當(dāng)監(jiān)測(cè)站配備了AI 收機(jī)時(shí)，AI 收機(jī)接收到的數(shù)據(jù)經(jīng)過(guò)加工處理后，可能會(huì)直接存入到監(jiān)測(cè)數(shù)據(jù)庫(kù)中，再通過(guò)監(jiān)測(cè)數(shù)據(jù)庫(kù)將AI 測(cè)數(shù)據(jù)上報(bào)到上層電磁大數(shù)據(jù)中心。

（3）通過(guò)其他途徑導(dǎo)入

管理平臺(tái)通過(guò)數(shù)據(jù)導(dǎo)入、數(shù)據(jù)交換等方式，將天線系數(shù)、各類模板、國(guó)內(nèi)臺(tái)站、國(guó)內(nèi)頻率、國(guó)際臺(tái)站注冊(cè)信息、國(guó)際頻率協(xié)調(diào)信息等數(shù)據(jù)存入電磁大數(shù)據(jù)中心。

3 數(shù)據(jù)讀寫方法及接入技術(shù)

智能網(wǎng)關(guān)項(xiàng)目圍繞提升智能前端節(jié)點(diǎn)的數(shù)據(jù)感知能力、數(shù)據(jù)處理能力、前置響應(yīng)能力和協(xié)同感知能力的要求，通過(guò)開(kāi)展對(duì)感知數(shù)據(jù)采集、接入、處理和反饋的研究，提出基于分布式感知和處理的智能感知網(wǎng)關(guān)前端系統(tǒng)，突破感知數(shù)據(jù)歸一化、異構(gòu)數(shù)據(jù)融合、綜合目標(biāo)識(shí)別、邊緣計(jì)算、數(shù)據(jù)趨勢(shì)分析技術(shù)、前置目標(biāo)服務(wù)和節(jié)點(diǎn)組網(wǎng)等技術(shù)，構(gòu)建基于感知即服務(wù)的智能網(wǎng)關(guān)前端節(jié)點(diǎn)系統(tǒng)，形成快速構(gòu)建各種感知系統(tǒng)能力，達(dá)到國(guó)內(nèi)領(lǐng)先水平，為基于“感知即服務(wù)”的分布式智能網(wǎng)關(guān)前端系統(tǒng)的智能化和大數(shù)據(jù)應(yīng)用打下堅(jiān)實(shí)的基礎(chǔ)。

智能網(wǎng)關(guān)是分布式系統(tǒng)的前端關(guān)鍵設(shè)備，通過(guò)協(xié)同感知、邊緣計(jì)算和前置反饋等技術(shù)改變了原有感知系統(tǒng)前端采集、后端處理和反饋的機(jī)制，采用數(shù)據(jù)處理前移、分布式數(shù)據(jù)處理、節(jié)點(diǎn)協(xié)同感知和網(wǎng)格化部署等，使得感知設(shè)備具備大規(guī)模組網(wǎng)、前置快速響應(yīng)、前置智能信息分析和感知節(jié)點(diǎn)自組網(wǎng)協(xié)同的能力，為后端大數(shù)據(jù)平臺(tái)提供統(tǒng)一數(shù)據(jù)和服務(wù)響應(yīng)支持。當(dāng)前系統(tǒng)實(shí)現(xiàn)以藍(lán)海島礁觀測(cè)系統(tǒng)、智能感知接人網(wǎng)關(guān)等為代表的分布式智能前端系統(tǒng)，極大提高感知數(shù)據(jù)采集、應(yīng)急反應(yīng)和多節(jié)點(diǎn)協(xié)同等能力，最終實(shí)現(xiàn)智能計(jì)算和大數(shù)據(jù)的前端延伸。

主要功能如下：

（1）感知數(shù)據(jù)格式歸一化功能：智能網(wǎng)關(guān)支持多種感知設(shè)備的接入和數(shù)據(jù)接收，實(shí)現(xiàn)統(tǒng)一的硬件接口轉(zhuǎn)換、設(shè)備即插即用和支持多種感知設(shè)備的接入，并把各種不同的感知設(shè)備類型的數(shù)據(jù)進(jìn)行歸類處理，形成統(tǒng)一的數(shù)據(jù)格式。

（2）數(shù)據(jù)分布式處理功能；建立數(shù)據(jù)節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)分布式處理的能力，實(shí)現(xiàn)前端數(shù)據(jù)清洗、處理和融合，并支持節(jié)點(diǎn)處理二次開(kāi)發(fā)和遠(yuǎn)程掛載能力。

（3）感知數(shù)據(jù)服務(wù)提供功能；網(wǎng)關(guān)節(jié)點(diǎn)提供統(tǒng)一的感知數(shù)據(jù)和數(shù)據(jù)服務(wù)總線，實(shí)現(xiàn)感知數(shù)據(jù)統(tǒng)一服務(wù)能力。

（4）系統(tǒng)擴(kuò)展及自組網(wǎng)功能；構(gòu)建的系統(tǒng)具有較強(qiáng)的擴(kuò)展能力，新的節(jié)點(diǎn)的加入后可在不同節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)和自尋路由，不需要進(jìn)行開(kāi)發(fā)。

電磁大數(shù)據(jù)智能網(wǎng)關(guān)符合《無(wú)線電監(jiān)測(cè)數(shù)據(jù)采集規(guī)范》和《無(wú)線電監(jiān)測(cè)數(shù)據(jù)傳輸規(guī)范》標(biāo)準(zhǔn)，實(shí)現(xiàn)了通過(guò)RMT 協(xié)議和監(jiān)測(cè)服務(wù)接口規(guī)范等手段，接入、整合不同廠商的監(jiān)測(cè)設(shè)備、環(huán)境監(jiān)測(cè)設(shè)備以及視頻監(jiān)控設(shè)備，并以標(biāo)準(zhǔn)原子化服務(wù)（符合《超短波監(jiān)測(cè)業(yè)務(wù)一體化平臺(tái)服務(wù)規(guī)范》）向外部提供統(tǒng)一的對(duì)異構(gòu)監(jiān)測(cè)設(shè)備的訪問(wèn)控制，從而完成不同的廠商監(jiān)測(cè)設(shè)備的整合，實(shí)現(xiàn)異構(gòu)監(jiān)測(cè)網(wǎng)絡(luò)的連接和互操作，為上級(jí)系統(tǒng)提供統(tǒng)一的設(shè)備控制、數(shù)據(jù)管理和智能分析的原子化服務(wù)。電磁智能網(wǎng)關(guān)支持實(shí)時(shí)工作模式、自主工作模式。具有監(jiān)測(cè)環(huán)境數(shù)據(jù)的整合和協(xié)調(diào)功能，能協(xié)調(diào)同時(shí)對(duì)環(huán)境監(jiān)測(cè)設(shè)備的多個(gè)控制請(qǐng)求指令，保障對(duì)設(shè)備的正確控制和設(shè)備狀態(tài)的正確反映，能采集監(jiān)測(cè)設(shè)備的網(wǎng)絡(luò)流量、剩余磁盤容量、剩余內(nèi)存容量、CPU 使用率等額外的資源消耗數(shù)據(jù)。

電磁大數(shù)據(jù)智能網(wǎng)關(guān)具有多種工作模式，可實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)和自動(dòng)采集和智能化分析，在采集監(jiān)測(cè)數(shù)據(jù)時(shí)，自動(dòng)識(shí)別頻譜變化，并檢測(cè)出引起頻譜變化的信號(hào)，識(shí)別信號(hào)的調(diào)制，測(cè)量信號(hào)的IT 數(shù)，解調(diào)解碼信號(hào)內(nèi)容，記錄信號(hào)頻譜等特征。智能監(jiān)測(cè)網(wǎng)關(guān)可對(duì)下屬設(shè)備訪問(wèn)的優(yōu)先級(jí)仲裁，協(xié)調(diào)多個(gè)用戶或任務(wù)對(duì)同一監(jiān)測(cè)設(shè)備或環(huán)境監(jiān)控設(shè)備的訪問(wèn)控制，避免對(duì)設(shè)備的控制沖突的發(fā)生。

電磁大數(shù)據(jù)智能網(wǎng)關(guān)支持智能網(wǎng)絡(luò)切換，自動(dòng)按照有線網(wǎng)絡(luò)、無(wú)線3G/4G 移動(dòng)通信、衛(wèi)星通信網(wǎng)絡(luò)優(yōu)先級(jí)順序接入。支持?jǐn)?shù)據(jù)傳輸過(guò)程中的數(shù)據(jù)重傳與斷點(diǎn)續(xù)傳（在網(wǎng)絡(luò)條件較差時(shí)），確保各類數(shù)據(jù)在傳輸過(guò)程中的數(shù)據(jù)完整性。

電磁大數(shù)據(jù)智能網(wǎng)關(guān)對(duì)下支持各種標(biāo)準(zhǔn)監(jiān)測(cè)協(xié)議接入，包括RMTP、原子服務(wù)、LG；同時(shí)并可對(duì)不同廠商的監(jiān)測(cè)協(xié)議進(jìn)行適配，從而實(shí)現(xiàn)了異構(gòu)監(jiān)測(cè)設(shè)備的統(tǒng)一接入。智能網(wǎng)關(guān)對(duì)于上級(jí)系統(tǒng)同樣提供了RMTP、原子服務(wù)、LG 標(biāo)準(zhǔn)協(xié)議的控制訪問(wèn)入口，其中通過(guò)RMT 協(xié)議或原子服務(wù)協(xié)議可實(shí)現(xiàn)與無(wú)委現(xiàn)已建監(jiān)測(cè)系統(tǒng)進(jìn)行無(wú)縫對(duì)接，同時(shí)通過(guò)LG 準(zhǔn)協(xié)議可向軍隊(duì)頻管系統(tǒng)提供訪問(wèn)接口。

4 結(jié)語(yǔ)

異地多源數(shù)據(jù)副本讀寫同步技術(shù)同時(shí)實(shí)現(xiàn)了對(duì)不同監(jiān)測(cè)設(shè)備上報(bào)的異構(gòu)監(jiān)測(cè)數(shù)據(jù)進(jìn)行整合，其所存儲(chǔ)和上報(bào)的數(shù)據(jù)格式遵循國(guó)家無(wú)線電管理“四庫(kù)一化”相關(guān)標(biāo)準(zhǔn)。智能網(wǎng)關(guān)同時(shí)提供實(shí)時(shí)數(shù)據(jù)流上報(bào)、服務(wù)調(diào)用返回（XML）、FTP、數(shù)據(jù)庫(kù)同步等接口方式，實(shí)現(xiàn)與上級(jí)系統(tǒng)的對(duì)接，可實(shí)現(xiàn)與無(wú)委現(xiàn)已建監(jiān)測(cè)系統(tǒng)、軍隊(duì)頻管系統(tǒng)等之間的數(shù)據(jù)共享，下一步項(xiàng)目組將結(jié)合已有成果，從兩個(gè)層面開(kāi)展工作。

一是結(jié)合中國(guó)電科云數(shù)據(jù)中心全國(guó)布局，啟動(dòng)自主可控國(guó)家公共云節(jié)點(diǎn)試點(diǎn)建設(shè)，開(kāi)展數(shù)據(jù)中心準(zhǔn)入指標(biāo)體系、評(píng)測(cè)方法研究，突破國(guó)家公共云資源調(diào)度、跨領(lǐng)域數(shù)據(jù)資源共享調(diào)度等關(guān)鍵技術(shù)，構(gòu)建國(guó)家公共云數(shù)據(jù)資源調(diào)度體系，實(shí)現(xiàn)不同行業(yè)、不同業(yè)務(wù)領(lǐng)域和不同組織機(jī)構(gòu)的數(shù)據(jù)中心之間的資源調(diào)度能力示范驗(yàn)證。

二是結(jié)合技術(shù)研究的逐步深入，反向完善頂層架構(gòu)設(shè)計(jì)、標(biāo)準(zhǔn)體系制修訂。