史殿坤

?

無線電監(jiān)測大數(shù)據(jù)處理方法研究

史殿坤

深圳市無線電監(jiān)測管理站，廣東 深圳 518000

無線電監(jiān)測數(shù)據(jù)是進(jìn)行無線電管理的核心數(shù)據(jù)，對無線電監(jiān)測數(shù)據(jù)科學(xué)合理的分析處理有助于強(qiáng)化無線電管理水平。無線電監(jiān)測網(wǎng)無時(shí)無刻不在采集無線電信號(hào)，監(jiān)測數(shù)據(jù)量十分龐大，用大數(shù)據(jù)分析和挖掘方法對無線電監(jiān)測數(shù)據(jù)進(jìn)行處理是一個(gè)行之有效的途徑。結(jié)合無線電監(jiān)測數(shù)據(jù)自身特點(diǎn)，著力進(jìn)行了無線電監(jiān)測大數(shù)據(jù)處理方法的研究。其中，網(wǎng)格化數(shù)據(jù)庫建設(shè)是基礎(chǔ)，保證存儲(chǔ)數(shù)據(jù)科學(xué)合理可信；監(jiān)測數(shù)據(jù)采集與預(yù)處理是核心，保證監(jiān)測數(shù)據(jù)準(zhǔn)確，進(jìn)行有效傳輸；根據(jù)業(yè)務(wù)需要對預(yù)處理過的監(jiān)測數(shù)據(jù)進(jìn)行存儲(chǔ)和處理是手段，有助于針對性地發(fā)掘監(jiān)測數(shù)據(jù)價(jià)值。

大數(shù)據(jù)；無線電監(jiān)測；網(wǎng)格化；數(shù)據(jù)庫

當(dāng)今時(shí)代科學(xué)技術(shù)日新月異，各行各業(yè)的發(fā)展都離不開對新技術(shù)的應(yīng)用，無線電領(lǐng)域亦是如此。隨著超大容量計(jì)算機(jī)系統(tǒng)、無線傳輸網(wǎng)絡(luò)以及光纖傳輸網(wǎng)絡(luò)的不斷涌現(xiàn)和成熟，云計(jì)算、物聯(lián)網(wǎng)和大數(shù)據(jù)等熱門詞匯一次次抓住人們的眼球，但歸根到底終究繞不過一個(gè)問題——海量數(shù)據(jù)處理。隨著監(jiān)測站點(diǎn)的增加，監(jiān)測網(wǎng)絡(luò)覆蓋面積、監(jiān)測數(shù)據(jù)存儲(chǔ)容量、監(jiān)測數(shù)據(jù)分析處理能力必須相應(yīng)提高?，F(xiàn)無線電監(jiān)測網(wǎng)每時(shí)每刻都在接收著大量的數(shù)據(jù)，如何存儲(chǔ)和處理這些數(shù)據(jù)，加強(qiáng)監(jiān)測數(shù)據(jù)的有效處理能力、滿足監(jiān)測數(shù)據(jù)爆炸性增長帶來的數(shù)據(jù)海量存儲(chǔ)需求以及保障數(shù)據(jù)傳輸網(wǎng)絡(luò)的安全暢通，將是無線電管理部門遇到的重大課題，進(jìn)行相應(yīng)的前瞻性的技術(shù)研究迫在眉睫。

1 網(wǎng)格化數(shù)據(jù)庫是無線電網(wǎng)格化管理的基礎(chǔ)

網(wǎng)格化是當(dāng)前社會(huì)管理的一項(xiàng)有效手段，它通過區(qū)域?yàn)閯澐郑杉涗浺粔K區(qū)域的社會(huì)經(jīng)濟(jì)數(shù)據(jù)，并加以呈現(xiàn)，稱之為網(wǎng)格化管理。網(wǎng)格化數(shù)據(jù)庫是存儲(chǔ)社會(huì)經(jīng)濟(jì)數(shù)據(jù)的有效途徑，無線電監(jiān)測數(shù)據(jù)的存儲(chǔ)需要無線電網(wǎng)格化數(shù)據(jù)庫的有力支撐。傳統(tǒng)監(jiān)測網(wǎng)絡(luò)采用集中設(shè)置的數(shù)據(jù)庫，頻率、臺(tái)站等信息獨(dú)立，信息關(guān)聯(lián)性較差，數(shù)據(jù)庫信息無法為管理者提供更多參考依據(jù)。無線電網(wǎng)格化數(shù)據(jù)庫要運(yùn)用前置映射的方式，每種無線電監(jiān)測數(shù)據(jù)對應(yīng)每個(gè)地址網(wǎng)格，每個(gè)地址網(wǎng)格映射在相對的網(wǎng)格化數(shù)據(jù)庫中。每個(gè)網(wǎng)格化節(jié)點(diǎn)既可以作為單獨(dú)的無線電監(jiān)測數(shù)據(jù)使用，同時(shí)可允許多個(gè)網(wǎng)格數(shù)據(jù)通過一定的要求合并為一個(gè)區(qū)域網(wǎng)格庫，提高網(wǎng)格化數(shù)據(jù)庫的靈活性，充實(shí)用于數(shù)據(jù)分析的信息含量。

無線電網(wǎng)格化監(jiān)測網(wǎng)的核心是無線電網(wǎng)格化數(shù)據(jù)庫，網(wǎng)格化數(shù)據(jù)庫的中心是任務(wù)管理。通過存儲(chǔ)在網(wǎng)格化數(shù)據(jù)庫中原始全面的無線電監(jiān)測數(shù)據(jù)，這些數(shù)據(jù)包含了監(jiān)測數(shù)據(jù)、臺(tái)站數(shù)據(jù)、地理信息數(shù)據(jù)等多種數(shù)據(jù)，其中存儲(chǔ)的監(jiān)測數(shù)據(jù)是所有數(shù)據(jù)中最為重要的數(shù)據(jù)，這些數(shù)據(jù)是進(jìn)行無線電頻譜研究最基礎(chǔ)性的數(shù)據(jù)也是最為關(guān)鍵的數(shù)據(jù)。使用這些數(shù)據(jù)進(jìn)行的頻段占用度分析將更接近于真實(shí)無線電電磁環(huán)境、通過這些數(shù)據(jù)進(jìn)行電磁環(huán)境的評估分析工作是一項(xiàng)非常有意義的現(xiàn)實(shí)性課題。網(wǎng)格化數(shù)據(jù)庫除了可以存儲(chǔ)以上重要的數(shù)據(jù)，還需要利用基于地理信息系統(tǒng)的定位手段，給每個(gè)網(wǎng)格內(nèi)的無線電監(jiān)測數(shù)據(jù)賦予一個(gè)位置戳。為下一步對該區(qū)域電磁環(huán)境的統(tǒng)計(jì)分析奠定基礎(chǔ)。

2 網(wǎng)格化監(jiān)測網(wǎng)數(shù)據(jù)采集與預(yù)處理

無線電監(jiān)測數(shù)據(jù)的類型是復(fù)雜多樣的，包含了頻譜掃描數(shù)據(jù)，IQ數(shù)據(jù)、AD采樣數(shù)據(jù)、占用度、場強(qiáng)及音頻、測向和定位數(shù)據(jù)等原始數(shù)據(jù)。這些監(jiān)測數(shù)據(jù)并不提供能夠表現(xiàn)出現(xiàn)成的價(jià)值信息。只有通過大數(shù)據(jù)處理的工具和手段，利用大數(shù)據(jù)處理軟件強(qiáng)大計(jì)算分析能力，對當(dāng)前采集的無線電監(jiān)測數(shù)據(jù)進(jìn)行價(jià)值“提純”，才能夠充分挖掘出無線電監(jiān)測數(shù)據(jù)的潛在價(jià)值，發(fā)揮無線電監(jiān)測數(shù)據(jù)效能，為無線電管理提供有力支撐。

2.1 網(wǎng)格化監(jiān)測網(wǎng)的數(shù)據(jù)特點(diǎn)

網(wǎng)格化監(jiān)測網(wǎng)主要是指在各網(wǎng)格化節(jié)點(diǎn)（網(wǎng)格化節(jié)點(diǎn)是指分布在各區(qū)域的監(jiān)測站點(diǎn)）之間相互連接，統(tǒng)一采集數(shù)據(jù)并傳送給一個(gè)存儲(chǔ)終端的監(jiān)測網(wǎng)絡(luò)架構(gòu)。各網(wǎng)絡(luò)節(jié)點(diǎn)之間相互獨(dú)立，其中各節(jié)點(diǎn)預(yù)存數(shù)據(jù)格式相同具有相關(guān)性，通過4G、光纖等網(wǎng)絡(luò)傳輸方式，將數(shù)據(jù)統(tǒng)一存儲(chǔ)在一個(gè)更為集中的存儲(chǔ)終端中，在這種終端中對各種數(shù)據(jù)進(jìn)行相關(guān)性處理，根據(jù)監(jiān)測要素的各項(xiàng)要求呈現(xiàn)無線電分析數(shù)據(jù)，使的無線電監(jiān)測任務(wù)在各個(gè)區(qū)域采集的數(shù)據(jù)能夠得到集中處理，集中呈現(xiàn)，便于進(jìn)行無線電管理。網(wǎng)格化監(jiān)測網(wǎng)的突破在于打破了傳統(tǒng)監(jiān)測網(wǎng)上各固定監(jiān)測點(diǎn)采集的數(shù)據(jù)之間不具備相關(guān)性或者只有弱相關(guān)性，無法進(jìn)行相關(guān)性分析。網(wǎng)格化監(jiān)測網(wǎng)運(yùn)用GPS同步技術(shù)，將網(wǎng)格化節(jié)點(diǎn)采集到包括時(shí)間、坐標(biāo)等的多維數(shù)據(jù)，通過大數(shù)據(jù)分析的算法和模型進(jìn)行深度挖掘，可以有效提高數(shù)據(jù)使用價(jià)值。

2.2 原始數(shù)據(jù)的采集系統(tǒng)

無線電監(jiān)測數(shù)據(jù)的采集是網(wǎng)格化監(jiān)測數(shù)據(jù)庫建立的最基本要素，建設(shè)科學(xué)合理的原始數(shù)據(jù)采集系統(tǒng)是進(jìn)行大數(shù)據(jù)分析之前重要的基礎(chǔ)性工作，監(jiān)測數(shù)據(jù)的采集需要掌握的原則包括：（1）針對監(jiān)測數(shù)據(jù)采集的方式要確保一致性，監(jiān)測數(shù)據(jù)的存儲(chǔ)準(zhǔn)確性，盡量避免虛假信號(hào)和不確定性信號(hào)的產(chǎn)生；（2）針對不同的業(yè)務(wù)頻段，制定不同的相監(jiān)測數(shù)據(jù)采集工作規(guī)范，保證采集所得的監(jiān)測數(shù)據(jù)的具有科學(xué)有效性；（3）針對測量參數(shù)的設(shè)置，應(yīng)當(dāng)根據(jù)監(jiān)測地點(diǎn)、時(shí)間、業(yè)務(wù)內(nèi)容，使用合適的數(shù)據(jù)采集策略，選擇恰當(dāng)?shù)臏y量參數(shù)，運(yùn)用智能化匹配手段，保證采集到的數(shù)據(jù)可以進(jìn)行針對性的挖掘分析。

2.3 數(shù)據(jù)的預(yù)處理系統(tǒng)

監(jiān)測網(wǎng)數(shù)據(jù)量很大，動(dòng)輒就是上10G，數(shù)據(jù)傳輸難度較大，因此在數(shù)據(jù)采集端進(jìn)行數(shù)據(jù)預(yù)處理實(shí)屬必要。數(shù)據(jù)預(yù)處理系統(tǒng)可以減少數(shù)據(jù)的傳輸壓力，保證監(jiān)測網(wǎng)的傳輸有效性，預(yù)處理系統(tǒng)應(yīng)遵循以下原則：（1）預(yù)處理系統(tǒng)應(yīng)具有兼容性，能夠支持各種設(shè)備采集的數(shù)據(jù)格式，能夠存儲(chǔ)成大數(shù)據(jù)處理終端所需的數(shù)據(jù)類型；（2）預(yù)處理系統(tǒng)應(yīng)具有對原始數(shù)據(jù)進(jìn)行初步篩選和過濾的功能，可以提前去除無效、異常數(shù)據(jù)，避免垃圾數(shù)據(jù)的產(chǎn)生。一方面降低網(wǎng)絡(luò)負(fù)荷，另一方面保證大數(shù)據(jù)處理終端所需的數(shù)據(jù)有效性；（3）預(yù)處理系統(tǒng)應(yīng)具有對數(shù)據(jù)進(jìn)行初步整合的能力，對大量監(jiān)測數(shù)據(jù)進(jìn)行預(yù)處理，減少大數(shù)據(jù)處理終端的數(shù)據(jù)分析量。（4）預(yù)處理系統(tǒng)應(yīng)預(yù)置合適的處理算法，根據(jù)不同需求選擇合適的算法策略，提高數(shù)據(jù)處理速度，實(shí)現(xiàn)整個(gè)監(jiān)測網(wǎng)絡(luò)大量數(shù)據(jù)的快速處理。

3 網(wǎng)格化監(jiān)測網(wǎng)海量數(shù)據(jù)存儲(chǔ)及處理

監(jiān)測網(wǎng)各監(jiān)測站點(diǎn)本地存儲(chǔ)設(shè)備的利用率低，存儲(chǔ)資源不能被合理、有效利用，面對全天候的大數(shù)據(jù)存儲(chǔ)和分析過程中面臨的困難，無線電網(wǎng)格化監(jiān)測網(wǎng)業(yè)務(wù)系統(tǒng)需建立具有智能化和安全特性、并能夠與當(dāng)前的業(yè)務(wù)環(huán)境同樣靈活、動(dòng)態(tài)的云存儲(chǔ)環(huán)境。通過這樣的云存儲(chǔ)環(huán)境，靈活應(yīng)對業(yè)務(wù)變化，探索監(jiān)測網(wǎng)海量數(shù)據(jù)存儲(chǔ)和處理方法，從而提高無線電管理效率。

3.1 監(jiān)測數(shù)據(jù)分級存儲(chǔ)

監(jiān)測數(shù)據(jù)傳統(tǒng)的在線存儲(chǔ)方式需要配置大容量本地一級硬盤，這樣存儲(chǔ)數(shù)據(jù)一方面存在投資大，管理復(fù)雜的問題；另外一方面大部分監(jiān)測數(shù)據(jù)訪問率并不高，卻占據(jù)大量硬盤空間，不僅浪費(fèi)資源同時(shí)造成訪問速度下降的問題。監(jiān)測網(wǎng)數(shù)據(jù)存儲(chǔ)主要分為實(shí)時(shí)數(shù)據(jù)存儲(chǔ)和統(tǒng)計(jì)分析數(shù)據(jù)存儲(chǔ)兩大類，實(shí)時(shí)數(shù)據(jù)占用空間最多，實(shí)際使用的數(shù)據(jù)量較少，冗余現(xiàn)象突出。隨著監(jiān)測網(wǎng)規(guī)模的不斷加大，這種資源的浪費(fèi)不斷攀升，結(jié)合當(dāng)前實(shí)際需要，進(jìn)行監(jiān)測數(shù)據(jù)分級存儲(chǔ)可以有效的節(jié)省資源，最大限度發(fā)揮監(jiān)測網(wǎng)效益。

針對無線電監(jiān)測網(wǎng)采集的海量數(shù)據(jù)，可以對存儲(chǔ)要求進(jìn)行分級規(guī)劃，不同節(jié)點(diǎn)處理不同數(shù)據(jù)，重視數(shù)據(jù)的本級處理，降低監(jiān)測數(shù)據(jù)的傳輸量，減輕本地存儲(chǔ)設(shè)備的存儲(chǔ)壓力，提高數(shù)據(jù)的訪問速度。按照業(yè)務(wù)需要和應(yīng)用分級在不同的時(shí)間周期不同的位置節(jié)點(diǎn)對存儲(chǔ)服務(wù)的要求進(jìn)行動(dòng)態(tài)靈活的調(diào)配，滿足監(jiān)測網(wǎng)不同階段不同范圍內(nèi)對存儲(chǔ)服務(wù)的要求。從建設(shè)分級存儲(chǔ)設(shè)施出發(fā)，對不同類型不同節(jié)點(diǎn)的存儲(chǔ)資源進(jìn)行區(qū)分不同方式存儲(chǔ)，例如預(yù)處理系統(tǒng)中將存儲(chǔ)一部分IQ原始數(shù)據(jù)，預(yù)處理分析后的統(tǒng)計(jì)數(shù)據(jù)傳輸?shù)酱髷?shù)據(jù)處理終端存儲(chǔ)，實(shí)現(xiàn)分級存儲(chǔ)，做到存儲(chǔ)全面，突出重點(diǎn)，以滿足不同級別應(yīng)用的存儲(chǔ)需求。存儲(chǔ)資源規(guī)劃結(jié)合無線電管理業(yè)務(wù)的實(shí)際情況從業(yè)務(wù)系統(tǒng)層面、資源平臺(tái)層面、服務(wù)提供三個(gè)層進(jìn)行統(tǒng)一規(guī)劃管理，滿足無線電管理業(yè)務(wù)的集中管理、靈活分配。

3.2 監(jiān)測大數(shù)據(jù)處理

監(jiān)測數(shù)據(jù)分級存儲(chǔ)系統(tǒng)，可滿足日益增長的監(jiān)測網(wǎng)數(shù)據(jù)存儲(chǔ)需求，實(shí)現(xiàn)數(shù)據(jù)共享、備份冗余的數(shù)據(jù)高可靠性和高可用性。監(jiān)測大數(shù)據(jù)處理成為利用發(fā)掘監(jiān)測數(shù)據(jù)內(nèi)在價(jià)值至關(guān)重要的一環(huán)。監(jiān)測數(shù)據(jù)處理需構(gòu)建高性能、易擴(kuò)展、高可用、統(tǒng)一指揮管理的監(jiān)測數(shù)據(jù)處理平臺(tái)。（1）開發(fā)監(jiān)測數(shù)據(jù)統(tǒng)計(jì)分析軟件。強(qiáng)大的統(tǒng)計(jì)分析軟件旨在最大限度地挖掘大數(shù)據(jù)的價(jià)值，監(jiān)測網(wǎng)統(tǒng)計(jì)分析系統(tǒng)具備頻域分析、時(shí)域分析、信道占用度統(tǒng)計(jì)、信道占用度比較、信號(hào)強(qiáng)度分析、信號(hào)強(qiáng)度比較、頻段占用度分析、空間域分析、占用度測量表、電磁環(huán)境報(bào)告、臺(tái)站核準(zhǔn)、頻率標(biāo)注、監(jiān)測月報(bào)、全景圖、監(jiān)測站全景分析等功能，支持按小時(shí)、按天、按天自由時(shí)間段、按天24小時(shí)、按月的多種統(tǒng)計(jì)模式，便于從各種角度對監(jiān)測數(shù)據(jù)進(jìn)行匯總分析和深入挖掘，最終及時(shí)掌控?zé)o線電頻譜資源的使用情況及變化態(tài)勢。此外系統(tǒng)具備強(qiáng)大的報(bào)表功能，支持?jǐn)?shù)據(jù)和圖表的導(dǎo)出，以及模板導(dǎo)出、自定義選項(xiàng)導(dǎo)出、過濾導(dǎo)出。（2）建立新信號(hào)模型特征檔案。隨著無線應(yīng)用領(lǐng)域的快速發(fā)展，出現(xiàn)非常多的新技術(shù)、新設(shè)備，給不明信號(hào)查找和干擾查處帶來了相當(dāng)大的困難，建立新信號(hào)模型特征檔案可以對這種現(xiàn)象加以預(yù)防和監(jiān)督。不同無線電業(yè)務(wù)發(fā)射的無線電信號(hào)具有各自獨(dú)特的特征屬性，就像指紋一樣，各不相同，是查找分析不明干擾的直接手段。通過提取信號(hào)譜圖、音頻特性、占用帶寬、調(diào)制式、尋址方式等的不同信號(hào)特征，并對其信號(hào)特征及相關(guān)參數(shù)進(jìn)行標(biāo)注和描述，建立一個(gè)包含各類型新信號(hào)的頻譜特征樣本庫。為監(jiān)測網(wǎng)自動(dòng)識(shí)別定位無線電干擾提供了技術(shù)手段，同時(shí)也為監(jiān)測技術(shù)人員進(jìn)行認(rèn)知無線電研究奠定基礎(chǔ)。（3）開展電磁環(huán)境分級分類評估。通過無線電監(jiān)測網(wǎng)能夠?qū)δ骋惶囟▍^(qū)域和特定業(yè)務(wù)頻段進(jìn)行實(shí)時(shí)的監(jiān)管分析，隨時(shí)掌握各業(yè)務(wù)頻段占用情況、背景噪音強(qiáng)度及變化趨勢，可以做到根據(jù)需要對相關(guān)頻段發(fā)出預(yù)警或發(fā)布電磁環(huán)境通報(bào)。結(jié)合電子地圖平臺(tái)和臺(tái)站數(shù)據(jù)庫，電磁環(huán)境評估系統(tǒng)可以對任意時(shí)段的監(jiān)測數(shù)據(jù)進(jìn)行抽取、疊加、分析，完成各種形式的電磁環(huán)境顯示和不同時(shí)間段、不同地點(diǎn)、不同頻段的電磁環(huán)境比較等；可以以直觀的形式展現(xiàn)頻率在各個(gè)地理區(qū)域的使用情況，進(jìn)行模擬場強(qiáng)分析和顯示；可以結(jié)合地理信息系統(tǒng)和EMC分析系統(tǒng)來展示無線電“頻譜資源地圖”的全貌和細(xì)節(jié)，為政府科學(xué)決策提供依據(jù)。

4 總結(jié)

無線電網(wǎng)格化監(jiān)測網(wǎng)統(tǒng)計(jì)分析的強(qiáng)大功能和多樣的統(tǒng)計(jì)模式便于從各種角度對監(jiān)測數(shù)據(jù)進(jìn)行匯總分析和深入挖掘，通過對監(jiān)測數(shù)據(jù)的深化挖掘和利用，可以獲取更多準(zhǔn)確、科學(xué)、有價(jià)值的監(jiān)測數(shù)據(jù)統(tǒng)計(jì)分析結(jié)果，有助于無線電管理部門及時(shí)掌控當(dāng)前區(qū)域內(nèi)無線電頻譜資源的使用情況。通過不斷實(shí)施無線電監(jiān)測，持續(xù)積累電磁頻譜監(jiān)測數(shù)據(jù)，通過云計(jì)算、大數(shù)據(jù)分析等技術(shù)手段對監(jiān)測數(shù)據(jù)進(jìn)行更加科學(xué)合理的數(shù)據(jù)分析，有助于無線電管理部門規(guī)劃使用區(qū)域內(nèi)的頻譜資源，提高頻譜資源的利用率，發(fā)揮頻譜資源的潛在價(jià)值。通過搭建無線電監(jiān)測大數(shù)據(jù)處理平臺(tái)，建立新信號(hào)特征庫，不斷進(jìn)行電磁頻譜態(tài)勢分析，將充分利用無線電監(jiān)測網(wǎng)協(xié)助無線電技術(shù)人員查處無線電干擾、評估電磁環(huán)境情況，保障區(qū)域內(nèi)無線電電波秩序正常有序，并在其基礎(chǔ)上科學(xué)的分析電磁頻譜資源與社會(huì)經(jīng)濟(jì)發(fā)展的內(nèi)在關(guān)系，能夠不斷增強(qiáng)無線電管理工作為社會(huì)經(jīng)濟(jì)發(fā)展保駕護(hù)航的能力。

[1]王軍，黃炬，馬有廠，等.大數(shù)據(jù)時(shí)代的無線電監(jiān)測[J].中國無線電，2014（4）：55-58.

The research of radio monitoring big data processing methods

Shi Diankun

Shenzhen Radio Monitoring Management Station，Shenzhen，Guangdong 518000

Radio monitoring data is the core of the radio management，scientific and reasonable analysis of radio monitoring data processing help strengthen the radio management level.Radio monitoring network is collection of radio signals，and amount of monitoring data is very large，with large data analysis and mining method of radio monitoring data processing is an effective way.In this paper，combined with the characteristics of the monitoring data，we have made great efforts in the research of large data processing method of radio monitoring.The construction of the grid database is the foundation to guarantee the scientific and reasonable storage of data.The monitoring data acquisition and preprocessing are the core，and the monitoring data is accurate.，The effective transmission； according to the business needs of the pretreatment of monitoring data storage and processing is a means to help identify the value of targeted monitoring data.

big data； radio monitoring；meshing；data base

TP311.13；TN98

A

1009-6434（2016）12-0051-03