段曉莉,崔晉華,施 洋,李 超,錢 俊,金維有
(1.安徽省無(wú)線電監(jiān)測(cè)站, 安徽 合肥 230031;2.安徽省馬鞍山市無(wú)線電監(jiān)測(cè)站, 安徽 馬鞍山 243000;3.安徽省宣城市無(wú)線電管理處, 安徽 宣城 242099)
為落實(shí)國(guó)家無(wú)線電頻譜監(jiān)測(cè)統(tǒng)計(jì)工作要求[1],自2007年4月,安徽省全省范圍內(nèi)按月實(shí)施無(wú)線電頻譜監(jiān)測(cè)工作,并形成工作報(bào)告,逐步形成了能夠適應(yīng)當(dāng)前監(jiān)測(cè)工作需要的監(jiān)測(cè)模式與無(wú)線電頻譜監(jiān)測(cè)工作制度.隨著監(jiān)測(cè)工作的開(kāi)展,積累了大量的監(jiān)測(cè)數(shù)據(jù),相關(guān)數(shù)據(jù)除形成報(bào)告報(bào)送國(guó)家無(wú)線電監(jiān)測(cè)中心外,均以文件或紙質(zhì)資料的形式進(jìn)行歸檔入庫(kù),對(duì)于數(shù)據(jù)的采集分析,則需要相關(guān)人員人工地選擇需要的數(shù)據(jù),利用軟件繪制可視化的分析圖,該方式的效率相對(duì)較低,導(dǎo)致監(jiān)測(cè)數(shù)據(jù)的利用率很低,不能用于綜合分析.因此,如何科學(xué)存儲(chǔ)海量監(jiān)測(cè)數(shù)據(jù)[2],有效利用現(xiàn)有數(shù)據(jù)建立完善的數(shù)據(jù)對(duì)比、分析、評(píng)估體系,成為當(dāng)前工作重中之重.
本文致力于利用GIS(Geographic Information System)實(shí)現(xiàn)無(wú)線電監(jiān)測(cè)數(shù)據(jù)的可視化.相關(guān)學(xué)者對(duì)此做了有益的嘗試[3-10].文獻(xiàn)[3]在GIS平臺(tái)基礎(chǔ)上對(duì)貴州的無(wú)線電站管理系統(tǒng)進(jìn)行了設(shè)計(jì);文獻(xiàn)[4]在GIS平臺(tái)基礎(chǔ)上對(duì)閃電數(shù)據(jù)進(jìn)行了可視化監(jiān)測(cè)與分析的實(shí)現(xiàn);文獻(xiàn)[5]在GIS平臺(tái)基礎(chǔ)上對(duì)無(wú)線電管理系統(tǒng)進(jìn)行了設(shè)計(jì)與研究;文獻(xiàn)[6]在GIS平臺(tái)的基礎(chǔ)上對(duì)無(wú)線電基站的可視化做了研究;文獻(xiàn)[7]實(shí)現(xiàn)了三維GIS在無(wú)線電管理中的應(yīng)用;文獻(xiàn)[8]進(jìn)行了基于GIS的無(wú)線電信號(hào)覆蓋模擬系統(tǒng)關(guān)鍵技術(shù)研究;文獻(xiàn)[9]實(shí)現(xiàn)了無(wú)線電頻率臺(tái)站評(píng)估體系以及其GIS應(yīng)用研究;文獻(xiàn)[10]進(jìn)行了GIS在無(wú)線電波覆蓋范圍分析中的應(yīng)用研究.
本文基于B/S 架構(gòu)的基礎(chǔ)上,首先進(jìn)行功能劃分,根據(jù)需要,把采集的數(shù)據(jù)列出規(guī)范的表格清單,再對(duì)表格進(jìn)行對(duì)應(yīng)的數(shù)據(jù)庫(kù)設(shè)計(jì),利用ETL(Extract-Transform-Load)工具[11]結(jié)合Python[12]對(duì)表格化數(shù)據(jù)進(jìn)行匯總整合.本文選擇合適的可視化表達(dá)方法,實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)在GIS地圖上的動(dòng)態(tài)數(shù)據(jù)分布效果圖、數(shù)據(jù)統(tǒng)計(jì)及定位展示,并提供了具有導(dǎo)入、導(dǎo)出、查詢、分析、可視化等功能的整套解決方案,從而提供可靠的無(wú)線電監(jiān)測(cè)結(jié)果,并提高無(wú)線電監(jiān)測(cè)數(shù)據(jù)的使用率.
GIS即地理信息系統(tǒng),它可以將地理空間上數(shù)據(jù)通過(guò)計(jì)算機(jī)的支持,變成直觀的、更易于接受的視覺(jué)信息.通過(guò)GIS技術(shù),可以迅速地處理無(wú)線電管理中得到的大量監(jiān)測(cè)數(shù)據(jù),將數(shù)據(jù)實(shí)現(xiàn)可視化,便于決策與管理.本文所用的ArcGIS就是GIS技術(shù)中的一種.ArcGIS[13-15]作為一個(gè)可伸縮的平臺(tái),無(wú)論是在桌面、在服務(wù)器、在野外還是通過(guò)Web,為個(gè)人用戶也為群體用戶提供GIS的功能,ArcGIS是一個(gè)建設(shè)完整GIS的軟件集合,它包含了一系列部署GIS的框架:ArcGIS Desktop——一個(gè)專業(yè)GIS應(yīng)用的完整套件;ArcGIS Engine——為定制開(kāi)發(fā)GIS應(yīng)用的嵌入式開(kāi)發(fā)組件;服務(wù)端GIS——ArcSDE,ArcIMS和ArcGIS Server;移動(dòng)GIS——ArcPad以及為平板電腦使用的ArcGIS Desktop和Engine;ArcGIS是基于一套由共享GIS組件組成的通用組件庫(kù)實(shí)現(xiàn)的,這些組件被稱為ArcObjectsTM.
為了實(shí)現(xiàn)安徽省無(wú)線電監(jiān)測(cè)數(shù)據(jù)的可視化,就要先分清要對(duì)哪些數(shù)據(jù)實(shí)現(xiàn)可視化,期望達(dá)到什么樣的效果.對(duì)于無(wú)線電得到的監(jiān)測(cè)數(shù)據(jù),主要分為以下幾個(gè)類型:全省的監(jiān)測(cè)站點(diǎn)以及每個(gè)市的監(jiān)測(cè)工作量;全省的干擾信號(hào),包括干擾的種類和干擾的數(shù)量;全省的一些不明信號(hào).所以接下來(lái)要對(duì)這些數(shù)據(jù)進(jìn)行詳細(xì)地統(tǒng)計(jì)、歸類,實(shí)現(xiàn)可視化,發(fā)現(xiàn)這些數(shù)據(jù)的隱藏價(jià)值.
化系統(tǒng)設(shè)計(jì)
本系統(tǒng)基于GIS平臺(tái)要完成無(wú)線電監(jiān)測(cè)數(shù)據(jù)的可視化展示、無(wú)線電歷史數(shù)據(jù)的統(tǒng)計(jì)分析及系統(tǒng)輔助功能等3個(gè)方面的功能(圖1):
(1)無(wú)線電監(jiān)測(cè)數(shù)據(jù)的可視化展示
監(jiān)測(cè)數(shù)據(jù)可視化又分為全省監(jiān)測(cè)站點(diǎn)分布圖、全省監(jiān)測(cè)工作量分布圖、全省干擾排查分布圖以及全省不明信號(hào)排查分布圖.
(2)無(wú)線電監(jiān)測(cè)歷史數(shù)據(jù)的統(tǒng)計(jì)分析
包括無(wú)線電監(jiān)測(cè)歷史數(shù)據(jù)的查詢、統(tǒng)計(jì)、輸出等操作、實(shí)現(xiàn)對(duì)選定日期段內(nèi)的無(wú)線電監(jiān)測(cè)數(shù)據(jù)分頻段、干擾類型等統(tǒng)計(jì)分析并繪制出相關(guān)圖表,為利用現(xiàn)有數(shù)據(jù)建立完善的數(shù)據(jù)對(duì)比、分析、評(píng)估體系提供支持.
(3)系統(tǒng)輔助功能
主要包括無(wú)線電數(shù)據(jù)基礎(chǔ)信息管理及系統(tǒng)管理.主要實(shí)現(xiàn)監(jiān)測(cè)站點(diǎn),監(jiān)測(cè)設(shè)備、頻段等信息的管理功能;組織機(jī)構(gòu)信息、用戶信息等功能以及運(yùn)行日志等.
整體業(yè)務(wù)采用B/S 架構(gòu)建設(shè),通過(guò)瀏覽器即可訪問(wèn),無(wú)需安裝客戶端.
圖1 總體功能規(guī)劃
2.2.1 數(shù)據(jù)填報(bào)與統(tǒng)計(jì) 數(shù)據(jù)庫(kù)設(shè)計(jì)的第一步需要數(shù)據(jù)填報(bào)與統(tǒng)計(jì),清楚需要用到哪些數(shù)據(jù),如何分類.對(duì)于本文來(lái)說(shuō),安徽省無(wú)線電監(jiān)測(cè)月報(bào)數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)采集與填報(bào)分為4個(gè)部分:全省監(jiān)測(cè)站點(diǎn),全省監(jiān)測(cè)工作量,全省干擾排查以及全省不明信號(hào)排查.所以數(shù)據(jù)填報(bào)的來(lái)源也不相同.
以全省監(jiān)測(cè)站點(diǎn)分布圖為例,全省監(jiān)測(cè)工作量分布圖在系統(tǒng)中設(shè)計(jì)在一張圖上進(jìn)行顯示,它的數(shù)據(jù)填報(bào)的來(lái)源有兩塊.分別是國(guó)家制定的7張?jiān)聢?bào)表格中的2張——安徽省無(wú)線電頻譜監(jiān)測(cè)量工作表統(tǒng)計(jì)表以及安徽省監(jiān)測(cè)設(shè)施數(shù)量及工作狀況統(tǒng)計(jì)表.此處只列出表格1,為安徽省無(wú)線電頻譜監(jiān)測(cè)量工作量統(tǒng)計(jì)表(表1).
表1 安徽省無(wú)線電頻譜監(jiān)測(cè)量工作量統(tǒng)計(jì)表
2.2.2 ETL抽取數(shù)據(jù) 為了實(shí)現(xiàn)安徽省無(wú)線電監(jiān)測(cè)月報(bào)數(shù)據(jù)分析系統(tǒng)的可視化,就要對(duì)上述統(tǒng)計(jì)后的數(shù)據(jù)進(jìn)行抽取及導(dǎo)入.因?yàn)檎n題涉及到2007年至今的歷史數(shù)據(jù)導(dǎo)入.近11年的歷史監(jiān)測(cè)數(shù)據(jù)文檔、格式都比較雜亂.為了快速地導(dǎo)入歷史數(shù)據(jù),有效地利用數(shù)據(jù)進(jìn)行分析,本文使用了ETL 工具進(jìn)行數(shù)據(jù)處理.ETL工具結(jié)合Python 整合歷史數(shù)據(jù),Excel批量導(dǎo)入oracle 數(shù)據(jù)庫(kù).利用Python 將分散在Excel 中的歷史數(shù)據(jù)表格匯總到一個(gè)Excel文件中,然后通過(guò)ETL 工具批量轉(zhuǎn)換后導(dǎo)入數(shù)據(jù)庫(kù),再經(jīng)過(guò)業(yè)務(wù)處理和查重后導(dǎo)入正式業(yè)務(wù)表中.ETL 工具適合大批量結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)的清洗和遷移,可結(jié)合當(dāng)前流行的大數(shù)據(jù)平臺(tái)使用,是大數(shù)據(jù)平臺(tái)數(shù)據(jù)來(lái)源很好的補(bǔ)充.
2.2.3 數(shù)據(jù)庫(kù)設(shè)計(jì) 本文直接使用安徽省無(wú)線電監(jiān)測(cè)站Oracle 數(shù)據(jù)庫(kù)服務(wù)器,不需另外安裝Oracle 數(shù)據(jù)庫(kù).關(guān)于數(shù)據(jù)庫(kù)的命名規(guī)則,本文如下:
(1)業(yè)務(wù)數(shù)據(jù)表:描述具體系統(tǒng)業(yè)務(wù)信息.如監(jiān)測(cè)站信息等,所有業(yè)務(wù)相關(guān)表均以“RTBT-”為前綴.
(2)基本系統(tǒng)表:描述系統(tǒng)的基礎(chǔ)支撐信息和編碼.如,公共字典、用戶等.所有的系統(tǒng)表均以“sys-”為前綴.
對(duì)于以上填報(bào)與統(tǒng)計(jì)過(guò)的數(shù)據(jù),都要進(jìn)行相對(duì)應(yīng)的數(shù)據(jù)庫(kù)設(shè)計(jì),本文以監(jiān)測(cè)工作量填報(bào)表為例,來(lái)說(shuō)明它的數(shù)據(jù)表設(shè)計(jì).
數(shù)據(jù)表名:RTBT-MONITOR-WORKLOAD
數(shù)據(jù)表定義:見(jiàn)表2.
對(duì)于統(tǒng)計(jì)的城市,統(tǒng)計(jì)時(shí)間,監(jiān)測(cè)站點(diǎn)名稱,干擾排查數(shù)量以及信號(hào)排查數(shù)量都作為數(shù)據(jù)表設(shè)計(jì)的主要內(nèi)容,在表2中均設(shè)計(jì)了字段名,字段類型,且對(duì)主鍵、外鍵等均進(jìn)行了設(shè)置.
化系統(tǒng)的功能實(shí)現(xiàn)
圖2是監(jiān)測(cè)數(shù)據(jù)展示中的頻段占用度對(duì)比分析圖.它實(shí)現(xiàn)了以下2個(gè)功能:
(1)多維度的數(shù)據(jù)查詢比對(duì):按地市、頻段、時(shí)間、站點(diǎn)進(jìn)行多維度查詢.如實(shí)現(xiàn)多地市、同一時(shí)間、同一頻段,不同時(shí)間、同一站點(diǎn)、同一頻段的占用度趨勢(shì)分析;
(2)提供動(dòng)態(tài)滾動(dòng)軸,打破x軸長(zhǎng)度限制.能自由關(guān)注細(xì)節(jié)的數(shù)據(jù)信息,概覽數(shù)據(jù)整體情況.
表2 監(jiān)測(cè)工作量的數(shù)據(jù)表
圖2 頻段占用度對(duì)比分析
這里橫軸的時(shí)間要素是利用echart組件對(duì)統(tǒng)計(jì)的數(shù)據(jù)進(jìn)行展示.主要代碼如下:
tooltip: {
trigger: 'axis',
axisPointer:{//坐標(biāo)軸指示器,坐標(biāo)軸觸發(fā)有效
type: 'shadow'//默認(rèn)為直線,可選為:'line' | 'shadow'
}
},
grid: {
left: '3%',
right: 70,
bottom: 70,
containLabel: true
},
圖3是對(duì)頻段占用度、信號(hào)電平值、干擾數(shù)據(jù)、不明信號(hào)實(shí)現(xiàn)了多維度的查詢比對(duì)分析,并以圖表的方式展示數(shù)據(jù).
圖3 數(shù)據(jù)對(duì)比分析
這里的柱狀分析圖也是使用echart組件對(duì)統(tǒng)計(jì)的數(shù)據(jù)進(jìn)行展示的,主要代碼如下:
dataView: {
readOnly: true,
optionToContent:function(opt){
var axisData=opt.xAxis[0].data;
var series=opt.series;
var table='
'+axisData[i]+' | ''+series[0].data[i]+' | '