高紅旭，康永，郭芃

（中國電子科技集團公司第二十研究所，西安 710068）

0 引言

大數(shù)據(jù)作為當今一個很熱門的話題，越來越多的得到國家和企業(yè)屆的廣泛關注。大數(shù)據(jù)在發(fā)現(xiàn)規(guī)律和預測未來兩個方面展現(xiàn)的核心競爭力使得大數(shù)據(jù)正在轉變成一種資源與一種生產要素滲透至各個領域。大數(shù)據(jù)具有的善于聚合信息并有效利用數(shù)據(jù)的能力將會帶來層出不窮的創(chuàng)新，從某種意義上說大數(shù)據(jù)技術代表著一種生產力，這預示著人類已經(jīng)進入了大數(shù)據(jù)時代。

美國率先開始布局大數(shù)據(jù)產業(yè)并投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”，美國的大數(shù)據(jù)產業(yè)已經(jīng)創(chuàng)造了巨大的價值；歐盟及日韓緊隨其后，相應的戰(zhàn)略舉措也已出臺；我國大數(shù)據(jù)得到了政府的高度重視，大數(shù)據(jù)產業(yè)發(fā)展前景廣闊，預計我國大數(shù)據(jù)潛在市場規(guī)模未來有望達到2萬億人民幣。大數(shù)據(jù)已經(jīng)被認為是“未來的新石油與礦產”，數(shù)據(jù)規(guī)模及運用數(shù)據(jù)的能力將成為綜合國力的重要組成部分。

1 大數(shù)據(jù)技術

大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術。

1.1 大數(shù)據(jù)特點

大數(shù)據(jù)的特性非常豐富，包含：規(guī)模性、高速性、多樣性、價值型、準確性、有效性、可見性、真實性、可溯性等，目前主流采用“4V”模型來對大數(shù)據(jù)進行分析?！?V”的主要特征如表1所示：

表1 大數(shù)據(jù)4V特點列表

1.2 大數(shù)據(jù)分析方法

大數(shù)據(jù)技術真正面臨的已不僅是數(shù)據(jù)量大的問題，而最重要的是現(xiàn)實對大數(shù)據(jù)進行的分析，只有通過分析才能獲取很多智能的、深入的、有價值的信息。越來越多的應用涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長的復雜性，因此大數(shù)據(jù)的分析方法在大數(shù)據(jù)領域顯得尤為重要，已成為決定最終信息是否有價值的決定性因素。大數(shù)據(jù)分析普遍存在的方法如圖1所示。

1.3 大數(shù)據(jù)處理流程

大數(shù)據(jù)數(shù)據(jù)處理的三大原則：要全體不要抽樣，要效率不要絕對精確，要相關不要因果。具體的大數(shù)據(jù)處理方法確實有很多，主流的處理流程可以概括為四步，分別是采集、導入和預處理、統(tǒng)計和分析，最后是數(shù)據(jù)挖掘。

1.3.1 采集

大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。如何在這些數(shù)據(jù)庫之間進行負載均衡和分片是采集的難點。

1.3.2 導入和預處理

雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進行有效的分析，還是應該將這些來自前端的數(shù)據(jù)導入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。導入與預處理過程的特點和挑戰(zhàn)主要是導入的數(shù)據(jù)量大，每秒鐘的導入量經(jīng)常會達到百兆，甚至千兆級別。

圖1 大數(shù)據(jù)分析方法

1.3.3 統(tǒng)計和分析

統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求。統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。

1.3.4 數(shù)據(jù)挖掘

與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預先設定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預測的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

1.4 大數(shù)據(jù)實用工具

從技術上看，大數(shù)據(jù)與云計算的關系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處理，必須采用分布式架構。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘，但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術?，F(xiàn)在大型大數(shù)據(jù)解決方案的提供商主要采用Hadoop平臺，Hadoop是一個由Apache基金會所開發(fā)分布式系統(tǒng)基礎架構。 Hadoop 是以一種成熟、可靠、高效、可伸縮的方式處理問題的。Hadoop的結構圖如圖2所示。

圖2 Hadoop結構圖

HDFS:是 Hadoop的分布式文件系統(tǒng)，具有高可靠、高擴展、高效性和高容錯等特性。HDFS提供高傳輸率來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應用程序。HDFS放寬了POSIX的要求，這樣可以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。

MapReduce是用于并行處理大數(shù)據(jù)集的軟件框架。基于MapReduce寫出來的應用程序能夠運行在由上千個商用機器組成的大型集群上，并以一種可靠容錯的式并行處理上 TB級別的數(shù)據(jù)集。MapReduce極大地方便了編程人員將自己的程序運行在分布式系統(tǒng)上。

HBase是一個分布式的基于列存儲的非關系型數(shù)據(jù)庫（NOSQL）。HBase的查詢效率很高，主要由于查詢和展示結果。HBase通過組織起節(jié)點內所有機器的內存，提供一個超大的內存 Hash表，它需要組織自己的數(shù)據(jù)結構，包括磁盤和內存中的。

Hive是分布式的數(shù)據(jù)倉庫工具。主要用來并行分布式處理大量數(shù)據(jù)。它可以將結構化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。

Zookeeper：分布式鎖設施，提供類似 Google Chubby 的功能，由 Facebook貢獻。

Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代 Hadoop 原有的IPC機制。

Pig：大數(shù)據(jù)分析平臺，為用戶提供多種接口。

Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。

HCatalog：是面向 Apache Hadoop 框架的一個數(shù)據(jù)表管理層。它提供了數(shù)據(jù)表抽象功能，可支持在 Apache Hadoop 框架中將數(shù)據(jù)作為一系列數(shù)據(jù)表進行處理。

2 大數(shù)據(jù)技術在空管監(jiān)控中的應用

大數(shù)據(jù)已經(jīng)在各行各業(yè)引發(fā)各類創(chuàng)新模式。隨著大數(shù)據(jù)的發(fā)展，行業(yè)漸進融合，大數(shù)據(jù)給人們生活帶來翻天覆地的變化。大數(shù)據(jù)技術進步將極大地惠及人們生活的方方面面，在家有智能管家?guī)椭闵罡篮?；外出購物，商家會根?jù)你的消費習慣將購物信息通過無線互聯(lián)網(wǎng)推送給你；外出就餐，車載語音助手會幫你挑選餐廳并告訴你即時的周邊情況和停車狀況。衣食住行的便利將無處不在。迄今為止，大數(shù)據(jù)提升了電子政務和政府社會治理的效率、大數(shù)據(jù)提高了醫(yī)療服務質量、大數(shù)據(jù)使美國的交通更加便利、大數(shù)據(jù)提升了教育質量得到、大數(shù)據(jù)預警了經(jīng)濟危機、大數(shù)據(jù)有力的支撐了風險管理效率。大數(shù)據(jù)技術在民航空管監(jiān)控領域中也發(fā)揮了不可替代的作用。

根據(jù)民航總局“十二五”規(guī)劃文件中“提高空管設備運行管理水平，加快值班和運行管理系統(tǒng)建設，完善空管設備運行監(jiān)控系統(tǒng)，健全空管設備維護維修體系?！钡木唧w要求，中國電子科技集團公司第二十研究所研發(fā)了一套專業(yè)的“民航空管設備大數(shù)據(jù)信息化分析管理應用平臺”產品，該平臺已廣泛應用于各空管局與空管分局的空管設備集中監(jiān)控系統(tǒng)。該平臺可接入的空管設備有數(shù)據(jù)語音系統(tǒng)、WAFS系統(tǒng)、氣象數(shù)據(jù)庫系統(tǒng)、管理生產運行管理信息系統(tǒng)、GPS系統(tǒng)、航行情報發(fā)布系統(tǒng)、辦公系統(tǒng)、自動轉報系統(tǒng)、航管自動化系統(tǒng)、全向信標/測距儀（DVOR/DME)設備、儀表著陸設備、二次雷達（SSR）設備、一次雷達（PSR）設備、場面監(jiān)視雷達、VHF收發(fā)信機設備、內話系統(tǒng)設備狀況/語音交換系統(tǒng)、氣象自動觀測系統(tǒng)設備和空管通信網(wǎng)絡綜合監(jiān)控系統(tǒng)等，同時還包括設備運行的動力、環(huán)境、安全防范等動環(huán)監(jiān)控。

到2020全國空管設備數(shù)量將達到數(shù)十萬臺套，各種設備的運行維護參數(shù)又極為龐大，長期運行下來，每一個設備的數(shù)據(jù)將達到TB級別，全國總數(shù)據(jù)將達到EB級別，對于這么龐大數(shù)據(jù)的存儲與分析將成為一個新的挑戰(zhàn)。“民航空管設備大數(shù)據(jù)信息化分析管理應用平臺”中大數(shù)據(jù)技術的引入，有效的解決這一難題。

2.1 平臺組成

“民航空管設備大數(shù)據(jù)信息化分析管理應用平臺”主要用于民航（空管、機場）領域，該平臺由空管設備采集系統(tǒng)、數(shù)據(jù)組網(wǎng)傳輸系統(tǒng)、大數(shù)據(jù)分布式存儲、綜合數(shù)據(jù)信息化管理系統(tǒng)四部分組成?？傮w架構如圖3。

在不影響空管設備正常運行和現(xiàn)行本機監(jiān)控的前提下，設備采集系統(tǒng)采用目前先進、成熟的設備接入、采集、通信等監(jiān)控技術，實現(xiàn)對目前民航通信、導航、監(jiān)視、氣象、情報等設備運行狀態(tài)的實時采集；數(shù)據(jù)組網(wǎng)傳輸系統(tǒng)通過空管ATM網(wǎng)絡的建設，構成了臺站、地方、區(qū)域、全國四級空管設備集中監(jiān)控網(wǎng)絡體系；大數(shù)據(jù)分布式存儲系統(tǒng)利用Hadoop平臺構建了可動態(tài)調配的分布式存儲結構，并采用NOSQL數(shù)據(jù)庫進行海量數(shù)據(jù)的存儲；綜合數(shù)據(jù)信息化管理系統(tǒng)利用空管設備大量參數(shù)數(shù)據(jù)進行分析處理，為用戶提供設備實時告警、設備故障診斷、設備備件管理、歷史回放、狀態(tài)統(tǒng)計、運行狀態(tài)趨勢分析、現(xiàn)行設備性能總體分析等一系列功能，并且實現(xiàn)監(jiān)控、維護、管理等多部門之間的工作流轉，實現(xiàn)整個空管系統(tǒng)設備的自動化管理。并可以為空管部門提供現(xiàn)有機場或航路服務保障能力評估。同時可以通過專家系統(tǒng)，進行設備遠程分析指導和維護。

圖3 平臺架構圖

2.2 平臺實現(xiàn)

該平臺中采用了主流的Hadoop平臺架構，使用HDFS作為分布式文件系統(tǒng)，HBase作為分布式NoSQL列數(shù)據(jù)庫，Hive作為處理數(shù)據(jù)倉庫，并使用 MapReduce進行并行計算。該平臺具有實時監(jiān)控、專家系統(tǒng)、數(shù)據(jù)挖掘和趨勢分析等功能，本系統(tǒng)能夠自動接收各空管設備采集接收單元監(jiān)測的實時數(shù)據(jù)，分別以圖形、WebGIS和表格等多種展現(xiàn)形式展現(xiàn)，并提供實時告警與歷史查詢，通過分析引擎，根據(jù)事先規(guī)定好的的模型進行數(shù)據(jù)挖掘與分析，分析空管設備運行趨勢和關聯(lián)性，同時對維修單位提供專家系統(tǒng)服務。在空管設備出現(xiàn)故障時在WebGIS地圖上直觀震撼的方式閃爍報警加以提示。系統(tǒng)還提供了設備狀態(tài)歷史查詢、仿真界面、連接拓撲、歷史回放、狀態(tài)統(tǒng)計等功能，同時該系統(tǒng)還為部分空管設備國產化提供了大量寶貴的數(shù)據(jù)支持。圖4為某國際機場的空管設備運行狀況顯示。

圖4 某國際機場空管設備運行狀況圖

2.3 專家系統(tǒng)

專家系統(tǒng)模塊主要是通過空管設備領域大量數(shù)據(jù)挖掘產生的知識以及這個領域專家的經(jīng)驗相結合，利用具有專家推理方法的計算機模型,模仿人類專家的知識和解決問題的方法來處理設備故障排查以及維修等問題。同時該模塊還具有自學習功能，可將新的故障現(xiàn)象記錄并轉換為知識進行存儲。

該模塊可以回放設備故障前一天的設備運行參數(shù)與狀態(tài)信息，通過該設備故障時的參數(shù)指示，結合專家系統(tǒng)中優(yōu)化決策樹，判斷出該設備故障描述、故障原因以及專家意見。例如THALES廠家的DME設備監(jiān)控器出現(xiàn)問題，設備進行了告警提示，通過對設備參數(shù)的判斷專家系統(tǒng)給出故障描述與故障原因分析，最后給出專家意見為“通過更換雙機監(jiān)控器K1649中的U7、U8集成模塊，下滑發(fā)射機電池工作時面板預警指示燈亮，設備預警功能正常”，如圖5所示。

圖5 專家系統(tǒng)

2.4 趨勢分析系統(tǒng)

趨勢分析模塊通過對大數(shù)據(jù)的分析發(fā)現(xiàn)新的信息與知識，從而為進行數(shù)據(jù)建模，根據(jù)對過去同種設備運行性能的分析了解來進行未來性能趨勢的預測，主要針對時間變化的對象進行規(guī)律或趨勢挖掘，例如對某國際機場-NM7033西航向設備輸出功率分析趨勢，該設備之前的歷史數(shù)據(jù)與飛行器數(shù)量分布、溫濕度數(shù)據(jù)、NM7033發(fā)射信號強度等多組數(shù)據(jù)進行COLS-BSVR算法計算，得出了未來一周該設備的輸出功率趨勢。

隨著大數(shù)據(jù)技術在空管集中監(jiān)控系統(tǒng)中的應用，有效解決了空管部門管理落后、維修保障難度大費用高等多方面問題，顯著提高空管運行管理水平和安全保障能力，從而為民航飛行安全提供全面保障，有利于保障國家和人民生命財產安全，保障經(jīng)濟建設、保障和諧社會的發(fā)展。

3 結束語

大數(shù)據(jù)已經(jīng)深耕于政府、互聯(lián)網(wǎng)、電信、金融、IT等領域并創(chuàng)造了巨大的經(jīng)濟價值，歐美等發(fā)達國家更是把數(shù)據(jù)資產上升到國家信息戰(zhàn)略高度。作為全球大數(shù)據(jù)產業(yè)的重要組成，中國大數(shù)據(jù)潛在市場規(guī)模未來有望達到2萬億人民幣。數(shù)據(jù)產業(yè)的發(fā)展對于我國全面建成工業(yè)化、信息化、城鎮(zhèn)化、農業(yè)現(xiàn)代化的發(fā)展的起著至關重要的作用。大數(shù)據(jù)技術的應用對我們深刻領會世情和國情，把握規(guī)律，實現(xiàn)科學發(fā)展，做出科學決策都具有非常重要的意義。

[1]Tom White.Hadoop:The Definitive Guide [M].The US:OReilly Media,Inc,2009.

[2]JoyK1.Massive data visualization:a survey[C],Moeller T,Hamann B,Russeleds RD,2009:285-302.

[3]曹強,黃建忠,萬繼光,謝長生.海量網(wǎng)絡存儲系統(tǒng)原理與設計[M].武漢:華中科技大學出版社,2010,196-198.

[4]劉琨,李愛菊,董龍江.基于 Hadoop的海量數(shù)據(jù)存儲的研究及實現(xiàn)[J].微計算機信息,2011,27(7):220-221.

[5]黃曉云.基于 HDFS 的海量數(shù)據(jù)存儲服務系統(tǒng)研究[D].大連海事大學,2010.