陳克勝

（廣東盈嘉科技工程發(fā)展股份有限公司，廣東廣州 510000）

0 前言

目前主流的動力環(huán)境集中監(jiān)控系統(tǒng)僅僅做到事后告警，普遍缺乏對海量歷史數(shù)據(jù)價值的二次利用，缺乏故障分析功能和事前預(yù)警功能。隨著機房/基站監(jiān)控規(guī)模越來越大，沉淀下來的歷史監(jiān)控數(shù)據(jù)越來越多，如何利用好這些數(shù)據(jù)？本論文提出結(jié)合大數(shù)據(jù)思維、計算機技術(shù)，同時結(jié)合移動運營商的節(jié)能減排的目標(biāo)，對動力環(huán)境集中監(jiān)控系統(tǒng)的數(shù)據(jù)進(jìn)行分析。

1 需求分析與功能設(shè)計

為了有效的利用動環(huán)集中監(jiān)控系統(tǒng)的海量數(shù)據(jù)，為動力設(shè)備的維護(hù)工作提供有力支撐，需要對動環(huán)監(jiān)控系統(tǒng)存儲的歷史數(shù)據(jù)進(jìn)行二次開發(fā)利用[1]。在通信領(lǐng)域，動環(huán)監(jiān)控系統(tǒng)的應(yīng)用已經(jīng)有十多年的時間，其技術(shù)應(yīng)用發(fā)展情況基本可以分為三個層次：分別為基本應(yīng)用、中級應(yīng)用和高級應(yīng)用，具體情況見表1，從目前在通信領(lǐng)域的應(yīng)用情況看：基本應(yīng)用已經(jīng)全部實現(xiàn)，大部分處于中級應(yīng)用水平，高級應(yīng)用尚處于探索和不斷完善之中。近年來，用戶對動環(huán)監(jiān)控的高級應(yīng)用需求越來越多，例如通過動環(huán)監(jiān)控數(shù)據(jù)分析動力設(shè)備的故障率和其容量占有率的關(guān)系，以優(yōu)化設(shè)備的帶載率，提升設(shè)備的可用度；通過分析不同品牌或不同型號設(shè)備的故障率來輔助設(shè)備的采購選型；通過對動力設(shè)備的用能分析，改進(jìn)設(shè)備節(jié)能運行方案，優(yōu)化機房/基站能效水平等等[2]。

根據(jù)動環(huán)監(jiān)控高級應(yīng)用需求，本文以數(shù)據(jù)倉庫為基礎(chǔ)，以云平臺為支撐，結(jié)合其ETL和并行數(shù)據(jù)挖掘開發(fā)套件，設(shè)計了動環(huán)監(jiān)控數(shù)據(jù)分析系統(tǒng)。

表1 動環(huán)監(jiān)控不同應(yīng)用階段對比表

1.1 系統(tǒng)總體設(shè)計

如圖1所示，動環(huán)集中監(jiān)控系統(tǒng)負(fù)責(zé)數(shù)據(jù)采集的實現(xiàn)，完成基礎(chǔ)和關(guān)鍵數(shù)據(jù)的采集；數(shù)據(jù)分析系統(tǒng)設(shè)計為基于云計算的平臺為依托，借助其處理海量數(shù)據(jù)、分析數(shù)據(jù)以及決策支持方面的卓越能力，高效、可靠地實現(xiàn)業(yè)務(wù)需求[3]。數(shù)據(jù)分析系統(tǒng)以數(shù)據(jù)倉庫為基礎(chǔ)，以云平臺為支撐，結(jié)合其ETL和并行數(shù)據(jù)挖掘開發(fā)套件，打造出高性能、高實時性、高靈活性的新一代基于“云”計算的動環(huán)監(jiān)控數(shù)據(jù)分析系統(tǒng)。

針對機房設(shè)備數(shù)據(jù)量大，數(shù)據(jù)格式多樣化，實時性要求高的特點，同時為了滿足上層OLAP和數(shù)據(jù)挖掘的需要，建立數(shù)據(jù)倉庫成為了項目成功的關(guān)鍵所在。為了保證數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量，需要一種支持多種數(shù)據(jù)源，具有“數(shù)據(jù)凈化提煉”功能、數(shù)據(jù)加工功能和自動化運行功能的抽取類程序，ETL正是這樣的抽取程序。

圖1 系統(tǒng)技術(shù)架構(gòu)圖示

整個系統(tǒng)以數(shù)據(jù)倉庫為基礎(chǔ)，以云平臺為支撐，結(jié)合其ETL和并行數(shù)據(jù)挖掘開發(fā)套件，打造出高性能，高實時性，高靈活性的新一代基于“云”計算的動環(huán)數(shù)據(jù)分析系統(tǒng)。

（1）數(shù)據(jù)倉庫[4]

數(shù)據(jù)倉庫通過應(yīng)用云平臺的數(shù)據(jù)交換方案，使數(shù)據(jù)可以在云平臺與倉庫之間雙向流通，充分利用云平臺強大的計算能力，不但保留了原有數(shù)據(jù)倉庫的特征，并且優(yōu)化了與前端OLAP和數(shù)據(jù)挖掘交互的性能問題，在數(shù)據(jù)操作上具有更大的靈活性，如圖2所示。

（2）數(shù)據(jù)分區(qū)

動環(huán)監(jiān)控系統(tǒng)特點是物理點眾多，數(shù)據(jù)采集存儲頻繁。數(shù)據(jù)分析系統(tǒng)設(shè)計采用數(shù)據(jù)分區(qū)的方式來解決運營商動環(huán)監(jiān)控數(shù)據(jù)持續(xù)增長后造成的存儲備份、恢復(fù)、查詢等問題，把表和索引劃分為多個分區(qū)，簡便、高效的對分區(qū)進(jìn)行刪除，添加，拆分、合并和移動等操作，管理TB級別大小的數(shù)據(jù)。從而解決大數(shù)據(jù)查詢及處理時阻塞等性能問題，可有效的提高對數(shù)據(jù)倉庫的管理能力，增強前端數(shù)據(jù)挖掘和OLAP的響應(yīng)能力。比如需要大量裝載數(shù)據(jù)，可先把數(shù)據(jù)并行的裝入到一個新分區(qū)當(dāng)中建立索引，然后把該分區(qū)合并到當(dāng)前分區(qū)中來；如果需要刪除某一年歷史數(shù)據(jù)，可設(shè)計歷史數(shù)據(jù)分區(qū)，只需要把該年的設(shè)備數(shù)據(jù)分區(qū)移除即可。

圖2 數(shù)據(jù)倉庫價值示意圖

圖3 數(shù)據(jù)分區(qū)示意圖

如果采用數(shù)據(jù)水平分區(qū)技術(shù)，數(shù)據(jù)的增長和性能問題就迎刃而解?？梢詫⒈砗退饕齽澐譃槎鄠€分區(qū)，輕松的管理TB級別大小的數(shù)據(jù)。例如，在圖3的設(shè)備運行KPI表中，當(dāng)需要查詢2010年的數(shù)據(jù)，系統(tǒng)只需要找到2010年的數(shù)據(jù)分區(qū)以及和它對應(yīng)的分區(qū)索引，然后對該分區(qū)進(jìn)行掃描便能迅速獲取需要的結(jié)果。

采用數(shù)據(jù)分區(qū)技術(shù)將數(shù)據(jù)表劃分為多個分區(qū)，可以簡便、高效的對分區(qū)進(jìn)行刪除、添加、拆分、合并和移動等操作。

基于動環(huán)數(shù)據(jù)倉庫的數(shù)據(jù)量大、數(shù)據(jù)采集頻率高、數(shù)據(jù)分段性強等特點，采用數(shù)據(jù)分區(qū)技術(shù)不但可以有效的提高對數(shù)據(jù)倉庫的管理能力，還能增強前端數(shù)據(jù)挖掘和OLAP的響應(yīng)能力。

（3）數(shù)據(jù)挖掘

如圖4所示。在云平臺上，通過并行計算的方式實現(xiàn)多種數(shù)據(jù)挖掘算法，通過挖掘方法來給所有設(shè)備分類排序，并尋找影響設(shè)備的因素，通過查詢對比找出同樣情況最多的類似設(shè)備，并展示設(shè)備詳細(xì)信息和類似信息[5]。通過分析得到設(shè)備的故障率，故障發(fā)生率，同時結(jié)合其他外部因素得出一些影響故障的原因（例如環(huán)境、設(shè)備本身的屬性等等）。

圖4 數(shù)據(jù)分析系統(tǒng)示意圖

1.2 并行計算平臺架構(gòu)設(shè)計

動環(huán)監(jiān)控的數(shù)據(jù)分析系統(tǒng)，通過兩種方式來實現(xiàn)了對動環(huán)及能耗數(shù)據(jù)的挖掘工作，一種方式是在系統(tǒng)中直接集成了兩個分析模塊，一個是能耗模型分析模塊，一個是機房基站聚類模塊，用戶可以通過點擊功能菜單的方式，在系統(tǒng)直接運行對應(yīng)的算法并以表格或者可視化的圖形返回給客戶，從而實現(xiàn)與客戶進(jìn)行常規(guī)模式下的交互。另一種方式是將數(shù)據(jù)挖掘的工作分為前臺和后臺兩個部分，即相對獨立的開發(fā)一個后臺程序來完成各種算法的并行化實現(xiàn)，類似于一個數(shù)據(jù)挖掘算法庫；前臺完成數(shù)據(jù)源及數(shù)據(jù)挖掘算法的指定，提交給后臺，由后臺對各種算法在并行計算平臺上進(jìn)行計算[6]，如圖5所示。

圖5 并行計算平臺架構(gòu)示意圖

1.3 主要功能實現(xiàn)

（1）數(shù)據(jù)預(yù)處理功能的實現(xiàn)[7]

動環(huán)監(jiān)控采集到的前端設(shè)備及環(huán)境的數(shù)據(jù)，經(jīng)過入庫后，在后臺有專門的轉(zhuǎn)換和導(dǎo)出程序，形成分析系統(tǒng)所需要格式的csv文件包，定時上傳到ftp服務(wù)器上。分析系統(tǒng)經(jīng)過數(shù)據(jù)的二次采集后，進(jìn)入數(shù)據(jù)的預(yù)處理流程，經(jīng)過清洗，轉(zhuǎn)換及聚合等步驟后的數(shù)據(jù)才真正成為系統(tǒng)所能夠分析和挖掘的數(shù)據(jù)。具體的流程如圖6所示。

（2）數(shù)據(jù)分析功能模塊的實現(xiàn)[8]

下面以動環(huán)監(jiān)控采集到的能耗數(shù)據(jù)為例，介紹數(shù)據(jù)分析功能模塊的實現(xiàn)。

能耗數(shù)據(jù)分析功能模塊實現(xiàn)了基站機房在企業(yè)級和用能場所兩個級別上的的能耗結(jié)構(gòu)分析，趨勢分析以及數(shù)據(jù)相關(guān)性分析。其中能耗結(jié)構(gòu)分析又可以劃分為樣本集能耗結(jié)構(gòu)查詢，地域能耗結(jié)構(gòu)查詢，能耗查詢結(jié)果下鉆查詢以及查詢結(jié)果導(dǎo)出等功能點。趨勢分析又可劃分為樣本集能耗數(shù)據(jù)相關(guān)性查詢，地域數(shù)據(jù)相關(guān)性查詢以及時間相關(guān)性查詢。樣本集是某些有特定屬性的地域的機房/基站，經(jīng)選擇出來并做分析后，能更有效的作為標(biāo)準(zhǔn)去預(yù)測同類型設(shè)備的耗能情況。

圖6 數(shù)據(jù)預(yù)處理數(shù)據(jù)流程示意圖

1）Action如圖7所示。

enterprise()

圖7 能耗分析流程（Action）示意圖

2）Service如圖8所示。

getEnterprise(query,analysisType,dataIds)

圖8 能耗分析流程（Service）示意圖

3）Dao如圖9所示。

getEnterpriseInfo(query,dataIds)

圖9 能耗分析流程（Dao）示意圖

4）代碼實現(xiàn)片段如圖10所示。

2 結(jié)束語

本論文針對在動環(huán)數(shù)據(jù)的挖掘利用中碰到的一些具體的挑戰(zhàn)，比如所分析的主題往往是新興的主題，提出無論對于用戶還是IT企業(yè)，都必須設(shè)計出合理的數(shù)據(jù)倉庫架構(gòu)，避免采用固定的數(shù)據(jù)處理邏輯，保持良好的可擴展性和可維護(hù)性。本論文設(shè)計的數(shù)據(jù)分析系統(tǒng)已經(jīng)在南方基地IDC機房，東莞及汕頭移動通信機房/基站等進(jìn)行了規(guī)模驗證試用。經(jīng)過該課題研究，在動環(huán)集中監(jiān)控系統(tǒng)的數(shù)據(jù)分析和功能實現(xiàn)等方面積累了豐富的經(jīng)驗。

圖10 能耗分析代碼實現(xiàn)片段

［1］中國移動集團公司網(wǎng)管建設(shè)總體規(guī)劃［S］.中國移動通信集團公司，2001.

［2］殷培紅.動力及環(huán)境集中動力環(huán)境集中監(jiān)控系統(tǒng)的研究應(yīng)用［D］.北京：華北電力大學(xué)，2007.

［3］余小軍.數(shù)據(jù)挖掘在動力設(shè)備動力環(huán)境集中監(jiān)控系統(tǒng)中的應(yīng)用研究［J］.計算機光盤軟件與應(yīng)用，2013（8）：105-106.

［4］郭川軍，朱貴.數(shù)據(jù)倉庫技術(shù)研究［J］.信息技術(shù)，2004（04）：61-63.

［5］毛國君，段立娟，王實，等.數(shù)據(jù)挖掘原理與算法：第二版［M］.北京：清華大學(xué)出版社，2007.

［6］殷正坤.淺析云計算在網(wǎng)絡(luò)技術(shù)中的應(yīng)用［J］.電子制作，2013（16）：153.

［7］劉明吉，王秀峰，黃亞樓.數(shù)據(jù)挖掘中的數(shù)據(jù)預(yù)處理［J］.計算機科學(xué)，2000（04）：54-57.

［8］張海燕.數(shù)據(jù)挖掘技術(shù)應(yīng)用于大學(xué)圖書館系統(tǒng)研究［D］.南京：南京信息工程大學(xué)，2008.