孟蓮蓉

國家新聞出版廣電總局無線電臺管理局　北京市　100045

廣電監(jiān)管中IT運行監(jiān)控系統(tǒng)的設(shè)計方案

孟蓮蓉

國家新聞出版廣電總局無線電臺管理局北京市100045

為解決IT運行維護中出現(xiàn)的弊端，需對IT運行監(jiān)控系統(tǒng)進行分析、設(shè)計及設(shè)定系統(tǒng)應(yīng)用。本文從IT運行監(jiān)控系統(tǒng)進行分析、設(shè)計及設(shè)定系統(tǒng)應(yīng)用三方面入手，論述在廣電監(jiān)管中如何設(shè)計IT運行監(jiān)控系統(tǒng)。

BCC NCC 探針I(yè)T運維監(jiān)測

1 背景概述

隨著業(yè)務(wù)的增加，設(shè)備和應(yīng)用系統(tǒng)數(shù)量也隨之不斷擴張，尤其是隨著云計算的逐步發(fā)展，以及相關(guān)基礎(chǔ)環(huán)境、管理技術(shù)和理念的不斷發(fā)展成熟，IT基礎(chǔ)設(shè)施的高度集中使得傳統(tǒng)的IT運維管理變得越來越復(fù)雜，IT人員的工作量與日俱增，疲于查找問題，IT運維管理需不斷調(diào)整以適應(yīng)新環(huán)境、新技術(shù)、新理念帶來的管理要求，因此，某廣電單位提出了IT運行監(jiān)控系統(tǒng)的項目建設(shè)。

系統(tǒng)需監(jiān)測管理的對象包括網(wǎng)絡(luò)設(shè)備、網(wǎng)絡(luò)鏈路、服務(wù)器、操作系統(tǒng)、存儲設(shè)備、數(shù)據(jù)庫、中間件、基礎(chǔ)服務(wù)、虛擬化（云）平臺等，同時需與機房環(huán)境的監(jiān)控集成。其中，200臺網(wǎng)絡(luò)設(shè)備，40臺物理服務(wù)器（虛擬服務(wù)器70臺）和存儲設(shè)備。70臺虛擬服務(wù)器上部署的所有軟件，包括中間件、微軟操作系統(tǒng)、LINIX操作系統(tǒng)、ORACLE數(shù)據(jù)庫、SQL數(shù)據(jù)庫、TOMCAT及業(yè)務(wù)應(yīng)用系統(tǒng)等。

2 系統(tǒng)架構(gòu)設(shè)計

系統(tǒng)由COSS（集中運行管理模塊）、NCC（網(wǎng)絡(luò)監(jiān)控）和BCC（業(yè)務(wù)監(jiān)控）組成，COSS用于IT日常運維管理，BCC主要用于深度監(jiān)測業(yè)務(wù)應(yīng)用及其支持平臺的運行狀況；NCC主要用于自動發(fā)現(xiàn)各類異構(gòu)復(fù)雜網(wǎng)絡(luò)的拓撲結(jié)構(gòu)和持續(xù)地監(jiān)視、報告網(wǎng)絡(luò)的運行情況。如圖1所示。

NCC采用多層架構(gòu)、信息總線等技術(shù)，提供C/S和B/S的兩種展現(xiàn)模式，如網(wǎng)絡(luò)管理人員使用C/S對網(wǎng)絡(luò)進行專業(yè)管理，運維人員使用B/S對網(wǎng)絡(luò)進行值班監(jiān)控，如圖2所示。

BCC系統(tǒng)架構(gòu)分為四層，分別是數(shù)據(jù)采集層、數(shù)據(jù)處理層、業(yè)務(wù)模塊層和功能展現(xiàn)層，如圖3所示。數(shù)據(jù)采集層包含監(jiān)測采集器、采集探針和監(jiān)測數(shù)據(jù)接收幾部分，監(jiān)測采集器利用標準協(xié)議和各種業(yè)務(wù)系統(tǒng)專有協(xié)議實現(xiàn)遠程監(jiān)控和數(shù)據(jù)采集，同時也支持代理方式監(jiān)測采集被管資源的監(jiān)測數(shù)據(jù)；監(jiān)測采集器運行在采集探針內(nèi)，采集探針可以分布式部署，滿足多個隔離子網(wǎng)和多級大規(guī)模IT環(huán)境監(jiān)測的要求。監(jiān)測數(shù)據(jù)接收模塊接收各個采集探針上報的數(shù)據(jù)，并交由數(shù)據(jù)處理層統(tǒng)一處理。在數(shù)據(jù)處理層，性能數(shù)據(jù)經(jīng)過整理、歸并與挖掘處理，為上層提供可靠參考；同時故障數(shù)據(jù)經(jīng)過過濾、壓縮、歸并與關(guān)聯(lián)分析，產(chǎn)生告警信息與事件記錄。業(yè)務(wù)模塊層提供全面業(yè)務(wù)功能支撐，展現(xiàn)監(jiān)測分析結(jié)果。功能展現(xiàn)層實現(xiàn)用戶接入方式與WEB客戶端功能展現(xiàn)。

3 資源監(jiān)控技術(shù)

3.1整體采用的監(jiān)控技術(shù)

系統(tǒng)支持無代理監(jiān)控和基于代理的監(jiān)控方式，支持通過 HTTP、ICMP、SNMP、SNMP trap、WMI、Telnet、SSH、CLI、JMS、JDBC、CORBA等多種技術(shù)手段，實現(xiàn)對不同資源運行數(shù)據(jù)的采集。系統(tǒng)可對單個采集任務(wù)獨立配置采集策略和對單個監(jiān)控指標進行故障分析閾值配置。對于部分監(jiān)測器來說，監(jiān)測對象包含性能屬性，系統(tǒng)默認只提供最后一次采集到的性能數(shù)據(jù)的視圖，不對數(shù)據(jù)進行序列化（即不將數(shù)據(jù)持久化到性能數(shù)據(jù)庫中），管理員可選擇哪些信息進行歷史保存，便于進行分析。

CLI（命令行界面）監(jiān)測方式適用于目標主機登錄操作系統(tǒng)需要身份驗證的Unix或者Linux平臺，通過執(zhí)行遠程命令，對目標主機通過選定的訪問方式進行監(jiān)測訪問。BCC為其提供了九種實例：AIX、 FreeBSD、HP-UX、IRIX64、Linux、SCOUNIX、Solaris、TRU64 OSF1、Windows；三種訪問方式：Telnet、Agent、SSH（Secure Shell，安全外殼協(xié)議）。

JDBC（java數(shù)據(jù)庫連接）監(jiān)測方式適用于Oracle、DB2、MySQL等數(shù)據(jù)庫應(yīng)用服務(wù)，通過配置與目標主機Oracle數(shù)據(jù)庫的連接信息（有權(quán)限控制）進行監(jiān)測訪問。

SNMP監(jiān)測方式適用于支持SNMP協(xié)議并開啟SNMP服務(wù)的目標主機，對于版本v1、v2、v2c的SNMP協(xié)議，Community（SNMP協(xié)議中的共同體）需要提供只讀共同體密碼。對于版本v3的SNMP協(xié)議，需要設(shè)置安全等級、安全名、用戶協(xié)議、用戶密碼、私有協(xié)議、私有密碼等參數(shù)。

JMX（Java管理擴展） 是一個為應(yīng)用程序、設(shè)備、系統(tǒng)等植入管理功能的框架，對每個需要管理的對象，創(chuàng)建一個名為MBean（托管的Bean）對象進行注冊，通過公開的訪問方法進行訪問。Web Logic等應(yīng)用系統(tǒng)基于JMX開發(fā)，故可將其變成JMX的MBean，通過Agent在程序內(nèi)部或者通過Web管理頁面對MBean模塊進行管理。JMS是消息中間件，它使應(yīng)用程序可通過統(tǒng)一的接口訪問不同的消息隊列產(chǎn)品，它提供了像Connection、Topic和Message這樣的抽象。系統(tǒng)提供了JMS以及Open JMS兩種JMS消息隊列的JMS監(jiān)測方式支持。

腳本監(jiān)測方式通用于各種操作系統(tǒng)的主機，它通過執(zhí)行Groovy腳本進行監(jiān)測。當監(jiān)測其它主機時，目標主機必須安裝Agent，采用客戶端代理并配置好相關(guān)端口。

3.2 BCC采用的技術(shù)手段

BCC支持分布式監(jiān)測采集與集中配置管理模式，通過在服務(wù)端集中配置采集策略下發(fā)到采集探針（Probe）執(zhí)行周期任務(wù)，以滿足在大規(guī)模網(wǎng)絡(luò)環(huán)境下的對IT基礎(chǔ)設(shè)施的監(jiān)測要求。如圖4所示?？蛻舳藷o需任何安裝，通過瀏覽器查看各類IT資源的即時性能指標。

BCC系統(tǒng)采集探針有以下特性：

（1）探針自帶監(jiān)測數(shù)據(jù)存儲功能：在網(wǎng)絡(luò)臨時中斷或服務(wù)端臨時關(guān)閉的情況下，Probe端會臨時存儲監(jiān)測數(shù)據(jù)（Probe關(guān)閉后也不會丟），待網(wǎng)絡(luò)和服務(wù)端恢復(fù)后再向服務(wù)端傳輸數(shù)據(jù)，保證監(jiān)測數(shù)據(jù)的完整性。

（2）探針支持自我管理和故障自恢復(fù)：當采集探針由于某些原因無法正確運行時，探針會自動重啟并迅速執(zhí)行監(jiān)測任務(wù)，保證監(jiān)測數(shù)據(jù)的連續(xù)性。

（3）探針支持自動升級功能：當探針有新版本發(fā)布時，只需把探針升級程序發(fā)布到服務(wù)端固定目錄，探針會自動升級到新版本，減少手工升級帶來的成本和出錯幾率。

（4）探針提供自動注冊功能：采集探針在啟動時會自動根據(jù)配置信息連接到服務(wù)端進行自動注冊，增加了管理的便利性。

（5）探針支持多種常見平臺部署：采集探針可在Windows和常見類Unix操作系統(tǒng)下部署，并能以服務(wù)模式運行。

3.3 NCC采用的技術(shù)手段

NCC擁有網(wǎng)絡(luò)采集引擎，通過對象識別、采集及針對不同廠商的可擴展腳本，提供網(wǎng)絡(luò)設(shè)備交互服務(wù)；利用上述多種協(xié)議或方法進行網(wǎng)絡(luò)探測和信息采集，對網(wǎng)元對象自動發(fā)現(xiàn)和識別、分析、保存，形成統(tǒng)一的網(wǎng)管資源庫，并在此基礎(chǔ)上進行拓撲計算，生成不同層次的拓撲結(jié)構(gòu)。

通過主動 （ICMP、SNMP、CLI） 與被動（Trap、RMON、Net Flow、S Flow、鏡像） 兩種方式，從設(shè)備上獲得各類性能指標和流量數(shù)據(jù)，并進行長時間的數(shù)據(jù)跟蹤記錄，最終挖掘分析生成各種報表，展現(xiàn)網(wǎng)絡(luò)流量與負荷信息，以便對網(wǎng)絡(luò)狀態(tài)合理評估與決策。

4 系統(tǒng)功能設(shè)計

4.1 NCC功能設(shè)計

NCC支持國內(nèi)外主流廠商的網(wǎng)絡(luò)設(shè)備，包括CISCO、Juniper、Huawei華為、ZXR中興、H3C、Enterasys凱創(chuàng)、Extreme、Foundry、Harbour港灣、CDRS神州數(shù)碼、AVAYA、Nortel北電、3COM、ARRAY、D-Link、Maipu邁普、Red-Giant銳捷、Net Screen、Topsec天融信、Riverstone等。

系統(tǒng)對網(wǎng)絡(luò)類型具有良好的兼容性，可以主動發(fā)現(xiàn)VPN、VLAN網(wǎng)絡(luò)拓撲，并提供拓撲的動態(tài)跟蹤和更新功能，支持完整拓撲計算、僅終端拓撲計算、停止拓撲計算和主動刷新拓撲功能。系統(tǒng)借鑒和發(fā)展了國外網(wǎng)絡(luò)拓撲動態(tài)發(fā)現(xiàn)和跟蹤技術(shù)，可以通過單設(shè)備拓撲、多設(shè)備拓撲、網(wǎng)段拓撲、種子節(jié)點拓撲等多種方式準確地展現(xiàn)當前網(wǎng)絡(luò)拓撲情況。如圖5所示。

監(jiān)測網(wǎng)絡(luò)設(shè)備狀態(tài)的CPU、內(nèi)存、鏈路流量等當前運行參數(shù)，直觀展現(xiàn)設(shè)備的名稱、類型、IP地址、MAC地址。用戶還可查詢相應(yīng)子網(wǎng)段內(nèi)IP地址的分配、使用情況以及占用該IP地址設(shè)備的上聯(lián)設(shè)備及端口詳情等。如圖6所示。

NCC可統(tǒng)計網(wǎng)絡(luò)設(shè)備及終端設(shè)備的詳細信息，包括設(shè)備名稱、別名、廠商、型號等基本信息；設(shè)備端口的類型、端口號、IP地址、MAC地址、端口速率、端口狀態(tài)、端口綁定的VLAN以及對端端口的詳細信息；SNMP設(shè)備端口各類出入棧二層楨傳輸統(tǒng)計情況，如丟包率、錯包率等；系統(tǒng)提供動態(tài)的網(wǎng)管信息展現(xiàn)，如端口列表、ARP表、TCP/UDP表、轉(zhuǎn)發(fā)表、CDP表、STP表、設(shè)備部件表等。

NCC管理平臺對網(wǎng)絡(luò)設(shè)備的CPU、內(nèi)存、流量等運行性能指標輪詢采集，各類采集器啟停、閾值、告警等可修改；系統(tǒng)提供對典型Web服務(wù)的可用性監(jiān)控，如 HTTP/HTTPS、FTP、DNS、DHCP、LDAP等，支持對主機和Web服務(wù)監(jiān)控的閾值告警功能；NCC實現(xiàn)多角度的監(jiān)測，為網(wǎng)管員提供主動面向設(shè)備的負荷監(jiān)測、面向鏈路的流量監(jiān)測、面向終端的活躍度監(jiān)測等多層面的性能監(jiān)測。如圖7所示。

5 BCC功能設(shè)計

管理和監(jiān)測 Windows、Linux、IBM AIX、AS/400、HP-UX、SUN Solaris、SCO Unix 、SGI、 Tru64等不同操作系統(tǒng)的服務(wù)器或集群的運行狀態(tài)和性能數(shù)據(jù)，包括服務(wù)器的基本信息、CPU負載、內(nèi)存利用率、應(yīng)用進程、文件系統(tǒng)、磁盤空間和吞吐、事件與錯誤日志等信息的分析與監(jiān)視。

BCC根據(jù)預(yù)定義項目監(jiān)測Oracle、SQL Server、Sybase、DB2、Informix 、MySQL等多種數(shù)據(jù)庫，包括數(shù)據(jù)庫工作狀態(tài)、表空間的利用情況、數(shù)據(jù)文件和數(shù)據(jù)設(shè)備的讀寫命中率、數(shù)據(jù)碎片的情況、數(shù)據(jù)庫的進程狀態(tài)、數(shù)據(jù)庫內(nèi)存利用狀態(tài)等屬性。

BCC監(jiān)測Websphere、Web Logic、MQ Series、Tomcat、Tuxedo、Tibco、Resin、Tong Web等各類不同中間件，分析與監(jiān)測中間件的各項運行狀態(tài)參數(shù)。

通過SNMP、數(shù)據(jù)庫接口等其它接口方式可以實現(xiàn)IT環(huán)境監(jiān)控，包括基礎(chǔ)運行環(huán)境的溫度、濕度、漏水、煙感和電源、UPS、智能空調(diào)等。

BCC穩(wěn)定的插件管理體系，提供了標準的插件實現(xiàn)接口，無需二次開發(fā)即可完成特定的業(yè)務(wù)監(jiān)測和管理功能。同時，開放的擴展接口允許監(jiān)測功能的添加或者與其它系統(tǒng)的集成。用戶可編寫shell或者groovy腳本自定義監(jiān)測指標。

對虛擬化平臺的監(jiān)測主要以VMware為主。主要監(jiān)測虛擬機常見的性能指標如CPU、內(nèi)存、磁盤。

BCC通過業(yè)務(wù)和服務(wù)模型來管理IT資源，業(yè)務(wù)應(yīng)用監(jiān)控視圖由整體到局部逐層鉆取，分析當前被監(jiān)控資源的運行狀態(tài)，定位問題發(fā)生的故障根源并評估影響度。BCC提供業(yè)務(wù)應(yīng)用總控視圖、資源運行展現(xiàn)視圖及部件指標分析視圖等三級視圖呈現(xiàn)，可便捷的獲取業(yè)務(wù)SLA和服務(wù)響應(yīng)指標。

6 綜合告警

系統(tǒng)提供綜合告警管理平臺，實現(xiàn)告警的統(tǒng)一展現(xiàn)。告警平臺提供統(tǒng)一事件管理來解決分割管理的數(shù)據(jù)融合問題，通過以告警事件為導向，提供了清晰的、集中的事件管理。系統(tǒng)的監(jiān)控和故障報警支持分級管理，默認分為緊急、重要、次要、提醒、通知等5個級別（可自定義），可以從功能位置、設(shè)備、應(yīng)用系統(tǒng)關(guān)聯(lián)關(guān)系角度進行監(jiān)看。在對網(wǎng)絡(luò)的不間斷實時監(jiān)測中，收集針對網(wǎng)絡(luò)、設(shè)備、終端及鏈路的各種事件，結(jié)合過去在網(wǎng)管過程中學習得到的處理規(guī)則，對各類事件進行智能分析，并關(guān)聯(lián)所有符合故障特征的相關(guān)事件，從而在故障發(fā)生前或發(fā)現(xiàn)時發(fā)出正確告警。

7 可視化展現(xiàn)

可視化展現(xiàn)管理平臺，實現(xiàn)各類設(shè)備、網(wǎng)絡(luò)、應(yīng)用、機房等視圖設(shè)計；系統(tǒng)的Web前端采用了FLEX技術(shù)，能良好支持3D/2D和矢量圖形，提供強大的信息交互與管理能力，能根據(jù)用戶客戶端

上的設(shè)定生成漂亮的動態(tài)圖表。如圖8所示。析，提供基礎(chǔ)架構(gòu)性能與告警和資源比較、指標排名、指標趨勢等各類層次化統(tǒng)計分析報表；可按業(yè)務(wù)方式對業(yè)務(wù)應(yīng)用可用性、MTTR（平均修復(fù)時間）和MTBF（平均無故障運行時間）進行統(tǒng)計；可按節(jié)點方式對監(jiān)測數(shù)據(jù)匯總分析，提供基礎(chǔ)架構(gòu)性能指標趨勢等報表為服務(wù)器運行負載排名。如圖9所示。

結(jié)束語

目前，IT運行監(jiān)控系統(tǒng)在該廣電單位已正式上線，并運行了半年，為IT管理人員提供了強大的維護支持，在IT維護方面起著重要的作用。

審稿人：魏朝暉內(nèi)蒙古新聞出版廣電局監(jiān)管中心正高級工程師

8 報表統(tǒng)計

責任編輯：王學敏

系統(tǒng)依據(jù)對監(jiān)測數(shù)據(jù)的自動匯聚、抽取、分

TP311.1

A

2096-0751（2016）04-0019-06

孟蓮蓉國家新聞出版廣電總局無線電臺管理局高級工程師