孫述陽

摘? ?要：文章介紹了福建廣電網(wǎng)絡(luò)IT系統(tǒng)平臺的建設(shè)情況及現(xiàn)狀，深入分析機房網(wǎng)絡(luò)拓?fù)浜透鳂I(yè)務(wù)平臺架構(gòu)，通過搭建VMware虛擬化平臺和數(shù)據(jù)庫一體機，整合現(xiàn)有的計算、存儲、網(wǎng)絡(luò)和數(shù)據(jù)庫資源，提高資源利用率，節(jié)省機柜空間，縮短系統(tǒng)建設(shè)周期。同時，大數(shù)據(jù)平臺的建設(shè)，為廣電網(wǎng)絡(luò)產(chǎn)品開發(fā)和市場營銷提供可靠的數(shù)據(jù)基礎(chǔ)。福建廣電網(wǎng)絡(luò)IT系統(tǒng)平臺的建成，將為集團(tuán)搭建一個實時、準(zhǔn)確、高效、穩(wěn)定的綜合業(yè)務(wù)運營支撐平臺，為業(yè)務(wù)發(fā)展提供有力支撐，幫助企業(yè)降低運營成本，提高運營收益。

關(guān)鍵詞：小型機;存儲;VMware虛擬化;數(shù)據(jù)庫一體機;大數(shù)據(jù)

1? ? 福建廣電網(wǎng)絡(luò)業(yè)務(wù)介紹

福建廣電網(wǎng)絡(luò)主要承擔(dān)各級電視臺以及付費頻道節(jié)目信號傳輸，經(jīng)營高清互動電視、廣電寬帶、電子商務(wù)、視頻點播、陽光政務(wù)、遠(yuǎn)程教育等增值業(yè)務(wù)。為黨委政府企業(yè)提供專線傳輸業(yè)務(wù)，開展“互聯(lián)網(wǎng)+”業(yè)務(wù)，是廣播電視網(wǎng)絡(luò)運營商和節(jié)目集成商。福建廣電網(wǎng)絡(luò)IT系統(tǒng)平臺已經(jīng)過4期建設(shè)，目前主要包括核心交換區(qū)域、公網(wǎng)區(qū)域、地市業(yè)務(wù)對接區(qū)域、部門互聯(lián)區(qū)域、銀行互聯(lián)區(qū)域、boss系統(tǒng)集群、呼叫中心、統(tǒng)一支付平臺、虛擬化平臺、數(shù)據(jù)庫一體機、大數(shù)據(jù)平臺和異地備份等部分，形成一個小型的數(shù)據(jù)中心。數(shù)據(jù)中心承載了BOSS系統(tǒng)（業(yè)務(wù)運營支撐系統(tǒng)）、呼叫中心、統(tǒng)一支付平臺、微廳、報表經(jīng)分、工單維系、ESB總線（企業(yè)服務(wù)總線）、OA系統(tǒng)、財務(wù)系統(tǒng)、工程系統(tǒng)和大數(shù)據(jù)等B域、O域、M域和D域的信息化系統(tǒng)，為廣電業(yè)務(wù)的發(fā)展提供可靠的保障。

2? ? 網(wǎng)絡(luò)架構(gòu)設(shè)計

按照結(jié)構(gòu)化、模塊化、扁平化的設(shè)計原則，整體網(wǎng)絡(luò)拓?fù)洳捎帽馄交瘍蓪咏M網(wǎng)架構(gòu)，從核心交換區(qū)直接到服務(wù)器接入，省去了中間的匯聚層，有利于簡化網(wǎng)絡(luò)拓?fù)?，降低網(wǎng)絡(luò)運維的難度，便于后期的虛擬化改造和擴(kuò)展。

2.1? 核心交換區(qū)域

核心交換區(qū)域采用兩臺H3C S7608XV虛擬化成一臺邏輯設(shè)備，在S7608XV上部署兩塊防火墻板卡和兩塊負(fù)載均衡板卡，兩塊相同業(yè)務(wù)板卡之間采用VRRP協(xié)議實現(xiàn)冗余備份，如圖1所示。防火墻板卡作為核心設(shè)備，通過3層與公網(wǎng)區(qū)域、地市業(yè)務(wù)對接區(qū)域、部門互聯(lián)區(qū)域、銀行互聯(lián)區(qū)域、呼叫中心和辦公網(wǎng)系統(tǒng)區(qū)域等業(yè)務(wù)區(qū)域互聯(lián);負(fù)載均衡板卡作為BOSS系統(tǒng)、支付平臺等業(yè)務(wù)的網(wǎng)關(guān)設(shè)備，同時啟用4或7層的負(fù)載技術(shù)實現(xiàn)系統(tǒng)應(yīng)用的均衡調(diào)度。負(fù)載均衡板卡與防火墻板卡通過H3C S7608XV內(nèi)部互聯(lián)接口進(jìn)行3層互通，實現(xiàn)業(yè)務(wù)區(qū)域之間的互聯(lián)互通[1]。

2.2? 公網(wǎng)區(qū)域

公網(wǎng)區(qū)域采用兩臺H3C S7606-V虛擬化成一臺邏輯設(shè)備，S7606-V上部署兩塊負(fù)載均衡板卡、兩塊IPS板卡和兩塊VPN板卡，其中，兩塊負(fù)載均衡板卡之間采用VRRP協(xié)議實現(xiàn)冗余備份，兩塊IPS板卡集成了入侵防御和抗DDOS攻擊功能，兩塊VPN板卡采用熱備方式，用于日常遠(yuǎn)程維護(hù)。兩臺H3C S7606-V通過3層接口與核心交換區(qū)域互聯(lián)，同時上聯(lián)到兩臺天融信NGFW4000公網(wǎng)防火墻。兩臺天融信防火墻采用主備冗余方式，通過訪問策略對內(nèi)外網(wǎng)地址訪問，電信聯(lián)通出口進(jìn)行相應(yīng)配置和管理。在安全防護(hù)方面，后期增加了入侵檢測系統(tǒng)、日志審計系統(tǒng)和堡壘機，并通過等保二級備案。

2.3? 部門互聯(lián)區(qū)域

本區(qū)域采用華三防火墻與集團(tuán)各部門的業(yè)務(wù)系統(tǒng)進(jìn)行對接，主要涉及電視直播平臺、互動點播平臺、寬帶認(rèn)證平臺和辦公網(wǎng)等。通過路由和域間策略對訪問IP和端口進(jìn)行控制，保證內(nèi)部系統(tǒng)互聯(lián)的安全性。

2.4? 銀行互聯(lián)區(qū)域

本區(qū)域采用10 Mb/s或100 Mb/s傳輸專線鏈路，通過防火墻與銀聯(lián)、中國銀行、工商銀行、農(nóng)信社和招商銀行等各大銀行進(jìn)行支付業(yè)務(wù)對接。

2.5? 地市業(yè)務(wù)對接區(qū)域

地市業(yè)務(wù)對接區(qū)域主要包含地市CA授權(quán)、營業(yè)廳和呼叫坐席專線互聯(lián)業(yè)務(wù)。地市CA授權(quán)專線采用10 Mb/s的SDH傳輸鏈路，營業(yè)廳和呼叫坐席專線采用IP承載網(wǎng)上VPN鏈路。地市機房放置一臺H3C S5530交換機，提供互聯(lián)地址用于業(yè)務(wù)接入，省中心機房放置一臺H3C S7606，用于匯聚各地市流量，上聯(lián)到核心交換區(qū)域的防火墻。各地市專線業(yè)務(wù)在防火墻上分域控制，進(jìn)行域間策略控制，同時，通過入侵檢測系統(tǒng)對地市專線流量進(jìn)行鏡像分析，監(jiān)控異常攻擊行為，確保該區(qū)域的安全性[2]，如圖2所示。

3? ? 業(yè)務(wù)平臺設(shè)計

機房業(yè)務(wù)平臺整體遵循高可用、低能耗、易管理和易擴(kuò)展的設(shè)計原則，主要用于支撐業(yè)務(wù)域、運營域、管理域和數(shù)據(jù)域的業(yè)務(wù)系統(tǒng)。隨著云計算技術(shù)的發(fā)展，除了核心業(yè)務(wù)系統(tǒng)、ORACLE數(shù)據(jù)庫和大數(shù)據(jù)HADOOP平臺外，其余業(yè)務(wù)系統(tǒng)逐步遷移到虛擬化平臺。

3.1? BOSS系統(tǒng)集群

BOSS系統(tǒng)作為廣電網(wǎng)絡(luò)核心業(yè)務(wù)系統(tǒng)，為營業(yè)廳提供模擬電視、數(shù)字電視（標(biāo)、高清）、互動電視和寬帶等全業(yè)務(wù)流程受理，構(gòu)建滿足業(yè)務(wù)運營需要的核心功能和統(tǒng)一客戶數(shù)據(jù)，提供一致客戶服務(wù)和客戶體驗。BOSS系統(tǒng)包含客戶關(guān)系管理系統(tǒng)、賬務(wù)管理系統(tǒng)、資源管理系統(tǒng)、產(chǎn)品管理系統(tǒng)、服務(wù)開通系統(tǒng)、統(tǒng)一授權(quán)平臺、系統(tǒng)管理和報表管理等子系統(tǒng)。系統(tǒng)采用“Web+應(yīng)用+數(shù)據(jù)庫”分離集群部署方式，整體架構(gòu)如圖3所示，兩套HP C7000刀框部署兩套集群應(yīng)用，通過負(fù)載設(shè)備實現(xiàn)4層或7層應(yīng)用負(fù)載均衡。4臺IBM P750小型機通過POWERVM虛擬化技術(shù)，用于搭建ORACLE RAC集群、DG庫、培訓(xùn)庫、測試庫、賬管和計費應(yīng)用等。兩套V7000存儲分別存放生產(chǎn)庫和DG庫數(shù)據(jù)，存儲層面做7天快照，系統(tǒng)層面定期做RMAN備份并上傳到FTP服務(wù)器，保證數(shù)據(jù)的安全性。

3.2? 呼叫中心集群

呼叫中心主要負(fù)責(zé)全省廣電客戶服務(wù)工作，平臺支持多種交互方式，為客戶提供全方位、多渠道的業(yè)務(wù)服務(wù)，涵蓋業(yè)務(wù)咨詢、故障申告、投訴處理、業(yè)務(wù)受理、客戶維系（回訪）、電話營銷、市場調(diào)查等，成為廣電網(wǎng)絡(luò)為客戶提供綜合性服務(wù)的無形窗口。兩臺匯聚交換機CE3000和4臺接入交換機S5500通過虛擬化技術(shù)形成3臺邏輯設(shè)備，兩套華為E9000刀框、一套華為S2600存儲、一臺U2990排隊機和數(shù)據(jù)庫服務(wù)器分別接入到S5500交換機，如圖4所示。系統(tǒng)采用主備模式和集群負(fù)載模式搭建，網(wǎng)絡(luò)采用雙鏈路互聯(lián)，保證業(yè)務(wù)的可靠性。

呼叫中心包含話務(wù)系統(tǒng)平臺、業(yè)務(wù)系統(tǒng)平臺和坐席區(qū)域平臺。話務(wù)系統(tǒng)平臺通過電話方式作為主要渠道，由電信運營商提供40條E1中繼線路接入，最大支持1 000路并發(fā)呼叫，包括語音排隊機U2990、計算機電話集成（CTI）、互動式語音應(yīng)答（IVR）等話務(wù)核心控制系統(tǒng)，主要部署在華為E9000刀框、U2990排隊機和S2600存儲上。業(yè)務(wù)系統(tǒng)平臺包含客戶信息管理、工作流管理、知識管理、報表管理等，為各業(yè)務(wù)受理提供支撐，主要部署在虛擬化平臺上。坐席區(qū)域平臺采用PC電腦+軟終端+耳麥的接入方式[3]。

3.3? 統(tǒng)一支付平臺

統(tǒng)一支付平臺通過與銀聯(lián)、公有銀行、商業(yè)銀行、支付寶和微信等支付渠道的對接，為廣電業(yè)務(wù)提供統(tǒng)一支付體系。整體分為業(yè)務(wù)受理服務(wù)（包括TV網(wǎng)廳、PC網(wǎng)廳、手機網(wǎng)廳、微信網(wǎng)廳等多種接入渠道）、對賬結(jié)算、支付平臺和運營管理等子系統(tǒng)。統(tǒng)一支付平臺采用“Web+APP+數(shù)據(jù)庫”的分離集群部署方式，兩臺DELL R420服務(wù)器搭建外網(wǎng)Web應(yīng)用，兩臺DELL R420服務(wù)器搭建內(nèi)網(wǎng)Web應(yīng)用，4臺DELL R420服務(wù)器搭建APP應(yīng)用、接口應(yīng)用和MemCache應(yīng)用，3臺DELL R820服務(wù)器和兩套DELL MD3600F存儲搭建ORACLE 11g RAC和DG庫。

3.4? 虛擬化平臺

機房采用VMware vSphere 6.5來構(gòu)建虛擬化架構(gòu)平臺，實現(xiàn)計算、存儲和網(wǎng)絡(luò)的資源池化，并以此作為私有云和公共云的基礎(chǔ)。目前虛擬化平臺包含14臺高性能X86服務(wù)器、4套存儲、兩臺16 Gb SAN交換機、兩臺千兆交換機和兩臺萬兆交換機。其中，千兆交換機用于ESXI主機的管理網(wǎng)絡(luò)，萬兆交換機用于業(yè)務(wù)網(wǎng)絡(luò)和VMkernel網(wǎng)絡(luò)，兩套華為5300雙活存儲用于提供重要存儲資源，兩套DELL SC8000和SC4020主備存儲用于提供非重要存儲資源，4套存儲總?cè)萘考s200 TB，如圖5所示。VMware虛擬化平臺目前承載了BOSS系統(tǒng)、呼叫中心、工單系統(tǒng)、報表應(yīng)用、實名認(rèn)證系統(tǒng)、ESB總線、大數(shù)據(jù)應(yīng)用、掌上營銷、OA系統(tǒng)、人資系統(tǒng)和工程系統(tǒng)等業(yè)務(wù)系統(tǒng)，共計150多臺虛擬機，為新系統(tǒng)的快速上線提供了堅實的硬件平臺保障。

3.5? 數(shù)據(jù)庫一體機

數(shù)據(jù)庫一體機由計算節(jié)點、存儲節(jié)點以及分布式存儲管理軟件組成，節(jié)點之間通過高速InfiniBand網(wǎng)絡(luò)互聯(lián)，各節(jié)點均為x86架構(gòu)服務(wù)器。通過二期建設(shè)數(shù)據(jù)庫一體機共有10個節(jié)點，其中，兩個計算節(jié)點搭建ORACLE 11g，兩個計算節(jié)點搭建ORACLE 12c，6臺存儲節(jié)點每3臺做一個分布式存儲資源池，如圖6所示。存儲節(jié)點配置SSD固態(tài)盤、PCLe閃存卡和SAS硬盤，通過分布式存儲管理軟件，單臺節(jié)點可以達(dá)到20萬IOPS的性能。數(shù)據(jù)庫一體機整合了業(yè)務(wù)系統(tǒng)的ORACLE數(shù)據(jù)庫，包括報表經(jīng)分庫、大數(shù)據(jù)應(yīng)用數(shù)據(jù)庫、BOSS歷史數(shù)據(jù)庫、自助取數(shù)庫和人資庫等，云化數(shù)據(jù)庫資源，便于DBA的日常運維和管理。

3.6? 大數(shù)據(jù)平臺

大數(shù)據(jù)運營支撐平臺通過采集用戶的直播、點播和寬帶上網(wǎng)數(shù)據(jù)，結(jié)合3戶信息，進(jìn)行用戶行為分析，為廣電網(wǎng)絡(luò)產(chǎn)品開發(fā)和市場營銷提供可靠的數(shù)據(jù)基礎(chǔ)。如圖7所示，整體硬件平臺包括HADOOP集群、數(shù)據(jù)采集、應(yīng)用集群和數(shù)據(jù)庫。星環(huán)HADOOP平臺采用X86服務(wù)器搭建，包含一個主控節(jié)點、一個備控節(jié)點和12個計算存儲節(jié)點，實現(xiàn)對采集的數(shù)據(jù)進(jìn)行分布式計算。數(shù)據(jù)采集區(qū)域用于臨時存放各業(yè)務(wù)系統(tǒng)傳輸過來的數(shù)據(jù)。大數(shù)據(jù)數(shù)據(jù)庫搭建在數(shù)據(jù)庫一體機上，與報表經(jīng)分庫共享數(shù)據(jù)。應(yīng)用集群采用虛機部署，包括用戶行為分析、掌上營銷、水晶球、大屏展示等系統(tǒng)。

3.7? 異地備份

目前在泉州搭建了BOSS系統(tǒng)數(shù)據(jù)庫異地災(zāi)備平臺，采用IBM P740小型機和IBM V3700存儲的傳統(tǒng)架構(gòu)搭建DG庫，通過1 Gbps的傳輸專線將福州生產(chǎn)庫的數(shù)據(jù)同步到泉州。同時，在泉州搭建FTP服務(wù)器，將重要業(yè)務(wù)系統(tǒng)數(shù)據(jù)備份到泉州，確保數(shù)據(jù)的安全性。

3.8? 監(jiān)控平臺

監(jiān)控平臺主要包含icinga監(jiān)控軟件、華三IMC網(wǎng)管和明御安全預(yù)警平臺。Icinga軟件用于監(jiān)控主機、應(yīng)用和數(shù)據(jù)庫的性能和狀態(tài)。華三IMC網(wǎng)管用于監(jiān)控網(wǎng)絡(luò)設(shè)備的狀態(tài)和告警。明御安全預(yù)警平臺用于監(jiān)控地市專線和公網(wǎng)出口的異常攻擊行為。

4? ? 結(jié)語

福建廣電網(wǎng)絡(luò)省級IT系統(tǒng)平臺的建成，將為全省搭建一個實時、準(zhǔn)確、高效、穩(wěn)定的基礎(chǔ)平臺，為完成業(yè)務(wù)轉(zhuǎn)型及業(yè)務(wù)拓展提供有力支撐，幫助企業(yè)降低運營成本，提高運營收益。滿足未來有線業(yè)務(wù)發(fā)展、運營管理、科學(xué)決策的迫切需要，為實現(xiàn)“管理架構(gòu)集團(tuán)化、產(chǎn)業(yè)發(fā)展多元化、經(jīng)營運作市場化”的戰(zhàn)略思想奠定基礎(chǔ)，是有線行業(yè)邁向科學(xué)化、信息化運營管理的里程碑，它不僅能為業(yè)務(wù)體系的精細(xì)化管理提供有力保證，更將大大提高業(yè)務(wù)應(yīng)變能力與市場競爭力，為全面提升有線行業(yè)多業(yè)務(wù)運營和管理水平、客戶服務(wù)水平奠定堅實的基礎(chǔ)。

[參考文獻(xiàn)]

[1]譚文輝.利用VMware實現(xiàn)數(shù)據(jù)中心服務(wù)器虛擬化[J].艦船電子工程，2008（6）：162-165.

[2]奧斯本.深入理解Oracle Exadata[M].黃凱耀，張樂奕，張瑞，譯.北京：電子工業(yè)出版社，2012.

[3]蔡斌，陳湘萍.Hadoop技術(shù)內(nèi)幕深入解析Hadoop common和HDFS架構(gòu)設(shè)計與實現(xiàn)原理[M].北京：機械工業(yè)出版社，2013.