◆林艷雯

(廣東省電信規(guī)劃設計院有限公司 廣東 524000)

IT架構(gòu)在大數(shù)據(jù)時代電信運營商的轉(zhuǎn)型和演進方案

◆林艷雯

(廣東省電信規(guī)劃設計院有限公司 廣東 524000)

21世紀以來，隨著計算機網(wǎng)絡技術(shù)的快速發(fā)展，網(wǎng)絡云計算技術(shù)也更加日益成熟，其中大數(shù)據(jù)更是滲透到現(xiàn)代社會的各個領(lǐng)域，給我們的生產(chǎn)生活帶來了極大的便利。目前，由于我國網(wǎng)絡通信技術(shù)的不斷發(fā)展，每天的網(wǎng)絡終端都會產(chǎn)生龐大的網(wǎng)絡數(shù)據(jù)，數(shù)據(jù)處理壓力十分巨大，給電信運營商的IT架構(gòu)造成了巨大沖擊，但是這也間接的加快了IT架構(gòu)的轉(zhuǎn)型步伐。對此，本文對大數(shù)據(jù)時代電信運營商IT架構(gòu)的轉(zhuǎn)型及演進方案進行了重點分析和探討。

IT架構(gòu)；大數(shù)據(jù)；Hadoop；轉(zhuǎn)型和演進

0 引言

很長時間以來，電信運營商都是通過各種網(wǎng)絡數(shù)據(jù)庫來處理大量的網(wǎng)絡數(shù)據(jù)，這種處理方式在不斷運用的過程中逐漸顯現(xiàn)出很多弊端，例如處理效率低、處理內(nèi)容相對有限以及維護成本較高等缺點。此外，由于目前移動網(wǎng)絡用戶數(shù)量的激增，使網(wǎng)絡終端的數(shù)據(jù)收集和分析的壓力十分巨大，再加上當前大量的商品廠家加入到商品信息網(wǎng)絡終端上來，這些都大大增加了網(wǎng)絡數(shù)據(jù)的收集和分析難度，也給電信運營商 IT架構(gòu)帶來了巨大的挑戰(zhàn)，因此IT架構(gòu)的轉(zhuǎn)型和演進迫在眉睫[1]。對此，本文將結(jié)合目前電信運營商IT架構(gòu)的現(xiàn)狀來具體探討如何進行IT架構(gòu)的轉(zhuǎn)型和演進。

1 電信運營商的IT構(gòu)架現(xiàn)狀

先前電信運營商的 IT架構(gòu)大多都是依賴于小型機、高端磁陣以及商業(yè)數(shù)據(jù)庫來進行具體的系統(tǒng)運行?，F(xiàn)階段，經(jīng)過對運營系統(tǒng)的不斷改進，其覆蓋范圍已經(jīng)擴大到MSS、BSS、OSS等領(lǐng)域，然而目前電信運營商 IT架構(gòu)的主要運營設備為 IOE，該技術(shù)架構(gòu)存在許多問題，具體如下：

PC服務器的整合度偏低，電信運營系統(tǒng)中的大部分服務器都進行獨立運轉(zhuǎn)和部署，很難做到網(wǎng)絡資源的集中和共享。

傳統(tǒng)的IOE架構(gòu)很難進行橫向擴容且擴容的周期比較長，此外，也無法進行高效的硬件部署。

IOE等設備的保養(yǎng)及維修費用較高。由于電信運營商對于IOE設備廠商具有很大的依賴性，因此很難降低設備的保養(yǎng)及維修費用。據(jù)有關(guān)調(diào)查顯示，2013年電信IOE設備的維修保養(yǎng)費占整個IT設備維修費用的一半以上。

由于網(wǎng)絡用戶數(shù)量的激增，使得網(wǎng)絡終端的數(shù)據(jù)信息海量增長，傳統(tǒng)的網(wǎng)絡計費系統(tǒng)以及數(shù)據(jù)庫倉儲系統(tǒng)已經(jīng)無法更好的處理這些海量網(wǎng)絡信息資源。

2 IT架構(gòu)轉(zhuǎn)型原則

根據(jù)系統(tǒng)架構(gòu)可以將電信IT系統(tǒng)分為三個層次，分別為Web層、應用層以及數(shù)據(jù)層；根據(jù)電信的業(yè)務類型可以將 IT系統(tǒng)分為兩個應用類型，分別為聯(lián)機分析類應用以及聯(lián)機事務類應用。在大數(shù)據(jù)時代下，若要成功轉(zhuǎn)型電信 IT架構(gòu)，則必須要對以下三類核心平臺進行合理規(guī)劃，具體如圖1所示，分別由云資源池、Hadoop云平臺以及分布式數(shù)據(jù)庫所構(gòu)成[2]。其中，云資源池主要為Web層和應用層，用來連接相應的服務器；Hadoop云平臺屬于數(shù)據(jù)層，主要用來進行網(wǎng)絡數(shù)據(jù)的查詢和分析；分布式數(shù)據(jù)庫也屬于數(shù)據(jù)層，是聯(lián)機事務類應用的一種，主要進行數(shù)據(jù)存儲工作。整個電信IT系統(tǒng)數(shù)據(jù)庫演進路徑較為復雜，具體如圖2所示。

3 IT架構(gòu)的整體規(guī)劃和演進

3.1 IT架構(gòu)的整體規(guī)劃

3.1.1 云資源池

云資源池平臺的主要目的是進行服務器的遷移改造，其系統(tǒng)架構(gòu)如圖3所示。云資源池需要三種軟件，分別為虛擬化軟件、操作軟件以及管理軟件，其中虛擬化軟件包括商用軟件和開源軟件，由于善用軟件投資成本較大，應盡量減少對它的推廣和使用?？偟膩碚f，云資源池平臺能夠有效對網(wǎng)絡數(shù)據(jù)資源進行集約化管理，提高資源管理效率。

3.1.2 Hadoop云平臺

所謂的Hadoop只是一個數(shù)據(jù)開發(fā)和處理常用的軟件框架，其威力在于可以利用計算機集群的功能來對大量數(shù)據(jù)實現(xiàn)分布式計算，并且它可以使大數(shù)據(jù)存儲和大規(guī)模數(shù)據(jù)集并行運算的需求得到充分的滿足，其程序的實現(xiàn)通常采用Java語言。此外，在Hadoop平臺上海量數(shù)據(jù)的開發(fā)和運行處理對于用戶來說都是極為便利的，同時我們更傾向于使用性價比較高的PC服務器來作為Hadoop平臺的硬件集群，系統(tǒng)的可靠性主要利用高冗余度來保障， HDFS和MapReduce是整個Hadoop的核心，相比于其他軟件平臺，Hadoop有著明顯的優(yōu)勢，例如可靠性較高、擴展性較強和維護成本較低等。雖說Hadoop架構(gòu)下的分布式文件系統(tǒng)、離線/實時并行計算的可行性已被證明，但其應用到實際產(chǎn)品上仍存在一些技術(shù)問題，這導致市場上目前還缺乏較為成熟的可直接運營的產(chǎn)品，因此需要更多業(yè)務素質(zhì)水平較高的專業(yè)人員及技術(shù)運營體系來對其進行保障。

SUN-JDK、SSH和Hadoop等Hadoop開源軟件常被運營商拿來作為Hadoop平臺軟件架構(gòu)的基礎。圖4、表1分別描述的是一種Hadoop云平臺的系統(tǒng)架構(gòu)圖和Hadoop云平臺搭建所需的軟件列表。

圖4 Hadoop云平臺系統(tǒng)架構(gòu)圖

表1 Hadoop云平臺搭建所需的軟件列表

多租戶管理、多應用隔離情況下資源共享等功能都可以在Hadoop平臺上得到有效的實現(xiàn)，另外某些應用對于彈性資源的需求也能在此平臺上得到較好的滿足。同時，主機、平臺、應用性能數(shù)據(jù)的統(tǒng)一收集、統(tǒng)一監(jiān)控視圖和異常警告等都可通過對Hadoop的開發(fā)和界面集成來加以實現(xiàn)。但是必須再次開發(fā)現(xiàn)有管理軟件才能使平臺具備以上能力。運營商有兩種途徑可以獲取平臺的完整功能，一是可以購買已成熟的產(chǎn)品，二是運營商可以內(nèi)部組織人員來進行開發(fā)和界面集成，為了利于內(nèi)部培養(yǎng)人才以及節(jié)約投資成本，自主研發(fā)的方式更易受到電信運營商的青睞。

3.2 IT架構(gòu)的演進方案

主要從3個階段來推進運營商IT架構(gòu)的演進。首先從以下3個方面來開展近期架構(gòu)的優(yōu)化：(1)IT系統(tǒng)Web和應用服務器X86化的大力推進；(2)外圍應用的逐步剝離，減輕核心系統(tǒng)的負載；(3)技術(shù)的不成熟導致該階段不應進行核心系統(tǒng)的改造和規(guī)模化的推進[4]。其次主要從減少使用VMware等商業(yè)軟件和在Hadoop平臺上遷入 ODS及相關(guān)應用等方面來實現(xiàn)中期架構(gòu)的轉(zhuǎn)型，最后遠期架構(gòu)的轉(zhuǎn)型任務也會隨著全部商業(yè)數(shù)據(jù)庫的開源化而順利完成。

[1]張曉航.大數(shù)據(jù)時代電信運營商 IT架構(gòu)的轉(zhuǎn)型與演進方案探討[J].移動通信，2014.

[2]崇林.基于運營商大數(shù)據(jù)的互聯(lián)網(wǎng)海量用戶行為分析系統(tǒng)設計與實現(xiàn)[D].南京郵電大學，2016.

[3]郭建軍.電信運營商電子渠道互聯(lián)網(wǎng)化研究[D].江西財經(jīng)大學，2015.

[4]韓晶.大數(shù)據(jù)服務若干關(guān)鍵技術(shù)研究[D].北京郵電大學，2013.