鄧逸斌　張曉川

摘 要：數(shù)據(jù)資產(chǎn)正在各行業(yè)中催生商業(yè)價值，引起社會的第三次產(chǎn)業(yè)革命。實現(xiàn)大數(shù)據(jù)資產(chǎn)的規(guī)模變現(xiàn)、依靠大數(shù)據(jù)能力構(gòu)筑新生態(tài)環(huán)境成為電信運營商轉(zhuǎn)型的迫切訴求。該文在描述電信運營商大數(shù)據(jù)資產(chǎn)變現(xiàn)途徑和困難的基礎(chǔ)上，對其中包括跨域數(shù)據(jù)采集與整合、大數(shù)據(jù)存儲與處理、實時數(shù)據(jù)處理、數(shù)據(jù)管控等關(guān)鍵技術(shù)環(huán)節(jié)進行了探討。

關(guān)鍵詞：大數(shù)據(jù) 運營商 產(chǎn)品化數(shù)據(jù)咨詢

中圖分類號：F626 文獻標(biāo)識碼：A 文章編號：1674-098X（2014）12（a）-0046-01

隨著大數(shù)據(jù)時代的來臨，行業(yè)分工正出現(xiàn)深刻的變革，促使掌握數(shù)以億計客戶資料與通信行為大數(shù)據(jù)的電信運營商考慮與尋找嶄新的生態(tài)環(huán)境。

所謂大數(shù)據(jù)資產(chǎn)變現(xiàn)，就是通過構(gòu)筑大數(shù)據(jù)能力解決提高流程效率與降低成本、提升客戶體驗與價值、以及產(chǎn)品創(chuàng)新等關(guān)鍵業(yè)務(wù)問題，將數(shù)據(jù)分析能力轉(zhuǎn)化為競爭力。對運營商而言，其數(shù)據(jù)資產(chǎn)具有用戶量大、數(shù)據(jù)量大、數(shù)據(jù)與業(yè)務(wù)強相關(guān)、時效性強、精確性高、數(shù)據(jù)價值高等特點，實現(xiàn)大數(shù)據(jù)資產(chǎn)的運營和變現(xiàn)，對內(nèi)可以服務(wù)于業(yè)務(wù)運營決策與超細分精準(zhǔn)營銷，對外可以開拓包括廣告投放、店面經(jīng)營、企業(yè)選址、O2O位置營銷、互聯(lián)網(wǎng)精確營銷等在內(nèi)的產(chǎn)品化數(shù)據(jù)咨詢藍海，是實現(xiàn)從“電信網(wǎng)絡(luò)運營商”到“信息運營商”轉(zhuǎn)型的重要支點。

當(dāng)前從管理到技術(shù)層面，運營商要實現(xiàn)從“管理驅(qū)動運營”到“數(shù)據(jù)驅(qū)動運營”的轉(zhuǎn)變都存在許多困難，包括O域（網(wǎng)絡(luò)）/B域（計費營帳）/M域（ERP）等各域數(shù)據(jù)的割裂、數(shù)據(jù)標(biāo)準(zhǔn)化程度低、管理流程長、傳統(tǒng)IT架構(gòu)及數(shù)據(jù)策略不適應(yīng)大數(shù)據(jù)要求等，其中關(guān)鍵技術(shù)環(huán)節(jié)包括跨域數(shù)據(jù)采集與整合、大數(shù)據(jù)存儲與處理、實時數(shù)據(jù)處理以及數(shù)據(jù)管控等。

1 關(guān)鍵技術(shù)環(huán)節(jié)探討

1.1 跨域數(shù)據(jù)采集與整合

傳統(tǒng)的電信經(jīng)營分析系統(tǒng)主要處理計費清單、客戶業(yè)務(wù)訂購關(guān)系以及業(yè)務(wù)平臺使用數(shù)據(jù)，采用文件批處理的方式進行數(shù)據(jù)倉庫的ETL處理，不能適應(yīng)整合接入毫秒級的網(wǎng)絡(luò)側(cè)海量信令與位置數(shù)據(jù)的要求。因此，需采用“分布式文件存儲+分布式計算”技術(shù)，以Hadoop為基礎(chǔ)構(gòu)建端到端的云數(shù)據(jù)處理平臺，基于通用X86平臺端到端支撐ETL和主庫外匯總計算，直接對開源Hadoop平臺進行底層優(yōu)化，支持?jǐn)?shù)據(jù)的迅猛增長。

在傳統(tǒng)的B域數(shù)據(jù)（從BSS、CRM等采集）和M域數(shù)據(jù)（從ERP采集）采集平臺基礎(chǔ)上，還需實現(xiàn)對OMC/設(shè)備、參數(shù)、信令、撥測等數(shù)據(jù)的統(tǒng)一采集與管控，通過Gn口采集數(shù)據(jù)業(yè)務(wù)信令合成xDR詳單，對語音行為、位置分析則通過采集A口或MC口信令實現(xiàn)。

1.2 大數(shù)據(jù)存儲與處理

“高性能硬件+SMP數(shù)據(jù)庫”和“X86平臺+MPP數(shù)據(jù)庫”等傳統(tǒng)電信架構(gòu)具有實時性高、研發(fā)成本低、可以實現(xiàn)復(fù)雜業(yè)務(wù)邏輯等優(yōu)點，但關(guān)系數(shù)據(jù)模型固有的不能直接處理非結(jié)構(gòu)化數(shù)據(jù)的缺點導(dǎo)致其不適用于大數(shù)據(jù)環(huán)境。其中，“高性能硬件+SMP數(shù)據(jù)庫”因成本昂貴和線性擴展能力差已較少在數(shù)據(jù)倉庫環(huán)境下采用，“X86平臺+MPP數(shù)據(jù)庫”則可與Hadoop分布式系統(tǒng)（X86平臺+HDFS分布式文件系統(tǒng)）組成混搭方案，利用非關(guān)系模型編程靈活和分布式系統(tǒng)擴展能力強的優(yōu)勢支持高效低成本的系統(tǒng)搭建。

NoSQL數(shù)據(jù)庫拋棄了關(guān)系數(shù)據(jù)庫復(fù)雜的關(guān)聯(lián)操作、事務(wù)處理等功能，僅提供簡單的鍵值對（Key，Value）數(shù)據(jù)的存儲與查詢，換取高擴展性和高性能?？梢隢oSQL技術(shù)，把以寫為主數(shù)據(jù)集中在RDBS里，讀為主的數(shù)據(jù)集中在NoSQL數(shù)據(jù)庫中，主數(shù)據(jù)庫負責(zé)寫操作，從數(shù)據(jù)庫負責(zé)讀操作，通過“讀寫分離”提高海量數(shù)據(jù)處理效率。

1.3 實時數(shù)據(jù)處理

O2O位置營銷和互聯(lián)網(wǎng)營銷尤其強調(diào)從捕捉客戶網(wǎng)絡(luò)行為數(shù)據(jù)到觸發(fā)營銷推薦這一過程的時效性，運營商除了在采集、存儲與處理環(huán)節(jié)運用分布式技術(shù)減少時延外，還可引入流計算技術(shù)和內(nèi)存數(shù)據(jù)庫，通過流處理和快速緩存將行為識別與營銷推送時延縮短至分鐘級。

Storm是一種開源的分布式實時計算系統(tǒng)，可以簡單、高效、可靠地處理大量的數(shù)據(jù)流。Spark Streaming是基于Spark衍生的開源流處理工具，以類似批處理方式來處理這部分小數(shù)據(jù)。這兩種流計算技術(shù)可以應(yīng)用于營銷信息定制化推薦、電子渠道信息推送等實時營銷服務(wù)以及熱點區(qū)域用戶監(jiān)控等實時場景。內(nèi)存數(shù)據(jù)庫是將數(shù)據(jù)存儲在內(nèi)存RAM中并進行計算和查詢，充分發(fā)揮多核CPU能力的數(shù)據(jù)庫管理系統(tǒng)，其和流計算配合用于狀態(tài)和規(guī)則的存儲，可優(yōu)化客戶體驗。

2 結(jié)語

當(dāng)然，運營商大數(shù)據(jù)資產(chǎn)變現(xiàn)還需解決數(shù)據(jù)安全管控、應(yīng)用私有加密內(nèi)容識別（例如客戶微信行為是語音還是文字）等問題，任何一種單一技術(shù)都難以適應(yīng)運營商全部的數(shù)據(jù)采集、存儲、處理和對外服務(wù)的需求，大數(shù)據(jù)環(huán)境下的Hadoop、MPP、流計算、NoSQL和內(nèi)存數(shù)據(jù)庫等多種技術(shù)并存才是發(fā)展趨勢。

參考文獻

[1] Bill Franks. Taming the Big Data Tidal Wave[M].Wiley Publishing， Inc.，2012.

[2] 沈拓.電信運營商的互聯(lián)網(wǎng)戰(zhàn)略[J].中國新通信，2011（3）：35-40.

[3] 黃勇軍，馮明，丁圣勇，等.電信運營商大數(shù)據(jù)發(fā)展策略探討[J].電信科學(xué)，2013，29（3）：6-11.