戰(zhàn)培志 關(guān)芳芳

1 江蘇省郵電規(guī)劃設(shè)計院有限責任公司；2 南京工程學院

0 引言

自2011年以來，大數(shù)據(jù)（big data）得到各界廣泛的關(guān)注，世界上各個主要國家都在大力推動大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，以搶占新一輪科技革命的制高點。我國政府近年來也出臺了一系列政策來扶持大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展，同時，國內(nèi)越來越多行業(yè)的企業(yè)也參與到了大數(shù)據(jù)技術(shù)的研發(fā)與應用中。

電信運營商作為國內(nèi)最早運用大數(shù)據(jù)技術(shù)的行業(yè)之一，其大數(shù)據(jù)運用具體情況如何，存在哪些問題，未來發(fā)展方向如何？本文對此進行了探析，為電信運營商和通信行業(yè)管理部門在該領(lǐng)域未來的建設(shè)與管理工作提供參考與借鑒。

1 國內(nèi)電信運營商大數(shù)據(jù)應用發(fā)展歷程

國內(nèi)電信運營商大數(shù)據(jù)分析與應用開展的較早。早在21世紀初期，已有國內(nèi)運營商的省級公司已開始匯聚全省業(yè)務(wù)數(shù)據(jù)開展經(jīng)營分析等應用，這可以看作是國內(nèi)電信運營商大數(shù)據(jù)應用的濫觴。至2010年，已有相當多的電信運營商省級公司開始使用數(shù)據(jù)挖掘技術(shù)進行精準營銷。在這一階段，運營商數(shù)據(jù)分析處理技術(shù)主要使用的基于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)倉庫技術(shù)，包括MPP數(shù)據(jù)庫等技術(shù)，數(shù)據(jù)挖掘工具主要使用的SAS、SPSS Clementine等，應用主要是內(nèi)部的經(jīng)營分析，精準營銷為主。該階段總的來說因為大數(shù)據(jù)的概念影響不廣，電信運營商大數(shù)據(jù)應用還處于萌芽概念。

2010年以后，國內(nèi)三大電信運營商都已開始使用Hadoop等新一代的大數(shù)據(jù)技術(shù)分析處理海量數(shù)據(jù)，大數(shù)據(jù)應用也逐步從內(nèi)部開始轉(zhuǎn)向外部：2010年，中國移動開始在集團層面做Hadoop的研究與規(guī)劃；2010年中國移動通信研究院基于Hadoop開發(fā)了“大云”（BigCloud）系統(tǒng)；2015年開始做全網(wǎng)大數(shù)據(jù)應用建設(shè)，2017年完成一期建設(shè)工程。中國電信在2010-2011年左右，一些發(fā)達的省公司如廣東、江蘇已開始試點一些大數(shù)據(jù)應用，初始應用包括使用Hbase等工具支撐用戶計費詳單查詢等；2013年中國電信相當一部分省公司都已開展了大數(shù)據(jù)應用，內(nèi)容包括使用Hive等工具改造經(jīng)分系統(tǒng)，提升經(jīng)營分析效率，嘗試對DPI數(shù)據(jù)進行存儲與分析，開展對內(nèi)對外應用等；2014年中國電信集團開始在信息化滾動規(guī)劃中要求各個省公司都開展大數(shù)據(jù)建設(shè)內(nèi)容的規(guī)劃，這標志著中國電信大數(shù)據(jù)建設(shè)應用已開始全網(wǎng)推進。中國聯(lián)通對大數(shù)據(jù)的探索源自于2010 年中國聯(lián)通數(shù)據(jù)大集中策略的提出，2012 年底，中國聯(lián)通也已經(jīng)成功將大數(shù)據(jù)和Hadoop 技術(shù)引入到移動通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)，同年成立了集團層面的數(shù)據(jù)中心，2013年進行了集團層面大數(shù)據(jù)平臺建設(shè)，2016年已經(jīng)有較強的數(shù)據(jù)采集、海量數(shù)據(jù)處理能力、平臺開放經(jīng)驗，數(shù)據(jù)規(guī)模達150PB，節(jié)點總數(shù)達到4400節(jié)點。目前，運營商大數(shù)據(jù)運營能力已逐漸成熟，已開始進入穩(wěn)定發(fā)展期。

2 典型應用領(lǐng)域與場景

國內(nèi)電信運營商大數(shù)據(jù)對內(nèi)部一些典型的建設(shè)與應用領(lǐng)域與場景如下所示：

（1）大數(shù)據(jù)基礎(chǔ)架構(gòu)集中化建設(shè)：以提升面向

大數(shù)據(jù)的匯聚能力、IT處理能力為目標，進行集中化的數(shù)據(jù)中心建設(shè)。典型如中國聯(lián)通按照M+1+N的規(guī)劃布局，在全國建設(shè)了十二個國家級的數(shù)據(jù)中心，31個省級數(shù)據(jù)中心，300多個本地網(wǎng)的數(shù)據(jù)中心。

（2）經(jīng)營分析決策系統(tǒng)建設(shè)應用：該應用為傳統(tǒng)應用，主要引入新一代大數(shù)據(jù)技術(shù)如Hive， Spark等提升傳統(tǒng)經(jīng)營分析決策系統(tǒng)數(shù)據(jù)分析的效率，通過這些技術(shù)的使用，建設(shè)面向商業(yè)運營，跨各業(yè)務(wù)/網(wǎng)元的大數(shù)據(jù)經(jīng)營分析決策平臺，構(gòu)建企業(yè)級分析決策智能中心。如某省移動公司流量運營分析系統(tǒng)，采用Hadoop集群與My SQL混搭技術(shù)架構(gòu)，2013年時即已上線超過100臺PC服務(wù)器，每天處理原始文件大小8T，生成200G數(shù)據(jù)入My SQL集群，用于支撐流量分析報表，包括終端監(jiān)控分析、業(yè)務(wù)產(chǎn)品監(jiān)控和價值分析、網(wǎng)絡(luò)監(jiān)控和分析、內(nèi)容監(jiān)控和分析、流量現(xiàn)狀和發(fā)展分析、流量套餐監(jiān)控和價值分析、客戶監(jiān)控和分析、客戶偏好分析，輔助流量業(yè)務(wù)策略制定等。其他一些典型應用還有某省電信的資源價值與能力實時分析系統(tǒng)，基于HIVE全面支撐實現(xiàn)網(wǎng)絡(luò)投資劃小核算單元的目標，實現(xiàn)資源價值的直觀展現(xiàn)和資源能力所對應價值的深入挖掘分析等。

（3）客戶精準營銷與維系應用：以提升用戶體驗、完善產(chǎn)品設(shè)計、提高客戶保有率、增強營銷效率與效果等為目標，通過專題數(shù)據(jù)分析、數(shù)據(jù)挖掘等手段，開展基于客戶洞察的精準市場營銷。該類應用涉及的場景、方法與技術(shù)手段較多，典型案例如移動某省公司采用hadoop批處理平臺+Storm實時流計算平臺+ORACLE數(shù)據(jù)庫建設(shè)的流量經(jīng)營系統(tǒng)，該系統(tǒng)通過用戶行為大數(shù)據(jù)分析形成用戶標簽庫，建立了客戶促進模型、流失預警模型、流量偏好模型、流量提升模型等一系列數(shù)據(jù)挖掘模型，可以對12580 IVR類、漫游類、URL跟蹤類等多種場景開展用戶實時營銷。

（4）網(wǎng)絡(luò)服務(wù)質(zhì)量優(yōu)化與控制應用：包括針對網(wǎng)絡(luò)的Policy View/PCRF（Policy and Charging Rules Function，策略與計費規(guī)則功能），提供實時智能化管道運營能力或提升網(wǎng)絡(luò)NPM、SQM管理能力等。典型應用如某省移動基于大數(shù)據(jù)的網(wǎng)絡(luò)資源管理和優(yōu)化應用等。

（5）客戶滿意度評估應用：改變傳統(tǒng)通過問卷進行客戶滿意度調(diào)查的方式，通過對運營商網(wǎng)絡(luò)數(shù)據(jù)、觸點服務(wù)類、CRM、行為標簽等海量客觀數(shù)據(jù)分析，準實時持續(xù)評估“全量”、“個體級”用戶滿意度及變化趨勢，及時發(fā)現(xiàn)沉默用戶服務(wù)隱患。典型應用如江蘇省郵電規(guī)劃設(shè)計院和江蘇電信合作使用Hive和隨機森林挖掘模型建立的客戶滿意度評估應用平臺等。

對外部的一些應用領(lǐng)域與場景主要有：

（1）征信/風險防控應用：利用運營商掌握的用戶身份數(shù)據(jù)、通信行為等數(shù)據(jù)，建立用戶征信風控模型，為銀行、小貸企業(yè)提供征信服務(wù)等。中國電信、中國聯(lián)通、中國移動都有相關(guān)的產(chǎn)品與服務(wù)。中國聯(lián)通提供的征信/風險防控應用產(chǎn)品包括用戶綜合信用評分、身份認證、社交關(guān)系認證、開戶情況、通信消費情況和漫游情況、 異常行為預警等功能，通過該系統(tǒng)，將小額金融貸款公司或銀行提供的客戶信息（如姓名、電話號碼、身份證號等），與系統(tǒng)內(nèi)數(shù)據(jù)資源信息比對，即可查詢該客戶的信用等信息。中國電信的系統(tǒng)除上述功能外還提供風險變化探針（貸后對貸款申請人的消費能力、還款能力等及時跟進分析、提前進行風險預警）， 風險個體追蹤（風險個體信息、位置等進行追查）等功能。

（2）對外精準營銷服務(wù)：涉及廣告、商業(yè)選址

服務(wù)、行業(yè)研究分析等，典型應用場景與案例如下。

行業(yè)研究報告咨詢服務(wù)：為企業(yè)、行業(yè)、媒體提供品牌分析、產(chǎn)品分析、消費者分析、營銷效果分析的行業(yè)報告。如中國電信的終端大數(shù)據(jù)魔方產(chǎn)品，利用掌握的用戶終端數(shù)據(jù)信息，從終端市場份額、終端發(fā)展趨勢及市場競爭度等因素洞察終端市場變化；根據(jù)客戶手機使用行為及用戶偏好行為，洞察手機市場用戶偏好，準確定位產(chǎn)品功能及特性，預測市場容量，為手機廠商提供行業(yè)分析報告、支撐終端設(shè)計及生產(chǎn)。中國聯(lián)通除向移動終端行業(yè)提供相關(guān)服務(wù)外，還向汽車行業(yè)、服裝行業(yè)及煙草行業(yè)等多個領(lǐng)域提供類似數(shù)據(jù)服務(wù)。

商業(yè)店鋪選址與戶外廣告精準投放服務(wù)：店鋪選址涉及所有需要建設(shè)實體渠道的行業(yè)，如銀行、連鎖餐飲與超市等。以運營商的移動網(wǎng)及固網(wǎng)為核心，通過電信運營商自有定位能力及從包括DPI，BOSS等接口獲取的用戶數(shù)據(jù)，可以構(gòu)建客流量、客流消費能力、客流偏好等多個維度的評估模型，協(xié)助企業(yè)高效、準確的進行商業(yè)選址。典型產(chǎn)品案例如中國電信的青鸞-商業(yè)選址產(chǎn)品。戶外廣告精準投放服務(wù)與商業(yè)店鋪選址類似，通過客流數(shù)據(jù)分析為用戶提供廣告投放選擇支持服務(wù)，如聯(lián)通在上海已試點過類似產(chǎn)品。

個體標簽類服務(wù)產(chǎn)品：運營商通過對開放信息動態(tài)數(shù)據(jù)、DPI（Deep Packet Inspection，深度報文檢測）及用戶基本信息、通信消費等數(shù)據(jù)進行分析，可建立用戶個體標簽庫。該標簽可用于RTB（Real Time Bidding，實時競價）廣告、外呼等精準營銷，如中國電信已建設(shè)DMP平臺，通過Key/Value/Service三層架構(gòu)，實現(xiàn)對RTB廣告服務(wù)商提供高并發(fā)、低延時的標簽類數(shù)據(jù)服務(wù)。

智慧城市類應用：智慧城市類應用包括智慧交通、智慧旅游、城市規(guī)劃等，主要面向政府客戶。中國電信、中國移動、中國聯(lián)通都有一系列相關(guān)產(chǎn)品，包括：為旅游管理部門提供旅游景點實時人數(shù)、來源地分析等，助力旅游宏觀管理；對重大活動提供人流預警，避免踩踏事件發(fā)生；對交通客流分析，優(yōu)化交通等。

其他對外服務(wù)與應用：其他一些對外服務(wù)與應用還包括大數(shù)據(jù)基礎(chǔ)設(shè)施提供等，包括數(shù)據(jù)中心基礎(chǔ)設(shè)施提供、高性能分布式計算硬件與軟件服務(wù)的提供等。如中國電信對外服務(wù)的大數(shù)據(jù)云平臺就包含命名為“碧璽”的資源托管服務(wù)產(chǎn)品和命名為“貔貅”的處理分析服務(wù)產(chǎn)品等；中國移動也有類似的命名為“大云”的企業(yè)大數(shù)據(jù)中心解決方案。

3 國內(nèi)電信運營商大數(shù)據(jù)建設(shè)應用存在的問題

國內(nèi)電信運營商大數(shù)據(jù)建設(shè)應用雖然如上所述已取得了很大的進步，但目前仍存在一系列問題有待解決：

（1）人才問題： 建設(shè)大數(shù)據(jù)需要企業(yè)擁有大數(shù)據(jù)技術(shù)運用能力、業(yè)務(wù)理解能力、數(shù)據(jù)洞察能力的綜合型人才（數(shù)據(jù)科學家），建立專業(yè)分工的高效團隊。雖然經(jīng)過幾年的培養(yǎng)，電信運營商已積累了一批該類人才，但總體缺口仍較缺大，未來仍需加大大數(shù)據(jù)人才培訓與引進力度。

（2）產(chǎn)業(yè)鏈問題：國內(nèi)電信運營商大數(shù)據(jù)系統(tǒng)很多由外部供應商建設(shè)，產(chǎn)業(yè)鏈環(huán)節(jié)較多，需求傳導較慢，難以適應大數(shù)據(jù)所需的快速迭代開發(fā)需求，成本與速度上與互聯(lián)網(wǎng)企業(yè)相比處于劣勢，因此建設(shè)機制需優(yōu)化。

（3）數(shù)據(jù)問題：部分國內(nèi)電信運營商大數(shù)據(jù)應用存在重、散、慢、差的問題。部分內(nèi)部數(shù)據(jù)在多個系統(tǒng)中重復采集、重復存儲；系統(tǒng)林立，數(shù)出多門，口徑不一、系統(tǒng)數(shù)據(jù)關(guān)聯(lián)、共享，數(shù)據(jù)整合困難；數(shù)據(jù)時效性差，使用者無法及時獲取所需數(shù)據(jù)；數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不完整，不一致等。

（4）部門協(xié)同問題：大數(shù)據(jù)建設(shè)與業(yè)務(wù)應用存在脫節(jié)問題。目前大數(shù)據(jù)建設(shè)多由運營商省級公司或集團公司集中建設(shè)，而使用部門則很多為地市、區(qū)縣公司與支局。建設(shè)部門與使用部門溝通不暢往往導致建設(shè)的大數(shù)據(jù)系統(tǒng)與一線實際需求存在脫節(jié)問題，如某運營商省公司建設(shè)的客戶流失預警系統(tǒng)，每月定期會使用隨機森林模型識別出可能流失客戶清單并派單給地市公司進行外呼維系，派單只有用戶號碼，并未進一步分析可能流失原因，地市公司無法據(jù)此制定針對性的外呼策略，且每月派單量遠超地市外呼維系能力，最終是地市公司從不使用該系統(tǒng)數(shù)據(jù)，導致系統(tǒng)未發(fā)揮應有功能，建設(shè)投資浪費。

（5）大數(shù)據(jù)安全問題：大數(shù)據(jù)安全與用戶隱私保護近年來得到越來越多的關(guān)注，國家已制定一系列相關(guān)法律用于保護用戶隱私。如何控制好運營商大數(shù)據(jù)采集與應用的法律風險也是一個較大的挑戰(zhàn)。

4 未來發(fā)展展望

在戰(zhàn)略層面，國內(nèi)運營商已將大數(shù)據(jù)應用與建設(shè)作為未來重要的戰(zhàn)略方向之一。中國移動在“十三五”戰(zhàn)略規(guī)劃中把大數(shù)據(jù)建設(shè)和運營作為十大戰(zhàn)略舉措中的IT能力提升工程的重點建設(shè)內(nèi)容之一；中國電信制定的中國電信戰(zhàn)略轉(zhuǎn)型3.0和企業(yè)核心能力清單中，基于云和大數(shù)據(jù)的共享平臺被視作未來七大核心能力之一；中國聯(lián)通也把大數(shù)據(jù)納入集團的重要戰(zhàn)略性業(yè)務(wù)，在原有大數(shù)據(jù)中心和智慧足跡公司等基礎(chǔ)上，規(guī)劃成立大數(shù)據(jù)公司等。因此，在未來相當長的一段時期內(nèi)，大數(shù)據(jù)建設(shè)與應用仍會是電信運營商重點開展的工作之一。

在具體的大數(shù)據(jù)應用建設(shè)管理與操作方面，對內(nèi)，電信運營商需進一步優(yōu)化組織、人員結(jié)構(gòu)、管理流程、協(xié)作機制、風險管控，解決前文所述的目前國內(nèi)電信運營商大數(shù)據(jù)建設(shè)應用中存在的問題。此外，還需根據(jù)深度學習等人工智能技術(shù)的發(fā)展，進一步引入新技術(shù)，優(yōu)化大數(shù)據(jù)平臺與架構(gòu)，并創(chuàng)造新的大數(shù)據(jù)對內(nèi)應用等。在對外應用方面，一方面電信運營商需進一步加強在市場上有競爭優(yōu)勢的大數(shù)據(jù)基礎(chǔ)設(shè)施產(chǎn)品（數(shù)據(jù)存儲服務(wù)、傳輸網(wǎng)絡(luò)環(huán)境等）的推廣力度，并通過大數(shù)據(jù)基礎(chǔ)設(shè)施服務(wù)的提供，與客戶建立更加牢固的聯(lián)系及開展更高層次的市場合作；另一方面，需抓住國家政府智慧城市、大數(shù)據(jù)、“互聯(lián)網(wǎng)+”等相關(guān)政策的關(guān)注重點，充分發(fā)揮自身的數(shù)據(jù)資源優(yōu)勢，在相關(guān)細分領(lǐng)域建設(shè)出具有特色和競爭力的大數(shù)據(jù)產(chǎn)品與品牌。