溫文波

【摘要】 結(jié)合運(yùn)營(yíng)商內(nèi)部大數(shù)據(jù)系統(tǒng)建設(shè)實(shí)際經(jīng)驗(yàn)，從數(shù)據(jù)、平臺(tái)、能力、應(yīng)用等四個(gè)方面對(duì)運(yùn)營(yíng)商大數(shù)據(jù)系統(tǒng)建設(shè)提出自己的想法和意見(jiàn)，僅供參考。

【關(guān)鍵詞】 大數(shù)據(jù) hadoop 能力建設(shè)

4G時(shí)代，運(yùn)營(yíng)商“管道化”一詞開(kāi)始被頻繁提及。運(yùn)營(yíng)商與互聯(lián)網(wǎng)企業(yè)，傳統(tǒng)電信業(yè)務(wù)與OTT業(yè)務(wù)被從各個(gè)角度進(jìn)行比較，與此同時(shí)，大數(shù)據(jù)，作為運(yùn)營(yíng)商利用“管道”資源進(jìn)行自我救贖的重要舉措也開(kāi)始在各運(yùn)營(yíng)商落地、開(kāi)花。

大數(shù)據(jù)系統(tǒng)的建設(shè)，無(wú)外乎數(shù)據(jù)、平臺(tái)、能力、應(yīng)用等幾個(gè)層面，電信運(yùn)營(yíng)商作為作為網(wǎng)絡(luò)服務(wù)接入者和網(wǎng)絡(luò)內(nèi)容的承載者，在大數(shù)據(jù)系統(tǒng)建設(shè)方面有著自己的先天優(yōu)勢(shì)，同時(shí)在建設(shè)過(guò)程中也有一些針對(duì)性要求：傳統(tǒng)電信級(jí)運(yùn)營(yíng)的準(zhǔn)確、穩(wěn)定、安全的要求與互聯(lián)網(wǎng)模式所強(qiáng)調(diào)的快速、體驗(yàn)、迭代在理念上的沖突也要求電信運(yùn)營(yíng)商在大數(shù)據(jù)的建設(shè)、運(yùn)營(yíng)方面有所突破。

一、數(shù)據(jù)

相對(duì)互聯(lián)網(wǎng)企業(yè)而言運(yùn)營(yíng)商在數(shù)據(jù)來(lái)源方面具有明顯優(yōu)勢(shì)：

1、全覆蓋，運(yùn)營(yíng)商所能獲取的數(shù)據(jù)包含了行為（瀏覽、搜索、下載等）、時(shí)間、位置（基于基站的位置）甚至可能包行用戶本次瀏覽的體驗(yàn)（網(wǎng)速、掉線等）。這些數(shù)據(jù)APP只能以游走法律邊緣的形式偷偷獲?。ㄈ缡謾C(jī)識(shí)別碼、位置、通話記錄），甚至根本無(wú)法獲得（用戶本次瀏覽的體驗(yàn)），而對(duì)運(yùn)營(yíng)商而言這些都只是運(yùn)營(yíng)商提供服務(wù)所必須具備的基礎(chǔ)數(shù)據(jù)，運(yùn)營(yíng)商先天擁有這些數(shù)據(jù)。同時(shí)運(yùn)營(yíng)商能獲取用戶全天候上網(wǎng)行為數(shù)據(jù)，保證了對(duì)用戶上網(wǎng)行為數(shù)據(jù)的全面掌握，相對(duì)而言，任何APP都無(wú)法避免被關(guān)閉，甚至后臺(tái)進(jìn)程一起被關(guān)閉而無(wú)法獲取用戶任何信息的黑暗時(shí)期。

2、強(qiáng)關(guān)聯(lián)，通過(guò)IMEI這個(gè)天然的“關(guān)鍵字”，所有用戶的上網(wǎng)行為可以被明確地關(guān)聯(lián)至準(zhǔn)確的用戶，避免了cookie存在的已識(shí)別用戶丟失的問(wèn)題；通過(guò)LAC和CI，用戶的位置等信息可以被準(zhǔn)確關(guān)聯(lián)致小區(qū)、基站，對(duì)用戶“在哪兒”做什么的跟蹤也變得非常容易。

3、多維度，運(yùn)營(yíng)上不僅有用戶的上網(wǎng)行為數(shù)據(jù)，還有用戶的通話、繳費(fèi)等傳統(tǒng)營(yíng)帳數(shù)據(jù)數(shù)據(jù)，有投訴、咨詢等客服數(shù)據(jù)。能全面刻畫用戶視圖。

在我們的系統(tǒng)建設(shè)過(guò)程中，我們首先考慮的是DPI數(shù)據(jù)（Gn口）、信令數(shù)據(jù)（電路域（A口、IuCS）及數(shù)據(jù)域（Gb、IuPS））的獲取。通過(guò)Gn口數(shù)據(jù)，我們對(duì)用戶LAC、CI、流量類型、應(yīng)用IP地址、流量、時(shí)長(zhǎng)等信息進(jìn)行解析；通過(guò)信令數(shù)據(jù)，我們對(duì)用戶LAC、CI、呼叫次數(shù)、是否成功等信息進(jìn)行解析。同時(shí)，BOSS重要數(shù)據(jù)也被一并接入，力圖從上網(wǎng)行為、通話行為、繳費(fèi)行為、位置、投訴、終端等各種維度客戶用戶畫像。

二、平臺(tái)

籠統(tǒng)而言電信運(yùn)營(yíng)商對(duì)平臺(tái)的需求至少包含以下幾個(gè)方面：

1、穩(wěn)定：底層可升級(jí)，確保底層平臺(tái)的延續(xù)性。盡可能采用開(kāi)源版本，減少運(yùn)維壓力；2、易用：屏蔽hadoop底層技術(shù)難點(diǎn)，運(yùn)營(yíng)商可集中精力處理能力實(shí)現(xiàn)、應(yīng)用支持等核心問(wèn)題；3、可視化：元數(shù)據(jù)管理、任務(wù)管理、運(yùn)行監(jiān)控、資源分配等操作盡可能采用可視化操作；常用挖掘算法、工具的調(diào)用，重點(diǎn)數(shù)據(jù)源的引用均應(yīng)盡可能以可視化方式實(shí)現(xiàn)；4、自動(dòng)：任務(wù)分布式依賴與調(diào)度，減少人工干預(yù)；5、數(shù)據(jù)生命周期管理：數(shù)據(jù)保存周期的自動(dòng)維護(hù)、歸檔和清理；6、多租戶：數(shù)據(jù)的隔離與訪問(wèn)控制以確保安全，避免在ETL、數(shù)據(jù)初加工、建模、能力建設(shè)等任何環(huán)節(jié)被綁定于一個(gè)供應(yīng)商；7、安全共享：實(shí)現(xiàn)自動(dòng)數(shù)據(jù)脫敏、日志、審計(jì)等；

目前市場(chǎng)上主流的大數(shù)據(jù)平臺(tái)主要有hadoop（開(kāi)源）、Greenplum、Vertica等；Hadoop 分布式計(jì)算平臺(tái)是Hadoop 采用開(kāi)源模式，以分散存儲(chǔ)和并行計(jì)算為基礎(chǔ)的分布式計(jì)算平臺(tái)，利用低成本的通用計(jì)算設(shè)備（PC）組成大型集群，構(gòu)建下一代具備高性能的海量數(shù)據(jù)分布式計(jì)算服務(wù)平臺(tái)，其由hdfs支持的分散存儲(chǔ)、由map/reduce實(shí)現(xiàn)的并行計(jì)算、由hive實(shí)現(xiàn)的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，hdaoop很好地支持了超大規(guī)模數(shù)據(jù)存儲(chǔ)能力、高性能分布式處理、數(shù)據(jù)可靠性保障、系統(tǒng)的水平擴(kuò)展，其主要問(wèn)題在于不支持聯(lián)機(jī)事務(wù)分析及相對(duì)陡峭的學(xué)習(xí)曲線?？紤]到GP等昂貴的license費(fèi)用、對(duì)最前沿技術(shù)跟進(jìn)的相對(duì)滯后，hadoop無(wú)疑是最好的選擇。為解決學(xué)習(xí)曲線陡峭的問(wèn)題，我們?cè)诨A(chǔ)平臺(tái)上建設(shè)了基礎(chǔ)平臺(tái)管理系統(tǒng)，實(shí)現(xiàn)對(duì)基礎(chǔ)平臺(tái)的圖形化、可視化管理；建設(shè)了數(shù)據(jù)管理系統(tǒng)實(shí)現(xiàn)對(duì)元數(shù)據(jù)、數(shù)據(jù)安全、訪問(wèn)控制等的管理。在很好地利用了開(kāi)源性、多租戶、安全、穩(wěn)定等平臺(tái)優(yōu)勢(shì)的同時(shí)，實(shí)現(xiàn)了易用性、可視化。

三、能力

電信運(yùn)營(yíng)商的大數(shù)據(jù)能力建設(shè)至少應(yīng)該包括以下2個(gè)方面：建模/挖掘能力、數(shù)據(jù)開(kāi)放能力。

就建模、挖據(jù)能力而言，大數(shù)據(jù)價(jià)值的最終來(lái)源并不在于其龐大的基礎(chǔ)數(shù)據(jù)量，而在于數(shù)據(jù)之間若有若無(wú)的微妙聯(lián)系以及在此基礎(chǔ)上的數(shù)據(jù)關(guān)聯(lián)的模式；在于各數(shù)據(jù)圖層疊加的過(guò)程中凸顯的數(shù)據(jù)之間的相互聯(lián)系，這方面，“啤酒與尿布”的故事很能說(shuō)明問(wèn)題。

在內(nèi)部，我們綜合了在網(wǎng)時(shí)長(zhǎng)、客服接觸情況、通信圈變?cè)?、呼轉(zhuǎn)等數(shù)據(jù)，對(duì)用戶的穩(wěn)定度進(jìn)行評(píng)估，最終的求準(zhǔn)率達(dá)到85%以上，達(dá)到了較好的效果。

對(duì)外，我們綜合了用戶通話消費(fèi)情況、交往圈情況、搜索情況、訪問(wèn)重點(diǎn)網(wǎng)商的情況，對(duì)用戶的綜合消費(fèi)能力進(jìn)行評(píng)估，使用過(guò)程中滿意度也較高。

就數(shù)據(jù)開(kāi)放能力而言，無(wú)論大數(shù)據(jù)分析、挖據(jù)的結(jié)果含金量有多高，最終能讓這種價(jià)值得到體現(xiàn)的是數(shù)據(jù)的開(kāi)放能力，數(shù)據(jù)的開(kāi)放能力至少包含了三種能力“個(gè)體數(shù)據(jù)脫敏輸出的能力”、“報(bào)告性質(zhì)的二維數(shù)據(jù)輸出的能力”、“數(shù)據(jù)魔方等三維數(shù)據(jù)輸出的能力”；

其中，最為敏感的是個(gè)體數(shù)據(jù)的脫敏輸出，對(duì)個(gè)體數(shù)據(jù)的利用無(wú)法避免公眾對(duì)自身信息安全的疑慮、國(guó)家法律對(duì)個(gè)人隱私保護(hù)等問(wèn)題。對(duì)此，互聯(lián)網(wǎng)公司一般采用cookie而不是個(gè)人物理信息關(guān)聯(lián)的辦法避免碰觸法律紅線；在運(yùn)營(yíng)商內(nèi)部，手機(jī)號(hào)碼、用戶/客戶編號(hào)無(wú)疑是最便捷的數(shù)據(jù)關(guān)聯(lián)方式，但是在與外界進(jìn)行數(shù)據(jù)交換的時(shí)候，IMEI等必將被啟用作數(shù)據(jù)交換過(guò)程中唯一識(shí)別碼，在此過(guò)程中，如何保證數(shù)據(jù)的完全脫敏就成為很大的問(wèn)題；

人群熱力分布、特定人群消費(fèi)能力評(píng)估等作為評(píng)估報(bào)告進(jìn)行輸出，在輸出報(bào)告的過(guò)程中，個(gè)體信息不會(huì)被顯示出來(lái)，因此個(gè)體數(shù)據(jù)相對(duì)安全，審計(jì)、日志等手段就成為保證群體性數(shù)據(jù)安全的必要手段。

四、應(yīng)用

電信運(yùn)營(yíng)商的大數(shù)據(jù)應(yīng)用場(chǎng)景基本可以歸為三類

精準(zhǔn)化營(yíng)銷/維系：通過(guò)對(duì)用戶行為、特征、愛(ài)好的準(zhǔn)確刻畫，達(dá)到減少客戶接觸次數(shù)、提升接觸效果（營(yíng)銷/挽留）的目標(biāo)。隨著目標(biāo)人群手機(jī)飽和度越來(lái)越大（部分甚至已經(jīng)大于100%），各運(yùn)營(yíng)商也逐漸將運(yùn)營(yíng)重點(diǎn)從新增市場(chǎng)轉(zhuǎn)向存量市場(chǎng)，在存量市場(chǎng)中，對(duì)客戶體驗(yàn)、客戶需求的準(zhǔn)確把握并提出針對(duì)性的營(yíng)銷、維系案尤為重要。某運(yùn)營(yíng)商曾對(duì)用戶的客服電話主動(dòng)撥打行為和離網(wǎng)行為進(jìn)行關(guān)聯(lián)分析，結(jié)果發(fā)現(xiàn)，主動(dòng)撥打客服電話人群在后續(xù)3-6個(gè)月內(nèi)離網(wǎng)概率大幅增加，撥打次數(shù)的上升會(huì)使離網(wǎng)趨勢(shì)急劇上升。這種關(guān)聯(lián)，對(duì)后續(xù)的維系服務(wù)無(wú)疑具有極重要的導(dǎo)向性意義。

提升運(yùn)營(yíng)效能：基于大數(shù)據(jù)的網(wǎng)絡(luò)效益、業(yè)務(wù)體驗(yàn)、網(wǎng)絡(luò)投資等指標(biāo)綜合優(yōu)化，達(dá)到優(yōu)化投資、提升運(yùn)營(yíng)效能的目標(biāo)。大數(shù)據(jù)時(shí)代，對(duì)網(wǎng)絡(luò)質(zhì)量的指標(biāo)要求從撥測(cè)、探針取數(shù)轉(zhuǎn)向客戶的實(shí)際體驗(yàn)的數(shù)據(jù)模擬，這種模擬包含了CS/PS海量數(shù)據(jù)還原，也包含了通過(guò)用戶上網(wǎng)行為對(duì)用戶體驗(yàn)的反向定位。由此得出的基礎(chǔ)數(shù)據(jù)，對(duì)運(yùn)營(yíng)商的網(wǎng)絡(luò)布局、網(wǎng)絡(luò)優(yōu)化無(wú)疑都至關(guān)重要，針對(duì)性的網(wǎng)優(yōu)和網(wǎng)絡(luò)布點(diǎn)可以很大程度上優(yōu)化投資、提升運(yùn)營(yíng)效能。

數(shù)據(jù)變現(xiàn)：即以脫敏數(shù)據(jù)、綜合報(bào)告等形式交付數(shù)據(jù)，實(shí)現(xiàn)經(jīng)濟(jì)收益、社會(huì)效益、數(shù)據(jù)交換收益。在RTB整個(gè)產(chǎn)業(yè)鏈中，運(yùn)營(yíng)商所能扮演的DMP或者CSP角色就很能說(shuō)明運(yùn)營(yíng)商所掌握數(shù)據(jù)在整個(gè)產(chǎn)業(yè)鏈中的價(jià)值。熱力圖、人群報(bào)告等社會(huì)管理中亦有及重要的意義。某運(yùn)營(yíng)商在重大賽事期間所提供的運(yùn)動(dòng)場(chǎng)館附近人群實(shí)時(shí)熱力分布為主辦方了解整體狀況、確保安全提供了基礎(chǔ)信息保障。

搭建延展性好、延續(xù)性佳的平臺(tái)，盡可能匯聚數(shù)據(jù)并在此基礎(chǔ)上針對(duì)性建模、挖掘，并將結(jié)果內(nèi)向與外向輸出，以實(shí)現(xiàn)數(shù)據(jù)價(jià)值。這就是筆者從事運(yùn)營(yíng)商大數(shù)據(jù)系統(tǒng)建設(shè)的最大體會(huì)。