吳怡 陸圣師

摘 ? 要：隨著無線通信技術(shù)和移動互聯(lián)網(wǎng)的快速發(fā)展，用戶的需求逐漸呈現(xiàn)多樣化和個性化，電信行業(yè)數(shù)據(jù)也出現(xiàn)了爆發(fā)式增長，能否有效分析和利用這些數(shù)據(jù)，成為市場競爭的關(guān)鍵。本文主要以中國移動海南公司搭建的大數(shù)據(jù)公共服務(wù)平臺為切入點(diǎn)，基于網(wǎng)絡(luò)運(yùn)營數(shù)據(jù)，介紹了平臺框架和相關(guān)技術(shù)，最后闡述了電信運(yùn)營商大數(shù)據(jù)在交通、旅游、治安、教育、海洋等方面的應(yīng)用。

關(guān)鍵詞：電信 ?大數(shù)據(jù) ?運(yùn)營 ?數(shù)據(jù)分析

中圖分類號：TP302 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1674-098X（2019）08（a）-0144-04

Abstract： With the rapid development of wireless communication technology and Internet， the diversification and individualization of user demands has led to the explosive growth of data in the telecommunications industry. Whether these data can be effectively utilized and analyzed becomes the key to market competition. Based on network operational data， the paper takes the big data public service platform to produce platform framework and related technologies in China Mobile Hainan. Finally， the paper introduces the applications of telecom big data in the transportation， tourism， public security， education， oceans etc.

Key Words： Telecom; Big data; Operation; Data analysis

隨著無線通信技術(shù)、互聯(lián)網(wǎng)技術(shù)、以及物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，智能終端也變得越來越普及，智能化和信息化的溝通、娛樂、辦公方式促使了大數(shù)據(jù)時代的來臨[1]。在這個信息為王的時代，電信運(yùn)營商自身以其獨(dú)特的天然優(yōu)勢，擁有著海量的用戶數(shù)據(jù)，這些數(shù)據(jù)資源可以為運(yùn)營商在市場營銷、業(yè)務(wù)管理、需求分析等方面提供科學(xué)的判斷依據(jù)。因此，誰能夠在這個新環(huán)境下有效地利用這些數(shù)據(jù)，就能在市場中把握先機(jī)。電信數(shù)據(jù)雖然在質(zhì)量上面還存在一些缺陷，但是相對于其他數(shù)據(jù)，電信大數(shù)據(jù)仍然具有其自身獨(dú)特的優(yōu)勢和發(fā)展?jié)摿2]。電信大數(shù)據(jù)的優(yōu)勢可以體現(xiàn)在以下三個方面：（1）大體量：極高的用戶覆蓋率、大規(guī)模的用戶量、以及全面的業(yè)務(wù)類型、日均數(shù)據(jù)量可達(dá)到T級別;（2）多樣性：數(shù)據(jù)維度多樣，以不同的事件參數(shù)或周期來記錄用戶行為，刻畫更加立體和全面;（3）時效性：在很小的時間粒度下，快速處理、采集、記錄用戶行為，并實(shí)時進(jìn)行統(tǒng)計運(yùn)算和分析。因此，運(yùn)營商可以通過對海量電信數(shù)據(jù)的全量采集、實(shí)時監(jiān)測、安全管控、多元分析，打造新洞察能力，并融合現(xiàn)有的交通、電力、教育、旅游等行業(yè)數(shù)據(jù)，從而提供網(wǎng)絡(luò)大數(shù)據(jù)公共服務(wù)。

本文的結(jié)構(gòu)如下：第2節(jié)，描述大數(shù)據(jù)公共服務(wù)平臺架構(gòu);第3節(jié)，在平臺架構(gòu)的基礎(chǔ)上，介紹了大數(shù)據(jù)公共服務(wù)平臺關(guān)鍵技術(shù);第4節(jié)，給出了大數(shù)據(jù)公共服務(wù)平臺應(yīng)用舉例;最后，總結(jié)全文。

1 ?大數(shù)據(jù)公共服務(wù)平臺架構(gòu)

本文以中國移動海南公司搭建的大數(shù)據(jù)公共服務(wù)平臺為例，以功能模塊的形式來分析該平臺的主要架構(gòu)。該大數(shù)據(jù)服務(wù)平臺主要可以分為三個模塊：數(shù)據(jù)管理模塊、算法分析模塊、以及公眾服務(wù)模塊，如圖1所示。

1.1 數(shù)據(jù)管理模塊

數(shù)據(jù)管理模塊不但需要對移動通信領(lǐng)域的各類用戶和業(yè)務(wù)數(shù)據(jù)進(jìn)行采集、處理、以及整合，還需要提供各類數(shù)據(jù)的接入和分析的接口，為上層的算法分析模塊做準(zhǔn)備。此外，該模塊還必須兼?zhèn)鋽?shù)據(jù)存儲、維護(hù)和管理的工作。

1.1.1 數(shù)據(jù)采集

數(shù)據(jù)采集的首要工作是根據(jù)大數(shù)據(jù)服務(wù)的需求來確定目標(biāo)客戶、數(shù)據(jù)范圍、采集目標(biāo)、以及調(diào)度安排[3]。其次，該模塊需要負(fù)責(zé)將不同平臺采集的各類數(shù)據(jù)進(jìn)行提取、分解、轉(zhuǎn)換等操作，并匯總到數(shù)據(jù)處理模塊中。本平臺數(shù)據(jù)采集主要分為兩個方面，一是中國移動海南公司自身的平臺優(yōu)勢，直接從集中性能平臺接入和采集2/3/4G信令、MRO、GPRS、網(wǎng)管數(shù)據(jù)、交易數(shù)據(jù)等原始數(shù)據(jù);二是根據(jù)不同的公眾服務(wù)，與相關(guān)行業(yè)進(jìn)行合作來獲取用戶和行業(yè)數(shù)據(jù)，例如交通、電力、教育、旅游、治安、海洋等業(yè)務(wù)數(shù)據(jù)。為了滿足不同的數(shù)據(jù)需求，數(shù)據(jù)采集主要是通過DPI識別技術(shù)、智能爬蟲技術(shù)、實(shí)時采集、人工測量等方式。

1.1.2 數(shù)據(jù)處理

經(jīng)過不同接口機(jī)輸入的數(shù)據(jù)，由于采集的海量數(shù)據(jù)具有不同的格式、特征、粒度、來源等，因此數(shù)據(jù)處理模塊首先必須具有存儲和處理不同類型數(shù)據(jù)的能力。首先，本服務(wù)平臺使用Hadoop實(shí)現(xiàn)分布式的數(shù)據(jù)云計算和共享服務(wù)[4]。其次，使用HDFS、Hive、Zookeeper、HBase、Sqoop、Spark等數(shù)據(jù)庫來處理和分析不同類型、規(guī)模和來源的用戶數(shù)據(jù)，如LTE、MC、CSFB、Volte、DPI、GN等數(shù)據(jù)。最后，根據(jù)數(shù)據(jù)處理場景的特點(diǎn)，使用Kafka和Strom等組件實(shí)現(xiàn)數(shù)據(jù)的批處理和流處理。

數(shù)據(jù)處理模塊還需要根據(jù)具體的需求，進(jìn)行不同維度的數(shù)據(jù)整合，如時間、業(yè)務(wù)場景、粒度等。數(shù)據(jù)整合主要的操作步驟可以分為：數(shù)據(jù)清洗、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)計算、以及數(shù)據(jù)的標(biāo)準(zhǔn)化等操作。數(shù)據(jù)清洗可以濾除不完整和錯誤數(shù)據(jù);數(shù)據(jù)關(guān)聯(lián)可以將不同來源和種類的數(shù)據(jù)通過相同的標(biāo)簽進(jìn)行捆綁分析;數(shù)據(jù)標(biāo)準(zhǔn)化可以實(shí)現(xiàn)多種數(shù)據(jù)之間的比較和計算，為數(shù)據(jù)挖掘做準(zhǔn)備。

1.2 算法分析模塊

算法分析模塊主要是根據(jù)數(shù)據(jù)處理模塊輸入的數(shù)據(jù)從不同維度、層次、以及內(nèi)容上進(jìn)行挖掘，從而對客戶行為進(jìn)行分析，為上層應(yīng)用提供科學(xué)的支撐和服務(wù)。

數(shù)據(jù)挖掘是依賴現(xiàn)有的用戶數(shù)據(jù)，對用戶的已有行為進(jìn)行分析，從而預(yù)測用戶下一步行為和隱藏的需求。本平臺主要挖掘和分析用戶屬性數(shù)據(jù)、通信數(shù)據(jù)、位置信息數(shù)據(jù)、時間特征數(shù)據(jù)、以及頻率統(tǒng)計、上網(wǎng)數(shù)據(jù)等來分析用戶的通信行為、上網(wǎng)行為、用戶偏好等[5]?；诨A(chǔ)數(shù)據(jù)，本平臺利用聚類分析[6]、決策樹、回歸分析、統(tǒng)計分析[7]等數(shù)據(jù)分析方法來發(fā)現(xiàn)數(shù)據(jù)規(guī)律和現(xiàn)象，從而提供決策的量化依據(jù)。例如，本平臺根據(jù)用戶的小區(qū)信息以及接收的信號強(qiáng)度計算出用戶位置，并持續(xù)觀察和統(tǒng)計大量的用戶位置信息?；诖髷?shù)據(jù)信息，利用聚類分析算法得到人流的習(xí)慣路線，并結(jié)合數(shù)據(jù)庫中的道路規(guī)劃數(shù)據(jù)，實(shí)現(xiàn)智能交通管控。

1.3 公眾服務(wù)模塊

數(shù)據(jù)通過算法分析模塊之后，公眾服務(wù)模塊需要將客戶所關(guān)心的分析結(jié)果通過一站式的WEB服務(wù)展示出來。由于公眾服務(wù)模塊與用戶直接接觸，因此界面必須實(shí)現(xiàn)直接、簡潔、美觀、友好。本平臺中公眾服務(wù)模塊主要包括的服務(wù)有公共交通、社會治安、海南旅游、社會民生、海洋漁業(yè)、以及國漫分析，因此可以對公共事業(yè)管理提供更深層次的支撐。

2 ?大數(shù)據(jù)公共服務(wù)平臺關(guān)鍵技術(shù)

在大數(shù)據(jù)公共服務(wù)平臺的功能模塊的基礎(chǔ)上，該平臺主要涉及的關(guān)鍵技術(shù)有智能化網(wǎng)絡(luò)爬蟲技術(shù)、數(shù)據(jù)處理存儲技術(shù)、數(shù)據(jù)挖掘技術(shù)。

2.1 智能網(wǎng)絡(luò)爬蟲技術(shù)

中國移動海南公司獨(dú)立研發(fā)的智能網(wǎng)絡(luò)爬蟲技術(shù)，可以達(dá)到實(shí)時與全面進(jìn)行兼顧的目的，全方位監(jiān)控全網(wǎng)，重點(diǎn)網(wǎng)站15min發(fā)現(xiàn)輿情并上報。本平臺使用分布式爬蟲服務(wù)器集群，并結(jié)合Kafka來實(shí)現(xiàn)任務(wù)隊(duì)列的對接，平臺可以實(shí)現(xiàn)對人工定義的20萬重點(diǎn)站點(diǎn)中的新聞、論壇、博客 、微博、微信等信息以及全國主要平面媒體電子版的快速全面的抓取。其次，平臺根據(jù)抓取的頁面信息，結(jié)合深度學(xué)習(xí)算法去智能化地提取網(wǎng)頁價值信息[8]，如標(biāo)題、時間等，無需再手動規(guī)定規(guī)則。雖然智能化解析會存在一定的差錯，但是卻可以大大地提高工作效率，這對于體量如此之大的電信數(shù)據(jù)來說是非常重要的。此外，該爬蟲技術(shù)還支持多編碼（如GBK 、UTF-8、BIG等）和多語言，并能抓取境外網(wǎng)站信息、封閉系統(tǒng)等信息。

2.2 數(shù)據(jù)處理存儲技術(shù)

由于電信數(shù)據(jù)的來源和種類都非常豐富，因此數(shù)據(jù)挖掘的過程中常常面臨上百TB甚至PB的異構(gòu)數(shù)據(jù)[9]，因此需要一套完善的數(shù)據(jù)處理和存儲機(jī)制來保證數(shù)據(jù)挖掘的正確性。本平臺主要分為流處理（實(shí)時數(shù)據(jù)）和批處理（統(tǒng)計數(shù)據(jù)），從而實(shí)現(xiàn)不同數(shù)據(jù)需求。

流處理：數(shù)據(jù)接口機(jī)接入數(shù)據(jù)采集模塊發(fā)送過來的數(shù)據(jù)，經(jīng)過SendKafka服務(wù)將數(shù)據(jù)發(fā)送到Kafka集群，并根據(jù)數(shù)據(jù)類型做數(shù)據(jù)分區(qū)及負(fù)載均衡，最后Storm集群主動拉取Kafka中的數(shù)據(jù)，從而實(shí)現(xiàn)實(shí)時數(shù)據(jù)的獲取。

批處理：數(shù)據(jù)接口機(jī)接入數(shù)據(jù)采集模塊發(fā)送過來的數(shù)據(jù)，經(jīng)過HDFS分布式文件系統(tǒng)分別發(fā)送到MapReduce、HIVE＼TEZ、以及Spark存儲系統(tǒng)中。由于MapReduce適用于大規(guī)模的數(shù)據(jù)分析和運(yùn)算，因此MapReduce將數(shù)據(jù)進(jìn)行大批量的計算后，加載到適合毫秒級查詢的Hbase中，這里主要用來存取爬蟲數(shù)據(jù)。經(jīng)過HIVE＼TEZ和Spark處理后的數(shù)據(jù)共同傳送到Sqoop數(shù)據(jù)庫，最后Sqoop把需要展示的指標(biāo)數(shù)據(jù)同步到傳統(tǒng)數(shù)據(jù)庫中。

2.3 數(shù)據(jù)挖掘技術(shù)

本平臺涉及到的聚類算法有聚類分析、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計分析、關(guān)聯(lián)規(guī)則、回歸分析等。

聚類分析可以根據(jù)指定的維度，對不同的觀察對象按照相似度進(jìn)行群組劃分，被分為同一群組的對象認(rèn)為具有較高的相似性，不在同一組的對象則認(rèn)為具有很高的相異度[10]。在本平臺中，聚類分析常常用來分析人流的聚集情況，用戶的異常行為，常住人口的變化情況等。

神經(jīng)網(wǎng)絡(luò)算法具有大規(guī)模批量處理的特點(diǎn)，具有良好的容錯性、自適應(yīng)性，只要輸入的數(shù)據(jù)夠多，它就可以給出足夠精確的分析結(jié)果。例如，在本大數(shù)據(jù)平臺上，可以使用神經(jīng)網(wǎng)絡(luò)針對用戶的上網(wǎng)行為和通話行為對用戶進(jìn)行分類，不同標(biāo)簽的用戶代表對運(yùn)營商的忠誠度。此算法不但可以預(yù)測潛在的流失用戶，還可以根據(jù)用戶的不同標(biāo)簽準(zhǔn)確地評價用戶流失的原因。

在本平臺中，統(tǒng)計分析主要指的是展示數(shù)據(jù)信息，統(tǒng)計數(shù)據(jù)的特征值（平均值、眾數(shù)等），對比數(shù)據(jù)變化程度，異常值報警等。通過對網(wǎng)絡(luò)核心數(shù)據(jù)的實(shí)時跟蹤，網(wǎng)管人員可以隨時了解網(wǎng)絡(luò)運(yùn)行情況，并對突發(fā)情況做出及時反應(yīng)。

3 ?大數(shù)據(jù)公共服務(wù)平臺應(yīng)用舉例

基于大數(shù)據(jù)公共服務(wù)平臺目前已經(jīng)投入使用，并對用戶面數(shù)據(jù)、信令面數(shù)據(jù)、以及軟測數(shù)據(jù)等進(jìn)行了深入的挖掘和分析。目前該大數(shù)據(jù)公共服務(wù)平臺已經(jīng)服務(wù)于交通、電力、教育、旅游、治安、海洋等行業(yè)，本文以交通和治安為例進(jìn)行分析。

在交通行業(yè)方面，數(shù)據(jù)分析的主要來源是道路規(guī)劃數(shù)據(jù)，人流習(xí)慣線路，以及出行習(xí)慣方式。其中，人流習(xí)慣線路是對用戶的位置信息進(jìn)行數(shù)據(jù)挖掘得到，出行習(xí)慣方式和道路規(guī)劃數(shù)據(jù)是通過相關(guān)資料和調(diào)查得到。在平臺中，交通擁堵重點(diǎn)防治地區(qū)，主要防治線路人流擁堵情況都可以通過GIS直觀展現(xiàn)，可以實(shí)現(xiàn)分鐘級的道路擁堵預(yù)警，如圖2所示。此外，該平臺還可以實(shí)現(xiàn)交通肇事路段實(shí)時呈現(xiàn)、交通事故發(fā)生路段擁堵示警、交通事故頻發(fā)路段預(yù)警、上下班高峰路線預(yù)警、公共交通熱度實(shí)時在線呈現(xiàn)、公共交通集中路段、時段示警、叫車行為熱度實(shí)時在線呈現(xiàn)、叫車集中路段、時段示警等功能。

在治安方面，主要從騷擾電話、聚眾突發(fā)事件、以及治安案件三方面對社會治安進(jìn)行維護(hù)。該平臺已經(jīng)實(shí)現(xiàn)了準(zhǔn)實(shí)時呈現(xiàn)人群快速聚集區(qū)域，并對30min以內(nèi)驟增100人以上的區(qū)域進(jìn)行告警呈現(xiàn)，對聚眾鬧事等突發(fā)治安事件提供預(yù)警支撐，人群驟增區(qū)域預(yù)警如圖3所示。該平臺還可以實(shí)現(xiàn)地圖上直觀展現(xiàn)歷史報案頻發(fā)區(qū)域，重點(diǎn)區(qū)域人流變化預(yù)警染色，展現(xiàn)歷史消防敏感區(qū)域，騷擾電話統(tǒng)計等。

目前該大數(shù)據(jù)平臺主要還是側(cè)重于服務(wù)客戶方面，因此該平臺的服務(wù)可以從深度和廣度方面進(jìn)行完善。運(yùn)營商憑借自身的優(yōu)勢，可以獲得用戶多維度的數(shù)據(jù)，因此大數(shù)據(jù)服務(wù)平臺可以提供的服務(wù)也不止于此，不但還可以延伸到醫(yī)療、金融、社交等行業(yè)，還可以根據(jù)客戶特點(diǎn)推出相關(guān)周邊產(chǎn)品和增值業(yè)務(wù)，實(shí)現(xiàn)精準(zhǔn)營銷。就深度而言，大數(shù)據(jù)平臺還可以對數(shù)據(jù)進(jìn)行深入挖掘，這就不僅需要對單維數(shù)據(jù)進(jìn)行分析，還需要對不同維度之間的關(guān)聯(lián)性進(jìn)行挖掘，更加精準(zhǔn)地預(yù)測用戶行為和特征，有利于提高用戶體驗(yàn)，增加客戶粘性。

4 ?結(jié)語

隨著數(shù)字化和智能化時代的到來，傳統(tǒng)的運(yùn)營商也面臨了前所未有的挑戰(zhàn)。在這個數(shù)據(jù)爆炸的社會，運(yùn)營商憑借自身優(yōu)勢管理著大量的用戶數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。中國移動海南公司利用電信大數(shù)據(jù)搭建了一套完整的大數(shù)據(jù)公共服務(wù)平臺，該平臺主要分為數(shù)據(jù)管理模塊、算法分析模塊以及公眾服務(wù)模塊。該平臺利用大量的大數(shù)據(jù)采集、數(shù)據(jù)處理技術(shù)以及數(shù)據(jù)挖掘技術(shù)，為海南公共交通、社會治安、海南旅游、社會民生、海洋漁業(yè)等方面提供了智能化的管理方法，助力政府實(shí)現(xiàn)數(shù)字化、智能化、智慧化管理。

參考文獻(xiàn)

[1] 王文學(xué)，陳天池，徐海燕.大數(shù)據(jù)在電信行業(yè)的應(yīng)用研究[J].信息通信，2019（3）：241-243.

[2] 韓玉輝，高潔，成晨.電信大數(shù)據(jù)在交通行業(yè)的應(yīng)用探討[J].郵電設(shè)計技術(shù)，2018（10）：15-19.

[3] 李冰，孫鵬.電信行業(yè)大數(shù)據(jù)應(yīng)用分析及實(shí)例展示[J].山東通信技術(shù)，2017，37（2）：35-36.

[4] 劉曉波.通信運(yùn)營企業(yè)大數(shù)據(jù)平臺的建設(shè)探究[J].通訊世界，2019，26（5）：111-112.

[5] 周彬.數(shù)據(jù)挖掘在天津聯(lián)通內(nèi)部審計中的應(yīng)用研究[D].天津大學(xué)，2017.

[6] 姚黎強(qiáng).大數(shù)據(jù)在運(yùn)營商中的應(yīng)用[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2018，31（9）：56-59.

[7] 葉倩.大數(shù)據(jù)技術(shù)及其在通信領(lǐng)域的應(yīng)用[J].中國新通信，2019，21（7）：38.

[8] 楊心紅.移動互聯(lián)網(wǎng)時代運(yùn)營商大數(shù)據(jù)IT支撐企業(yè)發(fā)展策略研究[D].北京郵電大學(xué)，2018.

[9] 鄭吉妮，曾長江.節(jié)假日通信保障移動網(wǎng)絡(luò)大數(shù)據(jù)分析建模[J].中國新通信，2019，21（6）：42-43.

[10]劉昭，張海峰，李瑋，等.運(yùn)營商發(fā)展大數(shù)據(jù)技術(shù)及建設(shè)模式展望[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2015，28（3）：12-16.