黃建華 中國移動通信集團上海有限公司網(wǎng)絡部工程師

邵四清 北京中創(chuàng)信測信息技術有限公司監(jiān)測系統(tǒng)產(chǎn)品部工程師

中創(chuàng)信測技術專欄

上海移動用戶滿意度評分與網(wǎng)絡質(zhì)量相關性分析系統(tǒng)介紹

黃建華 中國移動通信集團上海有限公司網(wǎng)絡部工程師

邵四清 北京中創(chuàng)信測信息技術有限公司監(jiān)測系統(tǒng)產(chǎn)品部工程師

編者按：為了促進我國手機市場更好更快地發(fā)展，移動集團和第三方評估機構有必要定期進行手機用戶滿意度抽樣評分。由中國移動通信集團上海有限公司黃建華和北京中創(chuàng)信測信息技術有限公司邵四清所撰《上海移動用戶滿意度評分與網(wǎng)絡質(zhì)量相關性分析系統(tǒng)介紹》一文通過中創(chuàng)信測信令監(jiān)測系統(tǒng)對上海用戶的滿意度評分進行了跟蹤分析和評估，了解了上海具體用戶的真實網(wǎng)絡業(yè)務質(zhì)量指標，可供相關網(wǎng)絡維護人員參考、借鑒。

移動集團和第三方評估機構需定期進行手機用戶滿意度抽樣評分，內(nèi)容包含網(wǎng)絡整體質(zhì)量、語音呼叫質(zhì)量、信息收發(fā)質(zhì)量、上網(wǎng)業(yè)務質(zhì)量等。本文基于上海移動用戶滿意度調(diào)查抽樣用戶的評分，通過中創(chuàng)信測信令監(jiān)測系統(tǒng)對本地用戶的滿意度評分進行跟蹤分析和評估，以了解本地具體用戶的真實網(wǎng)絡業(yè)務質(zhì)量指標，實現(xiàn)針對指定抽樣用戶號碼進行業(yè)務記錄詳盡質(zhì)量評估分析和對網(wǎng)絡質(zhì)量的問題定位分析。作為信令監(jiān)測系統(tǒng)數(shù)據(jù)記錄的增值應用，本文值得維護人員學習參考。

用戶滿意度評分 信令監(jiān)測系統(tǒng) 網(wǎng)絡業(yè)務質(zhì)量 指標相關度分析

1 用戶滿意度分析需求描述

移動集團和第三方評估機構需定期進行手機用戶滿意度抽樣評分，內(nèi)容包含網(wǎng)絡整體質(zhì)量、語音呼叫質(zhì)量、信息收發(fā)質(zhì)量、上網(wǎng)業(yè)務質(zhì)量等項?；谏虾Ｒ苿佑脩魸M意度調(diào)查抽樣用戶的評分，上海移動希望通過信令監(jiān)測系統(tǒng)對本地用戶的滿意度評分進行跟蹤分析和評估，以了解本地具體用戶的真實網(wǎng)絡業(yè)務質(zhì)量指標，實現(xiàn)針對指定抽樣用戶號碼進行業(yè)務記錄詳盡質(zhì)量評估分析和對網(wǎng)絡質(zhì)量的問題定位分析。具體需求如下：

（1）根據(jù)提供的用戶滿意度調(diào)查表，對調(diào)查的分類項目及評分進行跟蹤評估。調(diào)查表用戶號碼必須保密，不能對外透露任何信息，否則要承擔相應責任。

（2）針對調(diào)查表的相關號碼提取信令監(jiān)測系統(tǒng)最近一個月涉及網(wǎng)絡覆蓋和語音質(zhì)量、短信/彩信、上網(wǎng)質(zhì)量的記錄，進行用戶本地移動軌跡和用戶業(yè)務質(zhì)量評估分析。

（3）針對用戶業(yè)務記錄進行用戶業(yè)務質(zhì)量的時間、小區(qū)（區(qū)分住宅、辦公、地鐵、商務等）、終端類型、操作系統(tǒng)、業(yè)務類型等多維度分析，定位用戶質(zhì)量問題是終端故障、網(wǎng)絡覆蓋問題、網(wǎng)絡運營故障等。

2 針對用戶滿意度專項分析需求的專用系統(tǒng)

（1）中創(chuàng)信測在一臺服務器中安裝相應軟件和數(shù)據(jù)庫，并完成用戶網(wǎng)絡業(yè)務質(zhì)量指標綜合統(tǒng)計功能開發(fā)：

●用戶滿意度CS域客戶感知指標統(tǒng)計，可以進行多天統(tǒng)計分析，具體參見圖1；針對用戶滿意度調(diào)查評分表增加中高端標志等維度關聯(lián)統(tǒng)計，如圖2所示。

●用戶滿意度PS域客戶感知指標統(tǒng)計，可以進行多天、小區(qū)、終端類型等統(tǒng)計分析，具體參見圖3；針對用戶滿意度調(diào)查評分表增加手機上網(wǎng)整體質(zhì)量評分等維度關聯(lián)統(tǒng)計，具體指標如圖4所示。

●CSFB業(yè)務專項統(tǒng)計分析模塊如圖5所示。

（2）由于上海移動用戶數(shù)據(jù)涉及2G/3G/4G業(yè)務，因此涉及的數(shù)據(jù)庫表特別多，按滿意度跟蹤用戶表過濾提取一天的用戶數(shù)據(jù)，在系統(tǒng)負荷較低的情況下，至少需要4h。針對滿意度分析用戶的數(shù)據(jù)倒表程序，在夜間定時啟動。

圖1 用戶滿意度CS域客戶感知指標統(tǒng)計功能

3 系統(tǒng)分析指標改進完善

3.1 用戶滿意度網(wǎng)絡質(zhì)量分析指標說明

在系統(tǒng)中增加了“主叫時被叫號碼重復次數(shù)”和“被叫時主叫號碼重復次數(shù)”等指標，以便輔助分析用戶撥打和接聽電話的感受?？傮w分析指標參見表1（含相關算法的說明）。

對于已經(jīng)收集的數(shù)據(jù)再次重新分析生成每個用戶的按天統(tǒng)計表。

KPI指標算法說明如下：

位置更新成功率=（位置成功次數(shù)/位置更新總次數(shù)）%

位置更新失敗率=（位置失敗次數(shù)/位置更新總次數(shù)）%

總掉話次數(shù)=主叫掉話次數(shù)+被叫掉話次數(shù)

總掉話率=總掉話次數(shù)/（主叫應答次數(shù)+被叫尋呼次數(shù)-尋呼失敗次數(shù)）

尋呼成功率=（用戶被叫尋呼總次數(shù)-尋呼失敗次數(shù)）/用戶被叫尋呼總次數(shù)

SMS總失敗次數(shù)=MOSM次數(shù)-MOSM成功次數(shù)+（MTSM次數(shù)-MTSM成功次數(shù)）

圖2 用戶滿意度CS域客戶感知指標

SMS總失敗率=（總失敗次數(shù)/（MTSM次數(shù)+ MOSM次數(shù)））%

后續(xù)對相關指標與用戶滿意度評分進行相關性分析。

圖3 用戶滿意度PS域客戶感知指標統(tǒng)計功能

圖4 用戶滿意度PS域客戶感知指標

3.2 分析周期及樣本量說明

在2014年12月10日，現(xiàn)場分析、統(tǒng)計2014年11月24日—12月7日CS和PS域兩周數(shù)據(jù)，按用戶的IMSI號碼合并統(tǒng)計項。對于評分為空的用戶，進行去除處理。因此，獲得的有效樣本數(shù)據(jù)量為：CS域790用戶；PS域上網(wǎng)分析用戶612個。

對于每個IMSI再區(qū)分中高端標志、KPI指標與網(wǎng)絡整體質(zhì)量評分進行相關性分析。經(jīng)過單項指標分析后，再決定增加平均值相關性分析，因為用戶單項指標與評分相關性弱。下面是詳細的指標和用戶評分相關性分析圖表說明。

圖5 用戶滿意度CSDB業(yè)務專項指標

表1 用戶滿意度網(wǎng)絡質(zhì)量分析維度和指標

4 用戶滿意度CS域業(yè)務記錄相關性分析

4.1 按指標均值相關性分析

針對不同評分值，計算獲取相關用戶的多項指標平均值（見表2）。

（1）從圖6可以看出，用戶評分與尋呼成功率、位置更新成功率、SMS失敗率指標之間沒有強相關性指示。

表2 滿意度用戶質(zhì)量CS域業(yè)務質(zhì)量指標平均值

圖6 網(wǎng)絡整體質(zhì)量與業(yè)務指標的相關性分析

（2）從圖7、8可以看出，用戶評分與平均掉話次數(shù)、掉話率之間有一定的相關性指示。即評分高的用戶平均掉話次數(shù)低，與掉話率也有弱相關性。

（3）從圖9可以看出，用戶評分與尋呼失敗次數(shù)、位置更新失敗次數(shù)、SMS失敗次數(shù)、重復呼叫次數(shù)等指標之間沒有強相關性指示。

4.2 按單項指標相關性分析

針對所有有效評分用戶的單項指標與其所給的評分值進行全部排序及關聯(lián)分析，可見下面各個指標的相關性分析圖示：

（1）用戶評分與位置更新失敗次數(shù)沒有明顯的相關性。即使評分高的用戶也存在較高的失敗次數(shù)，而且非中高端用戶即使失敗次數(shù)高，也有評分高的用戶存在。位置更新成功率和失敗率也類似，具體參見圖10、11所示，以區(qū)分中高端用戶和非中高端用戶。

（2）用戶評分與總掉話次數(shù)沒有強的相關性。即使評分高的用戶也都存在較高的掉話次數(shù)，也有掉話次數(shù)目前是0的用戶，而且非中高端用戶即使掉話次數(shù)高，也有評分高的用戶存在，只是比例有所不同，具體可參見平均值分析說明，掉話率也類似。

圖7 網(wǎng)路整體質(zhì)量與總掉話次數(shù)指標的相關性分析

圖8 網(wǎng)路整體質(zhì)量與總掉話率指標的相關性分析

圖9 網(wǎng)路整體質(zhì)量與業(yè)務次數(shù)指標的相關性分析

圖10 中高端用戶網(wǎng)路整體質(zhì)量與位置更新失敗次數(shù)指標的相關性分析

（3）用戶評分與尋呼成功率和尋呼成功次數(shù)沒有強的相關性。即使評分低的用戶也都存在較高的成功率和成功次數(shù)，指示評分高的用戶尋呼成功率較高，即所占比例較高。另外，8～10高分用戶的100%尋呼成功率占比高或人數(shù)多。

（4）用戶評分與主叫次數(shù)沒有強的相關性。用戶評分高8～10且主叫次數(shù)高的所占比例明顯高，也即高話務用戶對于網(wǎng)絡質(zhì)量的整體評分都是高的。

（5）用戶評分與短信發(fā)送和接收失敗次數(shù)、總失敗率沒有強的相關性，但對于低評分用戶確實存在高失敗次數(shù)，無論是中高端還是非中高端。

5 用戶滿意度PS域上網(wǎng)業(yè)務記錄相關性分析

5.1 按PS業(yè)務指標均值相關性分析

針對PS域相關全部用戶，按照網(wǎng)絡整體質(zhì)量評分取平均值，然后進行各項指標的相關性分析（見表3）。

用戶網(wǎng)絡質(zhì)量整體評分與相關成功率、響應時延、下載速率等指標沒有相關性；與HTTP下載平均流量有弱相關性，即流量高的用戶對于網(wǎng)絡質(zhì)量評分高。

圖11 非中高端用戶網(wǎng)路整體質(zhì)量與位置更新失敗次數(shù)指標的相關性分析

5.2 按PS域單項指標用戶相關性分析

通過對PS域每個用戶的上網(wǎng)業(yè)務質(zhì)量指標進行排序，然后按照網(wǎng)絡整體質(zhì)量評分進行有效用戶的相關分析，初步分析與各項指標的相關性較弱。

6 用戶滿意度評分與網(wǎng)絡質(zhì)量相關性分析初步結論

（1）經(jīng)過多個指標相關性分析，用戶整體網(wǎng)絡質(zhì)量評分與網(wǎng)絡業(yè)務質(zhì)量多項指標相關性程度較低。

（2）用戶整體網(wǎng)絡質(zhì)量評分與用戶的平均掉話次數(shù)有弱相關性。可針對掉話小區(qū)類型居住區(qū)、地鐵、商務區(qū)等進行用戶歸類跟蹤分析。

（3）用戶整體網(wǎng)絡質(zhì)量評分與用戶的總話務量趨勢基本一致，即高話務量用戶的評分相對較高，無論中高端還是非中高端。另外，PS業(yè)務平均流量高的用戶滿意度評分相對較高。

（4）網(wǎng)絡質(zhì)量滿意度評分是用戶對網(wǎng)絡質(zhì)量一個相對比較主觀的評價，切入點除從網(wǎng)絡質(zhì)量入手外，還可從用戶心理、外部因素（例如運營商資費、服務）等多方面維度進行進一步深入研究。

表3 滿意度用戶質(zhì)量PS域上網(wǎng)業(yè)務質(zhì)量指標平均值