黃毅華 孫柳益 盧洪濤 魏垚

【摘 要】移動通信服務(wù)的競爭日益激烈，用戶體驗的提升是留住用戶的重要手段，為了能夠有效地評價用戶實際感受，通過對無線參數(shù)及核心網(wǎng)信令數(shù)據(jù)進行研究，提出了可實施的評價算法，通過該算法對用戶體驗進行量化評分，客觀地表達了用戶的真實感受。

【關(guān)鍵詞】用戶感知；感知體系；用戶體驗質(zhì)量

Discussion and Application of User Experience System Optimization

HUANG Yihua1，SUN Liuyi2，LU Hongtao1，WEI Yao1

[Abstract] The competition of mobile communication services is increasingly fierce， the improvement of user experience is the important mean to retain customers. In order to effectively evaluate the actual user experience， wireless parameters and signaling data in the core network are investigated. A practical evaluation algorithm is proposed， which can objectively express the true user feelings by quantitatively scoring user experiences.

[Key words]user experience； experience system； quality of experience

1 引言

隨著4G的普及，用戶對無線通信網(wǎng)絡(luò)的依賴程度不斷加深。因此，用戶的網(wǎng)絡(luò)體驗直接影響用戶對運營商網(wǎng)絡(luò)的選擇。

以用戶體驗提升為目標(biāo)來優(yōu)化網(wǎng)絡(luò)，逐漸替代現(xiàn)有的通過路測進行網(wǎng)絡(luò)優(yōu)化，從而達到運營商品牌忠誠度提高的目的，推動用戶流量使用量的提升。

2 用戶感知體系現(xiàn)狀

運營商曾經(jīng)在3G時代使用端到端優(yōu)化來改善用戶體驗，已經(jīng)設(shè)計出一套完整的用戶感知打分體系，該體系主要是通過監(jiān)控網(wǎng)絡(luò)質(zhì)量，通過綜合打分，來判斷用戶對無線網(wǎng)絡(luò)的感知情況。各廠家各制式的感知體系在細節(jié)上有些不同，但是總體的思路基本相同。大多都是采用4層模型分解（如圖1所示），提出QoE（Quality of Experience，用戶體驗）目標(biāo)，分解到KQI（Key Quality Indication，關(guān)鍵質(zhì)量指標(biāo)）及KPI（Key Performance Indication，關(guān)鍵業(yè)績指標(biāo)），再到具體的指標(biāo)，然后指定各指標(biāo)權(quán)重，最后對網(wǎng)絡(luò)整體的用戶感知狀況進行打分。

但是，隨著網(wǎng)絡(luò)從3G升級到4G，用戶使用手機的需求和習(xí)慣產(chǎn)生了很大的變化，影響網(wǎng)絡(luò)的因素也有很大的變化，不同的App、不同的手機、不同的網(wǎng)站都可能對用戶體驗產(chǎn)生重大影響。而用戶對網(wǎng)頁打開時延的忍受力，聊天應(yīng)用的順利與否，視頻的卡頓等也都成為用戶感知的主要內(nèi)容。原有的感知體系也需要跟著用戶的需求變化而發(fā)生變化。因此，需要重新制定一份滿足現(xiàn)狀的評分體系來評估LTE的用戶感知。

3 用戶感知體系搭建

3.1 客戶體驗管理體系概念

用戶投訴往往是用戶對網(wǎng)絡(luò)不能忍受的情況下才提出來的，如果能夠在投訴前就發(fā)現(xiàn)用戶問題，及時地跟進解決，那就會在很大程度上提升用戶體驗。CEM（Customer Experience Management，客戶體驗管理）就是針對這一體驗管理而提出的。CEM體系通過分析用戶對各種業(yè)務(wù)的使用頻度、網(wǎng)絡(luò)和服務(wù)質(zhì)量、對KQIs進行加權(quán)匯總，建立起盡可能貼近用戶感受的CEM指標(biāo)體系，進行測量、計算、監(jiān)控和分析利用，及時發(fā)現(xiàn)和定位影響用戶感知的問題，并通過各種保障措施確保用戶感知。同時通過分析相關(guān)數(shù)據(jù)，對用戶感知進行營銷，使用戶感知保障成為可持續(xù)的經(jīng)營活動。

針對CEM的度量，給出了一個CEI（Customer Experience Indicators，客戶管理指標(biāo)）指標(biāo)。CEI指標(biāo)的定義原則如下所示：

（1）QoE指標(biāo)分為子項感知度和整體感知度。

（2）子項感知度的定義與用戶對業(yè)務(wù)某一方面的應(yīng)用感受相一致，用戶對該業(yè)務(wù)的應(yīng)用感受有幾個方面，則定義幾個相應(yīng)的子項感知度指標(biāo)。

（3）每個子項感知度指標(biāo)都有與之相對應(yīng)的一個或一組KQI指標(biāo)。這個或這組KQI指標(biāo)描述的是某一業(yè)務(wù)應(yīng)用在某一方面的性能，而對應(yīng)的子項感知度則是用戶對這一方面性能的主觀感受。

（4）整體感知度是用戶對某一業(yè)務(wù)應(yīng)用的綜合體驗質(zhì)量，是該業(yè)務(wù)對應(yīng)的所有子項感知度的綜合反映，為單獨的一個指標(biāo)，包括用戶行為和終端分析。

（5）CEI的指標(biāo)從網(wǎng)絡(luò)側(cè)多個接口獲取數(shù)據(jù)，從端到端的角度來分析用戶感知。因此，其度量的指標(biāo)能夠較為準(zhǔn)確地反映用戶的實際情況，如圖2所示。

CEI是基于用戶感知的總體評價，分為三層，第一層是CEI度量的分值，第二層是KQI指標(biāo)參數(shù)，第三層是KPI指標(biāo)參數(shù)，如圖3所示。而KQI又可以由分布在不同網(wǎng)絡(luò)側(cè)的KPI參數(shù)來監(jiān)控得到。雖然最后都是分解到KPI指標(biāo)，但是此KPI和傳統(tǒng)的KPI還是有很大區(qū)別。其具體區(qū)別如下：

（1）物理鏈路

傳統(tǒng)KPI關(guān)注運營商的網(wǎng)絡(luò)/網(wǎng)元；KQI關(guān)注業(yè)務(wù)應(yīng)用的端到端網(wǎng)絡(luò)性能。

（2）業(yè)務(wù)類別

傳統(tǒng)KPI無法區(qū)分業(yè)務(wù)應(yīng)用類別；KQI體系重點考察具體業(yè)務(wù)應(yīng)用性能。

（3）協(xié)議層

底層協(xié)議層性能無法完整反映上層協(xié)議層性能。

圖3 CEI三層指標(biāo)

3.2 用戶感知指標(biāo)體系指標(biāo)的選取

為了能夠量化用戶感知，需要給出一定的量化指標(biāo)。因此要從客觀的角度去找到一些影響用戶感知的因素，并對其進行量化，方便客觀地評價感知情況。

影響感知的因素有很多，包括：

（1）網(wǎng)絡(luò)因素：由于網(wǎng)絡(luò)通信問題，例如通信質(zhì)量差、速率慢等因素導(dǎo)致用戶體驗差。

（2）手機因素：由于手機本身問題，例如出現(xiàn)卡死，手機本身CPU處理較慢等因素導(dǎo)致用戶體驗差。

（3）應(yīng)用因素：手機App也是影響用戶體驗的一個重要因素，App本身的界面，操作等因素是否合理對用戶體驗的影響也很大。

（4）其他因素：例如品牌、價格、客服等其他因素的影響。

通過用戶感知發(fā)現(xiàn)網(wǎng)絡(luò)所存在的問題，通過提升網(wǎng)絡(luò)質(zhì)量來提升用戶感知。

通過大量的用戶投訴意見分析，發(fā)現(xiàn)無線網(wǎng)絡(luò)覆蓋是用戶的基礎(chǔ)需求，網(wǎng)絡(luò)接入性和保持性是保障網(wǎng)絡(luò)的基本條件，用戶感知的最主要部分是用戶對業(yè)務(wù)的體驗。而且對于業(yè)務(wù)體驗，可以通過網(wǎng)絡(luò)側(cè)的一些監(jiān)控參數(shù)來實現(xiàn)。通過專家法給出了三個方面的權(quán)重，無線覆蓋質(zhì)量30%，網(wǎng)絡(luò)接入性和保持性10%，業(yè)務(wù)體驗60%。

（1）無線質(zhì)量覆蓋：用戶可以在手機界面上直接看到信號強度，因此，一旦信號強度顯示較差，就會影響運營商品牌在用戶心中的得分。因此，選取RSRP直接反應(yīng)了用戶對網(wǎng)絡(luò)的主觀感受。如果手機信號回落到3G或2G，數(shù)據(jù)業(yè)務(wù)在用戶心中的體驗就會明顯降低。因此，專家討論后給了一半的權(quán)重。

（2）網(wǎng)絡(luò)接入性和保持性：通過隨機對200位用戶的調(diào)研發(fā)現(xiàn)：電話網(wǎng)絡(luò)是否能接通，需要多久接通，是否經(jīng)常掉話，這三個方面在用戶主觀感受中排在前三位。根據(jù)這個調(diào)研結(jié)果，建議選取RRC連接成功率、RRC連接時延、掉話率三個指標(biāo)作為感知指標(biāo)。通過專家法給出了三個指標(biāo)的權(quán)重，RRC連接成功率30%，RRC連接時延40%，掉話率30%。

（3）業(yè)務(wù)體驗：通過用戶調(diào)研排名，選取了占用戶時間較多的即時通訊、視頻、應(yīng)用下載、其他下載。由于不同的用戶偏好不同，因此，采用了根據(jù)時間來確定動態(tài)權(quán)重的方式來設(shè)定各個應(yīng)用的權(quán)重。基于各個應(yīng)用體驗，也通過專家法選取了KPI指標(biāo)，并確定其權(quán)重，具體如圖4所示。

3.3 得分計算方法

對用戶的打分，分為單用戶得分、單小區(qū)感知得分、區(qū)域總體感知得分。滿分為100分，根據(jù)失敗情況，進行單項扣分，扣完后加權(quán)計算得到感知的最后得分。

用戶打分可以根據(jù)公式（1）來確定最后的得分。根據(jù)異常次數(shù)來扣分，每次扣分步長是根據(jù)預(yù)定的期望分?jǐn)?shù)和異常事件次數(shù)代入公式（1）來進行計算的。單用戶評分是要把用戶數(shù)量改成一個，設(shè)定合適的期望分?jǐn)?shù)和一定時間的異常總數(shù)。期望分?jǐn)?shù)值和期望每日異常次數(shù)為人工經(jīng)驗值?？鄯植介L計算規(guī)則如表1所示：

表1 扣分步長計算規(guī)則

指標(biāo) 評分規(guī)則

成功類 滿分100分，失敗一次扣一個步長STEP，扣完為止

時延類 滿分100分，超過門限一次扣一個步長STEP，扣完為止

速率類 滿分100分，低于門限一次扣一個步長STEP，扣完為止

（1）

其中，STEP表示步長，SubscriberNo表示用戶數(shù)，Exceptation表示用戶評分期望值，Abnormal表示異常話單次數(shù)。

（1）單用戶打分計算說明

1）一般用戶得分

單指標(biāo)得分計算（扣分方式）=100-每日實際異常次數(shù)×扣分步長；扣分步長=（100-期望分?jǐn)?shù)值）/單用戶期望每日異常次數(shù) （2）

其中，期望分?jǐn)?shù)值和期望每日異常次數(shù)為經(jīng)驗值。

2）異常用戶得分

針對一些特定用戶，異常次數(shù)較少，但是成功率特別低。例如，掉話三次，但是一共發(fā)生4次電話。針對這樣的用戶引入了按成功率計算得分的方式。其計算公式如下：

單指標(biāo)得分計算（成功率）=100×（總次數(shù)-異常次數(shù)）/總次數(shù) （3）

單指標(biāo)實際最后得分：Min[扣分方式得分，成功率得分] （4）

3）最后總分

根據(jù)單指標(biāo)加權(quán)匯總得分。

（2）小區(qū)用戶感知打分計算說明

將小區(qū)當(dāng)做一個用戶，打分方式參考單用戶打分。

（3）區(qū)域感知打分計算

區(qū)域感知打分是將區(qū)域內(nèi)的各小區(qū)的感知打分進行平均處理。

3.4 實際打分案例

從廣東電信某地區(qū)獲取某一用戶得分案例。內(nèi)容說明如下。

（1）項目：根據(jù)指標(biāo)體系獲取可直接打分項目。

（2）得分：100-（問題次數(shù)×扣分步長）。

（3）問題次數(shù)：問題發(fā)生次數(shù)是該用戶實際的用戶問題發(fā)生次數(shù)。得到上述數(shù)據(jù)后，得到如表2所示的計算表格。

（4）扣分步長：根據(jù)“扣分步長=（100-期望分?jǐn)?shù)值）/單用戶期望每日異常次數(shù)”計算方法得出扣分步長。

（5）期望每日異常次數(shù)：該地區(qū)期望每日異常次數(shù)得分由該地區(qū)的日常統(tǒng)計得出。根據(jù)經(jīng)驗值給定80分時對應(yīng)的每日異常次數(shù)。

得到每項的得分后，計算加權(quán)分?jǐn)?shù)。其中業(yè)務(wù)體驗的二級權(quán)重根據(jù)用戶使用時間來確定比例。通過加權(quán)計算得到最后的總分為86.7分，如表3所示。

4 應(yīng)用效果分析

4.1 用戶得分情況分析

用戶感知體系設(shè)計完成之后，在某地市進行應(yīng)用。該地市電信用戶總數(shù)543 956人，期望值取80分。期望異常數(shù)根據(jù)各指標(biāo)不同按照人工經(jīng)驗值給出。

圖5是2017年2月某地市的得分情況，從數(shù)據(jù)上看，80分以上人數(shù)占總數(shù)的68%，大部分用戶感知符合此次評估的預(yù)期。但是仍存在很多感知較差的用戶。例如低于20分的，可以認為這部分用戶感知極差，可能會產(chǎn)生投訴或離網(wǎng)，需要進行主動關(guān)懷。

圖5 各分?jǐn)?shù)段人數(shù)分布圖

4.2 小區(qū)得分情況分析

通過查看小區(qū)的打分，發(fā)現(xiàn)問題小區(qū)。選取某一感知較差小區(qū)，該小區(qū)得分為67分。

查看其第一級子項得分，發(fā)現(xiàn)覆蓋和業(yè)務(wù)得分較低，體驗較差，初步判斷是由于覆蓋問題導(dǎo)致的業(yè)務(wù)體驗差。詳細得分如表4所示：

表4 一級子項得分情況

一級子項 得分

無線覆蓋 61

網(wǎng)絡(luò)接入性和保持性 97

業(yè)務(wù)體驗 65

一級子項雷達圖如圖6所示：

圖6 一級子項雷達圖

進一步查看無線覆蓋質(zhì)量下的二級子項得分，RSRP得分只有52分，4G覆蓋較差，且3G連接也不是非常好，可能會因流量速率較差，導(dǎo)致用戶體驗差。二級子項得分情況（天線覆蓋）如表5所示：

表5 二級子項得分情況（無線覆蓋）

二級子項（無線覆蓋） 得分

RSRP 52

3G連接 68

查看業(yè)務(wù)體驗二級子項，發(fā)現(xiàn)視頻、應(yīng)用下載和其他下載得分明顯偏低，說明在需要高速下載相關(guān)的應(yīng)用都存在較差體驗，這個符合我們之前的判斷。二級子項得分情況（業(yè)務(wù)體驗）如表6所示。

二級子項（業(yè)務(wù)體驗）雷達圖如圖7所示。

通過此套體系評估體系，可以認識到該小區(qū)覆蓋的用戶感知情況，初步判斷小區(qū)存在問題的原因。通過該打分體系對所有小區(qū)打分后，可以針對感知得分較差的小區(qū)進行專項優(yōu)化，以提升用戶感知。

4.3 與實際投訴用戶得分進行對比分析

選取一些實際投訴用戶，通過查看他們的得分情況以評判投訴用戶的情況?？傮w來看投訴用戶的部分時間得分較低。下面選取了5種投訴用戶的情況：

（1）有信號無法上網(wǎng)投訴。當(dāng)月最差日得分：22.5分。

（2）語音投訴。當(dāng)月最差日得分：72.7分。

（3）無信號投訴。當(dāng)月最差日得分：37分。

（4）頻繁掉線投訴。當(dāng)月最差日得分：52分。

（5）網(wǎng)速慢投訴。當(dāng)月最差日得分：54分。

從上述得分來看，除了語音投訴用戶得分較高外，其他用戶得分都相對較低。由于系統(tǒng)中不對2G、3G的參數(shù)進行感知評分，因此語音問題沒能夠反應(yīng)在感知得分中，符合系統(tǒng)預(yù)期的設(shè)計。

5 結(jié)束語

用戶感知評估系統(tǒng)能夠從一個簡單的得分就看出用戶感知的好壞，將復(fù)雜的網(wǎng)絡(luò)優(yōu)化簡單化，通過對用戶大數(shù)據(jù)的分析，將更精準(zhǔn)地把脈網(wǎng)絡(luò)。

隨著感知系統(tǒng)的逐漸成熟，用大數(shù)據(jù)進行問題分析的能力也要進一步加入。

（1）問題點細化。感知評分需要根據(jù)不同場景進行細化，比如忙時場景，會展場景，校園場景等多個維度場景來區(qū)分評分，以便更有效地發(fā)現(xiàn)問題。

（2）自動發(fā)現(xiàn)問題。通過信令分析，對得分低的小區(qū)問題自動定界定位。自動給出問題的經(jīng)驗方案供網(wǎng)優(yōu)人員參考。

（3）人工智能網(wǎng)優(yōu)。再到后期通過大數(shù)據(jù)自動學(xué)習(xí)，可以讓系統(tǒng)自動跟蹤用戶習(xí)慣，調(diào)整系統(tǒng)評估參數(shù)，發(fā)現(xiàn)異常用戶，實現(xiàn)網(wǎng)優(yōu)的人工智能化。

參考文獻：

[1] 3GPP TS 36.300 V 9.9.0. Evolved Universal Terrestrial Radio Access （E-UTRA） and Evolved Universal Terrestrial Radio Access Network （E-UTRAN）； Overall description （Release 9） [S]. 2011.

[2] 3GPP TS R0079-0 V 1.0. Support for end-to-end QoS[S]. 2004.

[3] 趙訓(xùn)威，林輝，張明，等. 3GPP長期演進（LTE）系統(tǒng)架構(gòu)與技術(shù)規(guī)范[M]. 北京： 人民郵電出版社， 2010.

[4] 楊燕. 移動業(yè)務(wù)QoE量化指標(biāo)體系的構(gòu)建與應(yīng)用[J]. 電訊技術(shù)， 2010，50（12）： 101-106.

[5] 金渝，李校林，李雪松. 用戶體驗質(zhì)量評估模型及KQI權(quán)重計算方法[J]. 計算機工程， 2013（2）： 311-316.

[6] 羅仕鑒，朱上上. 用戶體驗與產(chǎn)品創(chuàng)新設(shè)計[M]. 北京： 機械工業(yè)出版社， 2010.

[7] Mike Kuniavsky. 用戶體驗面面觀――方法、工具與實踐[M]. 北京： 清華大學(xué)出版社， 2010.

[8] Jeff Johnson. 認知與設(shè)計——理解UI設(shè)計準(zhǔn)則[M]. 北京： 人民郵電出版社， 2011.

[9] 壽元泉. LTE輕松進階[M]. 北京： 電子工業(yè)出版社， 2012.

[10] 盛璟，劉洋，許國平. LTE無線網(wǎng)絡(luò)優(yōu)化的考量[J]. 郵電設(shè)計技術(shù)， 2014（12）： 1-5.