李治國

（中國聯(lián)合網(wǎng)絡通信有限公司河南省分公司，河南 鄭州 450008）

KPI與業(yè)務體驗相結合的移動寬帶客戶感知評價體系研究

李治國

（中國聯(lián)合網(wǎng)絡通信有限公司河南省分公司，河南 鄭州 450008）

從寬帶移動互聯(lián)網(wǎng)時代承載的業(yè)務、用戶體驗入手，分別對基于語音的網(wǎng)絡質(zhì)量評價體系、基于用戶業(yè)務體驗的評價體系進行分析。結合運營商快速定位網(wǎng)絡問題，確保用戶良好體驗的實際需要，論證了在分析和定位問題時，網(wǎng)絡質(zhì)量指標和業(yè)務體驗指標均不可或缺的觀點。提出了構建基于KPI和業(yè)務體驗相結合的移動寬帶客戶感知綜合評價體系的建議并在實踐中進行應用。

移動寬帶 性能關鍵指標 關鍵質(zhì)量指標 用戶體驗指標

1 引言

隨著寬帶無線接入技術和移動終端技術的飛速發(fā)展，手機上網(wǎng)已成為人們?nèi)粘Ｉ畈豢苫蛉钡囊徊糠?。根?jù)中國互聯(lián)網(wǎng)信息中心（CNNIC）第35次中國互聯(lián)網(wǎng)發(fā)展統(tǒng)計報告顯示：截止2014年年底，全國互聯(lián)網(wǎng)用戶達6.49億，其中手機網(wǎng)民用戶達到5.57億，占比高達85.8%，即時通信、旅游預訂、網(wǎng)購、支付等應用穩(wěn)步提升，由此對運營商帶來了巨大的網(wǎng)絡壓力。

然而，移動互聯(lián)網(wǎng)用戶時常會出現(xiàn)在網(wǎng)絡信號滿格、數(shù)據(jù)業(yè)務鏈接顯示正常的情況下無法打開網(wǎng)頁、流媒體業(yè)務卡頓、下載文件停滯等現(xiàn)象，從而產(chǎn)生對網(wǎng)絡的抱怨和投訴。而運營商接到類似投訴后，從現(xiàn)有的網(wǎng)絡側指標和設備告警方面又未發(fā)現(xiàn)異常，從而對該類問題的處理或提前發(fā)現(xiàn)顯得束手無策。

所以，構建移動寬帶客戶感知的分析手段和評價體系對于運營商而言就顯得尤為重要和迫切了。

2 移動寬帶和用戶感知的定位

2.1 移動寬帶的概念

移動寬帶就是指寬帶移動互聯(lián)網(wǎng)，由于2G網(wǎng)絡PS業(yè)務的受限，移動寬帶僅指3G和4G的移動網(wǎng)絡，而用戶的體驗也主要針對3G/4G手機用戶在使用互聯(lián)網(wǎng)過程中的感受。

語音、網(wǎng)頁瀏覽、流媒體業(yè)務、郵件、文件訪問等五大類典型業(yè)務是業(yè)內(nèi)普遍認為的移動寬帶業(yè)務。

2.2 移動網(wǎng)客戶感知的概念

用戶感知是用戶的實際體驗，通俗來講就是人們使用移動業(yè)務過程中的心理感受。常用的用于量化用戶體驗的指標有以下幾個：

（1）KQI（Key Quality Indicators）：移動網(wǎng)絡的關鍵質(zhì)量指標。業(yè)內(nèi)提出QoS（服務質(zhì)量）的概念是對約定業(yè)務或應用服務的表征描述，如時延、帶寬、連續(xù)性、抖動等。而最為常見的就是針對使用業(yè)務或應用的業(yè)務質(zhì)量作為評價體驗的一種和網(wǎng)絡指標對應的指標體系。KQI其實是一組可以被測量和監(jiān)控的QoS參數(shù)，是一種通過網(wǎng)絡側進行量化的“KPI”。

（2）QoE（Quality of Experience）：指用戶對設備、網(wǎng)絡和系統(tǒng)、應用或業(yè)務的質(zhì)量和性能（包括有效性和可用性等方面）的綜合主觀感受，是通過業(yè)務應用的舒適度進行定義的。QoE是用戶對QoS的主觀度量，是用戶對某種業(yè)務/應用的主觀感覺，如語音圖像的清晰度和連續(xù)性、收發(fā)文件的快慢等。

（3）CEI（Customer Experience Indicators）：實時測量用戶體驗以及定義用戶體驗的指標，是反映QoE級別的關鍵指標，著眼點是用戶，與用戶行為相關。KQI僅僅是業(yè)務層面的關鍵指標，是不同業(yè)務/應用的質(zhì)量參數(shù)，針對CEI的分析是提升移動寬帶客戶實際感知和優(yōu)質(zhì)體驗的關鍵因素。

3 建立基于語音的網(wǎng)絡質(zhì)量綜合評價體系

提升網(wǎng)絡質(zhì)量是基于網(wǎng)絡側的運行質(zhì)量指標進行分析，對異常問題進行判定和處理，從而達到提升網(wǎng)絡性能的目的。通常圍繞KPI、用戶投訴、DT、CQT等開展。

（1）KPI（Key Performance Indicators）即網(wǎng)絡性能關鍵指標，是運營商最關心的指標之一。運營商將關鍵指標當作評估標準，以是否達到標準作為評價工作質(zhì)量的重要條件。運營商均制定了全網(wǎng)及小區(qū)級的KPI體系，對網(wǎng)絡指標反映的問題進行處理，確保了網(wǎng)絡的良好運行。

（2）用戶投訴：用戶投訴信息一直是運營商認為最貼近用戶實際感受的數(shù)據(jù)來源。建立基于用戶投訴的分析系統(tǒng)，對用戶網(wǎng)絡質(zhì)量類的投訴進行地理化顯示和分析定位，根據(jù)問題類型區(qū)分為建設、維護、優(yōu)化等類型，建立閉環(huán)管理流程。

（3）DT&CQT分析：通過路測設備、用戶感知系統(tǒng)等開展海量測試，模擬用戶的行為，發(fā)現(xiàn)現(xiàn)網(wǎng)中存在的問題并進行處理。

網(wǎng)絡質(zhì)量綜合評價體系示意圖如圖1所示：

圖1 網(wǎng)絡質(zhì)量綜合評價體系

運營商在語音時代已經(jīng)建立了以KPI、DT、CQT及用戶投訴4個方面的綜合質(zhì)量分析體系，實現(xiàn)網(wǎng)絡性能的提升。以上4個方面的指標都可以用KPI來體現(xiàn)，網(wǎng)絡質(zhì)量評價體系是運營商長期積累的重要內(nèi)容。對于網(wǎng)絡側的性能提升起到了十分重要的作用，可以說是評價網(wǎng)絡質(zhì)量好壞的關鍵性標準。

隨著移動互聯(lián)網(wǎng)的到來，用戶在傳統(tǒng)語音需求的基礎之上，對于網(wǎng)頁瀏覽、流媒體業(yè)務、郵件、QQ、微信等業(yè)務性能的關注愈來愈多。目前運營商針對業(yè)務實際接入類體驗、流暢體驗缺少評價手段，雖然近年來引入了MR數(shù)據(jù)分析，但基于業(yè)務的分析能力依然受限。具體表現(xiàn)就是在狠抓KPI的情況下，對于用戶實際體驗方面獲取的信息十分有限，從而產(chǎn)生了運營商的網(wǎng)絡KPI指標十分好看，而用戶對于業(yè)務體驗方面的抱怨很多的非對稱現(xiàn)象。

4 構建基于移動網(wǎng)用戶業(yè)務體驗的評價體系

4.1 建立用戶體驗與KQI的對應關系

圍繞各種業(yè)務類型，建立用戶體驗與KQI的對應關系，針對不同的業(yè)務，用戶所關心的體驗內(nèi)容是不同的，具體如表1所示：

表1 不同業(yè)務類型對應的KQI指標

4.2 構建移動網(wǎng)用戶業(yè)務體驗的評價體系

CEI是多個KQI指標組共同反映用戶感知的綜合評價指標。在眾多KQI指標中，經(jīng)過研究和分析可知，時延、成功率和業(yè)務速率是用戶業(yè)務感知體驗的三大要素。

把除語音業(yè)務外的其他4種類型業(yè)務的時延、成功率、業(yè)務速率按照主觀感知設置為好、較好、一般、較差和差5個等級，分別賦予5～1分進行評判，同時設置各等級的KQI門限指標，對各業(yè)務進行評價。

端到端各維度評價標準如表2所示：

表2 端到端各維度評價標準

根據(jù)分析和抽樣，時延維度的權重A為35%、成功率維度的權重B為35%、業(yè)務速率維度的權重C為30%。根據(jù)不同時期各維度的重要性，可以微調(diào)各部分權重。

移動寬帶業(yè)務用戶體驗CEI得分=多用戶多業(yè)務的用戶體驗CEI得分均值=Ave∑（時延+成功率+業(yè)務速率） （2）

最高得5分，最差得1分，以4分作為評價良好體驗的閥值。

以流媒體業(yè)務為例，多用戶流媒體業(yè)務緩沖平均時延為3s，流媒體打開成功率為98%，視頻下載速率為1.5Mbps，那么針對流媒體業(yè)務的用戶體驗CEI得分如式（3）所示：

流媒體業(yè)務的用戶體驗CEI得分=4×35%+5×35%+ 4×30%=4.35分 （3）

由式（3）可知，整體該業(yè)務的體驗得分為4.35分，屬于較好水平。

通過CEI的評估可以單個評價某種典型業(yè)務的實際體驗，也可以實現(xiàn)對多業(yè)務的綜合評價，既可以對全網(wǎng)用戶進行評價，也可對重點客戶進行評價。

5 建立以網(wǎng)絡質(zhì)量評價為基礎的用戶感知綜合評價體系

單純通過網(wǎng)絡質(zhì)量評價體系不能體現(xiàn)用戶的實際感知，但完全基于用戶業(yè)務體驗評價體系是否就能解決所有的問題呢？

筆者認為，不能單純地從業(yè)務體驗指標入手，那樣會掩蓋網(wǎng)絡側的部分問題，一旦網(wǎng)絡質(zhì)量性能指標惡化到一定程度，業(yè)務質(zhì)量將無從談起。網(wǎng)絡質(zhì)量是所有運營的基礎，無論移動網(wǎng)絡發(fā)展到何種地步，基于KPI的網(wǎng)絡質(zhì)量都是不能忽視的。

所以，移動網(wǎng)用戶感知綜合評價體系必須建立在網(wǎng)絡質(zhì)量評價和綜合業(yè)務評價的基礎之上。用戶感知綜合評價體系如圖2所示：

圖2 用戶感知綜合評價體系

5.1 選取粒度

重點客戶C：選取高ARPU用戶（最多到全網(wǎng)）。

重要場景S：選取業(yè)務量高的重要場景（最多到全網(wǎng)）。

重要時段T：選取各業(yè)務實際忙時（最多到全時段）。

5.2 KPI評價內(nèi)容

圍繞網(wǎng)絡性能選取重要的指標作為評價內(nèi)容，例如覆蓋率、質(zhì)量分布、質(zhì)差小區(qū)等，不同階段可以進行調(diào)整。KPI評價內(nèi)容如表3所示。

5.3 客戶投訴評價內(nèi)容

結合投訴，將投訴率、投訴數(shù)量或者用戶滿意度等納入評價內(nèi)容，不同階段也可進行調(diào)整?？蛻敉对V評價內(nèi)容如表4所示。

5.4 網(wǎng)絡綜合評價得分=30%×KPI+50%×KQI+ 20%用戶投訴

通過綜合評價網(wǎng)絡中的重要場景或?qū)θW(wǎng)進行綜合評估，同樣可以按5分計算，設置成1～5級的網(wǎng)絡評價等級，用于衡量移動網(wǎng)絡在用戶體驗方面的優(yōu)劣程度。

按照網(wǎng)絡綜合評價得分情況可以針對一個本地網(wǎng)或者一個網(wǎng)格進行評價排隊，對低于4分的網(wǎng)絡需進行重點關注和分析。

表3 KPI評價內(nèi)容

表4 客戶投訴評價內(nèi)容

6 用戶感知綜合評價體系的應用

建立基于用戶感知的綜合評價體系，不僅可以評價基于業(yè)務的用戶感知等級，更重要的是可以及時發(fā)現(xiàn)網(wǎng)絡的短板并進行處理。通過各維度的得分情況，開展針對性的分析，從而實現(xiàn)對移動網(wǎng)絡問題的精準定位。

用戶感知綜合評價體系應用的好壞，需要不斷地對評價內(nèi)容的權重和門限進行優(yōu)化調(diào)整，同時需要構建閉環(huán)的問題處理流程，強化問題的實際落地，提升響應能力。只有這樣才能真正地站在用戶感知的角度，不斷提升用戶的滿意度。

案例：在進行用戶感知綜合評價時發(fā)現(xiàn)某一區(qū)域綜合得分為3.9分。通過分析發(fā)現(xiàn)其他維度得分正常，而針對網(wǎng)頁的下載速率CEI得分為3.2分，從而導致該區(qū)域綜合得分低于4分。網(wǎng)優(yōu)工程師將該區(qū)域的多用戶頁面下載速率進行匯總分析，發(fā)現(xiàn)該區(qū)域下的某基站5個扇區(qū)的下載速率較差，具體如圖3所示：

圖3 優(yōu)化前異常指標示意圖

對該基站忙時段176個用戶1 217次低速率異常話單進行分析發(fā)現(xiàn)，RAN側原因的占比超過60%。針對該RAN進行統(tǒng)計，平均下載速率僅為286kbps。通過排查，“HSDPA IUB帶寬受限”導致的關聯(lián)次數(shù)能夠占到85%以上。最終將該基站IUB傳輸擴容，新增30M FE，解決IUB擁塞問題。該站點的5個小區(qū)的大頁面下載平均速率提升了45%，問題得到解決。實際效果如圖4所示：

圖4 優(yōu)化前后對比示意圖

7 結束語

KPI是基礎，用戶投訴是對網(wǎng)絡滿意度的體現(xiàn)，KQI是用戶感知的表現(xiàn)。通過基于移動寬帶客戶感知的分析與研究，建立了移動寬帶客戶感知綜合評價模型，梳理了影響用戶實際體驗的CEI體系。結合基于網(wǎng)絡性能的評價體系，建立并完善了問題處理流程和考核評價體系，為持續(xù)提升客戶感知奠定了堅實的基礎。

下一步將利用海量的網(wǎng)絡及業(yè)務數(shù)據(jù)，通過大數(shù)據(jù)分析，支撐客戶維系、客戶流失分析等精細化運營，持續(xù)深化和鉆取用戶體驗的數(shù)據(jù)支撐能力，為市場發(fā)展和后向業(yè)務經(jīng)營方面的探索提供手段。

[1] 中國互聯(lián)網(wǎng)信息中心（CNNIC）. 第35次中國互聯(lián)網(wǎng)發(fā)展統(tǒng)計報告[R]. 2015.

[2] ITU-T G.1011(G.RQAM). Reference guide to QoE assessment methodologies[S]. 2009.

[3] 華為技術有限公司. 中國聯(lián)通精品網(wǎng)方案匯報[R]. 2014.

[4] 中國聯(lián)合網(wǎng)絡通信集團有限公司. 中國聯(lián)通2013年移動網(wǎng)絡優(yōu)化重點工作要求[R]. 2013.

[5] 中國聯(lián)合網(wǎng)絡通信集團有限公司. 中國聯(lián)通DC-HSDPA網(wǎng)絡優(yōu)化指導意見[Z]. 2014.

[6] 中國聯(lián)通上海市分公司. 基于業(yè)務質(zhì)量和大數(shù)據(jù)挖掘支撐存量經(jīng)營[Z]. 2014.

[7] 中國聯(lián)合網(wǎng)絡通信集團有限公司. 2014年運維專業(yè)線考核指導意見[Z]. 2014.

[8] 華為技術有限公司. 河南聯(lián)通業(yè)務質(zhì)量KQI體系建立及應用[R]. 2014.

[9] 中興通訊股份有限公司. 基于用戶感知的指標體系及建模評估[R]. 2014.

[10] 3GPP2 S.R0079-0. Support for End-to-End QoS[S]. 2004.★

Research on Perception Evaluation System of Mobile Broadband Customer Based on KPI and Business Experience

LI Zhi-guo
(China Unicom Network Communications Co., Ltd., Henan Branch, Zhengzhou 450008, China)

According to carried business and customer experience in mobile Internet era, both the network quality evaluation system based on voice and the evaluation system based on customer’s business experience were analyzed, respectively. Combined with quick network localization for operators to guarantee good customer experience, it was demonstrated that both network quality and business experience indicators are indispensable in analysis and localization. A comprehensive perception evaluation system of mobile broadband customers based on both KPI and business experience was put forward which was applied in practice.

mobile broadband key performance indicator key quality indicator customer experience indicator

10.3969/j.issn.1006-1010.2015.12.019

TN929.53

A

1006-1010(2015)12-0092-05

李治國. KPI與業(yè)務體驗相結合的移動寬帶客戶感知評價體系研究[J]. 移動通信, 2015,39(12): 92-96.

2015-04-03

責任編輯：劉妙 liumiao@mbcom.cn

李治國：工程師，碩士畢業(yè)于北京郵電大學，現(xiàn)任中國聯(lián)合網(wǎng)絡通信有限公司河南省分公司網(wǎng)絡優(yōu)化中心副總經(jīng)理，長期從事移動網(wǎng)絡優(yōu)化規(guī)劃與性能研究工作。