許光磊

【摘要】 筆者運用互聯(lián)網(wǎng)思維，并結(jié)合自己所處的行業(yè)和從事的工作，指出自動撥測才是適應(yīng)互聯(lián)網(wǎng)時代特點的撥測方式，并提出了對新時代撥測模式的幾點設(shè)想，包括建立用戶體驗管理流程，以用戶體驗為核心開展真機端到端撥測；轉(zhuǎn)變思維，提升研發(fā)管理能力，以快速迭代的方式滿足軟件穩(wěn)定性要求；開拓思路，利用智能終端實現(xiàn) “跨界”復(fù)合型撥測，令撥測行業(yè)充滿想象空間；利用云撥測收集海量數(shù)據(jù)，開展云計算和大數(shù)據(jù)分析，提升撥測價值。

【關(guān)鍵詞】 自動撥測 互聯(lián)網(wǎng)思維 用戶體驗 快速迭代 大數(shù)據(jù)分析 云撥測 跨界思維

引言

艾瑞咨詢數(shù)據(jù)顯示，2014年中國移動互聯(lián)網(wǎng)市場規(guī)模達到2134.8億元人民幣，同比增長115.5%，同時未來依舊會保持高速增長，預(yù)計到2018年整體移動互聯(lián)網(wǎng)市場規(guī)模將突破1萬億大關(guān)。[1]移動互聯(lián)正在深刻影響人們的日常生活，移動互聯(lián)網(wǎng)市場進入高速發(fā)展通道。根據(jù)國內(nèi)數(shù)據(jù)服務(wù)提供商TalkingData發(fā)布的《2014移動互聯(lián)網(wǎng)數(shù)據(jù)報告》，2014年我國移動智能終端用戶規(guī)模達10.6億，較2013年增長231.7%。[2]從應(yīng)用方面來看，App Store應(yīng)用數(shù)量在2014年達到121萬，Google Play應(yīng)用數(shù)量更是突破143萬。[3]移動互聯(lián)網(wǎng)整體都呈現(xiàn)出一個爆發(fā)增長的態(tài)勢，人類真正進行了移動互聯(lián)網(wǎng)時代。

移動互聯(lián)網(wǎng)業(yè)務(wù)及智能終端的快速發(fā)展，將給人們的生產(chǎn)生活帶來翻天覆地的變化，而與之關(guān)系最為緊密的上下游產(chǎn)業(yè)，包括網(wǎng)絡(luò)等承載系統(tǒng)的布局和優(yōu)化，終端等各類硬件的研發(fā)以及移動應(yīng)用業(yè)務(wù)開發(fā)等也將在這一浪潮中蓬勃發(fā)展。而測試作為一個橫向覆蓋終端、業(yè)務(wù)和網(wǎng)絡(luò)，縱向貫穿研發(fā)、運營和更新的行業(yè)，如何在移動互聯(lián)網(wǎng)時代進行創(chuàng)新，成為一個非常重要的課題。

正文：

諸位讀者同筆者一樣，生在一個科技日新月異的時代。我們的先輩一直過著“通信基本靠吼”的生活，而現(xiàn)在，只需拿起手機輕輕撥出號碼，就可以聯(lián)系世界各地的任何人。特別是2007年1月9日，當(dāng)Apple公司推出iPhone這款革命性的手機產(chǎn)品之后，更是標(biāo)志著一個新的所謂移動互聯(lián)網(wǎng)時代的到來。

正如引言中所說，移動互聯(lián)網(wǎng)市場蓬勃發(fā)展、終端推陳出新，而移動網(wǎng)絡(luò)也已正式步入4G。在移動互聯(lián)網(wǎng)時代，誕生了無數(shù)的應(yīng)用，通過網(wǎng)絡(luò)承載運行在各種各樣的智能終端上。生在這樣一個時代，社會飛速發(fā)展，科技日新月異，這是我們的幸運，但是也帶來一個問題：終端、網(wǎng)絡(luò)和業(yè)務(wù)如此紛繁復(fù)雜，如何保證終端、網(wǎng)絡(luò)和業(yè)務(wù)各自的質(zhì)量呢？更進一步的，如何提高這三者的適配性和協(xié)同性，給用戶帶來最佳的用戶體驗?zāi)兀?/p>

最常見的方式是測試。投入大量的測試團隊，模擬用戶使用的各種場景，編寫各種場景下的測試用例，利用各類設(shè)備進行終端、網(wǎng)絡(luò)和業(yè)務(wù)測試。

筆者認為，一般的測試可以定義為在特定條件下，使用特定的方式，根據(jù)一定的流程對指定對象進行特定操作或使用，以找出該對象的缺陷的過程。傳統(tǒng)的測試一般采用人工方式進行。

以一般的手機軟件或手機業(yè)務(wù)測試為例，測試人員首先收集需求并制定測試計劃，然后根據(jù)需求及測試計劃制定測試用例，在用例通過評審后開始執(zhí)行計劃，接下來要對測試中發(fā)現(xiàn)的問題進行反饋和跟蹤，問題解決后還要進行回歸測試以驗證問題是否確實被解決。這個過程中，執(zhí)行測試是投入工作量最大的環(huán)節(jié)。測試人員需要嚴格按照測試用例中的步驟，一步步地對手機進行點擊操作，觀察操作得到的結(jié)果是否與用例的預(yù)期結(jié)果相符合。如果相符則測試通過，進入下一步，如果不符合，則要做好記錄并反饋跟蹤問題。通常，這些操作要不同的測試人員反復(fù)執(zhí)行數(shù)十次甚至數(shù)百次，以消除偶然因素的影響，使測試結(jié)果更具代表性，最大限度地展現(xiàn)測試對象的客觀情況。

從上述描述大家可以看出，傳統(tǒng)的人工測試由于“人”的因素存在，至少有以下幾點問題，使得它在某些方面不合適在互聯(lián)網(wǎng)時代大量應(yīng)用（尤其是在客觀性指標(biāo)的測試上）。

人類受限于生理的原因，在現(xiàn)有的科技條件下，人的精力有限，只能通過經(jīng)驗和熟練度的提高來提高測試頻率和測試質(zhì)量，測試效率和質(zhì)量無法得到突破性的提高。

人的精力有限還有另一個問題。人需要休息，單個測試員在時間跨度上覆蓋困難。若要時間7*24小時不間斷測試，需要人員數(shù)量的提高來實現(xiàn)。

由人工進行測試和記錄，測試過程和結(jié)果容易出現(xiàn)差錯，測試結(jié)果的準確性因測試人員的素質(zhì)高低不同得不到保證。

人工測試員的測試質(zhì)量不僅受到本身素質(zhì)的影響，還受到他（她）的情緒等不可控的因素影響，導(dǎo)致測試過程和測試結(jié)果不受控。

人與人之間的差異性必然導(dǎo)致人與人測試過程的差異性，對測試結(jié)果標(biāo)準判斷的差異性，這些差異性導(dǎo)致測試結(jié)果的差異性。測試結(jié)果無法達到標(biāo)準化。

而互聯(lián)網(wǎng)時代的關(guān)鍵詞是快速、高效、標(biāo)準，人工測試雖然在主觀性測試上暫時無法被取代，但是在客觀指標(biāo)測試上顯然與這些特點存在矛盾，導(dǎo)致它在某些方面天然地不適合互聯(lián)網(wǎng)時代的要求。這就給測試領(lǐng)域提出了新的要求。筆者在此為互聯(lián)網(wǎng)撥測提出一點思路，以期達到拋磚引玉之效。

在互聯(lián)網(wǎng)時代，就要運用互聯(lián)網(wǎng)思維實現(xiàn)撥測模式的創(chuàng)新。

首先可以明確的一點是，互聯(lián)網(wǎng)的高效快速是人工測試無法滿足的，自動撥測就成為一個必然的選項，有其先進性。筆者以移動數(shù)據(jù)產(chǎn)品“和閱讀”為例，來簡單說明自動撥測系統(tǒng)的效益。“和閱讀”的人工撥測團隊5分鐘完成一輪客觀性指標(biāo)撥測，每天工作8小時，那么一天總計撥測96次，每周共計撥測480次。若采用自動撥測，假設(shè)同樣5分鐘完成一輪客觀性指標(biāo)撥測，每周7*24小時撥測，可以撥測2016次，是人工撥測效率的4倍以上。這中間還沒有計算人工撥測成員長期重復(fù)執(zhí)行同一任務(wù)引起注意力和情緒變化等因素帶來的不穩(wěn)定影響，自動撥測顯然沒有這方面的缺陷。若單純的將上述計算轉(zhuǎn)換為人工成本來計算，自動撥測可以減少撥測人工75%以上。即使將自動撥測系統(tǒng)的維護、執(zhí)行等人員計算在內(nèi)，自動撥測也將至少節(jié)約人力投入50%以上。筆者在東部某省移動工作，主要職責(zé)是數(shù)據(jù)產(chǎn)品的業(yè)務(wù)質(zhì)量和用戶體驗管理，每年僅人工撥測一項就投入數(shù)百萬元，若是將其中客觀性指標(biāo)以自動撥測形式開展，就可節(jié)約成本以百萬計，若在移動及運營商體系推廣，乃至拓展到全社會，帶來的社會經(jīng)濟效益將不可估量。

相信行業(yè)內(nèi)有識之士均已認識到自動撥測巨大的社會經(jīng)濟效益，也正因此，現(xiàn)在行業(yè)內(nèi)各種自動撥測模式和各類系統(tǒng)層出不窮，有通過軟件模擬用戶真實操作的端到端撥測系統(tǒng)，有使用探針獲取網(wǎng)絡(luò)層數(shù)據(jù)的仿真模式，還有使用硬件方式直接操作終端的機械手模式，各種撥測模式各有優(yōu)劣，不一而足。整個自動撥測產(chǎn)業(yè)剛起步不久，目前尚處于成長期，各種模式均不成熟，整體來說還處于摸索階段，那么到底應(yīng)該如何利用互聯(lián)網(wǎng)思維進行自動化撥測呢？筆者在此根據(jù)行業(yè)發(fā)展，結(jié)合自己多年的工作體會，簡單談?wù)勛约旱囊稽c想法。

用戶體驗至上

互聯(lián)網(wǎng)思維的一個最大特點是“用戶體驗至上”，互聯(lián)網(wǎng)時代到來之后，特別是隨著移動互聯(lián)網(wǎng)的蓬勃發(fā)展，用戶體驗成為衡量產(chǎn)品質(zhì)量的重要因素。眾多的互聯(lián)網(wǎng)公司成立了用戶體驗研究團隊或用戶體驗研究部門，足見用戶體驗的重要性。因此，互聯(lián)網(wǎng)思維進行自動撥測應(yīng)該是以用戶體驗為核心開展的工作。

所謂用戶體驗，ISO 9241-210標(biāo)準將用戶體驗定義為 “人們對于針對使用或期望使用的產(chǎn)品、系統(tǒng)或者服務(wù)的認知印象和回應(yīng)”。顯然，這一定義明確了用戶體驗的主體是人，客體是產(chǎn)品、系統(tǒng)或服務(wù)，因此，盡可能的運用真實的產(chǎn)品、系統(tǒng)或服務(wù)來作為測試的客體，是得到真實用戶體驗的前提條件?，F(xiàn)在市場上較多的測試，都是以模擬產(chǎn)品、系統(tǒng)或服務(wù)的方式來運行，盡管現(xiàn)在的模擬系統(tǒng)比較先進，能夠在很大程度上模擬用戶使用的場景、終端和網(wǎng)絡(luò)等因素，但是畢竟用戶使用場景復(fù)雜，很難由一套模擬系統(tǒng)來完成所有用戶行為。基于上述原因，筆者認為以用戶體驗為核心的撥測，應(yīng)該是基于真機的端到端撥測。在獲得端到端撥測數(shù)據(jù)的基礎(chǔ)上，再將手機當(dāng)時所處的外部環(huán)境信息、手機本身的內(nèi)部環(huán)境信息和撥測對象的網(wǎng)絡(luò)層甚至芯片層數(shù)據(jù)同時記錄，便于定位分析問題，提出優(yōu)化建議，提升業(yè)務(wù)、網(wǎng)絡(luò)及終端質(zhì)量。

據(jù)筆者了解，現(xiàn)在的技術(shù)手段已經(jīng)完全能夠滿足上述的需求。通過對操作系統(tǒng)權(quán)限的破解，達到軟件對手機的控制，利用軟件操作手機來實現(xiàn)真實終端和真實網(wǎng)絡(luò)場景下模擬用戶的真實操作，并通過圖像、OCR及通信信令等信息比對判斷結(jié)果。同時，在操作系統(tǒng)上獲得手機的終端信息和網(wǎng)絡(luò)信息也不是難事，甚至通過與具備終端權(quán)限和網(wǎng)絡(luò)權(quán)限的第三方合作，獲取終端芯片和網(wǎng)絡(luò)空口層面的信息也是可以實現(xiàn)的。將終端、網(wǎng)絡(luò)和業(yè)務(wù)三者的信息相結(jié)合，不僅可以真實的再現(xiàn)用戶的操作場景和操作體驗，并且能夠深入定位和分析影響用戶體驗的因素，采取針對性的措施進行改善。

除了在技術(shù)上實現(xiàn)用戶體驗的測試，在管理上，將“用戶體驗至上”的理念融入到整個產(chǎn)品生命周期當(dāng)中，并建立和引入一系列的方法和工具貫徹執(zhí)行（如圖1）。在產(chǎn)品立項、開發(fā)、試點、試商用和商用的各個階段都充分注重用戶體驗，形成一套科學(xué)的用戶體驗管理流程。而測試在其中作為產(chǎn)品品質(zhì)評估和控制的重要手段。

快速迭代

一般認為，快速迭代的概念最初是由互聯(lián)網(wǎng)公司提出來，用來應(yīng)對互聯(lián)網(wǎng)時代的快速發(fā)展，本意指應(yīng)用程序或web網(wǎng)站先以一個核心功能吸引用戶，再在用戶反饋基礎(chǔ)上，快速地完善和改進產(chǎn)品，在較短的時間內(nèi)發(fā)布，不斷提升用戶體驗的過程。這一概念也成為互聯(lián)網(wǎng)思維的核心特點之一。

通過快速迭代的方式，縮短產(chǎn)品發(fā)布周期，軟件發(fā)布周期控制在兩周甚至一周以內(nèi)，將電信級的穩(wěn)定性要求通過軟件的快速更新?lián)Q代來完成。并且，快速的軟件發(fā)布效率和及時的客戶需求反饋，也能給客戶帶來良好的服務(wù)體驗。小米是移動互聯(lián)網(wǎng)時代的佼佼者，也是快速迭代領(lǐng)域的佼佼者，短短5年時間從零開始成為了一家市值450億美元的巨頭。小米的MIUI系統(tǒng)，每周都發(fā)布版本更新，每兩周發(fā)布一個穩(wěn)定版，MIUI作為手機操作系統(tǒng)尚且能做到快速迭代，相信一般的軟件開發(fā)都有快速迭代的能力和潛力。

當(dāng)然，產(chǎn)品的快速迭代并不僅僅是技術(shù)或研發(fā)層面的提升，而是集管理和研發(fā)為一體的系統(tǒng)性工程，除了研發(fā)實力，還需要一系列的管理措施配合，如相應(yīng)的組織架構(gòu)搭建，敏捷開發(fā)制度的建設(shè)，用戶需求的完整采集，合適的開發(fā)工具以及完善的系統(tǒng)架構(gòu)設(shè)計等等。這對于傳統(tǒng)撥測廠家的研發(fā)和管理能力提出了更高的要求。但是，這是適應(yīng)移動互聯(lián)網(wǎng)時代的要求，是在這個時代生存所必須的要求，只有滿足這樣的要求，才能不被移動互聯(lián)網(wǎng)的浪潮所拋棄。

跨界思維

在傳統(tǒng)互聯(lián)網(wǎng)時代，生態(tài)圈內(nèi)各測試服務(wù)提供商一般都有各自的領(lǐng)域，井水不犯河水，比如網(wǎng)絡(luò)優(yōu)化服務(wù)提供商的專注于現(xiàn)場路測、室內(nèi)分布優(yōu)化及各層網(wǎng)元測試和優(yōu)化等，終端測試服務(wù)商專注于終端功能、性能等方面的測試，而業(yè)務(wù)測試服務(wù)提供商則專注于業(yè)務(wù)測試和質(zhì)量提升。

而到了移動互聯(lián)網(wǎng)時代，隨著智能終端，特別是智能手機的爆發(fā)式增長，各類測試通過智能手機整合集成成為一種可能。這與互聯(lián)網(wǎng)思維中的“跨界思維”不謀而合。隨著互聯(lián)網(wǎng)和新科技的發(fā)展，很多產(chǎn)業(yè)的邊界變得模糊，智能終端的觸角已無孔不入，如零售、圖書、金融、電信、娛樂、交通、媒體等。而李彥宏也指出“互聯(lián)網(wǎng)產(chǎn)業(yè)最大的機會在于發(fā)揮自身的網(wǎng)絡(luò)優(yōu)勢、技術(shù)優(yōu)勢、管理優(yōu)勢等，去提升、改造線下的傳統(tǒng)產(chǎn)業(yè)，改變原有的產(chǎn)業(yè)發(fā)展節(jié)奏、建立起新的游戲規(guī)則”。

利用數(shù)億手機用戶隨身攜帶的手機或各類智能終端，在用戶知情且同意的情況下，收集匿名信息并上傳到云端服務(wù)器。這其中可以包括業(yè)務(wù)運行情況，網(wǎng)絡(luò)信號情況，終端性能情況等等，以往需要多個測試服務(wù)商多套專業(yè)設(shè)備才能完成的測試任務(wù)，現(xiàn)在只需要一部手機就可以勝任絕大部分工作，并且通過大量用戶的廣泛分布，可以比傳統(tǒng)方式測試更客觀、更準確、更有代表性。

大數(shù)據(jù)思想和云撥測

互聯(lián)網(wǎng)思維的一個重要產(chǎn)物是對數(shù)據(jù)的空前關(guān)注。而撥測正是一個產(chǎn)生數(shù)據(jù)的過程。特別是如前所述，撥測中會產(chǎn)生大量的數(shù)據(jù)，包括撥測結(jié)果、各種環(huán)境信息數(shù)據(jù)和其它需要的數(shù)據(jù)，這些數(shù)據(jù)可以利用自動撥測的優(yōu)勢，直接上傳到云端服務(wù)器做記錄和存儲，對這些數(shù)據(jù)的深入挖掘和分析將遠遠超過此前人工撥測所能達到的程度。這就是大數(shù)據(jù)分析的優(yōu)勢，仍以通信行業(yè)為例，這些結(jié)果的分析可以獲知業(yè)務(wù)在不同終端、不同地點、不同時間、不同網(wǎng)絡(luò)的業(yè)務(wù)質(zhì)量；可以獲知終端與各種業(yè)務(wù)的適配性能；網(wǎng)絡(luò)與各種終端的適配性能；網(wǎng)絡(luò)資源在本網(wǎng)內(nèi)的引入情況；網(wǎng)絡(luò)故障的溯源等等?？傊?，大數(shù)據(jù)分析帶給我們無限的想象空間。

筆者據(jù)此設(shè)計了一套適合大數(shù)據(jù)分析的自動云撥測系統(tǒng)網(wǎng)絡(luò)架構(gòu)，如圖2所示。

左側(cè)的終端表示撥測目標(biāo)業(yè)務(wù)所運行的真機環(huán)境，也即撥測終端，通過互聯(lián)網(wǎng)連接到撥測管理平臺，撥測產(chǎn)生的大數(shù)據(jù)全部上傳到撥測管理平臺，管理平臺對這些數(shù)據(jù)進行管理和分析。而右側(cè)的管理終端，可以是撥測管理人員的任何PC或智能終端，只要通過互聯(lián)網(wǎng)連接到管理平臺的Portal頁面，即可對撥測終端進行終端管理、撥測任務(wù)、數(shù)據(jù)分析管理、報表管理和告警管理等。

通過這樣的云撥測架構(gòu)，管理人員可以隨時隨地對撥測系統(tǒng)進行管理和控制。撥測數(shù)據(jù)全部上傳到云端，分析人員可以利用數(shù)據(jù)挖掘的工具和手段對大數(shù)據(jù)進行更進一步的處理，這大大提升了撥測管理人員和數(shù)據(jù)分析人員的掌控力，無限擴展了管理和分析人員的執(zhí)行空間，是對傳統(tǒng)撥測能力的一次全新變革。

應(yīng)用：

筆者在上述思路基礎(chǔ)上，構(gòu)建了本省移動數(shù)據(jù)產(chǎn)品自動撥測系統(tǒng)，目前項目已進展到第二期，并在集團公司領(lǐng)導(dǎo)下在全國移動公司范圍內(nèi)進行推廣，從而組建了中國移動數(shù)據(jù)業(yè)務(wù)產(chǎn)品品質(zhì)自動撥測系統(tǒng)

移動集團自動撥測系統(tǒng)二期目前在全國31省全面部署完畢，并已正常運行近2年時間。系統(tǒng)采用熱門終端和最新終端，覆蓋多個網(wǎng)絡(luò)，以此測試移動自有數(shù)據(jù)產(chǎn)品和相應(yīng)競品，7*24小時不間斷撥測，每月生成撥測數(shù)據(jù)上千萬條，對業(yè)務(wù)問題自動預(yù)警，對移動各省公司的數(shù)據(jù)產(chǎn)品質(zhì)量帶來了巨大的提升，是移動公司數(shù)據(jù)產(chǎn)品質(zhì)量的重要抓手，成為保證數(shù)據(jù)產(chǎn)品質(zhì)量的關(guān)鍵手段之一。

在系統(tǒng)規(guī)劃中，我們還利用跨界思維確立了單系統(tǒng)多用途的建設(shè)方向，在將來的幾期項目中將逐步建立整合業(yè)務(wù)、網(wǎng)絡(luò)和終端測試功能的復(fù)合型自動撥測系統(tǒng)。

結(jié)束語：

互聯(lián)網(wǎng)時代的到來使通信行業(yè)和上下游產(chǎn)業(yè)都面臨巨大的機遇，如何在這一機遇面前利用互聯(lián)網(wǎng)思維實現(xiàn)轉(zhuǎn)型是大家都在思索的問題。筆者以自己工作中的一隅之見，給出了自己對撥測模式轉(zhuǎn)變的一些拙見，一家之言，只求勿貽笑大方。