黃靜旋 尹玨賢 林怡坤

摘? 要： 隨著軟件測試的需求不斷提高，軟件眾測服務模式應運而生，實現(xiàn)企業(yè)、測評機構、測試人員之間互聯(lián)互動，以群體協(xié)作和數據智能雙輪驅動，實現(xiàn)資源共享、任務共同協(xié)作。本文對眾測服務模式進行探索與實踐，提出了眾測服務模式、眾測服務業(yè)務流程和眾測服務應用場景，概括了眾測服務面臨的挑戰(zhàn)并設計相應解決方案。從群智眾測平臺的實際眾測服務情況看，眾測服務模式可以滿足多樣性需求，且高效完成測試任務。

關鍵詞： 眾測服務； 軟件測試； 群體協(xié)作； 群智

中圖分類號：TP317? ? ? ? ? 文獻標識碼：A? ? ? ?文章編號：1006-8228（2023）06-110-04

Exploration and practice of software crowdsourced testing service model

Huang Jingxuan， Yin Juexian， Lin Yikun

（Guangdong Tops Soft-park Co，.LTD， Guangzhou， Guangdong 510663， China）

Abstract： With the increasing demand for software testing， the software crowdsourced testing service model has emerged. It realizes the interconnection and interaction among enterprises， evaluation institutions and testers， and achieves resource sharing and task collaboration with the two wheels drive of group cooperation and data intelligence. In this paper， we explore and practice the crowdsourced testing service model， propose its business process and application scenarios， summarize the challenges faced by crowdsourced testing service and design the corresponding solutions. From the actual situation of a real crowd testing platform， it is clear that the crowdsourced testing service model can meet diverse needs and complete testing tasks efficiently.

Key words： crowdsourced testing service; software testing; group cooperation; group intelligence

0 引言

近年來，隨著信息技術的發(fā)展，軟件的更新速度逐漸加快，軟件測試周期隨之不斷縮減。傳統(tǒng)軟件測試通常由單一測評機構實施，測試資源有限，測試效率有待提高。軟件測試的需求方通常希望得到高效的、大量的、高質量的測試反饋以迅速提升軟件產品的質量，傳統(tǒng)軟件測試或無法滿足日益增長的測試需求。眾測服務模式為解決上述問題提供了新思路。眾測模式是企業(yè)、測評機構、測試人員之間互聯(lián)互動，實現(xiàn)閑置富余資源匯聚和有效配置的一種實現(xiàn)路徑。

1 眾測服務模式探索

1.1 眾測服務模式

眾包測試[1]（簡稱“眾測”）依托互聯(lián)網技術，利用共享經濟的特性，采用分布、協(xié)作的方式組織實施[2]，協(xié)同測試資源，將原來由固定專職測試人員完成的測試任務遷移到平臺上，按需通過臨時招募非確定的、數量眾多的測評機構或測試人員，利用大眾的碎片時間在短期內共同協(xié)作完成一項測試任務。

眾測服務模式的主體包括眾測服務平臺、軟件制造企業(yè)、測評機構、測試人員。眾測服務平臺將軟件制造企業(yè)、測評機構、測試人員聯(lián)合起來，把測試環(huán)境、測試設備、測試工具、通用測試軟件以及服務能力等資源匯聚起來并有效地配置。通過人員高效協(xié)作和測試資源融合，實現(xiàn)資源共享、任務共同協(xié)作。

1.2 眾測服務平臺建設

眾測服務平臺是眾測服務模式中的關鍵角色，為眾測服務的各參與方提供在線平臺[3]。眾測服務平臺建設示意圖如圖1所示。

眾測服務平臺實現(xiàn)多層次多角度的集成化[4]。在資源方面，將多方眾測資源進行柔性集成，如服務器、數據庫、支持軟件、測試工具等；在平臺方面，將現(xiàn)有的測試平臺和科技平臺進行集成，如慕測平臺、北斗測試平臺、Web云測平臺等；在工具方面，將課題研究技術和工具集成，如任務監(jiān)控與決策支持工具、眾測任務規(guī)劃與調度工具、眾測服務質量評估工具等；在測試流程方面，實現(xiàn)閉環(huán)眾測服務一體化集成，從企業(yè)發(fā)包方提交測試任務到測試結束后分發(fā)獎勵，實現(xiàn)測試過程全生命周期的一體化集成。

眾測服務平臺旨在提供可測、可評、可信的在線眾測服務[5]。“可測”體現(xiàn)在平臺形成面向多領域的、適應多種測試對象的、適配多種測試類型的眾測服務?！翱稍u”體現(xiàn)在平臺對機構、人員、產品、服務多維度的質量評價?！翱尚拧斌w現(xiàn)在過程可管控，數據可溯源，結果可信任。此外，在眾測服務過程中，實現(xiàn)了智能化數據融合及賦能，平臺具備眾測任務與眾測人員推薦與匹配、缺陷報告自動融合、測試報告自動生成等功能。

1.3 眾測服務業(yè)務流程

眾測服務業(yè)務流程如圖2所示。企業(yè)發(fā)包方在平臺發(fā)布任務、測試需求，可以選擇定向發(fā)布、區(qū)域發(fā)布或廣場發(fā)布。隨后測評機構在平臺接包，進行測試任務建模與任務規(guī)劃，完成測試任務設計。眾測平臺根據任務設計在測試資源池中按需申請并構建資源，再將任務發(fā)布給對應群體。接下來，根據任務推薦機制招募人員，眾測人員可以進行任務接包，執(zhí)行眾測任務并生成測試報告[6]，在平臺上提交測試結果。眾測平臺將多方提交的測試結果融合并自動生成測試報告，發(fā)包方接收并查看測試報告。最后，進行接包機構質量評價、眾測服務質量評價和產品質量評價，根據評價結果完成費用核算，并將費用發(fā)放給眾測人員。

1.4 眾測服務應用場景

眾測服務覆蓋了對互聯(lián)網應用、移動APP應用、智能終端、傳感器和科技服務等眾多測試對象的測試。在服務互聯(lián)網方面，面向移動政務、金融服務、醫(yī)療衛(wèi)生交通出行、生活服務等各類移動應用程序在設計開發(fā)測試、運營服務等階段的功能、性能、兼容性、易用性、安全分析、數據質量評估、系統(tǒng)調優(yōu)與故障定位等。在科技服務平臺方面，面向科技服務平臺如創(chuàng)業(yè)孵化平臺、科技咨詢、檢驗檢測認證、綜合科技服務科技信息管理服務平臺等設計開發(fā)平臺建設、運營服務各階段的兼容性易用性、穩(wěn)定性等測試、及用戶訪問等行為數據監(jiān)控。在集成電路和智能傳感器方面，面向芯片在設計、運營服務階段的功能測試、穩(wěn)定性和可靠性測試；面向北斗不同模組構成的北斗導航、精準授時等智能傳感器、智能醫(yī)療、輔助駕駛等智能傳感器和服務的功能性、接口、性能兼容性、可靠性等測試。

現(xiàn)列舉一些典型的眾測應用場景：

● 功能性測試：主要包括基于需求的功能測試、探索式測試；

● 兼容性測試：主要包括環(huán)境兼容性、瀏覽器兼容性測試；

● 用戶體驗測試：主要包括跨地域環(huán)境、真實用戶使用環(huán)境和場景、真實用戶操作習慣/時序、多種應用切換和交叉測試；

● 性能測試：其主要特點是網絡環(huán)境復雜、執(zhí)行環(huán)境多樣、訪問路徑隨機、并發(fā)用戶量大；

● 滲透測試/漏洞挖掘：其主要特點是利用眾多滲透測試人員、發(fā)揮其各自特長、經驗實踐、預測判斷和掌握的相關工具，從不同角度挖掘潛漏洞；

● 適配性測試：其主要特點是目標終端廣泛、品牌多樣、操作系統(tǒng)多樣、異構環(huán)境差異、支持軟件復雜。

2 眾測服務面臨的挑戰(zhàn)及應對方案

目前眾測服務尚在探索階段，仍面臨許多挑戰(zhàn)，例如數據篩選、質量評估、準入門檻等。為應對上述挑戰(zhàn)，本文提出相應的解決方案。

挑戰(zhàn)1 眾測人員提交的數據存在大量重復或相似，如何從中篩選最有價值的數據？如何有效進行審核？

應對方案1 眾測人員在線編寫測試用例、提交缺陷報告，平臺方對測試結果進行結構化處理，在線審核眾測結果?；谖谋鞠嗨菩?、圖片相似性及標注分析技術，對高相似度的缺陷分組進行信息完整度判定，優(yōu)選同組缺陷中的主缺陷報告，確定輔缺陷報告?；趯＜医涷灱芭袛?，對主、輔缺陷報告進行審核和優(yōu)化調整。主/輔缺陷報告互換、轉移、獨立、升降級，專家審核缺陷并進行自助評分，隨后自動生成測試報告，完成缺陷報告的自動融合。

挑戰(zhàn)2 眾測是一種弱組織的非確定性的臨時人員組合，眾測服務質量、產品質量、接包方質量該如何評價？

應對方案2 對眾測服務質量進行評價，設計眾測服務質量度量體系，建立眾測服務質量評價標準。對眾測接包方質量進行評價，實現(xiàn)面向接包方機構的評價模型，為發(fā)包方對接包方機構的選擇提供了依據。對眾測產品質量進行評估，基于服務質量和接包方質量對產品質量屬性進行可信度評價，實現(xiàn)基于眾測結果、過程、主體質量度量結果的產品質量多維融合評價。

挑戰(zhàn)3 測試的專業(yè)性較強，眾測人員群體中可能包含非專業(yè)的測試人員，如何降低眾測準入門檻？

應對方案3 眾測服務平臺集成大量的眾測資源構建工具，實現(xiàn)了眾測云環(huán)境構建，分為基礎物理資源、眾測虛擬化資源池、眾測資源管理平臺、眾測環(huán)境構建平臺四個部分。平臺能夠構建各種服務器、桌面終端、測試工具、網絡環(huán)境、操作系統(tǒng)、數據庫、中間件以及支持軟件等環(huán)境，眾測接包人員可直接在環(huán)境上開展測試工作。平臺可提供測試環(huán)境的動態(tài)生成、測試工具云化集成、運行狀態(tài)監(jiān)視控制等功能。眾測資源構建能夠提升資源利用率，降低眾測人員的測試門檻。

3 眾測服務實踐案例

基于上文設計的眾測服務模式，構建了群智眾測服務平臺（www.cofortest.com）。該平臺是國家重點研發(fā)計劃項目“信息產品及科技服務集成化眾測服務平臺研發(fā)與應用（2018YFB1403400）”的成果應用推廣服務平臺，在聚集第三方評測機構的基礎上，采用標準驅動與檢測認證相結合的服務模式提供開放共享和協(xié)作共贏的集成化眾測服務，從技術體系、質量體系、運營體系三個維度建立了可持續(xù)匯聚其他測試服務機構的持續(xù)發(fā)展機制。群智眾測平臺自推出以來，為很多企業(yè)、機構提供了眾測服務，吸引了海量注冊用戶，完成了諸多測試任務，現(xiàn)以某在線教育平臺測試項目為例，簡要介紹眾測服務實踐案例。

某在線教育平臺測試項目的需求包含三個類別，分別是功能性測試、瀏覽器兼容性測試和性能眾測。其中，功能性測試要求在Web端和小程序端均展開覆蓋教育平臺全功能的測試；瀏覽器兼容性測試要求在Web端的Chrome瀏覽器、360瀏覽器、QQ瀏覽器、Firefox瀏覽器、Edge瀏覽器和Safari瀏覽器開展測試；性能眾測要求在Web端和小程序端完成簽到、課程學習（在線視頻點播）、課后評價、作業(yè)提交的測試，用戶數量要求在200個以上。性能測試中，有200臺以上的設備同時發(fā)起視頻點播，覆蓋多樣化環(huán)境。測試時用戶流量大對帶寬要求高，常常無法評估實時播放的畫面、畫質、音視頻同步情況以及終端上的顯示效果。

在該項目的測試過程中，線上接包人數達166人，參與測試的接入終端達到259個，最高同時在線210余臺設備，眾測人員廣泛分布于全國12個省市。測試執(zhí)行時長達1h，眾測人員在48h內提交測試結果，包含測試用例、測試結果記錄及缺陷情況。最終有136名眾測人員（259個測試終端）提交測試結果，其中，測試用例共計1286個，缺陷共計106個，每名用戶提交的測試用例最多達到34個，每名用戶發(fā)現(xiàn)缺陷最多達到6個。實踐表明，眾測服務模式可以滿足發(fā)包方的多樣需求，以高效協(xié)作的方式完成測試任務。

4 結束語

軟件眾測服務模式為信息時代的軟件測試提供了新思路，以群體協(xié)作和數據智能雙輪驅動，實現(xiàn)資源共享、任務共同協(xié)作。本文對眾測服務模式進行了簡要介紹，提出了完整的眾測服務業(yè)務流程以及眾測服務應用場景。針對眾測服務目前面臨的挑戰(zhàn)設計了相應的解決方案。最后以群智眾測平臺為例，介紹了某具體測試項目的實踐情況。眾測服務模式實現(xiàn)了多方互聯(lián)互動，匯聚群智[7]，高效利用資源，具有廣泛的應用前景。

參考文獻（References）：

[1] 章曉芳，馮洋，劉頔，等.眾包軟件測試技術研究進展[J].軟件

學報，2018，29（1）：69-88

[2] 馮劍紅，李國良，馮建華.眾包技術研究綜述[J].計算機學報，

2015，38（9）：1713-1726

[3] 王青，王崇駿，葉東升，等.信息產品及科技服務集成化眾測

服務研究[J].中國基礎科學，2020，22（2）：43-48，62

[4] 陳淥萍，范兆霞.面向新一代信息技術產品的集成化眾測

技術研發(fā)與實踐[J].工業(yè)技術創(chuàng)新，2022，9（2）：75-83

[5] 熊強，肖廣濤.基于臨時團隊的信息安全眾測平臺知識共享

演化博弈研究[J].科技管理研究，2020，40（11）：134-141

[6] 蔡婧璇，吳江，王誠坤.基于深度學習的眾測報告有用性預測

研究[J].數據分析與知識發(fā)現(xiàn)，2020，4（11）：102-111

[7] 徐立鑫，吳化堯.基于群體智能的軟件工程方法綜述[J].計算

機研究與發(fā)展，2020，57（3）：487-512