黃志威，宋鴻陟，司國東

（華南農(nóng)業(yè)大學數(shù)學與信息學院，廣州 510642）

一種在線考試中實時圖像監(jiān)考系統(tǒng)的設(shè)計與實現(xiàn)

黃志威，宋鴻陟，司國東

（華南農(nóng)業(yè)大學數(shù)學與信息學院，廣州 510642）

0　引言

隨著計算機網(wǎng)絡(luò)技術(shù)的發(fā)展，采用在線考試的情況越來越多［1］。在線考試提供了便捷的考試方式和低廉的考試成本，也帶來了一些新的問題，特別是作弊監(jiān)控方面的不足。為了取得理想的成績，考生可能利用監(jiān)考教師的疏忽進行作弊。

目前，在線考試中的監(jiān)考方式主要有兩種：一是人工監(jiān)考，監(jiān)考教師驗證考生真實身份并在考試過程中監(jiān)控考生考試行為。二是視頻錄像監(jiān)控，在人工監(jiān)考的基礎(chǔ)上，使用視頻監(jiān)控裝置來監(jiān)控整個考場。人工監(jiān)考時考生作弊與否完全由監(jiān)考教師主觀判斷，時間長、壓力大，容易出現(xiàn)疏漏?？荚囃戤叄y以保留可供后續(xù)復審的監(jiān)考記錄。而視頻錄像監(jiān)控很難對不同位置的考生提供相同的監(jiān)控力度，較易出現(xiàn)監(jiān)控死角。

針對在線考試中一些常規(guī)的作弊行為以及考場視頻監(jiān)控存在的問題，本文采用Web實時技術(shù)實現(xiàn)考場的實時圖像監(jiān)控，綜合運用人臉檢測和人臉識別對考場圖像進行處理和分析實現(xiàn)考生作答行為判別，設(shè)計并實現(xiàn)一個基于圖像的在線考試作弊監(jiān)控系統(tǒng)。該系統(tǒng)不僅可以有效地監(jiān)控每個考生的考試情況，而且可以對他人替考、多人作答、擅自離開、中途換人等情況進行分析和判斷。該系統(tǒng)能對在線考試的監(jiān)考工作提供輔助和補充，具有一定的應用價值。

1　關(guān)鍵技術(shù)

WebRTC是一項在瀏覽器內(nèi)部進行實時視頻和音頻數(shù)據(jù)通信的技術(shù)［2］。該技術(shù)使得瀏覽器能作為實時視頻和音頻通信平臺，通過瀏覽器提供JavaScript API接口調(diào)用本地媒體設(shè)備，從而屏蔽底層硬件實現(xiàn)或操作系統(tǒng)之間的差異。本文通過瀏覽器的WebRTC模塊調(diào)用本地攝像設(shè)備。

WebSocket是一種新的瀏覽器與服務器之間的全雙工通訊方式［3］。不同于基于HTTP協(xié)議的請求/響應的信息交互模式，WebSocket最重要特性是使得瀏覽器和服務器之間能夠建立類似TCP Socket的持續(xù)、雙向、有狀態(tài)的連接。本文使用WebSocket技術(shù)實現(xiàn)瀏覽器和服務器之間的實時圖像數(shù)據(jù)傳輸。

人臉檢測是在給定任意圖像中確定是否存在人臉，若存在則返回人臉圖象的位置［4］?；贏daboost算法的人臉檢測方法［5］，極大地提高了人臉檢測的速度和精度，使人臉檢測技術(shù)真正走向?qū)嵱谩?/p>

基于AdaBoost算法的人臉檢測首先使用Haar特征表示人臉，并通過積分圖實現(xiàn)特征數(shù)值的快速計算。然后使用AdaBoost算法挑選代表人臉的矩形特征 （弱分類器），按照加權(quán)投票的方式將弱分類器構(gòu)造為一個強分類器。最后將訓練得到的若干強分類器串聯(lián)組成一個級聯(lián)結(jié)構(gòu)層疊分類器。待檢測圖像依次通過分類器，最終檢測出人臉圖像。

為了得到水平對齊和相同裁剪尺度的人臉圖像，本文根據(jù)人臉五官分布的先驗知識［6］，首先定位雙眼的中心位置，然后通過雙眼中心的連線與水平方向的夾角來確定人臉的旋轉(zhuǎn)角度，最后通過水平和垂直方向的平移和仿射變換，得到最終的人臉圖像。

人臉識別是將待識別人臉圖像與若干已知身份的人臉圖像進行對比，找出與之匹配的身份，從而達到身份識別與鑒定的目的［7］。人臉識別的過程主要包括兩個方面：特征提取和特征分類。本文使用Fisherfaces方法［8］用作特征提取，使用基于余弦相似度的K最近鄰算法［9］用作特征分類。

Fisherfaces方法首先采用PCA（Principal Component Analysis，主成分分析）將高維空間的樣本投影到低維空間以保證類內(nèi)散布矩陣是非奇異的，然后采用FLDA（Fisher Linear Discriminating Analysis，F(xiàn)isher線性判別分析）得到人臉的最佳分類特征集。

基于余弦相似度的K最近鄰算法通過已知訓練集中樣本與所屬類別的對應關(guān)系，計算測試樣本與訓練集樣本的余弦相似度，然后選擇并統(tǒng)計訓練集中最相似的前k個樣本（最近鄰）的類別，最終認為測試樣本屬于最多數(shù)類別。

2　監(jiān)考方案

本文提出的實時圖像監(jiān)考方案是對在線考試的監(jiān)考工作的一種輔助和補充手段。根據(jù)考試進程的發(fā)展，該方案主要分為報名階段和考試階段。其中，考試階段細分成三個環(huán)節(jié)：登錄驗證、持續(xù)監(jiān)考、備份資料。各個環(huán)節(jié)隨著考試時間的發(fā)展逐步推進。監(jiān)考方案如圖1所示。

圖1　監(jiān)考方案

籌備考試時，系統(tǒng)進入報名階段?？忌枰蟼鹘谡掌＿@些照片用于考試現(xiàn)場的身份驗證。發(fā)放認證書時，也以此照片為準。因此，照片中只能出現(xiàn)考生本人，并能清晰顯示考生的正臉?？荚嚬ぷ魅藛T需要核對上傳照片，核實是否為考生本人。

考試開始前，系統(tǒng)進入登錄驗證環(huán)節(jié)，啟動攝像設(shè)備，對考生進行自動拍照和身份驗證。只有通過驗證的考生，才允許參加考試。對于未通過驗證的考生，監(jiān)考老師可以現(xiàn)場核實，決定是否對該考生放行。

考試進行時，系統(tǒng)進入持續(xù)監(jiān)考環(huán)節(jié)，攝像設(shè)備持續(xù)開啟，直至考試結(jié)束。系統(tǒng)定時對考生進行自動拍照，根據(jù)照片監(jiān)考老師可以實時查看每個考生的考試情況。另外，系統(tǒng)對抓拍照片進行分析，如果發(fā)現(xiàn)作弊，則縮短抓拍照片的采集間隔，并提示監(jiān)考老師對該考生加強留意，核實是否存在作弊。

考試結(jié)束后，系統(tǒng)進入資料備份環(huán)節(jié)，關(guān)閉攝像設(shè)備，并將抓拍照片壓縮打包上傳，為復查審核工作提供證據(jù)。

3　系統(tǒng)設(shè)計

結(jié)合Web實時技術(shù)和人臉圖像處理技術(shù)，本文設(shè)計一種基于B/S架構(gòu)的在線考試監(jiān)控系統(tǒng)。該系統(tǒng)由考試端、服務端、監(jiān)考端和中心服務器構(gòu)成，系統(tǒng)的體系結(jié)構(gòu)如圖2所示。

圖2　體系結(jié)構(gòu)

考試端需要自動檢測硬件接口，控制本地攝像設(shè)備的啟動和關(guān)閉，對考生進行定時抓拍，并將抓拍照片上傳到服務端。

服務端一方面將抓拍照片推送到監(jiān)考端，令一方面分析抓拍照片中是否出現(xiàn)作弊。考生登錄考試系統(tǒng)時，將登錄時抓拍照片與考試報名時上傳照片對比，驗證考生身份并反饋結(jié)果，由監(jiān)考教師作相應放行處理。隨后的考試過程中，對抓拍照片進行人臉檢測和人臉識別，分析和判斷是否出現(xiàn)多人作答、擅自離開、中途換人，并及時向監(jiān)考端反饋分析結(jié)果。

監(jiān)考端實時呈現(xiàn)每個考試端的抓拍照片以及對應的作弊分析結(jié)果，可以在考試過程中調(diào)整每個考試端的圖像采集時間間隔。

中心服務器與多個考場中的服務端相互連接，實現(xiàn)多考場監(jiān)控。自動備份每個考生考試過程中的抓拍照片，方便考后復查。

實時圖像監(jiān)控要求考試端定時采集并提交考場圖像到服務端，考試端與服務端、服務端與監(jiān)考端之間需要建立實時的數(shù)據(jù)通道，從而實現(xiàn)圖像數(shù)據(jù)實時傳輸。考慮主流瀏覽器對WebRTC和WebSocket接口支持的規(guī)范性，本文使用Chrome［10］作為考試端和監(jiān)考端瀏覽器?？紤]主流Web應用服務器對實時響應性和對WebSocket的支持，本文使用Tornado［11］作為服務端應用服務器。

考試端通過WebRTC模塊的getUserMedia接口調(diào)用普通的PC攝像設(shè)備，對考生進行拍照。抓拍照片的圖像格式為JEPG，尺寸為320×240像素，這樣既能保證提供清晰考場畫面，也能減少對網(wǎng)絡(luò)帶寬的占用。然后，根據(jù)JavaScript腳本的setInternal接口編寫定時事件。定時事件主要實現(xiàn)定時拍照和上傳圖像數(shù)據(jù)。

定時拍照的時間間隔可以根據(jù)實際情況設(shè)定，對于監(jiān)考要求高的考試應當設(shè)置較短的定時時間。為了避免同一個時刻多個考試端上傳數(shù)據(jù)造成的傳輸壓力，每個考試端的圖像采集起始時間應該均勻分布。假設(shè)一個考場中考試端的數(shù)量為｛m|m∈N｝，每個考試端的編號為｛n|n∈［0，m］，n∈N｝，圖像采集的間隔為x秒，則每個考試端的圖像采集起始時間為 ｛y|y∈n mod x｝秒。

考試端的抓拍照片通過WebSocket模塊的send接口實時上傳到服務端。服務端通過Tornado的Web-SocketHandler類提供on_message接口監(jiān)聽來自考試端圖像數(shù)據(jù)，圖像數(shù)據(jù)經(jīng)過備份后通過write_message接口實時向監(jiān)考端器推送。監(jiān)考端使用WebSocket模塊的onmessage事件監(jiān)聽來自服務端的圖像數(shù)據(jù)，實時呈現(xiàn)每個考試端的考試情況。

另外，為了進一步減低多個考試端同時與單個服務端交互的壓力，本文采用基于Nginx的服務器反向代理技術(shù)［12］，將網(wǎng)絡(luò)負載均衡分配到多個WebSocket應用服務器實例中。

一般來說，考試時考生的頭部運動相對靜止，臉部正對屏幕而且表情較少，因此抓拍照片中能呈現(xiàn)完整的人臉。對于擅自離開或多人作答情況，抓拍照片中分別會有零或多個人臉。對于他人替考和中途換人的情況，抓拍照片中的人臉不同于注冊時現(xiàn)場拍照中的人臉。本文使用基于AdaBoost算法的人臉檢測提取抓拍照片的人臉，然后使用基于Fisherfaces方法的人臉識別得到人臉對應的考生身份。

通常，作弊是一個持續(xù)的考試行為。因此，本文首先對一段時間內(nèi)的抓拍照片進行人臉檢測，統(tǒng)計人臉的數(shù)量與抓拍照片總數(shù)量的比率。然后對這些人臉圖像進行人臉識別，統(tǒng)計識別為本人的次數(shù)與和人臉識別總次數(shù)的比率。最后通過設(shè)定的閾值判斷考生是否有作弊嫌疑。作弊行為和判別條件如表1所示。

表1　作答行為判別

假設(shè)考生在1分鐘內(nèi)的作答過程，稱為一次作答行為。考試端在1分鐘內(nèi)對考生進行自動拍照，得到若干抓拍照片，服務端對這些抓拍照片進行處理和分析，判別考生在最近1分內(nèi)的作答行為。考慮到環(huán)境因素、主觀因素以及隨機誤差的影響，實踐證明，當人臉數(shù)量比率少于50%時，可以認為是離開座位；當人臉數(shù)量比率大于50%而且小于120%時，可以認為是單人作答；當人臉數(shù)量比率大于120%時，可以認為是多人作答。在被判別為單人作答的前提下，當本人身份比率大于80%，可以認為是本人作答。

4　仿真測試

以實驗室62臺計算機作為測試工具，其中一臺作為服務端兼中心服務器，一臺作為監(jiān)考端，其余60臺筆記本計算機作為考試端?？荚嚩撕捅O(jiān)考端的軟硬件配置：內(nèi)存為2GB；內(nèi)置130萬像素攝像頭；操所系統(tǒng)為Windows 7；瀏覽器為Chrome。服務端的軟硬件配置：處理器為主頻2.5GHz的Intel i5處理器；操作系統(tǒng)為CentOS 6.5；內(nèi)存為4GB?？荚嚩?、服務端、監(jiān)考端都位于同一個局域網(wǎng)內(nèi)，互相之間網(wǎng)絡(luò)通信正常。

實驗室光照均勻，有60名來自計算機科學與技術(shù)、地理信息科學、信息管理與信息系統(tǒng)等專業(yè)的本科生參與了實驗，全部熟悉在線考試的考試流程并擁有在線考試系統(tǒng)的使用經(jīng)驗。考生在考試端通過瀏覽器登錄在線考試系統(tǒng)進行考試，監(jiān)考教師在監(jiān)考端通過瀏覽器監(jiān)控考試情況。

考生填寫相關(guān)身份信息，使用瀏覽器進行20次自動拍照，照片自動上傳到中心服務器。系統(tǒng)檢測所有考生注冊照片中的人臉，構(gòu)建出有60個類別，每個類別有20個人臉圖像的訓練樣本集。然后，系統(tǒng)提取并備份訓練樣本集中的人臉特征。

考試開始前，考生使用“賬號+密碼”登錄系統(tǒng)，系統(tǒng)啟動攝像頭，并提示考生進行身份驗證?？忌c擊“身份驗證”按鈕后，系統(tǒng)對考生拍照，并驗證考生身份?？荚嚩说纳矸蒡炞C界面如圖3所示。

圖3　考試端的身份驗證界面

為了模擬他人替考的情況，隨機選取30名考生以本人注冊身份登錄，其余30人以他人注冊身份登錄，進行10次重復實驗，本人與他人的身份驗證統(tǒng)計數(shù)據(jù)如表2所示。

表2　本人與他人身份錄驗證統(tǒng)計數(shù)據(jù)

由表2可知，考生以本人身份登錄時驗證通過率為95.7%，而以他人身份登錄時驗證通過率只有5.1%。如果出現(xiàn)多次被拒絕通過的“真考生”，監(jiān)考老師可對其現(xiàn)場確認和人工放行。由于系統(tǒng)將在后續(xù)的持續(xù)監(jiān)控中定時判斷是否出現(xiàn)中途換人的情況，因此身份驗證通過的 “假考生”很可能在后續(xù)的考試過程中被發(fā)現(xiàn)。對于在線考試來說，在“賬號+密碼”的身份驗證方案基礎(chǔ)上，引入人臉識別技術(shù)，能有效阻止他人替考的情況發(fā)生。

考試過程中，攝像設(shè)備持續(xù)對考生進行拍攝，攝像畫面處于屏幕的左上方?？荚嚩说目荚嚱缑嫒鐖D9所示。

圖4　考試端的考試界面

監(jiān)考端呈現(xiàn)考場內(nèi)所有考生的注冊信息、抓拍圖像、作弊分析結(jié)果，監(jiān)考教師可以控制相應考生的放行情況，設(shè)置圖像采集間隔，結(jié)合現(xiàn)場信息和抓拍照片加以判斷是否發(fā)生作弊行。監(jiān)考端的監(jiān)控界面如圖5所示。

圖5　監(jiān)考端的監(jiān)控界面

為了模擬真實考試情況，安排有60名考生參加持續(xù)時間為30分鐘的考試，要求每名考生在考試過程中的特定時間內(nèi)的做出以下4種作答行為：（1）第0分鐘至第5分鐘，在本人座位上作答；（2）第6分鐘至第17分鐘，與兩人或多人共同作答；（3）第18分鐘至第23分鐘，離開本人座位；（4）第24分鐘至第29分鐘，與他人交換座位。

根據(jù)默認設(shè)置，系統(tǒng)每隔1分鐘就對抓拍照片進行一次作答行為判別，系統(tǒng)正確判別的統(tǒng)計數(shù)據(jù)如表3所示。

表3　作答行為的正缺判別統(tǒng)計數(shù)據(jù)

由表3可知，考試過程中的本人作答有95.3%被系統(tǒng)正確判斷，多人作答有86.7%被系統(tǒng)正確判斷，擅自離開98.3%被系統(tǒng)正確判斷，擅自離開有97.8%被系統(tǒng)正確判斷，中途換人有94.2%被系統(tǒng)正確判斷?？荚囘^程中，多人作答、擅自離開、中途換人這三種行為的動作幅度大，容易引起注意，真實情況下發(fā)生的幾率不大。如果出現(xiàn)這三種作弊行為出現(xiàn)，系統(tǒng)能及時發(fā)現(xiàn)并保存證據(jù)，監(jiān)考教師可以通過監(jiān)考端查證。當然，系統(tǒng)也有錯誤判斷，監(jiān)考教師可以根據(jù)現(xiàn)場情況進行排除。在線考試的監(jiān)測系統(tǒng)中使用人臉檢測和人臉識別技術(shù)，能有效發(fā)現(xiàn)多人作答、擅自離開、中途換人等行為，為監(jiān)考工作提供輔助。

5　結(jié)語

本文通過WebRTC技術(shù)調(diào)用PC的攝像設(shè)備定時對考生拍照，由于攝像設(shè)備能與考生一一對應，可以對考場中的不同位置能提供相同的監(jiān)控效果。同時使用WebSocket技術(shù)傳輸圖像數(shù)據(jù)，可以實時呈現(xiàn)每個考生的考試現(xiàn)場情況。在實時圖像監(jiān)控的基礎(chǔ)上，綜合利用基于AdaBoost算法的人臉檢測和基于Fisherfaces的人臉識別，對他人替考、多人作答、擅自離開、中途換人等情況進行分析和判斷。不過，在在作答行為判別方面仍然可改進的空間。本文的研究對在線考試監(jiān)考方式具有借鑒價值。

［1］教育部考試中心.2014年9月第40次全國計算機等級考試平穩(wěn)舉行［DB/OL］.2014-09-25.http://sk.neea.edu.cn/jsjdj/infor.jsp infoid=54750&class_id=26_14_02.

［2］Nurminen J，Meyn A，Jalonen E，et al.P2P media streaming with HTML5 and WebRTC［C］.Computer Communications Workshops （INFOCOM WKSHPS），2013 IEEE Conference on.IEEE，2013:63-64.

［3］Pimetel V，Nickerson B.Communicating and displaying real-time data with Web-Socket［J］.IEEE Computer Society，2012，16（4）: 45-53.

［4］Zhang C，Zhang Z.A survey of recent advances in face detection［R］.Tech.rep.，Microsoft Research，2010.

［5］Viola P，Jones M.Robust real-time face detection［J］.International journal of computer vision，2004，57（2）:137-154.

［6］劉芳梅，楊云.網(wǎng)上報名照片的人臉自動檢測和裁剪系統(tǒng)［J］.山東科學，24（6）:96-100.

［7］Pandya J，Rathod D，Jadav J.A survey of face recognition approach［J］.International Journal of Engineering Research and Applications（IJERA），2013，3（1）:632-635.

［8］Belhumeur P，Hespanha J，Kriegman D.Eigenfaces vs.Fisherfaces:recognition using class specific linear projection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）:711-720

［9］劉應東，?；菝?基于k-最近鄰圖的小樣本KNN分類算法［J］.計算機工程，2011，37（09）:198-200.

［10］Google.WebRTC:Official Site［DB/OL］.2014-04-18.http://www.webrtc.org/.

［11］Facebook.Tornado Web Server［DB/OL］.2014-06-14.http://www.tornadoweb.org/en/stable/.

［12］Nginx.High Performance Load Balancer，Web Server，&Reverse Proxy［DB/OL］.2014-03-04.http://www.nginx.com/.

Exam Monitoring；WebRTC；WebSocket；Face Detection；Face Recongnition

Design and Implementation of Real-time Image Monitoring System for Online Exam

HUANNG Zhi-wei，SONG Hong-zhi，SI Guo-dong
（College of Mathematics and Informatics，South China Agricultural University，Guangzhou 510642）

國家自然科學基金項目（No.60875045）

1007-1423（2015）19-0062-06

10.3969/j.issn.1007-1423.2015.19.016

黃志威（1989-），男，廣東東莞人，研究生，研究方向為人機交互、計算機視覺

宋鴻陟（1972-），男，黑龍江大慶人，博士，教授，研究方向為人機交互、信息可視化

司國東（1972-），男，吉林長春人，碩士，講師，研究方向為教育技術(shù)、人機交互

2015-05-05

2015-06-26

針對在線考試中一些常規(guī)的作弊行為以及當前視頻監(jiān)控方法存在的問題，提出一種基于圖像的在線考試監(jiān)考方案，設(shè)計并實現(xiàn)一個實時圖像監(jiān)考系統(tǒng)。該系統(tǒng)通過WebRTC技術(shù)調(diào)用PC的攝像設(shè)備定時對考生拍照，使用WebSocket技術(shù)實現(xiàn)圖像數(shù)據(jù)實時傳輸，綜合利用基于AdaBoost算法的人臉檢測和基于Fisherfaces方法的人臉識別技術(shù)自動發(fā)現(xiàn)他人替考、多人作答、擅自離開、中途換人，及時保存證據(jù)并通知監(jiān)考教師。通過仿真測試驗證該系統(tǒng)的有效性，為在線考試的監(jiān)控工作提供可行的輔助手段。

考試監(jiān)控；WebRTC；WebSocket；人臉檢測；人臉識別

Aiming at some conventional cheatings in online exam and the problems of current video monitoring method，presents the image based invigilation scheme.Designs and implements a real-time image based monitoring system for online exam.To realize taking photos regularly for examinees and images data real-time transmission，uses Web real-time technology such WebRTC and WebSocket.To auto discover the cheatings such as replaced by other，multiple answers，leave the seat，substitute examinee in midway，the AdaBoost based face detection and the Fisherfaces based face recognition are utilized comprehensively.Validates the feasibility of the system by simulation test.