白茹

（西安航空職業(yè)技術(shù)學(xué)院，陜西西安 710000）

課堂考勤與監(jiān)控是課堂管理中重要的一環(huán)，能夠在一定程度上保證學(xué)生按時上課，確保學(xué)習(xí)質(zhì)量[1]。目前，課堂考勤主要依靠老師或班委人工點名的方式，這種方式不僅浪費時間且不能避免早退、代課等情況的出現(xiàn)，無法對課堂進(jìn)行全面監(jiān)督[2]。針對上述問題，文中在分析數(shù)據(jù)流媒體技術(shù)的基礎(chǔ)上，建立了一種基于視頻流媒體的人臉識別課堂監(jiān)控系統(tǒng)。該監(jiān)控系統(tǒng)充分發(fā)揮數(shù)據(jù)流媒體的優(yōu)勢，利用圖像預(yù)處理中的灰度化及雙邊濾波算法對視頻流進(jìn)行處理，使其能夠更優(yōu)地進(jìn)行人臉識別。測試結(jié)果表明，文中設(shè)計的系統(tǒng)除了能夠較好地實現(xiàn)視頻流的發(fā)送與接收等基本需求外，還可以較好地完成學(xué)生的上課考勤以及課堂的實時監(jiān)控。該系統(tǒng)為實時監(jiān)測學(xué)生遲到、早退、代課和曠課等現(xiàn)象，對課堂進(jìn)行全面監(jiān)督等提供了一種可行性方案。

1 視頻流媒體

視頻流（Video Streaming）是一種基于流體化技術(shù)的視頻數(shù)據(jù)傳輸形式[3]。流體化技術(shù)的思想為：服務(wù)器在向用戶傳輸視頻文件時，首先按時間順序?qū)⑵浞譃椴煌钠?，再將這些片段依次發(fā)給用戶。采用視頻流的傳輸方式，可以實現(xiàn)用戶對已接收部分?jǐn)?shù)據(jù)的先期處理[4-6]。這種協(xié)同傳輸與處理的方式，保證了監(jiān)控系統(tǒng)內(nèi)數(shù)據(jù)傳輸?shù)膶崟r性，提高了視頻信息迅速處理的能力[7]。

流媒體（Streaming Media）又稱為流式媒體，是一種將視頻、聲音、文本等媒體數(shù)據(jù)壓縮并通過互聯(lián)網(wǎng)進(jìn)行分段發(fā)送，能夠?qū)崿F(xiàn)數(shù)據(jù)實時傳輸?shù)囊环N多媒體傳輸技術(shù)[8]。視頻流媒體就是將視頻流進(jìn)行數(shù)據(jù)壓縮，并實現(xiàn)實時處理與發(fā)送的一種網(wǎng)絡(luò)傳輸技術(shù)。視頻流媒體綜合了視頻流與流媒體的特征，主要體現(xiàn)在以下幾個方面[9-11]：

1）視頻信號可以不經(jīng)過任何轉(zhuǎn)換直接采用流式傳輸?shù)姆绞竭M(jìn)行迅速傳輸；

2）對系統(tǒng)所部署的服務(wù)器緩存容量的要求較低，這主要是由于其內(nèi)部是以傳輸數(shù)據(jù)包為基礎(chǔ)的異步傳輸；

3）視頻流媒體傳輸?shù)膶崿F(xiàn)依賴于特定的傳輸協(xié)議，最大程度保證數(shù)據(jù)傳輸?shù)膶崟r性、連續(xù)性和時序性。

視頻流媒體的傳輸流程如圖1 所示。

圖1 視頻流媒體的傳輸流程

其中，Web 瀏覽器端（客戶端）是一個對視頻流進(jìn)行操作的可視化界面，負(fù)責(zé)給用戶提供一個輸入輸出接口[12]；Web 服務(wù)器端則用來獲取客戶端中用戶的輸入，并根據(jù)輸入請求將獲取到的資源反饋給用戶，這些資源包括視頻流媒體的服務(wù)器地址、資源路徑以及數(shù)據(jù)編碼/解碼方式等；流媒體服務(wù)器端與Web 服務(wù)器、流媒體播放器端相連接，主要負(fù)責(zé)處理Web 服務(wù)器端的數(shù)據(jù)獲取請求，并為播放器端提供視頻流數(shù)據(jù)；流媒體播放器端受客戶端的控制，負(fù)責(zé)播放用戶所請求的視頻流數(shù)據(jù)。同時，流媒體播放器與流媒體服務(wù)器之間的數(shù)據(jù)通過傳輸協(xié)議進(jìn)行交換，常用的傳輸協(xié)議[13]包括實時流媒體協(xié)議（RTSP）、資源預(yù)留協(xié)議（RSVP）、微軟流媒體服務(wù)協(xié)議（MMS）以及實時傳輸控制協(xié)議（RTCP）等。

視頻流媒體的播放方式總共分為3 種：單播[14]、廣播及組播。其中，單播是指系統(tǒng)每個Web 瀏覽器端與流媒體服務(wù)器之間均有一個獨立的數(shù)據(jù)傳輸通道，每個數(shù)據(jù)包只能被發(fā)送到一個瀏覽器端。對于用戶，這種播放方式能夠滿足其個性化需要，如隨時停止、快進(jìn)、后退等控制功能。但對于服務(wù)器而言，單播會造成數(shù)據(jù)冗余，極大地增加服務(wù)器的運行負(fù)擔(dān)。尤其當(dāng)用戶較多時，服務(wù)器響應(yīng)時間較長，甚至停止運行。廣播是用戶被動接收視頻流數(shù)據(jù)的播放方式，是對單播方式的一種改進(jìn)，采用該方式系統(tǒng)的所有用戶均接收到了相同的流數(shù)據(jù)。這種方式雖然減少了系統(tǒng)中流數(shù)據(jù)的拷貝，但未充分考慮各用戶的需求，有些無用的流數(shù)據(jù)被發(fā)送給用戶，浪費了系統(tǒng)的網(wǎng)絡(luò)帶寬。組播是基于單播和廣播可以實現(xiàn)數(shù)據(jù)有效共享的一種播放方式，該方式允許多個客戶端同時訪問同一數(shù)據(jù)包，極大地減少了系統(tǒng)中的數(shù)據(jù)包總量[15]。該方式使得單個服務(wù)器能夠同時向幾十萬臺客戶機(jī)實時地傳輸視頻流數(shù)據(jù)，并提高系統(tǒng)使用效率。

2 監(jiān)控系統(tǒng)設(shè)計

設(shè)計該系統(tǒng)最重要目的在于通過視頻流媒體及人臉識別技術(shù)有效監(jiān)督高校學(xué)生的遲到、早退等考勤情況，保證課堂質(zhì)量，為實現(xiàn)課堂自動化考勤提供新的思路。下面主要是建立監(jiān)控系統(tǒng)總體框架，并對其中的關(guān)鍵模塊進(jìn)行分析。

2.1 系統(tǒng)架構(gòu)設(shè)計

針對上述所提到的需求，該文設(shè)計的基于視頻流媒體的人臉識別課堂監(jiān)控系統(tǒng)的總體架構(gòu)如圖2所示。

圖2 監(jiān)控系統(tǒng)總體架構(gòu)

該系統(tǒng)可以分為3 個模塊：監(jiān)控端、服務(wù)器端以及客戶端。其中監(jiān)控端的功能是實時采集課堂狀況，并將獲取到的視頻流數(shù)據(jù)實時發(fā)送到服務(wù)器端，流數(shù)據(jù)的交換采用RTSP 實時流媒體傳輸協(xié)議；服務(wù)器端負(fù)責(zé)接收和處理監(jiān)控端傳輸來的視頻流數(shù)據(jù)，同時進(jìn)行人臉識別；客戶端則是人機(jī)交互的界面，包括用戶登錄、監(jiān)控視頻播放、考勤記錄等。

2.2 RTSP傳輸協(xié)議

實時流媒體協(xié)議（Real Time Streaming Protocol，RTSP）是TCP/IP 協(xié)議體系中的一個應(yīng)用層協(xié)議，該協(xié)議規(guī)定了如何通過IP 網(wǎng)絡(luò)有效地發(fā)送視頻流數(shù)據(jù)[16]。RTSP 為視頻流媒體提供了暫停、快進(jìn)等功能，但其主要用于實現(xiàn)遠(yuǎn)程控制服務(wù)器。采用TCP或UDP 中的RTP 協(xié)議來完成實際數(shù)據(jù)的傳輸工作，數(shù)據(jù)傳輸與控制采用不同協(xié)議的優(yōu)勢在于播放流媒體的客戶機(jī)和控制流媒體播放的客戶機(jī)可以為不同的計算機(jī)。系統(tǒng)流媒體服務(wù)協(xié)議體系架構(gòu)如圖3 所示。RTSP 在架構(gòu)上位于RTP 和RTCP 之上，同時利用TCP/RTP 傳輸協(xié)議在IP 網(wǎng)絡(luò)上完成視頻等多媒體數(shù)據(jù)的傳輸。

圖3 流媒體服務(wù)協(xié)議體系架構(gòu)

RTSP 與HTTP 的相似之處在于兩者均是通過純文本進(jìn)行信息傳輸，且兩者的編程語法相近，使得RTSP能夠較好地兼容基于HTTP協(xié)議所形成的代碼。兩者的區(qū)別在于RTSP協(xié)議是有狀態(tài)的。在進(jìn)行一個新的RTSP 命令時，需要了解當(dāng)前所處的狀態(tài)，發(fā)送的指令也是按照一定的順序執(zhí)行的，不會出現(xiàn)連接斷開的情況。而HTTP 每發(fā)送一個指令后，連接就會斷開，且各指令之間不存在明顯的依賴關(guān)系。同時RTSP協(xié)議通常使用554 端口，HTTP 協(xié)議則使用80 端口。

2.3 人臉識別技術(shù)

人臉識別是整個監(jiān)控系統(tǒng)尤為重要的一部分，其包括圖像獲取、圖像預(yù)處理、特征提取、人臉檢測與識別等過程。在該文的設(shè)計中，圖像預(yù)處理分為兩步：首先對視頻進(jìn)行灰度化處理，降低彩色圖像的數(shù)據(jù)量；然后利用雙邊濾波算法去除圖像噪聲，進(jìn)而突出圖像特征。人臉識別算法采用基于Haar 特征的Adaboost 算法，對應(yīng)人臉識別模塊的工作流程如圖4 所示。

圖4 人臉識別模塊工作流程

首先是人臉圖像采集，在該系統(tǒng)中代表接收到的實時課堂視頻圖像；然后利用Adaboost 算法對傳入圖像進(jìn)行人臉檢測，判斷該幀圖像中是否存在人臉，為了減輕服務(wù)器壓力，系統(tǒng)對每10 幀的圖像進(jìn)行一次檢測操作；若存在人臉，則進(jìn)行人臉特征的提取并進(jìn)行特征的比對，確定是否為該課堂中已經(jīng)錄入的人臉。如果是，則記錄該學(xué)生信息，完成考勤并進(jìn)行監(jiān)控；如果不是，則記錄該異常信息。其中所用到的基于Haar 特征的Adaboost 算法的人臉識別流程如圖5 所示。

圖5 人臉識別算法流程

該算法的人臉識別流程可以描述為：首先計算系統(tǒng)服務(wù)器端接收到的監(jiān)控視頻流的Haar 特征，Haar 特征在本質(zhì)上是基于積分圖像的矩形特征，主要用來描述圖像某一區(qū)域灰度值在方向和尺度上的差異，是人臉識別和目標(biāo)檢測領(lǐng)域中最常使用到的一種特征；然后利用提取到的Haar 特征求出Adaboost 算法各弱分類器的參數(shù)，通過訓(xùn)練迭代選取每輪最優(yōu)的弱分類器，并記錄對應(yīng)的迭代權(quán)值。完成訓(xùn)練后將得到的所有弱分類器根據(jù)加法模型組合成強(qiáng)分類器，強(qiáng)分類器通過級聯(lián)的方式產(chǎn)生一個用于人臉檢測的復(fù)雜模型。

3 系統(tǒng)測試

為了驗證該文設(shè)計的基于視頻流媒體的人臉識別課堂監(jiān)控系統(tǒng)的有效性與可靠性，文中通過3 個實驗內(nèi)容對該系統(tǒng)進(jìn)行測試，包括視頻流發(fā)送接收測試、人臉識別測試和課堂考勤測試。

3.1 視頻流發(fā)送接收測試

該實驗內(nèi)容主要測試系統(tǒng)監(jiān)控端的視頻拍攝與視頻流發(fā)送以及服務(wù)器端的視頻流接收功能，為進(jìn)一步處理流數(shù)據(jù)進(jìn)行人臉檢測與識別奠定基礎(chǔ)。系統(tǒng)該部分的實驗測試結(jié)果如表1 所示。

表1 視頻流發(fā)送接收測試

由表1 可以看出，系統(tǒng)監(jiān)控端能夠較好地完成課堂視頻拍攝與視頻數(shù)據(jù)流發(fā)送。同時，服務(wù)器端可以在低延遲的情況下，實現(xiàn)對視頻流的實時接收。

3.2 人臉識別測試

該實驗內(nèi)容主要測試文中系統(tǒng)對單人臉進(jìn)行識別的準(zhǔn)確程度，驗證所采用的人臉識別算法的有效性。測試?yán)瞄_源的LEW 數(shù)據(jù)集、Megaface 數(shù)據(jù)集以及教室攝像頭實拍的數(shù)據(jù)集Rtd，其中LEW 數(shù)據(jù)集中總共包括13 233 幅圖像、5 749 人。所有圖像均來源于現(xiàn)實，涉及到的人物均為公眾人物。Megaface 數(shù)據(jù)集中的圖像大多數(shù)為普通人，更接近真實環(huán)境。Rtd 為利用教室攝像頭實拍的課堂視頻集，從中選取了5 000 幀，表2 為對不同數(shù)據(jù)集的實驗測試結(jié)果。

從表2 可以看出，該文系統(tǒng)所采用的基于Haar特征的Adaboost 人臉識別算法準(zhǔn)確率均能達(dá)到95%以上，充分說明了該算法的有效性以及人臉識別的可靠性。

表2 不同數(shù)據(jù)集人臉識別準(zhǔn)確率

3.3 課堂考勤測試

該項目主要測試系統(tǒng)在真實課堂環(huán)境中的表現(xiàn)情況，包括課堂考勤的成功率及學(xué)生上課時間統(tǒng)計。其中課堂考勤的成功率是指對正常上課學(xué)生的準(zhǔn)確識別，同時對旁聽與未選該課的學(xué)生進(jìn)行區(qū)分?？偣策M(jìn)行了4 組實驗，實驗結(jié)果如表3 所示。其中，教室總?cè)藬?shù)是指該課堂應(yīng)到的人數(shù)與旁聽該課人數(shù)之和；課堂考勤的成功率計算則是識別成功人數(shù)除以課堂應(yīng)到人數(shù)×100%的結(jié)果。

表3 課堂考勤成功率實驗結(jié)果

由表3 可知，該系統(tǒng)的課堂考勤成功率較高，能夠達(dá)到96%以上，具有較好的實用性。

學(xué)生上課時間統(tǒng)計是指通過視頻流確定上課學(xué)生出現(xiàn)在監(jiān)控畫面中的時長，以此判斷學(xué)生是否有出現(xiàn)打卡之后逃課的情況，進(jìn)而完成對學(xué)生上課情況的監(jiān)控。表4 為上課時段中52 個學(xué)生的上課時間統(tǒng)計數(shù)據(jù)。

表4 學(xué)生上課時間統(tǒng)計

由表4 可知，52 名學(xué)生中有49 名學(xué)生能夠滿足課堂要求。同時發(fā)現(xiàn)有上課時間不足20 min 的學(xué)生，判定這些學(xué)生存在逃課行為。

4 結(jié)束語

該文通過介紹與分析視頻流媒體技術(shù)，開發(fā)了基于視頻流媒體的人臉識別課堂監(jiān)控系統(tǒng)。該系統(tǒng)充分利用視頻流媒體的優(yōu)勢，同時采用Adaboost算法進(jìn)行人臉識別。系統(tǒng)視頻流發(fā)送接收測試、人臉識別測試及課堂考勤測試，三項測試結(jié)果說明，該系統(tǒng)能夠較好地完成學(xué)生的上課考勤與課堂的實時監(jiān)控，驗證了該監(jiān)控系統(tǒng)的有效性和可靠性。