閆曉煒，張朝暉，趙小燕，賈鸝宇

(北京科技大學(xué) 自動化學(xué)院，北京 100083)

一、引言

得益于視頻監(jiān)控技術(shù)的發(fā)展和人們綜合素質(zhì)水平的提高，基于視頻處理的課堂教學(xué)自動評估系統(tǒng)[1]應(yīng)運而生，逐漸取代了傳統(tǒng)的教學(xué)評估系統(tǒng)，更方便地服務(wù)于課堂教學(xué)管理工作，同時為監(jiān)督教育的進步和發(fā)展提供了技術(shù)支持。這些智能監(jiān)控系統(tǒng)主要利用了視頻處理技術(shù)對學(xué)生進行監(jiān)控，針對學(xué)生的上課考勤、聽課情況進行分析，最終獲得教學(xué)評估數(shù)據(jù)。

在課堂中學(xué)生固然有著重要的身份地位，我們通過監(jiān)測學(xué)生的情況對課堂教學(xué)進行評價。但評價課堂的教學(xué)不能僅僅以學(xué)生為中心，教師作為傳道授業(yè)解惑者也有著不可動搖的地位。教師所擁有的良好的教學(xué)方式，不僅可以幫助教師提高工作效率，而且也促進了師生的交流，更有利于教師的教學(xué)[2][3]。綜上，我們將教師也加入到智能教學(xué)評估系統(tǒng)中，可以更全面地對教學(xué)進行評價。

教師通過實際的肢體動作可以有效地傳達自己的情緒或者信息給學(xué)生，更容易吸引學(xué)生的注意力。教師在講課過程中加入肢體動作不僅有強調(diào)、示范的作用，而且增加課堂的感染力，加強教師說話的力度，強化教學(xué)信息[4]。教師在授課過程中的肢體動作可以看作反映教師授課狀態(tài)的重要依據(jù)。因此我們選擇教師的肢體動作來進行檢測，并通過yolo 算法實現(xiàn)，同時對算法進行了優(yōu)化。

二、教師肢體動作檢測方法

圖1 教師肢體動作

教師的肢體動作是課堂教學(xué)的重要組成部分，它能將原本抽象的教學(xué)內(nèi)容形象化、具體化，通過肢體動作的表達，提高了學(xué)生的學(xué)習(xí)熱情，活躍了課堂氣氛，拉近了師生距離[5]。通過檢測教師肢體動作來對課堂進行評價需要選取教師的肢體動作來制作數(shù)據(jù)集。本次實驗選取了教師的兩個典型動作：教師指黑板的動作、教師站在講臺前的動作，分別如圖1 所示。

基于計算機視覺的發(fā)展，肢體動作因其傳達信息多、應(yīng)用范圍廣受到了研究人員的關(guān)注并且提出了多種識別方法。最近比較流行的有：香港中文大學(xué)博士Wei Yang 的PyraNet[6]，Alexander Toshev、Christian Szegedy 提出的DeepPose[7]，卡內(nèi)基梅隆大學(xué)的OpenPose[8]，華盛頓大學(xué)艾倫研究所的Josehp Redmon、Ali Farhadi 提出的yolo[9]等等。本實驗首先分別選取了OpenPose、yolo 兩種算法，在對比分析之后最終選擇了yolo 算法，并且對該算法進行了優(yōu)化。

OpenPose 算法是卡內(nèi)基梅隆大學(xué)提出來的一種自下而上的肢體動作識別方法。通過身體關(guān)鍵點的定位與各個關(guān)節(jié)的定位實現(xiàn)肢體檢測。它的優(yōu)點是魯棒性好，人體被遮擋的部位也能夠估計出來，缺點是計算量很大，實時性差。本實驗使用該算法識別FPS 僅為10 幀/秒，不能滿足實時性。yolo 算法是一種基于深度學(xué)習(xí)的目標檢測算法，它具有檢測速度快、準確度高的優(yōu)點，但是對相互靠得很近的物體和小的群體檢測效果不好。yolo 可以一次性預(yù)測多個box 位置和類別，實現(xiàn)了端到端的目標檢測與識別。使用該算法識別FPS 為22 幀/秒，滿足了實時性和準確度的需求，最終選了yolo 算法。本次實驗采用的是yolo 的第二個版本yolov2。

1.yolo 網(wǎng)絡(luò)結(jié)構(gòu)

yolo 算法包含分類網(wǎng)絡(luò)和檢測網(wǎng)絡(luò)兩類網(wǎng)絡(luò)。yolo分類網(wǎng)絡(luò)借鑒了GoogLeNet 的思想，包含卷積層和全連接層，其中卷積層分為3*3、1*1 兩種卷積核，用來提取特征，全連接層輸出類別結(jié)果。本次實驗使用的yolov2版本，提出了一種新的分類網(wǎng)絡(luò)DarkNet-19，包含19 個卷積層和5 個池化層，見圖2。

圖2 分類網(wǎng)絡(luò)結(jié)構(gòu)

yolov2 的檢測網(wǎng)絡(luò)是在分類網(wǎng)絡(luò)基礎(chǔ)上進行了調(diào)整。將分類網(wǎng)絡(luò)的最后一個1*1 的卷積層移除，添加3個3*3*1024 的卷積層，再添加輸出是類別個數(shù)的1*1卷積。檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 檢測網(wǎng)絡(luò)結(jié)構(gòu)

2.yolo 實現(xiàn)肢體檢測

利用yolo 實現(xiàn)教師肢體檢測需要三步：制作數(shù)據(jù)集、訓(xùn)練數(shù)據(jù)集、測試識別。

（1）制作數(shù)據(jù)集

本次實驗數(shù)據(jù)集采用的是VOC 數(shù)據(jù)集，在采集到足夠圖像之后使用LabelImg 軟件進行特征標注，生成帶有位置信息的xml 文件，然后使用matlab 軟件生成.txt訓(xùn)練測試文件，最后將上述圖像文件放入新建的VOC文檔中完成了數(shù)據(jù)集的制作，見圖4。

圖4 制作數(shù)據(jù)集

（2）訓(xùn)練數(shù)據(jù)集

yolov2 的訓(xùn)練包括三個階段：第一階段輸入224*224的圖像，先在ImageNet 分類數(shù)據(jù)集上預(yù)訓(xùn)練DartNet-19，該階段共訓(xùn)練160 期。第二階段輸入448*448 的圖像，繼續(xù)在ImageNet 數(shù)據(jù)集上訓(xùn)練分類模型，訓(xùn)練10期。第三個階段是修改DartNet-19 分類模型為檢測模型，并在檢測數(shù)據(jù)集上繼續(xù)微調(diào)網(wǎng)絡(luò)，見圖5。

圖5 yolo 訓(xùn)練圖解

（3）yolo 檢測識別

yolov2 實現(xiàn)肢體動作的檢測首先在檢測模型中輸入圖片，并將圖片劃分為s*s 的網(wǎng)格。本實驗采用的是416*416 尺寸，因為模型下采樣總步長為32，所以將圖像劃分為13*13 的網(wǎng)格。如果目標的中心位置落入某個格子，那么該格子就負責(zé)檢測出這個物體。圖6 中正中間的格子為中心位置，負責(zé)檢測肢體動作。

圖6 yolo 檢測識別

每個網(wǎng)格預(yù)測5 個框，每個框包含x,y,w,h 和confidence 5 個數(shù)值。其中x,y 代表了框的橫縱坐標，w,h 代表了框的寬高，confidence 代表了預(yù)測的框中含有目標的置信度和準確度。公式如下：

若包含物體，則P(object)=1；否則P(object)=0。

同時每個網(wǎng)格預(yù)測類別信息，本次設(shè)置了1 個類別，因此類別信息為1。計算得到輸出值為13*13*（5*5+1）。

然后每個網(wǎng)格預(yù)測的類別信息和框預(yù)測的confidence 信息相乘獲得預(yù)測的概率，公式如下：

得到每個框的概率之后，根據(jù)閾值大小，濾掉得分低的框，對保留的框進行NMS（非極大值抑制）處理，得到最終的檢測結(jié)果。

三、優(yōu)化yolo 網(wǎng)絡(luò)

使用yolo 網(wǎng)絡(luò)實現(xiàn)了教師肢體動作的檢測，但是部分識別框尺寸不合適并不能完全將動作包括起來，也從側(cè)面反映了識別結(jié)果有一定的缺陷。通過分析yolov2的原理和程序發(fā)現(xiàn)是yolov2 特有的anchor 機制造成了這一結(jié)果。

anchor 機制[10]是yolov2 參考了Faster RCNN 中的anchor box 方法，通過預(yù)先設(shè)置anchor boxes 的尺寸更好地預(yù)測框的坐標。不同的是faster RCNN 中的框大小和比例是根據(jù)經(jīng)驗手工精選并設(shè)定的，同時anchor boxes 的尺寸可以在訓(xùn)練過程中調(diào)整。而yolov2 的尺寸是使用聚類方法求得的，在一開始就選擇合適的尺寸，幫助網(wǎng)絡(luò)更好地預(yù)測目標。在yolov2 中原作者計算出來的框大部分是瘦高的，這一尺寸符合行人的特征，而我們要檢測的教師肢體動作標注出的框大部分是扁平的和偏向正方形的，如果仍舊使用原作者給出的數(shù)據(jù)就會導(dǎo)致上述問題，因此，采用K-means 聚類方法生成適合于本數(shù)據(jù)集的anchor box 數(shù)據(jù)，優(yōu)化yolov2 的anchor 參數(shù)，解決了這一問題并提高了yolov2 的準確率。

K-means 聚類算法是一種基于劃分的聚類算法，通過計算距離將相近的對象劃分至同一個簇，將較遠的對象劃分至不同的類簇[11]。算法的基本思想：先選擇k 個點作為初始聚類中心點，然后計算剩余的樣品點到中心點的距離，根據(jù)歐氏距離越小相似度越高的原則，分別將其分配到與其最相似的聚類，然后再次計算得到每個類別新的聚類中心，并對剩余樣品點進行分配，上述過程進行循環(huán)迭代直到達到給定次數(shù)或者聚類準則函數(shù)開始收斂為止[12]。

該算法中假設(shè)待聚類的數(shù)集D={xi|xi∈RP,i=1,2,…n}，p 是維數(shù)，則歐式距離公式為：

聚類準則函數(shù)為：

其中c1,c2…，ck為k 個聚類中心。

yolo 算法中若直接使用會使大的框比小的框產(chǎn)生更大的誤差，因此yolo 作者定義了新的距離公式：

同時將所有框中心點的x,y 坐標都設(shè)為0，方便公式的使用。

本實驗利用K-means 算法對之前標注的特征框尺寸數(shù)據(jù)進行聚類，計算出符合本實驗的anchor 大小，替換了網(wǎng)絡(luò)之前的數(shù)據(jù)，重新訓(xùn)練之后檢測教師肢體動作的框尺寸合適，并且檢測準確度也有所提升。

四、實驗結(jié)果

此次實驗采用yolo 算法完成教師肢體動作的檢測。在實驗中首先選取了OpenPose、yolo 兩種算法，發(fā)現(xiàn)OpenPose 準確度高，但由于計算量可觀，實時性差，無法滿足實驗要求，而yolo 算法實時性好，雖然準確度相比OpenPose 有所下降，但對實驗沒有大的影響，因此最終選擇了yolo 算法。兩個算法檢測效果對比如表1 所示。

表1 OpenPose 和yolo 算法檢測效果對比表

確定使用yolo 算法后，具體說明了yolo 的分類網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)兩種結(jié)構(gòu)以及實現(xiàn)檢測的過程，并且針對識別結(jié)果中出現(xiàn)的識別框尺寸不合適的情況分析原因，同時采用K-means 聚類方法計算出anchor 參數(shù)，完成對yolo 的參數(shù)優(yōu)化，解決了上述問題，而且提高了識別準確率。yolo 優(yōu)化前后檢測效果對比如表2所示。

表2 yolo 優(yōu)化前后檢測效果對比表

識別結(jié)果如圖7 所示，本實驗還記錄了優(yōu)化前后訓(xùn)練過程中的avg_loss 數(shù)據(jù)，并將數(shù)據(jù)可視化進行分析，發(fā)現(xiàn)兩者損失下降的迭代次數(shù)是差不多的，本次優(yōu)化并未對損失迭代有太大影響，見圖8。

圖7 yolo 識別肢體動作的結(jié)果

圖8 yolo 優(yōu)化前后avg_loss 對比

五、結(jié)束語

本實驗將視頻監(jiān)控技術(shù)與課堂評價系統(tǒng)相結(jié)合，將檢測教師授課情況加入到課堂教學(xué)自動評估系統(tǒng)中，并選取教師肢體動作為教師授課評價的指標。在算法上使用yolo 算法并進行優(yōu)化完成教師肢體動作檢測。此次實驗完善了課堂教學(xué)自動評估系統(tǒng)，對課堂教學(xué)管理工作具有積極意義。