摘? 要：隨著智慧教室的不斷普及，采用傳統(tǒng)人工評教方法已經(jīng)不能滿足評估教師在這些教室教學視頻中教學行為的需要。針對這些教學視頻，建立了智能化評價教師教學行為的框架。這個框架首先基于HRNet深度學習網(wǎng)絡(luò)獲得教師人體姿態(tài)信息，然后根據(jù)教師的姿態(tài)信息建立了評價其教學行為的指標，最后采用模糊綜合評價的方法實現(xiàn)了對教師教學行為的綜合評分。實驗表明，本框架的評價結(jié)果總體和傳統(tǒng)的人工評價結(jié)果是一致的。

關(guān)鍵詞：教師教學行為;深度學習;模糊綜合評價;HRNet模型;姿勢識別

中圖分類號：TP391.41? ? ?文獻標識碼：A

文章編號：2096-1472（2021）-04-06-04

Abstract： With the continuous popularity of smart classrooms， traditional manual evaluation methods are far from meeting the needs of evaluating teaching behaviors in teaching videos of smart classrooms. In view of this problem， this paper proposes a framework for intelligently evaluating teaching behaviors. In the framework， teachers' body posture information is first obtained though HRNet （High Resolution Net） deep learning network. Then an index to evaluate their teaching behavior is established according to the teachers' posture information. Finally， comprehensive scoring of the teachers' teaching behavior is achieved by using the fuzzy comprehensive evaluation method. Experiments show that the overall evaluation results of the proposed framework are consistent with traditional manual evaluation results.

Keywords： teaching behaviors; deep learning; fuzzy comprehensive evaluation; HRNet model; posture recognition

1? ?引言（Introduction）

教師教學行為評價是指學校對教師在課堂上的教學行為有效性進行評價的過程。將評價結(jié)果反饋給相關(guān)教師，可以指導他們課堂教學能力的提升。當前，教師教學行為評價在很大程度上依賴于學校管理人員、教學督導或其他專業(yè)教師的課堂觀察。這種評價方法只能對教師具體的一節(jié)課堂教學進行評價，卻難以對教師在整個學期的全部課堂教學進行觀察，不能對教師的課堂教學形成客觀和長期的分析。研究新的教師評價方法和框架成為推動教學改革的新動力之一。當前，人工智能在教育領(lǐng)域的應(yīng)用成為教育技術(shù)領(lǐng)域的新興研究課題之一。將人工智能技術(shù)應(yīng)用于教師教學行為評價，更是一個新興的研究領(lǐng)域。隨著智能教室等教育信息基礎(chǔ)設(shè)施不斷投入使用，實時和全教學過程地獲取教師教學行為成為可能。利用人工智能技術(shù)實現(xiàn)對教師教學行為的全教學過程智能化分析，為教師提供客觀的課堂評價數(shù)據(jù)，對促進教師課堂高效教學和提高課堂教學質(zhì)量具有重要的意義[1]。

2? ?相關(guān)研究（Related works）

2.1? ?教師教學行為的視頻分析與評估

視頻分析法是采用智能化的手段跟蹤視頻的目標對象，并獲得目標數(shù)據(jù)的運動數(shù)據(jù)。HUANG等[2]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)和級聯(lián)的人臉特征點定位方法，分析和識別學生頭部姿態(tài)和面部表情，獲取學生的課堂行為，從而評估教師上課效果。閆曉煒等[3]基于yolo算法完成了教師上課時兩種肢體動作的識別，周鵬霄等[4]基于OpenCV的幀差面積法分析教師上課時提問和板書兩種行為。視頻運動目標分析法采用非接觸式的運動分析法，對被檢測對象沒有產(chǎn)生額外干擾，非常適合應(yīng)用在課堂教學環(huán)境中，在運動教學中得到一定的運用，然而當前教師課堂教學中能識別的動作比較少。

獲得教師教學行為數(shù)據(jù)后，需要評估這些行為反映的教師教學狀態(tài)和教學效果，不少最新研究都集中在建立各種教學評估模型上。BLACKWELL[5]采取專家組和非專家組觀看及評價樂器教學演奏視頻的方法，研究發(fā)現(xiàn)專家組和非專家組的評價結(jié)果總體是匹配的，而且不隨教學經(jīng)驗的變化而變化。GREVE等[6]提出了一個用于分析課堂視頻的評分系統(tǒng)，然而評分來自被授權(quán)的觀察員對教師的主觀評估。上述研究存在無法提供定量分析結(jié)果的問題，而且有些定量數(shù)據(jù)的來源也是通過其他人員的主觀評估而得。教師教學行為的評估還需進一步和教師教學行為數(shù)據(jù)自動對接，才能發(fā)揮信息技術(shù)的巨大優(yōu)勢，實現(xiàn)教師教學行為分析與評估全程自動化。

2.2? ?項目的研究框架

人體姿勢反映了人體運動特征、人的情緒等綜合信息。在教學中，教師的肢體語言充分反映了教師的教學狀態(tài)，對學生學習興趣具有重大的影響。本研究建立了基于深度學習技術(shù)的課堂教學行為的分析和評估框架，這個框架采用HRNet深度學習網(wǎng)絡(luò)建立教師課堂教學行為的人體姿態(tài)估計模型，從而獲取教師上課時的人體關(guān)鍵點;分析這些人體關(guān)鍵點與教師課堂教學行為的對應(yīng)關(guān)系，建立評價教師教學行為的指標;采用模糊綜合評價法對這些指標進行綜合評估，從而判斷教師教學效果。本研究成果能做到教師全過程教學評估，提高評價效率，對有效規(guī)范教師教學行為、促進教師教學能力提升，從而提升教學質(zhì)量具有一定的幫助。

本項目的14 個測試視頻來源于視頻網(wǎng)站haokan.baidu.com公開的教學示范課，每個示范課時長為8—12 分鐘，視頻展示了教師在黑板前的教學活動情況。這些視頻覆蓋了小學和初中的語文、數(shù)學、英語等主干課程，部分視頻還展現(xiàn)了一些教師容易出現(xiàn)的負面教學行為。文獻[5]的研究方法，本項目組還邀請了三位資深教師對每個視頻獨立打分，評估視頻中教師教學效果，重點考查教師教學行為。對比教師們的評估結(jié)果與本文算法的分析結(jié)果，從而驗證本算法的有效性。

實驗平臺的硬件環(huán)境：Intel i7-8750H@2.20 GHz CPU，32 GB內(nèi)存，Nvidia RTX 2070 GPU，8 GB顯存;軟件環(huán)境：CUDA Toolkit V10.0，CUDNN V7.0，基于Anaconda 3的Python V3.7，PyTorch 1.6深度學習框架，Windows 10 64 bit操作系統(tǒng)。HRNet模型權(quán)重采用精度最高的官方預訓練權(quán)重COCO w48 384×288，HRNet模型計算通過GPU加速。

3? 人體姿勢識別算法（Human posture recognition algorithm）

3.1? ?項目的研究框架

人體姿態(tài)估計被定義為圖像或視頻中人體關(guān)節(jié)（也被稱為關(guān)鍵點，例如肘部、手腕等）的定位問題。人體骨骼關(guān)鍵點的識別在人體姿勢識別的應(yīng)用中有著舉足輕重的理論價值，它是該任務(wù)的基礎(chǔ)方法之一[7]。姿勢識別主要基于骨骼關(guān)鍵點檢測來實現(xiàn)，因為骨骼關(guān)鍵點的檢測更能精確地描述人體姿勢?；谏疃葘W習的人體姿勢估計核心在于提高人體骨骼關(guān)鍵點檢測精確度。在當前眾多人體姿勢識別模型中，HRNet模型的精度是最高的[8]。

HRNet模型是中國科學技術(shù)大學和微軟亞洲研究院共同研究并發(fā)布的人體姿態(tài)估計模型，是CVPR 2019（Conference on Computer Vision and Pattern Recognition， 國際計算機視覺與模式識別會議）影響力最大的10篇論文之一。HRNet模型采用與眾不同的并聯(lián)結(jié)構(gòu)，可以隨時保持高分辨率表征，保證姿勢識別的效果穩(wěn)定輸出，在COCO公開數(shù)據(jù)集的關(guān)鍵點檢測、姿態(tài)估計、多人姿態(tài)估計這三項任務(wù)里，HRNet模型都超越了現(xiàn)有的人體姿態(tài)估計模型。因此本文采用HRNet模型作為人體姿態(tài)估計算法核心，算法原理如圖1所示。

HRNet模型結(jié)構(gòu)如圖1虛線部分所示，橫向表示模型深度變化，縱向表示特征圖尺度變化。第一、第二、第三行分別負責高、中、低分辨率特征圖的多層卷積運算，每行在適當?shù)木矸e運算單位之間分別進行上、下采樣運算，以此相互交換信息，實現(xiàn)多尺度融合與特征提取。最終所估計的人體骨骼關(guān)鍵點是通過高分辨率的卷積運算，形成輸入人體圖的骨骼關(guān)鍵點熱力圖。根據(jù)熱力圖，可以獲得鼻子、左右眼、左右耳、左右肩、左右肘、左右手、左右臀、左右膝、左右腳，共17個骨骼關(guān)鍵點的位置信息和最優(yōu)估計概率。教師的手勢和臉部對教學效果影響最大，因此本研究著重分析鼻子和左右手這三個骨骼關(guān)鍵點，如圖2中黑色方塊所示。

給定一段教學視頻，可定義為由幀率為的幅圖片集組成的集合。把HRNet模型作為一個算子，第幀圖片中的鼻子（nose）、左手（left_hand）和右手（right_hand）估計概率和位置信息，如公式（1）所示：

3.2? ?有效關(guān)鍵點的選擇

教師在教學過程中，肢體動作不停地變化，姿勢不停地變換，例如轉(zhuǎn)身、遮擋、肢體交互等，導致鼻子和左右手可能在圖像中暫時消失，這三個關(guān)鍵點的對應(yīng)估計概率比較低。設(shè)判斷鼻子消失的關(guān)鍵點概率閾值為，則全部滿足的鼻子位置數(shù)據(jù)組成一個有效顯示鼻子關(guān)鍵點的定位序列。

同理，設(shè)判斷左右手消失的關(guān)鍵點概率閾值分別為、，可得有效顯示左右手關(guān)鍵點的定位序列、。一般地，取、、均為0.7，以保證關(guān)鍵點能被正確識別。圖3是測試視頻1的鼻子和左右手定位信息展示。

4? 教學行為狀態(tài)的評價指標（Evaluation criteria of teaching behaviors）

根據(jù)上節(jié)所獲得的測試視頻鼻子、左右手定位序列、、，進一步定義教師教學行為狀態(tài)的評價指標。

4.1? ?教師板書的評價指標

對于一個測試視頻序列，若相鄰的兩個元素的幀序數(shù)差大于等于兩倍的幀率，即滿足公式（2）條件，則記為教師完成一次有效板書：

按此定義，教師一次連續(xù)板書時間要超過2秒或以上才能算是完成一次有效板書。這次的有效板書時長如公式（3）所示：

設(shè)這個測試視頻的有效板書時長序列為，可得評價指標1—3如下：

指標1：有效板書次數(shù)。

指標2：最長有效板書時長。

指標3：平均有效板書時長如公式（4）所示。

4.2? ?教師頭部與手部的評價指標

對于一個測試視頻序列，設(shè)鼻子的平均水平位置是，平均垂直位置是，則頭部偏向左邊時間是，頭部偏向右邊時間是，可得指標4。

指標4：頭部左右偏差時間如公式（5）所示。

教師在教學中手部超過胸口以上位置的手勢，稱為上區(qū)手勢[9]。手勢在這一區(qū)域活動，一般表示教師基本進入教學狀態(tài)，而且情緒比較激昂。設(shè)左右手的平均垂直擺幅為，則上區(qū)手勢閾值定義如公式（6）所示。

指標5：左手屬于上區(qū)手勢的幀數(shù)

指標6：右手屬于上區(qū)手勢的幀數(shù) 。

5? ?教學行為綜合評價（Comprehensive evaluation of teaching behaviors）

運用上述教師教學行為評價指標，對本文的14 個教師教學視頻進行綜合評價，以評估視頻中教師的教學行為。本研究采用模糊綜合評價法[10]，此方法以模糊數(shù)學為理論基礎(chǔ)，它既可以把對象的多個評價指標融合分析獲得其綜合分值，還可以把綜合分值按最大隸屬度原則去評定對象的等級，尤其適于教師教學的評價。

模糊綜合評價法包括確定因素集、權(quán)重集，計算因素評判矩陣，綜合評價計算。

本項目中，因素集即指標1—6，其對應(yīng)權(quán)重集是{0.2，0.2，0.2，0.2，0.1，0.1}。權(quán)重集是因素集中每個指標在綜合評價里面所占的權(quán)重。由于教師板書時包含了一部分上區(qū)手勢，因此左右手的上區(qū)手勢權(quán)重應(yīng)適當降低。

設(shè)某一個評價指標在14 個測試視頻中的平均值是，最大值是，最小值是，則取平均值作為“最優(yōu)秀”，建立公式（7）的三角形隸屬度函數(shù)。這個隸屬度函數(shù)體現(xiàn)了該指標越接近平均評價水平，教師教學行為就越好。根據(jù)公式（7），計算14 個測試視頻中指標1—6的隸屬度，形成因素評判矩陣。

因素評判矩陣乘以權(quán)重集即可得到最后的綜合評價，如表1所示。計算綜合評價與三位專家評分均值之間的相關(guān)系數(shù)，可得相關(guān)系數(shù)是0.99，即兩者的相關(guān)程度非常大，表明本算法對教師教學行為的評價和專家的評價基本一致?？梢?，本算法是有效的。

6? ?結(jié)論（Conclusion）

本研究針對教師課堂教學視頻，建立全自動評價教師教學行為的框架。這個框架基于人體姿勢識別模型HRNet獲得了教師的鼻子、左手和右手的關(guān)鍵點信息，在這些關(guān)鍵點信息的基礎(chǔ)上進一步建立描述教師教學行為狀態(tài)的評價指標，將這些評價指標依據(jù)模糊評價綜合算法，獲得了教學視頻的綜合評分。在14 個教學演示視頻中，證實了本框架是可行的，為實現(xiàn)教師全教學過程的智能化分析和自動化評價提供了有益的參考。而且本算法框架具有較好的魯棒性，例如關(guān)鍵點概率閾值的取值范圍比較廣。第3節(jié)中取閾值是0.7，而實際上，閾值取值為[0.6，0.8]并不影響最后的綜合評價結(jié)果，只是個別評價指標數(shù)值略有變化。

然而教師教學的視頻行為分析是一個新穎的研究領(lǐng)域，還有很多值得深入研究的問題，主要包括：

（1）目前本研究的教學視頻是教師在黑板前的教學行為，而教師不在黑板前的教學行為需要進一步深入研究;

（2）目前本研究是完全依據(jù)視頻進行分析，沒有結(jié)合教師的授課語音綜合分析，教師授課語音和教學行為的信息融合分析有待突破，評價指標需要進一步增加;

（3）教師的教學視頻樣本量還不夠大，今后需要建立一個覆蓋各學段、各學科、各年級，以及不同教師的教齡、職稱、學歷等方面的教師教學視頻庫。

參考文獻（References）

[1] DOHMS M C， COLLARES C F，TIBERIO I C. Video-based feedback using real consultations for a formative assessment in communication skills[J]. BMC Med Educ， 2020， 20（1）：1-9.

[2] HUANG W， LI N， QIU Z J， et al. An automatic recognition method for students' classroom behaviors based on image processing[J]. Trait Signal， 2020， 37（3）：503-509.

[3] 閆曉煒，張朝暉，趙小燕，等.用于課堂教學評估的教師肢體動作檢測[J].中國教育信息化，2019，16（8）：88-91.

[4] 周鵬霄，鄧偉，郭培育，等.課堂教學視頻中的S-T行為智能識別研究[J].現(xiàn)代教育技術(shù)，2018，28（06）：54-59.

[5] BLACKWELL J. Differentiating between teaching experience and expertise in the music studio： A pilot study[J]. Res Stud Music Educ， 2020， 14（4）：1-13.

[6] GREVE S， WEBER K E， BRANDES B， et al. Development of pre-service teachers' teaching performance in physical education during a long-term internship analysis of classroom videos using the Classroom Assessment Scoring System K-3[J]. Ger J Exerc Sport Res， 2020， 11（3）：343-353.

[7] XU X X， ZOU Q， LIN X， et al. Integral knowledge distillation for multi-person pose estimation[J]. IEEE Signal Process Lett， 2020， 27（2）：436-440.

[8] SUN K， XIAO B， LIU D， et al. Deep high-resolution representation learning for human pose estimation[C]. 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach， 2019：5686-5696.

[9]李鵬.電視節(jié)目主持人的手勢語淺析[J].中國廣播電視學刊，2019（08）：100-102.

[10] 何梅.基于模糊綜合評價法的本科教學評價[J].中國多媒體與網(wǎng)絡(luò)教學學報（上旬刊），2020（07）：34-36.

作者簡介：

鄭譽煌（1979-），男，博士，副教授.研究領(lǐng)域：機械電子工程.