郭雯雯 楊鳳梅

[摘 要]學(xué)生的面部表情和姿態(tài)反映學(xué)生的學(xué)習(xí)狀態(tài)，是課堂教學(xué)評(píng)價(jià)的重要觀察指標(biāo)。然而，由于表情和姿態(tài)的即時(shí)性以及觀察時(shí)間和精力的限制，影響了傳統(tǒng)課堂觀察的持續(xù)性和有效性。針對(duì)傳統(tǒng)課堂情感觀察和識(shí)別的局限性，設(shè)計(jì)開發(fā)了基于課堂視頻監(jiān)控?cái)?shù)據(jù)的雙模態(tài)情感評(píng)價(jià)系統(tǒng)。首先對(duì)視頻數(shù)據(jù)提取SLTOP特征得到復(fù)合時(shí)空特征集，然后依據(jù)最近鄰方法對(duì)其進(jìn)行分類，由于表情和姿態(tài)在識(shí)別上具有互補(bǔ)性，進(jìn)一步將分類結(jié)果在每個(gè)情感狀態(tài)類別上進(jìn)行交叉驗(yàn)證，得到各自權(quán)值和后驗(yàn)概率，導(dǎo)入云滴融合模型得到最終的情感狀態(tài)分類結(jié)果，最后計(jì)算輸出課堂雙模態(tài)情感評(píng)價(jià)結(jié)果。測(cè)試結(jié)果表明評(píng)價(jià)效果比較理想，并與人工統(tǒng)計(jì)結(jié)果作比較，整體準(zhǔn)確率不低于80%，證明本系統(tǒng)對(duì)于傳統(tǒng)課堂的評(píng)價(jià)具有有效性。

[關(guān)鍵詞]課堂環(huán)境;人體檢測(cè);情感識(shí)別;教學(xué)評(píng)價(jià)

[中圖分類號(hào)]G40-057

[文獻(xiàn)標(biāo)識(shí)碼]A

[文章編號(hào)]1005-4634（2019）03-0027-07

教學(xué)過程是一種信息交往與傳播過程，在這一過程中，學(xué)生的表情和姿態(tài)是其學(xué)習(xí)狀態(tài)的自然流露，真實(shí)地反映了學(xué)生的學(xué)習(xí)狀況。傳播學(xué)的創(chuàng)始人威爾伯·施拉姆曾說過：“傳播不是全部（甚至大部分不是）通過言詞進(jìn)行的。一個(gè)姿勢(shì)，一種面部表情……都攜帶著信息?！盵1]

課堂環(huán)境中，學(xué)生的面部表情和姿態(tài)攜帶了很多有用的信息。當(dāng)學(xué)生處于傾聽狀態(tài)時(shí)，面部表情是輕松和自然的，身體放松并伴隨著前傾，這代表學(xué)生對(duì)當(dāng)前教學(xué)內(nèi)容的學(xué)習(xí)狀態(tài)良好，能持續(xù)思考;當(dāng)學(xué)生處于疑惑狀態(tài)時(shí)，會(huì)伴隨傾斜身體、低頭或歪頭、眉目緊蹙等動(dòng)作，這代表學(xué)生對(duì)當(dāng)前教學(xué)內(nèi)容的學(xué)習(xí)已有疑問且無法獨(dú)自解決;學(xué)生理解時(shí)，會(huì)略有點(diǎn)頭動(dòng)作，同時(shí)眉目和肩部自然舒展;學(xué)生抗拒和不屑時(shí)，會(huì)有長(zhǎng)時(shí)間的低頭或扭頭動(dòng)作，且面部表情不自然，這代表學(xué)生由于某些原因不接受當(dāng)前的教學(xué)內(nèi)容。傳統(tǒng)的課堂教學(xué)中，教師只能通過近距離的課堂觀察解讀學(xué)生的面部表情和姿態(tài)所傳遞的情感信息。然而，表情和姿態(tài)的即時(shí)性和課堂教學(xué)師生一對(duì)多的特點(diǎn)增加了課堂情感觀察的難度。

近年來，隨著大數(shù)據(jù)時(shí)代的到來，基于模式識(shí)別的情感識(shí)別技術(shù)日趨成熟，為課堂情感識(shí)別和評(píng)價(jià)提供了技術(shù)支持。情感識(shí)別技術(shù)就是通過計(jì)算機(jī)自動(dòng)、高效地識(shí)別人臉表情所傳遞的信息，進(jìn)而了解人的情緒狀態(tài)，比如高興、悲傷、憤怒、恐懼、驚訝、厭惡等[2]。雖然情感識(shí)別技術(shù)目前主要被應(yīng)用于人機(jī)交互、安全、機(jī)器人制造、醫(yī)療、通信和汽車等領(lǐng)域，但是，隨著《教育信息化2.0行動(dòng)計(jì)劃》的實(shí)施，“數(shù)字校園建設(shè)覆蓋全體學(xué)?！盵3]，大中小學(xué)課堂中覆蓋式的視頻監(jiān)控網(wǎng)絡(luò)、視頻數(shù)據(jù)為基于模式識(shí)別開展學(xué)習(xí)評(píng)價(jià)提供了便利條件。

與傳統(tǒng)的課堂觀察相比，基于視頻幀的情感識(shí)別可以隨機(jī)抽取和重復(fù)檢測(cè)，對(duì)于稍縱即逝的細(xì)膩情感變化可以進(jìn)行實(shí)時(shí)、主動(dòng)、跟蹤性的分析和判斷，實(shí)現(xiàn)了高效率的課堂管理和學(xué)習(xí)評(píng)價(jià)。利用情感識(shí)別技術(shù)進(jìn)行學(xué)習(xí)評(píng)價(jià)不僅適用面對(duì)面的班級(jí)課堂，對(duì)于無法通過直接觀察獲取表情信息的在線學(xué)習(xí)和遠(yuǎn)程同步課堂更具有使用價(jià)值和意義。

1 課堂雙模態(tài)情感評(píng)價(jià)系統(tǒng)的技術(shù)設(shè)計(jì)

雙模態(tài)情感識(shí)別是指利用計(jì)算機(jī)識(shí)別人的面部表情和上身姿態(tài)，分析人的情緒和心理狀態(tài)，通過識(shí)別課堂環(huán)境中學(xué)生的情感遷移，了解學(xué)生的學(xué)習(xí)狀態(tài)。課堂雙模態(tài)情感評(píng)價(jià)系統(tǒng)由人臉表情和上身姿態(tài)的檢測(cè)與獲取、數(shù)據(jù)預(yù)處理、特征提取、分類識(shí)別、決策融合和計(jì)算評(píng)價(jià)結(jié)果6部分組成，其系統(tǒng)流程如圖1所示。首先，利用FABO數(shù)據(jù)庫(kù)中的人臉表情和上身姿態(tài)數(shù)據(jù)作為訓(xùn)練樣本，以視頻監(jiān)控采集的課堂教學(xué)視頻作為測(cè)試樣本，通過檢測(cè)算法提取出人臉表情和上身姿態(tài)視頻幀序列，經(jīng)過數(shù)據(jù)預(yù)處理之后，分別提取SLTOP（spatio-temporal local ternary orient-ational pattern，SLTOP）特征，得到訓(xùn)練樣本和測(cè)試樣本的SLTOP復(fù)合時(shí)空特征集，然后依據(jù)最近鄰方法分別對(duì)訓(xùn)練樣本和測(cè)試樣本的每個(gè)情感狀態(tài)類別進(jìn)行分類和交叉驗(yàn)證，得到各自權(quán)值和后驗(yàn)概率，導(dǎo)入云滴融合模型得到情感狀態(tài)分類結(jié)果，最后計(jì)算輸出課堂雙模態(tài)情感評(píng)價(jià)結(jié)果。

為了對(duì)課堂環(huán)境下學(xué)生的學(xué)習(xí)效果進(jìn)行評(píng)價(jià)和分析，需要對(duì)學(xué)生在課堂中的情感狀態(tài)進(jìn)行分類。在對(duì)學(xué)生的面部表情進(jìn)行情感分析的研究中，韓麗[4]等學(xué)者在基于課堂靜態(tài)圖像的分析中將學(xué)生的聽課狀態(tài)分為傾聽、疑惑、理解、抗拒、不屑5種類型。筆者對(duì)課堂環(huán)境下學(xué)生的情感狀態(tài)的界定借鑒了韓麗的分類方式。但是，考慮到抗拒和不屑都是對(duì)當(dāng)前教學(xué)內(nèi)容不感興趣，所以，把不屑和抗拒歸為一類，即不屑狀態(tài)，同時(shí)還增加了一種不確定的情感狀態(tài)類型，即筆者所定義的課堂環(huán)境下學(xué)生的情感狀態(tài)包括傾聽、疑惑、理解、不屑和不確定5類情感。

為對(duì)課堂雙模態(tài)情感評(píng)價(jià)系統(tǒng)進(jìn)行驗(yàn)證，筆者分別采用FABO雙模態(tài)情感數(shù)據(jù)庫(kù)和采集的山東省濰坊市昌樂二中不同年級(jí)、不同年齡段的200段視頻作為訓(xùn)練樣本和測(cè)試樣本。在試驗(yàn)之前，由于FABO數(shù)據(jù)庫(kù)原為生氣、厭煩、高興、害怕和不確定5種情感狀態(tài)而設(shè)計(jì)，所以需要對(duì)數(shù)據(jù)集按照傾聽、疑惑、理解、不屑和不確定5類情感進(jìn)行重新標(biāo)注。標(biāo)注后的FABO數(shù)據(jù)部分示例如圖2所示。

1.1 人臉表情與上身姿態(tài)的檢測(cè)與獲取

通過課堂智能監(jiān)控設(shè)備，可以獲取學(xué)生面部和上身姿態(tài)的視頻幀序列。從視頻畫面中對(duì)人臉進(jìn)行檢測(cè)分析，一般常用的方法是利用人臉膚色和背景色之間的差異，對(duì)人臉膚色所處區(qū)域進(jìn)行處理，得出面部所在區(qū)域。但是，光照和類膚色背景等因素對(duì)該方法有很大影響，檢測(cè)效果魯棒性較差，一般只能作為其他算法的補(bǔ)充。為提高人臉檢測(cè)的穩(wěn)定性和魯棒性，筆者采用YCbCr膚色空間與 Adaboost相結(jié)合的方法[5]來檢測(cè)人臉。

筆者利用旋轉(zhuǎn)與尺度不變的人體分割方法[6]來提取人體目標(biāo)所在區(qū)域，不僅考慮到了四肢與軀干的關(guān)系，還考慮到了空間與時(shí)間上的連續(xù)性以優(yōu)化課堂視頻幀中上身姿態(tài)的檢測(cè)與分割。尤其在復(fù)雜背景、實(shí)時(shí)要求、遮擋等苛刻條件下，該方法用于課堂視頻環(huán)境具有較好的魯棒性。

1.2 數(shù)據(jù)預(yù)處理

檢測(cè)到人臉和上身姿態(tài)區(qū)域后，為了后續(xù)的特征提取，需要對(duì)人臉和姿態(tài)區(qū)域進(jìn)行預(yù)處理操作，一般主要包括尺度歸一化、去噪、直方圖均衡化等。尺度歸一化是指統(tǒng)一圖像的尺寸大小，以方便后續(xù)的特征提取;圖像去噪是指去除圖像數(shù)據(jù)中包含的不必要或多余的噪聲，圖像噪聲會(huì)對(duì)特征提取造成很大的干擾;直方圖均衡化的目的是為了減弱光線和光照強(qiáng)度的影響、增強(qiáng)對(duì)比度，以此達(dá)到圖像灰度歸一化，使圖像結(jié)構(gòu)輪廓更清晰。數(shù)據(jù)預(yù)處理的操作步驟可以概括為：首先將視頻數(shù)據(jù)轉(zhuǎn)化為單幀序列圖片，利用檢測(cè)算法提取表情和姿態(tài)序列;然后利用均值聚類算法[7]分別對(duì)人臉表情和上身姿態(tài)序列圖像進(jìn)行聚類處理，得到幀的圖像序列。用聚類得到的圖像序列對(duì)每一幀的圖像進(jìn)行尺度歸一化處理，得到大小均勻的局部矩形子塊，然后利用BM3D算法[8]進(jìn)行去噪、直方圖均衡化。數(shù)據(jù)預(yù)處理效果如圖3所示。圖3 數(shù)據(jù)預(yù)處理流程圖

1.3 特征提取

特征提取是指使用計(jì)算機(jī)用映射的方法把原始特征轉(zhuǎn)換為數(shù)量較少的新特征的過程。依據(jù)不同的分類標(biāo)準(zhǔn)可以將特征提取劃分為不同的類，按照提取方法可將其劃分為幾何特征、紋理特征及多特征融合。按照作用區(qū)域劃分可將其劃分為局部特征、全局特征及混合特征。

基于紋理的特征提取方法主要包括局部二值模式（Local Binary Pattern，LBP）及其優(yōu)化算法、Gabor小波和 HLAC（Higher Order Local Autocorrelation）特征等[9]。局部二值模式是一種有效的局部紋理描述算子，根據(jù)像素值之間大小關(guān)系對(duì)灰度圖的紋理信息進(jìn)行算子編碼和提取。LOP 算子[10]是在 LBP 特征基礎(chǔ)上加入方向角信息。筆者采用了姜明星等人[11]提出的時(shí)空局部三值方向角模式（SLTOP）特征提取算法，SLTOP特征是為了彌補(bǔ)LOP算子在描述方向角差時(shí)對(duì)圖像噪聲及劇烈光照變化不夠敏感的不足，通過利用自適應(yīng)閾值，將LOP算子拓展為三值編碼模式。由于課堂環(huán)境下視頻幀特征集規(guī)模龐大，筆者結(jié)合灰度共生矩陣思想降低其特征的稀疏性，以此達(dá)到表征課堂環(huán)境下視頻幀和實(shí)時(shí)處理目的。

以上身姿態(tài)的三維時(shí)空特征圖譜為例，如圖4所示，首先在上身姿態(tài)視頻關(guān)鍵幀序列中從前向后選擇連續(xù)的8幀圖像，然后對(duì)圖像進(jìn)行分塊并提取其SLTOP特征，最后進(jìn)行特征級(jí)聯(lián)，得到上身姿態(tài)的特征圖譜。

1.4 分類識(shí)別

表情分類本質(zhì)就是選擇合適的分類算法對(duì)前期提取的圖像特征進(jìn)行分類判別，屬于一個(gè)模式識(shí)別的過程。支持向量機(jī)（SVM）在處理小樣本、多維度和非線性等分類問題上具有突出效果，因此在模式識(shí)別領(lǐng)域被廣泛運(yùn)用。但是選取合適的核函數(shù)以及設(shè)置相應(yīng)的參數(shù)常常成為影響最終識(shí)別效果的關(guān)鍵，這也是該分類算法的難點(diǎn)。筆者采用最近鄰分類（Nearest Neighbor， NN）[12]算法對(duì)測(cè)試樣本進(jìn)行分類，其核心思想是在訓(xùn)練樣本特征空間集里選擇與待測(cè)樣本的距離最近的樣本所屬類別為待測(cè)樣本所屬的類別，距離函數(shù)主要包括切空間距離、歐氏距離和 Minkowski 距離等。當(dāng)然，不同的距離函數(shù)會(huì)直接影響最近鄰分類最終的識(shí)別效果，不同的距離函數(shù)有各自適用的具體場(chǎng)景。

1.5 決策融合

在雙模態(tài)情感評(píng)價(jià)系統(tǒng)中，信息融合技術(shù)分為特征級(jí)融合和決策級(jí)融合兩類。筆者采用云加權(quán)決策融合的方法[13]，即首先利用最近鄰分類算法對(duì)訓(xùn)練樣本的人臉表情和上身姿態(tài)進(jìn)行粗分類識(shí)別，其次分別對(duì)人臉表情和上身姿態(tài)在各個(gè)情感狀態(tài)類別上的分類結(jié)果進(jìn)行交叉驗(yàn)證，并依據(jù)交叉驗(yàn)證的結(jié)果得到人臉表情和上身姿態(tài)各自的云滴模型權(quán)值。然后針對(duì)測(cè)試樣本利用最近鄰算法求得人臉表情和上身姿態(tài)分別屬于5類情感狀態(tài)的云滴后驗(yàn)概率。最后用人臉表情和上身姿態(tài)各自的權(quán)值和分屬于不同情感狀態(tài)的后驗(yàn)概率相乘并分別求和，得到最終測(cè)試樣本所屬的情感類別。

1.6 評(píng)價(jià)結(jié)果

課堂雙模態(tài)教學(xué)評(píng)價(jià)系統(tǒng)可以統(tǒng)計(jì)學(xué)生的課堂參與度與課堂偏離度。當(dāng)學(xué)生處于傾聽和理解狀態(tài)時(shí)，統(tǒng)計(jì)為學(xué)生的課堂參與度;當(dāng)學(xué)生處于不屑和疑惑狀態(tài)時(shí)，統(tǒng)計(jì)為學(xué)生的課堂偏離度。如果某一段時(shí)間學(xué)生的課堂參與度下降明顯且持續(xù)偏低，說明就整體而言，學(xué)生對(duì)于課堂內(nèi)容產(chǎn)生厭倦情緒或者到達(dá)了課堂的低潮期。也可以在課堂上任意選擇跟蹤某位學(xué)生某段時(shí)間內(nèi)的狀態(tài)，系統(tǒng)最后給出統(tǒng)計(jì)分析結(jié)果，以此作為課后對(duì)跟蹤學(xué)生進(jìn)行單獨(dú)輔導(dǎo)或者矯正的依據(jù)。此外，系統(tǒng)在整體統(tǒng)計(jì)課堂參與度與偏離度的同時(shí)，如果有持續(xù)保持在不屑或不確定的情感狀態(tài)的學(xué)生個(gè)體，還會(huì)向教師發(fā)出提醒信號(hào)，方便教師對(duì)該學(xué)生進(jìn)行即時(shí)的關(guān)注或引導(dǎo)。

2 課堂雙模態(tài)情感評(píng)價(jià)系統(tǒng)的測(cè)試與效果評(píng)價(jià)

2.1 測(cè)試樣本

為了檢測(cè)課堂雙模態(tài)情感評(píng)價(jià)系統(tǒng)的應(yīng)用效果，筆者采集了山東省濰坊市昌樂二中不同年級(jí)、不同年齡段的200段課堂監(jiān)控視頻作為測(cè)試樣本。測(cè)試樣本中單視頻時(shí)長(zhǎng)為45分鐘，每個(gè)課堂中共50位學(xué)生。為了將后續(xù)的系統(tǒng)評(píng)價(jià)結(jié)果與人工評(píng)價(jià)結(jié)果進(jìn)行比對(duì)，隨機(jī)挑選了20位教師對(duì)200段視頻中的學(xué)生情感狀態(tài)進(jìn)行標(biāo)注，并做歸一化處理。部分測(cè)試樣本及其標(biāo)注結(jié)果如圖5所示。

2.2 效果評(píng)價(jià)

1）學(xué)生個(gè)體情感評(píng)價(jià)的測(cè)試與檢驗(yàn)。筆者在采集的200段課堂教學(xué)視頻記錄中隨機(jī)選擇了學(xué)生A作為被試樣本，跟蹤了學(xué)生A在45分鐘內(nèi)情感的變化。圖6是課堂雙模態(tài)情感評(píng)價(jià)系統(tǒng)統(tǒng)計(jì)的學(xué)生A各種情感變化的時(shí)間圖，每15秒統(tǒng)計(jì)1次其情感狀態(tài)，由圖6可以看出學(xué)生A在45分鐘內(nèi)情感變化較小，整體處于認(rèn)真聽課的狀態(tài)，但在第25分鐘后注意力進(jìn)入低潮，產(chǎn)生不屑和疑惑情緒，在后期又回到傾聽狀態(tài)。

為了驗(yàn)證課堂雙模態(tài)情感評(píng)價(jià)系統(tǒng)的有效性，筆者又通過人工的方式對(duì)學(xué)生A進(jìn)行情感統(tǒng)計(jì)，并將兩種結(jié)果進(jìn)行對(duì)比分析。本文隨機(jī)選擇了20位教師對(duì)該學(xué)生在課堂中的情感狀態(tài)進(jìn)行標(biāo)記，然后對(duì)標(biāo)記結(jié)果做均值處理，最后得到的情感狀態(tài)類別和評(píng)價(jià)結(jié)果如圖7和圖8所示，圖中對(duì)角線填充的矩形為人工評(píng)價(jià)值，橫線填充的矩形為系統(tǒng)評(píng)價(jià)值。其中，傾聽、疑惑、理解、不屑和不確定的準(zhǔn)確率分別為90%、82%、88%、80%、80%，整體準(zhǔn)確率不低于80%，證明本文提出的評(píng)價(jià)體系對(duì)于單個(gè)學(xué)生個(gè)體在傳統(tǒng)課堂中表現(xiàn)的評(píng)價(jià)具有有效性。

2）學(xué)生整體情感評(píng)價(jià)的測(cè)試與檢驗(yàn)。課堂雙模態(tài)情感評(píng)價(jià)系統(tǒng)不僅能針對(duì)學(xué)生個(gè)體進(jìn)行情感識(shí)別和評(píng)價(jià)，也可以統(tǒng)計(jì)分析課堂內(nèi)全體學(xué)生的情感變化。

針對(duì)實(shí)際教學(xué)中情感變化的有效時(shí)間，筆者設(shè)定整體評(píng)價(jià)的時(shí)間間隔。本文隨機(jī)選擇50段課堂教學(xué)視頻，并在時(shí)間間隔上進(jìn)行情感評(píng)價(jià)分類，即每隔2秒做1次情感狀態(tài)分類，最后把50段視頻的分類結(jié)果做均值處理。圖9是從45分鐘的課堂視頻中隨機(jī)選擇的5個(gè)時(shí)刻點(diǎn)的情感狀態(tài)分類結(jié)果，課堂中共有學(xué)生50人。從圖中可以看出，5個(gè)時(shí)刻點(diǎn)學(xué)生整體處于傾聽狀態(tài)，但是有部分學(xué)生處于不屑、疑惑和不確定情緒，這時(shí)系統(tǒng)就會(huì)向教師發(fā)出提醒信號(hào)，有利于教師對(duì)這些學(xué)生進(jìn)行即時(shí)的關(guān)注或引導(dǎo)，提高課堂的教學(xué)質(zhì)量。

可以計(jì)算課堂全體學(xué)生傾聽和理解的有效時(shí)間以此來反映學(xué)生的整體參與度，相應(yīng)地，計(jì)算學(xué)生不屑和疑惑的有效時(shí)間可以用來反映學(xué)生整體的課堂偏離度。

為了驗(yàn)證課堂雙模態(tài)情感評(píng)價(jià)系統(tǒng)對(duì)學(xué)生整體的有效性，筆者通過人工的方式對(duì)采集的200段課堂教學(xué)視頻中的學(xué)生每隔2秒進(jìn)行一次情感標(biāo)記，并與系統(tǒng)檢測(cè)的結(jié)果進(jìn)行比較。最后得到的情感狀態(tài)分類結(jié)果和評(píng)價(jià)結(jié)果如圖10和圖11所示。圖中對(duì)角線填充的矩形為實(shí)際值，橫線填充的矩形為系統(tǒng)評(píng)價(jià)值。其中，傾聽、疑惑、理解、不屑和不確定的準(zhǔn)確率分別為80%、89%、86%、80%、83%，整體準(zhǔn)確率不低于80%，證明本系統(tǒng)對(duì)于傳統(tǒng)課堂的評(píng)價(jià)具有有效性。

學(xué)習(xí)過程中的情感識(shí)別是課堂觀察和評(píng)價(jià)的重要指標(biāo)，也是情感計(jì)算研究領(lǐng)域的熱點(diǎn)問題。本文設(shè)計(jì)開發(fā)了基于面部和姿態(tài)的課堂雙模態(tài)情感評(píng)價(jià)系統(tǒng)，創(chuàng)新性地將姿態(tài)引入課堂教學(xué)評(píng)價(jià)中，重新定義了課堂環(huán)境下學(xué)生的情感狀態(tài)，包括傾聽、疑惑、理解、不屑和不確定5類情感，且該評(píng)價(jià)系統(tǒng)主要由人臉表情和上身姿態(tài)的檢測(cè)與獲取、數(shù)據(jù)預(yù)處理、特征提取、分類識(shí)別、決策融合和計(jì)算評(píng)價(jià)結(jié)果6部分組成。最后，從學(xué)生個(gè)體和學(xué)生整體兩個(gè)角度對(duì)該系統(tǒng)進(jìn)行驗(yàn)證，具有較高的評(píng)價(jià)準(zhǔn)確率。與人工統(tǒng)計(jì)結(jié)果做比較，整體準(zhǔn)確率不低于80%，證明本系統(tǒng)對(duì)于傳統(tǒng)課堂的評(píng)價(jià)具有有效性。但還有很多相關(guān)問題有待進(jìn)一步研究，比如如何評(píng)價(jià)教師在課堂中的情感狀態(tài)，如何分析和評(píng)價(jià)學(xué)生之間、師生之間情緒上的相互影響等。

參考文獻(xiàn)

[1]Adler R B，Rodman G R，Du Pré A.Understanding human communication[M].New York：Oxford University Press，2016.

[2]閆靜杰，鄭文明，辛明海，等.表情和姿態(tài)的雙模態(tài)情感識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào)，2013，18（9）：1101-1106.

[3]徐靖程.教育部印發(fā)《教育信息化2.0行動(dòng)計(jì)劃》[J].中小學(xué)信息技術(shù)教育，2018（5）：4.

[4]韓麗，李洋，周子佳，等.課堂環(huán)境中基于面部表情的教學(xué)效果分析[J].現(xiàn)代遠(yuǎn)程教育研究，2017（4）：97-103.

[5]畢雪芹，惠婷.基于膚色分割與 AdaBoost 算法的人臉檢測(cè)[J].國(guó)外電子測(cè)量技術(shù)，2015（12）：82-86.

[6]薄一航.視頻中旋轉(zhuǎn)與尺度不變的人體分割方法[J].自動(dòng)化學(xué)報(bào)，2017，43（10）：1799-1809.

[7]Kanungo T，Mount D M，Netanyahu N S，et al.An efficient k-means clustering algorithm：analysis and implementation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2002（7）：881-892.

[8]Lebrun M.An analysis and implementation of the BM3D image denoising method[J].Image Processing On Line，2012（2）：175-213.

[9]Tan X，Triggs B.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].IEEE transactions on image processing，2010，19（6）：1635-1650.

[10]付曉峰，付曉鵑，李建軍，等.視頻序列中基于多尺度時(shí)空局部方向角模式直方圖映射的表情識(shí)別[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2015（6）：1060-1066.

[11]姜明星，胡敏，王曉華，等.視頻序列中表情和姿態(tài)的雙模態(tài)情感識(shí)別[J].激光與光電子學(xué)進(jìn)展，2018（7）：167-174.

[12]Mehmood R M，Lee H J.Emotion classification of EEG brain signal using SVM and KNN[C]//2015 IEEE International Conference on Multimedia & Expo Workshops （ICMEW）.Turim：IEEE，2015：1-5.

[13]劉海軍，柳征，姜文利，等.基于云模型和矢量神經(jīng)網(wǎng)絡(luò)的輻射源識(shí)別方法[J].電子學(xué)報(bào)，2010，38（12）：2797-2804.