摘要：針對(duì)當(dāng)前存在的大多數(shù)情感識(shí)別的方法是單模式的，且基于刻意的情感表達(dá)和情感模型，不適用于現(xiàn)實(shí)生活的問題，并根據(jù)現(xiàn)實(shí)生活中人體外部表象的微妙變化能表示情感行為的改變，不像單模式方法那樣每一類單一識(shí)別方法，需要一些夸大的外部表象才能表明這些情感的改變的特點(diǎn)。根據(jù)此本文采用多模式識(shí)別方法，設(shè)計(jì)了基于情感計(jì)算的E-learning系統(tǒng)的情感識(shí)別模塊，將視覺與聽覺結(jié)合起來共同識(shí)別無意識(shí)情況下的情感狀態(tài)。

關(guān)鍵詞：E-learning；單模式情感識(shí)別；多模式情感識(shí)別

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2013）15-3599-04

E-learning（數(shù)字化學(xué)習(xí)或電子學(xué)習(xí)）是利用現(xiàn)代通信技術(shù)，將信息技術(shù)與課本知識(shí)整合，為學(xué)習(xí)者提供理想的學(xué)習(xí)環(huán)境和學(xué)習(xí)方式，以達(dá)到深化教學(xué)改革和創(chuàng)新人才培養(yǎng)的目的。

基于情感計(jì)算的E-learning系統(tǒng)，就是在傳統(tǒng)E-learning系統(tǒng)的基礎(chǔ)上增加了情感識(shí)別模塊，包括：情感識(shí)別模塊、情感分析模塊、情感反饋模塊、情感評(píng)價(jià)模塊等，實(shí)現(xiàn)情感化個(gè)性化的教學(xué)。主要目的是彌補(bǔ)傳統(tǒng)E-learning系統(tǒng)情感缺失的問題。在這些情感模塊中，情感識(shí)別模塊是基礎(chǔ)，這一模塊產(chǎn)生的結(jié)果直接影響后面所有模塊的效果，因此對(duì)情感識(shí)別模塊的研究放在重要的位置上，且進(jìn)行深入的研究。

由于識(shí)別的環(huán)境為遠(yuǎn)程E-learning教學(xué)的學(xué)生端，因此可以將多模式識(shí)別方法分為三部分[1]，分別為：基于視覺的面部表情識(shí)別和身體動(dòng)作識(shí)別，還有基于聽覺的會(huì)話信息（語音）識(shí)別。

1 基于單視覺的情感識(shí)別方法

1.1 面部表情識(shí)別

對(duì)面部圖像的捕捉是通過網(wǎng)絡(luò)攝像頭來實(shí)現(xiàn)的，采樣的方法是按一定的時(shí)間間隔來停幀并存取圖像（與20秒為一個(gè)時(shí)間間隔），接下來會(huì)對(duì)存取的圖像進(jìn)行情感的識(shí)別，確定這一時(shí)刻的情感狀態(tài)，為以后的情感分析和反饋提供依據(jù)。

1.1.1 對(duì)圖像進(jìn)行情感的識(shí)別

對(duì)面部圖像進(jìn)行情感識(shí)別其實(shí)是一種人臉識(shí)別過程，其中主要包括三個(gè)方面的內(nèi)容：人臉檢測(cè)、人臉表征、人臉鑒別。

1）人臉檢測(cè)：采用基于膚色的人臉檢測(cè)算法；

根據(jù)計(jì)算機(jī)色彩理論，通過對(duì)RGB格式、HIS格式、YCbCr格式[3]等主要色彩空間的比較，選用基于YCbCr空間的膚色模型來進(jìn)行膚色區(qū)域分割。YCbCr[4]色彩空間從YUV色彩空間衍生而來。其中Y代表亮度， Cb和Cr分量分別表示藍(lán)色和紅色的色度，在不同的光照下這兩種色度是穩(wěn)定的。該空間的優(yōu)點(diǎn)是將亮度分量與色度分量分離開來， 這樣受亮度變化的影響就比較小， 降低了兩者的相關(guān)性。

2）人臉表征：主要對(duì)眼睛、鼻子和嘴巴等的特征檢測(cè)與定位。

在對(duì)人臉進(jìn)行表征之前首先要進(jìn)行人臉區(qū)域的分割，把人臉區(qū)域用矩形框起來。所采用的分割算法流程圖如圖1：

具體的算法是基于相似度的方法，得到的結(jié)果圖如圖2所示（紅線矩形框?yàn)榻Y(jié)果），把眼睛和嘴巴表示為分段多項(xiàng)式曲線，用變形模版得到準(zhǔn)確的輪廓[3]，標(biāo)記的結(jié)果圖如下圖2 ：

3）人臉鑒別：采用主成分分析（PCA）

主成分分析方法（Principal Component Analysis ，PCA） 也稱為主元法，主分量分析法，是一種常用、簡單有效的方法。PCA方法就是將包含人臉的圖像區(qū)域看作是一種隨機(jī)向量，用K-L變換獲取其正交K-L基底，對(duì)應(yīng)其中較大特征值的基底具有與人臉相似的形狀，因此又稱之為特征臉（Eigenfaces）[7]。

采用PCA算法進(jìn)行人臉識(shí)別時(shí)，其中的測(cè)試數(shù)據(jù)庫選用Yale人臉數(shù)據(jù)庫（耶魯大學(xué)網(wǎng)站上下載），此人臉數(shù)據(jù)庫由耶魯大學(xué)計(jì)算視覺與控制中心創(chuàng)建，包含15位志愿者的165張圖片，包含光照，表情和姿態(tài)的變化，效果圖如圖3：

1.2 人體動(dòng)作識(shí)別

人體動(dòng)作過程是一個(gè)動(dòng)態(tài)系統(tǒng)，其識(shí)別方法也都是基于動(dòng)態(tài)系統(tǒng)的識(shí)別方法。人體運(yùn)動(dòng)分析中一個(gè)重要的內(nèi)容是運(yùn)動(dòng)識(shí)別和動(dòng)作檢索。一般認(rèn)為，運(yùn)動(dòng)識(shí)別的任務(wù)就是把物體的輪廓從背景中分離出來，根據(jù)特征值與目標(biāo)樣本庫中的運(yùn)動(dòng)進(jìn)行匹配運(yùn)算，以達(dá)到識(shí)別目標(biāo)的目的。而動(dòng)作檢索則是在已知的運(yùn)動(dòng)類型范圍內(nèi)，對(duì)于每個(gè)時(shí)刻的動(dòng)作，根據(jù)特征值和時(shí)間關(guān)系，與運(yùn)動(dòng)庫中的動(dòng)作匹配[16]。

2 基于單聽覺（語音）的情感識(shí)別方法

基于單聽覺的語音情感識(shí)別的實(shí)現(xiàn)大致可分成三個(gè)模塊：語音數(shù)據(jù)的讀取、語音數(shù)據(jù)的特征提取與分析以及語音情感識(shí)別。

2.1 語音數(shù)據(jù)的獲取

語音數(shù)據(jù)的獲取以話筒為依托，并將輸入的語音信息存儲(chǔ)為數(shù)字音頻文件，這里采用了波形音頻文件，即WAVE文件格式，擴(kuò)展名為“.wav”。它是WINDOWS中缺省的也是最常用的文件格式，這種格式在IBM PC及其兼容的平臺(tái)上被廣泛的應(yīng)用于加工處理數(shù)字聲音的程序中，波形音頻文件符合RIFF（Resource Interchange File Format）文件規(guī)范[10]。

本系統(tǒng)對(duì)語音信息的處理，主要是對(duì)WAVE文件中data結(jié)構(gòu)所包含的信息進(jìn)行分析和提取，以及使用優(yōu)化的FFT快速傅立葉變換，可以將輸出直接轉(zhuǎn)化成頻率（Hz）的形式，從而得到輸入信號(hào)中包含的頻率（Hz）及其幅度值。對(duì)音頻數(shù)據(jù)的優(yōu)化FFT變換在Matlab平臺(tái)實(shí)現(xiàn)。

2.2 語音情感識(shí)別

語音情感識(shí)別有兩種較為流行的方法： a）基于概率生成模型的方法如高斯混合模型（GMM）和隱馬爾可夫模型（HMM）；b）基于判別模型的方法，主要有支持向量機(jī)（SVM）和人工神經(jīng)網(wǎng)絡(luò)（ANN）。近來，一種新的解決思路是把上述若干模型融合起來，各自取長補(bǔ)短，形成混合模型[12]。這里采用基于判別模型的PNN （probabilistic neural network）和基于概率生成模型的HMM（hidden markov model）的混合模型[13]，算法如下：

3 基于多模式的識(shí)別方法

3.1 多模式識(shí)別系統(tǒng)的設(shè)計(jì)

以上基于單模式的各情感識(shí)別方法都有自己的缺點(diǎn)，例如，基于單視覺的人臉識(shí)別方法，只能對(duì)人的正面臉進(jìn)行情感識(shí)別，而捕捉到的人臉圖像大部分卻是非正面的，因?yàn)樽匀粻顟B(tài)下人的頭部是很隨意的；基于單視覺的人體動(dòng)作識(shí)別方法，其中的多數(shù)方法只能識(shí)別一些簡單的運(yùn)動(dòng)，無法應(yīng)用到復(fù)雜動(dòng)作的識(shí)別，且識(shí)別出的情感種類比較少，不能識(shí)別出教學(xué)中應(yīng)有的一些情感狀態(tài)；基于單聽覺（語音）的識(shí)別方法，受語音庫的影響比較大，而語音庫的建立很不完善，正確率打折，同時(shí)對(duì)活動(dòng)性相近的情感[13]的區(qū)分性較差。

針對(duì)各單模式情感識(shí)別的缺點(diǎn)，采用多模式的情感識(shí)別方法，目的是共同來識(shí)別人在無意識(shí)情況下的情感狀態(tài)，為下一步進(jìn)行情感分析、反饋與評(píng)價(jià)提供準(zhǔn)確的信息，最終利用各種情感信息調(diào)用不同的學(xué)習(xí)策略以達(dá)到學(xué)習(xí)的最佳狀態(tài)。

由于識(shí)別的環(huán)境為遠(yuǎn)程E-learning教學(xué)的學(xué)生端，因此多模式識(shí)別系統(tǒng)包括了文章所論述的各單模式情感識(shí)別方法，即：基于視覺的面部表情識(shí)別和身體動(dòng)作識(shí)別、基于聽覺的會(huì)話信息（語音）識(shí)別，共同配合來進(jìn)行情感的識(shí)別，系統(tǒng)的構(gòu)架圖如圖4：

3.2 多模式識(shí)別方法

基于多模式的識(shí)別方法，目前有三種可以對(duì)視聽信息進(jìn)行融合的策略[1]（特征層面、決策層面和模型層面）。其中，特征層面上的融合策略[16]的主要方法為：首先關(guān)聯(lián)韻律特征和面部特征，以構(gòu)造共同特征向量，然后用來建立一個(gè)情感識(shí)別器；決策層面上的融合策略[3]的主要方法為：先獨(dú)立的識(shí)別視覺、聽覺的情感，最后把單一模式的識(shí)別結(jié)果進(jìn)行融合；模型層面上的融合策略[18]的主要方法為：可以利用音頻流和視頻流之間的關(guān)聯(lián)性，并能同步流。

目前常用的是特征層面與決策層面的融合策略，模型層面上的融合策略要同步音頻視頻流，比較復(fù)雜則不常采用。特征層面上的融合策略采用單一的分類器來處理視聽的特征；決策層面上的融合策略視聽的特征有各自的分類器處理，最后把輸出的結(jié)果按一定的標(biāo)準(zhǔn)（包括最大、平均、乘積、權(quán)值）進(jìn)行組合[6]。兩種方法的流程圖如圖5：

特征層面上的融合策略對(duì)發(fā)怒（anger）與平靜（neutral）這兩種情感狀態(tài)的識(shí)別率最高；而決策層面上的融合策略對(duì)快樂（happiness）與悲傷（sadness）這兩種情感狀態(tài)的識(shí)別率最高；兩種方法對(duì)其它情感狀態(tài)的識(shí)別情況基本相同[8]。因此，在本文的多模式識(shí)別系統(tǒng)中，結(jié)合以上分析得出的教學(xué)系統(tǒng)中常見的情緒：平靜、困惑、無聊、高興、挫敗感、厭惡、驚訝，把這兩種融合策略進(jìn)行結(jié)合。

兩種融合策略結(jié)合的方法：以決策層面上的融合策略為主，當(dāng)所有采樣的數(shù)據(jù)進(jìn)入情感識(shí)別模塊進(jìn)行處理時(shí)，使用決策層面上的融合策略來輸出結(jié)果；最后經(jīng)過評(píng)價(jià)模塊反饋回來的信息不理想時(shí)，先進(jìn)入情感分析模塊重新分析，再進(jìn)入評(píng)價(jià)；評(píng)價(jià)還是不理想時(shí)，則把原來采樣的數(shù)據(jù)在情感識(shí)別模塊中，換為特征層面上的融合策略進(jìn)行處理。

4 實(shí)驗(yàn)結(jié)果

系統(tǒng)的實(shí)現(xiàn)采用VC++開發(fā)平臺(tái)，利用VC中的網(wǎng)絡(luò)應(yīng)用函數(shù)開發(fā)出客戶端/服務(wù)器的通訊系統(tǒng)[6]，多模式情感識(shí)別模型的仿真引用MATLAB中的神經(jīng)網(wǎng)絡(luò)來進(jìn)行。

本系統(tǒng)利用MATLAB來進(jìn)行訓(xùn)練使其能很好的為系統(tǒng)服務(wù)，然后把訓(xùn)練好的模型嵌入到學(xué)生端，該文中所設(shè)計(jì)的模型與E-learning系統(tǒng)沒有整合在一塊兒，而是單獨(dú)在每個(gè)學(xué)生端安裝，并且相應(yīng)的數(shù)據(jù)庫也是獨(dú)立安裝。動(dòng)畫人物的實(shí)現(xiàn)，利用了Microsoft Agent技術(shù)來實(shí)現(xiàn)，選用的動(dòng)畫人物為Merlin，并作為ActiveX控件嵌入到學(xué)生端程序，運(yùn)行界面如圖6：

5 結(jié)束語

基于多模式的情感識(shí)別方法，把基于單模式的識(shí)別方法集成到一塊兒來共同識(shí)別情感，識(shí)別的過程較單模式要復(fù)雜，且識(shí)別時(shí)間相對(duì)要長。處理的又是人在無意識(shí)情況下的情感狀態(tài)，對(duì)多模式情感識(shí)別提出了更大的挑戰(zhàn)?；诙嗄Ｊ降淖R(shí)別方法已經(jīng)是目前情感識(shí)別方法的主流。

參考文獻(xiàn)：

[1] Zeng Z H， Pantic M， Glenn L. Roisman and Thomas S. Huang. A Survey of Affect Recognition Methods：Audio，Visual and Spontaneous Expressions， Japan：ICMI’07，2007：126-133.

[2] Hsu R L，Abdel-Mottaleb M，Jain A K.Face detection in color images.IEEE Trans.Pattern Analysis and Machine intelligence，2002，24（5）：696-706.

[3] Reuderink B，Poel P，Truong P，Ronald Poppe，and Maja Pantic. Decision-Level Fusion for Audio-Visual Laughter Detection，LNCS 5237，2008：137-148.

[4] Alejandro J，Daniel G P，Nicu S，et al.Human-centered computing：toward a human revolution[J].Computer，2007，40（5）30-34.

[5] Jin N，Mokhtarian F.Image-based shape model for view-invariant human motion recognition[A].Proceedings of Conference on Advanced Video and Signal Based Surveillance[C].London：IEEE，2007：336-341.

[6] Ogale A S，Karapurkar A，Aloimonos Y.View-invariant modeling and recognition of human actions using grammars[A].International Conference on Computer Vision，Workshop on Dynamical Vision[C].Beijing，China：Springer Verlag，2005.

[7] Parameswaran V，Chellappa R.Using 2D projective invariance for human action recognition[J].International Journal of Computer Vision，2006，66（1）：83-101.

[8] 王金庭，楊敏.基于YCbCr空間的亮度自適應(yīng)膚色檢測(cè)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2007（6）：99-101.

[9] 劉振，吳鵬，陳月輝.基于PCA和神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別[J].山東科學(xué)，2006，19（4）：63-67.

[10] 王茜.一個(gè)語音情感識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].大眾科技，2006，94（8）：103-104.

[11] 趙臘生，張強(qiáng)，魏小鵬.語音情感識(shí)別研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2009，26（2）：428-432.

[12 蔣丹寧.蔡蓮紅.基于語音聲學(xué)特征的情感信息識(shí)別[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2006，46（1）：86-89.

[13] 董靜，王萬森.E-learning系統(tǒng)中情感識(shí)別的研究[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（17）：4525-4534.

[14] 程祥.人體動(dòng)作識(shí)別的研究[J].電腦知識(shí)與技術(shù)，2006：120-133.

[15] 趙國英，李振波.基于檢索的人體運(yùn)動(dòng)識(shí)別和模擬[J].計(jì)算機(jī)研究與發(fā)展，2006，43（2）：368-374.

[16] 徐光祐，曹媛媛.動(dòng)作識(shí)別與行為理解綜述[J].中國圖像圖形學(xué)報(bào)，2009，14（2）189-195.