易慧，陳瑞娟△，鄧光華，胡淑芬，肖淑綿，王慧泉,2

(1.天津工業(yè)大學(xué)生命科學(xué)學(xué)院，天津 300387；2.天津市光電檢測(cè)技術(shù)與系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，天津工業(yè)大學(xué)，天津 300387)

1 引 言

情緒在人們生活中扮演重要角色，它影響著人們的行為，人機(jī)情感交互的關(guān)鍵技術(shù)之一是情緒識(shí)別，引發(fā)“情感計(jì)算”的出現(xiàn)[1]，情緒識(shí)別是對(duì)他人情緒狀態(tài)進(jìn)行識(shí)別和解釋的方法[2]，近年來(lái)這一領(lǐng)域正逐漸成為研究熱點(diǎn)。在情感計(jì)算領(lǐng)域中，常用的算法有支持向量機(jī)、K-最近鄰法、線性判別函數(shù)、多層感知器等，通過(guò)對(duì)腦電、肌電、呼吸、皮電等生理信號(hào)的研究，以實(shí)現(xiàn)情緒的精準(zhǔn)識(shí)別。

文本、語(yǔ)音、表情和勢(shì)態(tài)均可通過(guò)主觀意識(shí)的控制來(lái)隱藏實(shí)際的情感，但生理信號(hào)特征主要來(lái)自于神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)，且不受主觀意識(shí)的控制，能夠更加真實(shí)地反映出人的情感特征[3]。目前，使用多種生理信號(hào)聯(lián)合識(shí)別的分類精度較單一生理參數(shù)的識(shí)別精度高，多模態(tài)生理信號(hào)的情緒識(shí)別被廣泛應(yīng)用。在上述生理信號(hào)中，心電信號(hào)蘊(yùn)藏豐富的生理信息。心率變異性(heart rate variability, HRV)不僅可以表現(xiàn)人體內(nèi)外環(huán)境對(duì)心血管系統(tǒng)的影響，也反映了心血管系統(tǒng)在自主神經(jīng)及體液調(diào)節(jié)下做出的相應(yīng)調(diào)節(jié)。因?yàn)榍榫w狀態(tài)的變化直接影響自主神經(jīng)系統(tǒng)及體液調(diào)節(jié)，所以個(gè)人的情緒變化可以在HRV中得到反映體現(xiàn)，即HRV能夠用來(lái)進(jìn)行情緒識(shí)別[4]。Picard等[5]通過(guò)一系列的實(shí)驗(yàn)證明從人類的特定生理信號(hào)中提取某些有效的特征組合，將其用于情感識(shí)別的研究是可行的。Ekman[6]在對(duì)人體生理信號(hào)的研究過(guò)程中發(fā)現(xiàn)某些生理反應(yīng)對(duì)具體情感狀態(tài)的產(chǎn)生具有特異性,且心電采集設(shè)備較腦電采集設(shè)備更加便攜，易于采集，極大地方便人機(jī)情緒交流的市場(chǎng)化和商業(yè)化。

HRV[7]指心電信號(hào)R-R間期逐波之間的微小差異，它包含豐富的自主神經(jīng)系統(tǒng)反應(yīng)信息，心率變異性常常視作為心臟的窗口，HRV很大程度上反映了心臟對(duì)外界環(huán)境的適應(yīng)能力,而這種適應(yīng)性主要是由自主神經(jīng)系統(tǒng)對(duì)心臟的調(diào)控來(lái)實(shí)現(xiàn)的[8]，因其可以無(wú)創(chuàng)、定量評(píng)估自主神經(jīng)系統(tǒng)功能，不僅廣泛應(yīng)用在臨床上,也已越來(lái)越多地應(yīng)用在情緒識(shí)別中[9]。研究表明，通過(guò)加強(qiáng)對(duì)老年高血壓患者的心理疏導(dǎo)和支持可以緩解患者的焦慮抑郁情緒,從而改善老年高血壓患者的血壓變異性、心率變異性及生活質(zhì)量[10]。同時(shí)，對(duì)情緒進(jìn)行識(shí)別在提升新產(chǎn)品的用戶體驗(yàn)、員工培訓(xùn)、改善醫(yī)療護(hù)理等方面均具有重要意義。

2 實(shí)驗(yàn)設(shè)計(jì)與心電信號(hào)采集

2.1 情緒的誘發(fā)方式

情緒誘發(fā)方式多種多樣，有研究者使用音樂(lè)聽覺(jué)刺激的方式來(lái)誘發(fā)情緒，也有使用圖片即視覺(jué)刺激的方式來(lái)誘發(fā)情緒，目前國(guó)際上常用的情緒誘發(fā)素材庫(kù)包括國(guó)際情緒圖片系統(tǒng) ( international affective picture system,IAPS)和國(guó)際情緒聲音庫(kù) ( international affective digitized sounds,IADS)為情緒研究工作提供了較標(biāo)準(zhǔn)的誘發(fā)素材庫(kù)，但是由于一定的文化差異，該情緒誘發(fā)素材并不適合在中國(guó)使用[11]。電影剪輯法既有視覺(jué)刺激也有聽覺(jué)刺激，可較好地誘發(fā)人的情緒，因此，本研究使用電影剪輯法來(lái)進(jìn)行情緒誘發(fā)。

情緒可通過(guò)效價(jià)和喚醒度的二維空間模型進(jìn)行精確定義，空間模型從這兩個(gè)方面給出情緒特有的特征。本研究選取不同喚醒度的八種情緒，即恬靜、氣憤、悲傷、恐懼、厭惡、平靜、驚奇、搞笑，這八種情緒的二維空間模型見圖1，每種情緒選取兩段不同的視頻來(lái)進(jìn)行誘發(fā)。實(shí)驗(yàn)中選取視頻的標(biāo)準(zhǔn)是情節(jié)易于理解，且每段視頻僅誘發(fā)單一情緒。

圖1 情緒的二維空間模型Fig.1 The two-dimensional space modelofemotion

2.2 情緒誘發(fā)實(shí)驗(yàn)的設(shè)計(jì)與采集

實(shí)驗(yàn)采集了八種不同的情緒，每種情緒兩段視頻，每段視頻時(shí)長(zhǎng)5 min，視頻總時(shí)長(zhǎng)80 min，情緒誘發(fā)流程見圖2，每段視頻中間被試者休息2 min以平復(fù)情緒。

受試者在觀看視頻的同時(shí)填寫主觀量表，量表內(nèi)容包括情緒類型選擇及其誘發(fā)情緒的強(qiáng)度，強(qiáng)度等級(jí)分別為很強(qiáng)、較強(qiáng)、一般、無(wú)感。以主觀量表驗(yàn)證誘發(fā)材料能否誘發(fā)相應(yīng)的情緒，誘發(fā)的情緒是否純凈，從而為客觀分類提供參考標(biāo)準(zhǔn)。

圖2 情緒誘發(fā)實(shí)驗(yàn)流程Fig.2 Flowchart of emotion evoked experiment

本研究選擇23位無(wú)心理疾病和心血管疾病的在校學(xué)生為受試者，實(shí)驗(yàn)前無(wú)劇烈運(yùn)動(dòng)(避免運(yùn)動(dòng)后心率過(guò)快)。實(shí)驗(yàn)現(xiàn)場(chǎng)見圖3，在標(biāo)準(zhǔn)實(shí)驗(yàn)室進(jìn)行，顯示器置于離受試者80～100 cm處，受試者間均隔板隔開，避免相互干擾。心電采集部分是由多功能生理信號(hào)采集系統(tǒng)中的心電采集單元完成的。

為了確定情緒材料信效度，即情緒材料是否成功誘發(fā)了相應(yīng)情緒，針對(duì)視頻材料進(jìn)行了事后分析，選取了受試者的主觀報(bào)告數(shù)據(jù)，進(jìn)行了統(tǒng)計(jì)學(xué)的分析評(píng)估，t檢驗(yàn)的評(píng)估結(jié)果顯示，除了驚奇外其他情緒均成功誘發(fā)且純凈。

圖3 實(shí)驗(yàn)場(chǎng)景Fig.3 Experimental scene

3 心電信號(hào)預(yù)處理和特征值提取

3.1 心電信號(hào)預(yù)處理

由于心電信號(hào)極其微弱，所以提取到的心電信號(hào)存在多種噪聲和電磁干擾，如肌電干擾、運(yùn)動(dòng)偽差、電極接觸噪聲等。本研究采用小波變換(wavelet transform，WT)對(duì)心電信號(hào)進(jìn)行分解和重構(gòu)以減小噪聲，去噪前后對(duì)比見圖4。

圖4 小波變換去噪前后對(duì)比(a).去噪前心電波形;(b).小波變換去噪后心電波形Fig.4 Comparison of wavelet transform before and after denoising(a).before denoising; (b).after denoising

小波變換(WT)是一種新的變換分析方法，它繼承和發(fā)展了短時(shí)傅立葉變換局部化的思想，同時(shí)又克服了窗口大小不隨頻率變化等缺點(diǎn)，能夠提供一個(gè)隨頻率改變的“時(shí)間-頻率”窗口，是進(jìn)行信號(hào)時(shí)頻分析和處理的理想工具。WT的原理是把某一被稱為基本小波(也稱母小波，Mother Wavelet)的函數(shù)ψ(t)做位移τ后，再在不同尺度a下與待分析的信號(hào)x(t)做內(nèi)積：

(1)

等效的頻域表示為：

(2)

式中，X(w)和Ψ(w)分別是x(t)和ψ(t)的傅里葉變換。

與傅里葉變換相比，WT能夠準(zhǔn)確地分析出信號(hào)在何時(shí)發(fā)生畸變，可以檢測(cè)出其他分析方法忽略的信號(hào)特征，能以非常小的失真度實(shí)現(xiàn)對(duì)信號(hào)的壓縮與消噪?？傊芯恐胁捎玫腤T模極大值去噪方法根據(jù)信號(hào)與噪聲在WT下不同的特性來(lái)對(duì)信號(hào)進(jìn)行消噪，最大的優(yōu)點(diǎn)是具有“局部化”性質(zhì)和“數(shù)學(xué)顯微鏡”性質(zhì)，很適合于非線性、非平穩(wěn)信號(hào)的分析[12]，能夠在去噪同時(shí)最大限度地保留信號(hào)的原始信息,因而利于用在信噪比較低的生物信號(hào)的提取中[13]。

3.2 特征值的提取

采用Pan等[14]提出的一種經(jīng)典pan_tompkin(PT)算法來(lái)檢測(cè)QRS波群信息，見圖5。提取的R波峰值信息，見圖6。該算法原理簡(jiǎn)單，實(shí)時(shí)性好[15]，包含有帶通濾波、微分、微分、平方、滑窗積分等過(guò)程。

圖5 PT算法用于QRS信息檢測(cè)Fig.5 The PT algorithm have been used for information detection

圖6 提取的R峰Fig.6 The extracted R peak

本研究一共提取了16個(gè)HRV特征參數(shù)，包含9個(gè)時(shí)域特征，7個(gè)頻域特征，特征意義見表1和表2，時(shí)域上主要提取RR間期的相關(guān)參數(shù)，頻域上主要提取能量相關(guān)的參數(shù)，表3列出了一位受試者在不同的情緒下提取的部分HRV特征值。

表1 HRV時(shí)域特征Table 1 Time-domaincharacteristics of HRV

表2 HRV頻域特征Table 2 Frequency-domaincharacteristics of HRV

表3 不同情緒的部分特征值Table 3 Partial eigenvalues of different emotions

4 識(shí)別算法與結(jié)果分析

4.1 算法分析

提取特征值后，本研究采用支持向量機(jī)(support vector machine,SVM)來(lái)進(jìn)行情緒分類。SVM[16]是由Vapnik提出的基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的準(zhǔn)則，其中結(jié)構(gòu)風(fēng)險(xiǎn)是指經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信區(qū)間的和。SVM尋找一個(gè)最優(yōu)分隔超平面，該超平面能最大程度地將這兩個(gè)類別的訓(xùn)練樣本分開，同時(shí)使每類樣本到它的距離盡可能的大[17]，它是一種解決小樣本、非線性、高維機(jī)器學(xué)習(xí)問(wèn)題的較優(yōu)方法，適用于心電信號(hào)。

4.2 結(jié)果與分析

首先對(duì)特征值數(shù)據(jù)集進(jìn)行八分類，任意選取其中10組受試者數(shù)據(jù)共160段心電作為訓(xùn)練集，5組受試者數(shù)據(jù)共80段心電作為測(cè)試集，用SVM分類，核函數(shù)為徑向基，16個(gè)特征值作為數(shù)據(jù)集，精確度為13.75%(11/80)；已有研究表明MEAN、SDNN、RMSSD、PNN50、HFn、LFn、HF/LF這七個(gè)特征值與情緒之間的聯(lián)系更為緊密，若用以上七個(gè)特征值作為數(shù)據(jù)集進(jìn)行八分類，其他條件不變，精確度為16.25%(13/80)，分類效果不佳。

八分類的種類較多，加上個(gè)體差異性較大，因此分類效果不佳，現(xiàn)選取比較典型的、對(duì)心率變異性影響較大的四類情緒進(jìn)行分析，分別為搞笑、悲傷、恐懼、平靜。16個(gè)特征值作為數(shù)據(jù)集，選10組受試者數(shù)據(jù)共80例樣本作為訓(xùn)練集，5組受試者數(shù)據(jù)共40例樣本作為測(cè)試集，精確度為30% (12/40)；七個(gè)特征值作為數(shù)據(jù)集，選10組受試者數(shù)據(jù)共80例樣本作為訓(xùn)練集，5組受試者數(shù)據(jù)共40例樣本作為測(cè)試集，精確度為37.5% (15/40)；由上述可見，七個(gè)典型的特征值的分類結(jié)果較優(yōu)于16個(gè)特征值的分類結(jié)果。

對(duì)平靜、搞笑、悲傷、恐懼四類情緒分別作了一對(duì)一的分類(七個(gè)特征值)，結(jié)果見表4,由于恐懼和平靜兩種情緒在喚醒度上差異較大，分類效果最佳，達(dá)75%。

表4 二分類精確度Table 4 Accuracy of two-category

由于HRV存在較大的個(gè)體差異，所以對(duì)特征值作如下處理：(平靜狀態(tài)的特征值-各種情緒特征值)/平靜狀態(tài)的特征值。由于不同的情緒對(duì)SVM參數(shù)的敏感度不同，通過(guò)調(diào)整SVM的參數(shù)進(jìn)行建模的改進(jìn)，調(diào)參后的結(jié)果見表5，可見通過(guò)特征值優(yōu)化和參數(shù)調(diào)整提高分類精度。

表5 調(diào)參后的精確度Table 5 Accuracy after parameter adjustment

5 結(jié)論

本研究探究了不同情緒下的心電信號(hào)與自主神經(jīng)系統(tǒng)的特征變化，通過(guò)不同情緒下的心電信號(hào)采集實(shí)驗(yàn)，對(duì)恬靜、氣憤、悲傷、恐懼、厭惡、平靜、驚奇、搞笑等八種情緒進(jìn)行了分類識(shí)別。首先采用WT法降低噪聲干擾，其次提取了HRV關(guān)于時(shí)域、頻域的特征參數(shù)，并提出了相對(duì)特征值法以減小個(gè)體差異；最后利用SVM算法實(shí)現(xiàn)情緒分類。經(jīng)過(guò)不斷調(diào)整SVM的參數(shù)得到精度為60%～75%的分類結(jié)果。針對(duì)本研究的分類結(jié)果，在以下方面可以進(jìn)一步探索，以提高識(shí)別精度：增加建模數(shù)據(jù)量，縮小個(gè)體差異；增加其他維度的生理信號(hào)，提高建模精度；改進(jìn)建模手段，用深度學(xué)習(xí)等方法提高建模精度。本研究提出的基于HRV的特征信息進(jìn)行多種情緒的分類識(shí)別方法將主觀情緒與客觀生理信號(hào)之間建立聯(lián)系，對(duì)情緒識(shí)別的研究奠定了基礎(chǔ)。本方法對(duì)影片的測(cè)評(píng)、培訓(xùn)評(píng)價(jià)、提升新產(chǎn)品的用戶體驗(yàn)、員工培訓(xùn)、改善醫(yī)療護(hù)理等方面具有廣泛的應(yīng)用價(jià)值。