謝 黎，史豐碩，康曉管

（東莞理工學(xué)院，廣東 東莞 523808）

1 單模態(tài)情緒測(cè)量

現(xiàn)有情緒測(cè)量技術(shù)中，按照技術(shù)可分為兩大類：生理反應(yīng)測(cè)量技術(shù)和心理反應(yīng)測(cè)量技術(shù)。生理信號(hào)可以更客觀真實(shí)地反映人們的情感狀態(tài)，文章基于心理學(xué)的生理反應(yīng)測(cè)量技術(shù)，從單模態(tài)情緒測(cè)量和多模態(tài)情緒測(cè)量角度，聚焦于面部表情測(cè)量、聲音測(cè)量、腦電生理信號(hào)測(cè)量三種單模態(tài)情緒測(cè)量方法以及多模態(tài)情緒測(cè)量這四大方面，采用文獻(xiàn)分析法，以中國(guó)知網(wǎng)為文獻(xiàn)數(shù)據(jù)源，綜述我國(guó)情緒測(cè)量技術(shù)發(fā)展?fàn)顩r。

1.1 技術(shù)簡(jiǎn)述

情緒是人對(duì)客觀事物的態(tài)度體驗(yàn)，以復(fù)雜多維的方式存在交互作用，包括主觀感受、面部動(dòng)作、中樞和外周神經(jīng)系統(tǒng)、認(rèn)知或信息處理的變化以及行為動(dòng)作傾向。單模態(tài)情緒測(cè)量是以某一個(gè)特定維度進(jìn)行對(duì)被試人員的測(cè)量。

目前情緒測(cè)量研究大多集中在人臉表情測(cè)量、語音測(cè)量、肢體測(cè)量等單模態(tài)領(lǐng)域，單模態(tài)信息量不足且容易受到外界各種因素的影響，如面部表情容易被遮擋、語音容易受噪聲干擾等。但其優(yōu)點(diǎn)也很明顯，相關(guān)技術(shù)已較為成熟、測(cè)量流程也相對(duì)簡(jiǎn)便。

1.2 各項(xiàng)技術(shù)發(fā)表年份分析

通過檢索“面部表情測(cè)量”“聲音測(cè)量”“腦電生理信號(hào)測(cè)量”三個(gè)關(guān)鍵詞，以是否以情緒測(cè)量技術(shù)為研究目的作為篩選依據(jù)，篩選出國(guó)內(nèi)近14年發(fā)表的387篇有效的學(xué)術(shù)論文。

2008年至今，關(guān)于單模態(tài)情緒測(cè)量技術(shù)的學(xué)術(shù)研究論文數(shù)量呈偶有下落、總體上升的趨勢(shì)。其中，腦電生理信號(hào)測(cè)量為其中最熱門的研究方向，14年間發(fā)文量達(dá)到97篇，其他兩項(xiàng)技術(shù)的研究熱度則相對(duì)較低。

1.3 面部表情測(cè)量

1.3.1 技術(shù)簡(jiǎn)述

面部表情，是情緒鮮明客觀的外在表現(xiàn)，由于其直觀的顯現(xiàn)和豐富的行為信息而得到關(guān)注。目前國(guó)內(nèi)外常用的面部表情測(cè)量技術(shù)有傳統(tǒng)表情測(cè)量和面部肌電圖測(cè)量 。

傳統(tǒng)表情測(cè)量是指通過測(cè)量眼部肌肉、顏面肌肉和口部肌肉的變化規(guī)律來表現(xiàn)各種情緒狀態(tài)。面部肌電圖（EMG）是在臉部安置電極來測(cè)量面部肌肉電位，通過面部肌肉電位圖形所顯示的面部各部位和肌肉活動(dòng)所產(chǎn)生的面孔的變化來分析個(gè)體情緒體驗(yàn)狀態(tài)。人在處于厭惡、高興、生氣、愉悅等狀態(tài)時(shí)會(huì)改變他們的面部肌電等生理信號(hào)，通過面部肌電信號(hào)能夠有效區(qū)別厭惡和生氣。由于面部肌電的測(cè)量需要在面部安置肌電測(cè)量裝置，其使用場(chǎng)景在一定程度上受到限制。

1.3.2 文獻(xiàn)分析

通過檢索“面部測(cè)量”“面部表情”“情緒測(cè)量”等關(guān)鍵詞，2008年至今共篩出45篇有效文獻(xiàn)。各年產(chǎn)量動(dòng)態(tài)變化、趨于平穩(wěn)，其中2010年后研究熱度突發(fā)，2017年前后的研究熱度較高，之后呈動(dòng)態(tài)上升趨勢(shì)。通過中國(guó)知網(wǎng)的可視化計(jì)量分析來看，面部表情測(cè)量技術(shù)主要應(yīng)用于情緒測(cè)量、教育、醫(yī)療康復(fù)中，其距離民用化、商用化還處于起步階段。國(guó)內(nèi)面部表情測(cè)量的主要研究應(yīng)用方向可分為：傳統(tǒng)表情識(shí)別、微表情面部測(cè)量以及卷積神經(jīng)網(wǎng)絡(luò)面部測(cè)量。

面部表情研究始于19世紀(jì)Darwin的研究，Ekman和Frieser制定了情緒測(cè)量系統(tǒng)：“面部肌肉運(yùn)動(dòng)編碼系統(tǒng)”（FACS），這是面部測(cè)量早期的基礎(chǔ)系統(tǒng)，它對(duì)面部肌肉進(jìn)行了編組，通過觀察各組肌肉的運(yùn)動(dòng)來實(shí)現(xiàn)對(duì)復(fù)雜表情變化的測(cè)量。趙明珠采用三維數(shù)字圖像相關(guān)方法對(duì)面部普通表情及微表情的變形測(cè)量進(jìn)行了精確計(jì)算和定量分析，提出的方法以參數(shù)優(yōu)化和消除剛體位移來提高因面部變形而影響測(cè)量的精度。

表面肌電信號(hào)測(cè)量技術(shù)是面部肌電測(cè)量技術(shù)中的一種，記錄人體表面肌肉通過收縮產(chǎn)生的生物電流的數(shù)據(jù)。表面肌電圖是由單個(gè)運(yùn)動(dòng)單元電生理信號(hào)組成的時(shí)間、空間的組合信號(hào)，它反映的是整塊肌肉的電生理特性，是安全、易掌握、非侵入性的記錄面部肌電的技術(shù)。針電極信號(hào)測(cè)量是面部肌電測(cè)量技術(shù)中的另一種，指記錄插入到肌肉中的針電極收集到的在針電極周圍有限范圍內(nèi)的運(yùn)動(dòng)單位電位總和的測(cè)量技術(shù)，具有干擾小、易辨識(shí)的優(yōu)點(diǎn)，但測(cè)量過程會(huì)對(duì)人體造成一定影響。

1.3.3 小結(jié)

從文獻(xiàn)數(shù)據(jù)來看，國(guó)內(nèi)面部情緒測(cè)量的研究不多，精確測(cè)量需要一定的設(shè)備支持，屬于較小眾的研究領(lǐng)域，研究門檻較高?；谏疃葘W(xué)習(xí)的面部表情識(shí)別技術(shù)，在國(guó)內(nèi)是較熱門的研究領(lǐng)域。

1.4 聲音測(cè)量

1.4.1 技術(shù)簡(jiǎn)述

聲音測(cè)量是將聲音信號(hào)的各種參數(shù)轉(zhuǎn)化為不同情緒狀態(tài)的測(cè)量方法，通過測(cè)量設(shè)備將聲音信號(hào)以一定的時(shí)間間隔分為若干片段，再提取其中若干組特征參數(shù)，利用機(jī)器深度學(xué)習(xí)技術(shù)將這些數(shù)據(jù)轉(zhuǎn)化為動(dòng)態(tài)變化的情感，得出各種情緒所占比例。由于人不會(huì)一直保持說話的狀態(tài)，其聲音特性是動(dòng)態(tài)變化的量，音調(diào)、語氣等也會(huì)隨著人的情緒變化而變化，增加了測(cè)量難度。

1.4.2 文獻(xiàn)分析

通過檢索“聲音測(cè)量”“語音測(cè)量”“情緒測(cè)量”等關(guān)鍵詞，從2008年至今的時(shí)間跨度中篩選出66篇有效的學(xué)術(shù)論文與期刊。從發(fā)表年份來看，聲音測(cè)量研究發(fā)文各年的產(chǎn)量較不穩(wěn)定，其中2012年后研究熱度突發(fā)，而后兩年又鮮有相關(guān)研究論文；2021年的研究熱度最高，當(dāng)年產(chǎn)出14篇相關(guān)研究論文。從研究學(xué)科分析，聲音測(cè)量主要涉及電信技術(shù)，語音測(cè)量的主要應(yīng)用領(lǐng)域?yàn)榍楦凶R(shí)別、語音識(shí)別、語言學(xué)習(xí)研究，表明語音測(cè)量現(xiàn)在的主要功能是將聲音信號(hào)可視化、情感化，并具體應(yīng)用于智能設(shè)備中，如智能語音助手。

祝宇虹利用平均短時(shí)能量和平均短時(shí)過零率結(jié)合進(jìn)行語音端點(diǎn)的測(cè)量方法，構(gòu)建出了用于情緒識(shí)別的語音基音周期測(cè)量分析方法。劉曉峰采用了PC機(jī)、USB數(shù)據(jù)采集卡V1.2和聲音傳感器模塊為硬件平臺(tái)，LabVIEW 2012為軟件開發(fā)環(huán)境，設(shè)計(jì)了聲音測(cè)量系統(tǒng)，可以實(shí)時(shí)準(zhǔn)確地測(cè)量聲音信號(hào)，反映出的聲音信號(hào)更加直觀。葛佳燁對(duì)于輸入電網(wǎng)調(diào)度語音序列存在語音片段停頓、靜默聲較多、有無效字符占位的測(cè)量問題，設(shè)計(jì)出了含聯(lián)結(jié)時(shí)序分類（Connectionist Temporal Classification，CTC）方法的網(wǎng)絡(luò)解決該問題，通過測(cè)量電網(wǎng)調(diào)度語音感知電網(wǎng)調(diào)度員的情緒變化，從而盡可能降低電網(wǎng)調(diào)度運(yùn)行中人的失誤。楊麗佳利用聲譜圖對(duì)語音信號(hào)進(jìn)行測(cè)量，測(cè)量出的語音信號(hào)兼具時(shí)域和頻域特征。

東南大學(xué)在這方面貢獻(xiàn)量最高，于2008年至今產(chǎn)出了18篇聲音情緒測(cè)量相關(guān)文獻(xiàn)，國(guó)內(nèi)相關(guān)的研究最早從東南大學(xué)趙力等人開始。為了解聲音測(cè)量應(yīng)用在國(guó)內(nèi)的研究進(jìn)展，在東南大學(xué)相關(guān)文獻(xiàn)中，通過以“語音情感識(shí)別”“情緒測(cè)量”等關(guān)鍵詞，進(jìn)一步檢索自2008年至今產(chǎn)出“語音情感識(shí)別”相關(guān)的文獻(xiàn)，最后檢索得出89篇。

1.4.3 小結(jié)

從分析結(jié)果來看，情緒測(cè)量領(lǐng)域中聲音情緒測(cè)量研究熱度較高，且應(yīng)用領(lǐng)域較廣；涉及到的應(yīng)用有：音樂情感識(shí)別、智能語音助手、醫(yī)療病癥診斷等，這些都是目前國(guó)內(nèi)乃至世界范圍的熱門、前沿研究領(lǐng)域。

1.5 腦電生理信號(hào)測(cè)量

1.5.1 技術(shù)簡(jiǎn)述

生理信號(hào)直接受自主神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)控制，與傳統(tǒng)情感分析相比，可以更客觀真實(shí)地反映出人們的情感狀態(tài)。其種類有腦電、心電、皮電等，腦電信號(hào)等，在情緒識(shí)別中因其具有較高的識(shí)別率和較為豐富的情緒特征而成為情感識(shí)別最主要的手段之一。腦電信號(hào)（EEG）測(cè)量是通過在大腦皮層特定神經(jīng)中樞對(duì)應(yīng)的頭皮位置上布置電極，記錄一段時(shí)間內(nèi)各區(qū)域神經(jīng)元放電現(xiàn)象，繪制成隨時(shí)間變化的動(dòng)態(tài)曲線的過程。目前，腦電信號(hào)的測(cè)量技術(shù)主要有三種：濕電極測(cè)量、半干式電極測(cè)量和干電極測(cè)量，三種方式具備不同特點(diǎn)，適用于不同研究環(huán)境與研究?jī)?nèi)容。

濕電極腦電測(cè)量方法，被稱為EEG信號(hào)采集的金標(biāo)準(zhǔn)，通過高導(dǎo)電性的電解物質(zhì)（電解凝膠）作為導(dǎo)電介質(zhì)，降低皮膚與電極接觸面的阻抗大小，進(jìn)而測(cè)量個(gè)體的EEG信號(hào)。半干式電極也被稱為水基腦電測(cè)量，與濕電極相比，它采用少量的液體電解質(zhì)替代電解凝膠，就可以達(dá)到相對(duì)較低阻抗并獲得高質(zhì)量的腦電信號(hào)。干電極測(cè)量技術(shù)與傳統(tǒng)的依賴于與頭皮的低阻抗測(cè)量原理不同，傳感器結(jié)合創(chuàng)新的電子處理技術(shù)，減少對(duì)人體共模信號(hào)的拾取和敏感性。不需要任何導(dǎo)電介質(zhì)，直接將腦電帽電極貼附在頭皮表面即可。

1.5.2 文獻(xiàn)分析

此處通過檢索“腦電測(cè)量”“EEG”“情緒測(cè)量”等關(guān)鍵詞，從2008年至今的時(shí)間跨度中共篩選出97篇有效的學(xué)術(shù)論文與期刊。從發(fā)表年份來分析，各年的產(chǎn)量動(dòng)態(tài)變化、總體呈現(xiàn)上升趨勢(shì)，其中2020年的研究熱度最高，當(dāng)年產(chǎn)出了18篇論文或期刊。

事件相關(guān)電位測(cè)量技術(shù)是在某種特定刺激條件下所引起的一種腦電位變化的測(cè)量手段。陶熔鑄針對(duì)非接觸式干電極提出了AE芯片與BE芯片配合工作的四通道腦電信號(hào)測(cè)量接口專用集成電路方案設(shè)計(jì)，該方案能夠有效地抑制電極偏移、降低電極高阻抗和完成腦電信號(hào)模擬到數(shù)字的信號(hào)轉(zhuǎn)換。鄔明洲基于Δ～2Σ ADC結(jié)構(gòu)提出了一種高性能生物電信號(hào)測(cè)量電路，解決了以EEG為代表的生物電信號(hào)幅值小、頻率低，易受低頻噪聲、電極失調(diào)和運(yùn)動(dòng)偽影等測(cè)量問題。宋振宇研制了一種基于章魚吸盤仿生結(jié)構(gòu)的柔性干電極的可穿戴腦電（EEG）采集系統(tǒng)，該系統(tǒng)有便捷吸附、易于剝離、可多次重復(fù)使用的優(yōu)點(diǎn)。

從文獻(xiàn)涉及學(xué)科占比分析，腦電情緒測(cè)量的應(yīng)用除了涉及到廣義的電信技術(shù)外，主要與生物醫(yī)學(xué)工程、精神病學(xué)、生物學(xué)關(guān)聯(lián)，而涉及電信技術(shù)的文獻(xiàn)主要研究了腦波的各種特征數(shù)據(jù)。通過進(jìn)一步分析關(guān)鍵詞發(fā)現(xiàn)，腦電情緒測(cè)量涉及的領(lǐng)域還包括“注意力檢測(cè)”“教育學(xué)習(xí)”“駕駛員情緒檢測(cè)”等。

1.5.3 小結(jié)

從分析結(jié)果可見，腦電情緒測(cè)量技術(shù)研究主要集中在腦電信號(hào)測(cè)量設(shè)備的便捷性和腦電信號(hào)自身幅值小、易受干擾的特性研究中。腦電信號(hào)測(cè)量技術(shù)的應(yīng)用領(lǐng)域相當(dāng)廣泛，目前已在生物學(xué)、醫(yī)學(xué)、精神病學(xué)、教育學(xué)等各大熱門領(lǐng)域有了相當(dāng)?shù)难芯窟M(jìn)展。但限于腦電測(cè)量設(shè)備比較笨重，且測(cè)量時(shí)較不穩(wěn)定，容易產(chǎn)生較多噪聲，現(xiàn)腦電測(cè)量主要用于醫(yī)療觀察方面，距離民用化還有較長(zhǎng)的距離；但不可否認(rèn)的是腦電測(cè)量是情緒測(cè)量中較為準(zhǔn)確的一種方式，其較非生理信號(hào)測(cè)量更能準(zhǔn)確反映真實(shí)情緒的一大優(yōu)勢(shì)，奠定未來腦電情緒測(cè)量將迎來更廣闊的發(fā)展前景。

2 多模態(tài)情緒測(cè)量

2.1 技術(shù)簡(jiǎn)述

“多模態(tài)”（Multimedal）一詞最早由Bigun和Duc等人最先于1997年提出。從信息來源的角度來看，可以有文字、聲音、圖像、味覺、觸覺等，每一個(gè)這些信息的來源被稱為一個(gè)模態(tài)。不同的模態(tài)提供的信息不同，因此同時(shí)結(jié)合多個(gè)模態(tài)對(duì)被測(cè)者進(jìn)行測(cè)量，并對(duì)其統(tǒng)一建模，這就是多模態(tài)信號(hào)測(cè)量。受到人類感知方式的啟發(fā)，研究認(rèn)為每個(gè)模態(tài)對(duì)事物的描述具有相對(duì)獨(dú)立性，使用多模態(tài)數(shù)據(jù)的互補(bǔ)表述能夠使事物呈現(xiàn)更立體、表現(xiàn)更全面。

前文提到，腦電信號(hào)蘊(yùn)含的情緒特征豐富且不受用戶的主觀影響，能更真實(shí)地反應(yīng)被測(cè)者的情緒狀態(tài)，但腦電信號(hào)有著幅值小、易受噪聲干擾等缺陷；相反，表情、聲音等非生理信號(hào)測(cè)量雖然更容易被測(cè)出，但在特殊情況下，如：情緒偽裝的情況下，就會(huì)導(dǎo)致真實(shí)情緒與測(cè)量值存在偏差。因此，高精準(zhǔn)、便攜式、可擴(kuò)展性的多生理參數(shù)測(cè)量硬件架構(gòu)和測(cè)量技術(shù)是多模態(tài)情緒識(shí)別研究走向工程應(yīng)用是先決條件。

2.2 文獻(xiàn)分析

此處通過檢索“多模態(tài)情緒測(cè)量”“雙模態(tài)情緒測(cè)量”結(jié)合“生理信號(hào)”“語音”“面部表情”等多組關(guān)鍵詞，篩選得出179篇有效的相關(guān)研究論文。2017年以前，國(guó)內(nèi)研究此領(lǐng)域的學(xué)者較少，2017年研究熱度突發(fā)，當(dāng)年產(chǎn)出17篇相關(guān)研究論文，其中2020年、2021年的研究熱度最高，當(dāng)年分別產(chǎn)出了44篇、49篇相關(guān)的研究論文。

通過分析關(guān)鍵詞出現(xiàn)次數(shù)，不難看出，國(guó)內(nèi)研究學(xué)者在對(duì)多模態(tài)進(jìn)行情緒測(cè)量研究時(shí)，主要研究模態(tài)組合為腦電信號(hào)、其他生理信號(hào)（如肌電信號(hào)心電信號(hào)等）、人聲與面部表情。

在這一技術(shù)領(lǐng)域上，南京郵電大學(xué)的研究貢獻(xiàn)較高，2017～2022年共產(chǎn)出了11篇相關(guān)研究論文；其次為上海交通大學(xué)，于2016～2022年產(chǎn)出了10篇相關(guān)研究論文。由于多模態(tài)情緒測(cè)量為前文多個(gè)模態(tài)的情緒測(cè)量方法的融合，其中以電信技術(shù)、計(jì)算機(jī)軟件及計(jì)算機(jī)應(yīng)用、生物醫(yī)學(xué)工程、心理學(xué)為主；進(jìn)一步分析標(biāo)題與關(guān)鍵詞發(fā)現(xiàn)，多模態(tài)情緒測(cè)量的應(yīng)用研究大多建立在醫(yī)療、教育等方面上。

盡管多模態(tài)數(shù)據(jù)在描述事物特征時(shí)具有明顯優(yōu)勢(shì)，但仍面臨著較大的挑戰(zhàn)。①受到不同成像設(shè)備和傳感器的限制，難以收集到大規(guī)模、高質(zhì)量的多模態(tài)數(shù)據(jù)集；②多模態(tài)數(shù)據(jù)需要匹配成對(duì)用于研究，任一模態(tài)測(cè)量的缺失都會(huì)造成可用數(shù)據(jù)的減少；③圖像、視頻數(shù)據(jù)在處理和標(biāo)注上需要耗費(fèi)較多的時(shí)間和人力成本，這些問題使得目前本領(lǐng)域的技術(shù)尚待攻關(guān)。

2.3 小結(jié)

不斷增加的研究表明多模態(tài)情緒測(cè)量逐漸成為主流的情緒測(cè)量方法，多模態(tài)情緒測(cè)量的準(zhǔn)確性、穩(wěn)定性在一個(gè)個(gè)實(shí)踐項(xiàng)目中也得到了論證。多模態(tài)情緒測(cè)量實(shí)驗(yàn)也逐漸由模擬場(chǎng)景走向更為真實(shí)的人機(jī)交互環(huán)境，例如通過對(duì)舞臺(tái)表演者的語音、表情和姿態(tài)的測(cè)量來進(jìn)行多模態(tài)情感識(shí)別。

3 總結(jié)

文章采用文獻(xiàn)分析法，綜述了面部表情測(cè)量、聲音測(cè)量、腦電生理信號(hào)測(cè)量、多模態(tài)情緒測(cè)量四種主要的情緒測(cè)量技術(shù)的發(fā)展現(xiàn)狀與研究進(jìn)程，并簡(jiǎn)述了四種測(cè)量技術(shù)方法與局限性。除了文章提到的幾種測(cè)量技術(shù)外，當(dāng)今研究現(xiàn)狀也不乏如化學(xué)刺激、磁共振成像（FRMI）、腦磁圖（MEG）等更為前沿與精確的測(cè)量技術(shù)。

當(dāng)今大多數(shù)研究學(xué)者都采用了融合多模態(tài)的情緒測(cè)量這一較為精確的測(cè)量技術(shù)。若未來的情緒測(cè)量技術(shù)能參照更多的指標(biāo)，結(jié)合更多種測(cè)量方法，使測(cè)量結(jié)果更精確，才能盡可能地控制并降低測(cè)量誤差。由于情緒的復(fù)雜性，測(cè)量技術(shù)的仍存在技術(shù)更迭、對(duì)象多樣、適宜度、匹配度、精準(zhǔn)度等很多待解決的問題。

4 對(duì)未來的展望

隨著科技的進(jìn)步，情緒測(cè)量的技術(shù)逐漸向柔性可穿戴技術(shù)和微小傳感器發(fā)展，準(zhǔn)確性也正逐步提高，尤其是基于傳感器結(jié)合創(chuàng)新的電子處理技術(shù)下，感知精度、數(shù)據(jù)傳輸?shù)汝P(guān)鍵步驟的效率也在不斷提高。在當(dāng)今社會(huì)下，人們對(duì)心理健康分析與判斷的需求越來越高，以需求為導(dǎo)向，未來情緒測(cè)量將會(huì)逐漸走出實(shí)驗(yàn)室，廣泛民用化。