王 蘋 潘治輝 張立潔 陳煦海

(陜西省行為與認知神經(jīng)科學重點實驗室,陜西師范大學心理學院,西安 710062)

成功地識別和加工情緒信息是社會交往的關鍵環(huán)節(jié)之一。當前情緒認知研究多關注單通道(如面孔或語音)所傳達情緒的加工,但現(xiàn)實生活中我們所接收的情緒信息往往不是單一感覺通道傳遞的,而是多個感覺通道同時傳遞(Klasen,Chen,& Mathiak,2012;Robins,Hunyadi,&Schultz,2009)。近年來,“多通道情緒信息的整合加工機制”已引起心理學和認知神經(jīng)科學研究者的關注,已有研究發(fā)表在PNAS等國際權(quán)威雜志上(Hagan et al.,2009)。

然而,當前研究主要考察多通道結(jié)合相對于單通道的優(yōu)勢、多通道情緒刺激加工的時間進程(when)和相關腦區(qū)(where),對“多通道情緒信息是否能整合為一致情緒客體？如果能,來自不同通道的情緒信息是如何在神經(jīng)振蕩層面整合(how)為一？”等問題都缺乏系統(tǒng)研究。對這些問題的系統(tǒng)探討,從理論上可以推進情緒認知神經(jīng)機制研究以及多通道信息整合的腦機制研究。從應用上可以為精神分裂癥、自閉癥和廣泛性發(fā)展障礙的診斷以及微情緒識別等應用研究提供理論參考。

1 國內(nèi)外研究現(xiàn)狀

1.1 面孔和語音情緒整合的表現(xiàn)及影響因素

多通道感覺整合是人類知覺中普遍存在的現(xiàn)象,著名的如McGurk效應——視覺呈現(xiàn)“ba”的嘴型,同時聽覺呈現(xiàn)“ga”的聲音,人們感覺自己聽到的是“da”(McGurk&MacDonald,1976)。這種現(xiàn)象也發(fā)生在情緒信息的知覺加工中,主要表現(xiàn)為視聽通道的情緒信息一致時,相對于不一致或單通道的情緒信息,人們完成情緒判斷的準確率更高,反應更快(Kreifelts,Ethofer,Grodd,Erb,&Wildgruber,2007;Massaro&Egan,1996),被試會整合雙通道的信息來評價情緒(De Gelder&Vroomen,2000),當其中一個通道的信息模糊時,另一通道的作用會更大(Massaro&Egan,1996)。此外,雙通道信息整合中,視覺情緒信息所起的作用更大 (Jessen&Kotz,2011;Watson et al.,2014a)。

面孔、語音情緒信息的整合會受諸多因素的影響。首先,面孔和語音情緒信息的整合受刺激驅(qū)動加工和任務驅(qū)動加工(Wildgruber,Ethofer,Grandjean,&Kreifelts,2009;Klasen et al.,2012)的影響。一些研究強調(diào)雙通道情緒信息整合具有自動性,是一種刺激驅(qū)動加工,即使被試只關注一個通道的信息而忽視另一個通道的信息,面孔和語音情緒的交互影響仍然存在(De Gelder&Vroomen,2000),而且這種現(xiàn)象在閾下呈現(xiàn)(Doi&Shinohara,2013),視覺皮層受損的患者中依舊存在(De Gelder,Pourtois,&Weiskrantz,2002)。另有研究則強調(diào)任務驅(qū)動加工的重要性(Brück,Kreifelts,&Wildgruber,2011;Klasen et al.,2012),認為任務驅(qū)動的加工可能讓雙通道情緒信息的整合在多個時間點上發(fā)生(Paulmann,Jessen,&Kotz,2009;Doi&Shinohara,2013)。其次,整合加工者的個體差異也可能影響多通道情緒信息的整合。有研究報告面孔、語音情緒整合存在性別差異,女性整合能力強于男性(Collignon et al.,2010)。另有研究報告在日本被試中語音情緒對面孔情緒的影響更強,而荷蘭被試中面孔情緒對語音情緒的影響更強,說明文化差異影響面孔、語音情緒整合(Tanaka et al.,2010)。最后,疾病也可能影響多通道情緒信息的整合。有研究報告,精神分裂癥(De Gelder et al.,2005),自閉癥(Charbonneau et al.,2013)和廣泛性發(fā)展障礙等患者(Magnée,De Gelder,van Engeland,&Kemner,2008)的面孔和語音情緒信息整合能力受損,而且這可能是他們情緒加工能力下降的主要原因。

上述研究探明了人們加工面孔、語音結(jié)合的情緒刺激的行為表現(xiàn),以及影響該加工過程的因素,但基本都是描述雙通道情緒信息加工時存在交互影響,沒有直接回答雙通道情緒信息是否可以整合成一致的客體(coherent percept)。整合成一致客體是相比交互影響更為嚴格的整合加工標準,即多通道信息同時加工的效應大于任一單通道信息,甚至大于所有單通道效應之和,形成超出原有信息的一致客體,而這種效應在參與整合的單通道信息本身較為模糊時更為顯著(Ernst&Bulthoff,2004;Stein,Stanford,Ramachandran,Perrault,&Rowland,1993;2009)。該標準已在非情緒性信息整合加工中進行了大量研究,尚未用來系統(tǒng)考察多通道情緒信息的整合加工。情緒信息加工與一般感覺信息加工的區(qū)別在于其社會性,顯然,將一般感覺信息融合的標準用于考察面孔和語音情緒信息整合加工可能增進情緒信息整合加工的理解。

1.2 面孔-語音情緒整合神經(jīng)機制

面孔語音情緒整合的神經(jīng)機制研究關注的問題之一是整合加工的時間進程(when)。De Gelder,Bocker,Tuomainen,Hensen 和 Vroomen(1999)運用oddball設計,發(fā)現(xiàn)面孔、語音情緒一致和不一致的雙通道材料作為偏差刺激都能誘發(fā)典型的MMN,說明面孔、語音情緒信息在情緒加工的早期即開始整合。他們隨后的研究發(fā)現(xiàn)面孔、語音情緒一致的刺激相對不一致的刺激誘發(fā)更大波幅的N100(Pourtois,De Gelder,Vroomen,Rossion,&Crommelinck,2000),相似的結(jié)果也出現(xiàn)在紋狀皮層受損的病人中(De Gelder et al.,2002),說明面孔、語音情緒的整合發(fā)生于刺激呈現(xiàn)后200 ms之內(nèi)。另有研究直接對比視聽結(jié)合情緒刺激和單通道刺激,發(fā)現(xiàn)多通道情緒結(jié)合刺激誘發(fā)更小波幅的N100(Jessen&Kotz,2011),P200和N300(Paulmann et al.,2009),說明多通道情緒在100 ms即開始整合,并有一定時間跨度。Paulmann和Pell(2010)運用啟動范式,發(fā)現(xiàn)面孔、語音情緒不一致可誘發(fā)典型N400,但N400波幅受刺激長短調(diào)節(jié),說明面孔-語音情緒整合的時間窗可以延遲到400 ms左右。綜上可見,面孔、語音情緒在刺激呈現(xiàn)200 ms內(nèi)即可以發(fā)生整合,但整合時間窗受任務要求的影響,隨任務不同而延伸,在200 ms后很長一段時間內(nèi)都能發(fā)生整合。

關注的另一個問題是雙通道情緒整合加工的腦功能區(qū)。當被試完成情緒相關任務(如情緒類別判斷)時,同單通道刺激相比,恐懼的面孔聲音刺激更多激活了左側(cè)后顳上溝(Ethofer et al.,2006;Hagan et al.,2009)和左側(cè)杏仁核,并延展到杏仁核周圍灰質(zhì)(Ethofer et al.,2006)。另有研究發(fā)現(xiàn)與單通道情緒刺激相比,視聽結(jié)合的刺激激活雙側(cè)的后顳上回以及右側(cè)丘腦,但左側(cè)后顳上回的激活最為顯著,其激活水平與面孔、語音情緒整合帶來的行為增益成線性關系,表明左側(cè)顳葉對多通道情緒整合有關鍵作用(Kreifelts et al.,2007)。他們隨后的研究發(fā)現(xiàn)語音情緒和面孔情緒敏感區(qū)分別在顳上溝不同位置,而面孔-語音情緒整合區(qū)則主要在顳上溝的分叉點,處于面孔、語音情緒敏感區(qū)的結(jié)合部(Kreifelts,Ethofer,Shiozawa,Grodd,&Wildgruber,2009)。當被試完成情緒無關任務(如性別判斷)時,與單通道情緒刺激相比,雙通道刺激激活了左側(cè)顳中回和雙側(cè)顳上回(Pourtois,De Gelder,Bol,&Crommelinck,2005)。Park等人(2010)發(fā)現(xiàn)喜悅、憤怒、中性幾種類型的視聽刺激均激活了顳上回,額下回和海馬旁回,說明不同情緒類型的視聽刺激可能共享同一整合神經(jīng)網(wǎng)絡,但不同的情緒又有其不同的加工腦區(qū)。Watson等人(2014a)運用功能磁共振適應技術(fMRI-A),發(fā)現(xiàn)在右側(cè)顳上回(right pSTS),雙通道情緒信息彼此會產(chǎn)生適應現(xiàn)象,說明該區(qū)域可能存在同時接受視覺和聽覺通道情緒信息的神經(jīng)元。

總之,關于面孔和語音情緒整合的神經(jīng)機制研究在整合加工的時間進程(when)和相關腦區(qū)(where)已取得諸多共識。面孔、語音情緒整合可能是多階段的動態(tài)過程,不同加工階段對應于不同的時間進程和腦功能區(qū),而刺激驅(qū)動和任務驅(qū)動是影響該過程的重要因素(Wildgruber et al.,2009)。但是,對于認知神經(jīng)科學研究關注的另一個問題,即大腦如何將雙通道情緒信息整合為一(how),當前研究涉及較少,還有待進一步研究。

一般來說，因時差導致的生理節(jié)律紊亂會影響運動表現(xiàn)，教練或體能教練在制定訓練和比賽計劃時必須考慮這一點。時差的適應與跨越的時區(qū)有關系，通?？缭?個時區(qū)以上就會有時差反應，而跨越4個時區(qū)以上，特別是7～8個時區(qū)時，各種身體的生理節(jié)律會發(fā)生明顯的紊亂，適應時差通常需要9天左右的時間，因此在此期間的訓練時間安排與訓練強度要進行合理安排。前三天主要進行調(diào)整訓練，第四天開始可以逐漸加量并轉(zhuǎn)為正規(guī)訓練[18]。體能訓練最好放在下午進行，將上午特別是臨近中午的時段留給技能訓練，因為依賴中樞神經(jīng)系統(tǒng)的喚醒水平在臨近中午時達到頂峰。在早晨進行漸進性的熱身非常重要，可以防止僵硬的關節(jié)和肌肉受傷。

2 問題提出與分析

2.1 如何判定雙通道情緒整合為一？

如前文文獻回顧所述,當前研究已描述了面孔、語音情緒整合的行為表現(xiàn)及影響因素,發(fā)現(xiàn)多通道情緒同時加工相對于單通道情緒具有一定優(yōu)勢。但是,僅是基于這種優(yōu)勢即可判定雙通道情緒信息整合為一致情緒客體了么？

事實上,如何判定信息發(fā)生了整合是多通道感覺整合研究關注的核心問題之一。Stein,Jiang和 Stanford(2005)、Stein 和 Stanford(2008)、Stein等(2009)提出多通道信息整合應當滿足如下標準：① 多通道信息引起的效應要大于單通道刺激誘發(fā)的最大效應;② 具有超加性,指多通道信息引起的效應大于其單個組成通道效應的線性相加,如AV>[unimodal auditory(A)+unimodal visual(V)],或理解為 1+1>2;③ 遵循顛倒效應規(guī)則(the principal of Inverse Effectiveness,IE規(guī)則),指參與整合的單通道傳遞信息較為模糊,或是雙通道信息都較為模糊時,整合效應更為顯著。近年來,這些基于單細胞研究提出的標準在以fMRI(Werner&Noppeney,2010)和ERP(Senkowski,Saint-Amour,Hofle,&Foxe,2011)為關鍵技術的視聽整合研究中也得到驗證。

但是,當前面孔-語音情緒整合的研究多以雙通道相對于單通道的優(yōu)勢判定情緒整合,即只用了第一條標準。目前僅見Hagan等人(2009)報告了面孔語音情緒整合誘發(fā)MEG信號具有超加性。另外,我們近期的研究發(fā)現(xiàn)了情緒變化中面孔語音情緒整合的ERP和ERSP信號都存在超加性(未發(fā)表數(shù)據(jù))。除了個別研究考察了語音情緒與姿態(tài)情緒同時加工符合IE規(guī)則外(Jessen,Obleser,&Kotz,2012),還未見研究對面孔、語音情緒整合是否遵循IE規(guī)則進行探討。事實上,第一條標準只能說明雙通道情緒信息彼此存在影響,很難作為雙通道情緒整合為一致客體的充分條件。能充分證明雙通道信息整合為一的有力證據(jù)是發(fā)生了超加現(xiàn)象,但該標準也受到挑戰(zhàn),認為單通道信息很強烈時不容易發(fā)生超加現(xiàn)象。更好的標準是整合效應(用多通道結(jié)合較單通道的優(yōu)勢來衡量)遵循IE規(guī)則(Stein et al.,2009)。

可見,考察面孔、語音情緒整合加工機制不能只停留在描述雙通道信息如何交互影響,應該進一步探明雙通道信息是否真正整合為一致客體,比如Watson等人(2014a)發(fā)現(xiàn)在右側(cè)顳上回可能存在同時接受視覺和聽覺通道情緒信息的神經(jīng)元就觸及了這個核心問題。那么在行為層面和神經(jīng)電生理層面,能否也發(fā)現(xiàn)雙通道情緒信息整合為一的證據(jù)呢？那就需要借用一般多通道非情緒信息感覺整合的規(guī)則來考察面孔、語音情緒整合,深入闡明其機制和特點。

2.2 大腦如何將雙通道情緒信息整合為一？

由上文文獻綜述可見,當前有關面孔、語音情緒整合神經(jīng)機制的研究已較好地回答了“when”和“where”的問題,但是,大腦怎樣將分離的情緒信息整合成一個情緒客體,即“how”的問題卻有待深入研究。面孔、語音情緒刺激起初是在視覺區(qū)和聽覺區(qū)分別加工的,這些在不同腦區(qū)加工的信息是如何跨區(qū)域整合的還不得而知。

對該問題的回答,我們可以從一般視聽信息整合,如視聽言語信息整合的研究中得到很多啟示。研究發(fā)現(xiàn)神經(jīng)振蕩(neural oscillations)是視聽言語信息整合的關鍵手段：Luo,Liu和Poeppel(2010)發(fā)現(xiàn)2~7 Hz的delta和theta頻段的相位同步改變在視聽信息流的實時整合加工中扮演了重要角色;另有研究發(fā)現(xiàn)gamma活動與視聽言語信息整合相關(Kaiser,Hertrich,Ackermann,Mathiak,&Lutzenberger,2005),視聽語義信息的一致性不影響鎖相的gamma頻段反應,但影響非鎖相的gamma頻段反應(Schneider,Debener,Oostenveld,&Engel,2008;Yuval-Greenberg&Deouell,2007)。另外,有兩個獨立研究組分別在Trends in Cognitive Sciences等高影響綜述雜志上撰文(Engel,Senkowski,&Schneider,2012;Fries,2005;Senkowski,Schneider,Foxe,&Engel,2008),提出腦區(qū)間神經(jīng)振蕩的相干(指大腦兩個區(qū)域之間的EEG信號的線性依存關系,即對于兩個同時記錄到的EEG信號中相同節(jié)律成分進行相位穩(wěn)定性測量)是多通道信息整合時腦區(qū)間信息交流的核心模式,并已得到一些實證研究的支持。Hummel和Gerloff(2005)發(fā)現(xiàn)視覺、觸覺的整合會導致兩個感覺區(qū)低頻能量相干系數(shù)增高,且相干系數(shù)與行為表現(xiàn)呈正相關。Maier,Chandrasekaran和Ghazanfar(2008)則發(fā)現(xiàn)隱約逼近的視聽信息結(jié)合相對于單通道信息引起聽覺區(qū)和顳上溝gamma頻段相干的增加,說明新皮質(zhì)運用腦區(qū)間迅速而靈活的交流來調(diào)節(jié)多通道信息整合。

既然神經(jīng)振蕩的能量、相位的變化以及不同腦區(qū)間神經(jīng)振蕩的相干是視聽言語信息整合的關鍵所在,那么同為視聽刺激傳遞的抽象信息,面孔、語音情緒的整合是否也依賴于神經(jīng)振蕩的變化呢？目前僅見兩個研究考察過雙通道情緒整合導致的神經(jīng)振蕩能量變化：視聽情緒結(jié)合刺激誘發(fā)的alpha和beta能量與視覺情緒刺激誘發(fā)的能量更為相似(Jessen&Kotz,2011);動態(tài)性姿態(tài)情緒與語音情緒整合導致15~25 Hz的beta能量降低(Jessen et al.,2012)。這兩個研究描述了雙通道情緒整合導致了神經(jīng)振蕩能量變化,但對于神經(jīng)振蕩的相位特征、以及不同腦區(qū)間神經(jīng)振蕩的相干特征等在一般多通道感覺整合已證明極為重要的整合手段,都還缺乏系統(tǒng)研究,更沒有將這些表征信息如何整合的參數(shù)納入“遵循IE規(guī)則”等整合標準下進行探討。

2.3 擬研究的科學問題

基于如上分析,本項目擬研究兩個問題：①面孔、語音情緒信息是否能夠整合為一致情緒客體,表現(xiàn)為其加工是否遵循一般感覺信息融合中的核心規(guī)則——顛倒效應(IE)規(guī)則？②面孔、語音情緒信息的整合加工在神經(jīng)振蕩層面如何實現(xiàn)的？

考察一般感覺融合的規(guī)律能否推及情緒信息的整合加工是一般到特殊的問題。對這一問題的探討既是對已有研究關注多通道情緒信息存在交互影響的擴展(De Gelder&Vroomen,2000;Jessen&Kotz,2011;Kreifelts et al.,2007;Massaro&Egan,1996;Watson et al.,2014b),也是在一般認知研究的水平上考察情緒信息的理解,可能增進人們對多通道情緒信息加工的認知。同時,只有對該問題的系統(tǒng)考察,才能明確說明多通道情緒信息是否可以整合為一致情緒客體。

考察“面孔、語音情緒在神經(jīng)振蕩層面如何整合為一”是在研究問題一描述整合現(xiàn)象后,進一步尋找導致該現(xiàn)象原因。在已有大量研究探明面孔、語音情緒信息整合加工的時間進程“when”和加工腦區(qū)“where”的基礎上,從神經(jīng)生理的角度,系統(tǒng)探明雙通道情緒信息整合的神經(jīng)振蕩的相位特征以及腦區(qū)間神經(jīng)振蕩的相干特征,說明面孔、語音情緒信息如何整合,可以從“when”、“where”和“how”三個角度、三位一體地探明面孔語音情緒整合加工的神經(jīng)生理機制。

3 研究構(gòu)想

3.1 研究問題分解

為了較好地解決上述兩個研究問題,我們對兩個問題進行了分解與整合。首先,要考察雙通道情緒信息整合加工是否遵循一般感覺信息融合的IE規(guī)則,關鍵在于制作不同情緒凸顯度的單通道情緒刺激,然后考察不同情緒凸顯度的情緒信息所形成整合效應的大小。因此,我們以第一個科學問題為主線設計了兩個研究。第一個研究從兩個角度操縱刺激的情緒凸顯度,考察雙通道情緒信息在不同情緒凸顯度下的整合特點：一是操縱單通道情緒刺激本身的情緒凸顯度,對語音情緒刺激和面孔表情圖片進行不同程度的模糊處理,形成不同情緒強度的情緒刺激;二是通過操縱雙通道情緒刺激所處的噪音背景來操縱情緒凸顯度,當背景噪音越大,情緒刺激本身的情緒凸顯性越小。第二個研究則是對研究一的縱深——在研究一操縱簡單情緒刺激情緒凸顯性的基礎上,在情緒變化中考察雙通道情緒信息的整合。情緒變化指語句所表現(xiàn)的情緒發(fā)生變化,比如從中性變?yōu)閼嵟驈膽嵟兂闪酥行?Chen,2011;2013),這在社會交往中有重要意義(Fujimura&Okanoya,2013;Stefanics,Csukly,Komlósi,Czobor,&Czigler,2012)。研究二將沿用研究一的方法操縱情緒刺激本身的情緒凸顯度,考察不同情緒凸顯度的情緒刺激在情緒變化檢測的貢獻和整合效應。

其次,由文獻綜述部分可見,刺激驅(qū)動加工和任務驅(qū)動加工(Wildgruber et al.,2009;Klasen et al.,2012)是影響雙通道情緒信息整合的關鍵因素,因而本項目在所有研究中都設置內(nèi)隱情緒加工任務和外顯情緒加工任務,以求分離刺激驅(qū)動加工和任務驅(qū)動加工對雙通道情緒信息整合的影響。此外,有研究指出以動態(tài)面孔和語音情緒刺激為實驗材料(Jessen&Kotz,2011;Luo et al.,2010;Watson,Latinus,Noguchi,et al.,2014,Watson,Latinus,Charest,et al.,2014;張亮,孫向紅,張侃,2009)可以提高研究的外部效度,因此我們擬制作動態(tài)面孔、語音情緒刺激作為實驗材料,在保證實驗內(nèi)部效度前提下提高研究生態(tài)效度。而其他的一些影響因素,如被試的個體差異,包括性別(Collignon et al.,2010)、健康狀況(De Gelder et al.,2005;Magnée et al.,2008)等,在本項目中都作為控制因素加以控制。

再次,對于科學問題二“雙通道情緒信息如何整合為一”則主要在數(shù)據(jù)處理上下功夫。已有許多非情緒性信息整合加工研究表明神經(jīng)振蕩的相位同步性變化和腦區(qū)間神經(jīng)振蕩相干可能是信息整合的關鍵方式(Luo et al.,2010;Schneider et al.,2008;Engel et al.,2012;Fries,2005;Senkowski et al.,2008),因而借鑒一般感覺信息整合研究的分析手段,對幾個研究記錄的EEG數(shù)據(jù)完成時頻分析、相干分析,對雙通道情緒信息加工的能量譜、試次間相位變化、腦區(qū)間能量相干變化以及腦電發(fā)生源間網(wǎng)絡的變化進行詳盡的描述,即可回答面孔、語音情緒信息在神經(jīng)振蕩層面如何整合為一。

最后,我們梳理了本項研究構(gòu)想所提的兩個科學問題的內(nèi)部關系。“雙通道情緒信息能否整合為一致客體”是在前人發(fā)現(xiàn)雙通道情緒信息交互影響基礎上(Jessen&Kotz,2011;Kreifelts et al.,2007;Massaro&Egan,1996;Watson et al.,2014a),進一步描述雙通道情緒信息加工的特點,可以用不同情緒凸顯度下的雙通道情緒信息加工是否遵循IE規(guī)則進行驗證。“雙通道情緒信息如何整合為一”則是探索該現(xiàn)象背后機制的問題,可以用神經(jīng)生理數(shù)據(jù)的相干和網(wǎng)絡分析得以實現(xiàn)。這兩個問題是相互關聯(lián)的,可以并應當統(tǒng)一起來研究：系統(tǒng)考察面孔、語音情緒整合是否遵循“IE規(guī)則”不僅需要基于傳統(tǒng)的行為和ERP數(shù)據(jù),更應當把神經(jīng)振蕩特征納入考量;同時,系統(tǒng)分析雙通道情緒整合的神經(jīng)振蕩的能量、相位以及腦區(qū)間的相干特征,則剛好為雙通道情緒如何整合提供了證據(jù)。

3.2 具體研究設計

本項目以面孔、語音情緒整合是否遵循一般感覺信息整合的規(guī)則為主線設計兩個研究,分6個實驗。研究一從刺激本身和所處背景兩個角度操縱情緒凸顯度,比較不同情緒凸顯度的刺激加工時整合效應的大小,以考察雙通道情緒整合是否遵循IE規(guī)則。研究二將簡單情緒信息的整合延伸到情緒變化中情緒信息的整合。在傳統(tǒng)行為數(shù)據(jù)、ERP分析之外,系統(tǒng)分析各個條件誘發(fā)神經(jīng)振蕩的能量、相位以及腦區(qū)間相干特征,以期回答雙通道情緒信息在神經(jīng)振蕩層面如何完成整合。研究設計分述如下：

研究一 不同情緒凸顯度的面孔、語音情緒整合

本研究分為4個實驗。實驗1、2操控情緒刺激本身的情緒凸顯度,考察面孔、語音情緒的整合加工是否遵循IE規(guī)則及其神經(jīng)振蕩特征。研究以“啊”、“哦”等語義為中性的嘆詞為文本材料,請專業(yè)演員錄制高興、憤怒、中性三種面孔(F)、語音情緒刺激(V),雙通道連接形成FV刺激。然后運用Morph程序?qū)υ嫉拿婵缀驼Z音刺激(中性和情緒性)以33.3%的梯度制作連續(xù)變化刺激(如33%中性/67%憤怒、67%中性/33%憤怒),加上原始刺激,形成4種情緒強度面孔情緒刺激。用STRAIGHT工具箱對原始語音情緒刺激進行相似的模糊處理,形成不同情緒強度的4種語音情緒刺激。分語言、面孔、雙通道同時呈現(xiàn)三個序列給被試呈現(xiàn)刺激材料,要求被試分別判斷刺激表現(xiàn)者的性別(實驗1,內(nèi)隱加工)和刺激所表現(xiàn)的情緒(實驗2,外顯加工),分別形成3×4的被試內(nèi)實驗設計。記錄被試的行為數(shù)據(jù)和腦電數(shù)據(jù)作為因變量。除進行傳統(tǒng)的行為數(shù)據(jù)、腦電時域數(shù)據(jù)分析外,還對腦電進行時頻分析,探明雙通道情緒信息整合加工時神經(jīng)振蕩的能量、相位及腦區(qū)間神經(jīng)振蕩相干特征。若雙通道情緒信息整合為一致情緒客體,FV刺激誘發(fā)的行為和腦電指標需顯著大于任一單通道刺激(F和V),甚至大于F和V的和(即發(fā)生超加),而這種整合效應在情緒強度低的刺激中(如67%中性/33%憤怒)表現(xiàn)更為顯著。此外,根據(jù)以往關于刺激驅(qū)動加工和任務驅(qū)動加工的研究,我們預期外顯和內(nèi)隱任務條件下,雙通道情緒信息的整合可能會表現(xiàn)出不同的特點。

實驗3、4操控情緒刺激所處背景噪音強度考察面孔、語音情緒整合是否遵循IE規(guī)則。除了刺激本身的情緒強度會形成情緒凸顯度差異從而影響雙通道情緒刺激的整合外,情緒刺激所處環(huán)境,也可能導致刺激情緒凸顯度不同。如噪音的掩蓋,背景噪音越強,情緒刺激本身凸顯度相對較低。因此,本實驗仍以實驗1的材料為實驗刺激,仍然分單聽、單看和視聽同時進行三種刺激呈現(xiàn)方式,只是在呈現(xiàn)關鍵刺激時加入不同強度的噪音。實驗仍然要求被試分別就刺激表現(xiàn)者的性別(實驗3,內(nèi)隱加工)和刺激所表現(xiàn)的情緒進行判斷(實驗4,外顯加工),并記錄被試的行為反應和腦電數(shù)據(jù)作為因變量。本研究仍然采用與研究一相同的數(shù)據(jù)分析方法。我們預期,若雙通情緒信息確實能整合為一,FV刺激誘發(fā)的行為和腦電指標需顯著大于任一單通道刺激(F和V),甚至出現(xiàn)超加效應,而這種整合效應在噪音背景較強時表現(xiàn)更為明顯,同時也會受到任務屬性的調(diào)節(jié)。

研究二 情緒變化檢測中的面孔、語音情緒整合

前兩個研究都是以簡單的情緒刺激來考察雙通情緒信息的整合的,但是情緒信息往往嵌套在話語背景中。情緒變化識別在社會交往中有重要意義(Fujimura&Okanoya,2013;Stefanics et al.,2012),如談判等人際交流中往往需要察言觀色、聽音識別情緒及情緒變化。本研究擬在情緒變化識別中的面孔、語音情緒信息整合。首先錄制語義為中性的語音情緒和面孔情緒材料,然后運用交互拼接(cross-splicing)方法構(gòu)建具有情緒變化的語音和面孔情緒材料,再運用實驗1相同的方法對幾種情緒材料進行梯度性模糊處理,獲得不同情緒強度的實驗刺激。然后通過兩通道刺激的不同組合(語音、面孔情緒均不變,語音情緒變、面孔情緒不變,語音情緒不變、面孔情緒變,雙通道均變化)給被試呈現(xiàn)實驗材料,要求被試判斷每個試次的實驗材料表達的情緒(實驗5,外顯任務)是否發(fā)生了變化,或者完成視覺探詞檢測任務(實驗6,內(nèi)隱任務)。記錄被試的行為反應和腦電數(shù)據(jù)作為因變量,同樣進行傳統(tǒng)ERP分析和神經(jīng)震蕩分析。通過三種情緒變化條件與雙通道均不變條件相減獲得情緒變化的指標。同研究一相似,我們預期,若雙通情緒刺激發(fā)生整合,雙通道聯(lián)合刺激誘發(fā)的情緒變化效應應該大于任一單通道刺激,甚至具有超加效應,且這些效應在情緒強度較低更為明顯,并受任務驅(qū)動的調(diào)節(jié)。

4 總結(jié)

總之,本項目以面孔、語音情緒信息整合是否遵循一般感覺信息整合的核心規(guī)則為主線來設計實驗,系統(tǒng)操控刺激本身、所處背景的情緒凸顯度以及任務要求,通過比較不同情緒凸顯度的刺激加工時整合效應大小,以考察雙通道情緒整合是否遵循IE規(guī)則,以期考察面孔、語音情緒信息能否整合為一致情緒客體。除了考察簡單情緒刺激的整合之外,還考察情緒變化加工中雙通道情緒信息的整合。數(shù)據(jù)處理除了傳統(tǒng)ERP分析基礎上,系統(tǒng)分析各個條件誘發(fā)神經(jīng)振蕩的能量、相位以及腦區(qū)間相干特征,從神經(jīng)振蕩層面說明雙通道情緒信息如何整合。本研究構(gòu)想從情緒信息整合加工的現(xiàn)狀提出問題,從一般感覺融合加工的已有研究中尋求解決之道,探明動態(tài)面孔語音情緒是否真正能整合成一致情緒客體,從神經(jīng)振蕩這個認知加工的直觀指標尋求突破,考察雙通道情緒信息整合如何通過神經(jīng)振蕩得以實現(xiàn)。

即便當前有關情緒神經(jīng)機制和非情緒信息融合加工的研究已十分豐富,本項目對于雙通道情緒信息能否整合出高于一般感覺信息融合的情緒相關物,以及該整合過程如何通過神經(jīng)振蕩得以實現(xiàn)的回答,都可以增進人們對情緒加工和多通道信息整合加工及神經(jīng)機制的理解。此外,由于情緒整合加工缺陷可能是精神分裂癥(De Gelder et al.,2005)、自閉癥(Charbonneau et al.,2013)、廣泛性發(fā)展障礙(Magnée et al.,2008)的重要表現(xiàn)之一,若本項目能夠探明多通道情緒信息整合的神經(jīng)生理機制,則可以進而考察這些患者加工多通道情緒信息時的神經(jīng)振蕩特征,就有可能增進這些疾病的發(fā)病機理的理解。最后,微情緒識別已引起醫(yī)學臨床、情緒智力培養(yǎng)、國家安全和司法等領域的關注(吳奇,申尋兵,傅小蘭,2010),不過當前研究多關注面孔、姿態(tài)情緒等單通道信息的識別,若能探明多通道情緒信息整合加工的特點和神經(jīng)生理機制,再將這些研究結(jié)論擴展到微情緒識別研究中,也當能促進該領域研究的發(fā)展。

吳奇,申尋兵,傅小蘭.(2010).微表情研究及其應用.心理科學進展,18(9),1359–1368.

張亮,孫向紅,張侃.(2009).情緒信息的多通道整合.心理科學進展,17(6),1133–1138.

Brück,C.,Kreifelts,B.,&Wildgruber,D.(2011).Emotional voices in context:A neurobiological model of multimodal affective information processing.Physics of Life Reviews,8(4),383–403.

Charbonneau,G.,Bertone,A.,Lepore,F.,Nassim,M.,Lassonde,M.,Mottron,L.,& Collignon,O.(2013).Multileveldeficits in the processing ofaudio-visual emotion expressions in Autism Spectrum Disorders.Neuropsychologia,51(5),1002–1010.

Chen,X.,Yang,X.,&Yang,Y.(2013).Neurophysiological mechanism of implicitprocessing ofvocalemotion transition.Acta Psychologica Sinica,45(4),416-426.

Chen,X.,Zhao, L.,Jiang,A.,& Yang,Y.(2011).Event-related potential correlates of the expectancy violation effectduring emotionalprosody processing.Biological Psychology,86(3),158–167.

Collignon,O.,Girard,S.,Gosselin,F.,Saint-Amour,D.,Lepore,F.,& Lassonde,M.(2010).Women process multisensory emotion expressions more efficiently than men.Neuropsychologia,48(1),220–225.

De Gelder,B.,Bocker,K.B.,Tuomainen,J.,Hensen,M.,&Vroomen,J.(1999).The combined perception of emotion from voice and face:Early interaction revealed by human electric brain responses.Neuroscience Letters,260(2),133–136.

De Gelder,B.,Pourtois,G.,&Weiskrantz,L.(2002).Fear recognition in the voice is modulated by unconsciously recognized facial expressions but not by unconsciously recognized affective pictures.Proceedings of the National Academy of Sciences of the United States of America,99(6),4121–4126.

De Gelder,B.,&Vroomen,J.(2000).The perception of emotions by ear and by eye.Cognition&Emotion,14(3),289–311.

De Gelder,B.,Vroomen,J.,de Jong,S.J.,Masthoff,E.D.,Trompenaars,F.J.,&Hodiamont,P.(2005).Multisensory integration of emotional faces and voices in schizophrenics.Schizophrenia Research,72(2-3),195–203.

Doi,H.,&Shinohara,K.(2013).Unconscious presentation of fearful face modulates electrophysiological responses to emotional prosody.Cerebral Cortex,1–16.

Ernst,M.O.,&Bulthoff,H.H.(2004).Merging the senses into a robust percept.Trends in Cognitive Sciences,8(4),162–169.

Engel,A.K.,Senkowski,D.,&Schneider,T.R.(2012).Multisensory integration through neural coherence.In M.M.Murray&M.T.Wallace(Eds.),The neural bases of multisensory processes.Boca Raton:CRC Press Inc.

Ethofer,T.,Anders,S.,Erb,M.,Droll,C.,Royen,L.,Saur,R.,....Wildgruber, D. (2006). Impact of voice on emotional judgment of faces:An event-related fMRI study.Human Brain Mapping,27(9),707–714.

Fries,P.(2005).A mechanism forcognitive dynamics:Neuronalcommunication through neuronalcoherence.Trends in Cognitive Sciences,9(10),474–480.

Fujimura,T.,&Okanoya,K.(2013).Event-related potentials elicited by pre-attentive emotional changes in temporal context.PLoS ONE,8(5),e63703.

Hagan,C.C.,Woods,W.,Johnson,S.,Calder,A.J.,Green,G.G.,&Young,A.W.(2009).MEG demonstrates a supra-additive response to facial and vocal emotion in the right superior temporal sulcus.Proceedingsofthe National Academy of Sciences of the United States of America,106(47),20010–20015.

Hummel,F.,& Gerloff,C.(2005).Larger interregional synchrony is associated with greater behavioral success in a complex sensory integration task in humans.Cerebral Cortex,15(5),670–678.

Jessen,S.,&Kotz,S.A.(2011).The temporal dynamics of processing emotions from vocal,facial, and bodily expressions.NeuroImage,58(2),665–674.

Jessen,S.,Obleser,J.,&Kotz,S.A.(2012).How bodies and voices interact in early emotion perception.PLoS One,7(4),e36070.

Kaiser,J.,Hertrich,I.,Ackermann,H.,Mathiak,K.,&Lutzenberger,W.(2005).Hearing lips:Gamma-band activity during audiovisual speech perception.Cerebral Cortex,15(5),646–653.

Klasen,M.,Chen,Y.H.,&Mathiak,K.(2012).Multisensory emotions:Perception,combination and underlying neural processes.Review of Neuroscience,23(4),381–392.

Kreifelts,B.,Ethofer,T.,Grodd,W.,Erb,M.,&Wildgruber,D.(2007).Audiovisual integration of emotional signals in voice and face:An event-related fMRI study.NeuroImage,37(4),1445–1456.

Kreifelts,B.,Ethofer,T.,Shiozawa,T.,Grodd,W.,&Wildgruber,D.(2009).Cerebral representation of non-verbal emotional perception:fMRIreveals audiovisualintegration area between voice-and face-sensitive regions in the superior temporal sulcus.Neuropsychologia,47(14),3059–3066.

Luo,H.,Liu,Z.X.,&Poeppel,D.(2010).Auditory cortex tracks both auditory and visual stimulus dynamics using low-frequency neuronal phase modulation.PLoS Biology,8(8),e1000445.

Magnée,M.J.C.M.,de Gelder,B.,van Engeland,H.,&Kemner,C.(2008).A typicalprocessing of fearful face-voice pairs in Pervasive Developmental Disorder:An ERP study.Clinical Neurophysiology,119(9),2004–2010.

Maier,J.X.,Chandrasekaran,C.,&Ghazanfar,A.A.(2008).Integration of bimodal looming signals through neuronal coherence in the temporal lobe.Current Biology,18(13),963–968.

Massaro,D.W.,&Egan,P.B.(1996).Perceiving affect from the voice and the face.Psychonomic Bulletin&Review,3(2),215–221.

McGurk,H.,&MacDonald,J.(1976).Hearing lips and seeing voices.Nature,264(5588),746–748.

Park,J.Y.,Gu,B.M.,Kang,D.H.,Shin,Y.W.,Choi,C.H.,Lee,J.M.,&Kwon,J.S.(2010).Integration of cross-modal emotional information in the human brain:An fMRI study.Cortex,46(2),161–169.

Paulmann,S.,Jessen,S.,&Kotz,S.A.(2009).Investigating the multimodal nature of human communication.Journal of Psychophysiology,23(2),63–76.

Paulmann,S.,&Pell,M.D.(2010).Contextual influences of emotional speech prosody on face processing:How much is enough?Cognitive,Affective,&Behavioral Neuroscience,10(2),230–242.

Pourtois,G.,de Gelder,B.,Bol,A.,&Crommelinck,M.(2005).Perception of facial expressions and voices and of their combination in the human brain.Cortex,41(1),49–59.

Pourtois,G.,de Gelder,B.,Vroomen,J.,Rossion,B.,&Crommelinck,M.(2000).The time-course of intermodal binding between seeing and hearing affective information.Neuroreport,11(6),1329–1333.

Robins,D.L.,Hunyadi,E.,&Schultz,R.T.(2009).Superior temporal activation in response to dynamic audio-visual emotional cues.Brain and Cognition,69(2),269–278.

Schneider,T.R.,Debener,S.,Oostenveld,R.,&Engel,A.K.(2008).Enhanced EEG gamma-band activity reflects multisensory semantic matching in visual-to-auditory object priming.NeuroImage,42(3),1244–1254.

Senkowski,D.,Saint-Amour,D.,Hofle,M.,&Foxe,J.J.(2011).Multisensory interactions in early evoked brain activity follow the principle ofinverse effectiveness.NeuroImage,56(4),2200–2208.

Senkowski,D.,Schneider,T.R.,Foxe,J.J.,&Engel,A.K.(2008).Crossmodal binding through neural coherence:Implications for multisensory processing.Trendsin Neurosciences,31(8),401–409.

Stefanics,G.,Csukly,G.,Komlósi,S.,Czobor,P.,&Czigler,I.(2012).Processing of unattended facial emotions:A visualmismatch negativity study.NeuroImage,59(3),3042–3049.

Stein,B.E.,Jiang,W.,&Stanford,T.R.(2005).Multisensory integration in single neurons of the midbrain.In G.Calvert,C.Spence,& B.E.Stein,(Eds.),Thehandbookof multisensory processes(pp.243–264).Cambridge:MIT Press.

Stein,B.E.,&Meredith,M.A.(1993).The merging of the senses.Cambridge,MA,US:The MIT Press.

Stein,B.E.,& Stanford,T.R.(2008).Multisensory integration:Current issues from the perspective of the single neuron.Nature Reviews Neuroscience,9(4),255–266.

Stein,B.E.,Stanford,T.R.,Ramachandran,R.,Perrault,T.J.,Jr.,&Rowland,B.A.(2009).Challenges in quantifying multisensory integration:Alternative criteria,models,and inverse effectiveness.ExperimentalBrainResearch,198(2–3),113–126.

Tanaka,A.,Koizumi,A.,Imai,H.,Hiramatsu,S.,Hiramoto,E.,&de Gelder,B.(2010).I feel your voice:Cultural differences in the multisensory perception of emotion.Psychological Science,21(9),1259–1262.

Watson,R.,Latinus,M.,Noguchi,T.,Garrod,O.,Crabbe,F.,& Belin,P.(2014a).Crossmodaladaptation in right posterior superior temporal sulcus during face–voice emotional integration.The Journal of Neuroscience,34(20),6813–6821.

Watson,R.,Latinus,M.,Charest,I.,Crabbe,F.,&Belin,P.(2014b).People-selectivity,audiovisualintegration and heteromodality in the superior temporal sulcus.Cortex,50,125–136

Werner,S.,&Noppeney,U.(2010).Superadditive responses in superior temporal sulcus predict audiovisual benefits in object categorization.Cerebral Cortex,20(8),1829–1842.

Wildgruber,D.,Ethofer,T.,Grandjean,D.,&Kreifelts,B.(2009).A cerebralnetwork model of speech prosody comprehension.International Journal of Speech-Language Pathology,11(4),277–281.

Yuval-Greenberg,S.,&Deouell,L.Y.(2007).What you see is not(always)what you hear:Induced gamma band responses reflect cross-modal interactions in familiar object recognition.Journal of Neuroscience,27(5),1090–1096.