鄭志偉 黃賢軍 張 欽

(1首都師范大學(xué)心理系,北京市“學(xué)習(xí)與認(rèn)知”重點(diǎn)實(shí)驗(yàn)室,北京 100048)(2中國(guó)科學(xué)院心理研究所,北京 100101)

1 前言

口頭語(yǔ)言與書(shū)面語(yǔ)言的一個(gè)重要區(qū)別在于口語(yǔ)具有韻律特征。作為一種超音段特征,韻律特征主要通過(guò)語(yǔ)音中的基頻、音強(qiáng)以及時(shí)長(zhǎng)等聲學(xué)線索的動(dòng)態(tài)變化來(lái)體現(xiàn)。從功能上講,韻律特征可以區(qū)分為言語(yǔ)韻律特征和情緒韻律特征。言語(yǔ)韻律特征主要包括語(yǔ)調(diào)、重讀、停頓等,而情緒韻律特征則是反映說(shuō)話人情緒狀態(tài)的副言語(yǔ)信息。不同種類的情緒韻律具有不同的聲學(xué)模式(Banse&Scherer,1996;Scherer,2003),聽(tīng)話人能夠通過(guò)語(yǔ)音的聲學(xué)線索來(lái)判斷說(shuō)話人傳遞的情緒信息,且情緒韻律的識(shí)別具有跨文化的一致性(Scherer,Banse,&Wallbott,2001)。

在現(xiàn)實(shí)生活中,說(shuō)話人既可以通過(guò)情緒韻律來(lái)表達(dá)自己的情緒狀態(tài),也可以通過(guò)言語(yǔ)中的詞匯來(lái)表達(dá)。多數(shù)情況下這兩個(gè)情緒通道會(huì)表達(dá)一致的情緒信息,但也有例外,比如用不同的方式說(shuō)“真棒！”,表達(dá)的可能是表?yè)P(yáng),也可能是諷刺。聽(tīng)話人需要聯(lián)合情緒韻律和詞匯兩方面信息,才能準(zhǔn)確判斷說(shuō)話人的情緒和意圖(Paulmann&Kotz,2008)。

在情緒言語(yǔ)加工研究中,情緒韻律是否以及如何對(duì)情緒詞的加工產(chǎn)生影響是研究者關(guān)注的主要問(wèn)題。韻律/詞匯干擾范式是考察該問(wèn)題常用的實(shí)驗(yàn)范式。這一范式使用的言語(yǔ)材料包含情緒韻律和情緒詞兩個(gè)維度的情緒信息,情緒韻律和情緒詞之間的效價(jià)具有一致或者不一致兩種條件,要求被試忽略一個(gè)維度的信息,判斷另一維度的效價(jià)。

在行為研究上,Kitayama和Ishii(2002)采用該范式發(fā)現(xiàn),當(dāng)要求被試忽略詞匯信息判斷韻律效價(jià)時(shí),會(huì)受到詞匯效價(jià)的影響,被試對(duì)與詞匯效價(jià)一致韻律效價(jià)判斷更快、更準(zhǔn)確;當(dāng)要求被試忽略韻律信息判斷詞匯效價(jià)時(shí),則不存在效價(jià)一致的韻律促進(jìn)效應(yīng)。與上述研究結(jié)果不一致的是,同樣采用詞匯效價(jià)判斷任務(wù),Min和Schirmer(2011)卻發(fā)現(xiàn)了韻律效價(jià)的促進(jìn)效應(yīng),即被試對(duì)與情緒韻律效價(jià)一致的詞匯做出了更快、更準(zhǔn)確的效價(jià)判斷。在其他任務(wù)中,如情緒詞命名(Naming)或識(shí)別(Identification),也存在情緒韻律效價(jià)的促進(jìn)效應(yīng),被試能夠更快、更準(zhǔn)確的對(duì)與情緒韻律效價(jià)匹配的情緒詞做出反應(yīng)(Grimshaw,1998;Nygaard&Queen,2008)。

Wurm,Vakoch,Strasser,Calin-Jageman和Ross(2001)的研究或許能夠?yàn)樯鲜鲅芯拷Y(jié)果之間的差異提供一些啟示,他們發(fā)現(xiàn),當(dāng)不同的情緒韻律在實(shí)驗(yàn)中以分組方式呈現(xiàn),即情緒韻律的種類在每個(gè)實(shí)驗(yàn)組內(nèi)不發(fā)生變化時(shí),能夠?qū)η榫w詞的識(shí)別產(chǎn)生影響;而情緒韻律的類型在每個(gè)實(shí)驗(yàn)組內(nèi)以隨機(jī)混合的形式呈現(xiàn)時(shí),情緒韻律則不會(huì)影響詞匯的識(shí)別。Wurm等人認(rèn)為情緒韻律以分組形式呈現(xiàn)會(huì)使得其在每個(gè)實(shí)驗(yàn)組中的各個(gè)試次之間具有連續(xù)性,被試能夠?qū)η榫w韻律形成較強(qiáng)的預(yù)期,情緒韻律的背景效應(yīng)更強(qiáng),因而更有可能對(duì)情緒詞識(shí)別產(chǎn)生影響。該研究表明情緒韻律對(duì)詞匯識(shí)別的調(diào)節(jié)作用可能與情緒韻律的呈現(xiàn)方式有關(guān)。

事件相關(guān)電位(ERP)技術(shù)的高時(shí)間分辨率優(yōu)勢(shì)便于研究者觀察到情緒韻律影響情緒詞識(shí)別的時(shí)間進(jìn)程,基于這一技術(shù),研究者可以更好地探討情緒韻律何時(shí)以及如何調(diào)節(jié)情緒詞的加工問(wèn)題。Schirmer和Kotz(2003)采用韻律/詞匯干擾范式,要求被試執(zhí)行詞匯效價(jià)判斷任務(wù),結(jié)果發(fā)現(xiàn),與情緒韻律的效價(jià)不一致的情緒詞比效價(jià)一致的情緒詞誘發(fā)了走向更負(fù)的N400成分。由于N400成分是語(yǔ)義加工的標(biāo)志,Schirmer和Kotz認(rèn)為情緒韻律對(duì)詞匯加工的影響主要出現(xiàn)在詞匯的意義加工階段。另外,在句子水平上,Schirmer,Kotz和Friederici(2002,2005)運(yùn)用跨通道啟動(dòng)范式,考察句子的情緒韻律背景對(duì)視覺(jué)呈現(xiàn)的德語(yǔ)情緒詞加工的影響,得到了與Schirmer和Kotz(2003)相似的N400效應(yīng),說(shuō)明情緒韻律像句子背景一樣,能夠調(diào)節(jié)詞匯的意義加工。而Schirmer等人(2006)以粵語(yǔ)為實(shí)驗(yàn)材料,ERP結(jié)果顯示,與情緒韻律效價(jià)不一致的情緒詞只誘發(fā)了更正的LPC(Late positive component),而沒(méi)有出現(xiàn)更負(fù)的N400。Schirmer等人認(rèn)為粵語(yǔ)中的情緒韻律并不調(diào)節(jié)情緒詞語(yǔ)義加工,而是在決策階段與情緒詞產(chǎn)生相互作用。因此,從Schirmer等人的研究可以看出,情緒韻律對(duì)情緒詞的作用方式可能會(huì)受到語(yǔ)言特征的調(diào)節(jié)。

以上ERP研究表明,個(gè)體在情緒言語(yǔ)材料加工過(guò)程中會(huì)使用情緒韻律線索,盡管情緒韻律產(chǎn)生作用的階段可能會(huì)因語(yǔ)言類型的不同而存在一定的差異,但以往研究存在以下問(wèn)題：(1)先前研究的實(shí)驗(yàn)任務(wù)大多采用效價(jià)判斷任務(wù),這種任務(wù)需要被試忽略某一維度的信息,使ERP結(jié)果可能受到了個(gè)人反應(yīng)策略的影響,比如獲得的N400效應(yīng)不止純粹地反映情緒韻律對(duì)情緒詞意義加工的影響,也有可能反映了個(gè)體在加工任務(wù)相關(guān)信息過(guò)程時(shí),忽略任務(wù)不相關(guān)信息(韻律)所付出的心理努力(Schirmer&Kotz,2003)。(2)跨通道啟動(dòng)范式有助于考察情緒韻律背景對(duì)情緒詞識(shí)別的影響,但這種范式的缺陷在于無(wú)法反映自然言語(yǔ)中,音段信息以及依附在音段上的韻律信息隨時(shí)間展開(kāi)的共時(shí)性;另外,跨通道范式中的目標(biāo)項(xiàng)目采用的是視覺(jué)詞,視覺(jué)詞與聽(tīng)覺(jué)詞有很大不同,視覺(jué)刺激在呈現(xiàn)時(shí)會(huì)立即提供所有的信息,而聽(tīng)覺(jué)刺激是隨時(shí)間而展開(kāi)的。因此,研究結(jié)果難以完全概括到聽(tīng)覺(jué)詞匯的加工中。(3)以往研究主要考察的是英語(yǔ)、德語(yǔ)等非聲調(diào)語(yǔ)言中情緒韻律在情緒言語(yǔ)加工中的作用,對(duì)聲調(diào)語(yǔ)言(如漢語(yǔ)、粵語(yǔ)等)研究相對(duì)較少。在非聲調(diào)語(yǔ)言里,情緒韻律變化的不同模式主要通過(guò)基頻的變化來(lái)實(shí)現(xiàn)。在聲調(diào)語(yǔ)言里,基頻的變化除了與語(yǔ)調(diào)的變化模式有關(guān)外,還與聲調(diào)調(diào)值的高低升降(用于聲調(diào)語(yǔ)言的詞匯識(shí)別)有直接關(guān)系,兩者重疊交錯(cuò)在一起,很難截然分開(kāi)(林燾,王理嘉,1992)。所以對(duì)于聲調(diào)語(yǔ)言而言,情緒言語(yǔ)材料的加工中,情緒韻律和詞匯的識(shí)別都依賴于基頻的變化。漢語(yǔ)中的情緒韻律是否能夠調(diào)節(jié)情緒詞的識(shí)別,還是與粵語(yǔ)研究(Schirmer et al.,2006)相似,只有在詞匯識(shí)別完成之后與其產(chǎn)生整合,到目前為止還沒(méi)有相關(guān)證據(jù)。

針對(duì)以上問(wèn)題,本研究使用事件相關(guān)電位技術(shù)考察了漢語(yǔ)中情緒韻律影響口語(yǔ)情緒詞識(shí)別的時(shí)間進(jìn)程問(wèn)題。借鑒韻律/詞匯干擾范式,使用的實(shí)驗(yàn)材料為用高興和悲傷兩種情緒語(yǔ)調(diào)表達(dá)具有積極和消極意義的漢語(yǔ)雙字詞,韻律和詞匯之間的效價(jià)存在一致和不一致條件。為了考察情緒韻律對(duì)情緒詞識(shí)別的自然影響,本研究并沒(méi)有使用效價(jià)判斷任務(wù),而是采用了詞匯延遲匹配任務(wù),即在聽(tīng)覺(jué)情緒語(yǔ)音詞出現(xiàn)后會(huì)呈現(xiàn)一個(gè)視覺(jué)詞,要求被試在視覺(jué)詞出現(xiàn)后判斷聽(tīng)覺(jué)語(yǔ)音詞與視覺(jué)詞是否為同一個(gè)詞,以使被試將注意資源集中到聽(tīng)覺(jué)詞上。另外,還操縱了情緒韻律的呈現(xiàn)方式,在實(shí)驗(yàn)一中,不同的情緒韻律分組呈現(xiàn),即每一個(gè)實(shí)驗(yàn)組里只存在由一種情緒韻律表達(dá)的積極詞和消極詞;在實(shí)驗(yàn)二中,不同的情緒韻律混合隨機(jī)呈現(xiàn),即每一個(gè)實(shí)驗(yàn)組里包含了分別用高興和悲傷語(yǔ)調(diào)表達(dá)的積極和消極詞。通過(guò)以上操縱,還可以考察情緒韻律呈現(xiàn)方式在情緒言語(yǔ)知覺(jué)中的作用。

結(jié)合以往的研究,提出以下假設(shè)：情緒韻律能夠?qū)崟r(shí)的調(diào)節(jié)情緒詞的識(shí)別,比如意義加工,在ERP結(jié)果上表現(xiàn)為,與情緒韻律效價(jià)不一致的情緒詞要比效價(jià)一致的情緒詞誘發(fā)更負(fù)的N400成分。與以往研究相比,本研究的實(shí)驗(yàn)任務(wù)不要求被試有意識(shí)忽略情緒韻律,因而情緒韻律產(chǎn)生的作用可能會(huì)更強(qiáng),情緒韻律除了能調(diào)節(jié)情緒詞的語(yǔ)義加工,還可能也會(huì)對(duì)情緒詞的早期加工(如音韻編碼)產(chǎn)生影響,表現(xiàn)為效價(jià)不一致的語(yǔ)音詞與效價(jià)一致的語(yǔ)音詞在更早期的ERP波形上存在差異。另外,如果情緒韻律能夠影響口語(yǔ)詞的識(shí)別,那么兩種情緒韻律呈現(xiàn)方式條件下均會(huì)出現(xiàn)上述ERP效應(yīng);如果情緒韻律的影響依賴于建立的情緒韻律背景的強(qiáng)弱,我們可能只在情緒韻律以分組呈現(xiàn)的條件下觀察到此類ERP效應(yīng)。

2 方法

2.1 被試

32名高校學(xué)生參加了實(shí)驗(yàn)(16男16女),年齡范圍為18～26歲。被試母語(yǔ)為漢語(yǔ),普通話標(biāo)準(zhǔn)。右利手,聽(tīng)力、視力或者矯正視力正常,無(wú)神經(jīng)系統(tǒng)疾病。其中16名被試(8男)參與實(shí)驗(yàn)一,其余被試(8男)參與實(shí)驗(yàn)二,被試在實(shí)驗(yàn)后獲少量報(bào)酬。

2.2 實(shí)驗(yàn)材料

從漢語(yǔ)情感詞系統(tǒng)(王一牛,周立明,羅躍嘉,2008)選取了120個(gè)雙字詞,其中積極詞和消極詞各60個(gè)。招募20名不參與腦電實(shí)驗(yàn)的被試(10名男性,10名女性)在7點(diǎn)量表上對(duì)每個(gè)雙字詞的效價(jià)(1表示非常不愉快,7表示非常愉快)和熟悉度(1表示非常不熟悉,7表示非常熟悉)進(jìn)行評(píng)定。評(píng)定結(jié)果顯示,積極詞與消極詞的效價(jià)值之間差異顯著(

p

<0.001),積極詞的效價(jià)值(

M

=6.77;

SD

=0.84)要高于消極詞的效價(jià)值(

M

=1.44;

SD

=1.03);積極詞的熟悉度(

M

=6.11;

SD

=0.93)與消極詞的熟悉度(

M

=6.17;

SD

=1.04)之間差異不顯著(

p

>0.05)。請(qǐng)一名專業(yè)的播音員分別用高興和悲傷兩種情緒語(yǔ)調(diào)朗讀了所有雙字詞。為保證情緒韻律的表達(dá)符合要求,請(qǐng)20名被試(10名男性,10名女性)對(duì)所有的語(yǔ)音材料進(jìn)行評(píng)定,任務(wù)是判斷每個(gè)語(yǔ)音詞的情緒韻律類型(高興、悲傷、中性、其他)。計(jì)算每個(gè)語(yǔ)音詞的情緒韻律的正確識(shí)別率(正確判斷的人數(shù)/總?cè)藬?shù)),凡是正確識(shí)別率沒(méi)有達(dá)到75%的詞語(yǔ)進(jìn)行重新錄制和評(píng)定,直到符合標(biāo)準(zhǔn)(Nygaard&Queen,2008)。最終得到240個(gè)語(yǔ)音刺激,其中包含120個(gè)高興韻律詞(積極和消極詞各半)和120悲傷韻律詞(積極和消極詞各半)。使用Praat軟件(Boersma&Weenink,2011)對(duì)所有的語(yǔ)音刺激的聲學(xué)線索(音強(qiáng),基頻,時(shí)長(zhǎng))進(jìn)行提取和分析,結(jié)果如表1所示。以聲學(xué)參數(shù)為指標(biāo)進(jìn)行統(tǒng)計(jì)分析,結(jié)果顯示高興韻律和悲傷韻律在各項(xiàng)聲學(xué)參數(shù)上均存在顯著差異(

p

s<0.001)。與高興韻律相比,悲傷韻律表現(xiàn)出較低的平均基頻和音強(qiáng),且發(fā)音速度更緩慢,這與以往研究結(jié)果一致(Banse&Scherer,1996;Scherer,2003)。

表1 情緒韻律詞的聲學(xué)參數(shù)分析

根據(jù)情緒韻律和情緒詞的關(guān)系,實(shí)驗(yàn)一的語(yǔ)音材料共分6組：其中3組只包含高興韻律的情緒詞,有高興–積極和高興–消極兩種條件;另外3組則只包含悲傷韻律的情緒詞,有悲傷–消極和悲傷–積極兩種條件。每組包含40試次,每個(gè)條件各20試次。被試需要先完成一種韻律條件(3組),再完成另一種韻律條件(3組),其先后順序在被試間進(jìn)行了平衡。實(shí)驗(yàn)二的語(yǔ)音材料也分6組,每組有40試次,分別隨機(jī)呈現(xiàn)高興–積極、高興–消極、悲傷–消極和悲傷–積極四種條件,每個(gè)條件各10個(gè)試次。

視覺(jué)雙字詞共240個(gè),選自《現(xiàn)代漢語(yǔ)詞典》(第5版),其中一半為與語(yǔ)音詞相同的情緒詞(積極和消極各半),另一半為與語(yǔ)音詞不同的中性詞。對(duì)中性詞在7點(diǎn)量表上進(jìn)行效價(jià)和熟悉度評(píng)定(同一批被試),結(jié)果顯示,中性詞的效價(jià)值(

M

=4.08;

SD

=1.21)高于消極詞,低于積極詞,且差異均顯著(

p

s<0.001);中性詞的熟悉度(

M

=6.32;

SD

=0.76)與積極詞和消極詞之間的差異均不顯著(

p

s>0.05)。

兩個(gè)實(shí)驗(yàn)中呈現(xiàn)的視覺(jué)詞,與各條件的語(yǔ)音詞均有一半相同,一半不同。

2.3 實(shí)驗(yàn)程序

被試坐在電屏蔽實(shí)驗(yàn)室里,眼睛與計(jì)算機(jī)顯示器的距離約為50 cm。情緒語(yǔ)音詞通過(guò)耳機(jī)以適合的聲壓級(jí)呈現(xiàn)給被試,視覺(jué)詞的視角大小為5°×2°。實(shí)驗(yàn)流程如圖1所示。每個(gè)Trial開(kāi)始時(shí)會(huì)在計(jì)算機(jī)屏幕中央出現(xiàn)一個(gè)注視點(diǎn),注視點(diǎn)呈現(xiàn)500 ms～600 ms后先呈現(xiàn)語(yǔ)音詞,然后再呈現(xiàn)視覺(jué)詞,語(yǔ)音詞與視覺(jué)詞之間的時(shí)間間隔(SOA,stimulus onset asynchrony)為1000 ms,視覺(jué)詞呈現(xiàn)的時(shí)間為500 ms,屏幕空白2000～2200 ms之后開(kāi)始下一個(gè)trial。被試的任務(wù)是注視屏幕中央,認(rèn)真聽(tīng)語(yǔ)音刺激,在視覺(jué)詞出現(xiàn)后,判斷聽(tīng)到的詞與視覺(jué)詞是否相同,通過(guò)鼠標(biāo)左右鍵做出反應(yīng)。正式實(shí)驗(yàn)前,被試進(jìn)行了練習(xí)。每組實(shí)驗(yàn)之間,被試可以休息。為消除順序效應(yīng),在被試之間對(duì)組的呈現(xiàn)順序和左右按鍵順序進(jìn)行了平衡。

圖1 實(shí)驗(yàn)流程圖

2.4 EEG記錄與數(shù)據(jù)處理

采用Neuroscan公司生產(chǎn)的ESI-64導(dǎo)腦電記錄分析系統(tǒng)和Ag/AgCl電極帽,連續(xù)記錄62個(gè)單極導(dǎo)聯(lián)的腦電(EEG)。電極位置采用國(guó)際10～20系統(tǒng)。另有4個(gè)電極記錄眼電：左眼眶上下2個(gè)電極記錄垂直眼電,雙眼外側(cè)2個(gè)電極記錄水平眼電。參考電極置于左側(cè)乳突,接地點(diǎn)在FPz和Fz的中點(diǎn),右耳乳突也放置一個(gè)電極,A/D采樣頻率為500 Hz,電極與頭皮之間的阻抗小于5 k?。

對(duì)記錄獲得的EEG進(jìn)行離線分析處理,濾波帶通為0.01～40 Hz,基線矯正后,剔除了波幅超過(guò)±75 μV的偽跡。僅對(duì)反應(yīng)正確的聽(tīng)覺(jué)刺激誘發(fā)的EEG進(jìn)行疊加,實(shí)驗(yàn)一和實(shí)驗(yàn)二中語(yǔ)音詞誘發(fā)ERP波形的平均疊加試次為50和52。分析時(shí)程為?100～1000 ms,用刺激呈現(xiàn)前100 ms的腦電為基線。

通過(guò)平均波形及前人研究,確定實(shí)驗(yàn)一和實(shí)驗(yàn)二中ERP數(shù)據(jù)分析的5個(gè)時(shí)窗為90～150 ms(N1),150～250 ms(P2),250～350 ms(N300),350～550 ms(N400),550～1000 ms(late negativity)。分別對(duì)各個(gè)時(shí)窗進(jìn)行2(韻律效價(jià)：積極/消極)×2(詞匯效價(jià)：積極/消極)×3(電極位置：額區(qū)/中央頂區(qū)/頂枕區(qū))×2(半球：左/右)的重復(fù)測(cè)量方差分析。分析的電極分別為：左側(cè)額區(qū)(F5/F3/F1/FC5/FC3/FC1),右側(cè)額區(qū)(F6/F4/F2/FC6/FC4/FC2),左側(cè)中央頂區(qū)(C5/C3/C1/CP5/CP3/CP1),右側(cè)中央頂區(qū)(C6/C4/C2/CP2/CP4/CP6),左側(cè)頂枕區(qū)(P5/P3/P1/PO5/PO3/O1)和右側(cè)頂枕區(qū)(P6/P4/P2/PO6/PO4/O2),如圖2所示。將每一時(shí)窗內(nèi),每一條件下各個(gè)頭皮區(qū)域包含的所有電極的平均波幅的算術(shù)平均數(shù)作為因變量。所有分析均使用SPSS 16.0統(tǒng)計(jì)軟件包進(jìn)行,顯著性水平設(shè)在0.05,統(tǒng)計(jì)分析結(jié)果選用Greenhouse-Geisser矯正法。

圖2 電極位置

3 結(jié)果

3.1 行為結(jié)果

實(shí)驗(yàn)一和實(shí)驗(yàn)二中不同條件語(yǔ)音詞的反應(yīng)時(shí)和正確率如表2所示。

表2 實(shí)驗(yàn)一和實(shí)驗(yàn)二中不同條件語(yǔ)音詞的行為結(jié)果

分別以反應(yīng)時(shí)和正確率為指標(biāo),進(jìn)行2(韻律效價(jià))×2(詞匯效價(jià))重復(fù)測(cè)量方差分析。在反應(yīng)時(shí)上,實(shí)驗(yàn)一和實(shí)驗(yàn)二中,韻律效價(jià)主效應(yīng)、詞匯效價(jià)主效應(yīng)以及韻律效價(jià)和詞匯效價(jià)的交互作用均不顯著(

p

s>0.05)。在正確率上,實(shí)驗(yàn)一的韻律效價(jià)主效應(yīng)、詞匯效價(jià)主效應(yīng)以及韻律與詞匯交互作用均不顯著(

p

s>0.05);實(shí)驗(yàn)二中,韻律效價(jià)主效應(yīng)和詞匯效價(jià)主效應(yīng)均不顯著(

p

s>0.05),韻律與詞匯效價(jià)之間的交互作用顯著,

F

(1,15)=9.288,

p

<0.01。進(jìn)一步的簡(jiǎn)單效應(yīng)檢驗(yàn)顯示,在高興韻律水平上,消極詞比積極詞的正確率更低,

F

(1,15)=7.94,

p

<0.05;在悲傷韻律水平上,積極詞與消極詞的正確率差異沒(méi)有達(dá)到顯著水平(

p

>0.05)。這一結(jié)果表明,盡管被試執(zhí)行的任務(wù)是延遲匹配任務(wù),情緒韻律仍然在一定程度上對(duì)情緒詞的加工產(chǎn)生了影響,效價(jià)不一致的情緒韻律干擾了情緒詞的判斷。

3.2 ERP結(jié)果

實(shí)驗(yàn)一和實(shí)驗(yàn)二中語(yǔ)音詞誘發(fā)的ERP總平均波形圖以及差異波地形圖分別見(jiàn)圖3和圖4、圖5和圖6。差異波均由效價(jià)不一致的語(yǔ)音詞與效價(jià)一致的語(yǔ)音詞誘發(fā)的波形相減獲得。

如圖3所示,實(shí)驗(yàn)一中的語(yǔ)音詞首先誘發(fā)了一個(gè)聽(tīng)覺(jué)的P1成分,在P1之后是整個(gè)頭皮分布的峰值大約在100 ms左右的N1成分,前部N1的波幅要比后部更大。在N1之后是一個(gè)峰值在大約200 ms左右的正走向的波形,即P200,P200與N1的頭皮分布相似。接下來(lái)是始于250 ms左右的分布廣泛且持續(xù)時(shí)間較長(zhǎng)的負(fù)走向的波形,一直持續(xù)到分析時(shí)段結(jié)束。通過(guò)直接觀察可以發(fā)現(xiàn),效價(jià)一致語(yǔ)音詞比效價(jià)不一致語(yǔ)音詞誘發(fā)了更正的P2成分;在負(fù)波時(shí)窗,效價(jià)不一致的語(yǔ)音詞比與效價(jià)一致的語(yǔ)音詞的走向更負(fù)。實(shí)驗(yàn)二的ERP總平均圖(圖5)顯示了相似的趨勢(shì)。下面將分別對(duì)實(shí)驗(yàn)一和實(shí)驗(yàn)二的ERP結(jié)果進(jìn)行統(tǒng)計(jì)檢驗(yàn)。

3.2.1 實(shí)驗(yàn)一ERP結(jié)果

圖3 實(shí)驗(yàn)一中效價(jià)一致和效價(jià)不一致語(yǔ)音詞誘發(fā)的ERP總平均波形圖

圖4 實(shí)驗(yàn)一中效價(jià)不一致和效價(jià)一致語(yǔ)音詞的ERP差異波地形圖

重復(fù)測(cè)量方差分析結(jié)果顯示,在90～150 ms,韻律效價(jià)的主效應(yīng)顯著,

F

(1,15)=5.268,

p

<0.05,悲傷韻律詞比高興韻律詞誘發(fā)更大波幅的N1成分。詞匯效價(jià)的主效應(yīng)顯著,

F

(1,15)=4.778,

p

<0.05,消極詞比積極詞誘發(fā)更負(fù)的N1。韻律效價(jià)和詞匯效價(jià)的交互作用不顯著(

p

s>0.05),且不受半球和電極位置的調(diào)節(jié)(

p

s>0.05)。

圖5 實(shí)驗(yàn)二中效價(jià)一致和效價(jià)不一致語(yǔ)音詞誘發(fā)的ERP總平均波形圖

圖6 實(shí)驗(yàn)二中效價(jià)不一致和效價(jià)一致語(yǔ)音詞的ERP差異波地形圖

在150～250 ms,韻律效價(jià)的主效應(yīng)顯著,

F

(1,15)=11.334,

p

<0.01,與高興韻律詞相比,悲傷韻律詞誘發(fā)更負(fù)的P2成分。韻律效價(jià)和詞匯效價(jià)的交互作用顯著,

F

(1,15)=30.641,

p

<0.001,進(jìn)一步的簡(jiǎn)單效應(yīng)檢驗(yàn)顯示,在高興韻律水平上,積極詞比消極詞誘發(fā)更正走向的P2成分,

F

(1,15)=9.59,

p

<0.01;與之相似,在悲傷韻律水平上,消極詞比積極詞誘發(fā)更正的P2成分,

F

(1,15)=31.15,

p

<0.001。這一交互作用不受電極位置和半球的調(diào)節(jié)(

p

s>0.05)。在250～350 ms,韻律效價(jià)的主效應(yīng)顯著,

F

(1,15)=21.532,

p

<0.001,悲傷韻律詞比高興韻律誘發(fā)更負(fù)走向的N300。韻律效價(jià)和詞匯效價(jià)之間的交互作用顯著,

F

(1,15)=53.637,

p

<0.001,簡(jiǎn)單效應(yīng)檢驗(yàn)結(jié)果顯示,在高興韻律水平上,消極詞比積極詞誘發(fā)了更負(fù)走向的N300成分,

F

(1,15)=31.15,

p

<0.001;在悲傷韻律水平上,積極詞比消極詞誘發(fā)了更負(fù)的N300,

F

(1,15)=13.99,

p

<0.01。這一交互作用不受電極位置和半球的調(diào)節(jié)(

p

s>0.05)。在350～550 ms,韻律效價(jià)的主效應(yīng)顯著,

F

(1,15)=27.039,

p

<0.001,悲傷韻律比高興韻律誘發(fā)了更負(fù)的N400。韻律效價(jià)、詞匯效價(jià)和電極位置之間的交互作用顯著,

F

(2,30)=15.967,

p

=0.001,簡(jiǎn)單效應(yīng)檢驗(yàn)結(jié)果顯示,在高興韻律水平上,效價(jià)一致性效應(yīng)在整個(gè)頭皮分布均顯著,與韻律效價(jià)不一致的消極詞比積極詞誘發(fā)更負(fù)的N400成分(

p

s<0.01);在悲傷韻律水平上,這一N400效應(yīng)只在頭皮后部(頂枕區(qū))達(dá)到顯著水平,

F

(1,15)=10.66,

p

<0.01。另外,效價(jià)一致性效應(yīng)不受半球因素的調(diào)節(jié),均為雙側(cè)化分布。在550～1000 ms,韻律效價(jià)的主效應(yīng)顯著,

F

(1,15)=19.459,

p

=0.001,悲傷韻律詞比高興韻律詞的走向更負(fù)。韻律效價(jià)和詞匯效價(jià)的交互作用達(dá)到顯著水平,

F

(1,15)=21.538,

p

<0.001,簡(jiǎn)單效應(yīng)檢驗(yàn)結(jié)果顯示,高興韻律和悲傷韻律水平上均存在效價(jià)一致性效應(yīng),即效價(jià)不一致的語(yǔ)音詞比效價(jià)一致的語(yǔ)音詞誘發(fā)了更大的負(fù)波(

p

s<0.01)。韻律效價(jià)、詞匯效價(jià)與電極位置和半球之間的交互作用均不顯著(

p

s>0.05)。圖4顯示的差異波地形圖與上述ERP結(jié)果相似。

3.2.2 實(shí)驗(yàn)二ERP結(jié)果

重復(fù)測(cè)量方差分析結(jié)果顯示,在90～150 ms,韻律效價(jià)的主效應(yīng)顯著,

F

(1,15)=4.628,

p

<0.05,悲傷韻律詞比高興韻律詞誘發(fā)的走向更負(fù)的N1。韻律效價(jià)和詞匯效價(jià)的交互作用沒(méi)有達(dá)到顯著水平(

ps

>0.05),也不受半球和電極位置的調(diào)節(jié)(

p

s>0.05)。在150～250 ms,韻律和詞匯效價(jià)的主效應(yīng)均不顯著(

p

s>0.05)。韻律效價(jià)和詞匯效價(jià)的交互作用顯著,

F

(1,15)=11.851,

p

<0.01,進(jìn)一步的簡(jiǎn)單效應(yīng)分析顯示,在悲傷韻律水平上,消極詞比積極詞誘發(fā)更正走向的P2成分,

F

(1,15)=7.03,

p

<0.05;在高興韻律水平上,積極詞比消極詞誘發(fā)更正的P2,但沒(méi)有達(dá)到顯著水平(

p

>0.05)。該效應(yīng)不受電極位置和半球的影響(

p

s>0.05)。在250～350 ms,韻律效價(jià)的主效應(yīng)顯著,

F

(1,15)=9.991,

p

<0.01,悲傷韻律詞比高興韻律詞誘發(fā)更負(fù)的N300。韻律效價(jià)和詞匯效價(jià)的交互作用顯著,

F

(1,15)=29.562,

p

<0.001。韻律效價(jià)、詞匯效價(jià)和電極位置之間的交互作用邊緣顯著,

F

(2,30)=3.872,

p

=0.051,簡(jiǎn)單效應(yīng)檢驗(yàn)結(jié)果顯示,高興韻律水平上,在整個(gè)頭皮上均存在效價(jià)一致性效應(yīng),效價(jià)不一致的消極詞比積極詞誘發(fā)了更負(fù)走向的N300(

p

s<0.05);而在悲傷韻律水平上,在額區(qū)和中央頂區(qū)存在效價(jià)一致性效應(yīng)(

p

s<0.05),在頂枕區(qū),雖然積極詞比消極詞誘發(fā)的N300走向更負(fù),但沒(méi)有達(dá)到顯著水平(

p

>0.05)。在350～550 ms,韻律和詞匯效價(jià)的主效應(yīng)均不顯著(

p

s>0.05)。韻律效價(jià)和詞匯效價(jià)的交互作用顯著,

F

(1,15)=31.413,

p

<0.001,簡(jiǎn)單效應(yīng)檢驗(yàn)結(jié)果顯示,在高興韻律水平上,消極詞比積極詞誘發(fā)更負(fù)走向的N400成分,

F

(1,15)=11.65,

p

<0.01;在悲傷韻律水平上,積極詞比消極詞誘發(fā)更負(fù)走向的N400,

F

(1,15)=6.64,

p

<0.05。這一效價(jià)一致性效應(yīng)不受電極位置和半球的調(diào)節(jié)(

p

s>0.05)。在550～1000 ms,韻律效價(jià)的主效應(yīng)顯著,

F

(1,15)=6.601,

p

<0.05,悲傷韻律詞誘發(fā)的波形比高興韻律詞的走向更負(fù)。詞匯效價(jià)的主效應(yīng)顯著,

F

(1,15)=5.039,

p

<0.05,積極詞比消極詞誘發(fā)走向更負(fù)的波形。韻律效價(jià)和詞匯效價(jià)之間的交互作用顯著,

F

(1,15)=10.081,

p

<0.01,簡(jiǎn)單效應(yīng)檢驗(yàn)結(jié)果顯示,在高興韻律水平上,效價(jià)一致性效應(yīng)不顯著(

p

>0.05);在悲傷韻律水平上,效價(jià)一致性效應(yīng)顯著,

F

(1,15)=13.99,

p

<0.01,效價(jià)不一致的積極詞比效價(jià)一致的效價(jià)詞誘發(fā)了更負(fù)走向的負(fù)波。該效應(yīng)不受電極位置和半球因素的調(diào)節(jié)(

p

s>0.05)。上述結(jié)果與圖6顯示的差異波地形圖的趨勢(shì)相似。

4 討論

本研究采用ERP技術(shù)考察了情緒韻律調(diào)節(jié)情緒詞識(shí)別的時(shí)間進(jìn)程。實(shí)驗(yàn)一和實(shí)驗(yàn)二的ERP結(jié)果均顯示,與情緒韻律效價(jià)不一致的情緒詞誘發(fā)了走向更負(fù)的P2、N300和N400成分,盡管實(shí)驗(yàn)二的P2效應(yīng)僅在體現(xiàn)悲傷韻律水平上。

4.1 P2效應(yīng)

Schirmer等人(2002,2005)以及Schirmer和Kotz(2003)的ERP研究?jī)H發(fā)現(xiàn)了效價(jià)一致性的N400效應(yīng)。本研究除了N400效應(yīng)之外,還發(fā)現(xiàn)了情緒韻律對(duì)聽(tīng)覺(jué)情緒詞誘發(fā)的早期P2成分的影響,在150～250 ms,效價(jià)一致的語(yǔ)音詞比效價(jià)不一致語(yǔ)音詞誘發(fā)了走向更正的P2成分,這一P2效應(yīng)頭皮分布廣泛。就我們所知,前人對(duì)該問(wèn)題的研究還沒(méi)有發(fā)現(xiàn)過(guò)P2效應(yīng)。Schirmer和Kotz(2003)的研究使用的實(shí)驗(yàn)材料與本研究相似,但實(shí)驗(yàn)任務(wù)是要求被試忽略韻律信息去判斷詞匯效價(jià),被試可能需要有意識(shí)地抑制情緒韻律的干擾,這種自上而下的認(rèn)知控制可能導(dǎo)致韻律信息對(duì)情緒詞的識(shí)別的影響相應(yīng)減弱。而本研究中,被試在視覺(jué)詞呈現(xiàn)之前只需注意情緒詞的內(nèi)容,無(wú)需有意識(shí)地排斥情緒韻律,因而相對(duì)于效價(jià)判斷任務(wù)而言,本研究中的情緒韻律信息得到了更高程度的加工。

在言語(yǔ)知覺(jué)的ERP研究中,P2與言語(yǔ)的音韻編碼(Phonological processing)有關(guān)(Kelly,Kravitz,&Hopkins,2004;Savill,&Thierry,2011)。研究顯示,在詞匯真?zhèn)闻袛嗳蝿?wù)中,普通偽詞(如rofe)比偽同音異形詞(如roze)誘發(fā)了波幅更正的P200(Braun,Hutzler,Ziegler,Dambacher,&Jacobs,2009)。在詞匯啟動(dòng)研究中,與啟動(dòng)項(xiàng)目同音或者押韻的目標(biāo)項(xiàng)目要比與啟動(dòng)項(xiàng)目在語(yǔ)音上不相關(guān)的目標(biāo)項(xiàng)目誘發(fā)更正的中頂分布的P200(Kong et al.,2010)。另外,正常個(gè)體在言語(yǔ)加工過(guò)程中產(chǎn)生的P200波幅要比失讀癥患者更正(Meyler&Breznitz,2005)。由此可見(jiàn),刺激誘發(fā)更正的P200成分反映了個(gè)體更容易進(jìn)行對(duì)言語(yǔ)刺激的音韻加工。在本實(shí)驗(yàn)中,與情緒韻律效價(jià)一致的口語(yǔ)情緒詞誘發(fā)了波幅更正的P200,可能表明效價(jià)一致的情緒韻律可以促進(jìn)口語(yǔ)詞的早期的音韻編碼。

實(shí)驗(yàn)一的P2效應(yīng)強(qiáng)于實(shí)驗(yàn)二表明,P2效應(yīng)的表現(xiàn)還可能與韻律類型的呈現(xiàn)方式有關(guān)。在實(shí)驗(yàn)一中,不同類型的情緒韻律是分組呈現(xiàn)的,這種情況與正常的生活場(chǎng)景更相似,因?yàn)樵谌粘５难哉Z(yǔ)交流過(guò)程中,個(gè)體的情緒狀態(tài)通常不是隨機(jī)變化的,情緒韻律的表達(dá)也具有一定的連貫性,此時(shí)情緒韻律的背景效應(yīng)會(huì)比隨機(jī)呈現(xiàn)時(shí)更強(qiáng),情緒韻律對(duì)情緒詞的影響也相應(yīng)更強(qiáng),因此在實(shí)驗(yàn)一中,在高興和悲傷韻律條件下都出現(xiàn)了較強(qiáng)的P2效應(yīng)。在實(shí)驗(yàn)二中,不同類型的情緒韻律是隨機(jī)呈現(xiàn)的,此時(shí)情緒韻律的作用主要體現(xiàn)在單個(gè)詞匯上,由于韻律的不斷變化而缺乏連續(xù)性,導(dǎo)致情緒韻律的背景效應(yīng)相對(duì)較弱,因此實(shí)驗(yàn)二的P2效應(yīng)減弱,僅在悲傷韻律水平上表現(xiàn)出來(lái)。

4.2 N300/N400效應(yīng)

本研究的ERP結(jié)果顯示效價(jià)不一致的情緒詞比效價(jià)一致情緒詞誘發(fā)了更負(fù)的、廣泛分布的N300和N400成分。N300是一個(gè)出現(xiàn)較早的峰值在300 ms左右,功能與N400相似,且與N400相重疊的負(fù)走向的ERP成分(Federmeier&Kutas,2001;Sitnikova,Holcomb,Kiyonaga,&Kuperberg,2008;Wu&Coulson,2007),因此將N300成分看作是一個(gè)早期的N400成分,與N400成分一并進(jìn)行討論。

關(guān)于N400的意義,傳統(tǒng)的觀點(diǎn)認(rèn)為N400反映了刺激與背景的整合(Holcomb,1993;Holcomb,Anderson,&Grainger,2005),這種整合觀點(diǎn)的基本假設(shè)是背景產(chǎn)生的促進(jìn)效應(yīng)只有在刺激已經(jīng)通過(guò)自下而上的過(guò)程得到識(shí)別之后出現(xiàn)。但這一觀點(diǎn)受到了越來(lái)越多的質(zhì)疑。比如,van Petten,Coulson,Rubin,Plante和Parks(1999)發(fā)現(xiàn)口語(yǔ)詞匯誘發(fā)的N400效應(yīng)早在詞匯識(shí)別的關(guān)鍵點(diǎn)(Isolation point)之前就已經(jīng)出現(xiàn)。Stenberg,Lindgren,Johansson,Olsson和Rosén(2000)的詞匯啟動(dòng)研究結(jié)果顯示,沒(méi)有受到外顯識(shí)別的視覺(jué)掩蔽詞匯也能導(dǎo)致N400效應(yīng)的出現(xiàn)。另外,心理詞典中不存在的表征(如假詞)也能誘發(fā)N400效應(yīng)(Deacon,Dynowska,Ritter,&Grose-Fifer,2004)。以上結(jié)果表明,N400可能反映的是背景信息對(duì)刺激較早階段的加工的影響,即刺激的意義提取階段(Kutas&Federmeier,2011)。

在情緒言語(yǔ)加工研究中,前人使用跨通道啟動(dòng)范式(Schirmer et al.,2002,2005)以及韻律/詞匯干擾范式(Schirmer&Kotz,2003)均發(fā)現(xiàn),與韻律背景效價(jià)不一致的情緒詞誘發(fā)了更負(fù)的N400成分,研究者認(rèn)為情緒韻律可以像句子背景一樣,調(diào)節(jié)情緒詞匯的意義加工。本研究得到的N400效應(yīng)與Schirmer等人(2002,2005)以及Schirmer和Kotz(2003)的研究結(jié)果相似。此外,本研究還與Kotz和Paulmann(2007)以及Paulmann和Kotz(2008)使用句子水平上的“預(yù)期違反(Expectancy violation)”范式的情緒言語(yǔ)加工研究結(jié)果類似,他們將兩種不同情緒的韻律/語(yǔ)義模式并列放到一起,以觀察韻律/語(yǔ)義聯(lián)合的不一致條件與一致條件之間的ERP差異,其結(jié)果顯示,情緒韻律和語(yǔ)義信息的聯(lián)合違反在350～650 ms誘發(fā)了走向更負(fù)的類似于N400的成分。因此,結(jié)合前人研究及本研究的結(jié)果,我們認(rèn)為這種N400效應(yīng)反映的是情緒韻律對(duì)口語(yǔ)情緒詞意義提取的影響,N400波幅的增加可能反映了個(gè)體提取詞匯意義的難度的增加。

4.3 后期負(fù)波效應(yīng)

除了N400的典型時(shí)窗外,在550～1000 ms,語(yǔ)音詞誘發(fā)的波形受到情緒詞與情緒韻律之間的效價(jià)一致性的影響,效價(jià)不一致語(yǔ)音詞誘發(fā)了走向更負(fù)的負(fù)波。這一后期負(fù)波效應(yīng)與N300/N400效應(yīng)相似,呈雙側(cè)化趨勢(shì),且頭皮分布較為廣泛。以往研究表明,聽(tīng)覺(jué)詞通常誘發(fā)雙側(cè)化、對(duì)稱的N400成分,且N400持續(xù)時(shí)間通常要比視覺(jué)詞及其他刺激更長(zhǎng)(Holcomb&Anderson,1993),其原因可能是聽(tīng)覺(jué)詞是隨時(shí)間展開(kāi)的,一個(gè)音位接著一個(gè)音位出現(xiàn)(Holcomb&Neville,1991)。與聽(tīng)覺(jué)詞相似,與背景信息不一致的動(dòng)態(tài)影片誘發(fā)的N400效應(yīng)的持續(xù)時(shí)間也較長(zhǎng)(Sitnikova et al.,2008)。因此,我們認(rèn)為這一后期負(fù)波效應(yīng)是N400效應(yīng)的延續(xù)。

綜上所述,本研究ERP結(jié)果表明,與非聲調(diào)語(yǔ)言相似,漢語(yǔ)中的情緒韻律無(wú)論是在多個(gè)詞匯上連續(xù)呈現(xiàn),還是在單個(gè)詞匯上隨機(jī)呈現(xiàn),均能夠?qū)崟r(shí)調(diào)節(jié)口語(yǔ)情緒詞的識(shí)別,表現(xiàn)為當(dāng)口語(yǔ)情緒詞與情緒韻律效價(jià)一致時(shí),情緒詞的音韻編碼和語(yǔ)義加工得到易化。

圖7 情緒言語(yǔ)加工的時(shí)間進(jìn)程

4.4 情緒言語(yǔ)的多階段加工

許多研究者將情緒言語(yǔ)加工看作是一個(gè)多階段的加工過(guò)程(Schirmer&Kotz,2006;Paulmann,Ott,&Kotz,2011)。首先,個(gè)體需要分析語(yǔ)音中的聲學(xué)線索,加工刺激的頻率和音強(qiáng)等感覺(jué)信息(Engelien,Schulz,Ross,Arolt,&Pantev,2000),這一階段出現(xiàn)在100 ms左右;其次,聽(tīng)話人完成對(duì)復(fù)雜的聲學(xué)線索的整合,識(shí)別刺激的情緒意義,這一階段出現(xiàn)在200 ms左右(Paulmann&Kotz,2008);最后,將韻律的情緒意義應(yīng)用到更高層次的認(rèn)知加工,比如與詞匯/語(yǔ)義信息的相互作用,這一加工過(guò)程與N300和N400成分有關(guān)(Bostanov&Kotchoubey,2004)。

根據(jù)本研究的ERP結(jié)果,情緒韻律和情緒詞之間的效價(jià)關(guān)系除了能夠調(diào)節(jié)情緒詞誘發(fā)的N300和N400成分之外,還能夠調(diào)節(jié)P200成分。這表明,情緒韻律對(duì)情緒詞識(shí)別的影響出現(xiàn)的更早,在聽(tīng)話人加工情緒言語(yǔ)的第二個(gè)階段,即韻律特征的情緒意義得到提取的時(shí)候,就能對(duì)聽(tīng)覺(jué)情緒詞的音韻特征加工產(chǎn)生影響。說(shuō)明在情緒言語(yǔ)加工過(guò)程中,個(gè)體在詞匯加工過(guò)程中能夠及時(shí)的利用情緒韻律特征。圖7顯示了漢語(yǔ)情緒言語(yǔ)加工涉及的三個(gè)基本過(guò)程。聽(tīng)話人平行加工了情緒言語(yǔ)中的情緒韻律和情緒詞這兩個(gè)維度的信息,在100 ms左右,分別對(duì)韻律和詞匯的聲學(xué)特征進(jìn)行早期的感覺(jué)加工;在200 ms左右,韻律的情緒意義得到識(shí)別的同時(shí),聽(tīng)話人也在對(duì)情緒詞的語(yǔ)音特征進(jìn)行加工,并且情緒韻律能夠調(diào)節(jié)情緒詞的音韻編碼;隨后情緒韻律還對(duì)情緒詞的語(yǔ)義加工產(chǎn)生影響,情緒韻律可以像語(yǔ)義上下文一樣被作為一種背景信息使用,以自上而下的方式對(duì)詞匯在語(yǔ)義記憶中的激活和選擇進(jìn)行約束。

5 結(jié)論

本研究采用韻律/詞匯干擾范式和事件相關(guān)電位技術(shù)考察了情緒言語(yǔ)加工的時(shí)間進(jìn)程。結(jié)果表明,與非聲調(diào)語(yǔ)言相似,漢語(yǔ)中的情緒韻律能夠?qū)崟r(shí)地調(diào)節(jié)口語(yǔ)情緒詞的識(shí)別。這一調(diào)節(jié)作用在早期的音韻編碼階段就已經(jīng)出現(xiàn),表現(xiàn)為當(dāng)口語(yǔ)情緒詞與情緒韻律效價(jià)一致時(shí),情緒詞的音韻編碼得到易化;此外,情緒韻律還調(diào)節(jié)口語(yǔ)情緒詞的語(yǔ)義加工,使得對(duì)與情緒韻律效價(jià)一致的情緒詞的語(yǔ)義加工難度降低。

Banse,R.,&Scherer,K.R.(1996).Acoustic profiles in vocal emotion expression.

Journal of Personality and Social Psychology,70

(3),614–636.

Boersma,P.,&Weenink,D.(2011).Praat:Doing phonetics by computer(Version 5.2.25)[Computer program].Retrieved May 3,2011,from http://www.praat.org/

Bostanov,V.,& Kotchoubey,B.(2004).Recognition of affective prosody: Continuous wavelet measures of event-related brain potentials to emotional exclamations.

Psychophysiology,41

,259–268.Braun,M.,Hutzler,F.,Ziegler,J.C.,Dambacher,M.,&Jacobs,A.M.(2009).Pseudohomophone effects provide evidence of early lexico-phonological processing in visual word recognition.

Human Brain Mapping,30

,1977–1989.Deacon,D.,Dynowska,A.,Ritter,W.,&Grose-Fifer,J.(2004).Repetition and semantic priming of nonwords:Implications for theories of N400 and word recognition.

Psychophysiology,41

,60–74.Engelien,A.,Schulz,M.,Ross,B.,Arolt,V.,&Pantev,C.(2000).A combined functional in vivo measure for primary and secondary auditory cortices.

Hearing Research,148

,153–160.Federmeier,K.D.,&Kutas,M.(2001).Meaning and modality:Influences of context,semantic memory organization,and perceptual predictability on picture processing.

Journal of

Experimental Psychology: Learning, Memory and Cognition,27

,202–224.Grimshaw,G.M.(1998).Integration and interference in the cerebral hemispheres: Relations with hemispheric specialization.

Brain and Cognition,36

,108–127.Holcomb,P.J.(1993).Semantic priming and stimulus degradation:Implications for the role of the N400 in language processing.

Psychophysiology,30

,47–61.Holcomb,P.J.,&Anderson,J.E.(1993).Cross-modal semantic priming: A time-course analysis using event-related brain potentials.

Language and Cognitive Processes,8

,379–412.Holcomb,P.J.,Anderson,J.,&Grainger,J.(2005).An electrophysiological study of cross-modal repetition priming.

Psychophysiology,42

,493–507.Holcomb,P.J.,&Neville,H.J.(1991).Natural speech processing:An analysis using event-related brain potentials.

Psychobiology,19

,286–300.Kelly,S.D.,Kravitz,C.,&Hopkins,M.(2004).Neural correlates of bimodal speech and gesture comprehension.

Brain and Language,89

,253–260.Kitayama,S.,& Ishii,K.(2002).Word and voice:Spontaneousattention to emotionalutterancesin two Languages.

Cognition and Emotion

,

16

,29–59.Kong,L.Y.,Zhang,J.X.,Kang,C.P.,Du,Y.C.,Zhang,B.,&Wang,S.P.(2010).P200 and phonological processing in Chinese word recognition.

Neuroscience Letters,473

,37–41.Kotz,S.A.,&Paulmann,S.(2007).When emotional prosody and semantics dance cheek to cheek:ERP evidence.

Brain Research,1151

,107–118.Kutas,M.,&Federmeier,K.D.(2011).Thirty years and counting:Finding meaning in the N400 component of the event-related brain potential(ERP).

Annual Review of Psychology,62

,621–647.Lin,T.,&Wang,L.J.(1992).

A course in phonetics

.Beijing:Peking University Press.[林燾,王理嘉.(1992).

語(yǔ)音學(xué)教程

.北京:北京大學(xué)出版社.]Meyler,A.,&Breznitz,Z.(2005).Impaired phonological and orthographic word representations among adult dyslexic readers: Evidence from event-related potentials.

The Journal of Genetic Psychology,166

,215–238.Min,C.S.,&Schirmer,A.(2011).Perceiving verbal and vocal emotions in a second language.

Cognition&Emotion,25

(8),1376–1392.Nygaard,L.C.,&Queen,J.S.(2008).Communicating emotion:Linking affective prosody and word meaning.

Journal of Experimental Psychology:Human Perception and Performance,34

(4),1017–1030.Paulmann,S.,&Kotz,S.A.(2008).An ERP investigation on the temporal dynamics of emotional prosody and emotional semantics in pseudo-and lexical-sentence context.

Brain and Language,105

,59–69.Paulmann,S.,Ott,D.V.M.,&Kotz,S.A.(2011).Emotional speech perception unfolding in time:The role of the basal ganglia.

PloS ONE,6

(3),e17694.Savill,N.J.,& Thierry,G.(2011).Electrophysiological evidence for impaired attentional engagement with phonologically acceptable misspellings in developmental dyslexia.

Frontiers in Psychology,2

,139.Scherer,K.R.(2003).Vocal communication of emotion:A review of research paradigms.

Speech Communication,40

,227–256.Scherer,K.R.,Banse,R.,&Wallbott,H.G.(2001).Emotion inferences from vocal expression correlate across languages and cultures.

Journal of Cross-Cultural Psychology,32

,76–92.Schirmer,A.,&Kotz,S.A.(2003).ERP Evidence for a sex-specific stroop effect in emotional speech.

Journal of Cognitive Neuroscience,15

,1135–1148.Schirmer,A.,& Kotz,S.A.(2006).Beyond theright hemisphere:Brain mechanisms mediating vocal emotional processing.

Trends in Cognitive Sciences,10

,24–30.Schirmer,A.,Kotz,S.A.,&Friederici,A.D.(2002).Sex differentiates the role of emotional prosody during word processing.

Cognitive Brain Research,14

,228–233.Schirmer,A.,Kotz,S.A.,&Friederici,A.D.(2005).On the role of attention for the processing of emotions in speech:Sex differences revisited.

Cognitive Brain Research,24

,442–452.Schirmer,A.,Liu,M.,Maess,B.,Escoffier,N.,Chan,M.,&Penney,T.B.(2006).Task and sex modulate the brain response to emotionalincongruity in Asian listeners.

Emotion

,

6

,406–417.Sitnikova,T.,Holcomb,P.J.,Kiyonaga,K.A.,&Kuperberg,G.R.(2008).Two neurocognitive mechanisms of semantic integration during the comprehension of visual real-world events.

Journal of Cognitive Neuroscience,20

,2037–2057.Stenberg,G.,Lindgren,M.,Johansson,M.,Olsson,A.,&Rosén,I.(2000).Semantic processing without conscious identification: Evidence from event-related potentials.

Journal of Experimental Psychology:Learning,Memory,and Cognition,26

,973–1004.van Petten,C.,Coulson,S.,Rubin,S.,Plante,E.,&Parks,M.(1999).Time course of word identification and semantic integration in spoken language.

Journal of Experimental Psychology: Learning, Memory, and Cognition,25

,394–417.Wang,Y.N.,Zhou,L.M.,&Luo,Y.J.(2008).The pilot establishment and evaluation of Chinese affective words system.

Chinese Mental Health Journal,22

,608–612.[王一牛,周立明,羅躍嘉.(2008).漢語(yǔ)情感詞系統(tǒng)的初步編制及評(píng)定.

中國(guó)心理衛(wèi)生雜志,22

,608–612.]Wu,Y.C.,&Coulson,S.(2007).How iconic gestures enhance communication:An ERP study.

Brain and Language,101

,234–245.Wurm,L.H.,Vakoch,D.A.,Strasser,M.R.,Calin-Jageman,R.,&Ross,S.E.(2001).Speech perception and vocal expression of emotion.

Cognition and Emotion,15

,831–852.