余可可 周亞聰 劉秉怡 蔡涵涵 王瑞明
(1 廣東省心理健康與認知科學重點實驗室/教育部腦認知與教育科學重點實驗室、華南師范大學心理學院/心理應(yīng)用研究中心,廣州 510631; 2 黃河科技學院心理健康教育中心,鄭州 450063)
在日常的人際溝通中,個體常常需要在說話者(speaker/talker)和聽話者(listener)之間進行轉(zhuǎn)換。當其作為聽話者時,往往需要加工說話者嗓音(voice)中承載的多重信息來保持良好的溝通。這里的多重信息就包括了: 說話者的身份信息(identity information),即說話者是誰;情緒信息(emotional information),即說話者的情緒狀態(tài);語言學信息(linguistic information),即與語音和語義有關(guān)的信息。說話者的身份信息和情緒信息又被統(tǒng)稱為副語言學信息(paralinguistic information)(Belin,F(xiàn)ecteau,&Bedard,2004; Scott,2019)。那么,聽話者在加工說話者的嗓音時,嗓音中的多重信息是否存在相互作用?如果存在相互作用,其認知機制又是如何? 這些問題對于進一步揭示嗓音感知和言語理解的認知加工機制都有重要意義。本文將圍繞這兩個主要問題進行系統(tǒng)的回顧與梳理,并對未來的研究方向提出展望。
說話者的嗓音包含了語言學和副語言學等方面的多重信息。先前研究對嗓音中多重信息的加工持有兩種不同的觀點,即“獨立觀”和“整合觀”。
“獨立觀”認為,聽話者對說話者嗓音中語言學信息和副語言學信息的加工是相互獨立的(Halle,1985; Licklider,1952; Laver & Trudgill,1979)。早期的臨床研究發(fā)現(xiàn),感覺性失語癥(receptive aphasia)患者雖然能識別說話者的身份,但其語言理解能力受損(Assal,Aubert,& Buttet,1981);聲音失認癥(phonagnosia)患者則相反,可以理解語言內(nèi)容,但不能識別說話者的身份 (Garrido et al.,2009; Van Lancker,Kreiman,& Cummings,1989)。這種嗓音身份識別和語言理解的功能分離為獨立觀提供了有力的證據(jù)。近年的一些腦機制研究發(fā)現(xiàn),嗓音中的身份信息偏向于在右前顳上回加工,情緒信息偏向于在右顳葉和右側(cè)下前額葉皮層加工,語言學信息偏向于在左顳上回加工(Belin,F(xiàn)ecteau,& Bedard,2004; Feng,Gan,Wang,Wong,& Chandrasekaran,2017; McGettigan &Scott,2012; Seydell-Greenwald,Chambers,F(xiàn)errara,& Newport,2020)。這些結(jié)果說明,不同信息加工的神經(jīng)基礎(chǔ)可能是分離的,為“獨立觀”提供了腦機制方面的證據(jù)。
與“獨立觀”不同,“整合觀”認為,聽話者對說話者嗓音中語言學信息和副語言學信息的加工是相互作用的。一方面,語言學信息影響副語言學信息,尤其是身份信息的加工。“語言熟悉效應(yīng)”(Language Familarity Effect,LFE)是這方面很好的研究證據(jù)。這一效應(yīng)指的是,相比不熟悉語言的說話者,聽話者能更好地識別出熟悉語言說話者的身份信息。先前已有許多研究證實了這一效應(yīng) (Thompson,1987;Perrachione,Del Tufo,& Gabrieli,2011)。另一方面,副語言學信息,尤其是身份信息,也會反過來影響語言學信息的加工。先前研究發(fā)現(xiàn)的“單一嗓音優(yōu)勢效應(yīng)”為這一方面的影響提供了證據(jù)。這一效應(yīng)指的是,在詞匯識別任務(wù)中,相較不同說話者所說的詞匯,聽話者能更準確地識別同一說話者所說的詞匯(Craik & Kirsner 1974; Goldinger,1996)。除此以外,還有一些腦機制研究也支持了這一觀點。這些研究認為,語言學信息和副語言學信息加工的神經(jīng)基礎(chǔ)是整合的 (例如,雙側(cè)顳上回)(Kreitewolf,Gaudrain,& Von Kriegstein,2014; Perrachione,Pierrehumbert,& Wong,2009; Zhang et al.,2016)。
雖然“獨立觀”和“整合觀”都得到了先前多方面實驗證據(jù)的支持,但近年來隨著研究的進一步發(fā)展,研究者還是更多地支持“整合觀”的觀點,尤其關(guān)注語言學信息和副語言學信息之間的相互作用。
語言學信息與身份信息的相互作用是近年來的一個熱點問題。研究者主要從兩個角度對這一問題進行探討,一是語言學信息如何影響身份信息的加工(即說話者身份的識別),二是身份信息如何影響語言學信息的加工。
在語言學信息影響身份信息加工方面,先前研究基于LFE (即對母語說話者身份的識別顯著優(yōu)于對陌生語言說話者身份的識別)做了許多探討。早期關(guān)于這方面的研究主要驗證了這一效應(yīng)的普遍存在性。無論母語和陌生語言在語音上是有些相似的(例如,英語和德語,Winters,Levi,& Pisoni,2008;英語和荷蘭語,Johnson et al.,2018)還是非常不同的(例如,英語和漢語,Perrachione et al.,2011;西班牙語和漢語,Perea et al.,2014),聽話者都表現(xiàn)出了明顯的LFE。此外,這一效應(yīng)也存在于一語和二 語中 (Xie & Myers,2015; Orena,Polka,&Theodore,2019)。例如,英-韓雙語被試對英語(一語)說話者身份的識別優(yōu)于對韓語(二語)說話者身份的識別(Bregman & Creel,2014)。在此基礎(chǔ)上,研究者進一步利用這一效應(yīng)探討了語言學信息影響身份信息加工的機制。語言學信息實際上是非常豐富的,主要可以分為語音(phonological)和語義(semantic)兩個層面(McLanguahlin et al.,2019)。那么,到底是哪個層面的語言學信息作用于身份信息的加工呢?
部分研究認為,語音層面的語言學信息(下文簡稱語音信息) 能夠促進身份信息的加工。Perrachione 等人(2011)通過比較誦讀困難(dyslexic,加工母語的語音存在困難)組和控制組對母語(英語)和陌生語言(漢語)說話者身份的識別,發(fā)現(xiàn)控制組表現(xiàn)出了明顯的LFE,而誦讀困難組沒有表現(xiàn)出LFE。另外,在識別母語的說話者身份時,控制組的表現(xiàn)優(yōu)于誦讀困難組,但在識別陌生語言的說話者身份時,兩組沒有顯著差異。這一結(jié)果表明,母語的語音信息有助于識別母語說話者的身份信息。Fleming 等人 (2014) 采用了一種特殊的語音材料——倒播(time-reversed)句來考察聽話者對說話者身份信息的識別。倒播句是在正常錄制的句子(簡稱正播句)基礎(chǔ)上進行翻轉(zhuǎn)后生成的,僅保留正播句中的一些語音信息,例如平均基頻和一些音位的鏡像共振峰特征。實驗結(jié)果發(fā)現(xiàn),聽話者識別母語倒播句的說話者身份優(yōu)于識別陌生語言倒播句的說話者身份,說明母語倒播句僅保留的語音信息也有助于母語說話者身份信息的識別。對于普通的聽話者來說,母語的語音信息是一種熟悉的語音信息。這種熟悉的語音信息對身份信息加工的促進作用也在其它一些研究中得到進一步的驗證。例如來自嬰兒的研究發(fā)現(xiàn),雖然嬰兒還不能理解母語語音的意義,但是他們在識別說話者的身份時同樣也表現(xiàn)出了LFE(Johnson,Westrek,Nazzi,& Culter,2011;Fecher & Johnson,2019)。另外還有研究發(fā)現(xiàn),當聽話者對陌生語言的語音變得熟悉時,即使不能理解陌生語言的語義,也能提升對陌生語言說話者身份的識別(Orena,Theodore,& Polka,2015)。
另有部分研究認為,語義層面的語言學信息(以下簡稱語義信息) 能夠促進身份信息的加工。Perrachione 和 Wong(2007)比較了英語訓練前后,中英雙語者對漢語(一語)和英語(二語)說話者身份信息的識別。結(jié)果顯示,在訓練前,雙語者對說話者身份信息的識別表現(xiàn)出了明顯的LFE。但在訓練后,雙語者對漢語和英語說話者身份信息的識別是相似的。這一結(jié)果說明,二語語義信息的習得有助于雙語者對二語說話者身份信息的識別。Perrachione,Dougherty,McLaughlin 和 Lember(2015)在實驗中發(fā)現(xiàn),聽話者對正播句表現(xiàn)出了LFE,但對倒播句并沒有表現(xiàn)出 LFE。他們認為,F(xiàn)leming 等人(2014)研究中使用的倒播句只保留了嗓音的物理聲學信息,并沒有保留語音信息。根據(jù)他們對倒播句的解釋,這一結(jié)果反映了母語正播句中的語義信息對母語說話者身份信息加工的促進作用。除了基于LFE 的研究外,Goggin,Thompson,Strube 和 Simental(1991)的早期研究還發(fā)現(xiàn)了語篇中的語義信息對說話者身份信息識別的作用。
Perrachione(2019)近來提出“語音熟悉假說”(phonetic familiarity hypothesis)和“語言學加工假說”(linguistic processing hypothesis) 來解釋語言學信息在身份信息識別中的作用。“語音熟悉假說”認為,熟悉的語音信息有助于識別說話者的身份信息?!罢Z言學加工假說”則強調(diào)在語音信息基礎(chǔ)上,語義信息對說話者身份信息識別的作用。雖然這兩個假說都有相關(guān)研究證據(jù)的支持,但語音信息和語義信息對身份信息加工的影響仍是一個具有爭議的問題。不同研究在實驗任務(wù)和材料上的差異都有可能影響語言學信息在身份信息加工中的作用機制(Levi,2018)。
在實驗任務(wù)方面,先前研究主要使用了嗓音序列 (voice line-up)(Goggin et al.,1999; Johnson,Bruggeman,& Cutler,2018; Philippon,Cherryman,Bull,& Vrij,2007)、嗓音辨認(voice identification)(Orena et al.,2015; Perrachione et al.,2015; Zarate,Tian,Woods,& Poeppel,2015)和嗓 音 區(qū) 分 (voice discrimination) (e.g.,Levi &Schwartz,2013; Neuhoff,Schott,Kropf,&Neuhoff,2014; Winters et al.,2008)等多種任務(wù)。嗓音序列任務(wù)要求實驗參與者先聽一個目標嗓音,然后從一系列語音刺激中選出和目標嗓音身份一致的語音刺激。嗓音辨認任務(wù)要求實驗參與者先通過語音刺激學習多個說話者的嗓音身份,然后再進行測試,判斷每個語音刺激的嗓音身份。嗓音區(qū)分任務(wù)要求實驗參與者先聽兩個語音刺激,然后判斷這兩個語音刺激是否來自同一個說話者。從這些任務(wù)的具體要求可以看出,它們對于記憶和認知負荷可能有不同的要求。嗓音區(qū)分任務(wù)基本只需要利用短時記憶,對兩個語音的嗓音特征進行比較。嗓音序列任務(wù)需要長時記憶記住目標嗓音,再提取目標嗓音的特征,并對多個語音的嗓音特征進行比較。嗓音辨認任務(wù)需要長時記憶記住目標嗓音及其相對應(yīng)的身份(標簽),再提取不同語音的嗓音身份??墒茄芯空咴诓煌膶嶒炄蝿?wù)中都是既有發(fā)現(xiàn)LFE 的,也有未發(fā)現(xiàn) LFE 的(Levi,2018)。由此來看,實驗任務(wù)可能和其他因素一起共同作用于語言學信息對身份信息的加工。
在實驗材料方面,先前研究使用的語音材料在語音相似性、 涉及的語言水平和實驗操縱上有所不同。對于語音相似 (例如上文提到的英語和德語,Winters et al.,2008) 和語音不相似的兩種語言的語音材料(例如上文提到的英語和漢語,Perrachione et al.,2011),先前研究都發(fā)現(xiàn)了 LFE (Winters et al.,2008; Perrachione et al.,2011)??梢?,兩種語言的語音相似性可能不是影響LFE 的主要原因。不同語言水平的語音材料有詞語 (Zarate et al.,2015; Levi & Schwartz,2013)、 句子 (Fecher &Johnson,2018; Perrachione & Wong,2007) 和語篇(Goggin et al.,1991; Neuhoff et al.,2014)。這些不同水平的語音材料在語言學信息的豐富性上存在差異(語篇>句子>詞語)。但是,先前研究在不同水平的語音材料中既有發(fā)現(xiàn)LFE 的,也有未發(fā)現(xiàn)LFE 的(Levi,2018)。進一步的分析發(fā)現(xiàn),這些研究所使用的實驗任務(wù)也有所不同。因此,語言學信息的豐富性可能和實驗任務(wù)一起共同作用于語言學信息對身份信息的加工。另外對于不同操縱的語音材料,先前研究除了使用普通材料外,還使用了符合拼讀規(guī)則的無意義詞語/音節(jié) (Levi & Schwartz,2013;Zarate et al.,2015) 和倒 播 句 (Fleming et al.,2014; Perrachione et al.,2015)等特殊材料,通過比較特殊材料和普通材料來探測語言學信息對身份信息的加工。但是,相關(guān)的研究結(jié)果也不一致,有些研究在無意義詞語/音節(jié)或倒播句上發(fā)現(xiàn)了LFE,有些研究卻沒有(Levi,2018)。通過分析相關(guān)的研究發(fā)現(xiàn),不同的研究在實驗任務(wù)上也存在差異。這也提示,不同操縱的語音材料也可能和實驗任務(wù)一起共同調(diào)節(jié)語言學信息對身份信息的加工。
基于以上的分析,我們認為,語音和語義等不同層面的語言學信息均會影響身份信息的加工,但其在身份信息加工中的具體作用可能還受到實驗任務(wù)和語音材料的共同調(diào)節(jié)。
早期研究發(fā)現(xiàn)的“單一嗓音優(yōu)勢效應(yīng)”(Craik &Kirsner 1974; Goldinger,1996)是反映身份信息影響語言學信息加工的經(jīng)典效應(yīng)。這一效應(yīng)主要體現(xiàn)了身份信息的一致性對口語詞匯識別的積極影響,或者說,身份信息變化(identity variation)對口語詞匯識別的消極影響。例如,多個說話者的語音材料可能會在一定程度上降低語音和/或語義對口語詞匯識別的啟動效應(yīng),或是阻礙口語詞匯識別中語音和/或語義的通達 (Creel & Tumlin,2009; Lee &Zhang,2014,2017; Luce & Lyons,1998)。但是,也有研究發(fā)現(xiàn),身份信息變化的語音材料是有助于口語詞匯識別乃至語音學習的。相比單一說話者,聽話者在多個說話者的條件下識別口語詞匯時,受到干擾詞的影響更小 (Creel,Aslin,& Tanenhaus,2008; Dufour & Nguyen,2016)。當學習者基于語音-概念的聯(lián)結(jié)學習語音時,相比單一說話者的條件,學習者在多個說話者的條件下受到干擾詞的影響更小(Creel et al.,2008)。多個說話者的語音材料比單一說話者的語音材料更有助于學習者對陌生語言的言語感知甚至是言語產(chǎn)出(Thomson,2012;Thomson & Derwing,2014)。可是除此以外,還有一些研究實際上并未發(fā)現(xiàn)身份信息變化對語言學信息加工,尤其是口語詞匯識別中語義通達的明顯影響(Kittredge,Davis,& Blumstein,2006; Schacter& Church,1992)。多個說話者的語音材料也未必會促進學習者對陌生語言的語音學習 (Dong,Clayards,Brown,& Wonnacott,2019; Wiener,Chan,& Ito,2019)。
從這些研究來看,身份信息變化是否影響語言學信息的加工似乎是一個具有爭議的問題。通過分析先前的研究發(fā)現(xiàn),身份信息在口語詞匯識別中的作用可能與研究范式所要求的加工深度有關(guān)。大部分相關(guān)的研究通常采用語音和語義兩種啟動范式。相比語義啟動范式(例如,king-queen),語音啟動范式(例如,queen-queen)對啟動詞和目標詞的加工深度要求可能更淺。先前研究顯示,當加工深度較淺時,身份信息的變化更可能發(fā)揮作用(Goldinger,1996; Lee & Zhang,2017)。這也說明,身份信息可能更多地是與語音信息產(chǎn)生聯(lián)結(jié)的。這似乎也解釋了為什么多個說話者的語音材料反而有助于減少干擾詞的影響(Creel et al.,2008)。在單一說話者條件下,語音之間的差異只在于語音信息,而在多個說話者條件下,語音之間的差異除了在于語音信息外,還在于身份信息。多個說話者比單一說話者的語音材料的差異更大,從而有助于口語詞匯的識別和減少其他干擾詞的影響。
對于語音學習,在單一說話者的語音材料下,學習者只需要通過單一說話者建立語音聲學特征的表征。但在多個說話者的語音材料下,學習者可能需要通過一個說話者標準化(talker normalization)的過程來建立語音聲學特征的表征 (Nusbaum & Magnuson,1997; Zhang & Chen,2016)。這個說話者標準化的過程可能會使得學習者的語音學習能夠更加一般化(generalization),從而對語音學習表現(xiàn)出促進 作 用 (Creel et al.,2008; Thomson,2012;Thomson & Derwing,2014)。另外,身份信息變化對語音學習的影響可能還與學習的具體內(nèi)容有關(guān)。例如,多個說話者的語音材料可能促進漢語普通話1 聲(陰平)的學習,但對漢語普通話其它聲調(diào)的學習沒有明顯的促進作用(Wiener et al.,2019)。
身份信息除了在一致性上存在差別之外,在熟悉性上也存在差別。身份信息的熟悉性首先會影響其本 身 的 加 工 機 制 (Kreiman & Sidtis,2011;Stevenage,2018; van Lancker & Kreiman,1987)。例如,熟悉嗓音的加工可能更多地在右顳上溝的前部,而不熟悉嗓音的加工可能更多地在右顳上溝的后部(Schall,Kiebel,Maess,& von Kriegstein,2015; von Kriegstein,Eger,Kleinschmidt,& Giraud,2003)。除此之外,身份信息的熟悉性也會影響語言學信息的加工。許多研究表明,熟悉的嗓音能夠促進言語理解 (Domingo,Holmes,& Johnsrude,2019; Nygaard & Pisoni,1998; Johnsrude et al.,2013)。例如,熟悉朋友或配偶的嗓音能夠促進聽話者對詞語的復(fù)述(Domingo et al.,2019)。
另外,身份信息還有自己和他人的區(qū)別。先前研究發(fā)現(xiàn),聽話者對自己和他人嗓音的加工也是存在差異的(Pinheiro,Rezaii,Rauber,& Niznikiewicz,2016; Rosa,Lassonde,Pinard,Keenan,& Belin,2008)。聽話者在聽到嗓音后的100ms 內(nèi),即可分辨出自己和他人的嗓音,并且自己和他人嗓音所引發(fā)的 N1 波 幅 存 在 差 異 (Baess,Widmann,Roye,Schr?ger,& Jacobsen,2009; Ford et al.,2001)。近來有研究進一步顯示,自己和他人的嗓音會影響聽話者在不同階段對詞語的加工 (Pinheiro et al.,2016)。在加工早期(N1 和 P2),自己說的中性詞相比他人說的中性詞,引發(fā)更大波幅的N1,自己說的積極詞相比他人說的積極詞,引發(fā)更大波幅的P2。在加工晚期 (晚期正波,late positive potential,LPP),自己說的積極詞和消極詞都比他人說的積極詞和消極詞引發(fā)更大波幅的LPP。這一研究反映了自我和他人嗓音對語言學信息加工的影響。
綜上,身份信息的一致性(單一說話者vs.多個說話者)、熟悉性(熟悉vs.不熟悉)以及自己還是他人的嗓音都會影響語言學信息的加工。
嗓音與面孔相似,能夠表達非語言(nonverbal)的情緒信息(例如,開心、生氣、憤怒)。嗓音中的這種情緒信息通常在嗓音呈現(xiàn)后的200ms 即可被探測到,并且不同的情緒信息加工在200ms 左右就會表現(xiàn)出 P2 波幅的差異 (黃賢軍 & 張偉欣,2014;Capilla,Belin,& Gross,2011; Jiang & Pell,2015)。不同的情緒信息加工在腦機制上也存在差異(Grandjean,2020; Schirmer & Adolphs,2017)。積極的情緒信息相比中性信息,在嗓音加工腦區(qū)(顳葉中部),尤其是右側(cè)的相關(guān)腦區(qū)有更大的激活(Brück,Kreifelts,Kaza,Lotze,& Wildgruber,2011; Mothes-Lasch,Mentzel,Miltner,& Straube,2011)。不同情緒信息的加工在嗓音加工腦區(qū)、內(nèi)側(cè)前額葉皮質(zhì)和顳上回后部等腦區(qū)也有著不同的腦激活模式 (Klasen,Kenworthy,Mathiak,Kircher,&Mathiak,2011;Peelen,Atkinson,& Vuilleumier,2010)。另外,情緒信息的兩個維度——效價(valence)和喚醒(arousal)的加工在腦機制上也有所差異 (Bestelmeyer,Kotz,& Belin,2017;Pinheiro,Barros,Dias,& Kotz,2017)。與效價維度相比,喚醒維度的加工主要在嗓音加工腦區(qū)有更大的激活。而與喚醒維度相比,效價維度的加工在除了雙側(cè)的一些嗓音加工腦區(qū)之外,還有海馬,前、中扣帶回,內(nèi)側(cè)眶額葉和額上回等腦區(qū)都有更大的激活(Bestelmeyer,Kotz,& Belin,2017)。
雖然與語言學信息和身份信息的研究相比,語言學信息和情緒信息的研究相對較少,但目前的研究證據(jù)基本表明,語言學信息和情緒信息的加工也是存在相互作用的 (江愛世,陳煦海,楊玉芳,2009; Lin,Ding,& Zhang,2020; Pell,Jaywant,Monetta,& Kotz,2011)。例如,嗓音中單獨的情緒信息加工會引發(fā)右半球正向的ERP 成分,但當情緒信息伴有語義信息變化時,引發(fā)的是全腦負向的ERP 成分(Paulmann & Kotz,2008)。這一研究反映了語言學信息對情緒信息加工的影響。此外,也有研究發(fā)現(xiàn),使用難過情緒說的中性詞 (語義上是中性的,例如桌子)比使用中性情緒說的中性詞在其呈現(xiàn)后的200ms 左右會引發(fā)更大波幅的P2。聽話者也會傾向于將使用難過情緒說的中性詞評定為更消極(Schirmer,Chen,Ching,Tan,& Hong,2013)。還有研究提示,嗓音中的情緒信息會影響單詞的識別 (鄭志偉,黃賢軍,張欽,2013; 郭晶晶,王敏帆,方丹,2019;Olano et al.,2020)。這些研究都說明了情緒信息,尤其是不同效價的情緒信息會影響語言學信息的加工。
聽話者對說話者嗓音中語言學信息和副語言學信息(身份信息、情緒信息)的正確感知是維持良好人際溝通的重要基礎(chǔ)。從目前的研究證據(jù)來看,這些信息的加工在腦機制上既有分離,也有整合。更重要的是,越來越多的研究證據(jù)表明,當聽話者在加工說話者的嗓音時,說話者嗓音中的語言學信息與身份信息、語言學信息與情緒信息都存在著相互作用,這種相互作用我們可以用一個圖來表示(見圖1)。身份信息的加工會受到多方面語言學信息的影響,包括語音信息和語義信息; 語言學信息的加工也會受到多方面身份信息的影響,包括身份信息的一致性、熟悉性以及自己和他人的嗓音。情緒信息的加工會受到語言學信息,尤其是語義信息的影響;語言學信息的加工也會受到不同效價情緒信息的影響。
圖1 語言學信息與副語言學信息(身份信息、情緒信息)相互作用機制
雖然目前對于語言學信息和副語言學信息的相互作用已積累了大量的研究證據(jù),但這其中大部分的證據(jù)主要來自行為層面的發(fā)現(xiàn),主要揭示了語言學信息和副語言學信息相互作用的認知機制。而這種相互作用的神經(jīng)生理機制和腦機制,還有待未來研究再做進一步的探究。此外,本文主要關(guān)注的是語言學信息和副語言學信息的相互作用。但實際上,不同的副語言學信息,即身份信息和情緒信息之間同樣也可能存在相互作用(如圖1 所示)。例如,聽話者可以更好地加工熟悉的說話者嗓音中的情緒信息(憤怒和開心)(Stoop et al.,2020)。這也提示,聽話者加工說話者嗓音的過程更可能是語言學信息、身份信息和情緒信息三者之間的交互作用。那么,這三種信息之間的交互作用機制究竟如何? 實驗任務(wù)和語音材料的不同是否會調(diào)節(jié)這三種信息的交互作用機制? 這些都是未來研究需要進一步探討的重要問題。最后,聽話者存在個體差異,不同聽話者對說話者嗓音中語言學信息和副語言學信息的加工,可能受到說話者自身多方面因素的影響,例如音高感知能力、認知控制能力和語言經(jīng)驗(Darcy,Mora,&Daidone,2016; Theodore & Flanagan,2020; Xie& Myers,2015; Yu et al.,2019)。未來研究還需進一步考慮,聽話者的個體差異如何調(diào)節(jié)語言學信息和副語言學信息的交互作用機制。