關(guān)鍵詞 工作記憶負(fù)載 多感覺促進(jìn)效應(yīng) 視覺 聽覺 注意

1 引言

日常生活中人們會接受來自不同感覺通道（視覺、聽覺等）的信息輸入。相比單通道刺激，研究發(fā)現(xiàn)同時出現(xiàn)的多通道刺激能更強(qiáng)烈地捕獲注意，產(chǎn)生多感覺促進(jìn)效應(yīng)（multisensory enhancement；Barutchu et al.， 2018）。例如，個體對多通道刺激的反應(yīng)比對單通道刺激的反應(yīng)更快更準(zhǔn)確（彭姓等，2018）。近二十年來多通道刺激的注意捕獲受到很多研究者的關(guān)注，然而負(fù)載對多感覺刺激注意捕獲的影響還沒有定論。

有研究表明多通道刺激的注意捕獲不受負(fù)載影響。在van der Burg 等人（2008）的研究中，被試需要在若干朝向不同的線段（干擾刺激）中搜索水平或垂直的線段（目標(biāo)刺激），并且部分線段的顏色會隨機(jī)改變。結(jié)果發(fā)現(xiàn)，如果視覺目標(biāo)顏色變化的同時伴隨一個純音，被試對目標(biāo)刺激的搜索速度會顯著變快，且這一效應(yīng)在不同負(fù)載（干擾線段數(shù)量）下均存在。該結(jié)果表明伴隨有聽覺刺激的視覺刺激凸顯性較高，有效地捕獲了注意且不受負(fù)載影響。類似地，Zimmer 和Macaluso（2007）考察了工作記憶負(fù)載對視覺、觸覺刺激注意捕獲的影響，被試需要在記憶順序數(shù)字或隨機(jī)數(shù)字的同時判斷視覺刺激的方位。任務(wù)無關(guān)的觸覺刺激會伴隨視覺刺激同時出現(xiàn)，與視覺刺激位置一致或不一致。結(jié)果發(fā)現(xiàn)，一致條件下視觸雙通道刺激對側(cè)的枕葉視皮層活動顯著強(qiáng)于不一致條件，且不受負(fù)載大小影響，表明視觸雙通道刺激的注意捕獲和多感覺促進(jìn)效應(yīng)不受工作記憶負(fù)載的影響。

然而，也有研究發(fā)現(xiàn)在高負(fù)載條件下，多通道刺激能更有效地捕獲注意。例如Santangelo和Spence（2007）， Santangelo 等人（2008）采用空間線索范式和快速序列視覺呈現(xiàn)任務(wù)，考察了知覺負(fù)載對單通道（視覺、聽覺、觸覺）和雙通道（視聽、視觸）線索刺激注意捕獲的影響。結(jié)果發(fā)現(xiàn)，低負(fù)載條件下，單通道和多通道線索均能捕獲被試注意，而高負(fù)載條件下，只有雙通道線索能夠捕獲注意，觀察到空間線索效應(yīng)。類似地，Lunn 等人（2019）使用雙任務(wù)范式考察知覺負(fù)載對視聽刺激注意捕獲的影響。在視覺搜索任務(wù)中，被試需要在中央的字母圓環(huán)中搜索目標(biāo)刺激“X”。在方位判斷任務(wù)中，被試需要判斷外周呈現(xiàn)的視覺、聽覺或視聽雙通道刺激位于字母圓環(huán)左側(cè)還是右側(cè)。每個試次可能為視覺搜索任務(wù)、方位判斷任務(wù)或沒有任務(wù)。結(jié)果發(fā)現(xiàn)，不論是簡單（視覺圓點和聽覺純音）還是復(fù)雜（動物圖片和聲音）雙通道刺激，被試對視聽雙通道刺激的反應(yīng)在不同負(fù)載條件下都顯著快于單通道視覺或聽覺，并且這一多感覺促進(jìn)效應(yīng)在高負(fù)載下更加明顯。

目前對于負(fù)載是否影響多通道刺激的注意捕獲還沒有定論。首先，很多研究發(fā)現(xiàn)多通道刺激的注意捕獲不受注意資源影響，可能是由于沒有關(guān)注負(fù)載的變化。當(dāng)施加一定程度負(fù)載時，多通道刺激的注意捕獲會受到注意影響（Alsius et al.， 2005）。其次，負(fù)載類型可能影響多通道刺激的注意捕獲，但是有些研究使用了知覺負(fù)載（Lunn et al.， 2019），有些研究使用了認(rèn)知負(fù)載（Zimmer amp; Macaluso， 2007）。對于工作記憶負(fù)載，也未見有進(jìn)一步細(xì)分不同負(fù)載類型的研究。最后，目前對多通道刺激注意捕獲的研究主要集中在簡單刺激，較少研究關(guān)注復(fù)雜刺激的注意捕獲。相比簡單刺激，復(fù)雜語義信息的加工和識別需要更多注意資源的參與，被試對存在語義聯(lián)系的視聽刺激的先驗知識也可能會影響多通道復(fù)雜刺激的注意捕獲（Doehrmann amp; Naumer， 2008）。相比簡單刺激，復(fù)雜視聽刺激的注意捕獲可能更為特殊（Vatakis et al.， 2008）。

因此，當(dāng)前研究中采用雙任務(wù)范式，考察工作記憶負(fù)載對視聽雙通道復(fù)雜刺激注意捕獲的影響。首先，我們操縱記憶容量來產(chǎn)生不同負(fù)載水平（Naertet al.， 2018），并且在兩個實驗中分別操縱言語和視覺工作記憶負(fù)載。此外，由于視覺刺激和聽覺刺激從多通道刺激中的獲益可能存在不同，導(dǎo)致視覺和聽覺多感覺促進(jìn)效應(yīng)的差異，當(dāng)前實驗中我們比較單通道與雙通道視聽刺激，考察單通道刺激加工從雙通道刺激的獲益。最后，考慮到通道本身加工速度的差異，當(dāng)前研究采用復(fù)雜刺激，通過提升刺激難度，讓視覺和聽覺刺激的反應(yīng)速度保持相當(dāng)。研究包括兩個實驗，實驗1 采用2（工作記憶負(fù)載：高負(fù)載和低負(fù)載）×3（靶刺激類型：視覺、聽覺和視聽靶刺激）的被試內(nèi)設(shè)計，使用面孔及語音刺激，探究言語工作記憶負(fù)載對復(fù)雜視聽刺激注意捕獲的影響。實驗2 在實驗1 基礎(chǔ)上，將記憶項目變?yōu)榫€條朝向，進(jìn)一步探究視覺工作記憶負(fù)載對復(fù)雜視聽刺激注意捕獲的影響。我們預(yù)期被試對雙通道刺激的反應(yīng)顯著快于聽覺或視覺單通道刺激，即多通道刺激更易于捕獲注意，產(chǎn)生多感覺促進(jìn)效應(yīng)。此外，負(fù)載會影響視覺、聽覺和視聽雙通道刺激的反應(yīng)速度，表現(xiàn)在隨著負(fù)載升高，被試對視覺、聽覺和視聽雙通道刺激的反應(yīng)速度都會顯著下降。最后，我們預(yù)期，不同類型的工作記憶負(fù)載會調(diào)節(jié)視、聽通道從多感覺促進(jìn)效應(yīng)的獲益。一方面隨著言語工作記憶負(fù)載升高，聽覺刺激加工受阻，被試更依賴視覺信息，從而視覺刺激從視聽刺激的獲益會降低，聽覺刺激從視聽刺激的獲益會升高。另一方面隨著視覺工作記憶負(fù)載升高，視覺刺激加工受阻，被試更依賴聽覺信息，從而聽覺刺激從視聽刺激的獲益會降低，視覺刺激從視聽刺激的獲益會升高。

2 實驗

12.1 方法

2.1.1 被試

21名大學(xué)生自愿參與實驗1，視力或矯正視力正常，聽力正常，均為右利手，實驗前簽署知情同意書，并在實驗后獲得報酬。其中1 名被試數(shù)據(jù)由于設(shè)備問題丟失，最終有20 名被試（年齡18～23歲，M = 19.36 歲，SD = 1.73歲；女11人）數(shù)據(jù)進(jìn)入后續(xù)分析。

2.1.2 實驗材料

實驗中面孔圖片的原材料來自中國化面孔情緒圖片系統(tǒng)（龔栩等， 2011），選擇中性情緒圖片，并剔除愉悅度、喚醒度、優(yōu)勢度或吸引度偏離均值一個標(biāo)準(zhǔn)差以外的圖片。實驗所用的圖片，由一男一女的面孔圖片，用Morpher 2.0按兩種比例合成（男性占比為40% 或60%）。

實驗中聲音的原材料為男性和女性發(fā)出的“tete”、“l(fā)olo”等音節(jié)（F?cker et al.， 2011）。將這些聲音文件用變調(diào)軟件處理，每個聲音按每個半音變調(diào)一次，高低各六個半音。為確保合成的圖片及變調(diào)的聲音能辨識男女，且具備一定難度，正式實驗前招募另外13 名大學(xué)生被試進(jìn)行視、聽材料測評，選擇反應(yīng)時相當(dāng)，正確率在75％到90％之間的視、聽刺激作為實驗材料。這樣篩選實驗材料是為了盡可能排除視覺、聽覺通道本身的反應(yīng)時差異（Huang et al.， 2015；Yue et al.， 2015）。最后確定實驗材料為24 張圖片，12 個聲音，男性、女性各一半。

刺激通過Dell 17 寸純平CRT 顯示器呈現(xiàn)，分辨率1024×768 像素，刷新率60 Hz。實驗在Matlab2010b 上運行，通過Psychtoolbox 3.0 實現(xiàn)。

2.1.3 實驗流程

實驗采用言語工作記憶任務(wù)和性別判斷任務(wù)的雙任務(wù)范式，為兩因素被試內(nèi)設(shè)計，自變量是工作記憶負(fù)載（低負(fù)載 vs. 高負(fù)載）和靶刺激類型（視覺、聽覺 vs. 視聽靶刺激）。

實驗流程如圖1 所示。300 ms 注視點后，屏幕上會呈現(xiàn)一串?dāng)?shù)字（低負(fù)載2 位，高負(fù)載6 位），持續(xù)1000 ms，被試需要記憶這串?dāng)?shù)字。之后進(jìn)入性別判斷任務(wù)，被試需要又快又準(zhǔn)地判斷面孔和聲音的性別。單通道條件下，會呈現(xiàn)面孔（屏幕中央，視角5.7°× 5.7°）或聲音（通過頭戴式耳機(jī)同時呈現(xiàn)在兩側(cè)）；雙通道條件下，同性別的面孔和聲音同時呈現(xiàn)。面孔和聲音刺激均呈現(xiàn)700 ms。1500 ms空屏后，屏幕中央會呈現(xiàn)一個數(shù)字，被試需要按鍵輸入之前記憶數(shù)字串中該數(shù)字的下一位。當(dāng)呈現(xiàn)的數(shù)字是最后一位時，被試需要輸入第一位數(shù)字。最后呈現(xiàn)2000 ms 空屏并進(jìn)入下一個試次。

正式實驗共8 個block，每個block 有36個試次。每種條件試次數(shù)相同，不同條件隨機(jī)等概率出現(xiàn)。

2.1.4 數(shù)據(jù)分析

實驗中記錄被試對性別判斷任務(wù)的反應(yīng)時和正確率。對于反應(yīng)時，首先刪去被試的錯誤反應(yīng)及100～1500ms 以外的數(shù)據(jù)。并在不同實驗條件下，刪除平均反應(yīng)時正負(fù)3 個標(biāo)準(zhǔn)差外的數(shù)據(jù)。最后分別對反應(yīng)時和正確率進(jìn)行重復(fù)測量方差分析。

為了進(jìn)一步分析雙通道刺激的多感覺促進(jìn)效應(yīng)，即雙通道的反應(yīng)時獲益。在不同負(fù)載條件下，分別用聽覺和視覺刺激的反應(yīng)時減去視聽雙通道刺激的反應(yīng)時，得到聽覺和視覺刺激從雙通道刺激的獲益，來量化多感覺促進(jìn)效應(yīng)，并對獲益值做2（工作記憶負(fù)載）× 2（感覺通道）的重復(fù)測量方差分析。所有簡單效應(yīng)和成對比較的分析使用Bonferroni校正。另外，違反球形假設(shè)時，使用Greenhouse-Geisser 進(jìn)行校正。所有統(tǒng)計分析均使用SPSS 22.0進(jìn)行。

2.2 結(jié)果

4 總討論

本研究考察了工作記憶負(fù)載對雙通道視聽刺激注意捕獲的影響。結(jié)果發(fā)現(xiàn)，不論負(fù)載高低，相比單通道聽覺刺激，視聽雙通道刺激均能顯著捕獲注意，表現(xiàn)出更快的反應(yīng)。此外，視聽雙通道刺激的注意捕獲受到負(fù)載類型和通道類型的調(diào)節(jié)。實驗1中，隨著言語工作記憶負(fù)載升高，聽覺從視聽多感覺促進(jìn)的獲益顯著升高，而視覺從視聽多感覺促進(jìn)的獲益沒有顯著變化。實驗2 中，隨著視覺工作記憶負(fù)載升高，聽覺從視聽多感覺促進(jìn)的獲益沒有顯著變化，而視覺從視聽多感覺促進(jìn)的獲益則顯著降低。

首先，兩個實驗一致發(fā)現(xiàn)不論負(fù)載類型和水平，被試對雙通道刺激的反應(yīng)顯著快于單通道聽覺刺激，表現(xiàn)出多通道刺激更強(qiáng)的注意捕獲能力（Li et al.，2021）。多通道刺激的注意捕獲能力能夠為現(xiàn)實生活提供依據(jù)，例如汽車內(nèi)儀表盤的警報系統(tǒng)同時提供視覺警報標(biāo)志和聽覺警報能更有效地讓車主注意到異常情況（Ho et al.， 2007）。其次，我們發(fā)現(xiàn)隨著負(fù)載增加，無論是單通道還是雙通道刺激的反應(yīng)時都會增加。研究發(fā)現(xiàn)，相對于低負(fù)載條件，高負(fù)載駕駛時對警報的探測會更慢，盡管在兩種情況下對多通道警報的探測都會比單通道警報的探測要快（Marucci et al.， 2021）。

更重要的是，我們的結(jié)果支持工作記憶負(fù)載對視聽多感覺促進(jìn)效應(yīng)的影響受通道類型和負(fù)載類型的調(diào)節(jié)。實驗1 發(fā)現(xiàn)言語工作記憶負(fù)載會影響雙通道刺激的注意捕獲，表現(xiàn)為隨著負(fù)載升高，聽覺、視覺和視聽刺激的反應(yīng)速度均顯著變慢，但負(fù)載對聽覺刺激的影響顯著大于對視聽刺激的影響，這與Lunn 等人（2019）的研究結(jié)果部分一致。他們發(fā)現(xiàn)，隨著負(fù)載升高，聽覺、視覺和視聽刺激的反應(yīng)速度均顯著變慢，但負(fù)載對視覺刺激的影響顯著大于對視聽刺激的影響。隨著言語工作記憶負(fù)載升高，聽覺從多感覺促進(jìn)的獲益顯著升高，視覺從多感覺促進(jìn)的獲益沒有顯著變化。然而，在實驗2 中隨著視覺工作記憶負(fù)載升高，聽覺從多感覺促進(jìn)的獲益沒有顯著變化，視覺從多感覺促進(jìn)的獲益則顯著降低。這與兩個實驗采用不同類型的工作記憶負(fù)載相關(guān)。實驗1 中言語工作記憶任務(wù)占用了語音環(huán)路，尤其是在高負(fù)載下影響了聽覺信息的加工，因此聽覺從雙通道的獲益隨負(fù)載升高而升高。而對視覺信息來說，語音環(huán)路的占用對視覺刺激加工的影響較弱。隨著負(fù)載升高，視覺信息并不需要從聽覺信息中獲益即可完成任務(wù)，因此視覺從雙通道的獲益隨負(fù)載升高沒有顯著變化。與之相比，實驗2 中，隨著視覺工作記憶負(fù)載增加，視空間畫板受到影響，阻礙了視覺信息的加工，此時聽覺信息難以從視覺信息中獲益。與之類似，高負(fù)載下視覺刺激也無法從聽覺刺激中獲益，聽覺信息甚至?xí)蔀橐环N阻礙。考慮到兩個實驗中的高負(fù)載均未達(dá)到記憶廣度的上限（7 個數(shù)字，Luck amp; Vogel， 1997；4 個客體，王春地， 王大輝， 2021），兩個實驗中記憶任務(wù)的難度保持相當(dāng)，因此這一結(jié)果可能與當(dāng)前實驗視覺和聽覺刺激本身的性質(zhì)有關(guān)。一般認(rèn)為相比聽覺刺激，視覺刺激具有主導(dǎo)性，會提供更可靠的信息（Yueet al.， 2015）。特別是判斷性別時，視覺的面孔刺激總是具有主導(dǎo)性（Huestegge amp; Raettig， 2020），因此當(dāng)呈現(xiàn)視聽刺激時，被試依然傾向于通過視覺信息進(jìn)行性別判斷任務(wù)，幾乎很少從聽覺通道得到獲益。需要注意的是，當(dāng)前實驗的視覺面孔刺激使用Morpher 軟件進(jìn)行了處理，因此被試僅通過視覺判斷性別較難，表現(xiàn)為單通道視覺條件下正確率更低。

另一個可能的解釋是，實驗2 中視覺負(fù)載的增加占用了視空間畫板，視覺系統(tǒng)沒有剩余的資源用于與聽覺信息的交互。研究表明不同感覺通道對刺激的表征存在超模態(tài)（supramodal）和模態(tài)特異性（modality-specific） 兩種方式（Matthijssen et al.，2019）。Matthijssen 等人（2019）發(fā)現(xiàn)施加在語音環(huán)路的負(fù)載對聽覺信息影響比對視覺信息影響大，類似地，施加在視空間畫板的負(fù)載對于視覺信息的影響比對聽覺信息影響大。我們推測，當(dāng)視聽信息呈現(xiàn)后，視覺系統(tǒng)和聽覺系統(tǒng)優(yōu)先分別對視覺和聽覺信息進(jìn)行加工，這一步驟是特異于不同通道的；之后發(fā)生多通道的交互，這一階段是超模態(tài)的，而且這一過程還受到認(rèn)知資源的影響（Talsma et al.，2010）。實驗2 中沒有觀察到視覺從多通道促進(jìn)的獲益，可能是由于高負(fù)載下視覺單通道信息加工后沒有剩余資源用于多通道的交互。這一觀點也與晚期整合模型一致（Koelewijn et al.， 2010），該模型認(rèn)為不同模態(tài)的注意會特異性影響模態(tài)內(nèi)的信息加工，隨后在晚期階段發(fā)生多感覺交互。這一想法也得到其它研究的支持（Talsma amp; Woldorff， 2005）。

5 結(jié)論

本研究發(fā)現(xiàn)雙通道視聽刺激注意捕獲的能力受工作記憶負(fù)載影響。相比單通道刺激，雙通道視聽刺激能夠顯著捕獲被試注意，產(chǎn)生多感覺促進(jìn)效應(yīng)。此外，工作記憶負(fù)載類型會影響視、聽通道信息的交互，表現(xiàn)為隨著言語工作記憶負(fù)載升高，聽覺從視聽多感覺促進(jìn)的獲益會升高，而視覺從視聽多感覺促進(jìn)的獲益沒有顯著變化；隨著視覺工作記憶負(fù)載升高，聽覺從視聽多感覺促進(jìn)的獲益沒有顯著變化，視覺從視聽多感覺促進(jìn)的獲益則顯著降低。