(浙江大學(xué)心理與行為科學(xué)系,杭州 310028)

1 引言

節(jié)奏(rhythm)的概念首先來(lái)自于音樂(lè),它指的是樂(lè)句中強(qiáng)拍與弱拍的循環(huán)重復(fù)的組合,對(duì)音樂(lè)節(jié)奏的感知意味著在體驗(yàn)上將音符分組放進(jìn)有結(jié)構(gòu)的模式中(Cooper&Meyer,1960)。廣義來(lái)看節(jié)奏是事件在時(shí)間上的組織方式,砰砰的心跳,悅耳的鳥(niǎo)鳴,清晨的鬧鐘,都具有周期性的節(jié)奏特征,平時(shí)說(shuō)話時(shí)發(fā)音的長(zhǎng)短,詩(shī)詞的韻律等等也包含了節(jié)奏信息(歐陽(yáng)玥,戴志強(qiáng),2010)。廣義的節(jié)奏感知指的是人從外界刺激的時(shí)間組織中提取出節(jié)奏特征的過(guò)程,根據(jù)Patel在2006年的討論,節(jié)奏感知在認(rèn)知成分上可分為兩大方面：一是對(duì)有規(guī)律的組織方式即分組(grouping)的感知,例如音樂(lè)中的節(jié)拍(如4/4拍,以4拍為一個(gè)循環(huán)的組,其中第一拍是重音),語(yǔ)言中斷句、長(zhǎng)短、輕重帶來(lái)的分組;二是對(duì)等時(shí)性脈沖(isochronous pulse)的感知,如音樂(lè)中的固定速度(tempo),跳舞或做體操的規(guī)律性動(dòng)作。節(jié)奏感知使得人類(lèi)的自身行動(dòng)可以與外界節(jié)奏信息產(chǎn)生同步,這對(duì)于預(yù)測(cè)運(yùn)動(dòng)物體軌跡、語(yǔ)言理解和音樂(lè)表演等許多人類(lèi)行為都有重要作用(Bengtsson et al.,2009)。2006年Mauro提出“有節(jié)奏的大腦”(the rhythmic brain)的模型,論證了大腦神經(jīng)語(yǔ)言的時(shí)間特性和音樂(lè)中的節(jié)奏特性相仿,頻率、同步性和時(shí)間模式三類(lèi)時(shí)間相關(guān)的大腦神經(jīng)現(xiàn)象對(duì)應(yīng)了速度、節(jié)拍和節(jié)奏型這三種音樂(lè)節(jié)奏的基本元素,節(jié)奏是大腦神經(jīng)活動(dòng)的本質(zhì)屬性之一。

節(jié)奏領(lǐng)域的大多數(shù)研究都以聲音刺激為研究對(duì)象。對(duì)聲音的節(jié)奏感知非常普遍,人們可以快速識(shí)別出一個(gè)聽(tīng)覺(jué)刺激序列中的節(jié)奏并做出不同時(shí)間分辨率下的同步動(dòng)作(Drake,Penel,&Bigand,2000)。但節(jié)奏感知并不局限在聽(tīng)覺(jué)通道,視覺(jué)和觸動(dòng)覺(jué)刺激也能夠傳遞節(jié)奏信息。觸覺(jué)與節(jié)奏的關(guān)系緊密,它的感受機(jī)制與聽(tīng)覺(jué)類(lèi)似,內(nèi)耳的基底膜和皮膚感受器在對(duì)類(lèi)似的物理能量做出反應(yīng),機(jī)械壓力和聲波振動(dòng)一樣都有特定的振動(dòng)頻率(Occelli,Spence,&Zampini,2011)。相比之下,視覺(jué)一般被認(rèn)為對(duì)運(yùn)動(dòng)和空間信息的加工能力較強(qiáng)而對(duì)時(shí)間的分辨率較差(Wada,Kitagawa&Noguchi,2003)。早在 1969年 Handel和 Buffardi比較了個(gè)體在聽(tīng)覺(jué)、觸覺(jué)、視覺(jué)三種通道上對(duì)相同節(jié)奏序列識(shí)別快慢的差異。持續(xù)呈現(xiàn)由兩種元素(左或右)組成的固定序列的節(jié)奏刺激,要求被試正確識(shí)別出重復(fù)的序列模式,結(jié)果表明被試對(duì)聽(tīng)覺(jué)序列識(shí)別最快,觸覺(jué)次之,視覺(jué)最慢。一些后續(xù)研究得到了類(lèi)似的結(jié)果(Glenberg,Mann,Altman,Forman,&Procise,1989;Glenberg&Jona,1991;Repp&Penel,2002)。但近些年觸覺(jué)和視覺(jué)領(lǐng)域的研究有了多方面的拓展,例如加入運(yùn)動(dòng)屬性的視覺(jué)刺激可以更好地引發(fā)同步運(yùn)動(dòng)(Schmidt,Richardson,Arsenault,&Galantucci,2007;Hove,Spivey,&Krumhansl,2010),觸覺(jué)節(jié)奏可以得到和音樂(lè)節(jié)奏類(lèi)似的高級(jí)表征(Brochard,Touzalin,Després,&Dufour,2008)。多個(gè)通道之間還存在交互作用,視覺(jué)和聽(tīng)覺(jué)節(jié)奏同時(shí)呈現(xiàn)時(shí)對(duì)視覺(jué)節(jié)奏的感知會(huì)向聽(tīng)覺(jué)節(jié)奏發(fā)生偏移(Welch,DuttonHurt,&Warren,1986;Welch,1999),視覺(jué)可以與其他通道發(fā)生節(jié)奏的跨通道融合(Kuling,Kohlrausch,&Juola,2013),聽(tīng)覺(jué)與觸覺(jué)信息可以產(chǎn)生跨通道的組合引發(fā)對(duì)不同類(lèi)型節(jié)拍的感知(Huang,Gamble,Samlertsophon,Wang,&Hsiao,2012)。聽(tīng)覺(jué)通道的節(jié)奏研究由來(lái)已久,但觸動(dòng)覺(jué)、視覺(jué)及跨通道的節(jié)奏研究尚沒(méi)有得到廣泛了解,本文主要對(duì)這些領(lǐng)域的研究進(jìn)行了總結(jié)和展望。

2 不同通道的節(jié)奏線索引發(fā)的同步運(yùn)動(dòng)

音樂(lè)的律動(dòng)性會(huì)令人想要隨之運(yùn)動(dòng),這是節(jié)奏感知最常見(jiàn)的行為表現(xiàn)。大多數(shù)人類(lèi)從童年時(shí)期就表現(xiàn)出自發(fā)地隨音樂(lè)踩腳或移動(dòng)身體的現(xiàn)象(Trehub&Hannon,2006)。節(jié)奏與運(yùn)動(dòng)系統(tǒng)的緊密聯(lián)系在神經(jīng)研究領(lǐng)域也已得到證實(shí),聆聽(tīng)高律動(dòng)性的聲音刺激時(shí)運(yùn)動(dòng)皮層的皮質(zhì)脊髓束在節(jié)拍點(diǎn)上有明顯激活,聽(tīng)低律動(dòng)聲音和噪聲時(shí)則沒(méi)有(Stupacher,Hove,Novembre,Schütz-Bosbach,&Keller,2013)。不僅接受刺激時(shí)對(duì)節(jié)奏的加工需要運(yùn)動(dòng)皮層的參與,對(duì)節(jié)拍進(jìn)行主動(dòng)認(rèn)知加工的過(guò)程同樣激活了運(yùn)動(dòng)區(qū)。當(dāng)外部節(jié)奏線索較弱,需要被試通過(guò)想象主動(dòng)為外部節(jié)奏加上重音時(shí),音樂(lè)家的殼核與前運(yùn)動(dòng)皮層之間的聯(lián)系比非音樂(lè)家更緊密,由殼核、輔助運(yùn)動(dòng)區(qū)和前運(yùn)動(dòng)皮層組成的神經(jīng)網(wǎng)絡(luò)參與了時(shí)間序列組織和節(jié)奏預(yù)期的工作,對(duì)內(nèi)部節(jié)奏的產(chǎn)生起到了重要作用(Grahn&Rowe,2009)。

同步運(yùn)動(dòng)體現(xiàn)了節(jié)奏加工的本質(zhì)：掌握事件在時(shí)間上的分布規(guī)律并以此指導(dǎo)行為。因此諸多研究以手指打拍子(finger-tapping)任務(wù)作為研究范式,探討比較聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)通道的節(jié)奏引發(fā)的同步運(yùn)動(dòng)表現(xiàn)和影響因素。

2.1 視覺(jué)線索引發(fā)的同步運(yùn)動(dòng)

早期的視覺(jué)通道的研究通過(guò)與聽(tīng)覺(jué)通道的同步效果相對(duì)比,得出了視覺(jué)通道節(jié)奏感知較差,同步打拍子較不穩(wěn)定的整體結(jié)論。Glenberg等人1989年的研究發(fā)現(xiàn)被試對(duì)聽(tīng)覺(jué)節(jié)奏的打拍子再現(xiàn)比視覺(jué)更加準(zhǔn)確,1991年的后續(xù)研究又引入了兩種節(jié)奏序列,恒定組序列具有等時(shí)性特征,變化組序列不具有等時(shí)性特征,分離組序列一開(kāi)始是等時(shí)性的后來(lái)與變化組相同,結(jié)果表明兩種感覺(jué)通道與三種序列類(lèi)型有交互作用,恒定組條件下聽(tīng)覺(jué)相比視覺(jué)的優(yōu)勢(shì)性最大,這說(shuō)明聽(tīng)覺(jué)通道相比視覺(jué)通道的優(yōu)勢(shì)并不只是單純的時(shí)間定位更準(zhǔn)確,而是能夠更好地分析提取節(jié)奏信息(Glenberg et al.,1989;Glenberg&Jona,1991)。2002 年的一項(xiàng)研究采取同步打拍子范式,序列的節(jié)奏不穩(wěn)定,會(huì)引起被試打拍子過(guò)程中自發(fā)的相位修正反應(yīng)(phase correction response,PCR)。實(shí)驗(yàn)結(jié)果顯示同聽(tīng)覺(jué)刺激相比跟隨視覺(jué)刺激打拍子更加不穩(wěn)定,對(duì)刺激呈現(xiàn)偏移的探測(cè)更差,修正反應(yīng)更小(Repp&Penel,2002)。

后來(lái)的研究者提出每種感覺(jué)通道都有它獨(dú)有的加工優(yōu)勢(shì),視覺(jué)通道長(zhǎng)于加工運(yùn)動(dòng)和空間信息,但較早的研究中使用的視覺(jué)刺激都是位置、大小不變的閃光,這樣的刺激沒(méi)能發(fā)揮視覺(jué)通道的加工優(yōu)勢(shì)(Grahn,2012)。真實(shí)世界中視覺(jué)的節(jié)律信息常常是通過(guò)運(yùn)動(dòng)來(lái)傳達(dá)的,例如左右搖擺的節(jié)拍器、鳥(niǎo)兒上下拍動(dòng)的翅膀、拍動(dòng)籃球的動(dòng)作,因此使用帶有運(yùn)動(dòng)屬性的視覺(jué)刺激來(lái)表征節(jié)奏是更加合理的選擇。諸多研究表明加入運(yùn)動(dòng)屬性后跟隨視覺(jué)線索進(jìn)行同步運(yùn)動(dòng)的績(jī)效得到了提升。Hove等人2010年的研究中引入了多種其他類(lèi)型的視覺(jué)刺激作為節(jié)奏線索考察是否會(huì)帶來(lái)打拍子同步性的提升,采用的刺激包括了上下運(yùn)動(dòng)或旋轉(zhuǎn)運(yùn)動(dòng)的橫條,實(shí)際拍攝的手指運(yùn)動(dòng),密度漸變的雪花以及閃光和聲音。結(jié)果表明聲音刺激作為線索時(shí)同步績(jī)效最好,其次是和手指運(yùn)動(dòng)方向一致的視覺(jué)刺激,閃光和漸變的雪花效果最差。隨后的一項(xiàng)研究還說(shuō)明有運(yùn)動(dòng)屬性的視覺(jué)線索的振幅增大時(shí),同步任務(wù)手指打拍子的振幅也會(huì)隨之增大,進(jìn)一步表明視覺(jué)運(yùn)動(dòng)信息可以加強(qiáng)視覺(jué)節(jié)奏與肢體運(yùn)動(dòng)的同步性(Hove&Keller,2010)。

加入運(yùn)動(dòng)屬性后視覺(jué)通道的節(jié)奏感知得到了提升,但績(jī)效仍舊低于聽(tīng)覺(jué)通道(Hove et al.,2010),因此仍無(wú)法否定聽(tīng)覺(jué)通道在節(jié)奏加工中具有特殊地位的通道特異性假設(shè)(Recanzone,2003)。Hove等人2013年的研究同時(shí)考慮了刺激的連續(xù)離散屬性與感覺(jué)通道類(lèi)型兩個(gè)維度,發(fā)現(xiàn)聽(tīng)覺(jué)通道引發(fā)的同步并不總是優(yōu)于視覺(jué)通道。研究者推斷聽(tīng)覺(jué)通道擅長(zhǎng)加工離散性刺激而視覺(jué)通道更擅長(zhǎng)加工連續(xù)性刺激,以往研究將蜂鳴聲(beep)類(lèi)比為閃光(flash)進(jìn)行節(jié)奏喚起的比較是不對(duì)等的,因此該研究在視覺(jué)聽(tīng)覺(jué)、連續(xù)離散兩個(gè)維度上采用了四種同步線索進(jìn)行動(dòng)作同步任務(wù),見(jiàn)圖1。行為結(jié)果表明連續(xù)運(yùn)動(dòng)屬性增強(qiáng)了視覺(jué)同步績(jī)效,頻率連續(xù)變化屬性削弱了聽(tīng)覺(jué)同步績(jī)效,四種同步線索中蜂鳴優(yōu)于閃光但汽笛比移動(dòng)的橫條要差。腦成像結(jié)果發(fā)現(xiàn)蜂鳴聲導(dǎo)致的殼核激活最高,閃光導(dǎo)致的激活最低,另外兩種刺激沒(méi)有顯著差異,基底神經(jīng)節(jié)的激活沒(méi)有表現(xiàn)出通道特異性。這些結(jié)果表明影響節(jié)奏同步穩(wěn)定性的關(guān)鍵因素是感覺(jué)通道與外界刺激的交互作用,分離的聽(tīng)覺(jué)刺激和運(yùn)動(dòng)的視覺(jué)刺激更適應(yīng)各自通道先天的信息加工特性,可以和自身運(yùn)動(dòng)系統(tǒng)進(jìn)行更好的整合。

圖1 兩個(gè)維度上的4種刺激材料

2.2 觸動(dòng)覺(jué)線索引發(fā)的同步運(yùn)動(dòng)及交互作用

前一部分提到的同步任務(wù)中,節(jié)奏線索都是均勻的等時(shí)性刺激,屬于最簡(jiǎn)單的節(jié)奏類(lèi)型,不具有周期性的分組特征。對(duì)于聽(tīng)覺(jué)刺激,設(shè)置周期性的重音使其具有分組的節(jié)拍屬性可以增強(qiáng)人們對(duì)它的節(jié)奏感知,更好地完成打拍子任務(wù)(Keller&Repp,2005)。將節(jié)奏線索變成非均勻的強(qiáng)節(jié)拍感(strongly metric)序列同樣可以增強(qiáng)聽(tīng)覺(jué)線索的運(yùn)動(dòng)同步,但人們無(wú)法有效提取視覺(jué)節(jié)律性刺激中的周期性結(jié)構(gòu),因此研究者提出對(duì)高級(jí)分組特征的感知可能是聽(tīng)覺(jué)通道特有的(Patel,Iversen,Chen,&Repp,2005)。但觸覺(jué)通道上類(lèi)似的發(fā)現(xiàn)否定了這一觀點(diǎn),Brochard等人2008年的研究對(duì)左手指尖進(jìn)行刺激,來(lái)呈現(xiàn)和Patel采用的節(jié)奏結(jié)構(gòu)相同的觸覺(jué)刺激序列,發(fā)現(xiàn)同等時(shí)性序列相比當(dāng)觸覺(jué)刺激具有強(qiáng)節(jié)拍感時(shí)打拍子更加穩(wěn)定和準(zhǔn)確,說(shuō)明人們可以對(duì)純觸覺(jué)刺激的高級(jí)節(jié)拍特性做出和音樂(lè)節(jié)奏類(lèi)似的節(jié)奏感知。節(jié)拍特性可以在聽(tīng)覺(jué)之外的通道上得到感知并不意外,神經(jīng)方面的研究發(fā)現(xiàn)對(duì)時(shí)間周期性進(jìn)行表征的大腦區(qū)域是與感覺(jué)通道無(wú)關(guān)的。觸覺(jué)和聽(tīng)覺(jué)的節(jié)奏都激活了外側(cè)和內(nèi)側(cè)前運(yùn)動(dòng)區(qū),這是涉及刺激預(yù)測(cè)的腦區(qū);前額葉,顳葉,枕葉和小腦等負(fù)責(zé)時(shí)間結(jié)構(gòu)分析的區(qū)域同樣在兩種通道條件下都得到了激活(Bengtsson et al.,2009)。

由于觸覺(jué)和聽(tīng)覺(jué)關(guān)系緊密,感受機(jī)制類(lèi)似,單通道呈現(xiàn)觸覺(jué)通道的相關(guān)研究較少,與二者有關(guān)的研究多采取了多通道整合(multisensory integration)的角度。聽(tīng)覺(jué)與觸覺(jué)的整合現(xiàn)象非常廣泛而細(xì)微,幾乎每一次觸覺(jué)活動(dòng),如抓取物體,敲打鍵盤(pán)都會(huì)伴隨細(xì)小的聽(tīng)覺(jué)信息,同樣如電話作響等聲音的發(fā)出也伴隨著振動(dòng)(Occelli et al.,2011)。多通道整合帶來(lái)的背景與信號(hào)間的干擾效果在節(jié)奏計(jì)數(shù)任務(wù)中得到了驗(yàn)證,Bresciani等人2008年的研究中同時(shí)呈現(xiàn)閃光、指尖刺激和聲音中的兩種或三種,其中一種作為信號(hào),要求被試對(duì)其出現(xiàn)次數(shù)進(jìn)行計(jì)數(shù),其余兩種為背景干擾,信號(hào)和干擾是兩個(gè)相位錯(cuò)開(kāi)周期一樣的節(jié)奏序列。結(jié)果表明視覺(jué)作為信號(hào)最易受干擾,作為背景干擾效應(yīng)最弱;聽(tīng)覺(jué)最不易受干擾、作為背景干擾效應(yīng)最強(qiáng)。當(dāng)背景有兩個(gè)通道同時(shí)呈現(xiàn)時(shí)干擾作用大于任一個(gè)單通道,這說(shuō)明背景的節(jié)奏刺激發(fā)生了整合。類(lèi)似的整合效應(yīng)在同步任務(wù)中更加直接地反映在績(jī)效上,Elliott,Win和Welchman(2010)的研究評(píng)估了跟隨多通道線索進(jìn)行同步打拍子的表現(xiàn)。被試隨著視覺(jué)、觸覺(jué)、聽(tīng)覺(jué)中的一種或兩種線索打拍子,發(fā)現(xiàn)當(dāng)線索呈現(xiàn)時(shí)間相近時(shí),大腦依據(jù)通道在時(shí)間加工上的可靠性賦予線索不同的權(quán)重以完成最佳的多通道整合,與Bresciani,Dammeier和Ernst(2008)的結(jié)果類(lèi)似,雙通道整合引發(fā)的同步打拍子表現(xiàn)總是優(yōu)于任一個(gè)單通道。上述結(jié)果都說(shuō)明視聽(tīng)觸三通道的節(jié)奏線索在時(shí)間相近的條件下會(huì)發(fā)生自動(dòng)整合,整合后對(duì)節(jié)奏表征的貢獻(xiàn)量受到通道可靠性的影響,總體而言聽(tīng)覺(jué)、觸覺(jué)、視覺(jué)的可靠性依次降低。

除了來(lái)自指尖的被動(dòng)觸覺(jué)輸入,還有研究發(fā)現(xiàn)眼動(dòng)追蹤可以幫助提升肢體運(yùn)動(dòng)與視覺(jué)節(jié)律的同步性(Schmidt et al.,2007)。在內(nèi)隱的節(jié)奏啟動(dòng)實(shí)驗(yàn)中,被試自由地?cái)[動(dòng)單擺,同時(shí)目視前方口頭報(bào)告方框中呈現(xiàn)的字母。作為一種節(jié)奏的暗示,方框可能是靜止在屏幕中間的或者是左右移動(dòng)的,研究發(fā)現(xiàn)當(dāng)方框左右移動(dòng)時(shí)被試手中單擺的擺動(dòng)頻率會(huì)無(wú)意識(shí)地與之同步化;第二部分實(shí)驗(yàn)則外顯地要求被試讓單擺與運(yùn)動(dòng)的方框同步,并設(shè)置眼動(dòng)追蹤及不追蹤兩種條件,結(jié)果表明有眼動(dòng)追蹤的情況下同步性更高。一個(gè)可能的解釋是肢體與外界刺激的同步化取決于人接收到的外界刺激的信息的豐富程度,眼動(dòng)追蹤幫助豐富了視野捕獲到的節(jié)奏信息從而增強(qiáng)了同步化。

2.3 同步運(yùn)動(dòng)的社會(huì)互動(dòng)意義

令自身肢體運(yùn)動(dòng)與外界節(jié)奏信號(hào)同步的能力是人類(lèi)獨(dú)有的,尚未有其他物種表現(xiàn)出類(lèi)似的能力(Patel,2006),這可能與人類(lèi)高度社會(huì)化的特性有關(guān)。“社會(huì)腦假說(shuō)”(social brain hypothesis)認(rèn)為靈長(zhǎng)類(lèi)在共同生活的過(guò)程中,需要與種群內(nèi)的其他個(gè)體建立長(zhǎng)期的社會(huì)聯(lián)系,大腦這一過(guò)程中進(jìn)化出更強(qiáng)的心理歸因、意圖判斷等社會(huì)認(rèn)知能力,從而增強(qiáng)與他人的溝通合作(Dunbar,1998)。節(jié)奏感知的能力使得人類(lèi)可以完成跳舞、唱歌、演奏等群體同步活動(dòng),這樣的活動(dòng)可以培養(yǎng)成員間的良好關(guān)系,增強(qiáng)團(tuán)體凝聚力和社會(huì)連結(jié)。研究發(fā)現(xiàn)這種基于共同節(jié)奏感知的人際互動(dòng)在14個(gè)月的嬰兒身上就有體現(xiàn)。主試在有背景音樂(lè)的情況下抱著嬰兒搖晃,搖晃可能符合音樂(lè)節(jié)奏可能不符合。隨后的情景中主試向嬰兒求助,要求幫忙撿起掉落的東西,嬰兒對(duì)進(jìn)行了同步搖晃的主試做出幫助行為的概率有61%,而對(duì)沒(méi)有同步搖晃的主試只有25%(Cirelli,Einarson,&Trainor,2012)。同步搖晃無(wú)論是相位一致還是相位相反都有同等效應(yīng)(Cirelli,Einarson,&Trainor,2014),后續(xù)研究更證明這種助人性的增加只針對(duì)先前有過(guò)共同節(jié)奏活動(dòng)的特定主試,是一種有指向性的社會(huì)行為而不是心境提升等導(dǎo)致的泛化效應(yīng)(Cirelli,Wan,&Trainor,2014)。12個(gè)月的嬰兒身上同樣出現(xiàn)了類(lèi)似的效應(yīng),但9個(gè)月的嬰兒則沒(méi)有發(fā)現(xiàn),說(shuō)明嬰兒的節(jié)奏同步能力可能在1歲末的階段開(kāi)始表現(xiàn)出來(lái)(Tun?gen?,Cohe,&Fawcett,2015)。除了增強(qiáng)社會(huì)連結(jié),節(jié)奏同步能力還能增強(qiáng)群體在合作任務(wù)中的能力。同步運(yùn)動(dòng)增加了團(tuán)體成員對(duì)自身和他人行動(dòng)的知覺(jué)敏感性,在共同行動(dòng)任務(wù)中對(duì)他人的行為作出更快的反應(yīng)(Valdesolo,Ouyang,&DeSteno,2010)。

3 跨通道的時(shí)間定位影響——時(shí)間腹語(yǔ)效應(yīng)

節(jié)奏感知要引發(fā)同步運(yùn)動(dòng),其認(rèn)知基礎(chǔ)是對(duì)外在刺激的時(shí)間定位能力,研究發(fā)現(xiàn)多通道的刺激同時(shí)呈現(xiàn)時(shí)不同通道的刺激會(huì)相互作用,影響主觀時(shí)間定位。當(dāng)聲音和視覺(jué)刺激在呈現(xiàn)時(shí)刻上鄰近時(shí),知覺(jué)到的視覺(jué)刺激會(huì)向著聲音刺激出現(xiàn)的時(shí)刻發(fā)生偏移,仿佛聲音沿著時(shí)間維度拉著視覺(jué)刺激,這就是時(shí)間腹語(yǔ)效應(yīng)(temporal ventriloquism),也被稱(chēng)為聽(tīng)覺(jué)驅(qū)動(dòng)(auditory driving)或聽(tīng)覺(jué)捕捉(auditory capture)效應(yīng)。使用時(shí)間順序判斷任務(wù)測(cè)量被試分辨兩個(gè)視覺(jué)刺激時(shí)間間隔的最小可覺(jué)差,在視覺(jué)刺激呈現(xiàn)的時(shí)刻附近會(huì)播放無(wú)關(guān)聲音刺激。結(jié)果發(fā)現(xiàn)當(dāng)呈現(xiàn)順序?yàn)槁?tīng)覺(jué)?視覺(jué)?視覺(jué)?聽(tīng)覺(jué)時(shí)最小可覺(jué)差會(huì)縮小,視覺(jué)?聽(tīng)覺(jué)?聽(tīng)覺(jué)?視覺(jué)時(shí),最小可覺(jué)差增大,說(shuō)明對(duì)視覺(jué)刺激的時(shí)間感知會(huì)偏向聽(tīng)覺(jué)刺激(Morein-Zamir,Soto-Faraco,&Kingstone,2003)。Burr等人在采用中間平分法測(cè)量?jī)蓚€(gè)刺激中間的主觀時(shí)間平分點(diǎn)時(shí)同樣發(fā)現(xiàn)了這一效應(yīng)(Burr,Banks,&Morrone,2009)。

當(dāng)兩個(gè)通道的刺激都具有節(jié)奏特性并同時(shí)呈現(xiàn)時(shí),時(shí)間腹語(yǔ)效應(yīng)得到了廣泛的驗(yàn)證和探討。早期研究發(fā)現(xiàn)當(dāng)速率不同的重復(fù)聲音序列和閃光序列同時(shí)呈現(xiàn)時(shí),被試感知到的閃光的速率會(huì)向聲音的速率發(fā)生偏移(Welch et al.,1986),聽(tīng)覺(jué)序列的速率加快時(shí),雖然視覺(jué)節(jié)律的速率維持不變,被試也會(huì)報(bào)告視覺(jué)節(jié)律在加快(Welch,1999)。進(jìn)一步地,有研究者比較了視覺(jué)節(jié)奏的辨別受到同通道或者跨通道節(jié)奏序列干擾的情況,發(fā)現(xiàn)聽(tīng)覺(jué)對(duì)視覺(jué)的干擾大于視覺(jué)對(duì)視覺(jué)的干擾(Guttman,Gilroy,&Blake,2005)。時(shí)間腹語(yǔ)效應(yīng)不僅僅體現(xiàn)在速度和節(jié)奏辨認(rèn)任務(wù)上,Repp和Penel(2004)的研究表明節(jié)奏與肢體同步的任務(wù)中同樣存在時(shí)間腹語(yǔ)效應(yīng)。時(shí)間腹語(yǔ)效應(yīng)被認(rèn)為支持了節(jié)奏的聽(tīng)覺(jué)編碼假設(shè),即使節(jié)奏信息由視覺(jué)通道呈現(xiàn),仍然會(huì)自動(dòng)化地登記并記憶為聽(tīng)覺(jué)編碼。

但如前文所述,節(jié)奏?肢體同步領(lǐng)域的研究發(fā)現(xiàn)運(yùn)動(dòng)屬性可以增加視覺(jué)通道的節(jié)奏感知。有實(shí)驗(yàn)發(fā)現(xiàn)如果對(duì)視覺(jué)信息進(jìn)行修飾,視覺(jué)節(jié)奏也能對(duì)聽(tīng)覺(jué)節(jié)奏產(chǎn)生一定程度的捕捉效應(yīng)。令被試觀看鐘表,鐘表的轉(zhuǎn)動(dòng)同時(shí)包括了視覺(jué)和聽(tīng)覺(jué)節(jié)奏,被試要按鍵指示視覺(jué)信號(hào)或聽(tīng)覺(jué)信號(hào)出現(xiàn)的時(shí)間,發(fā)現(xiàn)頻率為10Hz的聲音序列能夠影響7Hz到22Hz的視覺(jué)序列;閃爍向聲音的偏移縮小了52%的節(jié)奏不一致,而聲音向閃爍的偏移縮小了13%的不一致(Fendrich&Corballis,2001)。Su和Jonikaitis(2011)的研究中要求被試判斷兩段聽(tīng)覺(jué)節(jié)奏的快慢,第二段節(jié)奏播放前觀看從屏幕中間向屏幕邊緣擴(kuò)大運(yùn)動(dòng)的視覺(jué)刺激,造成一種物體在靠近被試的深度感覺(jué),結(jié)果發(fā)現(xiàn)當(dāng)點(diǎn)以加速度運(yùn)動(dòng)時(shí),被試傾向于將第一段節(jié)律判斷得比實(shí)際更快,點(diǎn)減速運(yùn)動(dòng)時(shí),被試傾向于將節(jié)律判斷得慢。盡管該研究中兩類(lèi)刺激并非同步呈現(xiàn),但也從側(cè)面說(shuō)明了運(yùn)動(dòng)的視覺(jué)刺激可以影響對(duì)聽(tīng)覺(jué)節(jié)奏的感知。

4 后天經(jīng)驗(yàn)對(duì)視覺(jué)節(jié)奏感知的強(qiáng)化

同步運(yùn)動(dòng)和時(shí)間腹語(yǔ)效應(yīng)領(lǐng)域的多數(shù)研究都表明視覺(jué)通道在節(jié)奏加工中處于劣勢(shì),但一些研究者從發(fā)展的角度入手,試圖鑒別通道差異是先天還是后天的,研究結(jié)果表明更多的后天經(jīng)驗(yàn)可以增強(qiáng)視覺(jué)通道的節(jié)奏感知能力。早先研究發(fā)現(xiàn)聽(tīng)覺(jué)與視覺(jué)的節(jié)奏序列同時(shí)呈現(xiàn)時(shí),視覺(jué)總是更容易受到聽(tīng)覺(jué)的干擾,視覺(jué)則無(wú)法干擾聽(tīng)覺(jué)(Welch et al.,1986;Repp&Penel 2004;Guttman et al.,2005),但在運(yùn)動(dòng)屬性和視覺(jué)專(zhuān)家兩方面因素的作用下Hove等人發(fā)現(xiàn)視覺(jué)節(jié)奏的干擾作用可以和聽(tīng)覺(jué)一樣有效。該研究在目標(biāo)?干擾子范式中采用上下運(yùn)動(dòng)的彈球(bouncing ball)作為視覺(jué)刺激,與聲音刺激進(jìn)行動(dòng)作同步任務(wù)的干擾效應(yīng)的對(duì)比,被試包括了聽(tīng)覺(jué)專(zhuān)家(音樂(lè)人)和視覺(jué)專(zhuān)家(電子游戲玩家和球類(lèi)運(yùn)動(dòng)員)兩類(lèi)。結(jié)果表明,對(duì)聽(tīng)覺(jué)專(zhuān)家而言聽(tīng)覺(jué)通道的干擾效果強(qiáng)于視覺(jué),視覺(jué)專(zhuān)家則相反,將被試因素平衡以后干擾子在視聽(tīng)通道上沒(méi)有主效應(yīng)(Hove,Iversen,Zhang,&Repp,2013b)。不同職業(yè)可以導(dǎo)致通道熟悉性的差異,聽(tīng)覺(jué)缺陷則帶來(lái)了更大的后天經(jīng)驗(yàn)差異。Iversen等人2015年的研究采用了閃光、上下運(yùn)動(dòng)的彈球、音調(diào)三種節(jié)奏刺激和聽(tīng)力正常、聽(tīng)力喪失兩類(lèi)被試。實(shí)驗(yàn)結(jié)果首先表明正常人在彈球和音調(diào)兩種條件下同步穩(wěn)定性沒(méi)有差異,印證了加入運(yùn)動(dòng)屬性對(duì)視覺(jué)節(jié)奏感知的提升作用。采用閃光刺激時(shí)聾人打拍子的穩(wěn)定性好于正常被試;采用彈球作為刺激時(shí),兩類(lèi)被試的打拍子穩(wěn)定性沒(méi)有差異,進(jìn)一步分析拍子間時(shí)距(inter-tap-interval,ITI)的自相關(guān)發(fā)現(xiàn)聽(tīng)力喪失被試對(duì)運(yùn)動(dòng)的視覺(jué)刺激產(chǎn)生了同正常人對(duì)聽(tīng)覺(jué)刺激類(lèi)似的高級(jí)節(jié)奏加工?？梢?jiàn)豐富的后天經(jīng)驗(yàn)可以對(duì)視覺(jué)節(jié)奏感知產(chǎn)生很大的強(qiáng)化作用。

5 節(jié)奏對(duì)注意的同步調(diào)節(jié)作用

5.1 腦波同步效應(yīng)

節(jié)奏不僅引發(fā)人們外在的行為同步化,腦波研究還表明聽(tīng)覺(jué)的節(jié)奏刺激對(duì)腦波具有同步調(diào)節(jié)效應(yīng),會(huì)使α波與?波的活動(dòng)與外在節(jié)奏一致化(Snyde&Large,2005;Fujioka,Trainor,Large,&Ross,2009),當(dāng)聽(tīng)覺(jué)刺激停止后,根據(jù)后續(xù)的腦電記錄仍可以以一定的準(zhǔn)確率辨別出先前節(jié)奏的模式(Stober,Cameron,&Grahn,2014)。同其他領(lǐng)域視覺(jué)的劣勢(shì)表現(xiàn)不同,視覺(jué)的節(jié)奏刺激同樣對(duì)腦波表現(xiàn)出同步調(diào)節(jié)作用(Rohenkoh&Nobre,2011;Mathewson et al.,2012)。研究表明α波的相位可以預(yù)測(cè)隨后的視覺(jué)探測(cè)水平和視覺(jué)刺激引起的激活的等級(jí),當(dāng)視覺(jué)刺激呈現(xiàn)在P1和P2波由于相位震蕩導(dǎo)致活動(dòng)較弱的階段時(shí),皮質(zhì)激活在刺激呈現(xiàn)后被抑制,環(huán)境刺激達(dá)到意識(shí)探測(cè)水平的概率降低,觀察者更不容易偵查到目標(biāo)(Mathewson,Gratton,Fabiani,Beck,&Ro,2009)。在這一研究的基礎(chǔ)上,Rohenkohl和Nobre2011年的研究引入了外界的視覺(jué)節(jié)奏刺激,發(fā)現(xiàn)它可以調(diào)節(jié)α波的活動(dòng)使之同步,進(jìn)而調(diào)節(jié)不同時(shí)間點(diǎn)上的視覺(jué)探測(cè)任務(wù)的績(jī)效。和無(wú)節(jié)奏條件相減后有節(jié)奏條件下的結(jié)果表明α波的活動(dòng)水平在目標(biāo)刺激即將出現(xiàn)前達(dá)到最大,這說(shuō)明被試已經(jīng)產(chǎn)生了內(nèi)在節(jié)律,對(duì)刺激的下一次出現(xiàn)有期待性注意。行為數(shù)據(jù)也表明短間隔條件下有節(jié)奏組的探測(cè)績(jī)效高于另外兩組。Mathewson等在2012年采用固定間隔呈現(xiàn)的環(huán)狀視覺(jué)刺激作為線索,在oddball任務(wù)中同樣發(fā)現(xiàn)了節(jié)奏條件下α波的同步化和行為反應(yīng)的易化。Lakatos等(2012)采用視覺(jué)聽(tīng)覺(jué)交替的線索,發(fā)現(xiàn)初級(jí)視覺(jué)皮層的δ波同樣反映了注意與節(jié)奏的同步化,并通過(guò)任務(wù)績(jī)效體現(xiàn)出來(lái)。

主動(dòng)的觸覺(jué)同步運(yùn)動(dòng)則可以加強(qiáng)聲音節(jié)奏引發(fā)的節(jié)奏預(yù)期。播放聲音節(jié)奏的同時(shí)要求被試加上主動(dòng)的同步踏腳或用手按壓握力計(jì)運(yùn)動(dòng)后,節(jié)奏感知帶來(lái)的時(shí)間預(yù)測(cè)效應(yīng)被加強(qiáng),同沒(méi)有加入主動(dòng)運(yùn)動(dòng)的情況相比P300波的振幅更大,且被試的同步運(yùn)動(dòng)穩(wěn)定性和P300波的潛伏期、反應(yīng)時(shí)都有正相關(guān)(Schmidt-Kassow,Heinemann,Abel,&Kaiser,2013)。

5.2 節(jié)奏對(duì)注意的多通道調(diào)節(jié)

節(jié)奏感知的進(jìn)化意義之一在于產(chǎn)生期待性注意,使個(gè)體對(duì)外界事件在時(shí)間上的發(fā)生產(chǎn)生預(yù)期,幫助完成相關(guān)活動(dòng)。注意作為一種資源有限提供的認(rèn)知活動(dòng),其活動(dòng)強(qiáng)度并不能維持在恒定的高水平,而是處于振蕩的狀態(tài)。節(jié)律理論(Rhythmic Theory)認(rèn)為內(nèi)部感知的節(jié)律會(huì)和外部世界的時(shí)間結(jié)構(gòu)同步化(Jones,1976),當(dāng)外部事件處于動(dòng)態(tài)變化時(shí),要達(dá)到同步化的注意就需要保證注意在刺激發(fā)生時(shí)間前集中并指向?qū)ο?Jones等人將這樣的注意調(diào)節(jié)稱(chēng)作期待性注意。節(jié)律性的外部刺激可引起期待性注意,表現(xiàn)為刺激出現(xiàn)在節(jié)律點(diǎn)時(shí)對(duì)其加工的易化,或精確度提高,這一模型稱(chēng)為同步模型(Jones,Moynihan,MacKenzie,&Puente,2002)。腦波同步效應(yīng)為同步模型提供了神經(jīng)證據(jù)上的支持;在行為實(shí)驗(yàn)中,同步模型更是在聽(tīng)覺(jué)、視覺(jué)通道以及線索任務(wù)通道不一致的情況下都得到了驗(yàn)證。

研究表明節(jié)奏對(duì)注意在時(shí)間上的調(diào)節(jié)可以發(fā)生在不同通道并有正確率、眼動(dòng)潛伏期等多種表現(xiàn)。Jones等人(2002)的研究中首先向被試呈現(xiàn)一個(gè)標(biāo)準(zhǔn)音調(diào),然后內(nèi)插8個(gè)頻率各異的等時(shí)音調(diào),最后呈現(xiàn)一個(gè)比較音調(diào),被試的任務(wù)是判斷比較音調(diào)是否比標(biāo)準(zhǔn)音調(diào)高。實(shí)驗(yàn)結(jié)果表明,當(dāng)比較音調(diào)出現(xiàn)在節(jié)拍點(diǎn)上時(shí)被試的判讀正確率最高,呈現(xiàn)時(shí)間與節(jié)拍點(diǎn)相隔越長(zhǎng),被試正確率越低。Miller,Carlson和McAuley(2013)采用眼動(dòng)追蹤目標(biāo)位置的任務(wù),同時(shí)播放聽(tīng)覺(jué)節(jié)奏信號(hào),目標(biāo)位置變動(dòng)的時(shí)刻可能和節(jié)奏符合或不符合,結(jié)果表明位置變動(dòng)時(shí)刻和節(jié)奏一致時(shí)眼動(dòng)的潛伏期更短;將任務(wù)換成對(duì)視覺(jué)目標(biāo)的形狀變化進(jìn)行反應(yīng)的按鍵任務(wù)后得到了類(lèi)似的結(jié)果,變化時(shí)刻和節(jié)奏一致時(shí)反應(yīng)正確率最高(Miller et al.,2013)。在視覺(jué)通道,4.1部分所述的研究均發(fā)現(xiàn)了行為績(jī)效上視覺(jué)節(jié)奏對(duì)節(jié)拍點(diǎn)上探測(cè)任務(wù)的易化作用(Rohenkoh&Nobre,2011;Mathewson et al.,2012)。

節(jié)奏對(duì)注意的調(diào)節(jié)也可以跨通道發(fā)生。Escoffier,Sheng和Schirmer(2010)研究了聽(tīng)覺(jué)節(jié)奏對(duì)視覺(jué)任務(wù)的跨通道影響。研究中被試的任務(wù)是判斷屏幕上呈現(xiàn)的物體圖片是正立還是倒立的,圖片呈現(xiàn)前播放具有節(jié)拍屬性的非均勻聽(tīng)覺(jué)刺激,圖片呈現(xiàn)的時(shí)間點(diǎn)可能在節(jié)拍點(diǎn)上也可能不在。結(jié)果發(fā)現(xiàn)當(dāng)圖片在節(jié)拍點(diǎn)上呈現(xiàn)時(shí)反應(yīng)時(shí)最短,而空白組反應(yīng)時(shí)最長(zhǎng)。注意對(duì)人類(lèi)認(rèn)知加工有著泛化的影響,根據(jù)同步模型可以推斷,無(wú)論哪個(gè)通道的節(jié)奏引發(fā)了注意在時(shí)間上的同步分配,其他通道的認(rèn)知任務(wù)都可能受到影響。Escoffier等人(2010)的研究證實(shí)了聽(tīng)覺(jué)節(jié)奏對(duì)視覺(jué)任務(wù)的影響,但目前還沒(méi)有研究證實(shí)視覺(jué)節(jié)律刺激是否能影響聽(tīng)覺(jué)任務(wù)。

6 觸覺(jué)與聽(tīng)覺(jué)對(duì)節(jié)拍類(lèi)型的整合表征

音樂(lè)當(dāng)中的節(jié)奏不僅具有等時(shí)性還具有分組特性,分組的不同構(gòu)成了不同的節(jié)拍類(lèi)型。對(duì)節(jié)拍類(lèi)型的判斷除了加工等時(shí)性,還要對(duì)節(jié)奏的周期性模式產(chǎn)生加工,是更高級(jí)的節(jié)奏感知。研究發(fā)現(xiàn)節(jié)拍類(lèi)型可以通過(guò)視覺(jué)觸覺(jué)的整合表征得到更強(qiáng)感知,整合失敗時(shí)則會(huì)有較大干擾作用。Huang等人(2012)采用節(jié)拍辨別任務(wù)(判斷是兩拍子還是三拍子)發(fā)現(xiàn)觸覺(jué)通道和聽(tīng)覺(jué)通道的單通道績(jī)效相當(dāng)(70%～85%),雙通道同時(shí)呈現(xiàn)相同序列時(shí)正確率達(dá)到90%。當(dāng)節(jié)拍重音都放在一個(gè)通道而另一個(gè)通道只呈現(xiàn)等時(shí)性刺激時(shí)正確率仍然較高(70%～90%),重音平均分配在兩個(gè)通道時(shí)正確率下降到60%,這是由于對(duì)兩個(gè)通道的重音信息的加工需要通道間的注意轉(zhuǎn)換。研究者還探討了兩通道節(jié)拍不同時(shí)的干擾作用,觸覺(jué)通道作為干擾子時(shí)正確率尚可(60%),聽(tīng)覺(jué)通道作為干擾子時(shí)正確率很低(10%)。

原本不具有周期性節(jié)拍屬性的等時(shí)性聲音刺激可以被不同的觸覺(jué)刺激賦予不同的節(jié)拍,Phillips-Silver和Trainor的一系列研究對(duì)此作出了有力說(shuō)明。對(duì)7個(gè)月的嬰兒播放沒(méi)有重音的等時(shí)性聲音刺激,同時(shí)主試在二拍子或三拍子的重音節(jié)拍點(diǎn)上搖晃嬰兒,嬰兒習(xí)慣化后播放有重音的聽(tīng)覺(jué)節(jié)奏測(cè)量嬰兒偏好,發(fā)現(xiàn)當(dāng)播放的節(jié)奏類(lèi)型與之前雙通道組合表征的類(lèi)型一致時(shí)注意時(shí)間更長(zhǎng)(Phillips-Silver&Trainor,2005),將對(duì)嬰兒的搖晃改為被試主動(dòng)發(fā)出的彎曲膝蓋的動(dòng)作后,該系列研究在成年人身上也得到了相同的結(jié)果(Phillips-Silver&Trainor,2007)。當(dāng)嬰兒和成年人無(wú)自身運(yùn)動(dòng),只是被動(dòng)觀看運(yùn)動(dòng)信息的情況下不會(huì)發(fā)生視覺(jué)與聽(tīng)覺(jué)的組合表征,這說(shuō)明盡管視覺(jué)和聽(tīng)覺(jué)信息的整合可以加強(qiáng)同步運(yùn)動(dòng)(Bresciani et al.,2008),但可能無(wú)法整合產(chǎn)生節(jié)拍表征。嬰兒在產(chǎn)前就開(kāi)始通過(guò)本體感覺(jué)和聽(tīng)覺(jué)感受節(jié)奏信息,研究發(fā)現(xiàn)妊娠的第12周起嬰兒的活動(dòng)就開(kāi)始和母親的心跳出現(xiàn)同步(DiPietro et al.,2006),2～3個(gè)月的嬰兒能察覺(jué)聽(tīng)覺(jué)節(jié)律的刺激呈現(xiàn)間隔的改變以及間隔不變的情況下刺激順序的改變(Demany,McKenzie,&Vurpillot,1977),視覺(jué)能力的發(fā)展則更晚,這可能決定了觸覺(jué)和聽(tīng)覺(jué)在節(jié)奏感知上聯(lián)系更加緊密。身體不同部位的運(yùn)動(dòng)產(chǎn)生的觸動(dòng)覺(jué)輸入在節(jié)奏感知中有不同的重要性,Phillips-Silver和Trainor(2007)的后續(xù)實(shí)驗(yàn)發(fā)現(xiàn),前庭覺(jué)輸入是觸動(dòng)覺(jué)中產(chǎn)生節(jié)奏編碼的主導(dǎo)輸入,實(shí)驗(yàn)中被試主動(dòng)彎曲膝蓋帶動(dòng)了全身的晃動(dòng)。Phillips-Silver和Trainor 2008年的實(shí)驗(yàn)則通過(guò)讓被試靠在可以晃動(dòng)的床上,制造了被動(dòng)全身運(yùn)動(dòng)、主動(dòng)的腿部彎曲(上半身不動(dòng))、主動(dòng)的頭部運(yùn)動(dòng)(頸部以下不動(dòng))三種條件,結(jié)果發(fā)現(xiàn)為了和聲音節(jié)奏整合產(chǎn)生節(jié)拍,頭部運(yùn)動(dòng)是必須的,只進(jìn)行腿部彎曲運(yùn)動(dòng)的被試無(wú)法將聲音測(cè)試階段的節(jié)奏類(lèi)型和雙通道階段的類(lèi)型相匹配(Phillips-Silver&Trainor,2008)。前庭覺(jué)是內(nèi)耳維持軀體平衡的感覺(jué),可見(jiàn)產(chǎn)生節(jié)拍加工需要使大腦感知到軀體的平衡、位置信息的變化,而不僅僅是肌肉運(yùn)動(dòng)。

7 總結(jié)與展望

節(jié)奏感知作為一種人類(lèi)獨(dú)有的認(rèn)知現(xiàn)象,可以在不同通道上發(fā)生。本文歸納了近年來(lái)與視覺(jué)、觸動(dòng)覺(jué)以及多通道交互有關(guān)的節(jié)奏感知研究,取得的進(jìn)展可以總結(jié)為以下幾大方面：(1)總體而言聽(tīng)覺(jué)是節(jié)奏加工中最具優(yōu)勢(shì)的通道,觸動(dòng)覺(jué)其次,視覺(jué)最弱;(2)視覺(jué)節(jié)奏受到聽(tīng)覺(jué)節(jié)奏在時(shí)間定位上的捕捉;(3)通過(guò)將運(yùn)動(dòng)信息加入視覺(jué)節(jié)奏以及增強(qiáng)后天經(jīng)驗(yàn),視覺(jué)節(jié)奏感知可以得到較大程度的強(qiáng)化;(4)節(jié)奏刺激對(duì)腦波具有同步調(diào)節(jié)效應(yīng),進(jìn)而調(diào)節(jié)注意并增強(qiáng)節(jié)拍點(diǎn)上的任務(wù)績(jī)效,這種易化作用可以在視覺(jué)、聽(tīng)覺(jué)單通道上或者跨通道地出現(xiàn);(5)觸動(dòng)覺(jué)與聽(tīng)覺(jué)在節(jié)奏感知中聯(lián)系緊密,作為節(jié)奏線索時(shí)二者有著良好的多通道整合,同步肢體運(yùn)動(dòng)則是節(jié)奏感知重要的行為表現(xiàn),并可以作為一種社會(huì)互動(dòng)增強(qiáng)人際連結(jié)。

今后多通道節(jié)奏感知領(lǐng)域的研究有以下幾個(gè)方面值得關(guān)注：(1)其他類(lèi)型運(yùn)動(dòng)信息對(duì)視覺(jué)節(jié)奏感知的促進(jìn)作用：現(xiàn)實(shí)中的運(yùn)動(dòng)信息多種多樣,目前研究加入的多是二維方向上來(lái)回運(yùn)動(dòng)或連續(xù)運(yùn)動(dòng)的屬性以增強(qiáng)節(jié)奏感知,但大多數(shù)視聽(tīng)對(duì)比研究中視覺(jué)通道的績(jī)效仍處于劣勢(shì),只有少數(shù)研究中二者可以達(dá)到相同績(jī)效(Hove,Fairhurst,Kotz,& Keller,2013;Iversen,Patel,Nicodemus,&Emmorey,2015),何種運(yùn)動(dòng)信息可以帶來(lái)最穩(wěn)定的節(jié)奏感知提升仍有待探討。諸如往復(fù)擺動(dòng)、刺激大小的變化、形狀的變化、立體空間的運(yùn)動(dòng)都值得嘗試;(2)同音樂(lè)節(jié)奏類(lèi)似的更多高級(jí)節(jié)奏加工能否在多通道整合的情況下得到感知：目前研究已經(jīng)發(fā)現(xiàn)觸覺(jué)和聽(tīng)覺(jué)的整合可以帶來(lái)節(jié)拍感知,但當(dāng)前研究的任務(wù)只是對(duì)節(jié)拍類(lèi)型作出判斷,而音樂(lè)可以采用多種節(jié)奏型來(lái)傳達(dá)豐富的律動(dòng),更加復(fù)雜的節(jié)奏能否通過(guò)多通道整合產(chǎn)生表征,并在同步運(yùn)動(dòng)等行為上得到表現(xiàn)值得探索;(3)節(jié)奏對(duì)注意的跨通道調(diào)節(jié)作用的研究剛剛開(kāi)始,目前僅發(fā)現(xiàn)聽(tīng)覺(jué)節(jié)奏對(duì)視覺(jué)任務(wù)可以產(chǎn)生跨通道調(diào)節(jié),視覺(jué)對(duì)聽(tīng)覺(jué)以及觸覺(jué)的加入有待探討;該領(lǐng)域研究同樣涉及了前面提到的高級(jí)節(jié)奏加工問(wèn)題,更復(fù)雜的節(jié)奏能否引起注意的同步化值得探討。

歐陽(yáng)玥,戴志強(qiáng).(2010).音樂(lè)節(jié)拍認(rèn)知的研究評(píng)述.心理科學(xué)進(jìn)展,18(11),1692–1699.

Bengtsson,S.L.,Ullén,F.,Ehrsson,H.H.,Hashimoto,T.,Kito,T.,Naito,E.,…Sadato,N.(2009).Listening to rhythms activates motor and premotor cortices.Cortex,45(1),62–71.

Bresciani,J.P.,Dammeier,F.,&Ernst,M.O.(2008).Tri-modalintegration ofvisual,tactile and auditory signals for the perception of sequences of events.Brain Research Bulletin,75(6),753–760.

Brochard,R.,Touzalin,P.,Després,O.,&Dufour,A.(2008).Evidence of beat perception via purely tactile stimulation.Brain Research,1223,59–64.

Burr,D.,Banks,M.S.,&Morrone,M.C.(2009).Auditory dominance overvision in the perception ofinterval duration.Experimental Brain Research,198(1),49–57.

Cirelli,L.K.,Einarson,K.M.,&Trainor,L.J.(2012).Bouncing babies to the beat:Music and helping behaviour in infancy.InProceedings of the12th International Conference on Music Perception and Cognition and the 8th Triennial Conference of the European Society for the Cognitive Sciences of Music.Thessaloniki,Greece.

Cirelli,L.K.,Einarson,K.M.,&Trainor,L.J.(2014).Interpersonal synchrony increases prosocial behavior in infants.Developmental Science,17(6),1003–1011.

Cirelli,L.K.,Wan,S.J.,& Trainor,L.J.(2014).Fourteen-month-old infants use interpersonal synchrony as a cue to direct helpfulness.Philosophical Transactions of the Royal Society of London B:Biological Sciences,369(1658),20130400.

Cooper,G.,&Meyer,L.B.(1960).The rhythmic structure of music.Chicago:The University of Chicago.

Demany,L.,McKenzie,B.,&Vurpillot,E.(1977).Rhythm perception in early infancy.Nature,266(5604),718–719.

DiPietro,J.A.,Caulfield,L.E.,Irizarry,R.A.,Chen,P.,Merialdi,M.,&Zavaleta,N.(2006).Prenatal development of intrafetal and maternal-fetal synchrony.Behavioral Neuroscience,120(3),687–701.

Drake,C.,Penel,A.,&Bigand,E.(2000).Tapping in time with mechanically and expressively performed music.Music Perception:An Interdisciplinary Journal,18,1–23.

Dunbar,R.I.M.(1998).The social brain hypothesis.Evolutionary Anthropology:Issues,News,and Reviews,6(5),178–190.

Elliott,M.T.,Wing,A.M.,&Welchman,A.E.(2010).Multisensory cues improve sensorimotor synchronisation.European Journal of Neuroscience,31(10),1828–1835.

Escoffier,N.,Sheng,D.Y.J.,& Schirmer,A.(2010).Unattended musical beats enhance visual processing.Acta Psychologica,135(1),12–16.

Fendrich,R.,&Corballis,P.M.(2001).The temporal crosscapture of audition and vision.Perception&Psychophysics,63(4),719–725.

Fujioka,T.,Trainor,L.J.,Large,E.W.,&Ross,B.(2009).Beta and gamma rhythms in human auditory cortex during musical beat processing.Annals of the New York Academy of Sciences,1169(1),89–92.

Glenberg,A.M.,Mann,S.,Altman,L.,Forman,T.,&Procise,S.(1989).Modality effects in the coding reproduction of rhythms.Memory&Cognition,17(4),373–383.

Glenberg,A.M.,&Jona,M.(1991).Temporal coding in rhythm tasks revealed by modality effects.Memory&Cognition,19(5),514–522.

Grahn,J.A.,& Rowe,J.B.(2009).Feeling the beat:Premotor and striatalinteractions in musicians and nonmusicians during beat perception.The Journal of Neuroscience,29(23),7540–7548.

Grahn,J.A.(2012).See what I hear?Beat perception in auditory and visual rhythms.Experimental Brain Research,220(1),51–61.

Guttman,S.E.,Gilroy,L.A.,&Blake,R.(2005).Hearing what the eyes see:Auditory encoding of visual temporal sequences.Psychological Science,16(3),228–235.

Handel,S.,&Buffardi,L.(1969).Using several modalities to perceive one temporal pattern.Quarterly Journal of Experimental Psychology,21(3),256–266.

Hove,M.J.,Spivey,M.J.,&Krumhansl,C.L.(2010).Compatibility of motion facilitates visuomotor synchronization.Journal of Experimental Psychology:Human Perception and Performance,36(6),1525–1534.

Hove,M.J.,&Keller,P.E.(2010).Spatiotemporal relations and movement trajectories in visuomotor synchronization.Music Perception:An Interdisciplinary Journal,28(1),15–26.

Hove,M.J.,Fairhurst,M.T.,Kotz,S.A.,&Keller,P.E.(2013).Synchronizing with auditory and visual rhythms:An fMRI assessment of modality differences and modality appropriateness.NeuroImage,67,313–321.

Hove,M.J.,Iversen,J.R.,Zhang,A.,&Repp,B.H.(2013).Synchronization with competing visualand auditory rhythms:Bouncing ball meets metronome.Psychological Research,77(4),388–398.

Huang,J.,Gamble,D.,Sarnlertsophon,K.,Wang,X.Q.,&Hsiao,S.(2012).Integration of auditory and tactile inputs in musical meter perception.InAdvances in experimental medicine and biology(vol.787,pp.453–461).New York:Springer.

Iversen,J.R.,Patel,A.D.,Nicodemus,B.,&Emmorey,K.(2015).Synchronization to auditory and visual rhythms in hearing and deaf individuals.Cognition,134,232–244.

Jones,M.R.(1976).Time,our lost dimension:Toward a new theory of perception,attention,and memory.Psychological Review,83(5),323–355.

Jones,M.R.,Moynihan,H.,MacKenzie,N.,&Puente,J.(2002).Temporal aspects of stimulus-driven attending in dynamic arrays.Psychological Science,13(4),313–319.

Keller,P.E.,& Repp,B.H.(2005).Staying offbeat:Sensorimotor syncopation with structured and unstructured auditory sequences.Psychological Research,69(4),292–309.

Kuling,I.A.,Kohlrausch,A.,& Juola,J.F.(2013).Quantifying temporal ventriloquism in audiovisual synchrony perception.Attention,Perception,&Psychophysics,75(7),1583–1599.

Lakatos,P.,Karmos,G.,Mehta,A.D.,Ulbert,I.,&Schroeder,C.E.(2008).Entrainment of neuronal oscillations as a mechanism of attentional selection.Science,320(5872),110–113.

Mathewson,K.E.,Gratton,G.,Fabiani,M.,Beck,D.M.,&Ro,T.(2009).To see or not to see:Prestimulus α phase predicts visual awareness.The Journal of Neuroscience,29(9),2725–2732.

Mathewson,K.E.,Prudhomme,C.,Fabiani,M.,Beck,D.M.,Lleras,A.,&Gratton,G.(2012).Making waves in the stream of consciousness:Entraining oscillations in EEG alpha and fluctuations in visual awareness with rhythmic visual stimulation.Journal of Cognitive Neuroscience,24(12),2321–2333.

Mauro,D.G.(2006).The rhythmic brain.InICCS.5th International Conference of the Cognitive Science(pp.163–164).

Miller,J.E.,Carlson,L.A.,&McAuley,J.D.(2013).When what you hear influences when you see:Listening to an auditory rhythm influences the temporal allocation of visual attention.Psychological Science,24(1),11–18.

Morein-Zamir,S.,Soto-Faraco,S.,&Kingstone,A.(2003).Auditory capture of vision: Examining temporal ventriloquism.Cognitive Brain Research,17(1),154–163.

Occelli,V.,Spence,C.,&Zampini,M.(2011).Audiotactile interactions in temporal perception.Psychonomic Bulletin&Review,18(3),429–454.

Patel,A.D.,Iversen,J.R.,Chen,Y.Q.,&Repp,B.H.(2005).The influence of metricality and modality on synchronization with a beat.Experimental Brain Research,163(2),226–238.

Patel,A.D.(2006).Musical rhythm,linguistic rhythm,and human evolution.Music Perception:An Interdisciplinary Journal,24,99–104.

Phillips-Silver,J.,&Trainor,L.J.(2005).Feeling the beat:Movement influences infant rhythm perception.Science,308(5727),1430–1430.

Phillips-Silver,J.,&Trainor,L.J.(2007).Hearing what the body feels:Auditory encoding of rhythmic movement.Cognition,105(3),533–546.

Phillips-Silver,J.,& Trainor,L.J.(2008).Vestibular influence on auditory metrical interpretation.Brain and Cognition,67(1),94–102.

Recanzone,G.H.(2003).Auditory influences on visual temporal rate perception.Journal of Neurophysiology,89(2),1078–1093.

Repp,B.H.,&Penel,A.(2002).Auditory dominance in temporal processing:New evidence from synchronization with simultaneous visual and auditory sequences.Journal ofExperimentalPsychology:Human Perception and Performance,28(5),1085–1099.

Repp,B.H.,&Penel,A.(2004).Rhythmic movement is attracted more strongly to auditory than to visual rhythms.Psychological Research,68(4),252–270.

Rohenkohl,G.,&Nobre,A.C.(2011).Alpha oscillations related to anticipatory attention follow temporal expectations.The Journal of Neuroscience,31(40),14076–14084.

Schmidt,R.C.,Richardson,M.J.,Arsenault,C.,&Galantucci,B.(2007).Visual tracking and entrainment to an environmental rhythm.Journal of Experimental Psychology:Human Perception and Performance,33(4),860–870.

Schmidt-Kassow,M.,Heinemann,L.V.,Abel,C.,&Kaiser,J.(2013).Auditory–motor synchronization facilitates attention allocation.NeuroImage,82,101–106.

Snyder,J.S.,&Large,E.W.(2005).Gamma-band activity reflects the metric structure of rhythmic tone sequences.Cognitive Brain Research,24(1),117–126.

Stober,S.,Cameron,D.J.,&Grahn,J.A.(2014,October).Does the beat go on?:Identifying rhythms from brain waves recorded after theirauditory presentation.InProceedings of the 9th Audio Mostly:A Conference on Interaction with Sound.New York:ACM.

Stupacher,J.,Hove,M.J.,Novembre,G.,Schütz-Bosbach,S.,&Keller,P.E.(2013).Musical groove modulates motor cortex excitability:A TMS investigation.Brain and Cognition,82(2),127–136.

Su,Y.H.,&Jonikaitis,D.(2011).Hearing the speed:Visual motion biases the perception of auditory tempo.Experimental Brain Research,214(3),357–371.

Trehub,S.E.,& Hannon,E.E.(2006).Infant music perception:Domain-general or domain-specific mechanisms?Cognition,100(1),73–99.

Tun?gen?,B.,Cohen,E.,&Fawcett,C.(2015).Rock with me:The role of movement synchrony in infants'social and nonsocial choices.Child Development,86(3),976–984.

Valdesolo,P.,Ouyang,J.,&DeSteno,D.(2010).The rhythm of joint action:Synchrony promotes cooperative ability.Journal of Experimental Social Psychology,46(4),693–695.

Wada,Y.,Kitagawa,N.,&Noguchi,K.(2003).Audio-visual integration in temporal perception.International Journal of Psychophysiology,50(1),117–124.

Welch,R.B.,DutionHurt,L.D.,&Warren,D.H.(1986).Contributions of audition and vision to temporal rate perception.Perception&Psychophysics,39(4),294–300.

Welch,R.B.(1999).Meaning,attention,and the“unity assumption”in the intersensory bias ofspatialand temporalperceptions.Advances in Psychology,129,371–387.