傅曉莉, 李愛萍

(北京大學(xué) 對外漢語教育學(xué)院，北京 100871)

一、 引 言

隨著科學(xué)技術(shù)和時代的發(fā)展，二語聽力教學(xué)正由傳統(tǒng)的音頻教學(xué)轉(zhuǎn)向視聽教學(xué)，視聽的相關(guān)研究也越來越為學(xué)界所關(guān)注。視聽不同于聽力，視聽同時激活視覺和聽覺的感知，而聽力只激活聽覺感知；視覺器官和聽覺器官對信息的適應(yīng)情況并不一樣(1)章國英.信息感知效率與視聽軟件的設(shè)計[J].外語電化教學(xué)，1999,(2).。視聽可以認為是一種多模態(tài)輸入，這種多模態(tài)主要表現(xiàn)為圖像(動態(tài))、聲音和字幕形式，體現(xiàn)了圖像、文字和動作3種元功能(2)van Leeuwen,T.(1999).Speech,Music,Sound[M].London:Macmillan Press Ltd.。相關(guān)研究表明，人們通過視聽結(jié)合方式所獲得的信息和獲得信息的效率，遠遠超過單一的獲得方式，記憶也更為持久(3)劉立新 鄧方.讀圖時代的視聽說教學(xué)——以《漢語視聽說教程——家有兒女》的教學(xué)實踐為例[J].國際漢語教學(xué)研究，2017,(2).。二語視聽多模態(tài)輸入的理論基礎(chǔ)主要有輸入假說和認知負荷理論，本研究基于這兩個理論，嘗試檢索整理國內(nèi)外二語視聽多模態(tài)輸入的相關(guān)研究成果，發(fā)現(xiàn)從研究內(nèi)容來看，主要可以分為兩類，一是視聽多模態(tài)輸入對二語習(xí)得的影響研究，二是二語視聽多模態(tài)輸入難度的影響因素研究。

二、研究內(nèi)容

(一)二語視聽多模態(tài)輸入對二語習(xí)得的影響

1.視聽多模態(tài)輸入對二語聽力理解的影響

研究表明，聽力策略中存在一種“補償機制”(compensatory mechanisms)，即當學(xué)習(xí)者因語言知識不足而導(dǎo)致聽力理解受阻時，往往會借助一些補償信息，如可參考的圖片、視頻、文字注解，以及聽者自己頭腦中可提取的文化信息、百科知識、生活常識等相關(guān)線索(4)Vandergrift,L.Recent development in second and foreign language listening comprehension research[J].Language Teaching,2007,40(3).。視頻作為聽力策略中補償機制的一種，從側(cè)面證實了視聽結(jié)合的可能性和合理性。實際上，相比單純的聽力，同步的視聽能夠促進二語學(xué)習(xí)者更多地運用自上而下的聽力理解模式以彌補語言知識的不足(5)Seo,K.Research note:The effect of visuals on listening comprehension:A study of Japanese learners’ listening strategies[J].International Journal of Listening,2002,16(1).。而且，與純音頻相比，視聽文本能夠提供更真實、更鮮活的語言輸入以及更充分、更豐富的多模態(tài)文化與情景語境，更能促進學(xué)習(xí)者對內(nèi)容的理解，且更有助于激發(fā)學(xué)習(xí)者對聽力任務(wù)的參與興趣(6)Wagner,E.The effect of the use of video texts on ESL listening test-taker performance[J].Language Testing,2010,27(4).。從聽的難度來說，視聽材料相比相同內(nèi)容的純音頻詞材料來說，難度也更低(7)Lonergan J.1984.Video in Language Teaching[M].Cambridge:Cambridge University Press.，視頻比音頻的促聽促解作用更大(8)肖好章 周美珍 劉玉婷.任務(wù)和環(huán)境對聽力理解的影響[J].現(xiàn)代外語，2018,(3).；視聽雙重輸入能夠提升二語學(xué)習(xí)者對材料文本的理解程度，更能促進聽力技能的發(fā)展(9)Thompson,I.& Rubin J.Can strategy instructions improve listening comprehension?[J].Foreign Language Annals,1996,29(3).。比如，Rubin(10)Rubin,J.Improving foreign language listening comprehension[A].In Alatis,James E.(ed,).Linguistics,Language Teaching and Language Acquisition:The Interdependence of Theory,Practice and Research[C].Washington,DC:Georgetown University Press,1990:309～316.的研究發(fā)現(xiàn)通過錄像故事訓(xùn)練聽力的學(xué)生要比沒有視覺輔助的學(xué)習(xí)者進步更快。Secules et al.(11)Secules,T.,Herron,C.,& Tomassello,M.The effect of video context on foreign language learning[J].Modern Language Journal,1992,76(4).則發(fā)現(xiàn)在外語學(xué)習(xí)中，在教師引導(dǎo)下以視頻為主要教學(xué)材料(teacher-managed videotaped instructional materials)的班級，其聽力理解能力顯著高于采用傳統(tǒng)的教學(xué)方法(即包括一系列課堂操練)(12)可以理解，一系列的課堂操練主要是“聽”的輸入，缺乏甚至沒有視覺輸入。的班級。

但是，在聽力理解過程中，使用多模態(tài)的輸入方式需要考慮認知限制(cognitive limitation)與工作記憶(work memory)的聯(lián)系。在聽力理解中加入視覺模態(tài)信息不僅能通過同時激活視聽通道而增加工作記憶的容量，而且有助于集中學(xué)習(xí)者的注意力(13)Chen,I-Jung & Chang,Chi-Cheng.Content presentation modes in mobile language listening tasks:English proficiency as a moderator[J].Computer Assisted Language Learning,2011,24 (5) .。學(xué)習(xí)者也確實能夠同時加工多種來源的信息，而且當多模態(tài)輸入合理配置(integration)時，大多數(shù)情況下會有利于學(xué)習(xí)。另外，如果是激活工作記憶的不同區(qū)域去加工不同類型的信息，并且這些不同類型的信息可以由多種加工方式實現(xiàn)時，對于這種情況，學(xué)習(xí)者能夠很好地處理；但學(xué)習(xí)者若只激活工作記憶的某一區(qū)域，在需要同時加工相似的信息時，這時學(xué)習(xí)者的認知效率明顯受到影響，而且可能遺漏一些信息。(14)Tardieu,Hubert & Gyselinck,Valérie.Working memory constraints in the integration and comprehension of information in a multimedia context[A].In Oostendorp,Herre van (ed.),Cognition in a Digital World[C].New Jersey:Lawrence Erlbaum Associates,Inc.,Publishers,2003:3～24.

2.視聽多模態(tài)輸入對二語詞匯習(xí)得的影響

視聽多模態(tài)輸入不僅促進學(xué)習(xí)者的聽力理解，而且還有利于二語詞匯習(xí)得。在二語學(xué)習(xí)中，視聽多模態(tài)輸入提供了一個類似處于目標語言的學(xué)習(xí)環(huán)境，此時，詞和短語的學(xué)習(xí)不是簡單地在母語和目標語言間對譯，而是在學(xué)習(xí)過程中同時融入了詞和短語的語義、句法、語用信息，這樣的詞匯學(xué)習(xí)才能讓學(xué)習(xí)者最終獲得接近于母語者的語法能力(grammatical competencies)(15)Tschirner,Erwin.Language acquisition in the classroom:The role of digital video[J].Computer Assisted Language Learning.2001,14(3～4).。范燁(16)范燁.視聽雙重輸入模式下的二語詞義習(xí)得[J].外語界,2014,(5).的研究也證明了視聽雙重輸入模式有利于二語詞義習(xí)得，研究發(fā)現(xiàn)，在視聽雙重輸入的模式下，修讀大學(xué)英語課程的中國大學(xué)生的詞義推斷能力比只接收音頻輸入的學(xué)習(xí)者更強，“敘事表意的視頻畫面有助于學(xué)生正確猜測同步音頻解說詞中目標詞匯的詞義”。此外，Weyers(17)Weyers,Joseph R.The effect of authentic video on communicative competence[J].Modern Language Journal,1999,83(3).、Lin(18)Lin,Phoebe M.S.Investigating the validity of internet television as a resource for acquiring L2 formulaic sequences[J].System,2014,42.等的研究都證明了視聽多模態(tài)學(xué)習(xí)方式能更有效地促進詞匯學(xué)習(xí)。

二語詞匯學(xué)習(xí)的成功與否也很難繞開對字形/詞形的識記。僅以英語作為第二語言的學(xué)習(xí)為例，在英語詞匯學(xué)習(xí)過程中，必須識記不同的單詞和短語。智索(19)智索.視聽雙通道同時識記英語字母效率的實驗研究[J].外語電化教學(xué)，1985,(4).的研究表明，視聽多模態(tài)輸入的方式能夠有效提高識記單詞字母的效率。智索考察了中國英語學(xué)習(xí)者視聽雙通道同時識記無意義的音節(jié)(20)如“YUC、ZIN、QOM、LEQ、TAJ”等。中的字母的記憶效率問題，研究發(fā)現(xiàn)，視聽雙通道同時識記英語字母的效率優(yōu)于視、聽單通道呈現(xiàn)和視、聽交錯呈現(xiàn)，而且若想長時記憶英語字母，視聽雙通道同時識記英語字母的優(yōu)越性也很明顯。但是，王萌、謝小苑(21)王萌,謝小苑.視聽材料對聽力理解和詞匯習(xí)得的影響[J].外語電化教學(xué),2008,(2).的研究表明，視聽材料雖可提高學(xué)習(xí)者對目標內(nèi)容的理解，進而提升聽力理解能力，但是對詞形的記憶卻起阻礙作用。其實，再仔細對比這兩種觀點，發(fā)現(xiàn)它們并不矛盾。詞形識記的效果和視頻呈現(xiàn)的畫面有很大關(guān)系，智索的研究中視頻呈現(xiàn)的畫面只有無意義的音節(jié)，加之這些無意義的音節(jié)又屬于有標記的形式，因此學(xué)習(xí)者的認知焦點就主要集中在這些有標記的音節(jié)形式上，自然其識記效果會比只接收聽覺輸入的效果好。但是王萌、謝小苑的研究中視頻信息是對詞義的一種補充，學(xué)習(xí)者根據(jù)視頻內(nèi)容可以更好地理解詞義，但是其認知焦點更多地放在了視頻信息的理解上，在詞形的記憶上卻形成了認知負荷，因此阻礙了詞匯習(xí)得的記憶。

3.視聽多模態(tài)輸入對二語習(xí)得其他方面的影響

需要指出的是，雖然視聽多模態(tài)輸入的方式將二語學(xué)習(xí)者置于更加真實、更富有文化信息的語言學(xué)習(xí)環(huán)境中，但視聽多模態(tài)輸入的優(yōu)勢效應(yīng)更多地是體現(xiàn)在聽力理解、口頭表達(22)Tschirner,Erwin.Language acquisition in the classroom:The role of digital video[J].Computer Assisted Language Learning.2001,14(3～4).以及詞匯習(xí)得(尤其是詞義理解)上。在句法結(jié)構(gòu)學(xué)習(xí)方面，“(相對于視覺單模態(tài)學(xué)習(xí)，)加入聽覺模態(tài)的多模態(tài)任務(wù)……卻無助于句法結(jié)構(gòu)的學(xué)習(xí)?！Z音信息的激活與句法形式加工無直接關(guān)聯(lián)，可視為冗余信息，對句法結(jié)構(gòu)學(xué)習(xí)無積極效應(yīng)(23)洪煒 吳安婷 伍秋萍.任務(wù)的模態(tài)配置對漢語二語文本理解、詞匯和句法學(xué)習(xí)的影響[J].世界漢語教學(xué),2018,(3).?！?/p>

另外，值得注意的是，正是由于視聽結(jié)合的輸入方式能夠有效促進學(xué)習(xí)者二語學(xué)習(xí)，在教學(xué)中也逐步引入視聽雙重輸入的教學(xué)模式，這主要體現(xiàn)在視聽說課的開設(shè)上。視聽說課是20世紀80年代中后期出現(xiàn)的一種課型(24)郭泠.對外漢語初中級視聽說教材選材分析——以三部教材為例[D].北京大學(xué)碩士學(xué)位論文,2011.。“視聽說課充分發(fā)揮電教媒體的作用，應(yīng)用現(xiàn)代化教學(xué)方法，能快捷地訓(xùn)練學(xué)生的聽說技能(25)徐登科.語言習(xí)得機制與視聽說教學(xué)[J].國外外語教學(xué)，1998,(1).?！币詽h語視聽說課為例，與傳統(tǒng)課型相比，以多媒體技術(shù)支撐的漢語視聽說課為學(xué)習(xí)者提供了更為優(yōu)越的原生態(tài)漢語環(huán)境。由于視聽說課提供的輸入方式是多媒體的，除文字信息外，還有圖像和聲音信息，信息輸入的口徑得以擴大，對學(xué)習(xí)者而言，能看懂、聽懂的更多，信息輸入更多(26)劉立新 鄧方.讀圖時代的視聽說教學(xué)——以《漢語視聽說教程——家有兒女》的教學(xué)實踐為例[J].國際漢語教學(xué)研究，2017,(2).。另外，從語言習(xí)得啟動機制的角度來看，真正自然的口語是啟動語言習(xí)得機制的最佳輸入(27)徐登科.語言習(xí)得機制與視聽說教學(xué)[J].國外外語教學(xué)，1998,(1).，而視聽說教學(xué)的輸入內(nèi)容相比其他單模態(tài)的輸入內(nèi)容來說，提供的是更真實地道的語言輸入，因此視聽說多模態(tài)輸入的教學(xué)方式能夠為學(xué)習(xí)者提供更優(yōu)質(zhì)的輸入內(nèi)容。

但是，視聽多模態(tài)輸入并不是對所有學(xué)習(xí)者都“放之四海而皆準”，幼小兒童比年長兒童和成人學(xué)習(xí)者更適合視聽多模態(tài)的輸入方式，高視覺風(fēng)格的學(xué)習(xí)者更能從視聽多模態(tài)輸入中受益(28)張彤，趙翠霞，鄭錫寧.基于認知理論的多媒體教學(xué)界面設(shè)計研究[J].心理科學(xué)，2004,(11).。就語言水平而言，視聽多模態(tài)輸入對語言水平較低的學(xué)習(xí)者幫助更大(29)孔文,王淑瓊,周蕓,陳艷艷.視頻信息對EFL聽力理解影響的實證研究[J].外語電化教學(xué),2011,(5).。因此，相比單模態(tài)的“視”或“聽”，視聽多模態(tài)輸入雖然可能具有“1+1 >2”的優(yōu)勢效應(yīng)，但我們還需進一步細致深入地探討視聽多模態(tài)輸入的優(yōu)勢效應(yīng)和劣勢效應(yīng)具體體現(xiàn)在哪些方面、多模態(tài)輸入主要針對什么類型的學(xué)習(xí)者、視聽相結(jié)合的環(huán)境制約因素以及不同模態(tài)應(yīng)該怎樣配置才能讓學(xué)習(xí)效率最優(yōu)等問題。

(二)二語視聽多模態(tài)輸入難度的影響因素

視聽難度的考察不同于語料文本難度的考察。由于視聽輸入是一種多模態(tài)輸入，除文字信息外，還涉及到圖像、聲音信息等，因此，考察視聽難度的影響因素時，應(yīng)充分關(guān)注視聽的多模態(tài)性質(zhì)，語料文本難度只是影響視聽難度的部分因素。

現(xiàn)有的研究主要從兩個大范疇考察視聽難度的影響因素，即學(xué)習(xí)者因素和視聽語料因素。如果從認知的視角看，可以認為視聽語料因素是影響視聽難度的典型特征，而學(xué)習(xí)者因素是非典型的。視聽語料因素又可以分為語言因素和視聽特質(zhì)因素這兩個次范疇。視聽語料的語言因素主要是從視聽語料本身，即文本難度的角度來考察視聽語料的難度。視聽特質(zhì)因素則指相比傳統(tǒng)的聽力教學(xué)而言，視聽教學(xué)所具有的特殊之處，最典型的視聽特質(zhì)因素是從兼具視覺因素和聽覺因素這兩個方面來考慮的。

1.學(xué)習(xí)者因素

就學(xué)習(xí)者自身狀況而言，顯然，學(xué)生語言水平是影響視聽難度的重要因素。學(xué)生的詞匯量、語法掌握情況、對長句和復(fù)雜句式的把握能力、修辭的理解等語言因素直接作用于視聽語料的難度考量(30)郭泠.對外漢語初中級視聽說教材選材分析——以三部教材為例[D].北京大學(xué)碩士學(xué)位論文,2011.，進而影響學(xué)習(xí)者對視聽難度等級的評判。學(xué)習(xí)者在視聽之前，聽前準備活動能夠有效促進學(xué)習(xí)者的視聽理解，一定程度上降低視聽難度，比如聽前詞匯準備就是一種既易于在教學(xué)中付諸實踐又能有效促進學(xué)習(xí)者視聽理解的一種支架式(scaffolding)幫助(31)Chung,J.M.& Huang,S.C.(1998).The effects of three aural advance organizers for video viewing in a foreign language classroom[J].System,1998,26(4).。也有研究(32)肖庚生,程邦雄.詞匯準備時間對外語視聽理解及焦慮的影響[J].外語教學(xué),2012,(6).進一步探討了不同的詞匯準備時間對外語視聽理解及學(xué)習(xí)者焦慮的影響。一周的詞匯準備時間對視聽理解的促進作用最大，一天次之，30分鐘最差；在緩解學(xué)習(xí)者視聽焦慮上，一天的準備時間有助于緩解視聽焦慮，30分鐘次之，一周最差。所以，在外語視聽教學(xué)中應(yīng)給予學(xué)習(xí)者適中的詞匯準備時間，不宜過長，也不宜過短，這樣才能幫助他們降低視聽焦慮、提高視聽理解能力，一定程度上也降低了視聽難度。

學(xué)習(xí)者自身心態(tài)積極與否一定程度上也會影響對視聽難度的判斷。在二語學(xué)習(xí)中，當學(xué)習(xí)者聽到不熟悉口音的語料時，保持積極平和的心態(tài)，盡量減少對口音的在意度，這時候能夠有助于理解視聽語料的信息(33)Anderson-Hsieh,Janet.,& Koehler,Kenneth.The effect of foreign accent and speaking rate on native speaker comprehension[J].Language Learning,1988,38(4).。

2.視聽語料因素之語言因素

視聽語料因素是影響視聽難度的典型特征。視聽語料因素中視聽語言難度從理論和常識的角度來看，可以認為是影響視聽難度的最重要因素。需要注意的是，視聽語料難度并不等于純語料難度，對純語料難度的研究，西方學(xué)界將其稱為“易讀性研究”。“按照克拉雷的說法，易讀性指的是寫作形式方面的易于懂得或理解，該項研究主要試圖回答以下兩個問題：1.究竟是哪些因素決定著語料的易懂或難懂？2.有沒有一種方法可以測量出一篇語料在多大程度上易懂或難懂？”(34)張寧志.漢語教材語料難度的定量分析[J].世界漢語教學(xué),2000,(3).。純語料是視聽語料的重要組成部分，因此，純語料難度的研究方面也適用于視聽語料難度的測量，只是衡量視聽語料難度時需要考慮視聽的特質(zhì)因素。因此，相關(guān)研究在考察視聽語料難度時，認為除了語料難度的因素，語速這一視聽特質(zhì)也是衡量視聽語料難度的重要方面。比如張璐、彭艷麗對3套中高級漢語視聽說教材的語料難度分析主要考察了5個語言難度要素，即平均每百字句長、平均每百字非常用詞數(shù)、平均每百字生詞量、平均每百字語言點數(shù)和平均每百字語速，這5個語言難度要素，前4個屬于純語料難度的考察范圍，平均每百字語速屬于視聽特質(zhì)因素。(35)張璐,彭艷麗.基于影視作品改編的中高級漢語視聽說教材語料難度分析[J].世界漢語教學(xué),2013,(2).姜書君(36)姜書君.《非誠勿擾——高級漢語視聽說教程》語料難度研究[D].北京外國語大學(xué)碩士學(xué)位論文,2016.在參考張璐、彭艷麗(37)張璐,彭艷麗.基于影視作品改編的中高級漢語視聽說教材語料難度分析[J].世界漢語教學(xué),2013,(2).的5個難度要素的基礎(chǔ)上，還考察了語言的規(guī)范化、情景因素、文化因素等。郭泠則將平均句長、詞匯難易度、語速作為考察3部對外漢語初中級視聽說教材語料難度的影響因素。(38)郭泠.對外漢語初中級視聽說教材選材分析——以三部教材為例[D].北京大學(xué)碩士學(xué)位論文,2011.范燁的研究也發(fā)現(xiàn)視聽語料中的生詞率對視聽難易度的感知和視聽理解有顯著影響。(39)范燁.語速、視頻類型和詞匯知識對外語視聽理解的影響[J].外語教學(xué),2016,(1).

3.視聽語料因素之聽覺因素

(1)語速

上文已指出，語速作為視聽特質(zhì)因素是衡量視聽語料難度的重要指標。實際上，語速的快慢直接影響視聽語料難度，其終極指向是影響視聽難度。學(xué)習(xí)者普遍認為在二語學(xué)習(xí)聽力中，最主要的問題是應(yīng)對快語速(40)Graham,Suzanne.Listening comprehension:The learners’ perspective[J].System,2006,34(2).，然而，視頻的語速并不是越慢就越能促進視聽理解。如果視頻速度太慢，聽者需要延長信息在短期記憶內(nèi)留存的時間并且需要花更多的時間去淡化記憶痕跡(memory trace)，進而可能影響大腦中記憶聯(lián)系(mnemonic)的激活，導(dǎo)致記憶的衰退(41)Flaherty,Sister Etienne.Rate-controlled speech in foreign language education[J].Foreign Language Annals,1979,12(4).。而且，當語速從快語速(42)200 words per minute [wpm],3.8 syllables per second [sps].減慢到適中的語速(150wpm,2.85ps)時，有利于促進聽力理解，但若再進一步降到慢語速(100wpm,1.93sps)，卻并不能促進聽力理解(43)Griffiths,Roger.Speech rate and NNS comprehension:A preliminary study in time-benefit analysis[J].Language Learning,1990,40(3).。也有研究(44)Blau,E.K.The effect of syntax,speed,and pauses on listening comprehension[J].TESOL Quarterly,1990,24(4).表明，如果學(xué)習(xí)者習(xí)慣以快語速為正常語速的話，降低語速并不能提高聽力理解水平，不過這種情況對于水平較低的二語學(xué)習(xí)者可能不適用。

范燁(45)范燁.語速、視頻類型和詞匯知識對外語視聽理解的影響[J].外語教學(xué),2016,(01).的研究也表明，語速變化(140wpm,166～170wpm,195wpm)會影響難易度感知，但不會顯著影響視聽理解。

(2)口音

口音對母語者的聽力理解和非母語者的聽力理解都有重要影響(46)Major,R.C.,Fitzmaurice,Susan F.,Bunta,F.,& Balasubramanian,C.The effects of nonnative accents on listening comprehension:implications for ESL assessment[J].TESOL Quarterly,2002,36(2).。Eisenstein & Berkowitz(47)Eisentein,M.R.,& Berkowitz,D.The effect of phonological variation on adult learner comprehension[J].Studies in Second Language Acquisition,1981,4(1).的研究表明，以英語為二語的學(xué)習(xí)者在聽標準英語(standard English)時更容易理解，而聽帶外國口音(foreign-accented)的英語或者紐約工作階層的英語(working-class New York English)時，聽力理解的效果都不如標準英語的好。但是，如果二語學(xué)習(xí)者在聽本國人說的二語時，似乎會比聽其他口音更容易理解。比如Wilcox發(fā)現(xiàn)新加坡學(xué)習(xí)者在學(xué)習(xí)英語時，會覺得新加坡人說的英語更容易理解，而其他國家的人說的英語更難理解。(48)Wilcox,G.K.The effect of accent on listening comprehension:a Singapore study[J].English Language Teaching Journal,1978,32(2).Major et al.也發(fā)現(xiàn)西班牙語的學(xué)習(xí)者在聽帶西班牙語口音的英語時，聽力理解能力會比聽其他口音的英語的理解能力高。(49)Major,R.C.,Fitzmaurice,Susan F.,Bunta,F.,& Balasubramanian,C.The effects of nonnative accents on listening comprehension:implications for ESL assessment[J].TESOL Quarterly,2002,36(2).但是印度學(xué)習(xí)者聽美式英語的理解水平卻高于聽印度口音的英語(50)Smith,L.E.,& Bisazza,J.A.The comprehensibility of three varieties of English for college students in seven countries[J].Language Learning,1982,32(2).。

另一方面，口音對于說話人來說可能不容易改變，但對聽者來說，聽得多了卻似乎容易習(xí)慣。研究表明，當學(xué)習(xí)者習(xí)慣某一種口音時，這時對聽力理解并沒有很大的影響，反倒這種習(xí)慣性會促進聽力理解(51)Tauroza,S.,& Luk,J.Accent and second language listening comprehension[J].RELC Journal,1997,28(1).。這也說明，口音對聽力理解的影響也應(yīng)該進一步區(qū)分學(xué)習(xí)者水平、學(xué)習(xí)者年齡、學(xué)習(xí)者的學(xué)習(xí)時長等因素。

(3)語調(diào)(intonation)

語調(diào)屬于超音質(zhì)特征，是視聽語料的重要組成成分，也是影響視聽語料難度不可忽視的因素。我們知道，話語的語調(diào)對于話語的解讀可能會具有舉足輕重的作用。對于同一句話，如果語調(diào)不一樣，可能會得到完全相反的意思(52)Cutler,A.Beyond parsing and lexical look-up:An enriched description of auditory sentence comprehension[A].In R.J.Wales & E.C.T.Walker (Eds.),New approaches to language mechanisms[C].Amsterdam:North-Holland,1976；比如“That was a thrilling experience.”如果語調(diào)不一樣，就可以得出這個經(jīng)歷確實是激動人心的，或者也可以理解為是一種反話。。在聽力理解中，語調(diào)可以為聽者提供連貫的線索(consistent cue)，幫助他們整體上把握語篇的內(nèi)容，體會語篇的感情基調(diào)(53)Barr,P.The role of discourse intonation in lecture comprehension[A].In Hewings,M.(ed.).Papers in Discourse Intonation[C].Birmingham:ELR/University of Birmingham,1990:5～21.。

但是，對話語語調(diào)的重視程度遠遠低于對語言中的語義、句法、詞匯等方面的關(guān)注(54)Bock,J.K.,& Mazzella,J.R.Intonational marking of given and new information:some consequences for comprehension[J].Memory and Cognition,1983,11(1).。我們在檢索語調(diào)對視聽理解的相關(guān)文獻時，不管是國內(nèi)學(xué)者的相關(guān)研究，還是國外學(xué)者的研究，都非常少。在中國知網(wǎng)上輸入“語調(diào)”一詞檢索，沒有一篇文章是和二語視聽理解相關(guān)的。對此，Hewings(55)Hewings,M.The English intonation of native speakers and Indonesian learners:A comparative study[J].RELC Journal,1995,26(1).認為一個可能的解釋是由于語調(diào)本身的特征以及語調(diào)和聲音的聯(lián)系，這使得語調(diào)更容易和發(fā)音、言語產(chǎn)出聯(lián)系起來，而更不容易和聽力相聯(lián)系，因此，對語調(diào)的考察也就常常缺失于聽力理解這個大范疇。

4.視聽語料因素之視覺因素

(1)字幕

字幕是視頻的重要特質(zhì)因素。但學(xué)界并沒有直接探討有無字幕以及字幕類型對視聽難度的影響，而是關(guān)注字幕對視聽理解的影響。如果僅就語篇理解而言，字幕視聽的效果好于純視聽的效果(56)戴勁.輸入方式、輸入次數(shù)與語篇理解[J].外語教學(xué)與研究,2007,(4).。Markham,Peter & McCarthy調(diào)查比較了三種字幕使用條件對學(xué)習(xí)者理解視頻內(nèi)容所產(chǎn)生的影響，發(fā)現(xiàn)看母語字幕的被試組對視頻內(nèi)容的理解好于看目的語字幕的被試組，而看目的語字幕的被試組又好于無字幕輔助的被試組(57)Markham,Paul L.,Peter,Lizette A.,& McCarthy,Teresa J.The effects of native language vs.Target language captions on foreign language students’ DVD video comprehension.Foreign Language annals,2001,34(5).。而歐陽素珍(58)歐陽素珍.多模態(tài)輸入對英語專業(yè)學(xué)生聽解影響的實證研究[D].湖南師范大學(xué)碩士論文，2015.調(diào)查多模態(tài)輸入對英語專業(yè)學(xué)生的聽解影響后，發(fā)現(xiàn)視頻配英文字幕的多模態(tài)組合對學(xué)生的聽力內(nèi)容理解促進最大，純音頻次之，視頻配中文字幕的模態(tài)組合作用最小，研究結(jié)論和Markham,Peter & McCarthy的相左。Hsu et al.發(fā)現(xiàn)關(guān)鍵詞字幕比全字幕更能促進視聽理解和增強詞匯習(xí)得(59)Hsu,C.-K.,G.-J.Hwang,Y.-T.Chang & C.-K.Chang.Effects of video caption modes on English listening comprehension and vocabulary acquisition using handheld devices.Educational Technology & Society,2013,16(1).。學(xué)者們基本上都認同有字幕可以促進視聽理解，但我們不能就此反推字幕的存在降低了視聽難度?；蛟S正如Hsu et al.指出的那樣，“讀字幕是閱讀，或有阻擾聽解和聽力發(fā)展之嫌”。學(xué)習(xí)者的視聽理解很可能是通過閱讀字幕獲得的，并不是通過視聽獲得的，所以，字幕對視聽難度的影響還有待進一步研究。

(2)視頻類型

視聽相比單純的“聽”來說，增加了“視”的成分，而“視”的信息主要通過視頻來傳達。不同類型的視頻畫面對學(xué)習(xí)者二語學(xué)習(xí)的影響并不一樣。迄今為止的研究主要關(guān)注兩種視頻畫面對語音輸入的影響：一是內(nèi)容視頻(content visuals)，即包含凸顯信息圖像的視頻；一是場景視頻(context-only visuals)，即只顯示說話者形象的視頻，如脫口秀等(60)邱東林,李紅葉.多種輸入模式對聽力理解和詞匯記憶的影響[J].外語界,2010,(1).。內(nèi)容視頻提供了畫面、物品、實景等豐富大量的信息輸入，相比場景視頻而言，可以顯著提升學(xué)習(xí)者的整體理解水平；但并不能幫助學(xué)習(xí)者理解所聽到的生僻詞匯，甚至可能會干擾語音和詞匯記憶(61)邱東林,李紅葉.多種輸入模式對聽力理解和詞匯記憶的影響[J].外語界,2010,(1).。而且，若內(nèi)容視頻的聲畫關(guān)系是一種分立狀態(tài)(divergent category)(62)圖像和解說詞不相關(guān)或者可能是相互矛盾的。時，對于學(xué)習(xí)者來說，不僅很容易注意到，還會常常讓他們一頭霧水(63)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).。場景視頻由于只呈現(xiàn)談話者形象或者固定的場景，學(xué)習(xí)過程相對呆板，有研究表明(64)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).，說話人頭部特寫(65)即圖像上只呈現(xiàn)新聞播報者、采訪者以及被采訪者的頭部或者上半身，不出現(xiàn)背景信息。(talking head)幾乎不能提供額外的信息去促進聽者的理解，相反，聽者這時候傾向于將注意力放在純粹的聽解上。Coniam(66)Coniam,David.The use of audio or video comprehension as an assessment instrument in the certification of English language teachers:A case study.System,2000,27(1).也發(fā)現(xiàn)脫口秀的視聽和純聽音相比，被試對內(nèi)容的理解程度并無顯著差異。但場景為現(xiàn)場講座情景時，研究結(jié)果又不一樣，Sueyoshi & Hardison研究講座錄像以及講座錄音的對比輸入效果，發(fā)現(xiàn)觀看講座錄像(錄像中呈現(xiàn)演講者的面部表情和身體語言或者錄像中只呈現(xiàn)演講者的面部表情)的學(xué)習(xí)者對講座內(nèi)容的理解明顯高于錄音組。(67)Sueyoshi,Ayano & Hardison,Debra M.The role of gestures and facial cues in second language listening comprehension.Language Learning,2005,55(4):661～699.講座錄像和脫口秀都只呈現(xiàn)說話者的形象，但兩者和純音頻相比，實驗結(jié)果并不一致，我們認為可能和這些場景視頻的文本內(nèi)容以及視頻播放的目的等因素有關(guān)。雖然場景視頻在促進理解上弱于內(nèi)容視頻的效果，但整體而言，相比純音頻，場景視頻更能促進語言輸入的理解。范燁(68)范燁.語速、視頻類型和詞匯知識對外語視聽理解的影響[J].外語教學(xué),2016,(1).的研究表明視頻類型(新聞vs.演講)對難易度感知和視聽理解都有顯著效應(yīng)。

(3)聲畫關(guān)系

視頻中不同類型的聲畫關(guān)系會影響視聽理解，進而影響對視聽語料難度的判判斷。直接聲畫關(guān)系(指圖像和語音說解具有很高的語義關(guān)聯(lián)度)和間接聲畫關(guān)系(圖像和語音說解之間存在部分語義冗余(redundancy)能夠促進學(xué)習(xí)者對聽力內(nèi)容的理解；但說話人頭部特寫和分立的聲畫關(guān)系則不僅不能提升理解，甚至?xí)恋K理解(69)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).。

Cross還指出，不管聲畫關(guān)系是如何配合的，視覺模態(tài)的信息或多或少會對學(xué)習(xí)者產(chǎn)生一定的干擾，因此，學(xué)習(xí)者會在學(xué)習(xí)過程的不同階段根據(jù)自身情況主動調(diào)節(jié)，可能會傾向于從某一單模態(tài)地學(xué)習(xí)轉(zhuǎn)向其他的單模態(tài)。(70)Cross J.Comprehending news videotexts:The influence of the visual content[J].Language Learning & Technology,2011,15(2).因此，從某種程度上來說，聲畫關(guān)系的配合，特別是不協(xié)調(diào)的聲畫關(guān)系，對于學(xué)習(xí)者來說可能反倒是一種認知負荷。正如前文指出的，當學(xué)習(xí)者面對較呆板的場景視頻畫面時，為了調(diào)節(jié)認知負荷，他們更傾向于只啟動純粹的“聽”來獲取信息。我們也可以推測，當視頻信息和語音說解不協(xié)調(diào)甚至矛盾時，聽者在迅速發(fā)現(xiàn)問題的情況下應(yīng)該會傾向于啟動“聽”的能力來理解信息。寫到這里，我們或許也能解釋為什么二語教學(xué)中越來越重視視聽多模態(tài)輸入，可能的一個解釋是：視聽多模態(tài)輸入的根本的落腳點還是為了盡可能地提升聽的能力，進而提升整體的理解能力。所以，判斷某個因素是否影響視聽難度或許應(yīng)該多注意該因素對“聽”的難易度的影響，增加視覺模態(tài)從某種程度來說，還是為了促進“聽”的感知和“聽”的效率。

綜上，我們發(fā)現(xiàn)，對視聽難度影響因素的研究雖然較豐富，但仍有一些影響因素有待進一步證明，尤其是對視聽特質(zhì)因素的進一步探討。除了上文我們談及的語速、口音、語調(diào)、字幕、視頻類型、聲畫關(guān)系等因素，噪音、視頻中的場景音(背景音)等會不會也對視聽語料難度有影響？我們知道，視聽多模態(tài)輸入相比視覺單模態(tài)和聽覺單模態(tài)輸入而言，其優(yōu)勢在于視聽多模態(tài)的結(jié)合，視聽多模態(tài)的優(yōu)勢又體現(xiàn)在視聽特質(zhì)因素上。因此，視聽特質(zhì)方面到底有哪些影響因素，需要進一步深入研究。另外，現(xiàn)有研究對某些視聽特質(zhì)因素是否影響視聽難度并沒有達成一致意見，比如字幕和視頻類型對視聽難度的影響，這也說明對這些視聽特質(zhì)因素的探討仍需更進一步。

三、問題與展望

Chaudron & Richards認為對聽力理解的研究不管是在一語學(xué)習(xí)還是二語習(xí)得中，都可以認為仍處于“嬰兒期”(in its infancy)。(71)Chaudron,C.,& Richards J.C.(1986).The effect of discourse markers on the comprehension of lectures[J].Applied Linguistics,1986,7(2).如今時間跨越了三十多年，我們再來看今天的聽力理解及其研究，發(fā)現(xiàn)多模態(tài)是今天聽力理解的一大亮點也是研究中要多考量的因素，但多模態(tài)環(huán)境下的聽力理解研究可能也是處于“嬰兒期”，特別是國內(nèi)在這方面的研究。

第一，國內(nèi)對二語視聽多模態(tài)輸入的研究多集中于外語教學(xué)界(特別是英語教學(xué))，漢語教學(xué)界不管是在二語視聽多模態(tài)輸入的研究及實踐(如漢語視聽說教材的編寫、漢語視聽說課的開設(shè)等)上，都有很大的發(fā)展空間。漢語二語視聽語料難度的影響因素、視聽語料的文本選取(包括語體、題材等)、漢語二語視聽多模態(tài)輸入對不同國別、不同年齡、性別的學(xué)習(xí)者的影響等，都是值得進一步深入探討的問題。

第二，正如上文所言，多模態(tài)輸入是二語聽力理解乃至二語習(xí)得中的一種技術(shù)上和理念上的進步，多模態(tài)輸入方式的應(yīng)用也是適應(yīng)社會進步發(fā)展的表現(xiàn)。Mayer還談到多模態(tài)的呈現(xiàn)方式可以最大限度地發(fā)揮我們加工信息的能力，如果學(xué)習(xí)材料僅以聽覺模態(tài)的方式呈現(xiàn)時，我們就忽視了我們還有一種潛在的通過視覺模態(tài)去加工信息的能力。(72)Mayer,Richard E.Multimedia Learning (second edition)[M].New York:Cambridge University Press,2009:6.但是，我們也應(yīng)注意的是，隨著模態(tài)的豐富，在二語視聽輸入中要考慮的變量以及在研究中要控制的變量自然會更多。怎樣才能使“多模態(tài)”的優(yōu)勢效應(yīng)最大化，可能在盡可能全面考慮學(xué)習(xí)者因素、視聽語料因素的情況下，還要重視模態(tài)的配置問題。Mayer(73)Mayer,Richard E.Multimedia Learning (second edition)[M].New York:Cambridge University Press,2009:7.指出通過聲音和通過圖畫并不能認為只是呈現(xiàn)同一材料的兩種地位相當?shù)牡姆绞剑犛X模態(tài)的地位與視覺模態(tài)并不相當。所以，我們認為，所謂的“多模態(tài)”不能是含糊而模糊的多模態(tài)，還應(yīng)該繼續(xù)追問具體的模態(tài)是怎么“多”起來的，是在聽覺的基礎(chǔ)上全程加上視覺模態(tài)？還是只在聽力的部分過程加入視覺模態(tài)？抑或是在視覺模態(tài)的基礎(chǔ)上加上聽覺模態(tài)？如果是在聽覺基礎(chǔ)上加入視覺模態(tài)，視覺模態(tài)輸入下內(nèi)容的呈現(xiàn)方式對二語視聽理解又有怎樣的影響？(74)Alseghayer(2001)指出，相比靜態(tài)的圖片，動態(tài)的視頻能更有效地促進生詞學(xué)習(xí)。具體參見Alseghayer,K.The effect of multimedia annotation modes on L2 vocabulary acquisition:a comparative study[J].Language Learning & Technology,2001,5(1).而且，需要注意的是，不能簡單認為視聽多模態(tài)是二語視聽學(xué)習(xí)中材料呈現(xiàn)方式的多模態(tài)，衡量是否是多模態(tài)學(xué)習(xí)更應(yīng)該看重的是學(xué)習(xí)者能否達到輸入的多模態(tài)，進而在多模態(tài)輸入的基礎(chǔ)上學(xué)得更深入(learn more deeply)。另外需要指出的是，在多模態(tài)輸入上，對于不同的學(xué)習(xí)者，可能又應(yīng)該具體問題具體分析，這樣或許才能真正發(fā)揮“多模態(tài)”的優(yōu)勢。

第三，在考量二語視聽多模態(tài)輸入的影響因素時，視聽語料是非常重要的一個因素，但視聽語料的影響因素包括哪些還值得進一步探討。視聽語料難度可以說仍是一個較籠統(tǒng)的概念，而且考察視聽語料難度時主要側(cè)重的是文本難度。文本難度又包括很多的因素，文本的平均句長、生詞量、語言點數(shù)、非常用詞數(shù)等是一方面，文本的題材(敘述、說明、議論等)、文本的語體(是偏口語語體還是書面語體)、文本的篇章銜接等也是一方面。另外，如果再進一步考慮到視聽語料的特質(zhì)因素，不僅語速、口音、語調(diào)、字幕、視頻類型、聲畫關(guān)系等是不可忽視的，甚至噪音、停頓、重音乃至視聽語料中的說話者的性別(75)Markham(1988)的研究就發(fā)現(xiàn)，初級水平學(xué)生和高級水平學(xué)生在回憶聽力內(nèi)容時，相比說話者是非專家型的女性(nonexpert female speaker)，如果說話者是非專家型的男性(nonexpert male speaker)，學(xué)生能回憶起更多的內(nèi)容。具體參見Markham,Paul L.Gender Differences and the Perceived Expertness of the Speaker as Factors in ESL Listening Recall[J].TESOL Quarterly,1988,22(3).、年齡等都是衡量視聽語料難度的重要因素，而這些也是需要進一步深入研究的內(nèi)容。另外，需要指出的是，學(xué)界目前也尚未得出影響視聽語料難度分級標準?，F(xiàn)有的研究多是根據(jù)幾項難度等級標準去分析視聽說教材的語料難度，而且所根據(jù)的難度等級標準也不盡一致。視聽語料難度的衡量到底應(yīng)該考慮哪些因素？影響視聽語料難度的不同因素的具體權(quán)重如何？這可能需要在考察所有二語視聽說教材以及不同類別的視聽語料的基礎(chǔ)上才能得出一個比較全面的衡量標準。另外，視聽分級能否參照美國藍思分級閱讀框架(The Lexile Framework for Reading)，創(chuàng)制出一種類似于溫度計的測量視聽能力的標準，測量學(xué)生視聽能力的同時，使用相同的標準測量視聽語料的難度？這些研究課題任重而道遠，需要學(xué)界不斷的探索。

第四，O'mally et al.指出學(xué)習(xí)者在聽力理解中使用的認知加工過程其實是和理論上的三個理解階段對應(yīng)的，即感知加工(perceptual processing)、語句分析(parsing)和實際運用(utilization)，而感知加工過程中的注意力是集中在聽力內(nèi)容上的，音頻的聲音只保留在回聲記憶(echoic memory)中。(76)O'Malley,J.M.,Chamot,A.U.,& Küpper,Lisa.Listening comprehension strategies in second language acquisition.Applied Linguistics,1989,11(4).這就啟發(fā)我們思考，視聽多模態(tài)輸入的聽力內(nèi)容到底應(yīng)該包括哪些方面？在與聽覺單模態(tài)輸入有著相同的聽力文本的情況下，視聽多模態(tài)輸入的聽力內(nèi)容應(yīng)該怎么設(shè)計才能幫助學(xué)習(xí)者更有效地集中注意力？我們認為，視聽多模態(tài)輸入方式下聽力內(nèi)容的獨特性，可能恰恰是能充分體現(xiàn)視聽多模態(tài)輸入方式優(yōu)勢效應(yīng)的方面；但就我們目力所及，鮮有研究探討了視聽多模態(tài)輸入方式下的聽力內(nèi)容的問題。

最后，在聽力理解中，學(xué)者們通常傾向于認為以下5個因素可能會影響聽力理解的效果，即1)聽力/視聽的文本特征；2)聽力對話中說話者的特征；3)聽后所要求完成的任務(wù)類型；4)學(xué)習(xí)者的特征；5)學(xué)習(xí)者的認知加工過程以及學(xué)習(xí)者和聽力/視聽中的說話者的互動情況(77)Rubin,J.A review of second language listening comprehension research.The Modern Language Journal,1994,78(2).。結(jié)合本文的評述，我們發(fā)現(xiàn)，現(xiàn)有的研究或多或少都和以上5個方面沾了邊，但還有較多的研究視角目前并無多少涉及，比如聽后所要求完成的任務(wù)類型對視聽理解的影響，學(xué)習(xí)者和視聽中的說話者的互動情況等，這些進一步說明二語視聽多模態(tài)輸入的研究范圍和視角仍有極大的擴展空間。但是，正如上文指出的，進一步探討的空間雖大，但模態(tài)的增加更應(yīng)該細致考察涉及的變量和變量的控制問題，從主體(學(xué)習(xí)者)和客體(視聽多模態(tài)輸入)這兩方面細致剖析可能涉及的變量，然后在考察影響因素的過程中，盡可能嚴格地控制變量，這樣得出的研究結(jié)論才能具有更高的信度。

總之，社會的進步、時代的發(fā)展催生了多模態(tài)輸入和多媒體的應(yīng)用，而且多模態(tài)輸入和多媒體的應(yīng)用甚至也可以理解為是對學(xué)習(xí)者的一種技術(shù)層面的人文關(guān)懷，因為多模態(tài)學(xué)習(xí)某種程度上和真實環(huán)境下的語言學(xué)習(xí)相似，而這兩種環(huán)境下的輸入方式又都強調(diào)了聽者和言者的互動。但具體怎么實施多模態(tài)和多媒體，特別是教學(xué)領(lǐng)域的多模態(tài)和多媒體，或許二語視聽的深入研究能夠成為多模態(tài)輸入和多媒體應(yīng)用的一個范式。而且隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展與人工智能技術(shù)的進步，二語教學(xué)與學(xué)習(xí)也越來越重視跟隨時代的步伐，強調(diào)改革傳統(tǒng)的教學(xué)模式和學(xué)習(xí)方式，希望通過技術(shù)進步來提高教學(xué)和學(xué)習(xí)效率。二語視聽多模態(tài)輸入也在這樣的大背景下受到學(xué)界和產(chǎn)業(yè)界的關(guān)注。當然，視聽多模態(tài)輸入的進一步發(fā)展需要學(xué)界和產(chǎn)業(yè)界的共同努力，學(xué)界提供更多的研究證明，產(chǎn)業(yè)界不斷優(yōu)化技術(shù)?？梢灶A(yù)見，未來視聽多模態(tài)輸入將成為越來越大眾化和受歡迎的二語學(xué)習(xí)模式。

四、 結(jié) 語

國內(nèi)外二語視聽多模態(tài)輸入研究主要基于輸入假說和認知負荷理論，在視聽多模態(tài)輸入對二語習(xí)得的影響以及二語視聽多模態(tài)輸入難度的影響因素等方面有較深入的研究成果?？傮w而言，視聽多模態(tài)輸入相比傳統(tǒng)的單模態(tài)輸入，在二語聽力理解、二語詞匯習(xí)得等方面具有顯著的優(yōu)勢，但視聽多模態(tài)輸入的優(yōu)勢效應(yīng)具體體現(xiàn)在哪些方面、所謂的“多模態(tài)”應(yīng)該如何配置等問題還需進一步研究。視聽多模態(tài)輸入難度的影響因素不僅和學(xué)習(xí)者有關(guān)，還和視聽語料因素有很大的關(guān)系，語料因素又包括語料的語言因素、視覺因素、聽覺因素等，但是，視聽特質(zhì)因素對語料難度的影響還有待進一步深入研究。

我們認為，二語視聽多模態(tài)輸入的研究雖取得了較大進展，但仍存在很大的拓展空間，比如研究內(nèi)容的范圍還有待進一步拓展，而且在大數(shù)據(jù)的潮流下，視聽語料難度的分級亟待得到一個相對科學(xué)的標準。不過我們也相信，隨著學(xué)界和產(chǎn)業(yè)界對視聽多模態(tài)輸入的重視以及更加深入的挖掘，未來視聽多模態(tài)輸入將成為二語學(xué)習(xí)的一種類似“改革開放”的學(xué)習(xí)方式。而且，由于二語教學(xué)研究領(lǐng)域?qū)Χ嗄B(tài)教學(xué)方式的重視程度逐步提高，研究方法也更加科學(xué)，實證研究與技術(shù)的使用越來越廣泛，這種種優(yōu)勢因素將為視聽多模態(tài)輸入以及二語多模態(tài)教學(xué)研究的持續(xù)發(fā)展提供多方保障。