摘 ? 要?多模態(tài)環(huán)境下，視聽相結(jié)合的英語視頻材料廣泛應(yīng)用于英語聽力教學(xué)中。視覺和聽覺是兩個獨立的認知系統(tǒng)，它們相互影響、制約和融合。對視頻中視覺和聽覺影響機制進行實證研究，發(fā)現(xiàn)視覺認知和聽覺認知的相關(guān)性及學(xué)生的英語語言能力會影響視聽材料的理解效果，對英語聽力教學(xué)有指導(dǎo)意義。

關(guān)鍵詞?英語視聽 ?認知 ?影響機制

計算機和網(wǎng)絡(luò)技術(shù)的發(fā)展為語言學(xué)習(xí)提供了多模態(tài)、多媒介的學(xué)習(xí)環(huán)境。隨著計算機輔助教學(xué)及網(wǎng)絡(luò)的普及，英語聽力教學(xué)也發(fā)生了質(zhì)的變化[1]。學(xué)生和教師都不再滿足于單純的音頻材料，而是更多地接觸到有視頻介入的聽力材料。隨著英語教育的改革，學(xué)生英語聽說能力的培養(yǎng)受到了越來越多的關(guān)注，計算機和網(wǎng)絡(luò)在英語聽力教學(xué)中發(fā)揮著越來越重要的角色，英語聽說課已從單純的聽、說轉(zhuǎn)變?yōu)橐?、聽、說多模態(tài)結(jié)合的模式。自80年代開始，視頻媒介介入的英語聽力教學(xué)得到了大力的發(fā)展和應(yīng)用。視頻主要包括內(nèi)容視頻和場景視頻。內(nèi)容視頻就是視頻中包含了實景事物和事件發(fā)生的實際過程;而場景視頻主要包含了談話者的舉止神態(tài)和一些次語言特征，比如手勢、唇形等[2]。隨著視頻媒介在英語聽力教學(xué)中的推廣使用，師生對視頻材料參與英語聽力教學(xué)過程持積極態(tài)度，但對如何使用視頻材料及聽力理解中視聽相互的影響機制還很模糊，相關(guān)研究很少。因此，本研究從定性和定量角度考查英語聽力中內(nèi)容視頻資料對聽力理解影響機制，從而為聽力教學(xué)提供有益的啟示。

一、研究理論依據(jù)

1.認知負荷理論

聽力理解是一個主動和復(fù)雜的過程，聽者會從看到的和聽到的線索中提取信息并將這些信息和大腦中長期記憶中的信息相關(guān)聯(lián)，從而更好地理解聽到的內(nèi)容[3]。澳大利亞認知心理學(xué)家Sweller的認知負荷理論，是本研究的基本理論基礎(chǔ)。Sweller認為，聽覺記憶和視覺記憶是相對獨立的，當(dāng)材料通過聽覺和視覺同時輸入，聽覺和視覺的認知負荷可以相互分擔(dān)，也就是說視覺輸入可以有效減少聽覺中的工作記憶負荷[4]。認知負荷理論提出，知識以圖式的形式存儲在大腦長時記憶中，人們大腦的工作記憶是有限的，當(dāng)太多的信息同時輸入時，就會出現(xiàn)負荷過量。如果輸入信息和大腦長期記憶中的圖式相關(guān)，工作記憶負荷就會被降低。

2.多模態(tài)語篇分析理論

Walma van der Molen的多模態(tài)語篇分析理論建立在Halliday的系統(tǒng)功能語言學(xué)基礎(chǔ)上。該理論側(cè)重研究符號學(xué)之間的關(guān)系，它從語義分析的角度去研究視頻材料中視覺和聽覺模式符號學(xué)之間的語義聯(lián)系[5]。從語義加工角度，聽力理解包括自下而上和自上而下的過程。自下而上是指聽者語義建構(gòu)的過程，將聽覺信息從音位層次過渡到語篇層次;自上而下是指聽者利用存儲于長期記憶中的已掌握的知識和宏觀組織去幫助理解聽力內(nèi)容[6]。語義相關(guān)的視覺信息可以給受眾提供附加的記憶代碼從而幫助提高聽力的理解能力，而語義不相關(guān)的視覺圖片會增加工作記憶的認知負荷并影響聽力理解。

二、研究設(shè)計及實施

基于以上理論，研究方法采用對比實驗、調(diào)查問卷和訪談相結(jié)合的方法。對比實驗我們選取西部某學(xué)校的四個不同班級各30名學(xué)生作為研究對象。這四個班級分別為使用視聽材料教學(xué)英語提高班（英語基礎(chǔ)好）、英語普通班（英語基礎(chǔ)薄弱），僅使用聽力材料教學(xué)英語提高班（英語基礎(chǔ)好）、英語普通班（英語基礎(chǔ)薄弱）。

1.定性研究

針對使用視聽材料上課的班級，選取來自CCTV-NEWS中一段報道地震災(zāi)害的新聞視頻作為上課材料。視頻中包含了視聽相關(guān)性高的兩段視頻，畫面清晰地描述了新聞中口頭所表述的內(nèi)容，一段顯示地震發(fā)生時山體的滑坡和地面的開裂，一段顯示地震時房屋的倒塌和人們的神情;視頻還包含了一部分視聽相關(guān)性低的內(nèi)容，主要通過圖片和圖表講述了地震的震中、地質(zhì)活動情況、地震天氣情況及未來災(zāi)害的預(yù)測等;還有部分片段是標準的新聞圖片，和口頭報道相關(guān)性不大。

視頻播放完畢，學(xué)生需要完成四道題，分別考查對視頻大意的理解情況、對主持人報道內(nèi)容大意的理解情況、低試聽相關(guān)性特殊信息的理解和高視聽相關(guān)性特殊信息的理解。通過對答題情況的分析，主要考察兩個問題：（1）不同的內(nèi)容視頻對聽力理解的影響程度，是有助于聽力理解還是影響聽力理解;（2）視頻材料對不同英語基礎(chǔ)的學(xué)生影響有何不同。

2.定量研究

主要包括問卷調(diào)查和面對面訪談。調(diào)查問卷共兩套，一套針對聽力任課教師，一套針對學(xué)生。面對面訪談采用即時采訪的方式，在完成相關(guān)聽力任務(wù)后隨機抽取學(xué)生馬上進行采訪。問卷主要涉及以下幾個方面：（1）教師對有視頻介入聽力訓(xùn)練材料的使用情況和他們對視頻材料運用于聽力教學(xué)的態(tài)度;（2）教師是否觀察到學(xué)生對視頻材料中視覺信息使用的情況;（3）英語基礎(chǔ)好和英語基礎(chǔ)薄弱的學(xué)生對視頻介入聽力材料的認識及他們在聽力過程中使用視頻材料的習(xí)慣和熟練度。訪談主要是讓學(xué)生對參加測試中的視頻材料談?wù)勛约旱目捶ǎ麄儗σ曨l材料中視覺信息的認識、使用策略及是否使用視覺信息有效地幫助理解所聽的內(nèi)容。

三、研究結(jié)果

1.高視聽相關(guān)性的視聽材料有助于提高學(xué)生的聽力理解

通過對學(xué)生答卷的整理和歸類，我們采用定量研究SPSS 19.0軟件進行數(shù)據(jù)分析。因為涉及到兩組變量——高水平組（提高班）和低水平組（普通班）、視聽材料組和單純聽力材料組，我們采用單項方差分析（one-way ANOVA）來檢查每個變量的情況。

分析結(jié)果顯示，在視頻大意的理解掌握上，視聽組的平均值要大于聽力組，P=0.025<0.01，說明視聽材料的輸入比單純的聽力材料輸入能更有效地提高受眾對材料大意的理解;在主持人報導(dǎo)內(nèi)容大意的理解上，視聽組和聽力組并沒有太大的區(qū)別，說明中國學(xué)生對主持人的嘴唇活動和面部表情反映不敏感，很難借助主持人的外部特征獲取有效信息來幫助理解說話內(nèi)容;在不相關(guān)方面，兩組的差別不大，說明視頻材料中不相關(guān)的圖片內(nèi)容對聽力理解的支持作用不大。在相關(guān)信息方面，視聽組的平均分高于聽力組，P=0.032<0.05，說明當(dāng)視聽材料中視覺信息和聽覺信息一致，可以有效地提高聽力理解。

以上實證分析證明，高視聽相關(guān)性的視聽材料比單純的聽力材料更有助于聽力的理解。當(dāng)聽覺和視覺信息重合，它們之間就可以有效地互補并形成有效的理解。外來的認知負荷降低了，有關(guān)聯(lián)的認知負荷提高了，聽者的理解力得到提升。

2.視聽材料對英語基礎(chǔ)不同的學(xué)生影響不同

實證研究數(shù)據(jù)顯示，高水平組的學(xué)生更善于利用視覺信息來理解視聽材料的大意并有效構(gòu)建大腦圖式。高水平組的學(xué)生對主播的唇部動作和面部表情會更為敏感些。高語義相關(guān)的視頻對低水平學(xué)生影響力超過高水平學(xué)生。不相關(guān)的視覺信息對聽力理解沒有任何的幫助。

這說明視聽材料的理解受到學(xué)生英語語言基礎(chǔ)的影響，不同英語基礎(chǔ)的學(xué)生利用視覺信息的能力是不同的。英語基礎(chǔ)強的學(xué)生更善于利用視覺信息和相關(guān)背景信息，而英語基礎(chǔ)弱的學(xué)生對視覺信息敏感性弱，不善于利用高試聽相關(guān)性的視覺材料理解聽力內(nèi)容，他們很容易受視覺信息的干擾而忽略聽覺信息。因此，英語基礎(chǔ)低的學(xué)生利用視覺信息的能力還有待提高。

3.視聽材料類型不同，對聽力影響也不同

面對面訪談結(jié)果顯示，提高班和普通班學(xué)生都認為視頻資料比單純的聽力材料更有利于聽力的理解。但是，不同類型的視頻資料對聽力的影響不同。學(xué)生普遍認為“動畫畫面”很形象，有助于提高聽力的理解力;“圖表和公式”比較直觀，可以幫助理解聽力中部分相關(guān)內(nèi)容;“邏輯相關(guān)事件”可以顯示實物并傳遞詞語的意思，有助于語義解碼;但“標準的新聞圖片”只對理解大意有幫助。對于視覺信息是否會有助于理解材料中特定信息，學(xué)生認為如果視覺畫面變化太快，則會帶來過多的信息負荷，不利于特殊信息的掌握。視頻中主持人的唇形、手勢及面部特征，對學(xué)生聽力理解影響不大，但對高水平學(xué)生來說，它們可以間接加深對某些詞匯的記憶。

4.教師和學(xué)生對視頻材料的認識和使用不夠

對教師的問卷顯示，英語教師普遍認可有視頻介入的聽力材料，認為視聽材料比單純的聽力材料更直觀、更形象、更貼近真實的語言環(huán)境，并主動將視頻材料應(yīng)用于英語聽力教學(xué)中。但是教師對視頻在聽力中的作用并不很清楚，他們對于視聽材料中視覺信息對聽力理解的影響及作用知之甚少，基本沒有概念和相關(guān)理論支持。教師對視頻的類型也不是很清晰，不同類型視頻對聽力理解的影響還未主動納入聽力理解考查范圍。在課堂上不會引導(dǎo)學(xué)生關(guān)注視頻資料中的視覺信息，也不太會選擇合適的視頻材料應(yīng)用于聽力教學(xué)。

對學(xué)生的調(diào)查問卷顯示，兩個組別的學(xué)生更喜歡去接觸有視頻信息的聽力材料。英語基礎(chǔ)好的學(xué)生對視頻信息在提高聽力理解方面持更加肯定的態(tài)度，他們習(xí)慣利用背景材料、圖表、主持人的手勢、表情等來幫助聽力的理解。但英語基礎(chǔ)低的學(xué)生對視聽材料中的視頻資料沒有概念，基本不關(guān)注視頻信息。

四、啟示

有視頻介入的視聽材料對英語聽力教學(xué)提供了新的思路，也帶來了新的問題和挑戰(zhàn)。明確視聽資料中視聽的相互影響機制，會更有效地提高聽力教學(xué)的效果。在今后的聽力教學(xué)中，要注重以下方面。

1.加強師資培訓(xùn)

對從事英語聽力教學(xué)的老師進行相關(guān)理論培訓(xùn)，從而明確視聽材料中視聽的認知關(guān)系，科學(xué)有意識地引導(dǎo)學(xué)生利用好視聽材料。教師既要注重學(xué)生語音和聽力技巧的培養(yǎng)，也要注重培養(yǎng)學(xué)生對視覺信息的認知，并介紹有效的視覺信息理解技巧，從而全面提升聽力理解能力。

2.合理選擇視頻材料

常見的視頻材料通常表現(xiàn)為“動畫”“圖表和公式”“邏輯相關(guān)事件”“標準的新聞圖片”和“不相關(guān)圖片”等，它們和聽覺的語義相關(guān)性依次減弱。我們在視頻材料的選擇上，要多選擇視聽相關(guān)性高的“動畫”或“圖表和公式”，避免使用“標準的新聞圖片”和“不相關(guān)圖片”等。只有高視聽相關(guān)性的視頻材料才能夠更好地幫助理解聽力內(nèi)容，有效地服務(wù)于聽力教學(xué)。

3.培養(yǎng)學(xué)生利用視頻材料的意識

對于低水平學(xué)生來說，視覺信息的替代效果要更強，他們在視聽材料中，更關(guān)注視覺信息超過聽覺信息;對高水平學(xué)生來說，視覺信息的補充效果更強，即他們有能力更好地使用視覺信息來提高聽力理解。也就是說，低水平學(xué)生受視頻材料中視覺信息影響更大，視聽高相關(guān)性的材料有助于提高他們的聽力理解，而視聽低相關(guān)性的材料會更大程度上干擾他們的聽力理解。因此，加強學(xué)生英語基礎(chǔ)知識的儲備，訓(xùn)練并提高學(xué)生對視覺信息的認知水平，降低視頻信息的替代效果，加強它的補充效果，可以更有效地利用好視聽材料并運用于教學(xué)。

參考文獻

[1] 馮德正.“多模態(tài)研究的現(xiàn)狀與未來——第七屆國際多模態(tài)會議評述”[J].外國語，2015（04）.

[2] 顧曰國.多模體、多模體學(xué)習(xí)剖析[J].外語電化教學(xué)，2007（02）.

[3] Mayer，R.Multimedia Learning：Are We Asking the Right Questions.Educational psychologist，1997，32（01）.

[4] Sweller，J.Implications of cognitive load theory for multimedia learning.In R.Mayer（Ed.），Cambridge Handbook of Multimedia Learning.New York：Cambridge University Press，2005.

[5] Walma van der Molen，J.H.Assessing text-picture correspondence in television news：the development of a new coding scheme.Journal of Broadcasting and Electronic Media，45（03）.

[6] Vandergrift，L.Learning to listen or listening to learn. Annual Review of Applied Linguistics，2004，24.

[作者：史煜（1975-），女，甘肅平?jīng)鋈?，西北政法大學(xué)外國語學(xué)院講師，碩士。]

【責(zé)任編輯 ? 王 ? 穎】