胡　璐

(成都信息工程大學 外國語學院,成都 610000)

0　引　言

多模態(tài)需要聽覺、視覺等不同感官的參與，需要利用語言、圖像、聲音等不同手段。在計算機網(wǎng)絡等教學技術的不斷發(fā)展和多模態(tài)話語分析理論不斷完善的新環(huán)境下，計算機輔助教學越來越廣泛。把多模態(tài)應用于教學，可以讓學習者充分利用自己的感官來學習。如果學習者大腦皮層相應的機能區(qū)受到多渠道信息共同刺激時，反應要比受到單一渠道信息刺激時劇烈，正效應條件更有助于學習者加工、記憶信息，從而增強學習效果[1]。可是多模態(tài)學習具有雙重作用，如果不能恰當處理會使學習者的注意力被分散，知識點記憶容易被干擾。大腦的工作記憶容量有限，因此人們幾乎無法對各個渠道的信息進行同時加工。為了防止工作記憶負荷的負效應產(chǎn)生，需專門處理一下材料的表現(xiàn)方式的。本實驗通過分析英語專業(yè)聽力教學多模態(tài)功能，旨在為英語聽力教學提供參考。

1　相關研究回顧

對聽力教學中多模態(tài)應用的實驗分析在國內(nèi)外都取得了一定的成績。國外方面的成績主要有： Lambert等[2]的相關實驗證明，學習者運用的學習材料和得分有很大關系，若采用母語配音結合二語字幕的聽力材料，學習者的得分居第一位，若采用二語配音結合二語字幕的聽力材料學習中得分居第二位，而二語配音結合母語字幕的聽力材料對學習者的聽力理解幾乎沒有幫助。Baltova[3]的實驗發(fā)現(xiàn)，在進行聽力教學時，當視頻被結合有二語字幕的時候，學生記憶聽力材料的效果最好。Malisz等[4]的實驗表明，多模態(tài)組合對學生理解聽力材料有很大的促進作用，與母語字幕相比，二語字幕對學習者聽力學習效果更佳。Dominguez等[5]的實驗同樣證明，在學生理解聽力材料時，多模態(tài)模式有著積極的影響，可是模態(tài)不同期作用方式也就不一樣。國內(nèi)方面的成績有：龍宇飛等[6]對元認知策略和多模態(tài)交互作用在聽力中的作用進行實驗。李欣等[7]研究了多模態(tài)自主聽力教學模式的有效性，研究證明多模態(tài)能使學生的聽力水平、多元識讀能力都有很大的效果。

這些研究較少對在聽力理解中，各個多模態(tài)組合的作用程度進行相關分析，對各個模態(tài)在英語專業(yè)聽力教學中具體應用效果也關注較少。本實驗主要對英語專業(yè)聽力教學多模態(tài)功能進行分析。

2　實驗設計

2.1　實驗問題

英語專業(yè)聽力教學多模態(tài)功能，主要實驗問題：①在英語專業(yè)聽力教學中多模態(tài)對學生理解聽力材料的能力有無效果？②在聽力理解中視頻、圖像的優(yōu)勢與缺陷是什么？③在聽力理解中漢語及英語字幕有怎樣的優(yōu)勢？④在聽力理解中漢語及英語字幕的影響達到怎樣的程度？

2.2　實驗對象

本實驗選取我校英語專業(yè)二年級4個班級的學生。在各班隨機分別選擇40名學生，分為4組。參與實驗的學生在二年級上學期期中、期末考試中的成績單因素方差分析結果是，4組學生之間沒有顯著差異(F=0.002 9，P=0.882>0.05；F=0.076，P=0.895>0.05)，也就是說4組參與實驗的學生英語水平在總體上無明顯差異。在實驗過程中，每組學生的聽力材料都用不同的方式進行播放。把聽力材料是音頻(聽覺模態(tài))形式的作為對照組，把聽力材料是音頻、視頻但沒有字幕(聽覺、視覺模態(tài))的作為實驗一組，把聽力材料是音頻、視頻并配有漢語字幕(聽覺、視覺模態(tài))的作為實驗二組，把聽力材料是音頻、視頻但是配有英語字幕(聽覺、視覺模態(tài))的作為實驗三組。

2.3　實驗聽力材料、方法、步驟

所使用的聽力材料是一段5 min左右(415個詞)的美國之音新聞視頻，介紹的是華盛頓特區(qū)的國家肖像畫廊。在畫廊墻上貼的是在美國西部發(fā)展過程中有著重要影響的人物、事跡，例如刺繩的發(fā)明者Joseph Glidden[8]，牛仔褲的發(fā)明者Levi Strauss[9]，國家公園、國家森林的主建筑者Theodore Roosevelt[10]，還有作家Samuel Clemens[11]這位第一次把西部人的心聲帶到美國文壇的人等。這一畫廊把美國西部80多年間的重大歷史事件都完整的呈現(xiàn)出來。此外，依據(jù)本實驗要求，特殊處理了這段視頻。

只運用音頻； 同時運用音頻、視頻但沒有字幕；同時運用音頻、視頻但字幕是漢語；同時使用音頻、視頻但字幕是英語，這4種聽力材料的播放方式是這次實驗的變量。把學生所做的聽力大綱作為研究的依據(jù)。

用不同的方式向4組學生播放聽力材料。每次實驗都同時進行，并嚴格按照實驗步驟進行。實驗步驟為：首先教師把本次實驗的過程、目標以及注意事項介紹給學生，接著首次進行聽力材料的播放，在聽的過程中學生需要做漢語或者英語筆記，當首次播完后，學生要在6 min的時間之內(nèi)檢查好做的大綱，接著再次播放聽力材料，這次依然需要寫大綱且自我檢查，最后再給學生20 min的時間對大綱完善整理[12]。

2.4　收集、分析數(shù)據(jù)

進行數(shù)據(jù)分析的依據(jù)是學生的英語大綱所含語義單位個數(shù)。邀請5位教齡超過7年的英語專業(yè)教師、3位英語外教成立專門小組，聽力材料的語義單位進行統(tǒng)計。最終把聽力材料分成41個語義單位。語義單位有新聞主題、內(nèi)容、主要人物以及事件等。依據(jù)學生的聽力概要進行4種聽力材料播放方式在學生聽力理解中的作用研究，有助于對在聽力過程中各種模態(tài)在學生認知中的作用，漢語、英語字幕的作用進行有效分析，從而得出每種模態(tài)的優(yōu)缺點[13]。

在統(tǒng)計語義單位數(shù)量時，對于只把與語義有一定聯(lián)系的單詞、短語、句子寫出來的情況，縱使他們的語法不確切，仍然視作掌握這一語義單位信息，要把這些統(tǒng)計進去。各組的單項語義單位成績是各組寫出語義單位的學生數(shù)。用統(tǒng)計軟件SPSS19.0進行數(shù)據(jù)分析和統(tǒng)計處理，進行單因素方差分析以及Post Hoc事后多重檢驗，同時參考對實驗組學生進行隨訪的結果。把0.05作為顯著性水平標準。

3　結果分析

3.1　在聽力理解中不同模態(tài)的影響

運用單因素方差分析統(tǒng)計分析學生的成績，來研究在聽力理解中不同模態(tài)的影響有無明顯差異(見表1)。

表1　在聽力理解中不同模態(tài)的影響

從表1中可以看到，在聽力理解中不同模態(tài)的播放方式之間具有具有明顯差異(F=28.994，P=0.000<0.05)。實驗三組的多模態(tài)在學生的聽力理解中作用最大，實驗二組的作用是第二，實驗一組的作用是第三，對照組的作用最小。運用Post Hoc進行事后多重檢查(見表2)。

表2　Post Hoc事后多重檢查

從表2中的同等條件下的規(guī)律對比情況,我們可以得出:實驗三組的分值比其他組高,實驗二組的分值比實驗一組高。也就是說在學生聽力理解中，有英語字幕的聽覺、視覺模態(tài)功能最強，然后有漢語字幕的聽覺、視覺模態(tài)功能第二，無字幕的聽覺視覺模態(tài)功能第三，單獨的聽覺模態(tài)功能最弱。

3.2　各模態(tài)的作用程度、利弊

3.2.1音頻

當前音頻已經(jīng)被廣泛應用于英語專業(yè)聽力教學中，成為學生進行聽力理解的主要媒介，并發(fā)揮著積極的影響。但是大量研究表明，單獨使用聽覺模態(tài)的教學效果與多種模態(tài)相比效果較差。隨著計算機網(wǎng)絡技術、多模態(tài)理論的不斷發(fā)展，多模態(tài)在英語聽力教學的功能發(fā)揮一定會更加完善。

3.2.2視頻

國內(nèi)外的大量實驗表明，對短期記憶而言，視覺信息效果較好。在聽力理解中，當各感官共同參與時，聽力信息就會通過不同的途徑向大腦傳播，然后大腦把獲取的這些信息進行整理完善，最終形成感覺統(tǒng)合，這樣聽者對信息的理解認識效果更好[14]。本研中綜合運用多模態(tài)要不只是用聽覺模態(tài)更能促進學生對聽力材料的理解。但視覺模態(tài)并不是在所有的情況下都會促進聽力材料的理解。

3.2.3字幕

在聽力理解中，特別是當聽力材料中存在容易讓聽者產(chǎn)生誤解的信息時，字幕則發(fā)揮這重要的作用。本實驗表明，當聽力材料相同，學習者的英語水平不存在較大差別時，如果使用英語字幕，那么學習者更容易獲取聽力信息。究其原因，主要是用漢語字幕來展示英文材料會出現(xiàn)語義理解發(fā)生偏差的問題。

4　實驗討論與體會

本實驗與有的實驗結論存在差異，可能主要是下面幾方面的因素引起的：①研究對象的文化背景知識不同。在本實驗的聽力理解中，當學生遇到與西方文化有關的語義信息單位時，對其理解較為困難，特別是對那些包含人名、地名等術語的聽力材料，大多學生必須通過英語字幕才能獲取所需要的信息。②研究對象的英語水平不同。本實驗的參與者是我校英語專業(yè)大二學生，他們都具備一定聽力基礎。而有的實驗參與者是非英語專業(yè)的學生，而且聽力基礎比較薄弱。所以，在進行多模態(tài)英語聽力教學的時候，要依據(jù)教學內(nèi)容所涉及的領域，學生的知識能力結構、興趣等來選擇聽力材料的播放方式。

如果學生一直處于動態(tài)的認知過程中，并且以自己已經(jīng)掌握的知識為依據(jù)去進行假設、檢驗，那么學生的聽力理解能力就會增強。就像本實驗中，在聽力理解過程中，視覺模態(tài)通過提供和聽覺信息相應的背景知識，使學生的認知水平提高，使學生的聽力能力增強。然而，當視覺信息和聽覺信息無法相適應時，就會出現(xiàn)學生無法正確認識，并且注意力分散的狀況，學生也無法獲取有效的聽力信息。對此，在英語專業(yè)聽力教學中，教師一定要把各個模態(tài)之間的協(xié)同、強化、互補關系理解透徹，從而使其真正促進教學效果的提高。當各個模態(tài)之間相互矛盾、相互無關或者互不銜接時，會阻礙教學效果。因此，所選擇的模態(tài)一定是擁有正效應的。

當發(fā)生母語負遷移時，學生對聽力材料中的語音、詞匯、語法等的加工與輸出必將受到嚴重阻礙。所以，在英語專業(yè)聽力教學中，學生既要接受必要的聽力基本能力訓練，又要不斷充實自己的英語基礎知識，提升自己的英漢對比能力，增強自己的跨文化意識，夯實自己的跨文化交際能力，最終使母語的負遷移對自己的影響達到最低[15]。

另外，當不同來源的信息同時向學習者襲來時，學習者通常會因為信息量太大，而不知到怎樣才能有效加工、輸出信息。所以，教師要幫助學生形成利用不同模態(tài)去接收、處理信息的能力，要多進行多元讀寫訓練，最終使學生的英語學習水平不斷提高。

本實驗充分證明了多模態(tài)組合在英語專業(yè)聽力教學中的功能，所以，在具體的英語專業(yè)聽力教學中，教師要做好以下幾方面的內(nèi)容：①以學生為主體，破除傳統(tǒng)的聽力教學模式。運用多模態(tài)的聽力教學方式，能在一定程度上提高學生的學習熱情。本實驗中聽力材料以4種不同的方式播放，學生需要自行檢查自己縮寫的英語提綱，都有助于提高學生的學習興趣。在實際英語聽力教學中，教師可以讓學生自己搜集聽力資料，內(nèi)容可以是當前國內(nèi)外的時政熱點，可以是經(jīng)典的英語電影，可以是具有權威性的英語新聞，這樣當教師在播放聽力材料的時候學生就會更加的專注，從而也有助于學生獲取聽力信息。學生也會由過去的厭倦聽力到熱愛聽力，教師甚至可以在學生聽力訓練之后設計一些諸如猜詞、填詞等小游戲，并給予在游戲中表現(xiàn)優(yōu)異的學生一定的獎勵，使學生在輕松愉快的課堂氣氛中運用自己的視覺、聽覺等感官系統(tǒng)，對剛才的聽力材料進行深入的了解。②教師要發(fā)揮其主導作用。多模態(tài)聽力教學模式對教師提出了新的要求，學生搜集的聽力資料多種多樣，教師需要不斷學習，進而能夠了解當前的時事政治、熱門話題等，能夠有效評價學生在多模態(tài)教學模式下的聽力訓練結果、游戲環(huán)節(jié)表現(xiàn)等。聽力理解是一個復雜的過程，涉及的文化等知識很多，所以教師要在多模態(tài)聽力教學模式下，對學生進行必要的理論指導，從而提高學生獲取信息的能力。③不能把多模態(tài)聽力教學模式等同于傳統(tǒng)的視聽說教學模式。多模態(tài)聽力教學模式是不同感官系統(tǒng)共同參與，學生大腦皮層相應的機能區(qū)受到多渠道信息共同刺激，通過信息整合獲得所需要的信息，在實際的課堂教學中，學生會積極主動的參與到整個教學過程中，既調(diào)動了學生進行聽力理解的興趣，還有助于獲得所需要的信息。傳統(tǒng)的視聽說教學模式學生被動接受，各種模態(tài)沒有主次，最終導致顧此失彼。在英語專業(yè)聽力教學中運用多模態(tài)，不只是增強學生的聽力理解能力，還使學生逐漸形成自主學習的習慣。在本實驗中我們認識到了多模態(tài)在英語聽力理解中的功能，所以教師在教學過程中，要以學生為主體，從學生的實際出發(fā)，充分利用多模態(tài)在聽力教學中的重要作用，恰當?shù)睦枚嗄B(tài)聽力教學模式，真正提高學生的英語聽力理解能力。

5　結　語

本實驗證明，在英語專業(yè)聽力教學中運用多模態(tài)可以極大地增強學習者的聽力能力；只要把視覺信息、聽覺信息對應起來，就會產(chǎn)生正面作用；與漢語字幕相比，英語字幕對英語聽力理解效果更佳，原因是漢語字幕會產(chǎn)生更多的詞匯干擾。

本實驗分析的只是依據(jù)一個樣本的結果，加之參與的學生都具備一定的聽力基礎，實驗存在一定的局限性。以后會以聽力能力較差的學生為對象進行實驗，從而進一步分析多模態(tài)對不同對象英語專業(yè)聽力學習效果的影響。

參考文獻(References)：

[1]張長頡. 基于多模態(tài)隱喻構建飛行專業(yè)英語聽力教學策略的效力分析[J]. 牡丹江教育學院學報,2013(2):105-107.

[2]Michael J. Lambert. Bergin and Garfield’s handbook of psychotherapy and behavior change.[M]. Wiley, 2004.

[3]Iva Baltova. The effect of subtitled and staged video input on the learning and retention of content and vocabulary in a second language [microform][J]. Collectionscanada. gc.ca. 1999, 6(1, article 3):1-9.

[5]Dominguez C, Boelens R, Bonvin A M. HADDOCK: A protein-protein docking approach based on biochemical or biophysical information.[J]. Journal of the American Chemical Society, 2003, 125(7):1731.

[6]龍宇飛, 趙璞. 大學英語聽力教學中元認知策略與多模態(tài)交互研究[J]. 外語電化教學, 2009(4):58-62.

[7]李欣,李玫瑛,王佳子. 多模態(tài)自主聽力教學模式有效性的實證研究[J]. 解放軍外國語學院學報,2012(6):59-64,126.

[8]Mangum Wyatt.Past pieces: The first bellowed smoken produced by A.I. root[J].Bee Culture,2003,131(7):47-49.

[9]Levistrauss C. Guillaume Lecointe & Herve Le Guyader, Classification phylogenetique du vivant[J]. Homme Revue Fran?aise Dantropologie, 2002: pgs. 309-311.

[10]Anderson G L. Ten years of leafy spurge biological control attheodore roosevelt national park, medora, north dakota(abstract)[C].//Proceedings of the 20th Biennial Workshop on Aerial Photography,Videography,and High Resolution Digital Imagery for Resource Assessment. Biological Control, 2005.

[11]Richard Lederer.The word and Mr. clemens[J].USA Today,2010,139(Nov. TN.2786):82.

[12]楊曉瑜.CET-4改革下的新聞聽力教學現(xiàn)狀及策略探索[J].廣西科技師范學院學報,2017(5):35-37,45.

[13]甘時源.認知視角下英語新聞聽力理解的策略研究 --針對非英語專業(yè)英語學習者的實證[J].長春大學學報(自然科學版),2017(5):91-94.

[14]沈麗萍.初中英語教學中分層教學法的應用探索[J].校園英語(下旬),2017(10):169.

[15]王蕾.淺議英語專業(yè)學生口語發(fā)音對聽力的影響[J].海外英語(上),2017(10):50-51.