李天頤

（廣州醫(yī)學(xué)科大學(xué)基礎(chǔ)學(xué)院英語(yǔ)教研室，廣東廣州510182）

一、研究背景

電影的出現(xiàn)使得語(yǔ)言模態(tài)——文本不再是獲取信息的唯一手段，話語(yǔ)世界日益呈現(xiàn)多樣化。同時(shí)國(guó)際電影業(yè)的飛速發(fā)展讓中國(guó)英語(yǔ)學(xué)習(xí)者有了更多接觸到英文電影的機(jī)會(huì)。電影中不僅包含語(yǔ)言模態(tài)——文本，而且包含非語(yǔ)言模態(tài)如圖片、音樂(lè)、視頻等能表意義、傳遞信息的豐富符號(hào)資源。一些學(xué)者已證明看電影能產(chǎn)生附帶詞匯習(xí)得。Krashen（2000）指出，“以多感官的方式頻繁地接觸目標(biāo)語(yǔ)讓詞匯習(xí)得變得更加有效?！痹赩anderplank（1988）的研究中，帶字幕的電影能向二語(yǔ)習(xí)得者提供地道、真實(shí)的一手語(yǔ)言資源，從而提高他們的語(yǔ)言能力。二語(yǔ)習(xí)得者喜歡通過(guò)看電影來(lái)學(xué)習(xí)目標(biāo)語(yǔ)，因?yàn)樵谟⒄Z(yǔ)作為第二語(yǔ)言的環(huán)境中，電影是一種非常有價(jià)值的二語(yǔ)輸入材料（Chapelle 1998）。從跨文化交際的角度看，語(yǔ)言和文化密不可分，非語(yǔ)言交際在交際領(lǐng)域中的作用設(shè)置大于言語(yǔ)交際。Saussure(2001)認(rèn)為，“語(yǔ)言是由能夠傳達(dá)意義的符號(hào)組成的，我們可以通過(guò)符號(hào)研究語(yǔ)言。但是，動(dòng)態(tài)語(yǔ)境主要是通過(guò)圖像符號(hào)與聲響符號(hào)來(lái)傳遞信息的，這種非言語(yǔ)性語(yǔ)境同樣具有很強(qiáng)的語(yǔ)用功能，任務(wù)的面部表情、動(dòng)作、服飾、室內(nèi)的擺設(shè)、室外的景物、光線的變化、語(yǔ)音語(yǔ)調(diào)的變化等都是可以傳情達(dá)意的?！睆恼Z(yǔ)境的角度看，電影能通過(guò)創(chuàng)設(shè)真實(shí)生動(dòng)的情景進(jìn)行語(yǔ)境化教學(xué)；從認(rèn)知心理學(xué)的角度看，電影圖、文、聲、情并茂，能全面刺激學(xué)生的多個(gè)感官系統(tǒng)，增強(qiáng)記憶，激發(fā)學(xué)生的學(xué)習(xí)熱情，提高學(xué)習(xí)效率。學(xué)生既能通過(guò)字幕習(xí)得語(yǔ)言文字，又可通過(guò)電影圖像習(xí)得非語(yǔ)言交際（non-verbal communication），是語(yǔ)言教學(xué)與非語(yǔ)言教學(xué)的結(jié)合典范。

二、模態(tài)與電影的多模態(tài)特征

模態(tài)在文本里指人類通過(guò)感官（如視覺(jué)、聽(tīng)覺(jué)等）跟外部環(huán)境（如人、機(jī)器、物件、動(dòng)物等）之間的互動(dòng)方式。用單個(gè)的感官進(jìn)行互動(dòng)叫單模態(tài)，用兩個(gè)的叫雙模態(tài)，三個(gè)或以上的叫多模態(tài)，正常人之間的互動(dòng)都是多模態(tài)的（顧曰國(guó)2007）。朱永生（2007）指出，“五種感知通道（視覺(jué)通道、聽(tīng)覺(jué)通道、觸覺(jué)通道、嗅覺(jué)通道、味覺(jué)通道）的獲得分別導(dǎo)致以下五種交際模態(tài)的產(chǎn)生：視覺(jué)模態(tài)（visual modality）、聽(tīng)覺(jué)模態(tài)（auditive modality）、觸覺(jué)模態(tài)（tactile modality）、嗅覺(jué)模態(tài)（olfactory modality）和味覺(jué)模態(tài)（gustatory modality）。 ”“多模態(tài)文本”則指裝載多模態(tài)活動(dòng)的、經(jīng)過(guò)數(shù)字化后計(jì)算機(jī)可以處理的含音頻的視頻流。一個(gè)多模態(tài)文本就是一段關(guān)于某項(xiàng)多模態(tài)活動(dòng)的含音頻的視頻流（袁傳有2012）。

人類對(duì)事物的感知?dú)v來(lái)是多模態(tài)的，電影蘊(yùn)含的動(dòng)態(tài)語(yǔ)境，它的多模態(tài)性符合人類的認(rèn)知習(xí)慣。在觀影過(guò)程中，觀影者啟用了視覺(jué)和聽(tīng)覺(jué)雙模態(tài)，然后通過(guò)音頻流、視頻流和字幕與電影的多模態(tài)內(nèi)容互動(dòng)。符號(hào)資源是人們?cè)谏a(chǎn)和闡釋圖像和其他信息時(shí)用來(lái)創(chuàng)造意義的認(rèn)知資源。交際和再現(xiàn)意義經(jīng)常需要多種符號(hào)編碼，即多模式，如圖像、手勢(shì)、身體語(yǔ)言等，語(yǔ)言只是眾多交際模式中的一種，多模態(tài)語(yǔ)篇指的是除了文本，還帶有圖像、圖表等的復(fù)合話語(yǔ)，或者說(shuō)任何由一種以上符號(hào)編碼實(shí)現(xiàn)意義的文本。電影就是一種利用多種符號(hào)資源構(gòu)建意義、傳遞信息的多模態(tài)語(yǔ)篇（徐畔2012）。

三、認(rèn)知心理學(xué)基本理論

認(rèn)知心理學(xué)是關(guān)于人們?nèi)绾潍@得、儲(chǔ)存、轉(zhuǎn)換、運(yùn)用信息的過(guò)程，這個(gè)過(guò)程涉及人們心理生活的各個(gè)方面：感知、注意、記憶、思維、推理、決策和問(wèn)題解決認(rèn)知心理學(xué)以信息加工的范式探討人的認(rèn)知機(jī)能方面的問(wèn)題，如那些信息加工方法與程序能取得更大效率；聯(lián)結(jié)主義涉及構(gòu)成人的認(rèn)知基礎(chǔ)的“硬件”，即運(yùn)用心理模型描述整個(gè)認(rèn)知加工過(guò)程是如何在人腦中執(zhí)行的，它們?cè)噲D解釋人的認(rèn)知系統(tǒng)或機(jī)能如何在現(xiàn)實(shí)環(huán)境中運(yùn)行運(yùn)作并受到周圍環(huán)境的影響（梁寧建2009）。

1.雙重編碼理論。大腦中存在兩個(gè)功能獨(dú)立卻又相互聯(lián)系的認(rèn)知系統(tǒng)，即言語(yǔ)系統(tǒng)和非言語(yǔ)系統(tǒng)。言語(yǔ)刺激經(jīng)過(guò)感知系統(tǒng)，以字符為基本單位表征、編碼儲(chǔ)存在言語(yǔ)系統(tǒng)中；非言語(yǔ)刺激經(jīng)過(guò)感知系統(tǒng)，以圖像為基本單位表征、儲(chǔ)存在非言語(yǔ)系統(tǒng)中。言語(yǔ)系統(tǒng)和非言語(yǔ)系統(tǒng)內(nèi)部分別存在一種連接，使系統(tǒng)內(nèi)部形成關(guān)聯(lián)結(jié)構(gòu)。非言語(yǔ)系統(tǒng)中，一副圖像同樣也會(huì)引發(fā)其他相關(guān)圖像加入編碼。言語(yǔ)表征和非言語(yǔ)表征之間還相互連接，形成一個(gè)復(fù)雜的關(guān)聯(lián)網(wǎng)絡(luò)，即參照連接（referential connections）。雙重編碼理論強(qiáng)調(diào)了非言語(yǔ)信息加工的同等重要性，有力地支持了多媒體學(xué)習(xí)有關(guān)“人們從詞語(yǔ)和畫面中學(xué)習(xí)比僅僅從詞語(yǔ)中學(xué)習(xí)更為深入”的重要假設(shè)（Mayer 2005）。

2.圖爾文（E.Tulving）總結(jié)了已有的有關(guān)記憶的研究，對(duì)情節(jié)記憶（episodic memory）和語(yǔ)義記憶（semantic memory）作了區(qū)分。這種區(qū)分現(xiàn)已為大多數(shù)心理學(xué)家所接受。情節(jié)記憶是指?jìng)€(gè)體記憶以往經(jīng)歷過(guò)的某些特定事件方面的信息，主要用以儲(chǔ)存人生中印象比較深刻的事情。情節(jié)記憶中的信息是在現(xiàn)象學(xué)層次上的，是用一種視覺(jué)映像或其他映像形式存儲(chǔ)起來(lái)的，因而是一種事件知識(shí)存儲(chǔ)。語(yǔ)義記憶則是保持從經(jīng)驗(yàn)中抽象出來(lái)的，或是從自己經(jīng)驗(yàn)中所獲得的信息的概括，是一種概念存儲(chǔ)（梁寧建2009）。以上關(guān)于多模態(tài)和認(rèn)知領(lǐng)域的研究成果為本研究提供了堅(jiān)實(shí)的理論依據(jù)和可行的方法指導(dǎo)，如下討論優(yōu)化教學(xué)模式的構(gòu)建及應(yīng)用。

四、實(shí)證研究

1.研究對(duì)象及分組

研究對(duì)象為廣州醫(yī)學(xué)院2011級(jí)大學(xué)一年級(jí)第一學(xué)期的臨床系新生，共3個(gè)班96人，每班32人。實(shí)驗(yàn)中各班英文水平一致，理由：1）大一入學(xué)按考生英語(yǔ)高考成績(jī)分班，以高分至低分排序，分別依次編入各自然班，故各班學(xué)生英語(yǔ)基礎(chǔ)接近。2)開(kāi)學(xué)首次英語(yǔ)課，即對(duì)各班進(jìn)行摸底考試（采用2009年CET4真題），結(jié)果各班之間成績(jī)比較無(wú)統(tǒng)計(jì)學(xué)差異（用SPSS15.0統(tǒng)計(jì)軟件做單因素方差分析，P>0.05）。本研究以自然班進(jìn)行分組，具體如下：

表1 各班教學(xué)采用的不同字幕電影類型

2.觀看材料：

選定的三部英文電影：《結(jié)婚大作戰(zhàn)》，《大學(xué)之路》，《飛屋環(huán)游記》。理由：Krashen(1981)認(rèn)為最佳語(yǔ)言輸入有以下幾個(gè)特點(diǎn)：1）語(yǔ)言習(xí)得者必須對(duì)傳遞的語(yǔ)言信息感興趣，從詞匯習(xí)得的角度出發(fā)，這種興趣能產(chǎn)生去理解信息中未知單詞的愿望。認(rèn)知心理學(xué)家指出，要提高學(xué)生的注意力，必須讓學(xué)生在所學(xué)的科目和內(nèi)容上產(chǎn)生一定的興趣。2）信息中必須有一些語(yǔ)言習(xí)得者未能掌握的詞匯。大量的研究結(jié)果表明，一個(gè)人對(duì)中等復(fù)雜程度的刺激信息或相關(guān)事務(wù)最具興趣，也最能保持注意。如果刺激信息對(duì)個(gè)體的智力和知識(shí)經(jīng)驗(yàn)過(guò)于簡(jiǎn)單，沒(méi)有新的信息成分，就會(huì)引起學(xué)習(xí)者的厭煩情緒。如果刺激信息過(guò)于復(fù)雜，個(gè)體受自身智力或知識(shí)經(jīng)驗(yàn)的限制，不能從中發(fā)現(xiàn)任何新信息，也不會(huì)長(zhǎng)時(shí)間保持對(duì)這些信息的注意。因此，只有一個(gè)人面臨的刺激信息的難度稍微超過(guò)他的能力或知識(shí)經(jīng)驗(yàn)，但又不會(huì)超過(guò)太多時(shí)，才能引起他的最大興趣和注意，從而有利于提高學(xué)習(xí)和記憶效率。3）所傳遞的語(yǔ)言信息必須是可理解的。

在其它班級(jí)進(jìn)行的觀影預(yù)實(shí)驗(yàn)結(jié)果顯示：學(xué)生認(rèn)為這三部電影內(nèi)容風(fēng)趣詼諧且貼近生活，電影大意能夠理解但部分詞句的具體含義不甚清楚。

3.測(cè)試工具

詞匯水平測(cè)試（Vocabulary level test；VLT）

接受性詞匯測(cè)試，測(cè)試題后經(jīng)Laufer（1998）的修改成型，已被證明有很高的信度和效度(Nation1990)。

兩套測(cè)試題均由2千、3千、學(xué)術(shù)詞匯、5千和1萬(wàn)共5個(gè)詞頻等級(jí)測(cè)試組成，每一級(jí)詞頻測(cè)試有30題，每題 1 分，共 30 分。 詞匯水平計(jì)算為：Vocabulary size=a/30×2000+b/30×1000+c/30×2000+e/30×5000。 （a、b、c、d、e分別為2千、3千、5千和1萬(wàn)詞頻級(jí)測(cè)試得）(Laufer1998)。

4.實(shí)驗(yàn)步驟和統(tǒng)計(jì)學(xué)處理

本實(shí)驗(yàn)從第一周開(kāi)始至十八周結(jié)束，3個(gè)班均由同一位英語(yǔ)老師教學(xué)，每次英語(yǔ)課 （兩節(jié)連堂共80分鐘）除傳統(tǒng)教學(xué)時(shí)間外均安排20分鐘左右的英文電影放映，按實(shí)驗(yàn)分組的不同采用不同教學(xué)方法。所有同學(xué)均用同一VLT測(cè)試題進(jìn)行了兩次測(cè)試，一次在實(shí)驗(yàn)開(kāi)始前（前測(cè)），另一次在實(shí)驗(yàn)結(jié)束時(shí)（后測(cè)），每部電影連續(xù)播放兩次。根據(jù)前、后測(cè)成績(jī)的變化比較來(lái)探討不同教學(xué)方法的優(yōu)劣。所有數(shù)據(jù)使用SPSS15.0統(tǒng)計(jì)軟件，分析前對(duì)所有計(jì)量資料進(jìn)行正態(tài)性檢驗(yàn)，均服從正態(tài)分布，數(shù)據(jù)以均數(shù)±標(biāo)準(zhǔn)差表示，三種教學(xué)模式下學(xué)生詞匯量提高程度的比較用重復(fù)測(cè)量方差分析法，如有差異要進(jìn)一步兩兩比較用LSD-t檢驗(yàn)，以P﹤0.05認(rèn)為差異有統(tǒng)計(jì)學(xué)意義。5.結(jié)果與討論

表2 學(xué)生在不同教學(xué)模式下詞匯量水平的比較（均數(shù)±標(biāo)準(zhǔn)差）

學(xué)生的后測(cè)成績(jī)均較前測(cè)成績(jī)提高（F=539.317，P<0.001），三種教學(xué)模式對(duì)學(xué)生詞匯量提高幅度之間的差異有統(tǒng)計(jì)學(xué)意義（F=15.175，P<0.001），其中“傳統(tǒng)教學(xué)法+觀影”要優(yōu)于“傳統(tǒng)教學(xué)法”（P=0.01），“傳統(tǒng)教學(xué)法+觀影+附加任務(wù)”又優(yōu)于“傳統(tǒng)教學(xué)法+觀影”（P=0.035）。

“傳統(tǒng)教學(xué)法+觀影”要優(yōu)于“傳統(tǒng)教學(xué)法”可解釋如下：記憶研究一致認(rèn)為，心理映像是把信息引入記憶的基本途徑之一。日益增加的研究表明，圖片記憶比文字記憶容易。視覺(jué)映像與文字意義和聯(lián)想到文字的數(shù)量之間存在著高度相關(guān)。圖畫比句子更容易用來(lái)進(jìn)行信息編碼。動(dòng)態(tài)語(yǔ)境與靜態(tài)語(yǔ)境（我們把所有的文字語(yǔ)篇，包括電影里的字幕都納入靜態(tài)語(yǔ)境范疇）往往是同時(shí)作用于人的認(rèn)知的，然而兩者具有互補(bǔ)性，只有把它們結(jié)合起來(lái)，才能正確地把握語(yǔ)境的語(yǔ)義。根據(jù)Sweller&Chandler(1990)的分離-注意理論(split-attention theory)和Baddeley的工作記憶模型（working memory model）,視覺(jué)工作記憶區(qū)域、聽(tīng)覺(jué)工作記憶區(qū)域是相對(duì)獨(dú)立的，所以在語(yǔ)言習(xí)得過(guò)程中，不同類型的符號(hào)指向同一學(xué)習(xí)內(nèi)容時(shí)，可以充分調(diào)動(dòng)人們的視聽(tīng)兩個(gè)感知通道的注意力。同時(shí)，理想的效果應(yīng)是：在視覺(jué)工作區(qū)加工所形成的視覺(jué)意象與在聽(tīng)覺(jué)工作區(qū)加工所形成的相關(guān)的聽(tīng)覺(jué)意象互相一致，也就是我們常說(shuō)的，看到的與聽(tīng)到的一樣，如此才能引起聲畫信息（即視聽(tīng)信息）疊加聯(lián)想，加大感知深度，產(chǎn)生“1+1>2的教學(xué)效果(Baddeley 1992)。這是外語(yǔ)影視教學(xué)的目的，也是傳統(tǒng)教學(xué)與英文電影優(yōu)化組合的出發(fā)點(diǎn)。

對(duì)于“傳統(tǒng)教學(xué)法+觀影+附加任務(wù)”優(yōu)于“傳統(tǒng)教學(xué)法+觀影”這個(gè)結(jié)果，我們可以將之解釋為對(duì)信息的不同加工程度不同而造成的，也就是說(shuō)對(duì)詞匯的拼寫、意義等知識(shí)的注意程度不同造成的，而深層的編碼會(huì)產(chǎn)生更好的學(xué)習(xí)與記憶效果。按照Schmidt(1990)解釋，有無(wú)任務(wù)使單詞的凸顯性不一樣，從而使學(xué)習(xí)效果不一樣。

六、結(jié)語(yǔ)

單一的文本模式很難滿足當(dāng)前多媒體日益發(fā)展的趨勢(shì)，人的信息獲得離不開(kāi)經(jīng)驗(yàn)的情境，并且受到情境中各種特征的影響。以語(yǔ)言符號(hào)為主、非語(yǔ)言符號(hào)為輔的原則，它們同時(shí)作用于學(xué)習(xí)者的認(rèn)知活動(dòng)中（曾方本2010）。電影的信息傳播過(guò)程主要依靠畫面，即以非語(yǔ)言符號(hào)為主，電影的目的在于提供一種有效的語(yǔ)言教學(xué)或語(yǔ)言學(xué)習(xí)工具。歸根到底，外語(yǔ)多媒體所蘊(yùn)含的動(dòng)態(tài)文本才是學(xué)習(xí)者的習(xí)得內(nèi)容，其信息載體主要體現(xiàn)在語(yǔ)言符號(hào)中，而不是音樂(lè)、圖像等非語(yǔ)言符號(hào)中。因此，必須建立以語(yǔ)言符號(hào)為主、非語(yǔ)言符號(hào)為輔的外語(yǔ)多媒體符號(hào)表征體系，非語(yǔ)言符號(hào)雖然能引起學(xué)習(xí)者的興趣，但過(guò)多使用非語(yǔ)言符號(hào)會(huì)使英文電影的融入成為一種單純的娛樂(lè)，從而分散學(xué)習(xí)者的注意力。

電影教學(xué)要使學(xué)習(xí)者能夠真正成為學(xué)習(xí)任務(wù)的參與者。圍繞著交際目的而產(chǎn)生的互動(dòng)才是有價(jià)值的，交際任務(wù)越具體越好。這意味著，任務(wù)必須注重使學(xué)習(xí)者在使用語(yǔ)言的過(guò)程中將注意力放到交際目標(biāo)上，而不是僅僅去解決語(yǔ)言形式上的問(wèn)題。學(xué)習(xí)者需要機(jī)會(huì)輸出目的語(yǔ)，應(yīng)積極參與二語(yǔ)活動(dòng)，盡量多地獲取交流機(jī)會(huì)，電影教育應(yīng)有利于語(yǔ)言交際能力的培養(yǎng)，電影內(nèi)容的選擇要重視語(yǔ)境的構(gòu)建，并且要體現(xiàn)以語(yǔ)言信息為中心，要注意發(fā)揮包括字幕、聲音、圖像在內(nèi)的符號(hào)作用，重視學(xué)習(xí)者的語(yǔ)言認(rèn)知規(guī)律，運(yùn)用多模態(tài)觀察、分析、表述各類語(yǔ)篇信息，并在課堂呈現(xiàn)和交流，支持學(xué)習(xí)者完成二語(yǔ)學(xué)習(xí)任務(wù)和交際目標(biāo)。

總之，以研究多模態(tài)英語(yǔ)電影教學(xué)的命題，涵蓋的研究因素較多，本實(shí)驗(yàn)僅對(duì)此做了有益的初步探討，實(shí)驗(yàn)?zāi)Ｊ揭言谖倚?shí)際教學(xué)工作中推廣試行，至今效果良好。

Baddeley,T.(1992).Computer-assisted language learning:An introduciton[A].In S.Fotos(ed.)Multimedia Language Teaching[M].Logos International.

Chapelle,C.(1998).A multimedia CALL:Lesson to be learned from research on instructed SLA[J].Language Learning&Technology，2(1).

Krashen,S.D.(2000).What does it take to acquire language?[J].ElSMagazine，3(3).

Krashen,S.D.(1981).Second Language Acquisition and Second Language Learning[M].New York:Prentice-Hall.

Laufer,B.(1998).The development of passive and active vocabulary in a second language：Same or different?[J].Applied Linguistics，19(2).

Mayer，R.E.(2005).Cognition Theory of Multimedia Learning [A].In R.E.Mayer (ed.).The Cambridge Handbook of Multimedia Learning[M].New York:Cambridge University Press.

Nation,I.S.P.(1990).Teaching and Learning Vocabulary[M].New York:Newbury House.

Saussure(2001).Course in General Linguistics[M].Beijing:Foreign Language Teaching and Reasearch Press.

Schmidt,R.W.(1990).The role of consciousness in second language learning[J].Applied Linguistics(2).

Sweller&Chandler(1990).An Introduction to Cognitive Linguistics[M].London:Longman.

Vanderplank,R.(1988).The value of teletext sub-titles in language learning[J].ELT Journal,42(4).

顧曰國(guó) （2007）.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語(yǔ)電化教學(xué)(4)。

梁寧建 （2009）.應(yīng)用認(rèn)知心理學(xué)[M].上海：上海教育出版社。

徐畔 （2012）.多模態(tài)視角下的高校英美文學(xué)專業(yè)課構(gòu)建——基于電影的多模態(tài)特征及在英美文學(xué)教學(xué)中的應(yīng)用[J].黑龍江高教研究(1)。

袁傳有 （2012）.“多模態(tài)信息認(rèn)知教—學(xué)模式”初探[J].山東外語(yǔ)教學(xué) (4)。

曾方本 （2010）.現(xiàn)代語(yǔ)言學(xué)理論與外語(yǔ)多媒體教學(xué)[M].廣州：暨南大學(xué)出版社。

朱永生(2007).多模態(tài)話語(yǔ)分析的理論基礎(chǔ)與研究方法[J].外語(yǔ)學(xué)刊(5)。