●李麗娟 任 春

一、引言

人的認(rèn)知學(xué)習(xí)過(guò)程首先從感知開(kāi)始，而語(yǔ)言學(xué)習(xí)中涉及最多的感知便是聽(tīng)覺(jué)和視覺(jué)。視覺(jué)與聽(tīng)覺(jué)在信息輸入過(guò)程中，在腦神經(jīng)里采用的是兩種不同的系統(tǒng)，日常學(xué)習(xí)中不難發(fā)現(xiàn)一旦有視覺(jué)的介入聽(tīng)覺(jué)就會(huì)受到影響。最明顯的體現(xiàn)就是在聽(tīng)力練習(xí)過(guò)程中一旦有文字呈現(xiàn)，我們更傾向于接受文字即視覺(jué)的輸入，而聽(tīng)覺(jué)的信息輸入就會(huì)減弱甚至消失。另一方面，近年來(lái)由于手機(jī)軟件的不斷開(kāi)發(fā)，許多同學(xué)喜歡使用有圖片輔助的單詞記憶軟件來(lái)記憶單詞，如扇貝、百詞斬等，同學(xué)們普遍反映這些軟件在幫助記憶單詞方面有一定作用，但是在運(yùn)用方面卻頻頻出錯(cuò)。這說(shuō)明這些單詞軟件并未能讓同學(xué)們真正學(xué)習(xí)到單詞的內(nèi)涵及其運(yùn)用，這其中圖片信息的輸入雖起到了記憶的輔助作用，但在理解上卻會(huì)造成干擾。同樣，在教學(xué)過(guò)程中PPT 的過(guò)度使用也遇到此類(lèi)問(wèn)題，在外語(yǔ)教學(xué)過(guò)程中教師們或多或少都會(huì)使用制作精美的PPT，配有音樂(lè)或圖片的教學(xué)課件在教學(xué)時(shí)非常具有吸引力，能引起同學(xué)們的關(guān)注，短時(shí)間看來(lái)在教學(xué)效果非常明顯。但從長(zhǎng)時(shí)記憶和理解上來(lái)看，效果卻并不理想，由于圖片信息輸入產(chǎn)生的固定模式甚至還會(huì)使理解產(chǎn)生偏差。為什么會(huì)產(chǎn)生這些現(xiàn)象，在教學(xué)過(guò)程中該如何正確有效地利用圖片或其它多媒體信息來(lái)輔助大學(xué)生的外語(yǔ)學(xué)習(xí)呢？

二、多模態(tài)學(xué)習(xí)機(jī)制

模態(tài)在本文指人類(lèi)通過(guò)感官(如視覺(jué)、聽(tīng)覺(jué)等)跟外部環(huán)境(如人、機(jī)器、物件、動(dòng)物等)之間的互動(dòng)方式。用單個(gè)感官進(jìn)行互動(dòng)的叫單模態(tài), 用兩個(gè)或以上感官互動(dòng)的叫多模態(tài)。用這個(gè)定義看,正常人之間的互動(dòng)都是多模態(tài)的[1]。正常人的認(rèn)知過(guò)程（信息輸入、理解、記憶、隱喻、概念整合等）均呈多模態(tài)特征，外語(yǔ)的教學(xué)活動(dòng)既涉及聽(tīng)覺(jué)也涉及視覺(jué)，是多模態(tài)互動(dòng)的,因此，從多模態(tài)理論角度出發(fā)，研究在教學(xué)過(guò)程中視覺(jué)信息輸入與聽(tīng)覺(jué)信息輸入之間的關(guān)系及其對(duì)于外語(yǔ)學(xué)習(xí)的影響是首要研究?jī)?nèi)容。

語(yǔ)言學(xué)習(xí)是信息和行為循環(huán)整合的復(fù)雜且微妙的過(guò)程。來(lái)自不同感官的信息（視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等）經(jīng)過(guò)各自感覺(jué)皮層的分別處理，再匯集到多模態(tài)聯(lián)合皮層進(jìn)行整合，在記憶里留下痕跡，存貯以備后期工作和發(fā)出行為指令。整合后的信息經(jīng)由大腦皮層一路下行，發(fā)出行為指令，引起相關(guān)運(yùn)動(dòng)行為。這些行為繼而又衍生出新的感覺(jué)信息，周而復(fù)始，使得大腦不斷整合信息、更新信息儲(chǔ)備，產(chǎn)生新的意識(shí)、概念和行為。

多模態(tài)感知學(xué)習(xí)是人類(lèi)學(xué)習(xí)最初也是最常見(jiàn)的模式。不同通道的感覺(jué)刺激，雖在屬性上千差萬(wàn)別，身處信息豐富環(huán)境下的人類(lèi)對(duì)這些感覺(jué)的協(xié)調(diào)能力依然出眾，多模態(tài)的感知能力為我們提供了強(qiáng)大的生存和行為優(yōu)勢(shì)[2]。比如，視覺(jué)刺激中的顏色信息和聽(tīng)覺(jué)刺激下的語(yǔ)音信息，在神經(jīng)系統(tǒng)交互整合下能進(jìn)行轉(zhuǎn)換，這也就產(chǎn)生了閱讀時(shí)文字“聲音”在腦海中的回旋，也能在聽(tīng)到動(dòng)物叫聲時(shí)構(gòu)建出動(dòng)物的畫(huà)面。然而除了具備有針對(duì)性地、交替地使用這些感覺(jué)信息的能力外，在多模態(tài)感知學(xué)習(xí)下，若當(dāng)某一種感覺(jué)信息輸入減弱，我們?nèi)员３至藢?duì)該事物進(jìn)行識(shí)別的能力。多模態(tài)模式的信息處理和知識(shí)學(xué)習(xí)在現(xiàn)代多媒體條件不斷發(fā)展的情況下更加明顯也愈發(fā)重要，外語(yǔ)學(xué)習(xí)中感知學(xué)習(xí)決定了聽(tīng)覺(jué)、視覺(jué)信息的獲取，因此，研究聽(tīng)覺(jué)信息、視覺(jué)信息的輸入、處理和交互作用對(duì)于外語(yǔ)教學(xué)尤為重要。

三、多模態(tài)轉(zhuǎn)換的外語(yǔ)學(xué)習(xí)及其教學(xué)啟示

學(xué)習(xí)實(shí)質(zhì)上是學(xué)習(xí)者建構(gòu)個(gè)體知識(shí)的過(guò)程[3]。不同階段、不同性別、不同背景的學(xué)習(xí)者往往有不同的學(xué)習(xí)風(fēng)格，它的形成受多種外部因素的影響。包括家庭背景、學(xué)習(xí)環(huán)境、社會(huì)條件等。但是學(xué)習(xí)風(fēng)格形成的主要原因可能還是內(nèi)在的，包括性格、觀念、認(rèn)知特點(diǎn)、語(yǔ)言水平等。一般認(rèn)為學(xué)習(xí)者有四種基本的學(xué)習(xí)感知模式：視覺(jué)學(xué)習(xí)模式（visual learning）、 聽(tīng) 覺(jué) 學(xué) 習(xí) 模 式（auditory learning）、體驗(yàn)學(xué)習(xí)模式（kinesthetic learning） 和動(dòng)手操作學(xué)習(xí)模式（tactile learning）。體驗(yàn)學(xué)習(xí)模式和動(dòng)手操作學(xué)習(xí)模式合稱(chēng)為“觸覺(jué)學(xué)習(xí)模式”（haptic learning）。學(xué)習(xí)者往往在某一種學(xué)習(xí)模式方面表現(xiàn)最為突出，通過(guò)視覺(jué)方式學(xué)習(xí)最有效的學(xué)習(xí)者可稱(chēng)之為“視覺(jué)型學(xué)習(xí)者”；同理以聽(tīng)覺(jué)為最為有效學(xué)習(xí)方式的學(xué)習(xí)者可以稱(chēng)之“聽(tīng)覺(jué)學(xué)習(xí)者”；“觸覺(jué)型學(xué)習(xí)者”則通過(guò)動(dòng)手和親自體驗(yàn)才能獲得最佳的學(xué)習(xí)成果。根據(jù)對(duì)幼兒學(xué)習(xí)的觀察，通過(guò)具有直觀性和體驗(yàn)性的視覺(jué)跟視頻流進(jìn)行互動(dòng)，其學(xué)習(xí)成本與效果之間的比例比起其他模態(tài)來(lái)說(shuō),學(xué)習(xí)效果最好。直觀體驗(yàn)性學(xué)習(xí)往往是“暗學(xué)習(xí)”(implicit leaning),不知不覺(jué)地就會(huì)了, 兒童習(xí)得母語(yǔ)口語(yǔ)大部分都是通過(guò)暗學(xué)習(xí)方式習(xí)得的。然而，事實(shí)上在大學(xué)生的外語(yǔ)學(xué)習(xí)中，首要的感官信息獲取方式則與母語(yǔ)學(xué)習(xí)大不相同。筆者通過(guò)對(duì)在校學(xué)生學(xué)習(xí)方式進(jìn)行觀察，發(fā)現(xiàn)絕大多數(shù)大學(xué)生在外語(yǔ)學(xué)習(xí)過(guò)程中主要通過(guò)視覺(jué)來(lái)獲取信息，相應(yīng)的聽(tīng)覺(jué)信息有缺失或有誤。這與兒童主要通過(guò)聽(tīng)覺(jué)學(xué)習(xí)的方式有所不同，這也是兒童時(shí)期語(yǔ)音模仿能力更強(qiáng)的主要原因。

目前，盡管信息技術(shù)和媒體的不斷發(fā)展，外語(yǔ)學(xué)習(xí)仍然缺乏足夠的語(yǔ)音輸入環(huán)境，多數(shù)時(shí)候仍以書(shū)面語(yǔ)料為基本學(xué)習(xí)語(yǔ)源（由于書(shū)面語(yǔ)料的確定性），外語(yǔ)學(xué)習(xí)的基本模式依然是：（書(shū)寫(xiě)語(yǔ)符+ 語(yǔ)義）→聲音語(yǔ)符，與母語(yǔ)習(xí)得（聲音語(yǔ)符+ 語(yǔ)義）→書(shū)寫(xiě)語(yǔ)符模式相比較，依然是逆向的。外語(yǔ)過(guò)程中，學(xué)習(xí)者的視覺(jué)和聽(tīng)覺(jué)要同時(shí)關(guān)注目的語(yǔ)的語(yǔ)音和文字兩類(lèi)表征（每個(gè)詞的書(shū)寫(xiě)符號(hào)都同時(shí)具有其語(yǔ)音形象，無(wú)聲的詞是不存在的）[4]。當(dāng)語(yǔ)音信息和視覺(jué)信息同時(shí)呈現(xiàn)時(shí)，注意力會(huì)偏向一個(gè)對(duì)象，對(duì)其加工，建立記憶。隨著年齡的增加、知識(shí)儲(chǔ)備增加、以及認(rèn)知方式的不同，成年外語(yǔ)學(xué)習(xí)者對(duì)視覺(jué)信息更敏感，這類(lèi)學(xué)習(xí)者注意力會(huì)習(xí)慣性地選擇關(guān)注視覺(jué)符號(hào)。播放有字幕的視頻流時(shí)，在遇到陌生的語(yǔ)音信息時(shí)，成年外語(yǔ)學(xué)習(xí)者普遍會(huì)關(guān)注字幕，同時(shí)語(yǔ)音信息的接收也會(huì)減弱。對(duì)于以象形文字漢語(yǔ)為母語(yǔ)的外語(yǔ)學(xué)習(xí)者而言，對(duì)文字的依賴(lài)更明顯，若沒(méi)有文字作為支持，難以記住詞的語(yǔ)音信息。

基于目前普遍存在的成人外語(yǔ)學(xué)習(xí)注意力不能集中在語(yǔ)音信息或聽(tīng)覺(jué)信息上的情況，外語(yǔ)教學(xué)也要實(shí)時(shí)做出相應(yīng)調(diào)整。語(yǔ)言學(xué)習(xí)其實(shí)是非常依賴(lài)于語(yǔ)音信息的輸入，只是在二外學(xué)習(xí)的語(yǔ)境下缺乏相應(yīng)的客觀條件，而研究表明，無(wú)論是拼音文字還是象形文字，其書(shū)寫(xiě)符號(hào)的提取都依賴(lài)于其聲音信號(hào)[5-6]。教學(xué)過(guò)程中要解決的問(wèn)題是如何引導(dǎo)成人外語(yǔ)學(xué)習(xí)者將注意力倚重于語(yǔ)音信息上，充分運(yùn)用語(yǔ)言聲音信號(hào)和語(yǔ)音話(huà)語(yǔ)第一性的語(yǔ)言基本原理。

首先，從課堂而言，教師外語(yǔ)教學(xué)過(guò)程中要避免過(guò)度依賴(lài)多媒體。筆者曾在課堂上多次試驗(yàn)，在沒(méi)有多媒體文字的輔助下，學(xué)生們會(huì)更容易將注意力集中在語(yǔ)音信息獲取上，而一旦有文字的輔助，學(xué)生們則更關(guān)注文字，語(yǔ)音信息的獲取會(huì)減弱甚至?xí)帘握Z(yǔ)音信息，完全關(guān)注文字信息。這與成年人習(xí)慣于視覺(jué)高效獲取信息的習(xí)慣密切相關(guān)。外語(yǔ)教學(xué)既要保障學(xué)生有足量的語(yǔ)音信息攝入，同時(shí)也要借助文字、圖片的輔助作用，二者的關(guān)系應(yīng)是語(yǔ)音為主要，文字或圖片為輔。而如今的外語(yǔ)教學(xué)則有過(guò)度依賴(lài)多媒體的現(xiàn)象，文字、圖片、視頻信息較多，純語(yǔ)音輸入環(huán)境較少。

其次，隨著現(xiàn)代多媒體技術(shù)的發(fā)展和新媒體傳播的無(wú)孔不入，學(xué)生們課堂外的自主學(xué)習(xí)素材中，視頻信息占主流。視頻對(duì)于外語(yǔ)學(xué)習(xí)的影響:一是會(huì)干擾聽(tīng)覺(jué)信息的攝入，減少語(yǔ)言學(xué)習(xí)者必要的聽(tīng)力練習(xí)；二是視頻學(xué)習(xí)減少了學(xué)習(xí)者對(duì)信息的加工，長(zhǎng)期以往形成不良的學(xué)習(xí)習(xí)慣；三是視頻學(xué)習(xí)亦會(huì)分散學(xué)生注意力，易受其他娛樂(lè)節(jié)目的影響?；诙嗝襟w信息已經(jīng)普遍存在的前提，學(xué)生們更應(yīng)鼓勵(lì)多接受單模態(tài)的語(yǔ)音信息輸入，遵循語(yǔ)言學(xué)習(xí)規(guī)律，增加聽(tīng)覺(jué)學(xué)習(xí)時(shí)間。具體而言，學(xué)生要增加語(yǔ)音信息的輸入，尤其是自身的語(yǔ)音信息輸入，這可以通過(guò)朗讀來(lái)實(shí)現(xiàn)。在朗讀時(shí)可刻意讓視覺(jué)離開(kāi)文字，專(zhuān)注地感知詞的語(yǔ)音信號(hào)和聲音話(huà)語(yǔ)；鼓勵(lì)學(xué)生在朗讀完后增加對(duì)文章內(nèi)容進(jìn)行復(fù)述的步驟?，F(xiàn)在學(xué)生朗讀只是為了熟悉閱讀素材，都是無(wú)意識(shí)地進(jìn)行語(yǔ)音練習(xí)。有意識(shí)地原文進(jìn)行復(fù)述，是提高外語(yǔ)學(xué)習(xí)能力的關(guān)鍵步驟。復(fù)述的過(guò)程是學(xué)習(xí)者對(duì)素材認(rèn)知加工的過(guò)程，也是模態(tài)轉(zhuǎn)換的過(guò)程，原有的知識(shí)儲(chǔ)備、多模態(tài)通道間的互動(dòng)參與信息加工，使得學(xué)習(xí)者的話(huà)語(yǔ)能力得到順利發(fā)展。這也是在缺乏語(yǔ)言環(huán)境的條件下，外語(yǔ)學(xué)習(xí)者通過(guò)書(shū)面語(yǔ)言材料學(xué)習(xí)外語(yǔ)的科學(xué)彌補(bǔ)方法。

四、總結(jié)

利用多媒體技術(shù)輔助多模態(tài)學(xué)習(xí)是把雙刃劍。處理好可以把學(xué)習(xí)者的注意力真正集中在知識(shí)點(diǎn)上, 以達(dá)到強(qiáng)化記憶力的作用,從而提高學(xué)習(xí)效果;處理不好相反會(huì)分散學(xué)習(xí)者的注意力, 發(fā)生對(duì)知識(shí)點(diǎn)記憶力的干擾, 導(dǎo)致瞬間熱鬧而事后空空之感。就整體學(xué)習(xí)而言，通過(guò)視覺(jué)跟視頻流進(jìn)行互動(dòng)的直觀、體驗(yàn)性學(xué)習(xí)是技能類(lèi)學(xué)習(xí)的有效學(xué)習(xí)方式。而通過(guò)視覺(jué)跟文字互動(dòng)去學(xué)習(xí)語(yǔ)言則是付出大而收獲小的學(xué)習(xí)方式。鑒于此，我們有必要根據(jù)大學(xué)生的認(rèn)知能力和學(xué)習(xí)內(nèi)容，探索出高效的教學(xué)模式，合理利用多媒體技術(shù)、調(diào)動(dòng)多模態(tài)互動(dòng)轉(zhuǎn)換、減少?gòu)妮斎氲疆a(chǎn)出之間的障礙，提高認(rèn)知效果。把語(yǔ)言文本信息以數(shù)字化方式放到計(jì)算機(jī)上讓學(xué)習(xí)者學(xué)外語(yǔ)是對(duì)計(jì)算機(jī)硬件資源的最低級(jí)使用。通過(guò)視覺(jué)型學(xué)習(xí)方式去學(xué)口語(yǔ)涉及到模態(tài)的轉(zhuǎn)換, 在缺乏外語(yǔ)學(xué)習(xí)環(huán)境的情況下，作為初始學(xué)習(xí)資源是不科學(xué)的,是一種費(fèi)時(shí)費(fèi)事且收效甚微的方式，也是腦力資源和硬件資源的浪費(fèi)。同樣,用視頻流材料僅僅為了增加趣味性是對(duì)高級(jí)多模態(tài)資源的低級(jí)使用，表面上看似引起了注意，實(shí)則會(huì)分散學(xué)習(xí)者工作記憶注意力，減少必要的信息加工程序，最終造成事后空空之感。恰當(dāng)?shù)靥幚砗枚嗝襟w資源與多模態(tài)的輸入與產(chǎn)出之間的關(guān)系就是外語(yǔ)教學(xué)的目標(biāo)。雖然是多模態(tài)教學(xué)，并不是指過(guò)度依賴(lài)多媒體，而是要合理利用多媒體制作課件，平衡感知與記憶之間的關(guān)系，使得外語(yǔ)教學(xué)內(nèi)容能進(jìn)入學(xué)生中長(zhǎng)期記憶，形成持久的行為潛勢(shì)。