山麗萍

內(nèi)容摘要：隨著多媒體教學(xué)的興起，視聽(tīng)資源得益于計(jì)算機(jī)輔助技術(shù)的發(fā)展開(kāi)始被廣泛運(yùn)用于二語(yǔ)詞匯教學(xué)，于是探究視聽(tīng)資源到底是否能促進(jìn)二語(yǔ)詞匯習(xí)得以及其如何對(duì)二語(yǔ)詞匯習(xí)得產(chǎn)生影響成為了研究者們研究的熱點(diǎn)。本文回顧了視聽(tīng)資源在二語(yǔ)詞匯習(xí)得領(lǐng)域應(yīng)用的研究并解釋了其工作的原理，這將有助于教師更合理地組織視聽(tīng)教學(xué)資源，以達(dá)到最佳的詞匯教學(xué)效果。

關(guān)鍵詞：視聽(tīng)資源 多模態(tài)交互 雙重編碼理論 認(rèn)知負(fù)荷理論

1.研究背景

隨著全球化的發(fā)展， 人們?cè)絹?lái)越意識(shí)到掌握一門(mén)第二語(yǔ)言可以幫助他們?cè)趯W(xué)業(yè)和職業(yè)發(fā)展中獲取更大的優(yōu)勢(shì)， 而學(xué)習(xí)一門(mén)語(yǔ)言的關(guān)鍵和難點(diǎn)就在于掌握其豐富的詞匯， 詞匯的習(xí)得確保了人們?cè)诓煌瑘?chǎng)合能進(jìn)行基本溝通。自語(yǔ)言學(xué)建立以來(lái)， 二語(yǔ)詞匯習(xí)得一直受到學(xué)者們的關(guān)注， 越來(lái)越多的二語(yǔ)詞匯習(xí)得方法和輔助技術(shù)也得到研究和發(fā)展。這些研究成果促進(jìn)了二語(yǔ)教學(xué)的發(fā)展， 為無(wú)數(shù)二語(yǔ)學(xué)習(xí)者和教學(xué)者節(jié)省了時(shí)間和精力。其中數(shù)字化技術(shù)的發(fā)展使得老師和學(xué)生可以不再被單一文本學(xué)習(xí)所限制， 可以通過(guò)視聽(tīng)學(xué)習(xí)從不同感官通道獲取資源信息， 提高學(xué)習(xí)效率。

在視聽(tīng)學(xué)習(xí)中， 通過(guò)視覺(jué)通道可以獲取文字， 圖片等信息， 而通過(guò)聽(tīng)覺(jué)通道則可以獲取言語(yǔ)， 聲音等信息， 盡管這些視覺(jué)資源和聽(tīng)覺(jué)資源都可以傳遞一定的意義， 但在詞匯習(xí)得領(lǐng)域， 它們并不都能發(fā)揮正向刺激效果， 有的甚至?xí)?duì)學(xué)習(xí)效果起到抑制作用， 因此學(xué)界對(duì)視聽(tīng)資源在二語(yǔ)詞匯習(xí)得領(lǐng)域的研究一直未能達(dá)成一致的結(jié)果。如在Tripp和Roby （1994）的研究中， 作者基于超文本， 研究了聽(tīng)覺(jué)資源（pronunciation）是否能夠促進(jìn)二語(yǔ)詞匯（日語(yǔ)）習(xí)得。實(shí)驗(yàn)結(jié)果表明， 相較圖片信息， 聲音信息并沒(méi)有對(duì)詞匯習(xí)得起到促進(jìn)作用。作者分析其原因表示聽(tīng)覺(jué)資源相較于視覺(jué)資源更難被受試識(shí)別利用， 只有具有一定聽(tīng)力練習(xí)經(jīng)驗(yàn)的學(xué)生才能利用聽(tīng)覺(jué)資源幫助記憶詞匯。而在MallAmiri， Oghyanous， Zohrehvand （2017）的實(shí)驗(yàn)中， 作者探究了聽(tīng)覺(jué)輸入強(qiáng)化（通過(guò)劃線、粗體、斜體、大小寫(xiě)等策略突出目標(biāo)材料）和視覺(jué)輸入強(qiáng)化（通過(guò)研究人員大聲重復(fù)， 使用提高的語(yǔ)調(diào)和音調(diào)突出目標(biāo)材料）對(duì)母語(yǔ)為伊朗文， 二語(yǔ)為英語(yǔ)的受試學(xué)習(xí)非一致短語(yǔ)動(dòng)詞（non-congruent phrasal verb）的影響。實(shí)驗(yàn)結(jié)果顯示相較于控制組既沒(méi)有聽(tīng)覺(jué)輸入強(qiáng)化也沒(méi)有視覺(jué)輸入強(qiáng)化， 實(shí)驗(yàn)組聽(tīng)覺(jué)輸入強(qiáng)化組和視覺(jué)輸入強(qiáng)化組在實(shí)驗(yàn)測(cè)試中都取得了比控制組更優(yōu)異的成績(jī)。這說(shuō)明聽(tīng)覺(jué)資源輸入和視覺(jué)資源輸入對(duì)非一致短語(yǔ)動(dòng)詞的學(xué)習(xí)都具有明顯促進(jìn)作用。這些不一致的實(shí)驗(yàn)研究結(jié)果激勵(lì)著更多的研究人員參與到視聽(tīng)資源對(duì)二語(yǔ)詞匯習(xí)得影響的研究中， 為二語(yǔ)詞匯學(xué)習(xí)尋求最優(yōu)的學(xué)習(xí)和教學(xué)方法。

2.視聽(tīng)資源間的多模態(tài)交互

模態(tài)意指感官與外部環(huán)境的交互方式， 如果多感官通道被包含其中， 就可稱其為多模態(tài)交互。因此， 多模態(tài)便具有多種符號(hào)資源包括口頭文字， 書(shū)面文字， 圖片， 圖表， 空間以及其他可以傳遞意義的資源符號(hào)（Baldry &Thibault， 2006）。

Kress和Van Leeuwen （2001）也認(rèn)為多模態(tài)話語(yǔ)（multimodal discourse）是一種包含了多種交互方式的話語(yǔ)模態(tài)， 包括聲音， 文本， 圖像以及其他可傳達(dá)信息的資源。因此， 不難看出， 區(qū)分多模態(tài)和單一模態(tài)的關(guān)鍵就在于有多少種資源符號(hào)參與語(yǔ)篇的建設(shè)。在國(guó)內(nèi)關(guān)于多模態(tài)的研究中， 朱永生（2008）， 李戰(zhàn)子（2003）認(rèn)為模態(tài)是信息交互的中介和通道， 它不僅包含文本， 也包含其他語(yǔ)義系統(tǒng)， 如圖片， 聲音， 顏色等。而在詞匯習(xí)得研究領(lǐng)域， 研究者通常將多模態(tài)學(xué)習(xí)方式引入實(shí)驗(yàn)方案設(shè)計(jì)。通過(guò)讓被試就目標(biāo)詞在不同模態(tài)下進(jìn)行學(xué)習(xí)， 探索哪種模態(tài)或哪幾種模態(tài)的結(jié)合更有利于詞匯習(xí)得， 以此促進(jìn)詞匯習(xí)得研究的發(fā)展。

在Yeh和Wang （2003）的實(shí)驗(yàn)中測(cè)試了聲音注解（sound annotation）對(duì)詞匯習(xí)得是否有促進(jìn)作用。在該實(shí)驗(yàn)中作者采用的聲音注解方式是通過(guò)播放小段音頻實(shí)現(xiàn)的， 其中包括了目標(biāo)詞匯的英語(yǔ)發(fā)音， 詞匯拼讀以及目標(biāo)詞所在句子的朗讀（read the word + spell the word + read the sentence）。實(shí)驗(yàn)結(jié)果表明與文本組和文本+圖片組相比， 文本+圖片+聲音組并沒(méi)有在詞匯習(xí)得測(cè)試中取得更好的成績(jī)， 由此可見(jiàn)聲音注解沒(méi)有對(duì)詞匯習(xí)得產(chǎn)生促進(jìn)作用。作者分析其原因可能有二。一是受被試母語(yǔ)（漢語(yǔ)）的影響， 漢語(yǔ)文字屬于表意文字， 因而在實(shí)驗(yàn)中被試會(huì)更加注意語(yǔ)言文字的視覺(jué)信息， 而忽視了通過(guò)聽(tīng)覺(jué)傳達(dá)的聲音信息， 從而導(dǎo)致了聽(tīng)覺(jué)資源的低效性;而是考慮到實(shí)驗(yàn)中添加的聽(tīng)覺(jué)資源可能語(yǔ)速過(guò)快， 被試沒(méi)有足夠的時(shí)間加工這些信息從而使得聽(tīng)覺(jué)資源對(duì)詞匯習(xí)得沒(méi)有起到促進(jìn)作用?？梢钥闯鲈诙喔泄儋Y源同時(shí)被被試接收時(shí)就會(huì)出現(xiàn)被試對(duì)資源加工的偏差， 這是由于對(duì)有限工作記憶的資源競(jìng)爭(zhēng)引起的。

由此可見(jiàn)， 盡管視聽(tīng)資源的引入使得學(xué)習(xí)者不再受制于與學(xué)習(xí)材料之間的單一模態(tài)交互方式， 但是多種資源的加持， 學(xué)習(xí)者受限于有限的認(rèn)知加工能力， 會(huì)將其認(rèn)知和注意力的分配傾向于更易于理解和加工的資源。比如相對(duì)于聽(tīng)覺(jué)資源， 視覺(jué)資源更容易獲得受試更多的關(guān)注也更易被識(shí)別加工。在對(duì)一語(yǔ)詞匯習(xí)得的研究中， 有研究結(jié)果顯示在聽(tīng)與讀的對(duì)照實(shí)驗(yàn)中， 聽(tīng)比讀更有挑戰(zhàn)性， 受試并不能像輕易理解掌握視覺(jué)輸入信息那樣理解掌握聽(tīng)覺(jué)信息（Anderson， 1980; Rost， 1990）。在一語(yǔ)詞匯習(xí)得中， 受試處理聽(tīng)覺(jué)資源尚且要比處理視覺(jué)資源付出更多的努力， 更不必說(shuō)在二語(yǔ)詞匯習(xí)得中， 聽(tīng)覺(jué)資源對(duì)學(xué)習(xí)者注意力的額外占有情況。因此在這種情況下， 多模態(tài)交互方式也許并不能幫助學(xué)習(xí)者實(shí)現(xiàn)更好的學(xué)習(xí)效果， 只有恰到好處的資源配比和交互方式才能幫助學(xué)習(xí)者實(shí)現(xiàn)學(xué)習(xí)效益最大化。

3.視聽(tīng)資源與雙重編碼理論

在多模態(tài)的學(xué)習(xí)情境下， 學(xué)習(xí)者必定要接受來(lái)自不同感官通道的信息， 這些不同的感知渠道導(dǎo)致了不同的交際模態(tài)（朱永生， 2008）， 其中最重要的兩種交際模態(tài)就是聽(tīng)覺(jué)模態(tài)， 視覺(jué)模態(tài)。而學(xué)習(xí)者要對(duì)在多模態(tài)下接受的信息進(jìn)行加工處理就必須談到人的認(rèn)知系統(tǒng)對(duì)信息的識(shí)別與加工， 即雙重編碼理論。

雙重編碼理論是Paivio （1986）在圖式理論的基礎(chǔ)上提出的一條關(guān)于言語(yǔ)和非言語(yǔ)信息認(rèn)知加工和記憶的理論。它彌補(bǔ)了以命題表征為基礎(chǔ)的圖式理論無(wú)法描寫(xiě)新信息難以被理解和舊信息難以被激活的缺陷（黃文硯， 2018）。雙重編碼理論認(rèn)為人的認(rèn)知系統(tǒng)包括了言語(yǔ)和非言語(yǔ)兩個(gè)系統(tǒng)。這兩個(gè)系統(tǒng)彼此獨(dú)立運(yùn)行， 在言語(yǔ)系統(tǒng)中， 言語(yǔ)刺激主要包括了言語(yǔ)， 如口頭交流， 文本朗讀音頻和文字等， 人們可以分別通過(guò)聽(tīng)覺(jué)通道和視覺(jué)通道對(duì)他們進(jìn)行處理;而在非言語(yǔ)系統(tǒng)中， 非言語(yǔ)刺激主要包括了背景音， 音樂(lè)和圖片等， 這些信息雖然會(huì)傳遞一定含義但不會(huì)傳達(dá)出明確的指令或信息， 它們通常在情感層面上對(duì)人產(chǎn)生影響， 因此被歸于非言語(yǔ)資源。對(duì)于這類(lèi)資源， 人們也同樣可以從聽(tīng)覺(jué)和視覺(jué)兩個(gè)通道來(lái)對(duì)其進(jìn)行編碼處理（Paivio， 1991）。

在視聽(tīng)輸入模式下學(xué)習(xí)二語(yǔ)詞匯， 學(xué)習(xí)者會(huì)同時(shí)接收到言語(yǔ)信息（詞匯發(fā)音， 文本音頻和文字等）和非言語(yǔ)信息（圖片， 背景音等）。運(yùn)用雙重編碼理論， 便可以了解二語(yǔ)學(xué)習(xí)者是如何對(duì)不同的試聽(tīng)資源進(jìn)行理解和記憶的。雙重編碼理論認(rèn)為彼此獨(dú)立運(yùn)行的言語(yǔ)和非言語(yǔ)系統(tǒng)在完成對(duì)信息的加工儲(chǔ)存時(shí)都會(huì)經(jīng)過(guò)三個(gè)階段， 即表征處理階段， 表征連接階段和意義關(guān)聯(lián)階段（Paivio， 1986）。在第一階段， 當(dāng)學(xué)習(xí)者接收到來(lái)自外界的言語(yǔ)刺激和非言語(yǔ)刺激時(shí)， 學(xué)習(xí)者大腦中的言語(yǔ)表征系統(tǒng)和非言語(yǔ)表征系統(tǒng)會(huì)被立刻激活， 學(xué)習(xí)者便會(huì)立刻聯(lián)想到與言語(yǔ)刺激和非言語(yǔ)刺激相關(guān)的表征信息。例如， 當(dāng)學(xué)習(xí)者聽(tīng)到一個(gè)詞時(shí)， 學(xué)習(xí)者能想到關(guān)于這個(gè)詞的其他語(yǔ)言信息， 比如它的發(fā)音， 拼寫(xiě)和語(yǔ)義等;而在看到一張圖片時(shí)能想到關(guān)于這個(gè)圖片的其他圖像信息， 比如它的環(huán)境， 場(chǎng)景等。在第二階段， 獨(dú)立的言語(yǔ)系統(tǒng)和非言語(yǔ)系統(tǒng)之間會(huì)產(chǎn)生參照連接， 使得言語(yǔ)系統(tǒng)在處理言語(yǔ)刺激時(shí)能獲得非言語(yǔ)表征信息， 非言語(yǔ)系統(tǒng)在處理非言語(yǔ)刺激時(shí)也能獲得言語(yǔ)表征信息。這就是學(xué)習(xí)者在聽(tīng)到一個(gè)詞時(shí)能在頭腦中產(chǎn)生與之相關(guān)的圖像， 而在看見(jiàn)圖片時(shí)能聯(lián)想到與圖片相關(guān)的聲音的原因。在第三階段， 也就是意義關(guān)聯(lián)階段， 由于言語(yǔ)和非言語(yǔ)表征被激活， 言語(yǔ)表征， 非言語(yǔ)表征以及它們兩者之間都會(huì)產(chǎn)生連接， 一旦學(xué)習(xí)者獲得言語(yǔ)或非言語(yǔ)刺激傳達(dá)的某一個(gè)意義， 緊接著與之相關(guān)的意義便會(huì)被迅速激活， 由此一傳十， 十傳百， 最后形成龐大的意義關(guān)聯(lián)網(wǎng)絡(luò)。并且當(dāng)新的語(yǔ)義一致信息同時(shí)在言語(yǔ)和非言語(yǔ)系統(tǒng)中編碼時(shí)， 來(lái)自一個(gè)系統(tǒng)對(duì)信息的識(shí)別和記憶可以作為線索來(lái)幫助激活另一系統(tǒng)對(duì)信息的識(shí)別和記憶。由此可見(jiàn)， 言語(yǔ)系統(tǒng)與非言語(yǔ)系統(tǒng)既各自獨(dú)立又相互聯(lián)系， 它可以在視覺(jué)心理表征和聽(tīng)覺(jué)心理表征之間建立聯(lián)系以此對(duì)語(yǔ)言進(jìn)行解碼處理。

在視聽(tīng)輸入模式下， 言語(yǔ)和非言語(yǔ)系統(tǒng)保證了學(xué)習(xí)者在獲得多種類(lèi)型資源時(shí)能快速地對(duì)其進(jìn)行解碼處理， 這也是試聽(tīng)資源之所以能幫助學(xué)習(xí)者達(dá)到更快速準(zhǔn)確地習(xí)得二語(yǔ)詞匯的原因。

4.視聽(tīng)資源與認(rèn)知負(fù)荷理論

認(rèn)知負(fù)荷理論首次由澳大利亞心理學(xué)家Sweller （1988）年提出， 該理論是在工作記憶模式的基礎(chǔ)上延伸而得， Sweller認(rèn)為那些使學(xué)習(xí)變得不必要復(fù)雜的因素， 或使我們從試圖關(guān)注的信息中分心的因素， 會(huì)增加一個(gè)人在處理信息時(shí)的認(rèn)知負(fù)荷， 較高的認(rèn)知負(fù)荷會(huì)讓學(xué)習(xí)者更難以集中注意力、更難對(duì)信息進(jìn)行記憶和處理， 使得學(xué)習(xí)效果更差。此外， 認(rèn)知負(fù)荷理論（Sweller， 1994）如還通過(guò)解釋工作記憶在容量和持續(xù)時(shí)間上的局限性， 為視聽(tīng)資源教學(xué)在二語(yǔ)詞匯中的運(yùn)用提供了指導(dǎo)。

在多模態(tài)學(xué)習(xí)模式下， 視覺(jué)資源與聽(tīng)覺(jué)資源在雙重編碼的處理下， 既會(huì)相互建立聯(lián)系， 實(shí)現(xiàn)對(duì)信息的解碼， 但它們彼此也會(huì)形成競(jìng)爭(zhēng)關(guān)系， 因?yàn)閷W(xué)習(xí)者短時(shí)間內(nèi)對(duì)信息資源的加工能力是有限的， 在此過(guò)程中， 通過(guò)文字和圖像呈現(xiàn)的信息往往會(huì)與通過(guò)聲音傳遞的信息形成競(jìng)爭(zhēng)關(guān)系， 加大學(xué)習(xí)者的認(rèn)知負(fù)荷， 從而降低學(xué)習(xí)效果。此外不僅視覺(jué)資源和聽(tīng)覺(jué)資源之間會(huì)產(chǎn)生競(jìng)爭(zhēng)， 各類(lèi)視覺(jué)資源之間和聽(tīng)覺(jué)資源之間也會(huì)產(chǎn)生競(jìng)爭(zhēng)。如Kaplan-Rakowski 和 Loranc-Paszylk （2019）在實(shí)驗(yàn)中探究了言語(yǔ)聽(tīng)覺(jué)資源（詞匯發(fā)音）和非言語(yǔ)聽(tīng)覺(jué)資源（聲音特效）對(duì)二語(yǔ)詞匯習(xí)得的影響。他們?cè)谄鋵?shí)驗(yàn)中比較了添加言語(yǔ)聽(tīng)覺(jué)資源， 非言語(yǔ)聽(tīng)覺(jué)資源， 和同時(shí)添加言語(yǔ)與非言語(yǔ)聽(tīng)覺(jué)資源這三種情況對(duì)二語(yǔ)詞匯習(xí)得的影響。結(jié)果顯示只有添加非言語(yǔ)聽(tīng)覺(jué)資源對(duì)二語(yǔ)詞匯習(xí)得產(chǎn)生了顯著影響， 而添加非言語(yǔ)聽(tīng)覺(jué)資源和同時(shí)添加這兩種聽(tīng)覺(jué)資源都沒(méi)有對(duì)二語(yǔ)詞匯習(xí)得產(chǎn)生顯著影響。作者在解釋同時(shí)添加兩種聽(tīng)覺(jué)資源卻沒(méi)有取得更好的學(xué)習(xí)效果時(shí)提出這是因?yàn)閷W(xué)習(xí)者即時(shí)處理信息的能力是有限的， 兩種聽(tīng)覺(jué)資源極增大了學(xué)習(xí)者處理信息的心理負(fù)荷， 使得結(jié)果適得其反。

由此可見(jiàn)， 在運(yùn)用試聽(tīng)資源幫助學(xué)習(xí)者習(xí)得二語(yǔ)詞匯時(shí)， 不僅要考慮視聽(tīng)資源之間的占比， 也要考慮各類(lèi)視覺(jué)資源和各類(lèi)聽(tīng)覺(jué)資源之間的取舍。一味地添加各類(lèi)資源不但不會(huì)有助于二語(yǔ)詞匯習(xí)得， 還可能產(chǎn)生抑制效果。

5.結(jié)語(yǔ)

本文回顧了視聽(tīng)資源在二語(yǔ)詞匯習(xí)得領(lǐng)域的應(yīng)用情況， 對(duì)二語(yǔ)詞匯教學(xué)具有一定啟示。教師在選用視聽(tīng)資源時(shí)， 除了要考慮何種類(lèi)型的資源對(duì)二語(yǔ)詞匯習(xí)得有更好的促進(jìn)效果， 還要考慮各類(lèi)資源之間的配比問(wèn)題。只有資源配比例得當(dāng)才能盡量避免各類(lèi)資源之間出現(xiàn)對(duì)有限的認(rèn)知和記憶能力產(chǎn)生競(jìng)爭(zhēng)關(guān)系， 加大學(xué)習(xí)者的認(rèn)知負(fù)荷， 從而降低學(xué)習(xí)效果。而關(guān)于試聽(tīng)資源配比的定量研究也正是研究者們需要繼續(xù)探索的問(wèn)題。

參考文獻(xiàn)