牛原 徐日宣

【摘要】多模態(tài)語料庫始建于20世紀(jì)90年代，是一種以計(jì)算機(jī)為輔助工具應(yīng)用于語言學(xué)習(xí)的新型語料庫。不同于傳統(tǒng)的純文本語料庫，多模態(tài)語料庫收集的語料集合了文字、視頻、音頻、圖像等，可多維度展示語言的全貌。本文通過對(duì)多模態(tài)語料庫發(fā)展歷程以及特點(diǎn)的梳理分析，探討多模態(tài)語料庫在外語教學(xué)中針對(duì)詞匯、視聽、口語、口譯以及文化教學(xué)方面的具體應(yīng)用。

【關(guān)鍵詞】語料庫;多模態(tài)語料庫;外語教學(xué)

【作者簡(jiǎn)介】牛原（1995-），女，漢族，河南寶豐人，大連外國(guó)語大學(xué)，在讀研究生，研究方向：外語教學(xué)法;（通訊作者）徐日宣（1976-），男，漢族，遼寧人，大連外國(guó)語大學(xué)，副教授，博士研究生，研究方向：外語教學(xué)法、跨文化交際、區(qū)域與國(guó)別研究。

【基金項(xiàng)目】遼寧省2015年度社科基金項(xiàng)目“基于法國(guó)CLAPI多模態(tài)語料庫的法語學(xué)習(xí)者跨文化交際能力培養(yǎng)研究”（編號(hào)：L15BYY020）的階段性研究成果。

一、引言

在外語教學(xué)中，語料庫作為先進(jìn)的語言教學(xué)與研究工具，促進(jìn)了教學(xué)多方面的發(fā)展。然而現(xiàn)存的語料庫多以純文本語料為主，其單模態(tài)的數(shù)據(jù)不符合如今“多媒體”大背景下語言教學(xué)與外語綜合能力培養(yǎng)的需求。多模態(tài)語料庫在傳統(tǒng)文本語料庫的基礎(chǔ)上，保留了與語言文本緊密相關(guān)的聲調(diào)、手勢(shì)、生理數(shù)據(jù)以及社會(huì)背景等方面的各種信息。因此如黃立鶴所言，它可以為外語教學(xué)提供豐富的例證、視角和方法，促進(jìn)教師的教學(xué)效果，反映學(xué)生學(xué)習(xí)中語言使用的多個(gè)維度，具有很大的研究?jī)r(jià)值。

二、多模態(tài)語料庫的定義以及發(fā)展現(xiàn)狀

國(guó)外自20世紀(jì)90年代以來在多模態(tài)語料庫的建設(shè)和應(yīng)用領(lǐng)域取得了重要進(jìn)展，已成功建設(shè)多個(gè)具有影響力的多模態(tài)語料庫項(xiàng)目，涵蓋了包括漢語在內(nèi)的眾多語種，語料選取范圍廣泛，研究目的主要集中于研發(fā)智能機(jī)器人以及對(duì)于特定疾病醫(yī)療診斷等方面。相較之下，國(guó)內(nèi)的多模態(tài)語料庫建設(shè)仍處于步階段，其中以顧曰國(guó)建立的現(xiàn)場(chǎng)即席話語多模態(tài)語料庫為代表，此外還有劉芹、潘鳴威建立的理工科大學(xué)生英語口語多模態(tài)語料庫以及劉劍、胡開寶建立的多模態(tài)口譯語料庫。

多模態(tài)語料庫雖歷經(jīng)近30年的發(fā)展，但目前尚未出現(xiàn)學(xué)界一致認(rèn)可的定義。Foster認(rèn)為，多模態(tài)語料庫是“經(jīng)過標(biāo)注的不同交際渠道協(xié)同的數(shù)據(jù)集合，包括話語、目光、手勢(shì)、身體姿勢(shì)等，而且通常是基于直接記錄的人類行為”。在國(guó)內(nèi)，張霄軍最早對(duì)多模態(tài)語料庫給出具體定義，他認(rèn)為：“多模態(tài)語料庫是建立在‘言語理論基礎(chǔ)之上的，以言語活動(dòng)為研究對(duì)象，以從原始數(shù)據(jù)中抽取信息和知識(shí)為手段，以語境模型為驅(qū)動(dòng)的囊括整個(gè)言語活動(dòng)的語言、聲音、圖像和動(dòng)作的多媒體語料庫?！鳖櫾粐?guó)從用戶處理語料以及檢索語料的方式入手，強(qiáng)調(diào)多模態(tài)，如聽覺、觸覺、視覺、發(fā)聲等，認(rèn)為多模態(tài)語料庫是指“把文字語料、音頻語料和靜、動(dòng)態(tài)圖像語料進(jìn)行集成處理，用戶可以通過多模態(tài)方式進(jìn)行檢索、統(tǒng)計(jì)等操作的語料庫”。

綜合這些定義，可以知道多模態(tài)語料庫具有真實(shí)性、直觀性、全面性等特點(diǎn)。它借助計(jì)算機(jī)技術(shù)，將人類真實(shí)的言語行為活動(dòng)通過文字、音視頻、圖像等方式進(jìn)行集成處理，并且根據(jù)實(shí)際應(yīng)用需求，將與文本緊密關(guān)聯(lián)的非語言要素，包括目光、手勢(shì)、表情、姿態(tài)、情感及社會(huì)背景信息等進(jìn)行有針對(duì)性的標(biāo)注，從而使用戶可以通過文字、音頻、圖像輸入等多模態(tài)方式對(duì)語料進(jìn)行加工、檢索和統(tǒng)計(jì)等操作。

三、多模態(tài)語料庫在外語教學(xué)中的應(yīng)用

語料庫與教學(xué)的結(jié)合由來已久。早在20世紀(jì)70年代，國(guó)外以Leech和Renouf為代表的語言學(xué)家和教育家就開始嘗試將語料庫作為一種輔助性工具應(yīng)用于教學(xué)研究。隨著多模態(tài)語料庫的出現(xiàn)，再加上21世紀(jì)初由系統(tǒng)功能語言學(xué)家Anthony Baldry牽頭研發(fā)的多模態(tài)語料庫標(biāo)注系統(tǒng)（MCA），以及2008年由歐洲多國(guó)共同建成的多模態(tài)教學(xué)語料庫，將多模態(tài)語料庫應(yīng)用于外語教學(xué)的理論探討和實(shí)證研究逐漸興起。純文本語料庫雖然規(guī)模宏大，題材廣泛，但因其只收錄文字信息，因此教學(xué)價(jià)值基本局限在書面的詞匯或閱讀、寫作教學(xué)之中。而多模態(tài)語料庫在多元語境中反映語言在語音、語義和語用等方面的全貌，可為外語課堂教學(xué)多個(gè)方面注入新活力。

1. 詞匯教學(xué)。詞匯教學(xué)是語言教學(xué)的重要組成部分，在傳統(tǒng)語料庫提供詞匯文本檢索結(jié)果的基礎(chǔ)之上，多模態(tài)語料庫還可以提供與詞匯相應(yīng)的以音視頻呈現(xiàn)的現(xiàn)實(shí)場(chǎng)景。教師既可以引導(dǎo)學(xué)生對(duì)比詞匯或詞組在不同語境中的實(shí)際用法，增強(qiáng)對(duì)詞義、句法和語用的理解;又可以打破紙質(zhì)教科書單一線性教學(xué)的枯燥，通過對(duì)豐富的交際場(chǎng)景的展示，激發(fā)學(xué)生的學(xué)習(xí)興趣。教師可以要求學(xué)生自主總結(jié)歸納詞匯知識(shí)，將其按場(chǎng)景主題分塊，幫助實(shí)現(xiàn)聯(lián)想記憶，在擴(kuò)充詞匯量的同時(shí)提高話題表達(dá)能力。如在進(jìn)行邏輯連接詞的教學(xué)時(shí)，文本型語料庫雖能快速提取相關(guān)詞匯，但卻是詞匯的簡(jiǎn)單堆積，可能導(dǎo)致學(xué)生對(duì)詞匯理解偏差，出現(xiàn)誤用、濫用關(guān)聯(lián)詞等現(xiàn)象。多模態(tài)語料庫可以將連接詞展示在鮮活的交際場(chǎng)景中。學(xué)生將語言文本信息與說話者的神態(tài)、語調(diào)、肢體活動(dòng)等非語言信息相結(jié)合，全面了解每個(gè)邏輯連接詞的意義以及在語篇中的應(yīng)用特點(diǎn)，然后通過教師的引導(dǎo)歸納掌握它們?cè)诟鞣N語境下產(chǎn)生的聯(lián)結(jié)作用和范圍，有效避免對(duì)邏輯連接詞的誤用，提高語言應(yīng)用表達(dá)能力和寫作能力。

2. 視聽教學(xué)。聽在日常交際中占有重要的地位，“聽力教學(xué)的質(zhì)量也直接影響語言知識(shí)的接受、語言基本技能的訓(xùn)練及實(shí)際交流的水平”。視聽教學(xué)是對(duì)單一聽力教學(xué)的拓展，通過讓學(xué)生身處盡可能真實(shí)的交際場(chǎng)景中，提高學(xué)生的聽讀能力。多模態(tài)語料庫的出現(xiàn)極大方便了視聽教學(xué)的展開，用戶可以對(duì)語料的主題、領(lǐng)域、語料呈現(xiàn)形式、語言活動(dòng)類型、非語言活動(dòng)類型等進(jìn)行檢索。豐富的信息儲(chǔ)存符合視聽課堂上教學(xué)資源真實(shí)、直觀并且交際性強(qiáng)的特點(diǎn)，既方便了教師對(duì)課程的設(shè)計(jì)和思考，又能幫助學(xué)生盡快進(jìn)入教學(xué)場(chǎng)景。例如教師可以以話題為牽引，選擇語速、詞匯難度等合適的語料，在聽之前先向?qū)W生展示其中一種模態(tài)信息，如圖片或者靜音播放動(dòng)態(tài)視頻，引導(dǎo)學(xué)生對(duì)聽力內(nèi)容的預(yù)判和對(duì)語篇的整體把握，從而有效減少聽力障礙。此外，學(xué)生在課下也可以自行檢索相關(guān)交際主題，通過多模態(tài)語料庫對(duì)語料多方面地標(biāo)注信息，實(shí)現(xiàn)自主訓(xùn)練和自主學(xué)習(xí)。

3. 口語教學(xué)。根據(jù)Tepper的觀點(diǎn)，口語交際包括言語交際和非言語交際兩部分，話語意義中的大部分是由非語言因素體現(xiàn)的。傳統(tǒng)的口語教學(xué)多將重點(diǎn)放在學(xué)生言語交際能力的培養(yǎng)上，忽視了非言語交際的作用。現(xiàn)存的口語語料庫，如英國(guó)國(guó)家語料庫（BNC）中的口語子庫以及文秋芳、梁茂成領(lǐng)導(dǎo)建立的“中國(guó)學(xué)生英語口語語料庫”等，也只是記載口語語料的文本來供學(xué)習(xí)者分析語言錯(cuò)誤。多模態(tài)語料庫的出現(xiàn)，使口語教學(xué)將言語與非言語因素充分結(jié)合成為可能。如劉芹、潘鳴威建立的理工科大學(xué)生英語口語多模態(tài)語料庫，除了文字標(biāo)注，還有非言語方面的內(nèi)容，包括聲調(diào)、目光交流、手勢(shì)、表情等。教師在教學(xué)時(shí)，可以利用多模態(tài)語料庫檢索相關(guān)口語話題，一方面利用口語文本和音視頻的輔助，幫助學(xué)生鍛煉口語表達(dá)能力;另一方面通過語料中各方面的標(biāo)注信息，引導(dǎo)學(xué)生發(fā)現(xiàn)總結(jié)語言規(guī)律，提高學(xué)生在真實(shí)語境下的口語交際能力。

4. 口譯教學(xué)。多模態(tài)語料庫語料真實(shí)、直觀全面的特點(diǎn)，對(duì)口譯教學(xué)也有很大的應(yīng)用價(jià)值。劉劍、胡開寶基于對(duì)口譯教學(xué)的理論研究，已初步建立多模態(tài)口譯語料庫。首先，得益于多模態(tài)語料庫中對(duì)語料的切分以及對(duì)各種元信息的詳細(xì)標(biāo)注，教師可以有針對(duì)性地根據(jù)不同口譯類別、專業(yè)領(lǐng)域和場(chǎng)景進(jìn)行篩選檢索。其次，教師可以分類提取具體語料中的翻譯現(xiàn)象，如卡頓、語音拖長(zhǎng)、話語重疊、漏譯錯(cuò)譯等，讓學(xué)生分析原因，并嘗試提出解決方案。另外，還可以通過語音分析功能，引導(dǎo)學(xué)生進(jìn)行大量口譯練習(xí)，把握翻譯節(jié)奏等。例如在進(jìn)行口譯過程中翻譯難點(diǎn)的突破訓(xùn)練時(shí)，針對(duì)新詞的翻譯，教師可以檢索語料中的“新詞”標(biāo)簽，將帶有新詞的口譯場(chǎng)景全部提取出來，帶領(lǐng)學(xué)生進(jìn)行專項(xiàng)訓(xùn)練。學(xué)生課下也可以有目的性地自行訓(xùn)練。

5. 文化教學(xué)。語言是文化的載體，每種語言的產(chǎn)生都離不開特定的文化背景。多模態(tài)語料庫保留了大量文本所依附的現(xiàn)實(shí)場(chǎng)景，鮮活直觀，檢索方式多樣化。教師可充分利用多種模態(tài)信息為學(xué)生提供包含聲音、文字和圖像的交互式語言環(huán)境，幫助學(xué)生在學(xué)習(xí)語言的過程中既能通過與母語文化的對(duì)比掌握外國(guó)的具體文化知識(shí)，又能在這種多模態(tài)模式下提高對(duì)文化的敏感度。除了專門設(shè)立文化學(xué)習(xí)課程之外，文化的教學(xué)更多的是滲透在語言教學(xué)的方方面面。比如說在進(jìn)行詞匯、視聽、口語以及口譯教學(xué)時(shí)，多模態(tài)語料庫所呈現(xiàn)的母語使用者在多個(gè)交際場(chǎng)景的言語以及非言語表現(xiàn)，包括問好、致歉、請(qǐng)求、命令或者節(jié)日習(xí)俗等方面，都能幫助學(xué)生更好地理解對(duì)方國(guó)家或民族的思維方式以及文化內(nèi)涵，從而在潛移默化中掌握各種文化知識(shí)，提高學(xué)生的跨文化交際能力。

四、結(jié)語

多模態(tài)語料庫既符合一般語料庫的整體規(guī)律，又具有自身的顯著特征;既可以為學(xué)習(xí)者提供大量真實(shí)、鮮活、全面的語言學(xué)習(xí)資源。又能滿足學(xué)習(xí)者借助語料信息實(shí)現(xiàn)自我探索、自我學(xué)習(xí)的需求，對(duì)于轉(zhuǎn)變外語教學(xué)思想，探索新型外語課堂教學(xué)模式具有重大意義。

隨著世界范圍內(nèi)計(jì)算機(jī)技術(shù)的飛速發(fā)展以及各領(lǐng)域?qū)W者的刻苦鉆研，相信多模態(tài)語料庫的數(shù)量和規(guī)模會(huì)日漸擴(kuò)大完善。我們要充分利用多模態(tài)語料庫的優(yōu)勢(shì)，積極探索其在外語教學(xué)中的應(yīng)用價(jià)值，加大對(duì)多模態(tài)語料庫應(yīng)用于外語教學(xué)的理論探討和實(shí)證研究，推動(dòng)外語教學(xué)實(shí)現(xiàn)更長(zhǎng)遠(yuǎn)的發(fā)展。

參考文獻(xiàn)：

[1]朱樂紅.語料庫對(duì)語言研究及外語教學(xué)的作用[J].外語與外語教學(xué)，2000（03）.

[2]黃立鶴.語料庫4.0：多模態(tài)語料庫建設(shè)及其應(yīng)用[J].解放軍外國(guó)語學(xué)院學(xué)報(bào)，2015，38（03）.

[3]Martin J，et al. Introduction to the Special issue on Multimodal Corpora for Modeling Human Multimodal Behavior [J]. Language Resources and Evaluation， 2008（42）.

[4]劉劍.國(guó)外多模態(tài)語料庫建設(shè)及相關(guān)研究述評(píng)[J].外語教學(xué)，2017，38（04）.

[5]顧曰國(guó).論言思情貌整一原則與鮮活話語研究——多模態(tài)語料庫語言學(xué)方法[J].當(dāng)代修辭學(xué)，2013（06）.

[6]劉芹，潘鳴威.理工科大學(xué)生英語口語多模態(tài)語料庫構(gòu)建研究[J].現(xiàn)代教育技術(shù)，2010，20（04）.

[7]劉劍，胡開寶.多模態(tài)口譯語料庫的建設(shè)與應(yīng)用研究[J].中國(guó)外語，2015，12（05）.

[8]Foster M E，Oberlander J.Corpus-based Generation of Head and Eyebrow Motion for an Embodied Conversational Agent [J].Language Resources and Evaluation， 2007，41（3-4）.

[9]張霄軍.多模態(tài)語料庫：搶救瀕危語言的有效途徑[C].中國(guó)中文信息學(xué)會(huì)民族語言文字信息專委會(huì).民族語言文字信息技術(shù)研究——第十一屆全國(guó)民族語言文字信息學(xué)術(shù)研討會(huì)論文集.中國(guó)中文信息學(xué)會(huì)民族語言文字信息專委會(huì)：中國(guó)中文信息學(xué)會(huì)，2007.

[10]顧曰國(guó).論言思情貌整一原則與鮮活話語研究——多模態(tài)語料庫語言學(xué)方法[J].當(dāng)代修辭學(xué)，2013（06）.

[11]何安平.語料庫與外語教學(xué)[J].國(guó)外外語教學(xué)，2001（03）.

[12]黃璌.英語視聽教學(xué)中語篇分析的應(yīng)用[J].太原城市職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2010（09）.

[13]Tepper A.Speech Communication Theory&Practice[M]. Kendall Hunt Publishing Company， 1978.

[14]文秋芳，梁茂成等.中國(guó)學(xué)生英語口筆語語料庫（1.0版）[M].北京：外語教學(xué)與研究出版社，2005.

[15]文秋芳，梁茂成，晏小琴.中國(guó)學(xué)生英語口筆語語料庫（2.0版）[M].外語教學(xué)與研究出版社，2008.