同濟大學 黃立鶴 吳 贇

提 要： 口譯活動是發(fā)言人、譯員等在社會情境中的多模態(tài)親歷過程?？谧g教學可借助貼真建模思路，從參與者、活動和系統(tǒng)三個視角對口譯活動錄像與情境化影視片段進行觀察分析、數(shù)據(jù)提取，構建可觸發(fā)學生貼真體驗的多模態(tài)口譯教學語料庫。教師利用語料庫講解口譯現(xiàn)象、評估口譯質量，要求學生模擬該口譯任務進行練習，激發(fā)學生多種感官模態(tài)對情境化口譯活動進行貼真體驗。今后還可研發(fā)口譯虛擬仿真實驗教學，從而提升學生的情境口譯能力。

1. 引言

目前，多模態(tài)翻譯教學漸成熱點，相關研究正嘗試建構多模態(tài)翻譯教學體系。但目前相關研究在語料處理、教學模式等問題上仍亟待深入，借助計算機輔助技術開展的口譯教學還存在教學方法與技術工具沒有充分整合的問題。

在現(xiàn)代教育技術條件下，口譯教學的任務之一是多維度地提升學生的情境口譯能力。真實口譯活動是發(fā)言人、譯員等在社會情境中的多模態(tài)親歷過程?？谧g活動錄像是對社會情境下真實口譯活動的貼真再現(xiàn)，情境化影視片段是對現(xiàn)實社會情境的模擬呈現(xiàn)，這兩種音視頻材料都是多模態(tài)口譯教學的常用語料。選用這些語料的目的是利用它們的多模態(tài)屬性，觸發(fā)學生的多模態(tài)貼真體驗。

本文首先探討口譯活動親歷過程與口譯教學貼真體驗的關系，隨后介紹以貼真建模(stimulation modeling)的思路進行口譯活動錄像及情境化影視片段的特征提取方法，嘗試構建真實口譯活動錄像及情境化影視片段的分析框架，以及基于多模態(tài)語料庫的口譯教學基本模式，并借以具體教學案例分析其適用性。

2. 親歷過程、貼真體驗與口譯教學

1) 口譯活動與親歷過程

人最基本的行為就是親歷(experiencing)。親歷包括線上親歷和線下親歷，前者指與外部世界進行實時互動的當下親歷，后者指整人的內省活動(顧曰國，2016)。親歷者在親歷過程中構建了各種類型的數(shù)據(jù)，親歷者就好比一個大數(shù)據(jù)存放與集成庫，親歷過程就是不斷往該數(shù)據(jù)庫填寫數(shù)據(jù)(顧曰國，2016)。

因此，口譯活動是發(fā)言人及譯員在社會情境中的多模態(tài)親歷過程?？谧g是現(xiàn)場即席進行的翻譯活動，是一種由發(fā)言人、譯員等共同親歷并構建的、在一定社會情境中的現(xiàn)場即席話語。按照這個思路，我們可以發(fā)現(xiàn)： 親歷者(experiencer，包括發(fā)言人、譯員及其他人員等)在現(xiàn)場口譯活動中，調用多個感官同時參與言語交際過程(包括口譯活動)，通過多模態(tài)親歷(experiencing)形成了一種全方位充盈體驗(total saturated experience)。這種全方位的充盈體驗對于口譯員來說，就是在大腦中形成的口譯經(jīng)驗(interpretation experience)。發(fā)言人、口譯員在現(xiàn)場口譯過程中也不斷填寫數(shù)據(jù)，他們的親歷形成了一個個多模態(tài)數(shù)據(jù)庫(1)需要指出的是，這個數(shù)據(jù)庫其實包含了親歷者(發(fā)言人、譯員及其他人員)的當下親歷與內心活動兩種類型親歷的數(shù)據(jù)，只不過前者(當下親歷)可用音視頻錄像技術等盡量采集部分數(shù)據(jù)(但受到技術、方法甚至必要性的限制，不可能完全還原所有充盈數(shù)據(jù))，而后者從技術上說不易采集(但并非不可能，如通過腦電技術間接采集口譯員腦部活動的數(shù)據(jù)等)。。

從親歷過程這一視角來審視口譯過程，是本文對情境口譯活動構建分析框架、建立數(shù)據(jù)類型、實施建庫并實現(xiàn)教學應用的理論出發(fā)點?；谟H歷過程的多模態(tài)口譯教學就是利用現(xiàn)有科技手段，盡量貼近口譯過程的充盈數(shù)據(jù)進行信息采集與呈現(xiàn)，在此基礎上構建成庫，用以觸發(fā)學生的貼真體驗，從而提供模擬口譯親歷過程的教學活動。

2) 口譯錄像與影視片段的多模態(tài)屬性及貼真體驗的觸發(fā)

口譯教學材料包括書面文字、音頻錄音以及視頻錄像，至少是雙模態(tài)的，更多是多模態(tài)的。這里討論在口譯教學中常用的兩種視頻材料，一為真實口譯活動錄像，一為情境化的影視片段。兩者都是涵括多種類型數(shù)據(jù)的資源庫，經(jīng)過一定加工處理后，可形成多模態(tài)口譯語料庫用于教學。利用這種語料庫進行口譯教學，可向學生貼真展現(xiàn)真實情境中的口譯活動，多維度地提升其情境口譯能力。

真實口譯活動錄像指的是用攝像及錄音設備連續(xù)記錄現(xiàn)場口譯活動中包括聲音、動作、空間、場景等一系列信息，形成音視頻數(shù)據(jù)，是目前對口譯教學過程進行貼真呈現(xiàn)的方便可行、成本較低的方法?？谧g錄像可向學生直觀呈現(xiàn)比課堂口譯訓練更加復雜多變的真實口譯現(xiàn)場，教師可對口譯現(xiàn)象、口譯現(xiàn)場、口譯質量及口譯禮儀進行講解與評估，為學生提供真實口譯活動的分析與評價案例，從中學習口譯經(jīng)驗、避免口譯失誤，縮小課堂口譯教學與實際口譯活動之間的差異鴻溝。

情境化的影視片段指的是影視作為一種交流的鏡像，借助畫面、聲音等綜合視聽的形象符號體系來塑造形象，反映生活，表現(xiàn)對生活的感受、認識和態(tài)度，具有直觀在場性、動態(tài)瞬時性、雙重文化性等鮮明特質(吳赟，2011)，使影視成為對社會情境的貼真再現(xiàn)。一個影視片段通過多種符號模態(tài)的直接在場和迅速推進來展開沖突，呈現(xiàn)情節(jié)，形成連貫而有意義的陳述。需要特別指出的是，本文并非從翻譯文本的視角看待情境化的影視片段(即并非將影視片段視為翻譯對象)，而是立足影視片段所反映的過程及情境視角，將其視為人們利用攝像及錄音設備對各種社會情境下真實交際互動過程的模擬再現(xiàn)。情境化的影視片段旨在觸發(fā)學生的視覺、聽覺、觸覺等多種感官模態(tài)，感知貼近真實情況的模擬社會情境再現(xiàn)，教師引導學生激發(fā)自己的直觀體驗、經(jīng)驗聯(lián)想和理性反思，在影片的連貫敘事和完整結構中先領悟概念，再轉而聯(lián)想到具體的情境意味，形成并更新對具體詞句的理解和感受，營造身臨其境的氛圍，觸發(fā)多種感官模態(tài)實施口譯訓練。

下圖展示了上述兩種音視頻語料中涉及的各種維度以及師生調用的模態(tài)情況：

圖1. 音視頻資料涉及模態(tài)及維度

基于多模態(tài)口譯語料庫中的豐富數(shù)據(jù)，教師可講解分析真實口譯活動中的各類口譯現(xiàn)象及技巧，彌補僅從文字或音頻材料提取信息，卻喪失多種其他信息的局限。同時，還可利用同步聲音與影像模擬口譯場景，提供更多的口譯實訓機會，增強對口譯現(xiàn)場的貼真體驗，以期降低真實環(huán)境下的口譯焦慮。

那么，如何挖掘數(shù)據(jù)、建設該類語料庫呢？下面介紹基于貼真建模思路的建設方案。

3. 基于貼真建模思路的分析框架構建及數(shù)據(jù)提取

貼真建模是科學研究中常用方法之一，也是多模態(tài)語料庫語言學的基本方法(黃立鶴，2018： 46-48)?？谧g活動錄像和情境化影視片段都是對參與者親歷過程的貼真再現(xiàn)，我們可以借助貼真建模的思路來分析這些過程并提取數(shù)據(jù)。

1) 貼真建模與特征提取

在口譯活動中，譯員對副語言及非言語表意符號的解讀與傳遞十分重要，尤其在機構性情境中(Pérez-Gonzlez， 2014： 123)。這些信息是重要的“情境化線索”(Mason， 2009)，有利于解讀發(fā)言人及其他角色的真實意圖及交際活動。因此，在口譯研究中，研究者有必要對包含語言、副語言及非言語行為等在內的各種符號資源進行整體性分析，才能對譯員互動行為進行完整的、動態(tài)的解讀(Pasquandrea， 2012： 150)。

在口譯實踐中，無論是成熟的口譯員，還是課堂上的口譯學員，都要面對各類具體的口譯主題，也因此置身不同的口譯情境。不同社會情境受各種口譯活動主題的約束，如醫(yī)療衛(wèi)生、國際關系、文化教育、科技發(fā)展等因內容屬性不同，也構成了口譯活動各不相同的特征結構、任務要求以及譯員行為。各類情境下的發(fā)言者因情境、事件、個體等多種因素而呈現(xiàn)不同的、變化的主體特征，對這些主體特征的分析及理解與口譯質量、恰當性等直接相關。因此，口譯教學要培養(yǎng)學生分析情境及發(fā)言主體特征的能力。

以往口譯教師對情境結構、主體特征等方面的分析和概括往往是經(jīng)驗式、主觀性的，未能夠在相對客觀整一的框架下對情境與主體的結構、層次和特征進行提取和總結。為提升分析的科學性與客觀性，就要構建一個分析框架。

對客觀現(xiàn)象、事物或過程的特征、性質等方面數(shù)據(jù)的提取涉及貼真建模。本文以貼真建模為思路，介紹如何構建一個服務于口譯教學的分析框架。對鮮活社會活動進行建模通常有三個視角： 活動、參與者與系統(tǒng)(如下圖)。對口譯活動錄像及情境化影視片段的分析也可以參照社會活動建模的三個視角。

圖2. 鮮活社會活動建模的三個視角(Gu， 2009)

2) 概念建模與數(shù)據(jù)建模

貼真建模分為概念建模、數(shù)據(jù)建模、實際操作與評估(可參考黃立鶴，2018： 48-51)。在本文中，概念建模是指對口譯活動或情境化影視進行分析視角的確定，形成能夠把握本質的概念模型；數(shù)據(jù)建模是針對概念建模建立的研究視角確定數(shù)據(jù)提取的類型與方式；實際操作與評估是指利用數(shù)字化技術根據(jù)先前的數(shù)據(jù)模型對分析對象進行模擬運行，檢驗結果是否符合概念模型。本節(jié)介紹如何對真實口譯活動錄像及情境化影視片段進行概念建模和數(shù)據(jù)建模。

(1) 參與者視角

參與者視角涉及多種角色，包括譯員、發(fā)言人(翻譯對象)、其他人員(非翻譯對象)等，可以按照教學需要決定是否在具體分析中采用。參與者視角的主要分析對象包括： 譯員及發(fā)言人的翻譯或發(fā)言時間、其他活動時間、話輪、動作、任務行為、韻律等。每一個方面還可根據(jù)需要細分，例如： 話輪切分至何級單位(小句、詞組、字詞)、切分標準是什么；動作可細分為面部表情(根據(jù)需要還可進一步分為眉毛、嘴部等)、頭部動作、手部動作、腿部動作、身體姿勢等；韻律可包括韻律單位、調型調模以及包括笑聲、咳嗽、清嗓等其他韻律特征。

(2)活動視角

活動視角主要是對口譯過程所處社會情境、影視片段中社會情境及其下位結構進行分層分析，該視角還可以細分為結構組合視角以及角色關系視角，從而展現(xiàn)口譯任務在整個情境中的地位、譯員任務、多個活動之間的關系、口譯過程中不同角色的地位及相互關系、口譯內容依存性關系等。

(3)系統(tǒng)視角

系統(tǒng)視角是指將口譯活動視為一個活動系統(tǒng)，主要針對口譯活動所處社會場景、影視片段中社會情境的自身信息，包括時空間信息、家具及器具擺放、座次安排、燈光調節(jié)、背景布置等。這些信息是社會活動的重要組成部分，也是譯員在口譯工作時應當注意的重要信息。

以上是概念建模中的視角選取。在此基礎上，可根據(jù)概念模型確定的視角，按照實際研究與教學需要，再細分下位層級，并最終確定數(shù)據(jù)模型。從多模態(tài)語料標注的角度而言，數(shù)據(jù)模型直接對應著標注層，確定了標注集及賦碼。

這里，選用集合形式對標注集進行列舉式介紹：

參與者視角_發(fā)言人_個人屬性 {性別；年齡；身份；職務；本族語}

參與者視角_發(fā)言人_說話行為_話語內容 {語種；專業(yè)領域；說話內容}

參與者視角_發(fā)言人_說話行為_韻律特征_韻律單位 {說話停頓邊界}

參與者視角_發(fā)言人_說話行為_韻律特征_調型調模 {平調；平調；升調；降調；凹曲調；凸曲調；高語階；中語階；低語階}

參與者視角_發(fā)言人_說話行為_韻律特征_其他特征 {停延；重音；音質；咳嗽；清嗓；喘息}

參與者視角_發(fā)言人_動作姿態(tài)_任務行為 {站立說話；坐著說話；操作電腦}

參與者視角_發(fā)言人_動作姿態(tài)_非言語行為 {頭部；表情；手部；腿部；身勢}

參與者視角_發(fā)言人_情感意圖_即席情感 {平靜；憤怒；恐懼；悲傷；厭惡；驚奇；高興；憂慮}

參與者視角_發(fā)言人_情感意圖_意圖狀態(tài) {意圖；立場；態(tài)度；信念；愿望}

參與者視角_譯員_個人屬性 {性別；年齡；職業(yè)水準；本族語}

參與者視角_譯員_翻譯行為_口譯內容 {語種；口譯內容}

參與者視角_譯員_翻譯行為_處理策略 {口譯策略分析}

參與者視角_譯員_翻譯行為_輔助材料 {譯員速記內容；與口譯任務相關的背景材料}

參與者視角_譯員_翻譯行為_韻律特征_韻律單位 {譯員說話停頓邊界}

參與者視角_譯員_翻譯行為_韻律特征_調型調模 {平調；平調；升調；降調；凹曲調；凸曲調；高語階；中語階；低語階}

參與者視角_譯員_翻譯行為_韻律特征_其他特征 {停延；重音；音質；咳嗽；清嗓；喘息}

參與者視角_譯員_動作姿態(tài)_任務行為 {站立說話；坐著說話；用筆記錄}

參與者視角_譯員_動作姿態(tài)_非言語行為 {頭部；表情；手部；腿部；身勢}

參與者視角_譯員_情感意圖_即席情感 {平靜；憤怒；恐懼；悲傷；厭惡；驚奇；高興；憂慮}

參與者視角_譯員_情感意圖_意圖狀態(tài) {基本意圖；態(tài)度；信念；愿望}

活動視角_結構組合_活動類型及結構關系 {類型名稱；場景名稱；結構關系}(2)口譯是社會情境中的現(xiàn)場即席話語，可進行結構化切分。在活動視角中設置“結構組合”、“活動類型”及“結構關系”，就是為了解決口譯活動的結構化切分問題。這種切分對于模擬情境口譯教學、虛擬仿真口譯教學技術開發(fā)等具有重要意義。

活動視角_結構組合_口譯任務地位 {核心；邊緣；輔助}

活動視角_角色關系_地位關系 {發(fā)言人、譯員及其他人員之間的地位關系}

活動視角_角色關系_權勢距離 {現(xiàn)場不同角色之間的權勢距離大小}

活動視角_角色關系_依存性關系 {前后關系；現(xiàn)實關系；言行關系}

系統(tǒng)視角_時空間信息_時間信息 {口譯任務所在的時間信息}

系統(tǒng)視角_時空間信息_空間信息 {口譯任務所在的空間信息}

系統(tǒng)視角_現(xiàn)場布置_信息展現(xiàn) {幻燈片內容；屏幕影像；音響播放}

系統(tǒng)視角_現(xiàn)場布置_整體氛圍 {嚴肅；和諧；活潑；凝重}

系統(tǒng)視角_現(xiàn)場布置_燈光調節(jié) {明亮；柔和；溫馨；暗淡}

系統(tǒng)視角_現(xiàn)場布置_座位安排 {主席臺—觀眾席型；圓桌圍坐型；長條桌對坐型}

上述概念模型中視角及相應數(shù)據(jù)類型的確定，既是多模態(tài)口譯教學中對情境化影視片段或真實口譯錄像進行多維度分析的整體框架，也是多模態(tài)口譯教學語料庫建設的切分與標注依據(jù)。

單個角度所提取的特征、數(shù)據(jù)是整個口譯活動的某個方面，這叫“化整為零”；由多個角度的數(shù)據(jù)集成起來，就能盡量貼近口譯活動的整體情況，從建模上叫“數(shù)據(jù)集成”(Gu，2009)。{...}里面的數(shù)據(jù)是根據(jù)口譯活動的真實情況以及教學研究實際需要所提取的，在實際操作與評估階段，對應著Praat或Elan等標注軟件里標注層的數(shù)據(jù)。

需要注意的是，上述子結構應該細分到哪一層級，在建模上叫顆粒度。顆粒度的大小取決于建模者的研究需要。該分析框架在具體教學實踐中如何設定、設定到哪一級，取決于教學需要及音視頻情況，由口譯教師或進行訓練的學生決定。另外，某些層級可能在某些情境口譯中并不適用，例如在陪同口譯的錄像材料中，可能沒有系統(tǒng)視角_現(xiàn)場布置_燈光調節(jié)，系統(tǒng)視角_現(xiàn)場布置_座位安排等數(shù)據(jù)，此時這些層級屬性為“缺省”，形式上用系統(tǒng)視角_現(xiàn)場布置_燈光調節(jié) {default}以及系統(tǒng)視角_現(xiàn)場布置_座位安排 {default}表示。

另外，本文只論及基于貼真建模的口譯活動及影視片段分析的思路，在此基礎上構建語料庫還涉及一系列技術細節(jié)以及效度和信度的驗證等問題，此處不予討論，感興趣的讀者可參考Gu(2009)、黃立鶴(2015)、Huang(2018)、黃立鶴(2018)的相關論述。

4. 基于多模態(tài)語料庫的口譯教學基本模式及案例分析

1) 模式構建

實際操作與評估是指口譯教師驗證、評估多模態(tài)口譯教學語料庫建設是否符合教學目標與實際需要，并進入基于該庫的口譯教學過程中。

在整個多模態(tài)口譯教學過程中，存在著多模態(tài)語料庫的構建和應用兩個階段：

在多模態(tài)口譯教學語料庫的構建階段，教師確定符合教學目標的影視材料，包括需要考慮口譯類型、情境類別、譯員水準、發(fā)言人口音等多種因素，以保證教學材料的多樣性。學生則可以根據(jù)教師要求提前準備相應的背景材料。隨后，按照上述討論的概念建模、數(shù)據(jù)建模，按照實際需求進行調整、修正，從參與者、活動及系統(tǒng)三個視角進行特征值的提取，教師和學生運用Praat、Elan等常用多模態(tài)語料庫加工工具進行標注、建庫。

語料庫構建完成之后，即要投入應用。在該階段，教師在語料庫中定向檢索相應語料，按照之前的分析框架向學生講解該口譯任務、譯員翻譯質量、發(fā)言人說話特點及其他口譯現(xiàn)象，學生在活動類型、背景知識、專業(yè)詞匯及其他方面進行學習。例如，教師可通過Elan的檢索功能詳細講解口譯過程中的停頓次數(shù)、時長、出現(xiàn)時間及其他共現(xiàn)信息(如譯員對發(fā)言人說話特點的把握及相應翻譯處理)，分析停頓的原因；還可借助Praat呈現(xiàn)的參數(shù)分析語調、語階等各類韻律特征，評估其在口譯任務中的適合性。

之后，教師可要求學生模擬該口譯任務進行練習?；诙嗄B(tài)語料庫進行的模擬口譯，可觸發(fā)學生的多模態(tài)貼真體驗，增強情境現(xiàn)場感。對于口譯活動錄像而言，教師可指導學生模擬現(xiàn)場口譯，并與現(xiàn)場口譯比較、進行質量評估；情境化影視片段則為學生提供模擬的口譯現(xiàn)場(當然，語料的選擇須符合口譯教學需求)，積累各種社會場景或專業(yè)領域的背景知識，以提升情境口譯水平(下一節(jié)將做案例分析)。

最后，進入分析與反思評估階段，師生對情境化影視片段與真實口譯任務錄像的整體情況、學生模擬練習情況等進行反思、評估，以促進語料庫建設、總結口譯實踐經(jīng)驗。

需要注意的是，以上兩個階段是互相促進的，多模態(tài)語料庫的構建是應用的前提；同時，師生在應用過程中會對之前構建的語料庫進行補充、修正與完善，提升語料庫建設質量、豐富語料庫的語料構成。構建與應用的邏輯關系如下圖：

圖3. 多模態(tài)口譯教學語料庫的構建與應用

2) 案例分析

本文談及真實口譯活動錄像及情境化影視片段兩種語料對口譯教學的作用。其中，對口譯活動錄像的分析已在教學課堂上很多見，上文介紹的分析框架很大程度上有助于口譯教師避免對口譯活動進行經(jīng)驗式、主觀性的評價。限于篇幅，此處不再對口譯活動錄像進行逐一分析。

現(xiàn)以電影“Philadelphia”(費城故事)中的法庭論辯這一情境化片段為例，在上述分析框架下，運用Elan等工具對其進行標注，提取特征值，并闡述如何幫助學生建立口譯過程的分析能力、提升口譯技能。

圖4. 多模態(tài)口譯語料庫標注樣例

從參與者視角來看，控辯雙方身為執(zhí)業(yè)律師，分別為艾滋感染者和律師事務所辯護。兩人在陳詞時，影視片段均以特寫鏡頭呈現(xiàn)說話人的面部表情和手勢姿態(tài)。多模態(tài)信息通過Praat與Elan加以標注呈現(xiàn)。

原告黑人男律師發(fā)言時間： 0′00″—2′00″

黑人男律師表情凝重肅穆、眼神堅定；在為原告陳情或指控被告時，不斷輔以明確手勢指向原告或被告席，說話語速時急時緩；觸及關鍵信息時說話人語速明顯降低，語氣著重，語句多用降調，產(chǎn)生擲地有聲的聽覺感受。

被告白人女律師發(fā)言時間： 2′01″—3′44″

白人女律師一出場便帶著極其輕蔑的微笑，不斷挑眉、神情傲慢；在逐條辯護時，語氣升降調變化豐富；夸張的語調與表情表明她對于被告作為艾滋感染者的不屑與厭惡。

在話語內容上，兩位律師均是逐條列出事實論據(jù)，言語針鋒相對。這種視聽結合的情景語境是影視敘事中的重要環(huán)節(jié)，教師可以通過對這些視角的分析，幫助學生理解影視片段通過鏡頭、聲音等直觀的形態(tài)來表達意義的模態(tài)資源特征，在此基礎上再現(xiàn)其中的語言、結構、情感、思想。電影在有限的時空表述中，意義完整、前后連貫、自成體系。任何對白、旁白的理解與口譯都不是由單個字詞簡單疊加而成，孤立零散；相反，則應在視聽的感官直接性中，由整體語境和語篇的有機銜接和交際功能而實現(xiàn)，在口譯時一定要根據(jù)語篇的連貫和情境的制約與提示，適當?shù)剡M行預測、補充或具體化。

從活動視角來看，以權勢距離為例： 原告辯護律師的黑人身份和被告辯護律師的白人女性身份、原告身為艾滋病患者和被告身為大公司高管、證人身為公司小職員，多重身份之間出現(xiàn)權勢的懸殊差異，種族、性別以及對于艾滋病患者的歧視形成激烈對抗，所有的沖突在控辯雙方律師、律師與證人的攻訐與辯護之間針鋒相對地展開。在這一模擬情境中，教師可指導學生立足影視片段所展現(xiàn)的多重活動維度，關注其節(jié)奏感與沖突特質，分析權衡包括源語語境、中文譯語語境和譯者所處口譯語境中的各種相關因素，幫助學生站在宏觀視角的同時關注詞句的處理，實現(xiàn)對影視片段意義、文化、審美等多重元素的忠實重構。

以系統(tǒng)視角來看，美國法院的整體氛圍莊嚴肅穆、端正凝重，內部燈光色調偏暗。法官、律師、原被告、證人及聽眾均身著職業(yè)裝束，表情肅然；影視片段所特有的藝術語言鋪陳出一個較為鮮明的認知環(huán)境，讓學生理解口譯并不僅取決于一個個字詞和句子的轉換，也不是一種互不關聯(lián)的孤立作業(yè)，而是自上而下，有目的地倚賴于具體的情景語境。情境化影視片段在這方面提供了良好的教學工具和環(huán)境，可有效地讓學生理解口譯的交際價值和系統(tǒng)背景的暗示含義，也為口譯語言用詞指明了語域風格須溫文爾雅、莊重得體，以切合說話人的律師身份。

可見，情境化影視片段中豐富的文化元素在單位時長里展開了更具象的沖突和矛盾，鋪陳了更為鮮明的情節(jié)和結構，并輔以生動、直觀的畫面和聲音，這樣可以讓學生對語篇的存在和約束具有更強的敏感性和解讀力，并學習如何立足目的語，從受眾的視角出發(fā)，顧及他們的接受程度和情感適應性，在原文和譯文之間建立起來相似性和可通約性，選取與目的漢語最為貼切的自然表達。學生在對各類情境化的影視片段進行貼真親歷后，可在教師的幫助下建立相對固定的觀察視角，在相對客觀的框架下對影視情境進行分析，形成“元認知”，之后進行法庭情境模擬口譯訓練，并進行分析與反思，評估口譯質量。

5. 展望與結語

本文介紹了基于貼真體驗與建模的多模態(tài)口譯教學模式，教學資源上通過多媒體技術和介質存儲、分析與呈現(xiàn)多模態(tài)內容，教學方法上注重師生間、學生間互動與協(xié)作(如師生共同對音視頻材料進行特征值提取)，為學生提供交互式操作(Praat及Elan標注、檢索與統(tǒng)計等)，提供口譯模擬情境，拓展學生口譯實踐的維度，激發(fā)學生多種感官模態(tài)進行貼真體驗，并在教學設計、實現(xiàn)與教師要求上提出了更高要求。這是一種立體式教學法關照下的多模態(tài)口譯教學模式(陳堅林，2011；康志峰，2012)，是目前外語教學領域的前沿方法。但該領域仍然有不少問題尚待解決，例如：

1) 多模態(tài)口譯教學語料庫的建設與利用

語料庫在翻譯教學中日益受到重視(如李德超，Sara Laviosa， 2011)，但國內多模態(tài)口譯語料庫建設與研究才起步(劉劍，2017)。相關標注體系較為簡單，基本思路仍是雙語對齊，加上語音、動作等信息標注，未能從口譯活動的親歷本質出發(fā)并上升至從社會活動的高度看待情境口譯，沒有解決口譯活動的結構化切分問題，對多模態(tài)口譯數(shù)據(jù)挖掘的深度和廣度尚需增強；且語料庫的類型較為單一，多為現(xiàn)場會議，今后應當在陪同口譯、多方研討口譯、試聽翻譯等方面增加語料類型，為多維度、多層次的口譯教學提供基礎數(shù)據(jù)庫；此外，在基于多模態(tài)口譯語料庫的教學模式構建方面，雖已有學者提出了一些訓練的方法，但今后仍需形成系統(tǒng)性的人才培養(yǎng)模式。

在技術方面，今后可使用知識本體技術對多模態(tài)口譯教學語料庫進行構建，實現(xiàn)圖像及視頻的語義檢索；多模態(tài)語料庫的范疇很廣，還包括從多個維度對口譯活動的各類數(shù)據(jù)進行采集，如譯員腦電、眼動、肌電數(shù)據(jù)，或口譯活動時PPT內容、備譯材料等，形成立體多維的語料庫。當然，一般語料庫沒有必要包含過多類型的數(shù)據(jù)，但這并不是說多模態(tài)口譯語料庫就僅限于文字、音頻和視頻。另外，在解決版權、成本等問題后，可考慮多模態(tài)口譯語料庫的網(wǎng)絡開放。

2) 虛擬仿真口譯教學模式與訓練技術研發(fā)

隨著虛擬現(xiàn)實技術的發(fā)展與虛擬仿真教學的推廣，今后應當開發(fā)基于大數(shù)據(jù)的虛擬仿真口譯教學與訓練技術。通過影像、聲音及各種類型的數(shù)據(jù)模擬，構擬出各種情境和類別的口譯任務，如國際會議、商務談判、生活陪同等，以提升貼真體驗及情境化口譯教學的真實度。上文構建了真實口譯活動錄像及情境化影視片段的分析框架，并嘗試提取各類數(shù)據(jù)。在該框架指導下，可基于XML語言對文本進行切分與標注，為虛擬情境口譯訓練技術的研發(fā)提供準備。同時，應當研發(fā)基于網(wǎng)絡的口譯自主學習及自我評估系統(tǒng)，為學生提供口譯的質量評估及學習建議。

3) 多模態(tài)口譯教學效度的實證研究

目前的多模態(tài)口譯教學研究多集中于宏觀探討，對該模式在教學中的實際效度考察不夠，尤其是從實證角度對多模態(tài)口譯教學中的學生認知過程研究十分鮮見。今后，可依托腦電、眼動等技術對學生的模擬口譯過程、多模態(tài)口譯教學效度等問題展開實證研究，審視翻譯的認知過程與翻譯教學實踐之間的關系。

總之，口譯活動是親歷過程，教師可以借助貼真建模思路來提取口譯過程的各類特征，在此基礎上建設多模態(tài)語料庫，在教學中觸發(fā)學生的貼真體驗。這有別于從口譯產(chǎn)出結果來看待口譯現(xiàn)象，或將口譯內容與非言語行為簡單疊加的思路。多模態(tài)口譯教學語料庫的構建與應用超越了僅依靠文字及音頻材料進行口譯訓練的傳統(tǒng)模式，相關教學方法貼近口譯活動的真實親歷，充分利用學生的多模態(tài)學習機制，觸發(fā)貼真體驗過程，能有效促進學生的情境口譯技能發(fā)展?；谫N真建模思路，還可以進行口譯虛擬仿真實驗教學，由口譯教師與工程師共同構建多種仿真的口譯場景，觸發(fā)師生多模態(tài)互動，開展虛擬仿真口譯訓練。

多模態(tài)范式為外語教學創(chuàng)新提供了主體性、系統(tǒng)性、動態(tài)性、協(xié)同性等方面的思維啟示，師生互動的多模態(tài)親歷形式發(fā)生了改變，構建的多模態(tài)充盈意義也相應發(fā)生了變化(黃立鶴，2021)。在信息技術時代，探究如何充分調用多模態(tài)感官，貼近語言學習親歷過程，提升學習效率，是多模態(tài)教學研究的根本任務。本文從口譯教學出發(fā)，嘗試探討了一些問題。當然，所構建的分析框架及教學基本模式還需通過更多教學實例來驗證其適用性及效度。