藍(lán) 潔

(中山大學(xué)南方學(xué)院 廣東廣州 510970)

近年來，隨著現(xiàn)代信息技術(shù)的發(fā)展，人類的交際模式從單純由語言做媒介過渡到由語言、圖像、聲音、顏色、身勢語言等復(fù)合體作為媒介。人類對世界的認(rèn)知始終以多模態(tài)的方式存在，多模態(tài)化是人類生活的一種普遍特征。隨著人類交際方式趨于電子化、信息化，語言作為唯一交際媒介的局面被打破，始于對語言語篇分析研究的文體學(xué)學(xué)者們開始重視在技術(shù)多模態(tài)語境下，不同模態(tài)是如何為意義的構(gòu)建做出貢獻(xiàn)的。20世紀(jì)末，多模態(tài)話語分析理論在西方世界應(yīng)運(yùn)而生，其中以社會符號學(xué)理論，交互社會學(xué)理論和認(rèn)知科學(xué)理論最為典型，系統(tǒng)功能語言學(xué)者關(guān)注多符號或多模態(tài)的意義如何構(gòu)建。早期的研究對象以靜態(tài)多模態(tài)語篇分析為主，包括電影海報(bào)、政治海報(bào)、平面廣告、教科書、期刊論文等，隨著多媒體技術(shù)的發(fā)展和人類閱讀習(xí)慣的改變，研究的重心逐漸向動態(tài)多模態(tài)語篇轉(zhuǎn)移，包括音頻語篇、視頻語篇、網(wǎng)頁超鏈接和新媒體鏈接等。

電影預(yù)告片是典型的多模態(tài)動態(tài)視頻語篇，它是電影上映前出品方對消費(fèi)者精準(zhǔn)宣傳的產(chǎn)品，以展示電影的觀賞價(jià)值為營銷手段，通過多媒體技術(shù)的渲染，其制作目的是為激起消費(fèi)者(觀眾)的觀影欲望，促進(jìn)電影票房的上揚(yáng)，進(jìn)而實(shí)現(xiàn)電影制作的盈利和商業(yè)化成功。好的電影預(yù)告片是一種視覺和聽覺的藝術(shù)，其動態(tài)性在于因?yàn)闀r(shí)間維度的介入，使得圖像等視覺模態(tài)產(chǎn)生了動畫效果，該類語篇既可在持續(xù)的時(shí)間里展示畫面(視覺模態(tài))，又可在畫面空間里展示文字和音頻等其他模態(tài)，這是一種由多種符號資源(圖像、文字、旁白、音樂等)交互作用，共同實(shí)現(xiàn)意義的語篇類型。本文嘗試以一則美國電影預(yù)告片為語料，在視覺語法分析[1]和動態(tài)多模態(tài)話語分析框架[2]的指導(dǎo)下，以音視頻切分與標(biāo)注工具ELAN5.3軟件(EUDICO Linguistics Annotator，以下簡稱ELAN軟件)為分析手段，以質(zhì)性和量化研究結(jié)合的方法，目的在于探索多模態(tài)動態(tài)視頻語篇如何通過符號的選擇以及多種符號和模態(tài)間的協(xié)同合作構(gòu)建語篇意義的，并討論該類語篇是如何通過多模態(tài)語言技巧實(shí)現(xiàn)與觀眾的精神溝通，進(jìn)而促進(jìn)電影市場消費(fèi)的。

一、多模態(tài)話語分析框架與ELAN軟件

隨著人類的交際方式電子化，技術(shù)多模態(tài)語境成為了人類主要的交際語境。語言學(xué)者也意識到交際不再以語言做唯一的媒介，而是由多種模態(tài)共同完成的，包括空間、手勢、凝視、身勢、移動、聲音、腔調(diào)、音樂、三維事物、口語、書面語、圖形、表格、圖像、動畫等[3]。這些不同的模態(tài)各自都是一個(gè)獨(dú)立的符號系統(tǒng)，在一定的語境中共同構(gòu)建意義的表達(dá)，促進(jìn)交際目的的實(shí)現(xiàn)。從意義構(gòu)建的角度理解，不同模態(tài)都為意義的構(gòu)建做出了貢獻(xiàn)。多模態(tài)話語分析理論的發(fā)展壯大為多模態(tài)文體學(xué)提供了理論基礎(chǔ)，目前國內(nèi)外的研究較多集中在以Halliday的社會符號理論為指導(dǎo)的多模態(tài)功能文體分析和以認(rèn)知語言學(xué)理論為指導(dǎo)的多模態(tài)認(rèn)知文體研究。20世紀(jì)90年代開始，社會符號學(xué)者以Halliday的系統(tǒng)功能語法[4]為基礎(chǔ)，開始研究多模態(tài)語法，包括視覺語法(Kress & Van Leeuwen)、顏色語法(Kress & Van Leeuwen)[5]等。對圖像、字體、布局、顏色等視覺符號“語法系統(tǒng)”的構(gòu)成奠定了多模態(tài)文體學(xué)研究的理論基礎(chǔ)。

多模態(tài)話語分析重視對多模態(tài)話語生成過程的研究，Kress & Van Leeuwen[6]提出了話語、設(shè)計(jì)、生產(chǎn)、分布四個(gè)概念作為多模態(tài)分析的四個(gè)層次。從語境到意義的選擇過程就是話語生成的過程。意義需要選擇合適的模態(tài)來表達(dá)，選擇什么模態(tài)根據(jù)意義決定。Lim基于多模態(tài)話語的圖像和言語研究，初步建立了多模態(tài)話語綜合性多符號模式框架[7]。“在這個(gè)框架中，語言和圖畫作為交際模態(tài)共有意識形態(tài)、體裁、語域和話語意義四個(gè)層面”[8]。張德祿等基于多模態(tài)語篇的基本特點(diǎn)，提出了動態(tài)多模態(tài)功能文體學(xué)理論框架。動態(tài)多模態(tài)語篇與靜態(tài)語篇的區(qū)分標(biāo)準(zhǔn)是模態(tài)的狀態(tài)和維度，對于分析者來說，視覺符號的切分是關(guān)鍵。動態(tài)多模態(tài)功能文體學(xué)理論框架的兩個(gè)階段是編碼和解碼，分析的關(guān)鍵因素有語境、整體意義、模態(tài)協(xié)同、前景化、時(shí)間和切分。發(fā)話者作為出發(fā)點(diǎn)，根據(jù)情景語境選擇需要表達(dá)的意義，在不同模態(tài)間選擇，并在不同模態(tài)的語法系統(tǒng)中做選擇，再將這些模態(tài)根據(jù)時(shí)間順序設(shè)計(jì)排列組合，最終實(shí)現(xiàn)多模態(tài)語篇的產(chǎn)出。解碼階段需要分析者運(yùn)用相應(yīng)的研究方法進(jìn)行語篇解析，不同于靜態(tài)語篇，動態(tài)語篇分析者首先要對語料進(jìn)行切分標(biāo)注分層，切分的單位以能用相關(guān)模態(tài)語法系統(tǒng)進(jìn)行分析為準(zhǔn)則，分析者進(jìn)一步找出其中突出的語法特征，再與凝練的前景化特征和情景語境做對比，看這些突出的特征是否與情景語境相匹配。時(shí)間維度的增加使得動態(tài)多模態(tài)語篇的前景化特征范圍進(jìn)一步擴(kuò)展，例如圖像移動的順序與常規(guī)不符，則產(chǎn)生一種新的突出特征，電影、戲劇、廣告等動態(tài)多模態(tài)語篇就經(jīng)常利用這種打破時(shí)間維度的手法創(chuàng)造特殊的文體效果，這也是該類語篇分析的關(guān)鍵。

對動態(tài)視頻的多模態(tài)話語分析，需要結(jié)合多模態(tài)研究的兩種路徑，即以符號學(xué)范疇的多模態(tài)功能文體學(xué)理論框架為基石，以多模態(tài)語料庫研究的技術(shù)手段為輔助。本研究以音視頻流切分與標(biāo)注工具ELAN5.3軟件作為研究工具，對電影預(yù)告片進(jìn)行多層次切分與標(biāo)注并進(jìn)行數(shù)據(jù)分析，ELAN軟件(EUDICO Linguistic Annotator)是由荷蘭馬普心理語言學(xué)研究所開發(fā)的一款便利實(shí)用的多模態(tài)語料分析工具，為語言分析者提供了免費(fèi)的技術(shù)支持。ELAN能實(shí)現(xiàn)對視頻文件的多層級同步標(biāo)注，包括話語內(nèi)容、語音語調(diào)、面部表情、手部動作等。王立非、文艷總結(jié)了ELAN軟件的以下優(yōu)點(diǎn)：視頻播放精確到0.01秒；標(biāo)注與文本、聲音、圖像同步；標(biāo)注層無限，標(biāo)注編碼表自行定義；標(biāo)注與標(biāo)注間互相鏈接，標(biāo)注結(jié)果可根據(jù)研究需求進(jìn)行多種格式的輸出[9]。

目前，國內(nèi)外學(xué)者對動態(tài)視頻的多模態(tài)話語分析開展了多項(xiàng)實(shí)證研究，涉及不同的傳播媒介，如Thibault[10]、Baldry[11]探討了影視文本的轉(zhuǎn)錄、注釋和分析方法； Baldry和Thibault等運(yùn)用多模態(tài)語篇分析了媒體、網(wǎng)頁、電影和廣告等[12]，把自己提出的多模態(tài)語篇轉(zhuǎn)寫理論應(yīng)用在英國博物館兒童指南網(wǎng)頁和愛斯基摩人錄像的多模態(tài)分析中；Iedema將影視語篇分為幀、鏡頭、場景、程序、類型步驟和整體作品六個(gè)層次進(jìn)行分析[13]；O’Hallora運(yùn)用多媒體編輯軟件探討了電影片段中顯著的符號選擇[14]；Tan提出了綜合的系統(tǒng)功能多符號分析框架用以探討動態(tài)多模態(tài)語篇如何通過符號內(nèi)和符號間的互動過程表達(dá)意義潛勢[15]；McIntyre利用多模態(tài)方法解讀了Ian McKellen 版的電影劇《理查德三世》(Richard III)[16]；張德祿、袁艷艷以電視天氣預(yù)報(bào)多模態(tài)語篇為例，探索了動態(tài)多模態(tài)話語的模態(tài)協(xié)同研究[17]；姚銀燕，陳曉燕則運(yùn)用多模態(tài)話語分析理論框架對一則企業(yè)形象電視廣告進(jìn)行了語篇分析[18]；榮榕運(yùn)用多模態(tài)文體學(xué)理論對電影場景實(shí)現(xiàn)了解讀分析[19]；李潔、王建斌以中德旅游視頻廣告為語料做了基于ELAN的跨語言對比研究[20]，研究的主題是多模態(tài)耦合對比分析?？偟膩碚f，國外學(xué)者近年來對動態(tài)多模態(tài)視頻語篇做了較多嘗試性研究，提出了理論分析的基礎(chǔ)和框架，國內(nèi)學(xué)者在研究靜態(tài)多模態(tài)語篇的基礎(chǔ)上，也開始關(guān)注動態(tài)多模態(tài)視頻語篇的分析研究，并拓展了動態(tài)多模態(tài)語篇的分析框架，但國內(nèi)研究還屬于起步發(fā)展階段，質(zhì)性研究和量化研究結(jié)合的個(gè)案也比較有限，大多數(shù)研究采用的方法仍以描述和總結(jié)為主，缺乏客觀數(shù)據(jù)的支持，研究的語料多為電影、廣告、教學(xué)視頻等，對于電影預(yù)告片這類型語篇的研究比較少見。本研究希望為動態(tài)多模態(tài)功能文體學(xué)理論框架提供實(shí)證研究的案例，不斷促進(jìn)理論框架的完善和發(fā)展。

二、基于ELAN軟件的分析方法

國內(nèi)以往基于ELAN軟件的多模態(tài)語篇分析研究多集中在大學(xué)英語教師課堂話語[21]，也有對多模態(tài)隱喻中各種模態(tài)展開了耦合分析，語料為口語詩[21]和中德旅游視頻廣告[22]。本研究旨在研究多模態(tài)動態(tài)視頻語篇如何通過符號的選擇以及多種符號和模態(tài)間的協(xié)同合作構(gòu)建語篇意義，基于ELAN軟件，筆者從音韻特征、圖像、影像、表達(dá)方式、布局、顏色、字體等方面對選取的語料(電影《綠皮書》預(yù)告片)進(jìn)行賦碼編寫，見表1。

表1 音韻特征、圖像、影像、表達(dá)方式、布局方式、顏色、字體賦碼方式

如表1所示，第一類標(biāo)注特征為音韻特征P-[prosody]，其中包括語調(diào)中的升調(diào)[PIR]、降調(diào)[PIF]、平調(diào)[PIL]、升-降調(diào)[PIRF]、降-升調(diào)[PIFR]；重音[PSt]；語速快[PFT]、語速慢[PST]；長停頓[PPL]、短停頓[PPS]。第二類標(biāo)注特征為圖像特征I-[Image]，其中包括文字[IT]、圖片[IP]和文字-圖片[ITP]。第三類標(biāo)注特征是影像A-[Animation]，分別為人影像[AP]、物影像[TP]、人-物影像[ATP]。第四類特征為表達(dá)方式ES-[Expression]，包括旁白[ESN]、獨(dú)白[ESM]、對話[ESD]。第五類標(biāo)注特征為布局方式L-[Layout]，包括信息價(jià)值[IV]、布局定框[LF]、布局凸顯[LS]。第六類特征是顏色C-[Color]，包括顏色價(jià)值[CV]、顏色飽和度[CS]、顏色純度[CP]、顏色調(diào)制[CM]、顏色區(qū)分度[CD]、顏色色度[CH]。第七類標(biāo)注特征是字體F-[Font]，包括字重[FW]、字體放大[FE]、字斜體[FS]、字體彎曲[FC1]、字體連通性[FC2]、字體方向[FO]和字體規(guī)則[FR]。

在研究的開始階段，筆者根據(jù)預(yù)告片的敘事特點(diǎn)對該動態(tài)視頻進(jìn)行了時(shí)間段的分割，接著根據(jù)七個(gè)標(biāo)注特征分類的賦碼表，對分段的視頻內(nèi)容進(jìn)行標(biāo)注，標(biāo)注后的文件也被分為若干層級，分析者可以根據(jù)自身的研究需求對視頻內(nèi)容進(jìn)行自主分層。本研究的分層主要涉及以下幾個(gè)方面：語音語調(diào)(intonation)、語速(tempo)、重音(stress)、停頓(pause)、圖像(image)、影像(animation)、表達(dá)方式(expression)、布局(layout)、顏色(color)、字體(font)。筆者對分割分層標(biāo)注后的視頻反復(fù)查看對比，并導(dǎo)出了標(biāo)注的數(shù)據(jù)，結(jié)合動態(tài)多模態(tài)功能文體學(xué)理論框架，進(jìn)行進(jìn)一步的量化分析。

三、對動態(tài)多模態(tài)視頻的功能文體學(xué)分析

本研究以電影預(yù)告片為語料，利用ELAN軟件對語料進(jìn)行分割、分層、標(biāo)注后，再根據(jù)動態(tài)多模態(tài)功能文體學(xué)理論框架，結(jié)合定性和定量研究的方法，從文化語境、整體意義、模態(tài)協(xié)同、前景化特征、時(shí)間和切分等方面實(shí)施對動態(tài)多模態(tài)視頻的話語分析。本文所分析的視頻語料來源于網(wǎng)頁：http://video.mtime.com/71607/mid=258541。

(一)文化語境和情景語境

文化語境指的是與言語交際有關(guān)聯(lián)的社會文化背景，它涵蓋文化習(xí)俗和社會規(guī)范兩個(gè)層次。文化習(xí)俗是指人們在語言、行為和心理上的集體習(xí)慣或生活模式；社會規(guī)范是指一個(gè)社會對言語交際活動作出的各種規(guī)定和限制。根據(jù)交際的目的，文化語境決定了話語交際的目的意圖。語境制約是多模態(tài)功能文體學(xué)的前提，情景語境和交際目的直接決定意義的選擇，情景語境和交際目的又受文化語境的制約，是文化語境的體現(xiàn)。在同一文化語境、情景語境和交際目的下，多種不同符號(文字、圖像、聲音、字體、布局和顏色等)結(jié)合在一起實(shí)現(xiàn)語篇意義的構(gòu)建。電影藝術(shù)的欣賞是一種視覺和聽覺的審美，電影預(yù)告片則是電影制造產(chǎn)業(yè)的衍生產(chǎn)品，電影出品方在電影上映前通過對該電影片花的重新編輯，向觀眾傳達(dá)電影主旨內(nèi)容，引起觀眾觀影的興趣。電影預(yù)告片是一種基于多媒體技術(shù)的動態(tài)多模態(tài)視頻語篇類型，本文選擇的語料是2019年美國電影《綠皮書》(The Green Book)預(yù)告片，采用ELAN軟件5.3對該動態(tài)視頻進(jìn)行分層、標(biāo)注和數(shù)據(jù)分析。

《綠皮書》的電影預(yù)告片時(shí)長2分32秒，創(chuàng)作者根據(jù)故事的時(shí)間順序?qū)㈦娪暗拈_端、發(fā)展、高潮、結(jié)局等展示出來，多媒體制作的技術(shù)手段主要是指電影畫面(視覺模態(tài))和電影對白(聽覺模態(tài))結(jié)合的方式，編輯的過程中還穿插了電影出品公司logo形象展示、電影主演信息、電影獲獎情況、上映日期等關(guān)鍵文字信息(圖像加文字模態(tài))。本電影是劇情片，電影故事內(nèi)容是核心要素，預(yù)告片的主線索就是通過時(shí)間順序向觀眾展示了電影的主要情節(jié)脈絡(luò)。電影情節(jié)主題鮮明、跌宕起伏、內(nèi)容豐富、妙趣橫生，預(yù)告片的時(shí)間軸線索也和電影正片的時(shí)間順序敘事模式相呼應(yīng)，可以說在預(yù)告片的袖珍世界，觀眾得以管窺電影內(nèi)容的全貌。對動態(tài)多模態(tài)視頻的功能文體學(xué)分析，時(shí)間維度和切分環(huán)節(jié)是重要步驟，切分的結(jié)果是要把該視頻分割成可以按照不同模態(tài)語法系統(tǒng)來分析的單位。《綠皮書》預(yù)告片的體裁結(jié)構(gòu)分割，共包括8個(gè)階段：

(1)開頭(電影出品方logo形象展示)；

(2)故事開端(白人托尼接受黑人鋼琴家唐的工作邀約)；

(3)故事發(fā)展1(兩人踏上巡演之路，在差異中對碰磨合)；

(4)故事發(fā)展2(巡演路上，兩人逐漸消除隔閡)；

(5)故事高潮1(因種族歧視，唐遭受了不公正的對待，唐教導(dǎo)托尼尊嚴(yán)和勇氣的意義)；

(6)故事高潮2(唐幫助托尼潤色家信的文字，兩人相互信任，出現(xiàn)溫情互動)；

(7)故事結(jié)局(巡演結(jié)束，白人托尼和黑人唐建立了跨越種族、階級的友誼)；

(8)結(jié)尾 (彩蛋，上映時(shí)間)。

(二) 整體意義

多模態(tài)語篇的意義是一個(gè)整體，語篇意義的表達(dá)由多種模態(tài)協(xié)同完成?！毒G皮書》是由彼得·法拉利執(zhí)導(dǎo)，維果·莫特森、馬赫沙拉·阿里主演的劇情片，該片片名的靈感源于20世紀(jì)60年代出版的一本專為黑人而設(shè)的旅行指南，于2018年9月11日在多倫多國際電影節(jié)首映，2019年3月1日在中國內(nèi)地上映。該片改編自真人真事，故事的時(shí)代背景是1962年的美國，一個(gè)種族歧視十分嚴(yán)重的年代，該片講述了意裔美國人保鏢托尼，他被聘用為世界上優(yōu)秀的爵士鋼琴家唐開車。鋼琴家將從紐約開始舉辦巡回演奏，倆人之間一段跨越種族、階級的友誼的故事?！毒G皮書》獲得2019年美國電影奧斯卡最佳影片獎，最佳男配角獎和最佳原創(chuàng)劇本獎，取得了票房和口碑的雙贏，如何延續(xù)該電影北美地區(qū)商業(yè)化的成功，如何贏得中國市場觀眾的青睞，在電影上映前，電影出品方通過電影預(yù)告片向國內(nèi)觀眾傳達(dá)影片的制作特色和價(jià)值觀念，刺激觀眾的觀影熱情和消費(fèi)欲望。該預(yù)告片作為動態(tài)多模態(tài)語篇的整體意義在于實(shí)現(xiàn)敘述者(電影出品方)和觀眾(消費(fèi)者)間的溝通功能，故事敘述者通過預(yù)告片引導(dǎo)觀眾通過何種視角來觀察故事的世界，在本預(yù)告片中，敘述者基于時(shí)間順序的線索進(jìn)行創(chuàng)作，隨著時(shí)間的推移，兩位主人公之間的對立感逐漸消弭，取而代之的是跨越種族和階級的信任感。預(yù)告片創(chuàng)作者以敘事性的手法通過多種模態(tài)的協(xié)同作用對人物的形象、行動、語言、心理等活動進(jìn)行再現(xiàn)。在分析語篇的過程中，筆者發(fā)現(xiàn)該預(yù)告片通過音韻特征的區(qū)別凸顯兩位主人公的不同社會背景，通過通篇對話的表達(dá)形式突出兩位主人公的交流、沖突和信任，通過圖像和文字交織的方式再現(xiàn)電影出品方和上映日期等重要的宣傳符號。

(三)模態(tài)協(xié)同

模態(tài)協(xié)同關(guān)系是多模態(tài)功能文體學(xué)研究的核心要素,代表著多模態(tài)話語分析理論發(fā)展的最新成果。由于情景語境和交際目的的作用，發(fā)話者根據(jù)語篇意義的選擇構(gòu)建合適的模態(tài)組合。從邏輯語義的層面分析，不同的模態(tài)之間存在著詳述、延伸和強(qiáng)化的關(guān)系；從表現(xiàn)關(guān)系來看，可以做互補(bǔ)和非互補(bǔ)的分析，而在互補(bǔ)中也有強(qiáng)化和非強(qiáng)化之分，非互補(bǔ)中又有交疊、內(nèi)包、語境交互等概念。

經(jīng)過ELAN軟件的標(biāo)注后，通過標(biāo)注統(tǒng)計(jì)得出的有關(guān)層信息如表2：

表2 《綠皮書》電影預(yù)告片的分層信息

總的來說，《綠皮書》電影預(yù)告片以聲音為傳遞信息的主要模態(tài)，在標(biāo)注數(shù)量上，以音韻特征P-的統(tǒng)計(jì)數(shù)最多，達(dá)到43個(gè)，包括語調(diào)、語速、停頓等。另外，表達(dá)方式ES-層的總標(biāo)注時(shí)長最大(132.0)，標(biāo)注時(shí)長百分比最高(86.777)，表達(dá)方式的標(biāo)注賦碼以ESD為主，說明該預(yù)告片是以人物對話為主要表達(dá)形式的，通過人物對話的內(nèi)容展現(xiàn)推進(jìn)故事情節(jié)的發(fā)展。這與音韻特征P-的標(biāo)注統(tǒng)計(jì)數(shù)最多形成呼應(yīng)，再一次驗(yàn)證了該語篇是以聽覺模態(tài)為主，傳達(dá)信息，實(shí)現(xiàn)交際目的,構(gòu)建語篇整體意義的。確定主要模態(tài)后，進(jìn)一步分析數(shù)據(jù)發(fā)現(xiàn)，圖像I-和影像A-的標(biāo)注數(shù)量分別是7和6，總標(biāo)注時(shí)長百分比分別為10.377和8.586，除音韻特征P-和表達(dá)方式ES-外,它們的數(shù)據(jù)占比最大，體現(xiàn)了除聽覺模態(tài)之外，還有視覺模態(tài)起到了語篇意義構(gòu)建的主要作用。另外，筆者發(fā)現(xiàn)還有布局、顏色、字體、音樂等模態(tài)也發(fā)揮了一定的語篇意義構(gòu)建作用。

以預(yù)告片開頭為例，創(chuàng)作者接連展示了影片三個(gè)出品方公司的logo形象，呈現(xiàn)的形式是圖像加文字的組合，在這個(gè)階段，圖像作為主要模態(tài)出現(xiàn)，通過視覺的直觀感受，傳達(dá)電影制作方良好的企業(yè)形象，其他模態(tài)包括音樂和文字，音樂模態(tài)對圖像起了互補(bǔ)的作用，主要體現(xiàn)在非強(qiáng)化協(xié)調(diào)這個(gè)層面，音樂旋律輕松歡快，伴著鼓點(diǎn)和韻律，呼應(yīng)整個(gè)語篇幽默的前景化特征。在開頭階段，文字與圖像呈現(xiàn)了互補(bǔ)的關(guān)系，起到了強(qiáng)化突出的作用，通過文字和圖像的融合，體現(xiàn)了企業(yè)的精神和價(jià)值觀念。另外，頁面布局也成為模態(tài)分析的一個(gè)因素，從信息價(jià)值的角度來看，圖像和頁面成分的位置分布為圖像和頁面本身附加了意義。預(yù)告片開頭的企業(yè)形象展示采用了中央-邊緣的布局手法，使焦點(diǎn)信息和附屬信息得以區(qū)別。

接下來，通過ELAN軟件對預(yù)告片的聽覺模態(tài)和視覺模態(tài)的相關(guān)數(shù)據(jù)進(jìn)行匯總(見表3)，進(jìn)一步分析模態(tài)之間是如何實(shí)現(xiàn)協(xié)同關(guān)系，共同表達(dá)交際者的整體意義的。

表3 《綠皮書》電影預(yù)告片的聽覺模態(tài)和視覺模態(tài)數(shù)據(jù)統(tǒng)計(jì)

如表3所示，聽覺模態(tài)主要是指預(yù)告片中兩位主人公的對話內(nèi)容，在分層的設(shè)計(jì)上主要考察說話者的音韻特征，從語音語調(diào)看，降調(diào)的命中為5，標(biāo)注時(shí)長百分比為36.799，在整個(gè)層的數(shù)據(jù)中占比最重，降調(diào)的大范圍使用體現(xiàn)了電影故事嚴(yán)肅的特性，尤其在塑造主人公唐的角色形象時(shí)，降調(diào)的大量使用體現(xiàn)了黑人鋼琴家唐精致優(yōu)雅的談吐，這與白人司機(jī)托尼粗俗不雅的形象形成鮮明對比。從數(shù)據(jù)上看，平調(diào)和升降調(diào)使用的幅度也較大，而升調(diào)和降升調(diào)的比例最低，升調(diào)和降升調(diào)的使用能給觀眾以輕松愉快的感覺，給整個(gè)嚴(yán)肅的敘事過程增添了趣味性。從語速來看，快語速和慢語速的標(biāo)注時(shí)長百分比分別為29.225和34.232，整個(gè)語篇呈現(xiàn)出快慢語速交互使用的情況，慢語速占比略高。總的來說，語篇的發(fā)話者有意穿插多種語音語調(diào)的模態(tài)類型，既層次分明又重點(diǎn)突出。視覺模態(tài)方面主要設(shè)計(jì)了圖像和影像兩個(gè)層，圖像層統(tǒng)計(jì)數(shù)據(jù)所示，文字-圖片的標(biāo)注時(shí)長百分比為7.07，遠(yuǎn)高于文字的數(shù)值3.307，這說明圖片與文字模態(tài)的結(jié)合，更能實(shí)現(xiàn)語篇意義的表達(dá)。以故事發(fā)展階段的圖像為例，在故事展開敘述的過程中，創(chuàng)作者有意插入影片制作方的基本信息，如主演信息和影片獲獎信息等，這些信息大多以圖文結(jié)合的圖像形式傳播的，圖像和文字在組篇意義上是相互合作的，圖像和頁面的位置分布呈現(xiàn)上-下的布局格式，上-下的布局是理想信息和現(xiàn)實(shí)信息的格局，重要文字信息還通過加粗字體的方式突出其主要的地位，而從屬的信息則分布在下方。

以語篇分割的高潮階段1為例，故事情節(jié)是因種族歧視問題，黑人鋼琴家唐遭受了不公正的對待，唐仍教導(dǎo)白人司機(jī)托尼尊嚴(yán)和勇氣的意義。這部分內(nèi)容最能反映電影《綠皮書》的深刻主題，展現(xiàn)了上世紀(jì)60年代的美國，未獲得平等權(quán)利的黑人所遭受的壓迫和歧視，即使唐躋身上流社會，身份尊貴，仍然因?yàn)楹谌说纳矸荻鵁o法享受基本人權(quán)，而唐也在自身身份認(rèn)同的問題上遭受心靈挫折，在遭受創(chuàng)傷后，唐依然能以尊嚴(yán)和勇氣面對不公正的社會，并影響身邊的白人朋友托尼。該段情節(jié)跌宕起伏，引人入勝，預(yù)告片選取這部分內(nèi)容展示，旨在向觀眾傳遞影片的核心價(jià)值觀念，呼喚種族和階級的平等權(quán)利，并激發(fā)觀眾的觀影熱情。該階段的語篇聽覺模態(tài)是主模態(tài)，主人公唐的語調(diào)以降調(diào)為主，語速為慢速，語句之間有重音，有短暫停頓，唐的對白深沉有力，打動人心，除了人聲的音韻特征作用，背景音樂的基調(diào)舒緩深情，為故事情節(jié)和人物情緒的深入發(fā)展起了渲染的作用。此階段的視覺模態(tài)以呈現(xiàn)唐和托尼的影像為主，標(biāo)注的主體是人影像，此時(shí)的聽覺模態(tài)和視覺模態(tài)依然是互補(bǔ)關(guān)系，視覺模態(tài)體現(xiàn)了非強(qiáng)化協(xié)調(diào)的作用。另外，唐的扮演者馬赫沙拉·阿里獲得奧斯卡最佳男配角的圖文信息穿插其間，文字模態(tài)與聽覺和視覺模態(tài)之間呈現(xiàn)非互補(bǔ)的關(guān)系，文字模態(tài)起到了語境互補(bǔ)的作用，即在同一文化語境里，文字模態(tài)與其他視覺模態(tài)出自同一文化，在本預(yù)告片中，他們的出現(xiàn)都是為了宣傳電影的觀賞性，文字模態(tài)強(qiáng)調(diào)了唐的扮演者的表演技能，聽覺模態(tài)和視覺模態(tài)里呈現(xiàn)了唐的人物命運(yùn)，模態(tài)間在同一文化語境里協(xié)同作用。文字模態(tài)的背景顏色是藍(lán)綠色，在顏色標(biāo)注上，筆者著重觀察的是顏色的區(qū)分度，色度和飽和度。從區(qū)分度來看，預(yù)告片的宣傳文字底色以單色為主，突出故事片克制嚴(yán)肅的特質(zhì)，藍(lán)綠色應(yīng)和了故事標(biāo)題《綠皮書》的意義概念；色度是從藍(lán)色到紅色的一個(gè)顏色量度連續(xù)體，從色度來看，本語篇的藍(lán)綠色所代表的是冰冷、平靜、距離和背景化；從飽和度的選擇來看，預(yù)告片文字模態(tài)的背景色選取的是弱飽和度，體現(xiàn)了感情的細(xì)膩柔和，但也冰冷壓抑，傳達(dá)憂傷和情緒化的意義潛勢。在字體標(biāo)注上，筆者主要觀察的是字體放大和字重，字體放大是指字體是窄還是寬，字體的寬窄是我們對空間的感知的一種隱喻，預(yù)告片的宣傳字體主要以寬體字為主，集中分布在頁面的中央部分，給人以充分的活動空間的感覺，帶給觀眾一種放松的意味。字重是指字是粗體還是普通體，本語篇的宣傳字體使用了加粗的效果，粗體字可以達(dá)到凸顯的效果，同時(shí)可以表現(xiàn)大膽、堅(jiān)定、結(jié)實(shí)和重要的概念隱喻和人際意義。顏色和字體模態(tài)與主要模態(tài)(聽覺模態(tài))之間也呈現(xiàn)出非互補(bǔ)的關(guān)系，顏色和字體起到了語境交互的作用。

(四)前景化特征

前景化特征是多模態(tài)功能文體學(xué)的基本概念，無論是語言特征還是其他視覺、聽覺特征，只要與作者創(chuàng)作的情景語境相關(guān)，與講話者的交際目的相關(guān)，都可以成為語篇中的前景化特征。前景化的識別是多模態(tài)功能文體學(xué)研究的目標(biāo)，在一定的文化語境內(nèi)，受話者根據(jù)具體的情景語境和交際目的，選擇要表達(dá)的整體意義。整體意義的表達(dá)可以借助不同的模態(tài)完成，不同的模態(tài)又各有其突出的特征，但不是所有模態(tài)的突出特征都能構(gòu)成前景化特征，只有與情景語境和交際目的相關(guān)的突出特征才能成為前景化特征。經(jīng)過綜合分析，在預(yù)告片的播映過程中，主人公的語言模態(tài)為主模態(tài)，并始終處于前景化位置，該模態(tài)呈現(xiàn)的前景化特征是幽默。電影預(yù)告片旨在反映電影的主題內(nèi)容和核心價(jià)值，展示電影出品方良好的企業(yè)形象，從而激起觀眾觀影的熱情。電影《綠皮書》是嚴(yán)肅的劇情片類型，探討的是種族歧視和壓迫的社會問題，而幽默的前景化特征易于舒緩觀眾緊張沉重的情緒，并表現(xiàn)兩位主人公的溫情互動，使得故事看來妙趣橫生。主人公的語言模態(tài)發(fā)揮了主要的前景化作用，因?yàn)槭莿討B(tài)多模態(tài)視頻語篇，所以這里的語言模態(tài)主要是指聽覺模態(tài)而非文字模態(tài)，以故事開端為例，白人托尼接受黑人鋼琴家唐的工作邀約，唐向托尼表明自己的身份，他本人不是個(gè)醫(yī)生(medical doctor)，而是一個(gè)有博士(doctor)學(xué)位的音樂家，對于“doctor”一詞的差異化理解，構(gòu)成了幽默的效果。接下來，創(chuàng)作者通過剪輯的效果，再次用語言模態(tài)突出了該預(yù)告片的前景化特征，唐和托尼在工作招聘面試的對話，唐問托尼是否有其他工作經(jīng)驗(yàn)，畫面出現(xiàn)托尼之前擔(dān)任酒吧雜工時(shí)毆打客人的場景，托尼稍作停頓，回答道“危機(jī)公關(guān)”(public relations)。這里的“危機(jī)公關(guān)”(public relations)產(chǎn)生了幽默的前景化特征，表現(xiàn)了托尼渴望得到一份賺錢的工作，便玩文字游戲偷換概念，把毆打酒吧客人的工作經(jīng)歷說成是危機(jī)公關(guān)行為，亦向未來的雇主說明自己專業(yè)的工作能力，這與現(xiàn)實(shí)中托尼粗俗魯莽的性格形成鮮明的反差。在預(yù)告片的結(jié)尾，當(dāng)電影的故事脈絡(luò)整體呈現(xiàn)完畢之后，創(chuàng)作者獨(dú)具匠心，加上了一個(gè)彩蛋畫面，在巡演的路上，唐和托尼已然放下成見與隔閡，逐漸成為互相信賴的朋友。唐逐漸放松心態(tài)，開始嘗試吃炸雞喝可樂，并學(xué)著唐將雞骨頭隨手扔出車窗外，此時(shí)兩人發(fā)出會心的笑聲。當(dāng)托尼再度將可樂杯扔出車窗外時(shí)，唐的語言和行為便產(chǎn)生了幽默的前景化效果，唐先是一愣，然后要求托尼倒車回去將可樂杯拾起，托尼辯白松鼠會拾走垃圾后，唐仍堅(jiān)持他的決定。這里可以通過兩位主人公的對話表現(xiàn)了兩人關(guān)系既逐漸融洽又各有立場，并呼應(yīng)了預(yù)告片貫穿始終的黑人吃炸雞情節(jié)，這個(gè)彩蛋情節(jié)在預(yù)告片結(jié)尾處再度凸顯了該語篇幽默的前景化特征，令觀眾印象深刻。

本文通過動態(tài)多模態(tài)功能文體學(xué)理論框架，以電影《綠皮書》預(yù)告片為分析語料，結(jié)合ELAN軟件的分割、分層、標(biāo)注功能，以量化和質(zhì)性研究結(jié)合的方式，進(jìn)行了詳細(xì)的多模態(tài)話語分析。經(jīng)研究發(fā)現(xiàn)，該預(yù)告片主人公的語言模態(tài)為主要模態(tài)，始終處于前景化的位置，前景化的特征是幽默。電影預(yù)告片的目的是在電影上映前進(jìn)行宣傳和推廣，吸引觀眾觀看影片，刺激電影市場的消費(fèi)行為。為了讓預(yù)告片富于感召力，創(chuàng)作者為實(shí)現(xiàn)交際事件的整體意義，在預(yù)告片的發(fā)展、高潮和結(jié)尾的階段綜合運(yùn)用了視覺、音樂、動畫、顏色、布局、文字、圖像等模態(tài)手法對語篇的主模態(tài)進(jìn)行互補(bǔ)或強(qiáng)化，模態(tài)間的協(xié)同關(guān)系既有互補(bǔ)也有非互補(bǔ)的關(guān)系。本研究的特色是運(yùn)用了ELAN軟件5.3對動態(tài)多模態(tài)視頻進(jìn)行分割、分層和標(biāo)注，結(jié)合數(shù)據(jù)分析和觀察描述法總結(jié)了預(yù)告片視頻的模態(tài)協(xié)同關(guān)系和前景化特征。ELAN軟件的轉(zhuǎn)寫模式和同步模式等也可運(yùn)用在多模態(tài)話語分析中，這是今后研究的方向。動態(tài)電影預(yù)告片視頻的多模態(tài)功能文體學(xué)分析，是電影和語言愛好者了解電影預(yù)告片中不同模態(tài)實(shí)現(xiàn)話語意義的重要方式。今后的研究方向也可從認(rèn)知的角度涉及多模態(tài)隱喻分析，或者將功能文體分析視角和多模態(tài)隱喻視角結(jié)合起來。本研究拓展了多模態(tài)話語分析理論的實(shí)證研究范圍，在后續(xù)研究中將不斷通過實(shí)證語料的分析，結(jié)合質(zhì)性和量化的手段，驗(yàn)證和發(fā)展多模態(tài)功能文體學(xué)的理論框架，推動多模態(tài)文體學(xué)的進(jìn)一步發(fā)展。