李菁菁 紀(jì)羽茜

（1.通化師范學(xué)院 大學(xué)外語(yǔ)教學(xué)部，吉林 通化 134002；2.東北師范大學(xué) 外國(guó)語(yǔ)學(xué)院，吉林 長(zhǎng)春 130024）

一、引言

美國(guó)結(jié)構(gòu)主義語(yǔ)言學(xué)家Harris（1952）第一個(gè)明確提出“語(yǔ)篇分析”。［1］自這一術(shù)語(yǔ)的提出至今，符號(hào)學(xué)、心理學(xué)、人類(lèi)學(xué)、社會(huì)學(xué)、文學(xué)等學(xué)科的觀(guān)點(diǎn)和分析方法已被廣泛地應(yīng)用于語(yǔ)篇分析的研究。

傳統(tǒng)語(yǔ)篇分析的研究對(duì)象是大于小句的實(shí)際話(huà)語(yǔ)（口頭的或書(shū)面的）。而話(huà)語(yǔ)只是意義系統(tǒng)中的一種符號(hào)。隨著電子時(shí)代的到來(lái)，圖像、動(dòng)畫(huà)、顏色、聲音、印刷版式等多模態(tài)表意符號(hào)越來(lái)越頻繁地參與構(gòu)建交際意義。交際意義資源的多模態(tài)化使語(yǔ)篇分析研究必然朝多模態(tài)轉(zhuǎn)向。

二、多模態(tài)語(yǔ)篇分析

20世紀(jì)90年代，西方興起了多模態(tài)語(yǔ)篇分析（multimodal discourse analysis）。“模態(tài)”這一術(shù)語(yǔ)源自生命科學(xué)。生命科學(xué)的研究成果表明，生命體在演化過(guò)程中，逐步獲得了視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、味覺(jué)、觸覺(jué)等5種不同的感官通道。這些通道是生命體與周?chē)h(huán)境進(jìn)行信息交換的界面和路徑。［2］這5種感知渠道的獲得分別激發(fā)5種交際模態(tài)的產(chǎn)生：視覺(jué)模態(tài)（visual modality）、聽(tīng)覺(jué)模態(tài)（auditive modality）、觸覺(jué)模態(tài)（tactile modality）、嗅覺(jué)模態(tài)（olfactory modality）和味覺(jué)模態(tài)（gustatory modality）。只使用一種模態(tài)的語(yǔ)篇叫做單模態(tài)語(yǔ)篇（monomodal discourse），如：盲文、廣播等。同時(shí)使用兩種或兩種以上模態(tài)的語(yǔ)篇叫做多模態(tài)語(yǔ)篇（multimodal discourse），如：影視作品、可視電話(huà)等。如果一個(gè)語(yǔ)篇只涉及一種模態(tài)，但包含兩個(gè)或兩個(gè)以上的符號(hào)系統(tǒng)，也可以視作多模態(tài)語(yǔ)篇，如，漫畫(huà)。雖然漫畫(huà)只涉及視覺(jué)模態(tài)，但既有文字又有圖畫(huà)。

對(duì)多模態(tài)語(yǔ)篇進(jìn)行的語(yǔ)言學(xué)研究被稱(chēng)為多模態(tài)語(yǔ)篇分析。多模態(tài)語(yǔ)篇分析的理論基礎(chǔ)是功能語(yǔ)言學(xué)。本文將從功能語(yǔ)言學(xué)派的語(yǔ)言觀(guān)、層次觀(guān)、語(yǔ)境觀(guān)三個(gè)方面描寫(xiě)和解釋多模態(tài)語(yǔ)篇的特征、運(yùn)作機(jī)制和分析方法。

三、功能語(yǔ)言觀(guān)和多模態(tài)語(yǔ)篇分析

功能語(yǔ)言學(xué)家韓禮德認(rèn)為，元功能是語(yǔ)言符號(hào)的普遍特征。［3］（P11）語(yǔ)言具有表達(dá)說(shuō)話(huà)人在動(dòng)態(tài)交際過(guò)程中對(duì)外部世界和內(nèi)心世界經(jīng)驗(yàn)的概念功能；語(yǔ)言具有體現(xiàn)說(shuō)話(huà)人與聽(tīng)話(huà)人之間親疏關(guān)系、社會(huì)地位的人際功能；語(yǔ)言具有在語(yǔ)境中組織和生成具有完整意義的語(yǔ)篇功能。

語(yǔ)言是社會(huì)符號(hào)（social semotic）的一部分。社會(huì)符號(hào)是由許多意義系統(tǒng)（符號(hào)）構(gòu)成的文化或社會(huì)現(xiàn)實(shí)，如建筑、美術(shù)、舞蹈、音樂(lè)等。［3］（P9）語(yǔ)言只是其中的一種典型的符號(hào)系統(tǒng)。因此，有關(guān)語(yǔ)言的理論同樣適用于解釋和分析其他符號(hào)系統(tǒng)。許多學(xué)者受到韓禮德的符號(hào)觀(guān)和元功能思想的影響，認(rèn)為各種模態(tài)的符號(hào)都是能夠表達(dá)概念功能、人際功能和語(yǔ)篇功能的意義資源。O’Toole以悉尼歌劇院為例，以功能語(yǔ)言學(xué)的元功能為理論框架對(duì)三維建筑物的多模態(tài)特征進(jìn)行了分析。［4］Kress和van Leeuwen將元功能理論拓展到對(duì)視覺(jué)模態(tài)的專(zhuān)門(mén)研究，并創(chuàng)建了視覺(jué)語(yǔ)法（visual design grammar）體系。［5］此外，還有Martinec的動(dòng)作符號(hào)學(xué)和van Leeuwen的聲音符號(hào)學(xué)。［6］［7］

目前，在多模態(tài)語(yǔ)篇分析中，對(duì)視覺(jué)符號(hào)的研究占主流地位。應(yīng)用得最廣泛的分析方法是Kress和van Leeuwen的視覺(jué)語(yǔ)法。受功能語(yǔ)言觀(guān)的啟示，視覺(jué)語(yǔ)法建立了視覺(jué)符號(hào)觀(guān)——視覺(jué)符號(hào)是一種意義資源，并且同語(yǔ)言符號(hào)一樣能夠表達(dá)外部世界和內(nèi)心世界經(jīng)驗(yàn)；體現(xiàn)交際參與者之間的人際關(guān)系；并且在語(yǔ)境中組織和生成具有完整意義的語(yǔ)篇。

Kress和Leeuwen相應(yīng)地提出了三大意義：再現(xiàn)意義（representational meaning）、互動(dòng)意義（interactive meaning）、構(gòu)圖意義（compositional meaning）。［5］再現(xiàn)意義對(duì)應(yīng)元功能中的概念功能，主要探討不同視覺(jué)符號(hào)系統(tǒng)之間或者同一視覺(jué)符號(hào)系統(tǒng)內(nèi)部的各成分之間的關(guān)系?；?dòng)意義對(duì)應(yīng)元功能中的人際功能，主要探討視覺(jué)符號(hào)的設(shè)計(jì)者的交際意圖，視覺(jué)符號(hào)的解讀者與視覺(jué)符號(hào)之間的關(guān)系。構(gòu)圖意義對(duì)應(yīng)元功能中的語(yǔ)篇功能，主要探討不同視覺(jué)符號(hào)之間或同一視覺(jué)符號(hào)系統(tǒng)內(nèi)部的不同成分的排列和分布方式（如居中、環(huán)繞、前景、背景等），以及它們?nèi)绾慰刂普Z(yǔ)篇信息的流向。

以功能語(yǔ)言觀(guān)為視角，觀(guān)察多模態(tài)語(yǔ)篇，可以發(fā)現(xiàn)不同模態(tài)存在著相同的符號(hào)原理。關(guān)于語(yǔ)言的社會(huì)符號(hào)性、意義潛勢(shì)和元功能的理論同樣適用于解讀多模態(tài)符號(hào)的本質(zhì)特征。

四、功能層次觀(guān)和多模態(tài)語(yǔ)篇分析

功能語(yǔ)言學(xué)層次的思想與多模態(tài)語(yǔ)篇分析也有著密切的關(guān)聯(lián)。功能語(yǔ)言學(xué)認(rèn)為語(yǔ)言是一個(gè)多層次的系統(tǒng)。可以自上而下地分為語(yǔ)境層、內(nèi)容層和表達(dá)層三個(gè)層次。其中，語(yǔ)境層屬于言外層次，內(nèi)容層和表達(dá)層則屬于言?xún)?nèi)層次。宏觀(guān)上，言外層次由言?xún)?nèi)層次實(shí)現(xiàn)；微觀(guān)上，上一級(jí)系統(tǒng)由下一級(jí)系統(tǒng)實(shí)現(xiàn)（realization）。如下圖所示：

Matthiessen認(rèn)為可以從語(yǔ)境層、內(nèi)容層和表達(dá)層這三個(gè)層次觀(guān)察語(yǔ)篇的多模態(tài)特征。［8］從語(yǔ)境層看，包括語(yǔ)言在內(nèi)的各種模態(tài)的符號(hào)系統(tǒng)都需要在語(yǔ)境中共建意義。需要指出的是，各種符號(hào)各自生成的意義在于語(yǔ)言生成的意義并不是從屬或者輔助的關(guān)系。它們既是各自獨(dú)立的意義資源，同時(shí)又相互聯(lián)系：可以相互重疊、互為補(bǔ)充甚至相互沖突。從內(nèi)容層看，語(yǔ)義層由詞匯——語(yǔ)法層實(shí)現(xiàn)。而詞匯——語(yǔ)法是語(yǔ)言符號(hào)所特有的。所以，其他模態(tài)的符號(hào)特征無(wú)法在這一層次上得到解釋。從表達(dá)層看，語(yǔ)言符號(hào)生成的意義是通過(guò)對(duì)音系和字系的選擇實(shí)現(xiàn)的。其他符號(hào)系統(tǒng)是借助除口語(yǔ)和書(shū)面語(yǔ)以外的其他媒介表達(dá)意義的。選擇口語(yǔ)還是書(shū)面語(yǔ)或是其他媒介，取決于語(yǔ)境層中的情景語(yǔ)境（語(yǔ)域）。

以上分析表明，語(yǔ)言符號(hào)的意義實(shí)現(xiàn)層次可以用于描寫(xiě)和解釋其他模態(tài)符號(hào)的意義生成機(jī)制。多模態(tài)符號(hào)系統(tǒng)也可以劃分為語(yǔ)境層、內(nèi)容層和表達(dá)層。并且各個(gè)層次之間也是逐級(jí)實(shí)現(xiàn)的關(guān)系。

功能層次觀(guān)體現(xiàn)了語(yǔ)言的內(nèi)在本質(zhì)是多模態(tài)的。同時(shí)也解釋了語(yǔ)言以外的其他符號(hào)系統(tǒng)的多模態(tài)特征。一種符號(hào)不能夠充分地展現(xiàn)交際全貌。在多模態(tài)時(shí)代，語(yǔ)言不再是交際的中心，而是跟其他模態(tài)的符號(hào)“合力”互補(bǔ)、共建交際意義。

五、功能語(yǔ)境觀(guān)和多模態(tài)語(yǔ)篇分析

語(yǔ)境屬于言外層次，可以劃分為文化語(yǔ)境和情景語(yǔ)境兩個(gè)層次。功能語(yǔ)言學(xué)派認(rèn)為任何言語(yǔ)活動(dòng)（語(yǔ)篇）都產(chǎn)生于語(yǔ)境之中。［9］（P6）換言之，語(yǔ)篇受制于語(yǔ)境。

首先，語(yǔ)篇產(chǎn)生于某種文化語(yǔ)境（context of culture）之中。每個(gè)言語(yǔ)社團(tuán)都有自己的歷史、文化、思維模式、道德觀(guān)念、價(jià)值觀(guān)念等。這些反映特定言語(yǔ)社團(tuán)特點(diǎn)的方式和因素構(gòu)成了語(yǔ)篇的文化語(yǔ)境。在特定文化語(yǔ)境中，人們可以在特定的時(shí)間、場(chǎng)所，就特定的話(huà)題，依據(jù)交際雙方的關(guān)系，即情景語(yǔ)境中通過(guò)進(jìn)一步的意義選擇生成語(yǔ)篇。情景語(yǔ)境是語(yǔ)篇的直接語(yǔ)境。情景語(yǔ)境由語(yǔ)場(chǎng)（field）、語(yǔ)旨（tenor）和語(yǔ)式（mode）三個(gè)變量構(gòu)成。語(yǔ)場(chǎng)指交際的環(huán)境，包括談?wù)摰脑?huà)題等整個(gè)交際活動(dòng)。語(yǔ)旨指說(shuō)話(huà)人的交際目的，以及說(shuō)話(huà)人與話(huà)題參與者之間的社會(huì)關(guān)系。語(yǔ)式指話(huà)語(yǔ)活動(dòng)所選擇的交際媒介或通道，即口頭的或是書(shū)面的。對(duì)于語(yǔ)言符號(hào)而言，口頭的話(huà)語(yǔ)方式包含了聲音、節(jié)奏、語(yǔ)氣、語(yǔ)調(diào)以及伴隨的身體語(yǔ)言等等，書(shū)面語(yǔ)言則包含了字體、段落的縮進(jìn)、版式等。

在具體的語(yǔ)篇中，文化語(yǔ)境對(duì)應(yīng)語(yǔ)類(lèi)，情景語(yǔ)境對(duì)應(yīng)語(yǔ)域。情景語(yǔ)境的三個(gè)變量則分別對(duì)應(yīng)概念功能、人際功能和語(yǔ)篇功能。韓禮德指出：語(yǔ)域還有開(kāi)放式和封閉式之分，開(kāi)放或封閉的程度制約著語(yǔ)域的預(yù)測(cè)功能。［10］本文認(rèn)為，與傳統(tǒng)的單模態(tài)語(yǔ)篇一樣，多模態(tài)語(yǔ)篇也是人們?cè)谡Z(yǔ)境中做出的意義選擇，是語(yǔ)言使用的實(shí)例。但多模態(tài)語(yǔ)篇的意義資源更加豐富，表意形式更加復(fù)雜，由視覺(jué)、聽(tīng)覺(jué)、嗅覺(jué)、觸覺(jué)和味覺(jué)等多種渠道呈現(xiàn)。語(yǔ)篇的開(kāi)放程度更高。因此，可以根據(jù)語(yǔ)類(lèi)和語(yǔ)域來(lái)預(yù)測(cè)語(yǔ)篇的概念意義、人際意義和語(yǔ)篇意義。反之，也可以根據(jù)語(yǔ)篇中各種模態(tài)符號(hào)的配置、分工來(lái)預(yù)測(cè)可能產(chǎn)生這個(gè)語(yǔ)篇的語(yǔ)境。

總的來(lái)說(shuō)，我們可以從兩個(gè)視角分析多模態(tài)語(yǔ)篇?？梢詮恼Z(yǔ)境出發(fā)，描寫(xiě)和分析在同一情景語(yǔ)境下三個(gè)變量中各種模態(tài)的符號(hào)系統(tǒng)之間的關(guān)系和單個(gè)的符號(hào)系統(tǒng)內(nèi)部各成分之間的關(guān)系，以及它們?nèi)绾巍昂狭Α惫步ㄕZ(yǔ)篇的整體意義。同時(shí)，也可以從語(yǔ)場(chǎng)、語(yǔ)旨和語(yǔ)式入手，反向預(yù)測(cè)語(yǔ)篇的語(yǔ)境。

六、結(jié)語(yǔ)

交際本身是由多種模態(tài)共同實(shí)現(xiàn)的。多模態(tài)語(yǔ)篇分析關(guān)注的是各種模態(tài)如何在交際中“合力”互補(bǔ)、共建意義。本文以功能語(yǔ)言學(xué)的語(yǔ)言觀(guān)、層次觀(guān)和語(yǔ)境觀(guān)為視角，探討了多模態(tài)語(yǔ)篇的特征、多模態(tài)語(yǔ)篇意義的實(shí)現(xiàn)機(jī)制以及多模態(tài)語(yǔ)篇分析的途經(jīng)。在同一語(yǔ)境下，語(yǔ)言符號(hào)與其它模態(tài)的符號(hào)系統(tǒng)之間的意義關(guān)系，以及這些多模態(tài)的實(shí)際話(huà)語(yǔ)成分如何形成意義組合共同表達(dá)交際意圖，有待以具體的語(yǔ)篇為實(shí)例，做進(jìn)一步的研究。

［1］姜望琪.Harris的語(yǔ)篇分析［J］.外語(yǔ)教學(xué)，2011，（7）.

［2］朱永生.多模態(tài)話(huà)語(yǔ)分析的理論基礎(chǔ)和研究方法［J］.外語(yǔ)學(xué)刊，2007，（5）.

［3］胡壯麟，等.系統(tǒng)功能語(yǔ)言學(xué)概論［M］.北京：北京大學(xué)出版社，2008.

［4］O’Toole，M.The Language of Displayed Art［M］.London：Leicester University Press.1994.

［5］Kress，G.＆T.van Leeuwen.Reading Images：The Grammar of Visual Design［M］.London：Routledge.1996.

［6］Martinec，R.Cohesion in Action［J］.Semiotica，1998.

［7］Van Leeuwen T.Speech，Music，Sound［M］.London：Macmillan，1999.

［8］Matthiessen，C.The Multimodal Page：A Systemic Functional Exploration［A］.in T.Royce and W.Bowcher（eds）.New Directions in the Analysis of Multimodal Discourse［C］.New Jersey and London Lawrence Erlbaum Associates.2007.

［9］朱永生，嚴(yán)世清.系統(tǒng)功能語(yǔ)言學(xué)多維思考［M］.上海：上海外語(yǔ)教育出版社，2001.

［10］常晨光，陳瑜敏.系統(tǒng)功能語(yǔ)言學(xué)語(yǔ)域研究［J］.北京科技大學(xué)學(xué)報(bào)，2011，（9）.