楊 穎

對外傳播與多模態(tài)話語研究

楊 穎

現(xiàn)代科技的日新月異和人類傳播方式的推陳出新使多模態(tài)話語研究成為當(dāng)下跨學(xué)科研究的一個熱門課題。以多模態(tài)話語分析理論為代表的多模態(tài)話語研究不僅是語篇分析理論，而且是語言學(xué)研究順應(yīng)時代潮流的重要發(fā)展，更為包括對外傳播在內(nèi)的人類傳播實踐提供了理論支持。文章結(jié)合多模態(tài)話語研究的理論視角和相關(guān)成果，從對外傳播的多模態(tài)屬性、對外傳播的多模態(tài)話語能力以及對外傳播的多模態(tài)話語實踐三方面論證了以多模態(tài)話語研究的視角觀照對外傳播的必要性和可行性。

多模態(tài)；對外傳播；話語研究

DOI 10.16602/j.gmj.20160029

一、 多模態(tài)研究的興起

隨著現(xiàn)代科學(xué)技術(shù)，尤其是媒介技術(shù)的飛速發(fā)展，信息傳播和人類交流的方式發(fā)生了巨大改變。20世紀(jì)90年代，“多模態(tài)”(multimodality)成為西方語言學(xué)者和符號研究者廣泛討論的術(shù)語。社會符號學(xué)研究者們認(rèn)識到，新媒介環(huán)境下的傳播促進了文本、聲音、視頻以及圖像在表意時的融合。“專注于文字表意的研究已遠遠不夠，意義在其他的表意系統(tǒng)，如視覺、聽覺、行為以及其他編碼中強烈并廣泛地存在著”(Hodge & Kress, 1988，p.vii)?！岸嗄B(tài)”一詞的提出，就是為了強調(diào)語言之外其他符號的重要性(Iedema, 2003)。

所謂“多模態(tài)”，即“傳播行為和事件中不同符號模態(tài)的組合，例如，語言和聲音的結(jié)合”(Van Leeuwen, 2005，p.281)；“多模態(tài)研究的是一些獨立的符號系統(tǒng)在構(gòu)建整體語篇意義中是如何通過不同的方式共同編碼、共同形成語篇意義的”(Baldry & Thibault, 2006，p.21)。Kress和Ogborn指出，多模態(tài)研究的意義在于,它明確指出對于言語和書寫之外的其他再現(xiàn)模態(tài)的研究興趣是必然的而不是偶然的，它是現(xiàn)實傳播形式的中心，而不只是作為語言研究的補充。多模態(tài)研究假設(shè)的基礎(chǔ)即：所有的實踐往往都是多模態(tài)的，因此需要我們發(fā)展一種以這一現(xiàn)實為中心的理論以及用以分析涵蓋各種模態(tài)的表達形式的方法。如果說最初“多模態(tài)”的提出是出于偶然的對其他符號模態(tài)的研究興趣，那么如今它已成為一種把所有文本都看作是多模態(tài)，并以多模態(tài)對其進行解釋的一種范式(轉(zhuǎn)引自Iedema，2003，p.39)。多模態(tài)話語分析的出現(xiàn)就是這一范式轉(zhuǎn)變的集中表現(xiàn)。

二、 多模態(tài)話語分析及其研究概述

在對“多模態(tài)”的廣泛認(rèn)識和深入討論中，西方開始興起對含有兩種或兩種以上模態(tài)話語進行語篇分析。2000年，多模態(tài)話語分析(Multimodal Discourse Analysis，MDA)作為一個術(shù)語首次出現(xiàn)在Van Leeuwen和Jewitt(2001)編著的HandbookofVisualAnalysis(《視覺分析手冊》)中。這是在話語分析基礎(chǔ)上產(chǎn)生的一個前沿學(xué)術(shù)研究領(lǐng)域，它將對語言的研究擴展到對語言及其他符號資源，如圖像、手勢、行為、音樂和聲音等的綜合研究上。

在韓禮德(M.A.K.Halliday)語言研究的社會符號學(xué)方法(Halliday, 1978; Halliday & Hasan，1985)的基礎(chǔ)上，O’Toole(1994)以及Kress和Van Leeuwen(1996; 2006)于20世紀(jì)八九十年代開始把文字、聲音和圖片的意義潛勢作為一系列相互聯(lián)系的系統(tǒng)和結(jié)構(gòu)進行研究，這些為多模態(tài)研究奠定了基礎(chǔ)。O’Toole的TheLanguageofDisplayedArt(《展示藝術(shù)的語言》)以及Kress和Van Leeuwen的ReadingImages(《閱讀圖像》)這兩本書成為該領(lǐng)域建立的標(biāo)志性作品。他們承襲了Halliday對文本與情境、實例與潛勢的研究，不同的是，O’Toole提出了一種(自下而上的)語法分析路徑(grammatical approach)，將Halliday的系統(tǒng)功能模式運用到對展示藝術(shù)、繪畫、雕塑和建筑的符號分析中；而Kress和Van Leeuwen則把研究重點放在圖像和視覺設(shè)計，采用一種特定意識導(dǎo)向的(自上而下的)語境分析法(contextual approach)總結(jié)出視覺設(shè)計的一般原則。這兩種分析方法在之后的研究中得到進一步發(fā)展，并應(yīng)用到一些新的領(lǐng)域,如語音、聲音和音樂研究(Van Leeuwen,1999),科學(xué)文本研究(Lemke,1998),超媒體研究(Lemke,2002)，行為和肢體語言研究(Martinec，2000)，教學(xué)研究(Jewitt,2006)和文化素養(yǎng)研究(Kress,2003)等。21世紀(jì)第一個十年的中后期，多模態(tài)研究進一步發(fā)展。Ron Scollon、Suzanne Wong Sollon和Sigrid Norris從中介話語分析出發(fā)，以社會互動語言學(xué)和跨文化傳播研究為基礎(chǔ)，開展了多模態(tài)互動分析(Scollon, 2001; Norris, 2004; Scollon & Scollon, 2004; Norris & Jones, 2005)；Charles Forceville則以認(rèn)知語言學(xué)(Lakoff & Johnson, 1980)為基礎(chǔ)，對多模態(tài)隱喻進行認(rèn)知研究(Forceville & Urios-Aparisi, 2009)。此外，基于社會符號學(xué)和其他批判傳統(tǒng)的批判性話語研究路徑也得到發(fā)展(Machin, 2007; Van Leeuwen, 2008)。許多不同的理論概念和框架在多模態(tài)研究領(lǐng)域不斷涌現(xiàn),但多數(shù)都與上述范例相關(guān)。

我國多模態(tài)話語分析始于21世紀(jì)初①。相較于多模態(tài)話語研究在國外的如火如荼，國內(nèi)當(dāng)前多模態(tài)話語研究雖然起步較晚，但也后勁頗足。論文方面，李戰(zhàn)子2003年于《外語教學(xué)》第5期發(fā)表的《多模式話語的社會符號學(xué)分析》一文，可謂國內(nèi)第一篇探討多模態(tài)話語分析的論文，開創(chuàng)了我國多模態(tài)話語研究的先河。該文首次向國內(nèi)學(xué)界介紹了Kress和Leeuwen提出的多模態(tài)話語的社會符號學(xué)分析方法(李戰(zhàn)子，2003)。此后，我國語言學(xué)者胡壯麟(2007)、朱永生(2007)、辛志英(2008)、張德祿(2009)、楊信彰(2009)、韋琴紅(2009a)等也對多模態(tài)化、意義的多模態(tài)構(gòu)建以及多模態(tài)話語的理論基礎(chǔ)和研究方法等進行了代表性研究。21世紀(jì)第二個十年，多模態(tài)話語分析研究更是在國內(nèi)風(fēng)生水起，呈現(xiàn)快速發(fā)展的趨勢。概括而言，該領(lǐng)域的研究文章目前大致可分為以下六類：(1)多模態(tài)話語分析理論研究，此類文章注重對國外多模態(tài)話語研究的引介和反思，也嘗試對多模態(tài)研究做出的一些理論和方法上的探索創(chuàng)新；(2)運用西方多模態(tài)話語分析的方法對不同文本類型進行分析，即多模態(tài)話語分析方法的運用型文章。此類文章基本出現(xiàn)于2010年之后，且占據(jù)了半壁江山；(3)多模態(tài)話語分析對語言教學(xué)的意義和作用；(4)多模態(tài)話語分析與多元識讀能力的培養(yǎng)；(5)對多模態(tài)研究現(xiàn)狀的綜述類文章；(6)書評類文章，包括對一些國外多模態(tài)研究的書評以及國內(nèi)該領(lǐng)域的學(xué)界動態(tài)介紹等。這些書評對我們了解西方該領(lǐng)域的最新研究成果起到了一定的補充作用。著書方面，盡管當(dāng)前多模態(tài)話語分析已被納入許多語言學(xué)教材中(如2013年出版、由杜金榜主編的 《語篇分析教程》一書)，但國內(nèi)以多模態(tài)話語研究為主題的專著相較而言還十分有限。韋琴紅的專著《視覺環(huán)境下的多模態(tài)化與多模態(tài)話語研究》②(韋琴紅，2009b)算是國內(nèi)最早出版的以多模態(tài)話語研究為主題的專著;而新近出版的《多模態(tài)敘事語篇研究》③一書(劉曉琳，2015)則是將多模態(tài)話語分析引入敘事語篇研究的研究成果。此外，《多模態(tài)話語分析理論與外語教學(xué)》(張德祿，2015)一書則對多模態(tài)話語研究作了較為全面而詳細的介紹?？傮w而言，我國目前對多模態(tài)話語的理論研究還處于起步階段，我們更多是將國外的多模態(tài)話語分析方法作為一種文本分析工具，廣泛運用于分析各種文本類型，如海報、廣告文本、新聞作品(多為平面新聞)、影視作品、漫畫、徽標(biāo)、網(wǎng)頁語篇、醫(yī)學(xué)語篇、建筑學(xué)術(shù)語篇等。

應(yīng)該說，對多模態(tài)話語研究而言，多模態(tài)話語分析既是一種理論研究框架，也是一種話語分析方法。結(jié)合該領(lǐng)域的研究成果，從多模態(tài)話語研究的視角對具體傳播行為進行觀照，探討具體傳播實踐中多模態(tài)話語的生產(chǎn)、信息傳遞和情感交流等將具有重要的理論和現(xiàn)實意義。

三、 多模態(tài)話語研究視角下的對外傳播

作為一種有著明確傳播主體和目標(biāo)的傳播行為，對外傳播在當(dāng)前媒介環(huán)境和社會傳播語境中,離不開多模態(tài)話語的積極卷入和重要參與。但從現(xiàn)有研究成果來看，除了將我國對外傳播的一些文化產(chǎn)品，如電影海報、國家形象宣傳片、文化紀(jì)錄片等作為多模態(tài)話語分析的文本進行個案分析外，直接從多模態(tài)話語研究的視角對對外傳播進行宏觀把控的研究還比較缺乏。本文認(rèn)為，結(jié)合多模態(tài)話語研究對對外傳播進行觀照，不該只是停留在對個別文本的話語分析層面，而應(yīng)該以多模態(tài)的思維方式和解釋方法對其進行全面研究。

具體而言，從多模態(tài)話語研究的視角考量對外傳播這一具體的傳播實踐行為，本文認(rèn)為主要可從以下三個方面進行： (1)對外傳播的多模態(tài)屬性；(2)對外傳播的多模態(tài)話語能力；(3)對外傳播的多模態(tài)話語實踐。

(一) 對外傳播的多模態(tài)屬性

從概念界定上說，模態(tài)是指信息接收者所感知的話語模式，既是媒體表達信息的結(jié)果，也是人們通過感官感知的交際結(jié)果。模態(tài)的劃分主要有兩種標(biāo)準(zhǔn)：感知通道和符號系統(tǒng)。根據(jù)人類的感知通道，模態(tài)主要包括視覺、聽覺、嗅覺、味覺、觸覺五種模態(tài)；根據(jù)話語所涉及的符號系統(tǒng)，模態(tài)主要包括語言(文字)、言語(聲音)、副語言、圖像、肢體動作和音樂等(杜金榜，2013，p.227)。無論從感知通道的標(biāo)準(zhǔn)還是以符號系統(tǒng)的標(biāo)準(zhǔn)進行劃分，對外傳播都具有與生俱來的多模態(tài)屬性。

對外傳播是一個國家向外傳遞信息、樹立形象、擴大交流、增強互動的傳播活動。它以外國政府、組織和公眾為目標(biāo)受眾，目的在于影響目標(biāo)受眾對傳播國的印象和態(tài)度，引導(dǎo)其建立對傳播國的積極認(rèn)知和友善態(tài)度，形成有利于傳播國發(fā)展的國際環(huán)境，為傳播國的國家利益服務(wù)。狹義的對外傳播特指傳播國面向?qū)ο髧M行的有目的的新聞報道活動，而廣義的對外傳播則涵蓋了傳播國跨國交流中的各種經(jīng)濟、商務(wù)、文化、政治、教育等活動以及存在于旅游、移民等跨國行為中的人際交流活動(郭可，2003，pp.1-2)。然而，對外傳播中，傳播國和對象國之間存在的語言不通、文字各異等交流障礙是一道天然屏障，成為制約對外傳播效果的直接因素，也是對外傳播活動中需要重點克服的問題。因此，對外傳播與生俱來的跨國界、跨語言等特性使傳播國需要采取翻譯、多語種傳播等策略以確保達到“傳播出去”的目的。為了建造“通天的巴別塔”，人類付出了語言不通的代價，但這并不意味著人類同時失去了使用非語言符號進行交流的能力。事實上，人類在使用各自語言的同時，也利用肢體、五官以及其他外部符號進行各式各樣的交流活動。盡管語言有時無法溝通，但一個表情、一聲嘆息、一個動作往往能夠傳遞出語言所要表達的信息；盡管文字無法交流，但有時一幅圖畫、一張照片、一件物品卻能傳達出比文字更加豐富的意義。因此，對于面臨語言文字障礙的對外傳播而言，運用包括語言在內(nèi)的多種模態(tài)進行話語傳播是一種不可或缺的重要方式。多模態(tài)話語交流的方式對于有著“跨國界”“跨文化”和“跨語言”特性的對外傳播而言，無異于一道福音，被廣泛運用于其中。因此，從對外傳播的傳播過程、傳播層級和傳播特性來看，對外傳播都有著無法抹去的多模態(tài)屬性。無論是對外新聞報道，還是對外文化交流活動，甚至是跨國人際交流行為，都不可避免地帶有多模態(tài)的影子。因此，從多模態(tài)話語研究的視角觀照對外傳播，很重要的一點就是在對外傳播中培養(yǎng)多模態(tài)意識，從而充分調(diào)用人類的感知通道和信息表達的符號來進行有效的對外傳播。

(二) 對外傳播的多模態(tài)話語能力

現(xiàn)代科技的發(fā)展是多模態(tài)話語發(fā)展及其研究的外部條件和物質(zhì)基礎(chǔ)。盡管從本質(zhì)上看，人類傳播自口語時代起就具備了原始的多模態(tài)特性，但與電子媒介時代話語呈現(xiàn)的多模態(tài)化相比，兩者不可同日而語。電子媒介，尤其是網(wǎng)絡(luò)媒體的到來，不僅成為人類媒介發(fā)展史上的重要一筆，而且使人類話語世界發(fā)生了質(zhì)的改變。隨著新媒介技術(shù)的發(fā)展和普及，大眾傳播由文字(語言符號)占絕對統(tǒng)治地位的話語世界已毫無掩飾地呈現(xiàn)出了多模態(tài)特性。如果說以前人類傳播中非語言模態(tài)的使用是自發(fā)、偶然的，那么，如今人類傳播中由文字、圖像、聲音等各種模態(tài)綜合而成，借助屏幕、鍵盤訴諸人類視覺、聽覺等多種感官的多模態(tài)表意系統(tǒng)相較而言則是自覺、綜合、與科技發(fā)展密切相關(guān)的。信息技術(shù)的飛速發(fā)展使傳統(tǒng)文本走向了多模態(tài)化，同時，互聯(lián)網(wǎng)成為當(dāng)今世界最重要的信息載體，計算機界面和網(wǎng)絡(luò)文本的多模態(tài)性更使多模態(tài)話語充斥人類傳播的各種活動。

作為總是與時代高新技術(shù)的應(yīng)用緊密相連的對外傳播，必然受到當(dāng)下社會環(huán)境和技術(shù)發(fā)展的影響。因此，嫻熟地運用多模態(tài)話語進行對外傳播，即在對外傳播中生產(chǎn)出高質(zhì)量的多模態(tài)話語，應(yīng)該成為新媒體時代對外傳播的一種重要能力。訴諸人類多種感官的多模態(tài)話語為跨國、跨語言和跨文化的交流行為提供了更廣泛的意義共享空間，為來自不同國度、使用不同語言、擁有不同文化背景的人們提供了更豐富的互動符號和交流工具。如果說，語言的障礙為我國對外傳播設(shè)置了一道屏障，那么，超越語言之上的多模態(tài)話語則為我們開啟了另一扇溝通之門。本文認(rèn)為，對外傳播中的多模態(tài)話語能力可籠統(tǒng)地分為兩個層面，一是利用多模態(tài)進行直接表意的話語能力；二是利用多模態(tài)進行間接表意的話語能力。兩者相輔相成，沒有高低之分，亦不是非此即彼的關(guān)系，而應(yīng)當(dāng)根據(jù)對外傳播的受眾、目標(biāo)和戰(zhàn)略不同，開展不同的訴求和實踐。例如，在對外傳播的經(jīng)濟和商務(wù)活動中，為了確保盡快與傳播對象在最大范圍內(nèi)達成共識，傳者在多模態(tài)話語的選擇和使用方面，應(yīng)當(dāng)更多地做到簡單明了、充分表達(簡單常見的例子如國際展會中的指示標(biāo)識或視頻等)；而在一些政治活動的對外傳播中，出于意識形態(tài)和其他政治因素的考量，傳者對多模態(tài)話語的選擇和使用則當(dāng)以巧妙含蓄、嚴(yán)密周全而又不失得體為宜(典型特殊的例子如含有隱喻的政治漫畫等)。因此，研究并發(fā)展對外傳播的多模態(tài)話語能力要求我們結(jié)合具體的傳播語境和文本體裁，揣摩不同模態(tài)的特點和作用，在具體話語實踐中分清主模態(tài)和輔助模態(tài)、自動模態(tài)和有意識選擇模態(tài)，以此有的放矢地開展積極的對外傳播活動。畢竟，對于這樣一種跨國、跨語言、跨文化的傳播行為而言，充分調(diào)動包括語言和非語言符號在內(nèi)的各種模態(tài)來傳遞信息、傳輸觀念、傳播文化是可以做到事半功倍的。但是，如果我們在對外傳播中不能恰到好處地利用這種話語形式，則有可能事倍功半，無功而返，甚至弄巧成拙，欲益反損。

(三) 對外傳播的多模態(tài)話語實踐

從多模態(tài)話語研究的視角研究對外傳播的多模態(tài)話語能力，目的在于更好地指導(dǎo)對外傳播行為中的多模態(tài)話語實踐。多模態(tài)話語分析為我們研究整體話語之中不同模態(tài)之間是如何互動從而生產(chǎn)意義，即多模態(tài)話語意義生產(chǎn)的機制和規(guī)律提供了根據(jù)。將相關(guān)研究成果運用于對外傳播的實踐中，有利于我們更科學(xué)、更精準(zhǔn)地使用不同模態(tài)組織話語，從而盡可能實現(xiàn)理想的話語傳播效果。例如，多模態(tài)話語分析研究中提出的視覺語法(visual grammar)便對我國對外傳播中多模態(tài)話語的生成提供了很大啟發(fā)。

視覺語法以社會符號學(xué)為基礎(chǔ)，將系統(tǒng)功能語法的概念創(chuàng)造性地運用于視覺分析，為多模態(tài)研究提供了形而上的理論支持和形而下的分析工具。根據(jù)系統(tǒng)功能語言學(xué)的研究，語言以外的其他符號系統(tǒng)(圖像、音樂與顏色等)也是意義的源泉，同樣具有概念功能、人際功能和語篇功能。Kress和van Leeuwen以此三大元功能為基礎(chǔ)，將韓禮德的功能語法延伸到圖像分析，提出了視覺語法理論。該理論指出，視覺圖像和語言一樣，在意義構(gòu)建中也同樣具有三大元功能，即再現(xiàn)、互動、構(gòu)圖功能，由此產(chǎn)生出與之相對應(yīng)的三種不同的意義潛勢。再現(xiàn)意義對應(yīng)概念功能，主要研究不同符號系統(tǒng)之間或同一符號系統(tǒng)之內(nèi)各個成分、各個部分之間的關(guān)系；互動意義對應(yīng)人際功能，主要研究視覺模態(tài)的創(chuàng)作者與圖像觀看者、圖像表征參與者之間的關(guān)系；構(gòu)圖意義對應(yīng)語篇功能，主要研究不同符號系統(tǒng)或同一符號系統(tǒng)內(nèi)部不同組成成分之間的布局和結(jié)構(gòu)。該理論一經(jīng)提出，就被廣泛運用于各種多模態(tài)文本的分析和評價，也是我國學(xué)界目前使用最多的多模態(tài)話語分析路徑。該研究中的許多發(fā)現(xiàn)，如：根據(jù)圖像表征參與者與圖像觀看者接觸方式的不同，把圖像分為“索取”類圖像、“提供”類圖像；從水平方向和垂直方向區(qū)分五種畫面視角，指出正面視角賦予觀看者身臨其境的感覺，傾斜視角賦予觀看者一種作為旁觀者漫不經(jīng)心的感覺，俯視則表明觀看者的權(quán)勢，平視表明觀看者和參與者之間的平等關(guān)系，仰視則表明參與者強勢的地位；依據(jù)圖像元素在構(gòu)圖中的不同位置判斷其信息值，如，左側(cè)的信息是已知的，右側(cè)的信息是新的，上方的信息是理想的，下方的信息是真實的，中心與前景的信息重要，邊緣的信息次要等。可以說，視覺語法的提出為我們了解英語受眾的多模態(tài)話語(尤其是圖像)識讀方式和規(guī)律提供了扎實的依據(jù)和很大的啟發(fā)。當(dāng)我們以英語受眾作為對象進行對外傳播時，當(dāng)我們在制作面向英語國家傳播的多模態(tài)文本時，就更能夠根據(jù)受眾的認(rèn)知和行為習(xí)慣及思維定式進行更加到位的對外話語傳播。當(dāng)然，非西方國家的民族和人民，甚至西方國家中的不同民族和人民，對多模態(tài)話語的識讀方式和接受規(guī)律都不相同，需要我們以“外外有別”的思路，分別進行專門的研究與深入的探索。

此外，基于多模態(tài)話語分析進一步深入而發(fā)展的多模態(tài)敘事話語、多模態(tài)隱喻、多模態(tài)論辯話語(van den Hoven & Yang，2013)等相關(guān)研究，也為對外傳播中如何根據(jù)語境的不同選擇適宜的多模態(tài)文本體裁及話語策略進行表達提供了參考。

四、 結(jié)論

對外傳播的話語文本是一個國家向外傳遞信息、構(gòu)建形象的重要載體，是國際受眾對該國產(chǎn)生認(rèn)知、建立情感、激發(fā)行為的重要介質(zhì)，因此，如何根據(jù)受眾對象設(shè)計并生產(chǎn)符合受眾接觸行為和心理的話語，應(yīng)該成為對外傳播的重中之重。當(dāng)下新媒體時代，電子媒介，特別是網(wǎng)絡(luò)媒介所滋生的多模態(tài)話語不僅為人類傳播方式帶來了根本變化，也在很大程度上影響了整個社會話語意義的生產(chǎn)和表達。在此影響下，若要嫻熟、自如地運用這一話語形態(tài)為對外傳播服務(wù)，從理論層面上理清它的來龍去脈，弄清它的表意機制和特點就顯得十分必要和重要。多模態(tài)話語分析是從獨立的語言研究向?qū)φZ言和其他符號資源進行整合研究的范式轉(zhuǎn)向，是話語分析家們出于廣泛解讀人類話語實踐的目的，意在對存在于各種媒介(包括如今的互動數(shù)字技術(shù))中的多種符號資源所承載的意義進行解釋的一種探索。它的深入探究及進一步的多模態(tài)話語研究有利于推動我國對外傳播的話語和符號研究。對外傳播從本質(zhì)而言是多模態(tài)的，提高對外傳播的多模態(tài)話語能力是當(dāng)下對外傳播順利開展的前提和保障。因此，用多模態(tài)話語研究的思維和視角審視對外傳播及其實踐，亦將更科學(xué)地為對外傳播的話語策略提供指導(dǎo)性的意見。

本文系中國外文局對外傳播研究中心專項委托課題“新媒介時代講好中國故事之話語策略研究”的階段性研究成果。

注釋

① 由于多模態(tài)話語一詞源于西文multimodal discourse, 故早期國內(nèi)學(xué)界對該領(lǐng)域進行的研究中，亦有人用“多模式話語”“多模式語篇”“多模態(tài)語篇”的表述。

② 該書以英文寫作,英文書名為Studies on Multimodality and Multimodal Discourse in Visual Surroundings.

③ 該書以英文寫作,英文書名為The study on the multimodal narrative discourse analysis.

杜金榜(2013):《語篇分析教程》， 武漢：武漢大學(xué)出版社。

郭可(2003)：《當(dāng)代對外傳播》， 上海：復(fù)旦大學(xué)出版社。

胡壯麟(2007)：符號學(xué)研究中的多模態(tài)化，《語言教學(xué)與研究》，第1期，1-10頁。

李戰(zhàn)子(2003)：多模式話語的社會符號學(xué)分析，《外語教學(xué)》，第5期，1-8 頁。

劉曉琳(2015)：《多模態(tài)敘事語篇研究》， 哈爾濱：哈爾濱工程大學(xué)出版社。

韋琴紅(2009a)：論多模態(tài)話語中的模態(tài)、媒介與情態(tài)，《外語教學(xué)》，第30卷(第4期)，54-57頁。

韋琴紅(2009b)：《視覺環(huán)境下的多模態(tài)化與多模態(tài)話語研究》， 北京：科學(xué)出版社。

辛志英(2008):話語分析的新發(fā)展——多模態(tài)話語分析, 《社會科學(xué)輯刊》，第5期，208-211頁。

楊信彰(2009)：多模態(tài)語篇分析與系統(tǒng)功能語言學(xué)，《外語教學(xué)》,第30卷(第4期)，11-14頁。

張德祿(2009)：多模態(tài)話語分析綜合理論框架探索，《中國外語》，第6卷(第1期)，24-30頁。

張德祿(2015)：《多模態(tài)話語分析理論與外語教學(xué)》， 北京：高等教育出版社。

朱永生(2007)：多模態(tài)話語分析的理論基礎(chǔ)與研究方法，《外語學(xué)刊》，第5期，82-86頁。

Baldry, A. & Thibault, P. J. (2006).Multimodaltranscriptionandtextanalysis. London: Equinox.

Forceville, C. J. & Urios-Aparisi, E. (2009).Multimodalmetaphor. The Hague: Mouton De Gruyter.

Halliday, M. A. K. (1978).Languageassocialsemiotic:Thesocialinterpretationoflanguageandmeaning. London: Edward Arnold.

Halliday, M. A. K. & Hasan, R. (1985).Language,context,andtext:Aspectsoflanguageinasocial-semioticperspective. Victoria: Daekin University.

Hodge, B. & Kress, G. (1988).Socialsemiotics. Cambridge: Polity.

Iedema, R. (2003). Multimodality, resemiotization: extending the analysis of discourse as multi-semiotic practice.VisualCommunication, 2(1), 29-57. doi:10.1177/1470357203002001751.

Jewitt, C. (2006).Technology,literacy,learning:Amultimodalapproach. London: Routledge.

Kress, G. (2003).Literacyinthenewmediaage. London: Routledge.

Kress, G. & Van Leeuwen, T. (1996).Readingimages:Thegrammarofvisualdesign. London: Routledge.

Kress, G. & Van Leeuwen, T. (2006).Readingimages:Thegrammarofvisualdesign(2nd ed.). London: Routledge.

Lakoff, G. & Johnson, M. (1980).Metaphorsweliveby. Chicago and London: The University of Chicago Press.

Lemke, J. L. (1998). Multiplying meaning: Visual and verbal semiotics in scientific text. In Martin, J. R., & Veel, R. (Eds.),Readingscience:Criticalandfunctionalperspectivesondiscoursesofscience(pp.87-113). London: Routledge.

Lemke, J. L. (2002). Travels in hypermodality.VisualCommunication, 1(3), 299-325. doi: 10.1177/147035720200100303.

Machin, D. (2007).Introductiontomultimodalanalysis. London and New York: Hodder Arnold.

Martinec, R. (2000). Types of process in action.Semiotica, 130(3-4), 243-268. doi: 10.1515/semi.2000.130.3-4.243.

Norris, S. (2004).Analyzingmultimodalinteraction:Amethodologicalframework. London: Routledge.

Norris, S. & Jones, R. H. (2005).Discourseinaction:Introducingmediateddiscourseanalysis. London: Routledge.

O’Toole, M. (1994).Thelanguageofdisplayedart. London: Leicester University Press.

Scollon, R. (2001).Mediateddiscourse:Thenexusofpractice. London and New York: Routledge.

Scollon, R. & Scollon, S. W. (2004).Nexusanalysis:Discourseandtheemerginginternet. London: Routledge.

Van den Hoven, P. & Yang, Y. (2013). The argumentative reconstruction of multimodal discourse: Taking the ABC coverage of President Hu Jintao’s visit to the USA as an example.Argumentation, 27(4), 403-424. doi: 10.1007/s10503-013-9293-z.

Van Leeuwen, T. (1999).Speech,music,sound. London: Macmillan.

Van Leeuwen, T. (2005).Introducingsocialsemiotics. London: Routledge.

Van Leeuwen, T. (2008).Discourseandpractice:Newtoolsforcriticaldiscourseanalysis. Oxford: Oxford University Press.

Van Leeuwen, T. & Jewitt, C. (Eds.) (2001).Handbookofvisualanalysis. London: Sage.

(編輯：郭鎮(zhèn)之)

International Communication from the Perspective of Multimodal Discourse Study

Ying Yang

(SchoolofJournalismandCommunication,TsinghuaUniversity)

Multimodal discourse study has become a hot topic in current interdisciplinary research with the rapid development of modern technology and the way human beings communicate with each other. Represented by multimodal discourse analysis, multimodal discourse study is not only a theory on text analysis, but the important development of linguistic research keeping pace with the times. Furthermore, it also provides theoretical support for human communication practices including international communication. Based on the theoretical perspective of multimodal discourse study and its research achievement, the paper argues the necessity and feasibility of observing international communication from the perspective of multimodal discourse study in terms of the multimodal character of international communication, multimodal discourse competence in international communication and multimodal discourse practice in international communication.

multimodality； international communication； discourse study

楊穎：清華大學(xué)新聞與傳播學(xué)院博士后。