代樹蘭

(江蘇理工學院，常州213001)

1 引言

我們生活在一個多模態(tài)的社會，意義的構(gòu)建越來越依賴各種符號資源的整合。話語的多模態(tài)性已成為當今世界人們交際中使用的各種語篇的一個重要特征。近年來，隨著話語分析的發(fā)展，針對話語的研究不斷深入，其研究對象除傳統(tǒng)的對話語中的主要構(gòu)成要素——語言的研究外，一批學者開始將目光轉(zhuǎn)向包括語言在內(nèi)的所有交際符號，探討交際過程中各種符號在話語中的作用及其之間的關(guān)系，于是，話語分析開啟了一扇新的窗口——對話語的多種模態(tài)的關(guān)注和研究，多模態(tài)話語分析已成為話語分析的一個重要研究領(lǐng)域。

多模態(tài)(multimodality)是指在口頭或書面交際中，交際符號的多樣性。隨著現(xiàn)代科學技術(shù)，特別是計算機、多媒體和傳媒技術(shù)的發(fā)展和廣泛運用，在人類的交際活動中，多模態(tài)話語特征日漸凸現(xiàn)，圖像、聲音、文字、色彩、空間、動作等多模態(tài)同時出現(xiàn)的話語形態(tài)日漸增多。雖然口頭語言繼續(xù)作為主要的交流方式，然而，公共交流中的大眾傳播媒體和書面語言將越來越多地傾向于圖像模式和視覺文化。讀寫能力已經(jīng)不僅僅是理解語言文字的能力，對圖像、聲音、色彩、空間、動作等多模態(tài)話語的理解已提上日程。“意義通過不同的模態(tài)建構(gòu)，并通過在一個交際過程中共現(xiàn)而得以體現(xiàn)和表達?！?Kress＆van Leeuwen 2001:111)“語言使用，不管是口語還是書面語，總是不可避免地由多種交際模式構(gòu)成”(LeVine＆Scollon 2004:1－2)，因此某種意義上可以說，“所有的話語都是多模態(tài)的”(Kress＆van Leeuwen 1998:186)。隨著人類進入社會符號學的多模態(tài)化的新時代，在今后的研究中，多模態(tài)化的感知、多模態(tài)化的復制和多模態(tài)化的互動將受到特別重視(胡壯麟2007)。

多模態(tài)話語分析是對交際符號的多種模態(tài)、各模態(tài)之間的關(guān)系、它們所構(gòu)成的整體意義、及其特征和功能的分析(代樹州2009)。它關(guān)注社會情境中多種模態(tài)資源的設計、制作和分配(van Leeuwen 2008)，以及各模態(tài)隨著社會實踐的進程而重新組合的過程(Iedema 2003)。多模態(tài)話語分析在其發(fā)展初期的短短二、三十年里，就顯示出很強的生命力，在隨后的發(fā)展過程中，它匯聚社會符號學、傳播學、認知語言學、哲學、話語語言學等領(lǐng)域的諸多研究者，并取得不菲的研究成果，他們試圖從不同側(cè)面、不同領(lǐng)域揭示話語的多模態(tài)特征及其內(nèi)在規(guī)律，促使該領(lǐng)域的研究蓬勃發(fā)展、成果迭出。

雖然人們將多模態(tài)話語提上研究日程只是近二、三十年的事情，然而，對話語的多模態(tài)性質(zhì)的認識和探討卻具有相當長的歷史。本文擬圍繞人們對話語的多模態(tài)性質(zhì)的認識、多模態(tài)話語研究的緣起與發(fā)展、研究過程中取得的成果等進行梳理和研究，并在其基礎上，展望多模態(tài)話語研究的發(fā)展趨勢。

2 多模態(tài)話語的緣起與進展

話語的多模態(tài)性并非一個新現(xiàn)象，事實上，它是我們生活的固有特征，也是人類進化過程的固有特征。在人類發(fā)展之初，人們首先認識的是各種各樣不同形式的事物，人類最初的交流也是口、耳、手、身體、動作、物體等并用的交流模式。原始語言將整個身體作為表達工具，其表達模態(tài)包括手勢、面部表情、注視、發(fā)聲等。在書寫形式出現(xiàn)之前，語言與圖畫、雕刻等符號共存幾百年、甚至幾千年的歷史。無論是遠古時期的巖畫、圖騰，5000年前出現(xiàn)于埃及、美索不達米亞的圖形文字，還是3500年前中國殷王朝的甲骨文以及各種壁畫、雕刻等，都是圖像符號、圖形符號、以及文字符號的融合。即便在后來書寫文字產(chǎn)生、發(fā)展的過程中，也保留了其最初的“書畫同體”的多模態(tài)特征:“頡有四目，仰觀天象。因儷烏龜之跡，遂定書字之形。造化不能藏其秘，故天雨粟;靈怪不能遁其形，故鬼夜哭。是時也，書畫同體而未分，象制肇創(chuàng)而猶略。無以傳其意故有書，無以見其形故有畫，天地圣人之意也”(張彥遠歷代名畫記·敘畫之源流)。清代書畫家沈宗驀也認為，“六書之有形，即畫之源也。且畫之為言畫也，以筆直取萬物之形，灑然脫于腕而落于素，不價扭捏，無事修飾，自然形神具得，意致流動，是謂得畫源”(沈宗驀1996:3215)。

中國古代的詩歌、繪畫、書法等作品，常常是多種模態(tài)并存，詩中有畫，畫中題詩、題詞、題字，講究文字與藝術(shù)的融合;許多藝術(shù)家把自然作為藝術(shù)的對象，在他們的詩、畫、書等作品中，山水、花鳥、樹枝、竹枝成為其表現(xiàn)手段，人、詩、畫、景、言融為一體，讓人從各種模態(tài)的融合中獲得啟示和美感，領(lǐng)會超越于自然和人生之上的妙道，可謂“詩中有畫，畫中有詩”。早期的無聲電影、無線電等也都具有明顯的多模態(tài)特征，現(xiàn)代的電影、電視及各類廣告中，意義的表達更有賴于圖像、聲音、以及各種符號的協(xié)同作用。人們通過對各種器皿、雕塑、壁畫等作品對古代生活、文化、宗教等的推測、探討，對各種藝術(shù)珍品的把玩、欣賞，以及對其所蘊含的歷史、文化、風土人情的領(lǐng)悟，少兒對連環(huán)畫的癡迷，歷代對《清明上河圖》所反映的北宋時期的城市文明、風土人情的賞析和探討等皆是話語的多種模態(tài)的具體體現(xiàn)。

事實上在我國古代，人們就意識到多模態(tài)的重要性。早在先秦時期，《易傳》在言意之間引入“象”的概念，以當代意義上的“符號學”方式，創(chuàng)造性地建立了物理世界與經(jīng)驗世界的聯(lián)系(王瀚東2001)?！坝^象于天”，“觀法于地”，“近取諸身，遠取諸物”，“圣人之情見乎辭”，“圣人立象以盡意”等，不僅對卦象生成的描述指向語言的起源問題，也體現(xiàn)了先哲對話語的多模態(tài)特征的認識和關(guān)注。西晉著名文學家陸機曾提出，“宣物莫大于言，存形莫善于畫?！辈苤舱J為圖像比語言文字更能起到勸誡作用。唐初裴孝源在《貞觀公私畫史》中提出圖像有重要作用。張彥遠也認為圖像在記錄歷史事件、人物容貌、風俗習慣等方面比文字更加有效:“記傳所以敘其事，不能載其容，贊頌有以詠其美，不能備其象，圖畫之制，所以兼之也。”。宋代鄭樵認為僅憑書面語言的記載會使學問淪為虛學，“見書不見圖，聞其聲不見其形;見圖不見書，見其人不聞其語。后之學者，離圖即書，尚辭務說，故人亦難為學，學亦難為功。”又言“辭章雖富，如朝霞晚照，徒焜耀人耳目;義理雖深，如空谷尋聲，糜所底止。二者殊途而同歸，是皆從事于語言之末，而非為實學也。以圖譜之學不傳，則實學盡化為虛文矣?！彼摹锻ㄖ尽冯m無圖像，但在理論上強調(diào)了圖像的重要性。鄭振鐸有言“從自然環(huán)境、歷史人物、歷史事件、歷史現(xiàn)象，到建筑、藝術(shù)、日常用品、衣冠制度，都是非圖不明的。有了圖，可以少說了多少的說明，少了圖便使讀者有茫然之感”(鄭振鐸1988，李彥鋒2010:9－10)。

在西方，早在古羅馬時期，人們就注意到話語的這一特征:“我已從一個不言不語的嬰兒，成長為呀呀學語的孩子了……聽到別人指稱一件東西，或看到別人隨著某種聲音做相應的動作，我便記下來:記住這種東西叫什么，要那件東西時，便發(fā)出相應的聲音。又從別人的動作了解別人的意愿，這是各民族的自然語言:用表情、目光、其他肢體動作和聲音表達內(nèi)心的情感，或為要求、或是拒絕、或是逃避……從此，我開始用互相達意的符號與周圍的人們交流……”(奧古斯汀1963:11－12)。這種原始語言的多模態(tài)特征同樣存在于人的幼年時期(Halliday 1975)。當原始語言進化為語言、幼兒語言轉(zhuǎn)化為成人語言時，語言的多模態(tài)性得以保留和發(fā)展。

語言的聲音特征被古希臘時期斯多葛學派視作語言的3個重要特征之一，古希臘、羅馬時期的演講也非常注重姿態(tài)、手勢、表情等輔助手段。昆提利安(Quintilian)的《演說原理》(Institutes of Oratory)不僅強調(diào)“面貌”、“形象”等符號意義的重要性，他對體態(tài)的描述更是精細到頭、眼、手臂、手指、服飾等(從萊庭等2007:30)。即便在以語言為主導的研究中，人們也注意到話語的多模態(tài)特征，即不同的表達形式時常與不同的意義形式相聯(lián)系:手勢與面部表情變成“身體語言”的一部分，聲音仍然是語言的表達手段，韻律、節(jié)奏、響亮程度等成為“副語言”的表達資源。發(fā)聲具有兩種“模態(tài)”——清晰度與韻律感，后者不僅可以表現(xiàn)為抑揚頓挫的語調(diào)，也可以以不同的節(jié)奏呈現(xiàn)。語言與身體語言、副語言特征等在具體的語境中共同建構(gòu)意義。而在現(xiàn)代技術(shù)環(huán)境中，意義的建構(gòu)方式又越來越多地延伸到身體、語言之外。

盡管人們對各種視覺、聽覺符號的認識一直伴隨著人類的發(fā)展進程，然而在學術(shù)研究中，人們對多模態(tài)話語的認識和研究經(jīng)歷了一個相對漫長的過程。

在哲學、人類學、符號學、文化研究等領(lǐng)域，學者們以不同形式、從不同視角對其予以關(guān)注、進行探討。維特根斯坦認為盡管非語言符號不容易變成系統(tǒng)、準確的語言，但它們具有表達態(tài)度與情緒、輔助語言交際、替代語言等功能，社會中大量的信息正是通過它們傳達的(維特根斯坦2001)。胡塞爾持有類似的觀點，將符號分為自然符號和人為符號兩種基本類型，自然符號具有指示某個對象的功能，不具有意義。人為符號則是具有意指功能的“表達”符號，又可進一步分為語言符號和非語言符號(胡塞爾1999)。在二戰(zhàn)期間及之后的一段時間內(nèi)，受索緒爾等的影響，包括列維－斯特勞斯在內(nèi)的諸多人類學家在考察人類實踐的過程中將目光轉(zhuǎn)向了語言，認為“構(gòu)成文化的社會行為事實上也表現(xiàn)為一種按照語言的模式進行‘編碼’的活動，或許它本身就是一種語言”(Hawkes 1977:19)。即人類活動本身，其各個方面都具有索緒爾意義上的符號或符號潛能。符號既可由身體有機地產(chǎn)生，也可借助身體在技術(shù)上的延伸工具化地產(chǎn)生。當媒介使我們的身體延伸時，我們面對的便是具有生命的自主的符號系統(tǒng)(霍克斯1987:140)。這里的符號及其系統(tǒng)都超出語言符號之外，包括人類活動各個方面及由于技術(shù)上的延伸而引起的媒介變化，從而理所當然地將話語的多種模態(tài)涵蓋其中，盡管當時的主流研究尚未將其納入學術(shù)研究視野。

根據(jù)格雷馬斯的觀點，一部電影、一幕街景同時具有多種代碼，并使用多種交際渠道，構(gòu)成具有整體意義的文化現(xiàn)象(格雷馬斯2009:43)。在某些沒有語言起源傳說的非洲社會，服飾文化(服裝、紋身)起源的傳說替代了語言的作用。服飾的內(nèi)涵意義與自然語言一樣，既造成語言群體間的區(qū)別，又形成鞏固社會團體的歸屬感和凝聚力。從這個角度看，語言研究屬于一門更寬泛的社會符號學的學科，該學科既包括語言，也包括服飾、食物、手勢等方面的研究……眾多的符號共同構(gòu)建意義、產(chǎn)生社會影響。因此，應該對這些復雜的符號系統(tǒng)進行分析、梳理、描述，提出適用于社會語言學的內(nèi)涵意義范疇和分類模式:(1)空間關(guān)系學范疇與模式;(2)形態(tài)學范疇與模式;(3)功能范疇與模式等(格雷馬斯2009:55－60)。

本工作介紹了一種改進型DIC分析技術(shù).基于室內(nèi)模型試驗,結(jié)合改進型DIC分析技術(shù),針對靜壓沉樁過程中樁-土界面土體位移進行了測量和分析,得到以下幾點結(jié)論.

巴爾特也將符號學的對象視為包括形象、姿勢、有旋律的聲音，以及作為意義系統(tǒng)的語言等在內(nèi)的一切符號系統(tǒng):“最有趣的系統(tǒng)是那些涉及不同實體的復合系統(tǒng)。在那些至少屬于大眾傳播社會學的復合系統(tǒng)，如電影、電視及廣告中，意義的表達有賴于圖像、聲音和其他各種符號的協(xié)作，因而要確定這些系統(tǒng)中的語言事實與言語事實的類別，時機還欠成熟。一方面，我們還不能斷定每個復合系統(tǒng)中‘語言’到底是原創(chuàng)還是僅僅由其中的各種輔助‘語言’組成;另一方面，這些輔助語言還未曾得到分析，原因是雖然我們了解語言學的‘語言’，但不了解圖像或音樂的‘語言’”(巴爾特1999b:20)。他認為世界上的每一種物體，都可以從一個封閉、寂靜的存在，衍生到一個口頭說明的狀態(tài)……它可以包含寫作或者描繪、照片、電影、報告、運動、表演和宣傳等，這些都可以作為神話言談的資源(巴爾特1999a:167－168)和素材(語言本身、照片、圖畫、海報、儀式、物體等)(巴爾特1999a:173)。這里，巴爾特對各種符號、各種模態(tài)構(gòu)成的整體的強調(diào)，無疑具有先見之明，這一點正是目前多模態(tài)話語研究關(guān)注的焦點。

在強調(diào)其他符號不容忽視的同時，這位符號學大家還特別提醒人們語言的重要性，以及語言學與符號學之間的關(guān)系:“所有的符號系統(tǒng)都與語言糾纏不清……當代社會的符號學家，盡管一開始就以非語言實體為研究對象，遲早要在他的研究道路上遭遇到(‘真正的’)語言……符號學也許注定要深入到跨語言領(lǐng)域……有朝一日索緒爾的主張有可能會被推翻:語言不是普遍的符號學科的一部分，哪怕是有特殊地位的一部分;相反，符號學乃是語言學的一部分，是具體負責話語中的大的意義單位的那部分”(巴爾特1999b:2－3)。

無獨有偶，利科也認為，“語言的確不只是最重要的符號學系統(tǒng)，而且語言學是最高級的符號學科學，一切其他符號系統(tǒng)都以某種方式歸結(jié)于語言，雖然每個系統(tǒng)都有其個性”(利科1988:346)。盡管他們對語言學與符號學之間的關(guān)系所持觀點不同，但對語言重要性的強調(diào)、對語言符號之外其他符號的重視、對話語的多模態(tài)性的認識是一致的。

此外，巴爾特還將第一個符號系統(tǒng)(語言，包括能指和所指)看成第二個更大的符號系統(tǒng)(意識形態(tài))的能指，對不同模態(tài)所蘊含的意識形態(tài)意義進行探討，從而拓開了多模態(tài)話語分析中的批評話語分析之先河。他舉的一個有名的例子是:“我在理發(fā)店里，有人給我一本《巴黎競賽畫報》。封面上是一個身著法國軍服的年輕黑人在敬禮，兩眼上揚，也許凝神注視著一面法國國旗。這些就是這張照片的意義。但不論天真與否，我很清楚地看見它對我意指:法國是一個偉大的帝國，她的所有的子民，沒有膚色歧視，忠實地在她的旗幟下服務，這個黑人在為所謂其壓迫者服務時表現(xiàn)出來的忠誠，再好不過地回答了那些對所謂殖民主義進行詆毀的人”(巴爾特1999b:175－187)。

在語言學領(lǐng)域，現(xiàn)代語言學的開創(chuàng)者索緒爾認為，“語言問題主要是符號學問題，我們的全部理論都從這一重要事實獲得意義。要發(fā)現(xiàn)語言的真正本質(zhì)，首先必須知道它跟其他一切同類的符號系統(tǒng)的共同點”(索緒爾1980:39)，從而強調(diào)了語言符號之外其他符號，以及對其進行研究、比較的必要性。布拉格學派的代表人物雅各布森也曾指出，“人類社會中最社會化、最豐富和最貼切的符號系統(tǒng)顯然以視覺和聽覺為基礎”(霍克斯1987:139)，即包括以視覺、聽覺為基礎的語言符號、非語言符號等多種模態(tài)。20世紀初俄國形式主義對語言的音質(zhì)、節(jié)奏的重視，Bransford和Johnson(1973)對視覺符號在話語理解中的重要性的強調(diào)，拉波夫?qū)︸R撒葡萄園島(Martha’s Vineyard)的英語語音變體特征進行的分析(Labov 1963:307)，Crystal關(guān)于音高范圍、響度、節(jié)奏、聲音特征均有可能成為說話人群體歸屬的表征信息的來源(Crystal 1975:84－95)等，都從不同側(cè)面強調(diào)了話語的多模態(tài)特征。事實上，語言學研究過程中對各種非語言特征、副語言特征、語言韻律等方面的探討，以及文學研究中對各種書寫形式、書寫格式等特征的關(guān)注等，都是對話語的多模態(tài)特征的關(guān)注和探討。

在話語分析領(lǐng)域內(nèi)部，早期的學者們對話語的多模態(tài)特征雖多有關(guān)注，但并未作為主要研究對象。Brown和Yule認為，“音調(diào)也常常用來表示某種信息。在講話中，新信息常用較高的音調(diào)，而已知信息則用較低的音調(diào);有時高音調(diào)也可用來表示發(fā)話人更換話題或新的話題開始，或表示強調(diào)、對比，低音調(diào)也可表示聽話人不必重視的東西”(Brown＆ Yule 1983:F20)。Couper-Kuhlen在提出話語層面研究語調(diào)的3種路徑的基礎上(語調(diào)是語法的一部分，語調(diào)與信息流相關(guān)，語調(diào)作為語境線索)，認為在今后的研究中節(jié)首(onset)、聲域(register)、節(jié)奏(rhythm)、響度(volume)、副語言音質(zhì)效應(paralinguistic voice-quality effects)等韻律語境線索(prosodic contextualization cues)將引起更多關(guān)注(Schiffrin et al.2001)。Fairclough(1992，2003a)和 van Dijk(1997，1998)都曾明確提出話語包括口語、書面語以及非語言交際等多種模式。他們認為，在面對面交流中、在看電影電視節(jié)目時，伴隨著聲音出現(xiàn)的非語言活動，如手勢、面部表情、身體姿勢、親近、掌聲、笑聲等對話語意義及功能的理解起著至關(guān)重要的作用(Van Dijk 1997:6)，因此隨著現(xiàn)代社會多媒體交流的普及，話語的視覺形式不可忽視，特別是對廣告、電視節(jié)目的研究更需跨媒體、多模態(tài)的探討。Fairclough在吸收Foucault和Harvey等社會學理論的基礎上發(fā)展了話語概念，認為社會實踐是抽象的社會結(jié)構(gòu)和具體的社會行為之間的橋梁，話語則是社會實踐的一個重要組成部分，它既包括語言因素，也包括非語言的交際因素和視覺形象……話語秩序是社會實踐在語言層面上的反映(Fairclough 2003:24)。因此應“將話語概念加以延伸，使之不僅包括作為文字和影像結(jié)合物的文本，也涵蓋其他符號形態(tài)”(費爾克拉夫 2003:4)。Halliday也指出，社會體系或文化可以表述為一種意義建構(gòu)和符號系統(tǒng)，構(gòu)成社會體系的意義是通過許多模式和渠道傳遞的，語言只是其中的一種交際模式，除語言外，還有很多其他符號模式(Halliday 1978/2001:189)。只是在傳統(tǒng)的研究過程中，人們更多的關(guān)注語言模式而已。

目前，在多模態(tài)話語分析領(lǐng)域較活躍的主要有社會符號學，互動社會語言學和認知語言學等3個流派，其研究范圍包括語言之外的各種符號資源的理論體系和工作機制、及其對社會符號進程的建構(gòu)，以及對各模態(tài)之間形成的關(guān)系及意義進行探討(O’Halloran 2011)。

社會符號學和批評話語分析的研究者:Kress＆ van Leeuwen(1996);O’Toole(1994);Lemke(1998，2002，2009);Baldry ＆ Thibault(2006);Bateman(2008);Bednarek＆Martin(2010);Jewitt(2009);Unsworth(2008);Ventola＆Moya(2009);O’Halloran(2011)以及 Machin(2007)，van Leeuwen(2008)都以Halliday的系統(tǒng)功能語言學為理論基礎。其中，Kress＆van Leeuwen(1996)在語篇分析的基礎上提出圖像分析的總體原則，基于Halliday的3個元功能提出的圖像的再現(xiàn)功能、互動功能和構(gòu)成功能。O’Toole(1994)將Halliday的理論用于對繪畫、雕塑、建筑的研究，通過自下而上的分析建立起來的可資借鑒的分析框架為80、90年代的多模態(tài)話語研究奠定了基礎。隨后的學者又將越來越多的模態(tài)納入研究視野，如對聲音與音樂(van Leeuwen 1999)、科學課本(Lemke 1998)、動作與手勢 (Martinec 2000)、教育研究(Jewitt 2006)及多模態(tài)讀寫能力(New London Group 2000)等進行的研究。而Delin和Bateman(2002)提出的GeM(genre and multimodality)模型，從內(nèi)容、修辭、布局、導航(navigation)、語言等5個層面對電子和書面文本進行的多模態(tài)分析，為探討由文本、布局、圖案、圖畫、圖解等構(gòu)成的不同話語提供了參考，為分析文本和視覺意義提供了可資借鑒的模型。

以認知語言學為基礎發(fā)展起來的多模態(tài)話語分析(Forceville 1996，2006;Forceville＆ Urios-Aparisi 2009)認為關(guān)聯(lián)理論不局限于言語交際，也適用于非言語的、多模態(tài)的話語分析，并運用圖像隱喻(pictorial metaphor)理論研究多模態(tài)話語?；由鐣Z言學的多模態(tài)話語分析(Norris 2004，Norris＆Jones 2005，Scollon 2001)將語言看成社會行為，認為互動進程是共同參與過程，話語分析不僅要考慮語言，更要考慮語言在互動過程中的作用，以及互動過程中的其他因素(Scollon 1998)。多模態(tài)互動話語分析旨在理解、描述話語互動的進程，關(guān)注人們在交際過程中運用不同方式構(gòu)建情景和身份的過程，將話語融入人們的行為進程，分析話語和行為構(gòu)成的整體(Norris 2004:5－20)。

3 結(jié)束語

對話語的多模態(tài)性、多模態(tài)話語的認識與研究是一個逐漸認知、不斷深化的過程。在相對較長的認識、研究過程中，學者們逐漸認識到，盡管語言在意義構(gòu)建過程中起著舉足輕重的作用，是最重要的符號資源，然而，在話語領(lǐng)域，它也只是眾多的符號資源之一，對語言的單模態(tài)研究需要與視覺、聽覺、媒介等研究相結(jié)合，從社會、認知、文化、媒介、哲學等各領(lǐng)域考察話語的多模態(tài)性質(zhì)和特征。只有重視各模態(tài)的內(nèi)在規(guī)律和協(xié)同作用，才能更深入地理解、揭示多模態(tài)話語發(fā)生、發(fā)展的內(nèi)在機制和規(guī)律。

目前，在社會符號學、互動社會語言學和認知語言學的相關(guān)研究走向縱深的同時，多模態(tài)話語研究的領(lǐng)域和視野也隨之更廣泛、更開闊:研究內(nèi)容從對多模態(tài)話語性質(zhì)的關(guān)注到對各模態(tài)的深入研究，從單一模態(tài)的探討到多種模態(tài)的融合，以及各模態(tài)之間的關(guān)系的研究;研究對象從紙質(zhì)媒體到電視、網(wǎng)絡媒體，從對成品的分析到對互動性話語進程的探討;研究方法也從經(jīng)驗性描寫到理性、批評性分析，從多學科關(guān)注到多學科的交叉與融合等。同時，多模態(tài)語言教學、多元讀寫能力的培養(yǎng)等應用領(lǐng)域的研究也引起重視，并將其融入現(xiàn)代社會急需的批判性閱讀能力的培養(yǎng)。因此，我們有理由相信，隨著現(xiàn)代技術(shù)的運用和多模態(tài)話語研究的不斷深入，其成果將不僅為現(xiàn)代技術(shù)環(huán)境中多媒體話語的理解、欣賞與制作，為多模態(tài)話語教學等應用領(lǐng)域提供理論和實踐支持(代樹蘭2011)，也更有利于我們更深入地理解、揭示話語發(fā)生、發(fā)展的內(nèi)在機制和規(guī)律。

奧古斯汀.懺悔錄［Z］.北京:商務印書館，1963.

巴爾特·羅蘭.神話——大眾文化詮釋［M］.上海:上海人民出版社，1999a.

巴爾特·羅蘭.符號學原理［M］.北京:三聯(lián)書店，1999b.

從萊庭徐魯亞.西方修辭學［M］.上海:上海外語教育出版社，2007.

代樹蘭.電視訪談的多模態(tài)話語性質(zhì)［Z］.浙江大學第三屆當代中國話語研究討論會，2009年12月.

代樹蘭.關(guān)注多模態(tài)話語教學 提高學生交際能力［J］.山東外語教學，2011(3).

費爾克拉夫.話語與社會變遷［M］.北京:華夏出版社，2003.

格雷馬斯，A.J.符號學與社會科學［M］.天津:百花文藝出版社，2009.

胡塞爾.邏輯研究［M］.上海:上海譯文出版社，1999.

胡壯麟.社會符號學研究中的多模態(tài)化［J］.語言教學與研究，2007(1).

霍克斯·特倫斯.結(jié)構(gòu)主義和符號學［M］.上海:上海譯文出版社，1987.

利科·保羅.哲學主要趨向［M］.北京:商務印書館，1988.

李彥鋒.中國繪畫史中的語圖關(guān)系研究［D］.上海大學博士論文，2010.

索緒爾.普通語言學教程［M］.北京:商務印書館，1980.

王瀚東.先秦語言哲學與美學的關(guān)系初探［J］.華中科技大學學報(社科版)，2001(3).

維特根斯坦.哲學研究［M］.上海:上海人民出版社，2001.

沈宗驀.傳世藏書、積庫、文藝評論(3)［Z］.海口:海南國際新聞出版社，1996.

鄭振鐸.中國歷史參考圖譜·跋［A］.鄭爾康編.鄭振鐸藝術(shù)考古文集［C］.北京:文物出版社，1988.

Baldry，A.P.＆ Thibault，P.J.Multimodal Transcription and Text Analysis［M］.London:Equinox，2006.

Bateman，J.Multimodality and Genre:A Foundation for the Systematic AnalysisofMultimodalDocuments［M］.Hampshire:Palgrave Macmillan，2008.

Bednarek，M.＆ Martin，J.R.New Discourse on Language:Functional Perspectives on Multimodality，Identity，and Affiliation［M］.London and New York:Continuum，2010.

Brown，G.＆ G.Yule.Discourse Analysis［M］.Cambridge:Cambridge University Press，1983.

Bransford，J.＆ Johnson，M.Considerations of some Problems of Comprehension［A］.In W.G.Chase(ed.).Visual Information Processing［C］.London:Academic Press，1973.

Crystal，D.The English Tone of Voice:Essays in Intonation，Prosody and Paralanguage［M］.London:Edward Arnold，1975.

Delin，J.＆ Bateman，J.Describing and Critiquing Multimodal Documents［J］.Document Design，2002(3).

Fairclough，N.Discourse and Social Change［M］.Oxford:Blackwell Publishers Ltd.，1992.

Fairclough，N.Analysing Discourse:Textual Analysis for Social Research［M］.London and New York:Routledge，2003.

Fairclough，N.，Jessop，B.＆ Sayer，A.Critical Realism and Semiosis［A］.In J.M.Robert ＆ J.Joseph(eds.).Realism，Discourse and Deconstruction［C］.London:Routledge，2003a.

Forceville，C.Pictorial Metaphor in Advertising［M］.London:Routledge，1996.

Forceville，C.Non-verbal and Multimodal Metaphor in a Cognitive Framework:Agendas for research［A］.In G.Kristiansen，M.Achard，R.Dirven＆ F.R.de M.Ibanez(eds.).Cognitive Linguistics:Current Applications and Future Perspectives［C］.Berlin/New York:Mouton de Gruyter，2006.

Forceville，C.J.＆ Urios-Aparisi，E.Multimodal Metaphor［M］.Berlin and New York:Mouton de Gruyter.2009.

Halliday，M.A.K.Learning How to Mean:Explorations in the Development of Language［M］.London:Arnold.1975.

Halliday，M.A.K.Language as Social Semiotic:The Social Interpretation of Language and Meaning［M］.London/Beijing:Edward Arnold/Foreign Language Teaching and Research Press，1978/2001.

Hawkes T.Structuralism and Semiotics［M］.London and New York:Routledge，2003.

Iedema，R.Multimodality，Resemioticization:Extending the Analysis of Discourse as a Multisemiotic Practice［J］.Visual Communication，2003(2).

Jewitt，C.Technology，Literacy and Learning:A Multimodal Approach［M］.London:Routledge，2006.

Jewitt，C.Different Approaches to Multimodality［A］.In C.Jewitt(ed.).Handbook of Multimodal Analysis［C］.London and New York:Routledge，2009.

Kress，G.＆ van Leeuwen，T.Reading Images:The Grammar of Visual Design［M］.London:Routledge，1996.

Kress，G.＆ T.van Leeuwen.Front Pages:The Critical A-nalysis of Newspaper Layout［A］.In A.Bell＆ P.Garrett(eds.).Approaches to Media Discourse［C］.London:Times New Roman，1998.

Kress，G.＆ van Leeuwen，T.Multimodal Discourse:The Modes and Media of Contemporary Communication［M］.London:Arnold，2001.

Labov，W.The Social Motivation of a Sound Change［J］.Word，1963(19).

Lemke，J.L.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［A］.In J.R.Martin ＆ R.Veel(eds.).Reading Science:Critical and Functional Perspectives on Discourses of Science［C］.London:Routledge，1998.

Lemke，J.L.Travels in Hypermodality［J］.Visual Communication，2002(3).

Lemke，J.L.Multimodal Genres and Transmedia Traversals:Social Semiotics and the Political Economy of the Sign［J］.Semiotica，2009(177).

LeVine，P.＆ R.Scollon.Multimodal Discourse Analysis as the Confluence of Discourse and Technology［A］.In P.LeVine ＆ R.Scollon(eds.).Discourse and Technology:Multimodal Discourse Analysis［C］.Washington DC:Georgetown University Press，2004.

Machin，D.Introduction to Multimodal Analysis［M］.London and New York:Hodder Arnold，2007.

Norris，S.Analyzing Multimodal Interaction:A Methodological Framework［M］.New York/London:Routledge，2004.

Norris，S.＆ Jones，R.H.Discourse in Action:Introducing Mediated Discourse Analysis［C］.London:Routledge，2005.

O’Halloran，K.L.Multimodal Discourse Analysis［A］.In K.Hyland＆ B.Paltridge(eds.).Companion to Discourse［C］.London and New York:Continuum.2011.

O’Toole，M.The Language of Displayed Art(2nd ed)［M］.London and New York:Routledge，1994.

Schiffrin，D.，Tannen，D.＆ H.E.Hamilton.The Handbook of Discourse Analysis［M］.Malden MA and Oxford:Blackwell，2001.

Scollon，R.Mediated Discourse as Social Interaction［M］.London:Longman，1998.

Scollon，R.Mediated Discourse:The Nexus of Practice［M］.London and New York:Routledge，2001.

Unsworth，L.Multimodal Semiotics:Functional Analysis in Contexts of Education［M］.London and New York:Continuum，2008.

van Leeuwen，T.Speech，Music，Sound［M］ .London:Macmillan，1999.

van Leeuwen，T.Discourse and Practice:New Tools for Critical Discourse Analysis［M］.Oxford:Oxford University Press，2008.

van Dijk T.A.Discourse as Structure and Process:Discourse Studies:A Multidisciplinary Introduction［M］.London:SAGE Publications Ltd.，1997.

van Dijk，T.A.Ideology:A Multidisciplinary Approach［M］.London:Sage，1998.

Ventola，E.＆ Moya，J.The World Told and the World Shown:Multisemiotic Issues［M］.Hampshire:Palgrave Macmillan，2009.