郜麗娜，齊 麗

(滁州學院 外國語學院，安徽 滁州 239000)

多模態(tài)批評話語分析研究概述*

郜麗娜，齊 麗

(滁州學院 外國語學院，安徽 滁州 239000)

在現(xiàn)代社會中，人類運用語言、圖像、聲音、動作等多種符號資源進行交際。不同模態(tài)層面的交際活動都蘊含著特定的意識形態(tài)和權(quán)力關(guān)系。多模態(tài)話語分析和批評話語分析在理論構(gòu)建和具體的應(yīng)用分析上具有一定的互補性，多模態(tài)批評話語分析已經(jīng)成為語言學領(lǐng)域的一個研究熱點。本文首先介紹多模態(tài)話語分析理論及其認知轉(zhuǎn)向，然后分析國內(nèi)外多模態(tài)批評話語分析的研究現(xiàn)狀，最后指出了相關(guān)研究的不足及發(fā)展方向。

多模態(tài)；批評話語分析；研究現(xiàn)狀

一、引 言

隨著互聯(lián)網(wǎng)和多媒體的迅速發(fā)展和廣泛應(yīng)用，語言文本不再是交際的唯一手段，圖像、手勢、動作、顏色、聲音等其他非語言符號也成為信息傳遞的重要方式。我們生活在一個由多種符號資源構(gòu)成的社會中，意義的構(gòu)建不再單純依靠語言文本，而是越來越依賴各種符號資源的整合。人類交流所依賴的媒介和渠道被稱之為“模態(tài)”(modality)，例如：語言、聲音、顏色、圖像、手勢等符號系統(tǒng)。作為人類的一種重要交際行為，話語自然具有多模態(tài)性。

傳統(tǒng)的話語分析以大于句子的語言單位作為研究對象，對實際使用中的語言進行觀察和分析，研究語言的組織結(jié)構(gòu)、使用特點、語法規(guī)律、語言中的制約因素等內(nèi)容，忽略了能夠傳遞大量重要信息的其他非語言符號。可見，傳統(tǒng)的話語分析已經(jīng)不能滿足人們的實際交際需要，多模態(tài)話語分析符合當下信息時代發(fā)展的要求和趨勢。多模態(tài)話語分析為人類理解豐富多彩的符號系統(tǒng)提供了新視角，目前已發(fā)展成為一種重要的話語分析方式。像語言一樣，視覺符號和聲音符號貌似正常或中立(平淡無奇)，實則隱含著個人或社會團體的不公正、偏見和歧視。因此，在多模態(tài)話語分析中，我們應(yīng)堅持批評的立場，給予非語言模態(tài)符號足夠的重視，關(guān)注其中含而不露的意識形態(tài)意義，尤其是那些被人們習以為常的思想和觀點。在多模態(tài)話語和批評話語分析互相影響和借鑒的基礎(chǔ)上，多模態(tài)批評話語分析應(yīng)運而生。

二、多模態(tài)話語分析的概述性研究

20世紀90年代，多模態(tài)話語分析在西方開始興起，引起越來越多語言學家的關(guān)注。傳統(tǒng)意義上的話語分析注重分析語言符號系統(tǒng)和語義結(jié)構(gòu)本身，忽略了對其他符號系統(tǒng)(例如：圖像、聲音、顏色、手勢等)的研究。隨著現(xiàn)代科學技術(shù)的發(fā)展，人類交際開始依靠多種模態(tài)共同完成，包括圖像、音樂、聲音、顏色等。而這種運用語言、圖像、聲音、動作等多種符號資源進行交際的現(xiàn)象就是“多模態(tài)話語”(multimodal discourse)。學界對交際中出現(xiàn)的圖像、手勢、姿態(tài)以及空間的運用也產(chǎn)生了濃厚興趣。學者們認識到，對于意義理解不僅需要對話語語言的分析，更要對獨立或相互依賴的其他符號資源進行研究。法國語言學家Barthes Roland是最早從事多模態(tài)話語分析研究的學者之一。他在1977年發(fā)表的論文《形象的修辭》中探討了圖像在表達意義上與語言的相互作用[1]。Kress和Van Leeuwen[2][3][4](P343-368)[5](P35-50)作為社會符號學的代表研究了模態(tài)與媒體的關(guān)系，在系統(tǒng)功能語言學的基礎(chǔ)上，構(gòu)建了視頻話語的分析模式和多模態(tài)話語分析框架，探討了多模態(tài)符號表達意義的現(xiàn)象，包括視覺圖像、顏色語法以及報紙的版面設(shè)計和不同媒介的作用等方面。2007年，朱永生[6](P82-86)提出了兩種多模態(tài)話語的識別標準：(1)同時使用兩種模態(tài)的話語叫做“多模態(tài)話語”；(2)只涉及一種模態(tài)，但包含兩個或更多符號系統(tǒng)的話語也是“多模態(tài)話語”，比如：視覺模態(tài)中的平面公益廣告，既有文字又有圖片。

近十年來，多模態(tài)話語一直是國內(nèi)外語言學界的研究熱點。對相關(guān)文獻進行計量學統(tǒng)計，可以發(fā)現(xiàn)：(1)多模態(tài)話語分析的主要理論基礎(chǔ)是系統(tǒng)功能語法和符號學；(2)多模態(tài)話語分析的研究熱點主要為：言語、隱喻、身份、手勢語、系統(tǒng)功能語法、語境和視覺；(3)多模態(tài)話語分析主要研究靜態(tài)多模態(tài)話語中的視覺和語言模態(tài)。雖然相關(guān)研究在理論探索和應(yīng)用實踐方面取得可喜的成績，但仍存在不足：(1)忽視構(gòu)建語篇的整體意義的動態(tài)操作和多模態(tài)語篇背后的認知機制；(2)理論研究為主，實證研究偏少；(3)靜態(tài)研究偏多，動態(tài)研究較少；(4)忽視各個模態(tài)之間的關(guān)系；(5)缺乏多模態(tài)語料庫建設(shè)和軟件開發(fā)。另外，未來的多模態(tài)研究應(yīng)加強以下方面：(1)跨學科研究與學科的融合；(2)理論與方法的創(chuàng)新。多模態(tài)話語分析不僅是一個語言研究理論，更是一個應(yīng)用領(lǐng)域。一些其他學科領(lǐng)域(例如：后現(xiàn)代哲學、社會學、心理學、人類學)的理論和方法都可以應(yīng)用到多模態(tài)話語分析中，分析人類如何通過各種模態(tài)資源傳遞信息、產(chǎn)生意義、表達情感、構(gòu)建權(quán)力關(guān)系和意識形態(tài)。

三、多模態(tài)話語分析的認知研究

到目前為止，大多數(shù)多模態(tài)話語分析研究者，以系統(tǒng)功能語法的三大元功能為工具，分析文字、圖像、動作等符號模態(tài)，但是一些學者開展了以認知語言學核心概念為界面的跨學科研究，運用認知語言學中的認知工具和理論進行多模態(tài)話語分析，其中應(yīng)用最為廣泛的是認知隱喻理論。荷蘭阿姆斯特丹大學的學者Charles Forceville[7]于1996年出版了博士論文《廣告中的圖片隱喻》，將隱喻研究延伸到非語言模態(tài)中，掀起了多模態(tài)隱喻研究的熱潮，極大地促進了多模態(tài)話語分析的發(fā)展。后來，他在國際頂級期刊上發(fā)表了一系列學術(shù)論文，主要研究多模態(tài)隱喻的理論基礎(chǔ)及應(yīng)用分析，同時關(guān)注多模態(tài)隱喻分析中的焦點問題，例如：多模態(tài)隱喻的區(qū)別性特征、語類性特征、模態(tài)配置方式。另外，他的研究所涉及的語類十分豐富，包括政治漫畫、廣告、動畫、電影、音樂、手勢、雕塑等，為同領(lǐng)域的研究者提供了重要的參考和啟迪。他在多模態(tài)隱喻研究領(lǐng)域的成果豐厚，不僅奠定了多模態(tài)隱喻研究的理論基礎(chǔ)，而且為其他應(yīng)用研究提供了典范。2015年，María Jesús Pinar Sanz[8]出版了論文集《多模態(tài)與認知語言學》。該論文集不僅在理論層面把認知語言學的意象圖式和合成空間等概念擴大到多模態(tài)隱喻研究中，分析多模態(tài)隱喻創(chuàng)建和解讀的認知機制，而且形成了以文獻回顧為輔、實證研究為主的多模態(tài)話語分析新模式。另外，該書綜合多模態(tài)研究的各種理論，將多模態(tài)研究置于認知語言學框架之內(nèi)，匯集眾多學者專家的最新研究成果，標志著多模態(tài)和認知語言學的互補融合，也為多模態(tài)話語分析的認知轉(zhuǎn)向提供了理論依據(jù)和方法論參考。

國內(nèi)也有學者運用認知語言學理論和方法進行多模態(tài)話語分析，但基本上集中在多模態(tài)隱喻分析方面。國內(nèi)多模態(tài)隱喻研究起步相對較晚，曾立[9](P11-14)于2004年開始關(guān)注非語言模態(tài)的隱喻認知機制，探索認知隱喻的相似性和語義沖突在圖文隱喻運作中的作用。國內(nèi)多模態(tài)隱喻研究的相關(guān)論文從2010年開始零星出現(xiàn)，其中趙秀鳳[10](P18-29)[11](P45-47)發(fā)表論文2篇，結(jié)合實例探討了多模態(tài)廣告語篇中隱喻的構(gòu)成、識別和解讀，以及隱喻性多模態(tài)廣告語篇中整體意義的動態(tài)構(gòu)建過程。雖然起步相對較晚，但國內(nèi)多模態(tài)隱喻研究在近幾年內(nèi)發(fā)展迅猛?！锻庹Z學刊》2011年第一期和《外語研究》2013年第五期分別開辟了“多模態(tài)轉(zhuǎn)喻和隱喻”研究專欄并刊登了4篇相關(guān)文章，或?qū)庾钚卵芯砍晒M行系統(tǒng)引介，或結(jié)合具體語類展開實例分析，或勇于創(chuàng)新、積極借鑒其他理論，至此國內(nèi)掀起了多模態(tài)隱喻研究的熱潮[12](P54-57)。另外，李健雪和俞越聰[13](P137-140)對《多模態(tài)與認知語言學》進行評介，不僅介紹主要內(nèi)容，還總結(jié)了該專著的主要貢獻、特色及不足，為相關(guān)研究提供重要啟示。無論在語言觀還是方法論上，認知語言學和多模態(tài)話語分析都具有一定的淵源關(guān)系，認知語言學可以為多模態(tài)話語分析提供更多的方法選擇，多模態(tài)話語分析拓寬了認知語言學的研究范圍。

四、多模態(tài)批評話語分析研究現(xiàn)狀與存在問題

國外一批優(yōu)秀學者致力于批評話語分析和多模態(tài)話語分析的理論基礎(chǔ)和分析方法的研究，并在上述兩個研究領(lǐng)域取得了顯著的成就。雖然有些學者敏銳地發(fā)現(xiàn)或指出，二者存在很好的融合性和互補性，但很少有人真正地將二者融合并正式提出“多模態(tài)批評話語分析”這一概念及分析框架。直到2012年，David Machin和Andrea Mayr[14]出版合著《如何進行批評話語分析：多模態(tài)的視角》，并首次提出“多模態(tài)批評話語分析”的概念。多模態(tài)批評話語分析是對批評話語分析的進一步發(fā)展，主張圖像、顏色、動作、聲音等其他模態(tài)符號像語言文字一樣，也應(yīng)該成為批評分析的對象。多模態(tài)批評話語分析主要從批評的視角分析多模態(tài)語篇中的各種符號資源如何互動和建構(gòu)語篇意義，重點關(guān)注多模態(tài)話語中隱含的權(quán)力關(guān)系和意識形態(tài)。Theresa Catalano和Lauren Gatti[15](P59-80)選取4篇有關(guān)亞特蘭大公立學校教師的“作弊丑聞”的網(wǎng)絡(luò)新聞報道，從語言層面和視覺層面分析不同媒體如何使用各種模態(tài)符號框定教師的行為和身份，并揭示涉案教師的語言表征和視覺表征背后反映和隱含的特殊利益和權(quán)力關(guān)系。英國蘭卡斯特大學Christopher Hart[16][17][18]教授在認知語言學和批評話語分析融合領(lǐng)域的研究成績斐然，出版了《批評話語和認知科學：移民話語研究新視角》《語境和認知中的批評話語研究》《批評話語分析中的認知語言學：應(yīng)用及理論》等學術(shù)價值極高的專著。在此基礎(chǔ)上，Hart[19](P335-350)于2016年開始針對多模態(tài)話語開展批評話語分析研究，解釋語言話語中的意識形態(tài)傳播，并提出一個整合認知語言學和多模態(tài)的綜合分析方法。他認為，理解語言涉及到多模態(tài)心理表征的構(gòu)建，話語中語言模態(tài)和非語言模態(tài)在意義構(gòu)建方面互相影響。Hart[20](P3-30)從多模態(tài)視角對英國各大報紙關(guān)于1984-1985年英國礦工大罷工的相關(guān)報道進行了認知批評話語分析，研究發(fā)現(xiàn)：“戰(zhàn)爭”隱喻思維存在于語言和視覺層面，媒體使用語言和圖片把“罷工”框定為“政府與英國礦工聯(lián)合會之間的戰(zhàn)爭”。

近年來，國內(nèi)有關(guān)多模態(tài)批評話語分析的研究不斷涌現(xiàn)，但并沒有展開系統(tǒng)研究，仍是處于起步階段。早在2009年，陳美足[21](P87-90)以“多模態(tài)批評話語分析研究”為題撰文，借助Kress和Leeuwer的視覺語法分析框架和批評話語分析方法，闡釋英國《太陽報》上的一幅頭版新聞圖片中隱含的深層次信息。陳文提出的“多模態(tài)批評話語分析”綜合方法和研究視角在當時十分具有創(chuàng)新性和前沿性，值得參考和借鑒。仲夏陽和孫志祥[22](P131-135)以ChinaDaily上的英文公寓廣告為例，采用視覺語法和批評話語分析的三維分析模式分別對廣告圖片和文字說明進行解讀和分析，揭示廣告設(shè)計者如何利用各種符號資源對消費者的情感、態(tài)度和觀念進行影響和控制。截止到筆者撰文之日，“中國知網(wǎng)”上可以檢索到6篇以“多模態(tài)批評話語分析”為主題的碩士學位論文。江南大學李健雪教授曾經(jīng)指導的4份碩士畢業(yè)論文均借助了Machin和Mayr[14]的多模態(tài)批評話語分析方法，但他們根據(jù)各自的研究對象和研究目的對分析框架進行了調(diào)整。例如：顧陽陽[23]以信托機構(gòu)網(wǎng)站文本為語料，一方面對網(wǎng)站話語中的語言現(xiàn)象借助系統(tǒng)功能語法進行微觀分析，另一方面借助多模態(tài)批評話語分析工具對圖像信息進行個案分析；田建萍[24]基于多模態(tài)批評話語分析框架，以系統(tǒng)功能語法和視覺語法為工具，探討公益廣告中的語言模態(tài)和視覺模態(tài)如何協(xié)同構(gòu)建話語意義和傳達社會責任、倫理、道德等意識形態(tài)；孫富強[25]選取30則奧巴馬競選視頻廣告，并根據(jù)視頻語篇的特點，構(gòu)建由語言分析、視覺分析和圖文互動構(gòu)成的多模態(tài)批評話語分析綜合分析模型；鄭慧[26]在前人研究的基礎(chǔ)上，自建多模態(tài)批評話語分析綜合分析框架，使用檢索工具、視頻注釋軟件和語音分析軟件實施三維動態(tài)語篇的批評性分析。另外，王玉竹[27]通過整合Fairclough的三維分析模式、系統(tǒng)功能語法和視覺語法制定綜合研究框架，對中美報刊政治漫畫進行批評話語分析，揭示多模態(tài)話語中隱含的意識形態(tài)和權(quán)力關(guān)系。楊開燁[28]引入多模態(tài)批評話語分析的綜合視角，采用Van Leeuwen的“社會行動者表征”理論體系和Halliday的及物性理論分析英國兩大媒體如何從語言和視覺層面構(gòu)建學生抗議者和警察的身份，探討如何通過對多模態(tài)符號進行全面深入的解讀來認識社會問題。

五、進一步研究的展望

多模態(tài)話語分析是一個發(fā)展勢頭良好的語言研究領(lǐng)域，多模態(tài)話語本身也越來越多樣化和復雜化。多模態(tài)話語需要更多穩(wěn)健可靠的分析工具和方法，從而滿足不同研究目的的需要。多模態(tài)批評話語分析也應(yīng)廣泛吸收語言學、社會學、認知科學、符號學、民族志、政治學等學科領(lǐng)域的知識，不斷發(fā)展成為一門超學科。其中，多模態(tài)話語分析、批評話語分析和認知語言學之間的有機結(jié)合尤其重要。經(jīng)過三十多年的發(fā)展和完善，批評話語分析已從系統(tǒng)功能語言學和認知語言學中吸收了一系列分析工具和方法，從而實現(xiàn)特定的分析目的。鑒于話語具有構(gòu)建社會和文化的功能，批評話語分析研究者結(jié)合社會、歷史、文化等宏觀背景，對話語進行語言學層面的微觀分析，揭示話語生產(chǎn)者如何使用各種詞匯、語法、語篇、修辭等語言手段在一定的社會政治環(huán)境中實施權(quán)力的濫用、不平等或控制。同樣，多模態(tài)批評話語分析致力于通過對多模態(tài)話語的分析實現(xiàn)對社會的分析，揭示話語生產(chǎn)者所構(gòu)建的含而不露的意識形態(tài)以及如何維護自身利益和影響他人的思想意識。多模態(tài)批評話語分析的批評層面不局限于語言層面，而是對多種模態(tài)符號進行批評性分析。

開展多模態(tài)批評話語分析領(lǐng)域的研究，需要具備開闊的學術(shù)視野，避免進行無謂的重復研究。值得思考的是，多模態(tài)話語分析中的哪些概念、理論和方法能夠適合批評話語分析的需要。另外，如何從理論和方法上進一步發(fā)展和構(gòu)建多模態(tài)批評話語分析的綜合分析框架將是這一研究領(lǐng)域的關(guān)鍵問題，也是學者們需要解決的重要課題。自誕生之日起，批評話語分析就飽受爭議和質(zhì)疑?？傮w上來說，持反對意見的語言研究者認為，批評話語分析缺乏客觀性和科學性，這些缺點同樣存在于多模態(tài)批評話語分析中。多模態(tài)批評話語分析的理論完善和應(yīng)用研究離不開計算機技術(shù)的發(fā)展、語料庫建設(shè)以及語言分析軟件的開發(fā)。相對于批評話語分析來說，多模態(tài)批評話語分析的研究方法將更加多樣化和綜合化，其研究對象更加豐富和復雜?？傊?，對于多模態(tài)批評話語分析的理論發(fā)展和應(yīng)用研究來說，困難與希望同在，挑戰(zhàn)與機遇并存。

[1] BARTHES R. Image Music Text[M]. London: Fontana Press, 1977.

[2] KRESS G, VAN L T. Reading Images: The Grammar of Visual Design[M]. London: Routledge, 1996.

[3] KRESS G,VAN L T. Multimodal discourse: The modes and media of contemporary communication[M]. London: Arnold, 2001.

[4] KRESS G,VAN L T. Colour as a semiotic mode: Notes for a grammar of colour [J].Visual Communication, 2002(3).

[5] KRESS G,VAN L T. Multimodal discourse analysis[J].The Routledge Handbook of Discourse Analysis, 2012.

[6] 朱永生. 多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學刊, 2007(5).

[7] FORCEVILLE C. Pictorial Metaphor in Advertising[M]. New York: Routledge, 1996．

[8] SANZ M J P. Multimodality and Cognitive Linguistics[M]. John Benjamins Publishing Company，2015.

[9] 曾立. 廣告圖文隱喻運作機制初探[J].外語與外語教學，2004(6).

[10] 趙秀鳳，蘇會艷. 多模態(tài)隱喻性語篇意義的認知構(gòu)建——多模態(tài)轉(zhuǎn)喻和隱喻互動下的整合[J].北京科技大學學報，2010(4).

[11] 趙秀鳳，展偉偉. 多模態(tài)視角下愛情新體驗——“40-Love”詩歌為例[J].中國石油大學勝利學院學報，2010(4).

[12] 陳彥瑞. 國內(nèi)外多模態(tài)隱喻研究新動態(tài)[J].許昌學院學報，2013(6).

[13] 李健雪, 俞越聰.《多模態(tài)與認知語言學》評介[J].現(xiàn)代外語, 2017(1).

[14] MACHIN D,MAYR A. How to do critical discourse analysis: A multimodal introduction[M]. London: Sage, 2012.

[15] CATALANO T,GATTI L. Representing teachers as criminals in the news: a multimodal critical discourse analysis of the Atlanta schools’ “Cheating Scandal”[J]. Social Semiotics, 2017(1).

[16] HART C,LUKED.Cognitive linguistics in critical discourse analysis: Application and theory[M]. Cambridge: Cambridge Scholars Publishing, 2009.

[17] HART C. Critical Discourse and Cognitive Science: New Perspectives on Immigration Discourse[M]. Basingstoke: Palgrave, 2010.

[18] HART C. Critical Discourse Studies in Context and Cognition[M]. Amsterdam: John Benjamins, 2011.

[19] HART C. The visual basis of linguistic meaning and its implications for critical discourse studies: Integrating cognitive linguistic and multimodal methods[J].Discourse & Society, 2016 (3).

[20] HART C. Metaphor and intertextuality in media framings of the (1984-1985) British Miners’ Strike: A multimodal analysis[J].Discourse & Communication,2017(1).

[21] 陳美足. 多模態(tài)批評性話語分析研究——以英國《太陽報》的一幅新聞圖片為例[J]. 宜賓學院學報，2009(10).

[22] 仲夏陽, 孫志祥. 公寓廣告中意識形態(tài)滲透手段的多模態(tài)批評性話語分析[J].西南政法大學學報，2011(5).

[23] 顧陽陽. 基于語料庫的多模態(tài)批評話語分析——以網(wǎng)站機構(gòu)話語為例[D]. 無錫：江南大學，2014.

[24] 田建萍. 公益廣告的多模態(tài)批評性話語分析——以Ad Council為例[D]. 無錫：江南大學，2015.

[25] 孫富強. 奧巴馬競選廣告中人際意義的多模態(tài)批評話語分析[D]. 無錫：江南大學，2016.

[26] 鄭慧. 視頻廣告的多模態(tài)批評話語分析——以整形廣告為例[D]. 無錫：江南大學，2016.

[27] 王玉竹. 中美報刊政治漫畫的批評性多模態(tài)話語分析[D]. 重慶：西南大學，2014.

[28] 楊開燁. 2010年英國學生抗議學費上漲活動的多模態(tài)批評話語分析[D]. 南京：南京師范大學，2015.

AReviewofResearchesonMultimodalCriticalDiscourseAnalysis

GAO Lina,Qi Li

(School of Foreign Studies, Chuzhou University, Chuzhou 239000)

In modern society, human beings communicate through kinds of semiotic resources, such as speech, image, voice, gesture and so on. Multimodal discourse analysis and critical discourse analysis can complement each other in the respects of theory construction and application analysis. All these different levels of communicative activity are infused and shaped by power relations and ideologies. The study of multimodal critical discourse analysis has become a research hotspot in the field of linguistics. Based on a theoretical review of multimodal discourse analysis and its cognitive turn, this paper analyzes the present state of researches on multimodal discourse analysis and points out their limitations and future directions.

multimodal; critical discourse analysis; research status

H0-83

A

1009-1734(2017)11-0082-05

2017-09-15

安徽省教育廳人文社科項目“基于認知語言學的批評話語分析范式研究”(項目編號：SK2015B03)；“廉政電視宣傳片的動態(tài)多模態(tài)話語分析”(SK2016B08)；2017年滁州市第四屆社會科學應(yīng)用對策研究課題“滁州市黨風廉政教育片的動態(tài)多模態(tài)語篇分析”(項目編號：B2017006)。

郜麗娜，講師，碩士，從事批評話語分析研究。

[責任編輯鐵曉娜]