滕達(dá)

（大慶師范學(xué)院，黑龍江大慶 163712）

人工智能和科技的進(jìn)一步發(fā)展，改變了人們的交流行為方式。人們的交流方式由人與人，到人與機(jī)器，到人與機(jī)器與人，多媒介，多符號(hào)，多信道的輸入和輸出模式廣泛地存在于人們的日常交流中。單一的模態(tài)的交際已經(jīng)不能滿足人類的交際訴求。語(yǔ)言的內(nèi)在本質(zhì)就是多模態(tài)的，語(yǔ)音、文字和其他符號(hào)是語(yǔ)言表達(dá)的3 個(gè)系統(tǒng)。不同的符號(hào)是不同意義潛勢(shì)的體現(xiàn)，各種符號(hào)資源相互在各自的分層系統(tǒng)和故事語(yǔ)法系統(tǒng)中構(gòu)成可以表征的意義。多模態(tài)話語(yǔ)有著單純語(yǔ)言模態(tài)不可替代的表意作用，也更加全面地反映人作為主體的交際者和讀者的表達(dá)意圖及識(shí)讀感受。

近年來，從靜態(tài)的圖文符號(hào)到動(dòng)態(tài)的身勢(shì)語(yǔ)，多模態(tài)話語(yǔ)的研究逐步形成熱點(diǎn)?；?dòng)交流方面的研究，如網(wǎng)頁(yè)、海報(bào)、電影、微博，漫畫到面對(duì)面的互動(dòng)交流，手勢(shì)和聲音對(duì)語(yǔ)言表達(dá)的輔助作用。多模態(tài)話語(yǔ)研究從研究視角來看，其本身就具有跨學(xué)科性，教育學(xué)，心理學(xué)，神經(jīng)學(xué)，傳播學(xué)及語(yǔ)言學(xué)都有所涉及[1]。寬泛的研究視角架構(gòu)了多模態(tài)話語(yǔ)研究的融合性發(fā)展特點(diǎn)。近年來，從語(yǔ)言學(xué)視角研究多模態(tài)話語(yǔ)的意義建構(gòu)，文化負(fù)載和交往互動(dòng)的研究成果頗豐。該研究探討語(yǔ)言學(xué)內(nèi)部，有關(guān)多模態(tài)話語(yǔ)研究的共性特征和差異性表現(xiàn)，僅此為多模態(tài)的融合發(fā)展提供借鑒。

1 多維視角下多模態(tài)話語(yǔ)研究

多模態(tài)研究非常有價(jià)值的觀點(diǎn)，最早由R，Barthes, 在Rhetoric of the image 一文中提出，探討了圖像與語(yǔ)言之間的關(guān)系。Barthes 在對(duì)報(bào)紙照片的分析中提到表意信息的整體由兩種不同的結(jié)構(gòu)來承載。這兩種結(jié)構(gòu)相互合作共同構(gòu)成整體意義的表達(dá)，但同時(shí)由于他們的異質(zhì)性，他們又彼此分離。語(yǔ)言信息的實(shí)質(zhì)是由單詞組成的;圖像信息有線條、表面、陰影等元素構(gòu)成。此外，消息的兩種結(jié)構(gòu)各自占據(jù)各自定義的空間，這些空間是連續(xù)的，但不是“均質(zhì)化”的。實(shí)際上，Barthes 探討了圖文之間的互補(bǔ)性和非均等性特點(diǎn)，它們之間的配比是由于整體意義的表達(dá)和建構(gòu)決定的[2]。文字確定了圖像的意義，圖像是對(duì)文字的進(jìn)一步解釋，圖像和文字各自表達(dá)整體意義的一部分。

多模態(tài)符號(hào)研究的主要路徑包括：“符號(hào)語(yǔ)法的構(gòu)建，多模態(tài)語(yǔ)類特征研究，社會(huì)場(chǎng)所再符號(hào)化過程研究等?！保ɡ顟?zhàn)子，2013）研究主要分成四大部分，一是基于社會(huì)符號(hào)學(xué)的分析。二是從系統(tǒng)功能語(yǔ)言學(xué)角度進(jìn)行元功能分析； 三是從社會(huì)互動(dòng)語(yǔ)言學(xué)汲取營(yíng)養(yǎng)，采用會(huì)話分析的方法研究多模態(tài)互動(dòng)現(xiàn)象。四是從語(yǔ)用學(xué)角度，研究在說話人的多模態(tài)協(xié)同表達(dá)取得的語(yǔ)用效果，及語(yǔ)篇的多模態(tài)屬性對(duì)讀者的語(yǔ)用作用[3]。

1.1 社會(huì)符號(hào)學(xué)視角下的多模態(tài)話語(yǔ)

社會(huì)符號(hào)學(xué)的研究目的是揭示意義形成的過程，探討作為人的個(gè)體所使用的語(yǔ)言及非語(yǔ)言符號(hào)系統(tǒng)是如何表征的。一般認(rèn)為符號(hào)資源是人們進(jìn)行互動(dòng)的載體，社會(huì)符號(hào)學(xué)關(guān)注符號(hào)的制造者，符號(hào)的模式和社會(huì)的需要。Robert Hodge, Kress, Van Leeuwen 基于符號(hào)學(xué)，系統(tǒng)功能語(yǔ)言學(xué)和批評(píng)話語(yǔ)分析進(jìn)一步推動(dòng)了社會(huì)符號(hào)學(xué)的發(fā)展。傳統(tǒng)的符號(hào)學(xué)認(rèn)為語(yǔ)言的意義是靜止的和固定的，需要參照編碼系統(tǒng)進(jìn)行解碼。社會(huì)符號(hào)學(xué)更注重符號(hào)的創(chuàng)造者，也就是說符號(hào)系統(tǒng)在社會(huì)使用中形成的，不可能脫離語(yǔ)境而存在。因此社會(huì)符號(hào)學(xué)的發(fā)展勢(shì)必要與人的意識(shí)形態(tài)，社會(huì)關(guān)系，社會(huì)實(shí)踐相關(guān)聯(lián)，也必將是多模態(tài)話語(yǔ)分析的走向。從社會(huì)符號(hào)學(xué)來看，Kress&van Leeuwen 的視覺語(yǔ)法理論對(duì)多模態(tài)話語(yǔ)研究做出了重要的理論貢獻(xiàn)。該理論從功能語(yǔ)言理論出發(fā)，從社會(huì)符號(hào)學(xué)視角提供了多模態(tài)研究框架，拓寬了多模態(tài)研究的范圍。社會(huì)符號(hào)學(xué)于20 世紀(jì)90年代末，開始關(guān)注更廣泛得多模態(tài)模式。van Leeuwen（1999）考察了聲音在交流中的材料，媒體和類型等的符號(hào)學(xué)潛力[4]。在21 世紀(jì)初以來，多模態(tài)的社會(huì)符號(hào)學(xué)研究開始從識(shí)別和描述單個(gè)模態(tài)轉(zhuǎn)向在模態(tài)內(nèi)部和跨模態(tài)運(yùn)行的符號(hào)學(xué)原則。例如，空間和建筑、多媒體、聲音和音樂的符號(hào)學(xué)潛力。

1.2 系統(tǒng)功能語(yǔ)言學(xué)視角下的多模態(tài)話語(yǔ)

系統(tǒng)功能語(yǔ)言學(xué)（SFL）的多模態(tài)研究是系統(tǒng)功能語(yǔ)言學(xué)研究的一個(gè)子域。韓禮德繼承了J. R. Firth的思想，F(xiàn)irth 關(guān)注的是語(yǔ)言在不同語(yǔ)境中的使用方式，而不考慮語(yǔ)言使用形式的感知價(jià)值。語(yǔ)言學(xué)是理解個(gè)人與文化之間關(guān)系的社會(huì)行動(dòng)。韓禮德和弗斯的語(yǔ)言觀與馬克思主義的語(yǔ)言學(xué)是完全兼容的，都強(qiáng)調(diào)研究語(yǔ)言與社會(huì)之間的不可分離的關(guān)系，語(yǔ)言和社會(huì)過程是系統(tǒng)之間的相互作用。發(fā)源于語(yǔ)義學(xué)的系統(tǒng)功能語(yǔ)言學(xué)對(duì)于其他符號(hào)資源的研究是適用的。SFL 適用于分析口語(yǔ)和書面語(yǔ)言以及非語(yǔ)言資源創(chuàng)造意義的方式。Kress、van Leeuwen 和O’Toole分別開發(fā)了分析圖像的視覺語(yǔ)法理論和展示藝術(shù)的系統(tǒng)框架，率先將SFL 用于多模態(tài)研究[5]。在O’Toole 之后，O’Halloran 運(yùn)用SFL 方法來研究數(shù)學(xué)文本和課堂話語(yǔ)、實(shí)現(xiàn)圖像和數(shù)學(xué)符號(hào)的整合研究。目前從SFL 視角出發(fā)多模態(tài)的研究涉及三維空間、博物館展覽、建筑、網(wǎng)站、在線新聞、肢體語(yǔ)言、兒童繪本、學(xué)科知識(shí)等方面的研究 （O’Halloran, 2004;Dreyfus, Hood, & Stenglin, 2011）[6]。2020年馬丁中心舉辦的多模態(tài)會(huì)議中，相關(guān)的學(xué)者O’Halloran，張德祿、馮德正涉及的相關(guān)議題有多模態(tài)的大數(shù)據(jù)驅(qū)動(dòng)研究，多模態(tài)話語(yǔ)與認(rèn)知和文化的融合研究及對(duì)多模態(tài)本體的語(yǔ)法研究。

1.3 互動(dòng)語(yǔ)言學(xué)視角下的多模態(tài)話語(yǔ)

人類在交際過程中，語(yǔ)言是主要的載體，非語(yǔ)言的信息輸入往往被認(rèn)為是語(yǔ)言的附屬。雖然關(guān)于語(yǔ)言和非語(yǔ)言之間的相互作用已經(jīng)建立了許多有價(jià)值的工作，但毫無疑問的是把語(yǔ)言放在中心位置的觀點(diǎn)限制了我們對(duì)交互的復(fù)雜性的理解。因此，筆者將不再認(rèn)為語(yǔ)言總是在互動(dòng)中扮演中心角色。互動(dòng)語(yǔ)言學(xué)更加關(guān)注人與人之間的面對(duì)面的交流活動(dòng)，語(yǔ)言也只是眾多交際手段之一，手勢(shì)、凝視或頭部運(yùn)動(dòng)可能從屬于語(yǔ)言交流。哪一種交流模式起到主要作用，要看語(yǔ)境和交際目的的需要。在特定的互動(dòng)中，手勢(shì)、注視和頭部運(yùn)動(dòng)也可能占據(jù)優(yōu)勢(shì)地位，而語(yǔ)言可能處于從屬地位或完全不存在?；蛘?，有時(shí)許多溝通渠道在一個(gè)特定的互動(dòng)中發(fā)揮著不可或缺的作用，而沒有一個(gè)渠道比另一個(gè)渠道更重要。該文所說的多模態(tài)互動(dòng)是互動(dòng)的多模態(tài)性。

Kenneth Pike 提出的語(yǔ)言整合理論是多模態(tài)互動(dòng)的語(yǔ)言學(xué)理論基礎(chǔ)。Pike 的語(yǔ)言整合理論認(rèn)為人的互動(dòng)行為是由語(yǔ)言行為和非語(yǔ)言行為共同構(gòu)成的整體。在傳統(tǒng)的語(yǔ)言學(xué)理論中，語(yǔ)言被認(rèn)為是一個(gè)抽象的，獨(dú)立的，自足的結(jié)構(gòu)系統(tǒng)，以此為基礎(chǔ)在分析人類交際行為中，必然忽略非語(yǔ)言成分的作用，也很難對(duì)參與人類交際的手勢(shì)、眼神、肢體動(dòng)作、韻律等做出合理的分析和解釋。所以一套整合理論才更適合研究人類的交際活動(dòng)。多模態(tài)互動(dòng)正是這樣一種整合理論視角和方法?；?dòng)分析關(guān)注微觀的語(yǔ)言模態(tài)中的詞匯、句法與韻律和肢體運(yùn)動(dòng)相互協(xié)同作用。

多模態(tài)互動(dòng)重視對(duì)互動(dòng)參與者的語(yǔ)言、身體活動(dòng)和周圍環(huán)境進(jìn)行微觀序列分析，其哲學(xué)基礎(chǔ)是現(xiàn)象學(xué)。以胡塞爾早期理論和Merleau-Ponty 為代表的現(xiàn)象學(xué)主張將事物的本質(zhì)還原到其現(xiàn)實(shí)存在中，通過對(duì)人自身的存在體驗(yàn)和周圍環(huán)境及二者之間直接原始關(guān)系的思考來達(dá)到對(duì)人和世界的理解。多模態(tài)互動(dòng)主要研究主要涉及如下幾個(gè)方面。一是多模態(tài)互動(dòng)單位研究。研究語(yǔ)言單位，包括詞匯，句法和韻律單位。身體活動(dòng)單位包括手勢(shì)單位，頭部活動(dòng)單位。二是多模態(tài)語(yǔ)法研究，目前對(duì)這一研究尚存爭(zhēng)議。構(gòu)式語(yǔ)法研究和互動(dòng)研究?jī)蓚€(gè)領(lǐng)域是目前討論的焦點(diǎn)。三是多模態(tài)資源與行為構(gòu)成研究。該研究不探討語(yǔ)言的實(shí)施行為，主要關(guān)注身體活動(dòng)在構(gòu)建行為中的作用。四是多模態(tài)資源與話輪組織研究。該研究主要關(guān)注日常會(huì)話在組織方式過程中，話輪前、中和結(jié)束3 個(gè)環(huán)節(jié)中，身體資源和其他多模態(tài)資源如何開啟話輪，在話輪中如何建構(gòu)話語(yǔ)，在話輪結(jié)束時(shí)，多模態(tài)資源的規(guī)律性作用研究。

目前，我們對(duì)手勢(shì)、頭部活動(dòng)、身體空間位置、面部表情等符號(hào)系統(tǒng)內(nèi)部組織特點(diǎn)已經(jīng)有了較為深入系統(tǒng)的認(rèn)識(shí)。比如，手勢(shì)單位的形式和結(jié)構(gòu)，頭部活動(dòng)的結(jié)構(gòu)，參與者身體相對(duì)空間位置的組織結(jié)構(gòu)，以及面部表情的分類等?？偟目磥?，當(dāng)一個(gè)行為可以只用語(yǔ)言、身體活動(dòng)、或兩者共同來完成時(shí)，這些資源在選擇和分配中是如何實(shí)現(xiàn)協(xié)同作用的？這是目前互動(dòng)語(yǔ)言學(xué)和多模態(tài)互動(dòng)研究值得探討的問題。

1.4 語(yǔ)用學(xué)視角下的多模態(tài)話語(yǔ)

語(yǔ)用學(xué)一直以來被理解為一種研究言語(yǔ)交際的方法，但是語(yǔ)言學(xué)家們已經(jīng)在語(yǔ)用范疇內(nèi)研究語(yǔ)境中的其他交際方式。正如Novitz 在1977年提出，奧斯汀已經(jīng)承認(rèn)，雖然言外之意通常是通過說話來實(shí)現(xiàn)的，但使用非言語(yǔ)手段來實(shí)現(xiàn)這些行為是沒有限制的，只要使用的手段是常規(guī)的。因此Abell（2005）,不得不求助于分析類言語(yǔ)行為和Gricean 溝通準(zhǔn)則，試圖解釋圖片是如何產(chǎn)生意義和被表征的。

意義生成的語(yǔ)篇層面的研究隸屬于社會(huì)符號(hào)學(xué)和功能語(yǔ)言學(xué)對(duì)多模態(tài)的研究。語(yǔ)用學(xué)有關(guān)多模態(tài)的研究起步較晚。語(yǔ)用學(xué)關(guān)注的是接受者如何對(duì)多模態(tài)語(yǔ)篇進(jìn)行推理的。語(yǔ)用學(xué)的多模態(tài)分析學(xué)者強(qiáng)調(diào)的是在特定語(yǔ)境中如何實(shí)現(xiàn)交際目的的共同興趣并提出語(yǔ)境中多模態(tài)語(yǔ)篇交際使用的研究?；谡Z(yǔ)用的多模態(tài)交際分析方法與基于語(yǔ)法或話語(yǔ)的多模態(tài)交際分析方法相比，并不將語(yǔ)言系統(tǒng)作為在語(yǔ)境中進(jìn)行意義交流的基礎(chǔ)。語(yǔ)用學(xué)者更關(guān)注使用多模態(tài)文本做了什么，以及如何得到它們的解釋，而不是關(guān)于它們的結(jié)構(gòu)和連貫性的問題[7]?？梢姡浑H行為理論可以比符號(hào)的多模態(tài)組合理論更好地解釋多模態(tài)關(guān)系。

語(yǔ)用學(xué)應(yīng)用于多模態(tài)研究重要的是理論框架的合理選擇問題，Mubeng 以韓禮德的系統(tǒng)功能語(yǔ)法及符號(hào)學(xué)理論為基礎(chǔ)提出了多模態(tài)語(yǔ)用分析方法,包括功能、符號(hào)和認(rèn)知3 個(gè)基本組成部分,以及每個(gè)組成部分的3 個(gè)分析層次,即概念、人際和語(yǔ)篇。國(guó)內(nèi)學(xué)者陳新仁和錢永紅借鑒系統(tǒng)功能語(yǔ)言學(xué)理論框架構(gòu)建適用于語(yǔ)用分析的多模態(tài)語(yǔ)用分析框架。同樣。在自然會(huì)話中探討即席話語(yǔ)的手勢(shì)及其表意和言語(yǔ)行為與多模態(tài)的協(xié)同作用。國(guó)內(nèi)學(xué)者黃立鶴自建多模態(tài)語(yǔ)料庫(kù)，基于鮮活整人研究框架，以言語(yǔ)行為為切入點(diǎn)，探討人的體貌、韻律等方面的協(xié)同作用[8]。

2 多模態(tài)話語(yǔ)研究的共性與差異

在研究的共性方面，研究的主體都涉及人的多模態(tài)交際方式。研究的目的都是探討多模態(tài)話語(yǔ)的交際目的性和在交際過程中的實(shí)現(xiàn)方式及固有的規(guī)律。研究理論方面相互借鑒，功能語(yǔ)言學(xué)研究涉及言語(yǔ)行為的多模態(tài)性，語(yǔ)用學(xué)的研究涉及語(yǔ)境中的多模態(tài)符號(hào)資源的影響。

研究的差異方面存在研究視角的不同，符號(hào)學(xué)和功能語(yǔ)言學(xué)是以元功能理論為基礎(chǔ)，探討概念意義，人際意義和語(yǔ)篇意義在多符號(hào)化中的再生成過程[9]。社會(huì)符號(hào)學(xué)和功能語(yǔ)言學(xué)更關(guān)注語(yǔ)義層面的多模態(tài)話語(yǔ)的生成?；?dòng)語(yǔ)言學(xué)以整合理論為基礎(chǔ)，一般采用會(huì)話分析的模式探討人與人的互動(dòng)過程中的多模態(tài)交際手段的實(shí)施過程，尋找內(nèi)部的規(guī)律性特征。語(yǔ)用學(xué)對(duì)多模態(tài)話語(yǔ)的研究，在理論上有對(duì)功能語(yǔ)言學(xué)的借鑒，也有自身的獨(dú)創(chuàng)性，考查在語(yǔ)言使用中，如反問句、言語(yǔ)行為等語(yǔ)用方面與多模態(tài)的融合研究。

3 結(jié)語(yǔ)

在新媒體時(shí)代，人的交際活動(dòng)，無論是通過音視頻還是通過圖片，交往形式的多樣化決定了人們交際方式的改變，對(duì)于多模態(tài)研究的需求與日俱增。多模態(tài)符號(hào)的研究本身就是一個(gè)跨學(xué)科和多學(xué)科融合的過程，該文概述了多模態(tài)話語(yǔ)研究的幾個(gè)語(yǔ)言學(xué)分支，分析各自研究特點(diǎn)，理論架構(gòu)，符號(hào)傳承和在本領(lǐng)域的概念解讀。隨心智哲學(xué)的進(jìn)一步發(fā)展，多模態(tài)研究要以體驗(yàn)認(rèn)知為基礎(chǔ)，結(jié)合心理學(xué)理論，為其發(fā)展方面提供相應(yīng)的理?yè)?jù)。研究總結(jié)發(fā)現(xiàn)多模態(tài)研究在各自的語(yǔ)言學(xué)研究領(lǐng)域中，形成既自成一體，又可以相互交叉，互為補(bǔ)充的關(guān)系。通過對(duì)多模態(tài)話語(yǔ)研究的源起和發(fā)展進(jìn)行簡(jiǎn)單的梳理，為模態(tài)話語(yǔ)研究的理論范式和歸屬進(jìn)行清晰的界定，為多模態(tài)話語(yǔ)研究提供借鑒。