鄒俊飛

(衡陽(yáng)師范學(xué)院 外國(guó)語(yǔ)學(xué)院,湖南 衡陽(yáng) 421002)

隨著數(shù)字技術(shù)的發(fā)展和不同媒介的運(yùn)用，現(xiàn)代廣告的內(nèi)容和形式越來(lái)越豐富。廣告由僅包含單一的語(yǔ)言模態(tài)逐漸向包含語(yǔ)言、圖像、聲音等多模態(tài)轉(zhuǎn)向。而近年來(lái)，廣告的多模態(tài)研究逐漸獲得研究者越來(lái)越多的關(guān)注，研究者開(kāi)始從將語(yǔ)言學(xué)理論簡(jiǎn)單應(yīng)用于圖像、手勢(shì)等非語(yǔ)言符號(hào)的分析，轉(zhuǎn)向?qū)Χ嗄B(tài)表意資源的跨學(xué)科系統(tǒng)闡釋與實(shí)證研究。因此，構(gòu)建具有獨(dú)特理論體系和分析方法的多模態(tài)研究正成為一個(gè)新興的人文學(xué)科[1]。

目前語(yǔ)言學(xué)家進(jìn)行多模態(tài)語(yǔ)篇分析時(shí)，主要基于兩個(gè)視角，即社會(huì)符號(hào)學(xué)視角和概念隱喻視角。兩種視角基于不同的理論基礎(chǔ)，其中社會(huì)符號(hào)學(xué)起源于系統(tǒng)功能語(yǔ)言學(xué)，而概念隱喻視角源自認(rèn)知語(yǔ)言學(xué)。20世紀(jì)90年代以來(lái)，以Kress、Leeuwen[2]為代表的社會(huì)符號(hào)學(xué)者基于韓禮德的系統(tǒng)功能語(yǔ)法，為描述圖像、音樂(lè)等非語(yǔ)言符號(hào)建立了視覺(jué)圖像語(yǔ)法。他們把基于語(yǔ)言符號(hào)發(fā)展起來(lái)的元功能理論拓展到其他符號(hào)資源，研究在一定語(yǔ)境下建構(gòu)意義的符號(hào)資源，探討其他非語(yǔ)言符號(hào)的語(yǔ)篇語(yǔ)義系統(tǒng)。但是符號(hào)學(xué)只能對(duì)語(yǔ)言和非語(yǔ)言模態(tài)的表意系統(tǒng)進(jìn)行抽象地描述，而不能充分闡釋多模態(tài)語(yǔ)篇中動(dòng)態(tài)的認(rèn)知表意機(jī)制。另一方面，自20世紀(jì)70年代起，廣告中的視覺(jué)(圖像)隱喻作為單模態(tài)修辭方式引起學(xué)者們的關(guān)注。之后，由于認(rèn)知隱喻理論的不斷發(fā)展，隱喻是一種思維和行為方式的觀點(diǎn)已被研究者普遍認(rèn)同。自20世紀(jì)90年代起，以Forceville[3-4]為代表的學(xué)者開(kāi)始關(guān)注廣告中的圖像隱喻。他們以概念隱喻理論為基礎(chǔ)，提出隱喻既可以用語(yǔ)言模態(tài)，也可以用其他模態(tài)，如圖像、手勢(shì)、聲音、構(gòu)圖等來(lái)表征意義。他們常常借助概念隱喻的相關(guān)理論，從認(rèn)知角度探討在不同語(yǔ)類(lèi)中不同模態(tài)對(duì)隱喻識(shí)別和意義解讀的作用。其中，作為多模態(tài)隱喻研究關(guān)注最早的語(yǔ)類(lèi)，廣告多模態(tài)隱喻研究已從平面圖文廣告逐漸拓展到動(dòng)態(tài)的電視、新媒體廣告等。

近10多年來(lái)，在“多模態(tài)”轉(zhuǎn)向的語(yǔ)境下，廣告多模態(tài)研究已成為國(guó)內(nèi)研究者關(guān)注的熱點(diǎn)。他們嘗試在不同學(xué)科領(lǐng)域如符號(hào)學(xué)、語(yǔ)言學(xué)、傳播學(xué)、心理學(xué)，運(yùn)用不同理論對(duì)廣告語(yǔ)篇中的語(yǔ)言和非語(yǔ)言各種模態(tài)進(jìn)行探討。隨著廣告多模態(tài)語(yǔ)篇研究的增多，研究中也存在一些問(wèn)題。如部分研究或是對(duì)模態(tài)的理解存在一些誤區(qū)，或是模糊了多模態(tài)隱喻的不同定義和分類(lèi)，或是對(duì)各種研究路徑及方法區(qū)分不清。因此，從雙重視角下厘清國(guó)內(nèi)廣告多模態(tài)語(yǔ)篇研究的基本概念、研究路徑、研究方法等，幫助研究者更好地了解廣告多模態(tài)語(yǔ)篇的研究熱點(diǎn)和發(fā)展趨勢(shì)，對(duì)多模態(tài)研究的發(fā)展很有助益。

一、雙重視角下的廣告多模態(tài)研究的理論基礎(chǔ)

(一)基于社會(huì)符號(hào)學(xué)視角

韓禮德[5]創(chuàng)建了系統(tǒng)功能語(yǔ)言學(xué)，提出語(yǔ)言是一種社會(huì)符號(hào)，具有一種意義資源(即意義潛勢(shì))。語(yǔ)篇是人們根據(jù)語(yǔ)境從意義潛勢(shì)中選擇的結(jié)果。以Kress、Leeuwen[2]為代表的社會(huì)符號(hào)學(xué)家在此基礎(chǔ)上，提出符號(hào)資源可以由社會(huì)中各種有意義的活動(dòng)構(gòu)成，各種符號(hào)(語(yǔ)言、圖像、聲音等)也都是一種意義資源。因此，根據(jù)社會(huì)符號(hào)學(xué)，在社會(huì)文化中形成的可以創(chuàng)造意義的符號(hào)資源就是模態(tài)，也就是說(shuō)，模態(tài)是用來(lái)傳遞信息的不同形式或渠道，如聲音、圖像、色彩、文字、構(gòu)圖、造型等。這種意義的多種呈現(xiàn)方式被稱(chēng)為多模態(tài)。符號(hào)學(xué)家認(rèn)為任何模態(tài)(如圖像、文字、音樂(lè)等)都可以構(gòu)建完整的表意系統(tǒng)。雖然圖像、聲音、手勢(shì)等非語(yǔ)言模態(tài)與文字模態(tài)不同，但它們具有同樣的語(yǔ)篇語(yǔ)義系統(tǒng)。因此，社會(huì)符號(hào)學(xué)家基于系統(tǒng)功能語(yǔ)言學(xué)框架，嘗試將語(yǔ)言學(xué)理論拓展至其他模態(tài)中，包括其分析范疇和方法。他們認(rèn)為語(yǔ)言的元功能、層次、連貫、態(tài)度等理論，都可以運(yùn)用到多模態(tài)語(yǔ)篇分析中。

在廣告多模態(tài)話語(yǔ)研究中，研究者探討廣告中擁有意義潛勢(shì)的各種符號(hào)如文字、圖像、聲音等如何通過(guò)組合、布局以及變化來(lái)協(xié)同構(gòu)建并傳遞其特定意義。Kress、Leeuwen[2]將系統(tǒng)功能語(yǔ)言學(xué)的元功能理論擴(kuò)展到視覺(jué)圖像上，建立了視覺(jué)圖像語(yǔ)法。與語(yǔ)言的三大元功能(概念功能、人際功能、謀篇功能)相對(duì)應(yīng)，他們構(gòu)建了視覺(jué)圖像的三大元意義，分別是再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義。同時(shí)，在對(duì)廣告多模態(tài)話語(yǔ)的解讀中，研究者還注重語(yǔ)境因素對(duì)意義構(gòu)建的影響。

(二)基于概念隱喻理論視角

Lakoff、Johnson提出的概念隱喻理論已經(jīng)證實(shí)“隱喻是一種思維和行為方式，語(yǔ)言只是概念隱喻的一種外在表現(xiàn)形式”[6]?；诖耍訤orceville[4]19為代表的學(xué)者提出，除了語(yǔ)言，其他模態(tài)如聲音、色彩、構(gòu)圖等也能構(gòu)建和表達(dá)概念，反映出其背后的認(rèn)知心理機(jī)制。他們致力于將語(yǔ)言學(xué)領(lǐng)域的概念隱喻研究拓展為跨學(xué)科的多模態(tài)隱喻研究。

在其專(zhuān)著《廣告中的圖畫(huà)隱喻》里，F(xiàn)orceville[3]首次在認(rèn)知語(yǔ)言學(xué)理論框架內(nèi)對(duì)廣告圖像隱喻進(jìn)行系統(tǒng)論述。之后，F(xiàn)orceville繼續(xù)發(fā)展和完善圖像隱喻理論，提出“多模態(tài)隱喻”的概念，將其由平面廣告拓展到漫畫(huà)、電視廣告及電影等語(yǔ)類(lèi)。多模態(tài)隱喻研究相關(guān)的最新成果被收錄在論文集《多模態(tài)隱喻》中，并在多模態(tài)研究領(lǐng)域引起較大反響。

Forceville把模態(tài)與人的感官相連，定義為“利用具體的感知過(guò)程可闡釋的符號(hào)系統(tǒng)”[4]19。因此，根據(jù)五種感官模態(tài)被分為視覺(jué)模態(tài)、聽(tīng)覺(jué)模態(tài)、味覺(jué)模態(tài)、嗅覺(jué)模態(tài)和觸覺(jué)模態(tài)。但這種分類(lèi)比較寬泛，F(xiàn)orceville[4]22又將模態(tài)細(xì)分為圖像、書(shū)面語(yǔ)言、口頭語(yǔ)言、聲音、手勢(shì)、音樂(lè)、味道、氣味等。而多模態(tài)隱喻的定義也有廣義和狹義之分，從狹義上來(lái)看，多模態(tài)隱喻是指隱喻的源域和目標(biāo)域分別用不同的模態(tài)來(lái)表征。而從廣義上來(lái)講，隱喻的源域和目標(biāo)域由兩種以上模態(tài)共同參與表征即可界定為多模態(tài)隱喻。多模態(tài)隱喻研究主要從認(rèn)知體驗(yàn)的角度，探討多模態(tài)隱喻的各模態(tài)如何協(xié)同實(shí)現(xiàn)意義構(gòu)建過(guò)程及影響意義解讀的因素等?？偠灾?，多模態(tài)隱喻研究經(jīng)歷了從圖像修辭到圖像隱喻再到概念隱喻多模態(tài)表征的飛躍。

二、國(guó)內(nèi)雙重視角下的廣告多模態(tài)語(yǔ)篇研究路徑及熱點(diǎn)

國(guó)外社會(huì)符號(hào)學(xué)視角下的多模態(tài)話語(yǔ)研究與概念隱喻視角下的多模態(tài)隱喻研究均起始于20世紀(jì)90年代，它們基于不同的理論框架，屬于在多模態(tài)轉(zhuǎn)向語(yǔ)境下的語(yǔ)篇研究的新范式。此后隨著國(guó)外多模態(tài)研究相關(guān)成果的引進(jìn)和推介，近十多年來(lái)多模態(tài)研究也逐漸引起

國(guó)內(nèi)研究者的關(guān)注，而廣告的多模態(tài)研究更成為研究者關(guān)注的熱點(diǎn)。

筆者以“多模態(tài)語(yǔ)篇”“廣告”為主題詞在中國(guó)知網(wǎng)檢索，對(duì)相關(guān)的文獻(xiàn)進(jìn)行篩選后共獲取157篇文獻(xiàn)。從文獻(xiàn)中可以看出，國(guó)內(nèi)廣告多模態(tài)研究起始于2007年，除了少數(shù)幾篇文獻(xiàn)探討多模態(tài)廣告語(yǔ)篇翻譯或?qū)Χ嗄B(tài)廣告語(yǔ)篇進(jìn)行批評(píng)性話語(yǔ)分析外，其余的文獻(xiàn)大多數(shù)都基于社會(huì)符號(hào)觀和多模態(tài)隱喻來(lái)研究，另外還有少數(shù)學(xué)者試圖將兩種視角融合進(jìn)行研究。下文研究者基于研究視角的不同對(duì)這些文獻(xiàn)進(jìn)行分析和梳理，總結(jié)十多年來(lái)雙重視角下國(guó)內(nèi)廣告多模態(tài)語(yǔ)篇研究的路徑和熱點(diǎn)，歸納研究發(fā)展的趨勢(shì)及存在的不足，以期對(duì)未來(lái)的廣告多模態(tài)研究有所助益。

(一)社會(huì)符號(hào)學(xué)視角下的廣告多模態(tài)話語(yǔ)研究

在國(guó)內(nèi)，對(duì)多模態(tài)語(yǔ)篇研究的理論探討始于李戰(zhàn)子[7]，她推介了Kress、Leeuwen從社會(huì)符號(hào)學(xué)視角探討多模態(tài)語(yǔ)篇的視覺(jué)語(yǔ)法，提出這種分析方法對(duì)于加深認(rèn)識(shí)語(yǔ)言的社會(huì)符號(hào)特點(diǎn)具有重要意義。系統(tǒng)功能語(yǔ)言學(xué)家朱永生、張德祿先后探索如何基于系統(tǒng)功能語(yǔ)言學(xué)建立多模態(tài)話語(yǔ)分析理論框架。朱永生[8]分析了多模態(tài)話語(yǔ)的產(chǎn)生和定義，探討多模態(tài)話語(yǔ)分析的理論基礎(chǔ)、研究?jī)?nèi)容和方法。張德祿[9]提出可以從文化、語(yǔ)境、意義、形式及媒體五個(gè)層面研究多模態(tài)語(yǔ)篇，同時(shí)還探討了各個(gè)模態(tài)之間的關(guān)系以及非語(yǔ)言模態(tài)是如何體現(xiàn)概念意義、人際意義和謀篇意義的。這些研究為不同語(yǔ)類(lèi)的多模態(tài)語(yǔ)篇研究提供了理論基礎(chǔ)和研究方向。

國(guó)內(nèi)基于系統(tǒng)功能語(yǔ)言學(xué)的廣告多模態(tài)語(yǔ)篇研究起始于2007年[10]，從2009年起不斷增長(zhǎng)。由于社會(huì)符號(hào)學(xué)理論起源于系統(tǒng)功能語(yǔ)言學(xué)，所以國(guó)內(nèi)研究者對(duì)于社會(huì)符號(hào)學(xué)理論和功能語(yǔ)言學(xué)理論未加嚴(yán)格區(qū)分，有些概念混用。從現(xiàn)有文獻(xiàn)來(lái)看，國(guó)內(nèi)多數(shù)研究都結(jié)合案例分析來(lái)探討、驗(yàn)證多模態(tài)話語(yǔ)分析理論框架。具體來(lái)說(shuō)，研究者通常以社會(huì)符號(hào)學(xué)中的視覺(jué)語(yǔ)法為基礎(chǔ)，結(jié)合不同主題內(nèi)容的平面或動(dòng)態(tài)廣告語(yǔ)料，提出適用于廣告的多模態(tài)分析模式，并試圖揭示不同模態(tài)，尤其是文字和圖像這兩種符號(hào)系統(tǒng)對(duì)構(gòu)建廣告語(yǔ)篇意義、發(fā)揮廣告功能的影響。(1)有些研究側(cè)重探討廣告多模態(tài)語(yǔ)篇的整體意義構(gòu)建，如彭漪、楊海燕[11]1以一則多模態(tài)平面商業(yè)廣告為例,探討多模態(tài)廣告語(yǔ)篇的整體意義構(gòu)建,驗(yàn)證了多模態(tài)語(yǔ)篇中各種符號(hào)資源之間的互動(dòng)和互補(bǔ)關(guān)系。張蔚[12]以“探索頻道”廣告為例證，展示語(yǔ)言、圖像等兩種符號(hào)所具有的表意性功能，證實(shí)了圖像符號(hào)在商標(biāo)形象意義構(gòu)建中的優(yōu)越性。李德志[13]解讀了旅游形象廣告超文本的多模態(tài)化,探討了廣告的意義解讀、視覺(jué)語(yǔ)篇的空間劃分以及讀者與圖像之間的社會(huì)關(guān)系。周怡[14]探討了央視公益廣告“Family”中各模態(tài)間如何共同協(xié)作進(jìn)行意義表達(dá)。(2)有些研究則側(cè)重廣告多模態(tài)語(yǔ)篇在某一個(gè)特定方面的意義表達(dá)。如侯建波[15]分析了國(guó)內(nèi)48個(gè)房地產(chǎn)多模態(tài)平面廣告，探討了房地產(chǎn)廣告人際意義系統(tǒng)、項(xiàng)目的選擇特征及其背后的原因。楊增成[16]在研究中提出廣告可以通過(guò)選擇恰當(dāng)?shù)哪B(tài)來(lái)構(gòu)建概念意義,使其能有效傳遞相關(guān)產(chǎn)品的特性，實(shí)現(xiàn)其促銷(xiāo)的目的。于雷雷、徐朝暉[17]收集了中英交通安全公益廣告各60例，通過(guò)對(duì)比分析找出中英廣告中多模態(tài)互動(dòng)意義的異同點(diǎn)及其理?yè)?jù)。

由于多模態(tài)話語(yǔ)本身的復(fù)雜性，有些研究將社會(huì)符號(hào)學(xué)理論與功能語(yǔ)言學(xué)的其他關(guān)聯(lián)理論結(jié)合來(lái)研究廣告多模態(tài)語(yǔ)篇。(1)和評(píng)價(jià)理論結(jié)合來(lái)探討廣告多模態(tài)語(yǔ)篇的態(tài)度意義，如毛現(xiàn)樁[18]以春晚公益廣告動(dòng)態(tài)語(yǔ)篇為語(yǔ)料進(jìn)行例證分析,考察其建構(gòu)態(tài)度意義的多種資源,分析態(tài)度意義的誘發(fā)條件和表達(dá)方式。在此基礎(chǔ)上，毛現(xiàn)樁[19]2018年又借助多模態(tài)視頻語(yǔ)篇分析軟件(MMAV),基于自建的英國(guó)交通安全類(lèi)電視公益廣告的小型語(yǔ)料庫(kù)，總結(jié)出其語(yǔ)篇發(fā)展模式和多模態(tài)態(tài)度資源的調(diào)配特征。(2)與情景語(yǔ)境理論結(jié)合。如王霞、孫陽(yáng)[20]以動(dòng)態(tài)廣告《老唱片》為例,從語(yǔ)篇外部環(huán)境入手,分析了情景語(yǔ)境的三個(gè)變量:語(yǔ)場(chǎng)、語(yǔ)旨、語(yǔ)式對(duì)多模態(tài)語(yǔ)篇意義生成和理解的制約作用。

(二)概念隱喻視角的廣告多模態(tài)隱喻研究

相對(duì)于社會(huì)符號(hào)學(xué)視角的多模態(tài)話語(yǔ)分析，基于概念隱喻的多模態(tài)隱喻分析起步稍晚，主要成果也可以分為理論評(píng)介和具體案例分析兩方面。在理論評(píng)介方面，趙秀鳳[21]詳細(xì)介紹多模態(tài)隱喻研究的緣起、發(fā)展，提及在多模態(tài)隱喻研究中廣告是受關(guān)注最早，最多的語(yǔ)類(lèi)，并預(yù)測(cè)了其發(fā)展前景，認(rèn)為多模態(tài)隱喻研究有助于推動(dòng)概念隱喻理論體系的發(fā)展和完善。謝競(jìng)賢[22]探討多模態(tài)隱喻的特點(diǎn)，并通過(guò)一個(gè)廣告圖片實(shí)驗(yàn)探討文字與非文字文本的關(guān)系。

在廣告多模態(tài)隱喻研究中，大多數(shù)研究都結(jié)合具體的廣告實(shí)例，運(yùn)用概念隱喻的雙域映射，概念整合等理論，從認(rèn)知角度探討多模態(tài)隱轉(zhuǎn)喻的本質(zhì)，運(yùn)作機(jī)制等。研究熱點(diǎn)包含以下方面：(1)廣告多模態(tài)隱喻的分類(lèi)及區(qū)別性特征；如宋麗麗[23]對(duì)平面廣告中的多模態(tài)隱喻類(lèi)型及其表現(xiàn)方式進(jìn)行分析。她將平面廣告中的多模態(tài)隱喻分為單域圖像呈現(xiàn)式，雙域圖像呈現(xiàn)式及文字-圖像互補(bǔ)式。程瑾濤[24]利用概念整合理論，結(jié)合具體實(shí)例，探討平面廣告創(chuàng)作中三種類(lèi)型的多模態(tài)隱喻：源域替換目標(biāo)域，源域與目標(biāo)域融合，源域與目標(biāo)域并置。(2)廣告多模態(tài)隱喻中涉及的概念隱喻，各模態(tài)的配置及作用；官科[25]以“中國(guó)夢(mèng)”系列公益廣告為語(yǔ)料，發(fā)現(xiàn)其隱喻主題主要是旅行隱喻、動(dòng)/植物隱喻、棋局隱喻和戲曲隱喻，在其模態(tài)配置中，源域一般包含畫(huà)面和文字兩種模態(tài)，目標(biāo)域由文字單一模態(tài)呈現(xiàn)。王揚(yáng)、向恩白[26]基于自建的國(guó)內(nèi)外汽車(chē)平面廣告語(yǔ)料庫(kù)，總結(jié)出汽車(chē)廣告的七種多模態(tài)隱喻表征類(lèi)型，并探討中英汽車(chē)廣告中多模態(tài)隱喻的主要表征方式的差異及原因。黃潔、何芬[27]探討了在益達(dá)口香糖系列微電影廣告中的多模態(tài)隱喻，研究發(fā)現(xiàn)其涉及三種概念隱喻:味覺(jué)隱喻、事件隱喻和實(shí)體隱喻。(3)影響廣告多模態(tài)隱喻意義構(gòu)建的因素。如才亞楠[28]探討了概念隱喻與文化認(rèn)知模式之間的相互作用和互動(dòng)機(jī)制。鄒俊飛[29]以58幅“中國(guó)夢(mèng)”系列公益廣告為語(yǔ)料，關(guān)注了在其多模態(tài)隱喻意義解讀中的文化突顯性。(4)多模態(tài)隱喻和轉(zhuǎn)喻的關(guān)系。張輝、展偉偉[30]以三個(gè)平面廣告為例討論了多模態(tài)隱喻和轉(zhuǎn)喻的本質(zhì)和認(rèn)知運(yùn)作。鐘書(shū)能、李丹婷[31]對(duì)一網(wǎng)絡(luò)視頻廣告進(jìn)行多模態(tài)隱喻和轉(zhuǎn)喻的識(shí)別和具體解讀，提出多模態(tài)隱喻很大程度上是通過(guò)轉(zhuǎn)喻實(shí)現(xiàn)的。黃潔、何芬[27]探討了益達(dá)微電影廣告中隱喻和轉(zhuǎn)喻的多種互動(dòng)模式，如多模態(tài)隱喻的建構(gòu)既涉及隱喻和轉(zhuǎn)喻的互動(dòng)、隱喻的平行式互動(dòng)和上下式互動(dòng)等。

(三)雙重視角融合下的廣告多模態(tài)語(yǔ)篇研究

在多模態(tài)話語(yǔ)分析中，基于系統(tǒng)功能語(yǔ)言學(xué)的社會(huì)符號(hào)觀和基于概念隱喻的多模態(tài)隱喻都擁有各自獨(dú)立的理論框架，但多模態(tài)話語(yǔ)研究作為一個(gè)新的研究領(lǐng)域，仍處于探索階段。因此，研究者將兩種視角融合來(lái)進(jìn)行研究，不斷在理論上和語(yǔ)料分析中進(jìn)行嘗試。馮德正[32]嘗試用系統(tǒng)功能理論來(lái)闡釋圖像隱喻的意義構(gòu)建，并對(duì)多模態(tài)隱喻的構(gòu)建與分類(lèi)提出自己的觀點(diǎn)。 他認(rèn)為可將視覺(jué)圖像的元功能資源看作隱喻潛勢(shì),而且可以通過(guò)映射方式與文字-圖像關(guān)系對(duì)多模態(tài)隱喻分類(lèi)，這兩種理論視角可相互補(bǔ)充。張德祿、郭恩華[33]也通過(guò)理論探討提出兩個(gè)研究視角既在理論范式上相互連接，又在話語(yǔ)分析實(shí)踐中相互補(bǔ)充。

除了理論探索，研究者也通過(guò)實(shí)例來(lái)進(jìn)行分析。如馮德正、邢春燕[34]以汽車(chē)平面廣告為語(yǔ)料，提出在多模態(tài)視覺(jué)語(yǔ)篇中，通過(guò)方位關(guān)系，空間隱喻也可以構(gòu)建社會(huì)現(xiàn)實(shí)與人際關(guān)系，將語(yǔ)言、圖像等各種意義載體組合并建構(gòu)為連貫的整體，達(dá)到廣告語(yǔ)篇特有的促銷(xiāo)目的。崔鑒[35]以FAMILY公益廣告為例，在后現(xiàn)代哲學(xué)框架中，將功能語(yǔ)言學(xué)和多模態(tài)隱喻結(jié)合來(lái)全面展示多模態(tài)語(yǔ)篇意義。余憶萍、李勇忠[36]以兩則可樂(lè)廣告為例，將視覺(jué)語(yǔ)法與多模態(tài)隱喻相結(jié)合來(lái)具體解讀多模態(tài)廣告的再現(xiàn)意義、互動(dòng)意義與構(gòu)圖意義的動(dòng)態(tài)構(gòu)建。

三、廣告多模態(tài)研究的發(fā)展趨勢(shì)和不足

經(jīng)過(guò)最近10多年的發(fā)展，雙重視角下的國(guó)內(nèi)廣告多模態(tài)研究已經(jīng)逐漸成熟，在各自的理論框架內(nèi)形成獨(dú)立的研究路徑和方法，在研究中越來(lái)越注重跨視角和跨學(xué)科的融合，研究方法也不斷創(chuàng)新，呈現(xiàn)出以下發(fā)展特點(diǎn)和趨勢(shì)。

(一)跨視角、跨學(xué)科的融合

在多模態(tài)轉(zhuǎn)向的語(yǔ)境中，除語(yǔ)言文字外，圖像、聲音等其他模態(tài)都能用來(lái)構(gòu)建語(yǔ)篇意義。因此，研究者嘗試把語(yǔ)言的相關(guān)理論拓展到其他模態(tài)中。廣告是多模態(tài)研究最受關(guān)注的語(yǔ)類(lèi)，其中不同符號(hào)系統(tǒng)之間的動(dòng)態(tài)協(xié)作隨處可見(jiàn)，加大了對(duì)其意義的識(shí)解難度。社會(huì)符號(hào)學(xué)家提出的視覺(jué)語(yǔ)法能整合語(yǔ)言符號(hào)與圖像符號(hào)，闡釋多模態(tài)語(yǔ)篇意義的構(gòu)建，為多模態(tài)隱喻提供分析基礎(chǔ)。同時(shí)，多模態(tài)隱喻能彌補(bǔ)視覺(jué)語(yǔ)法在認(rèn)知層面的不足，反映其意義建構(gòu)的動(dòng)態(tài)過(guò)程。另外，也有研究者[37]將批評(píng)話語(yǔ)分析理論，文本分析的互文理論[38-39]、修辭結(jié)構(gòu)理論[40]應(yīng)用到廣告多模態(tài)語(yǔ)篇中，提供了新的研究思路。

(二)研究方法的創(chuàng)新

廣告多模態(tài)研究多采用定性方法，選取一個(gè)或幾個(gè)實(shí)例進(jìn)行解讀。但是定性研究往往有主觀偏頗之嫌，因此，研究者開(kāi)始自建小型語(yǔ)料庫(kù)，將定性和定量研究相結(jié)合，如王揚(yáng)、向恩白[26]以國(guó)內(nèi)外汽車(chē)平面廣告為語(yǔ)料構(gòu)建一個(gè)語(yǔ)料庫(kù)(含250則廣告)，歸納出汽車(chē)廣告中存在的七種隱喻表征類(lèi)型及中英廣告中的差異。王小平、王軍[41]收集了30則電視公益廣告，研究發(fā)現(xiàn)了動(dòng)態(tài)廣告話語(yǔ)中多模態(tài)隱喻在模態(tài)調(diào)用層面存在一定的規(guī)律性。毛現(xiàn)樁[19]也自建了英國(guó)交通安全類(lèi)電視公益廣告的小型語(yǔ)料庫(kù)來(lái)進(jìn)行研究。

廣告多模態(tài)研究仍處于不斷探索中，研究里也存在以下不足：

(1)不同視角下的多模態(tài)語(yǔ)篇研究術(shù)語(yǔ)不夠規(guī)范統(tǒng)一，譬如功能語(yǔ)言學(xué)提出三大元功能為概念功能、人際功能和組篇功能。視覺(jué)語(yǔ)法提出與之對(duì)應(yīng)的三大意義，即再現(xiàn)意義、互動(dòng)意義、構(gòu)圖意義，但在文獻(xiàn)中卻有研究者用到“概念意義”“人際意義”等術(shù)語(yǔ)，將之混合使用，容易導(dǎo)致困惑。

(2)雖然研究開(kāi)始采用定量研究，但數(shù)量不多，且在語(yǔ)料庫(kù)的構(gòu)建中，對(duì)于多模態(tài)隱喻的識(shí)別程序不能形成統(tǒng)一規(guī)范、簡(jiǎn)單可行的標(biāo)準(zhǔn)，這樣也就無(wú)法解決語(yǔ)料的標(biāo)注和自動(dòng)識(shí)別的問(wèn)題，因此無(wú)法建立大型語(yǔ)料庫(kù)供廣大研究者共同使用。

(3)多模態(tài)研究理論未形成統(tǒng)一的體系。雖然研究者基于系統(tǒng)功能語(yǔ)言學(xué)和認(rèn)知概念隱喻等理論對(duì)多模態(tài)語(yǔ)篇進(jìn)行研究，但更多的是對(duì)原來(lái)語(yǔ)言理論的一種拓展延伸，并未真正建立起一套權(quán)威的、統(tǒng)一的多模態(tài)研究理論體系。

(4)對(duì)某一媒介文化單一角度的研究，往往可以納入到多模態(tài)研究的視域下。如江保鋒、聞婧[42]研究了民間藝術(shù)視覺(jué)圖式語(yǔ)境與電視公益廣告相結(jié)合，以其文化共鳴、審美共鳴和情感共鳴，將具有具象寓意、情景喻意和語(yǔ)義敘述的圖像語(yǔ)境構(gòu)建融入傳播語(yǔ)境的構(gòu)建之中，可以創(chuàng)作出符合時(shí)代需求的傳播語(yǔ)境。

在當(dāng)今社會(huì)，多媒介普遍存在，不容忽視，而多模態(tài)研究作為一門(mén)新興的學(xué)科，正處于探索發(fā)展階段，多模態(tài)研究的理論發(fā)展對(duì)于拓展人類(lèi)語(yǔ)言及意義的研究具有十分重要的意義。