魏景春

（武夷學(xué)院人文與教師教育學(xué)院，福建 武夷山 354300）

從視覺設(shè)計(jì)語法看廣告語篇中的圖文互動

魏景春

（武夷學(xué)院人文與教師教育學(xué)院，福建 武夷山 354300）

視覺設(shè)計(jì)語法以往的多模態(tài)話語分析較多關(guān)注圖文關(guān)系，忽視了圖像和文字的敘事過程。以廣告語篇為例，以Kress和van Leeuwen建立的視覺設(shè)計(jì)語法為主要理論框架，分析語篇中圖文互動的不同敘事過程。首先回顧了廣告語篇敘事中的語言分析及其局限，其次論述了視覺設(shè)計(jì)語法分析模型，最后考察了法航宣傳廣告敘事中的圖文互動。結(jié)果顯示，一方面，圖文互動的不同敘事過程有利于突顯多模態(tài)語篇的意識形態(tài)；另一方面，視覺設(shè)計(jì)語法有助于理解多模態(tài)互動中語篇的意義、生成的機(jī)制和意義接受的過程。

圖文互動；廣告語篇；敘事過程

一、引言

隨著媒體與傳播技術(shù)的發(fā)展，人們越來越關(guān)注語篇中非語言符號的意義生成機(jī)制。陳平原在論及圖文書的崛起時稱，“過去常說‘圖文并茂’，看重的是圖文書的外在形式；其實(shí)，更重要的是圖像與文字之間，是否能夠形成‘互動’關(guān)系［1］”。以往的廣告語篇研究的焦點(diǎn)集中在語言分析上，而視覺設(shè)計(jì)語法使圖文并茂的語篇擺脫了這種局限，研究者便可以考察不同的圖文敘事。張德祿認(rèn)為，“一種模態(tài)不足以表達(dá)清楚交際者的意義，從而利用另一者來進(jìn)行強(qiáng)化、補(bǔ)充、調(diào)節(jié)、協(xié)同，達(dá)到更加充分，或者盡量充分表達(dá)意義，讓聽話者理解話語的目的［2］”。廣告語篇中圖像和語言文本兩個不同的符號系統(tǒng)有各自的表達(dá)體系。因此，文章將以Kress和van Leeuwen建立的視覺設(shè)計(jì)語法為主要理論框架，分析廣告語篇中圖文互動的敘事過程，考察多模態(tài)廣告如何通過不同的敘事取得最佳的說服效果。

二、廣告語篇敘事中的語言分析及其局限

20世紀(jì)60年代，敘事學(xué)成為獨(dú)立的學(xué)科在法國誕生，為小說研究提供了重要的視角。敘事學(xué)逐漸成為一門研究各種敘事文本的綜合學(xué)科，研究對象包括：敘事詩、法律敘事、戲劇敘事、繪畫敘事、廣告敘事等。20世紀(jì)90年代后，經(jīng)典敘事學(xué)興起，開始關(guān)注文字?jǐn)⑹屡c非文字媒介敘事在內(nèi)容、形式和接受等方面的異同。通過分析文字?jǐn)⑹潞头俏淖置浇樵趦?nèi)容、形式、接受等方面的異同，可以進(jìn)一步探索敘事藝術(shù)的形式結(jié)構(gòu)，分析敘事藝術(shù)研究范式的嬗變及其原因［3］。早期的學(xué)者運(yùn)用結(jié)構(gòu)主義敘事學(xué)對廣告展開研究，Dennis Brand在《共謀的創(chuàng)意：對“黑白威士忌”廣告策略的符號分析》一文中，以Greimas、Ferdinand de Saussure等人的主張和方法作為自己的理論基礎(chǔ)，認(rèn)為每個廣告都可以被當(dāng)作完整敘事的省略片段進(jìn)行閱讀。Roland Barthes把敘事等同于情節(jié)化（emplotment），是人的記憶、認(rèn)知、夢和幻想等活動包含的結(jié)構(gòu)，并在《圖像修辭學(xué)》里將敘事學(xué)引入廣告研究，分析了廣告的敘事機(jī)制［4］。國內(nèi)學(xué)者在廣告敘事方面進(jìn)行了廣泛的探究。王偉明在語義方陣的基礎(chǔ)上總結(jié)了10種廣告敘事類型與模式，即證明型、說教型、溝通型、承諾型、圓滿型、禮儀型、抒情型、享樂型、成功型和虛幻型［5］；張路黎研究了廣告敘事與情境創(chuàng)造的關(guān)系，指出廣告敘事就是將廣告訴求編碼為受眾容易接受的符號形式，虛擬美好情境促使認(rèn)同的一種文化交流過程［6］；齊蔚霞討論了現(xiàn)代廣告的原型敘事，認(rèn)為有力的廣告敘事必定意味著對原型的正確利用，原型能呈現(xiàn)人的典型生存情境，喚起接受者的感性反應(yīng)［7］。劉芳分析了微電影廣告的敘事結(jié)構(gòu)，具體表現(xiàn)為敘事結(jié)構(gòu)以線性為主，非線性為輔；敘事情景以感性為主，理性為輔；敘事時空以連續(xù)為主，跳躍為輔［8］。

縱覽國內(nèi)外廣告語篇的敘事研究，大多都以敘事學(xué)為理論框架。該研究與以往不同的是從視覺設(shè)計(jì)語法的角度探析敘事過程，綜合了語言和非語言符號資源在敘事表征方面的協(xié)同機(jī)制。Matthiessen指出，“符號系統(tǒng)分布著不同的表達(dá)資源，雖然在內(nèi)容層上它們都有不同的符號供用特征，但在語境下它們與語言一起會實(shí)現(xiàn)統(tǒng)一的意義表征［9］”。

三、廣告語篇敘事的視覺設(shè)計(jì)語法分析模型

Halliday提出的語言三大功能為描述圖片提供了一個起點(diǎn)，不僅是因?yàn)樗m用于語言，也為思考各種模態(tài)的意義表征提供了源泉。Kress&van Leeuwen認(rèn)為，圖片與語言中的小句一樣體現(xiàn)經(jīng)驗(yàn)的三個方面：參與者（被描寫的是誰或什么）、過程（被描寫的動作或關(guān)系）和環(huán)境成分（地點(diǎn)、時間、方式等）［10］55。圖片把來自語言和圖片符號系統(tǒng)的意義示例化，從社會符號學(xué)角度對其解讀應(yīng)建立在對視覺意義的描述之上。圖片是使作者和讀者之間建立感情關(guān)系最重要的手段，它通過使用色彩創(chuàng)造視覺場景最能建立語篇的感情基調(diào)。在敘事文本中，圖片通過人際元功能實(shí)現(xiàn)的角色、關(guān)系和感情，不僅有利于確立在讀者與作者之間、角色本身之間的關(guān)系，更為重要的是能有效確立讀者與敘事角色之間的關(guān)系。

Kress&van Leeuwen對視覺意義的描述以社會符號學(xué)為基礎(chǔ)，吸收了Halliday的系統(tǒng)功能語言學(xué)思想，確立了圖像的再現(xiàn)意義、互動意義和構(gòu)圖意義，形成了與語言敘事對應(yīng)的視覺敘事過程［10］78，見表1。

表1 視覺和語言敘事過程

每個符號動作涉及兩類參與者：互動參與者（interactive participant）和被表征參與者（represented participant）。前者是交際行為的參與者，包括說話人、聽眾、作者、讀者、圖像制作者和觀眾；后者是交際的主要內(nèi)容，包括人物、地點(diǎn)和事物，它們通過口語、書面語或圖像被表征，是言談、書寫和圖像制作中的參與者。當(dāng)參與者被矢量連起來時，表示“在做某事”，Kress&van Leeuwen把這種矢量模式稱為“敘事”。敘事模式旨在呈現(xiàn)展開的行動和事件、變化過程和即時空間設(shè)計(jì)（transitory spatial arrangements）［10］59。視覺敘事命題的標(biāo)志是矢量的存在，即敘事結(jié)構(gòu)總有一個矢量。在圖片中，被描述物形成的矢量構(gòu)成了斜線。矢量是行動中的人體、四肢或工具形成的，也有的把被表征成分轉(zhuǎn)變?yōu)樾本€。傾斜的馬路是一種矢量，行駛于馬路上的車輛是“動作者”，過程是“行駛”。像圖表等抽象的圖像中，敘事過程是由抽象的圖表實(shí)現(xiàn)的，帶箭頭的線段顯示指向性。要實(shí)現(xiàn)敘事表征，指向性必須存在。沒有指向性的連接線條構(gòu)成的分析結(jié)構(gòu)表示“有聯(lián)系或關(guān)系”。抽象圖像中的矢量更難轉(zhuǎn)碼，要明白圖像形式上在干什么，才利于解讀。圖表把事件表征為空間配置，把“過程”轉(zhuǎn)變?yōu)椤跋到y(tǒng)”。圖表像名詞化寫作形式，自然風(fēng)景畫有具體的人類參與者和過程，像講故事、故事與人或動作，與他們做的事有關(guān)，故事中很多意義用動詞實(shí)現(xiàn)。箭頭在系統(tǒng)功能語法中的系統(tǒng)網(wǎng)絡(luò)里常被轉(zhuǎn)碼為選擇。

當(dāng)視覺敘事命題有兩個參與者時，一個是動作者，一個是目標(biāo)，屬于單向交易過程，動作者常是最突出的參與者，通過大小、位置、與背景的對照、色彩飽和度、醒目程度、焦點(diǎn)和心理突顯體現(xiàn)出來。圖像或圖表中只有一個參與者時，參與者常是動作者，這是非交易性結(jié)構(gòu)。非交易性的行為沒有目標(biāo)，即沒有受事，這種動作過程相當(dāng)于語言中的不及物動詞。有時只有一個矢量和目標(biāo)，目標(biāo)是矢量指向的參與者，也是動作的承受者和動作的目標(biāo)。傾斜制造斜線，從而產(chǎn)生矢量。雖然圖表中的過程和結(jié)構(gòu)是視覺的，但參與者不同。視覺結(jié)構(gòu)把視覺成分聯(lián)系到一起，但這些視覺成分可以是一個詞、文本、圖像、數(shù)字或等式。箭頭作為矢量，方框作為參與者是從語言到視覺的無意識的轉(zhuǎn)化，但這兩種模態(tài)有不同的組織方式。有些交易結(jié)構(gòu)是雙向的，參與者時而是動作者，時而是目標(biāo)。

同一文化的視覺結(jié)構(gòu)和語言結(jié)構(gòu)都可表達(dá)意義，但表征同一事物，這兩種手段不能互相替換，只有通過詳細(xì)的比較才能理清它們?nèi)绾我圆煌男问綄?shí)現(xiàn)相似的意義。雖然視覺敘事結(jié)構(gòu)容易轉(zhuǎn)化，但它同語言結(jié)構(gòu)不是一一對應(yīng)的關(guān)系。與交易行為一樣，只有一個參與者的物質(zhì)過程在表征事件時，事件與參與者不存在關(guān)系，對參與者不產(chǎn)生影響。在句子“Many people migrated”中，不能再增加一個參與者，即不能說“Many people migrated their relatives”。但句子中可增加環(huán)境成分“Many people migrated to Australia”，與交易行為一樣，有兩個參與者的物質(zhì)過程涉及兩個參與者，如“Migrants invaded Australia”。但語言事件和視覺事件不同，有事件產(chǎn)生過程的語言事件不會有動作者，如“Many of my relatives did”，在視覺事件中動作者可以用，但也可省略，相當(dāng)于在被動語態(tài)中省略施事，如“Many of my relatives were killed”。同樣，英語中的許多動作過程可帶第三個受益人（beneficiary），如“Mary gave him the book”中的“him”，但在圖像中這是不可能的，句子中的受益人只能是圖像中的目標(biāo)。此外，英語中缺乏視覺模態(tài)的結(jié)構(gòu)手段來表征循環(huán)的事件。雖然語言參與者可有雙重角色，如“He made them do it”中“them”是“make”的目標(biāo)，也是“do”的動作者。英語中也沒有交互過程，要體現(xiàn)交互者，英語得用反身代詞。單個視覺非交易反應(yīng)相當(dāng)于Halliday的行為過程（behavioral process）［11］。這種過程只能有一個參與者，且必須是人，體現(xiàn)有限的動作、生理、心理行為場，但非交易反應(yīng)的視覺意義更有限，因?yàn)樗挥幸环N行為，即觀看（looking）。作為投射的心理過程和言語過程根據(jù)語法標(biāo)準(zhǔn)就能加以區(qū)分。例如，心理過程包括知覺過程“see”，“hear”，情感過程“l(fā)ike”，“fear”，“wish”和認(rèn)知過程“know”，“think”，“believe”。每個過程都有感知者（senser）和現(xiàn)象（phenomenon）。感知者是人或被表征為人的參與者，現(xiàn)象是感知者看到，喜歡或知道的人或事物?，F(xiàn)象可通過參與者或整個結(jié)構(gòu)體現(xiàn)，這一點(diǎn)與圖像一樣。句子“Many people want to migrate to Australia”中的“to migrate to Australia”是現(xiàn)象，這區(qū)分了心理過程和交易。交易中不能有小句充當(dāng)目標(biāo)，但交易反應(yīng)，若需要，與知覺過程的次類有關(guān)，因?yàn)榉且曈X現(xiàn)象不能直接用視覺符號實(shí)現(xiàn)。心理過程構(gòu)成了視覺符號中的一個次類。沒有視覺結(jié)構(gòu)手段嚴(yán)格區(qū)分認(rèn)知和情感過程，而認(rèn)知和情感過程是英語中概念資源的特征。

在英語中言語過程和心理過程不同因?yàn)樗鼈儾恍枰粋€言說者（sayer），可以說“The document said that the library had been rebuil.”，但不能說“The document thought that the library had been rebuilt”。此外，與心理過程一樣，言語過程可讓整個小句作為賓語，有兩種形式：直接引語和間接引語。但在視覺上無法直接表達(dá)這種差異，因?yàn)閷υ捙菘偸侵苯右?。圖像顯示的三種環(huán)境成分：方位、手段和伴隨，它們都存在英語中，但這絕不是唯一的三種。英語中允許在敘事命題中增加所有的信息，如過程（發(fā)生了什么）、參與者（涉及的人或物）、時間（發(fā)生時間、持續(xù)了多久）、目標(biāo)、原因等。

四、法航宣傳廣告敘事中的圖文互動

敘事理論家在考慮語言文本的視點(diǎn)時，常區(qū)分“誰說的”、“誰看到的”，即敘述故事的聲音和敘述者。盡管“誰說的”只與語言文本有關(guān)，但“誰看到的”既與語言意義有關(guān)，也與視覺意義有關(guān)。純視覺文本的讀者只有通過看才能了解故事，但讀者可成為不同的“看客”（viewing personas）。旁觀者或通過建立聯(lián)系，與某角色產(chǎn)生共鳴，成為進(jìn)入故事世界的瞬間參與者。這些不同的可能性與語言敘事提供的焦點(diǎn)形成和諧的關(guān)系，如圖1所示。視覺語法中，有目光注視的圖片期待讀者的參與，稱為“要求”（demand）。說到“要求”（demand）圖片中人或動物的目光朝向讀者。

圖1 法國航空公司宣傳廣告

圖1中央位置是一名側(cè)躺在藍(lán)色座椅上的女性，身后是黃色的靠墊，她面帶笑容，目光投向右側(cè)，形成視角，期待讀者參與。Kress&van Leeuwen指出被描寫物與讀者建立了一種接觸，因?yàn)槟抗庵圃炝酥苯訂柡虻囊曈X形式。它向讀者以視覺的“你/你們（you）”打招呼［10］117。圖片中角色的目光朝向讀者時就會產(chǎn)生類似于現(xiàn)實(shí)生活中人與人之間的目光接觸。與語言相比，目光注視是向讀者提出要求，說服性不強(qiáng)。要求的本質(zhì)取決于被描述者的面部和身體姿勢，是友好、蔑視、引誘還是迷惑等，從而可推斷他們的社會關(guān)系和對話角色。面部和身體姿勢主要起著表明人物情感的作用，只有一些儀式化的動作，如招手示意和舉手示意暫停，才讓讀者處于具體的行為角色。因此，可把面部和身體姿勢視為體現(xiàn)與語言態(tài)度資源一樣的意義，而不是對話交流的協(xié)商意義。讀者對被描述人物的情感回應(yīng)與讀者的立場有關(guān)，與目光是否朝向讀者無關(guān)。

圖1包括上中下三個部分，頂部和底部都是說明性文字，中間是圖片。圖片的四周依次是紅色的禮品盒、黃色的行李箱、紅色的牙刷、紅色的牙膏、藍(lán)色的杯子、紅色的蛋糕、窗戶和陽光。圖片中的人物是參與者，他們不僅與讀者有聯(lián)系，而且還參與各種社會關(guān)系。角色的空間距離遠(yuǎn)近與讀者解讀的方式有關(guān)。參與和權(quán)力（involvement and power）系統(tǒng)是否能確定讀者的位置取決于視角的使用。視角創(chuàng)設(shè)主體位置，從特定視角看人物。參與的多少由水平角實(shí)現(xiàn)。圖1中，人物和場景正面呈現(xiàn)出來時，他們屬于讀者世界的一部分。

顏色是實(shí)現(xiàn)所有三種元功能的視覺資源。圖1中，紅黃藍(lán)是整幅圖的主要色調(diào)。盡管人物描寫的風(fēng)格已為圖片的本質(zhì)和期待讀者參與方面提供了指數(shù)，但能讓圖片最快產(chǎn)生親密效果的就是顏色了。在概念元功能方面，顏色用來表征事物的外觀，如綠色表示草的顏色，白色表示雪，紅色表示血等。語篇元功能方面，顏色用來對比、加強(qiáng)或使圖片元素前景化，形成突顯的效果。一種顏色的重復(fù)使用能起到銜接，屬于視覺押韻，把不同元素連接成一個敘事。這一點(diǎn)在上圖中體現(xiàn)為：從上往下看，依次是黃色的文字、黃色的靠墊、黃色的行李箱、黃色的文字；由遠(yuǎn)及近，依次是紅色的蛋糕、紅色的牙刷牙膏、紅色的禮品盒；由近及遠(yuǎn)看，依次是藍(lán)色的刷牙杯、藍(lán)色的座椅和藍(lán)色的圖片背景，形成了由點(diǎn)到面的輻射狀。黃色構(gòu)成了“日”字型，紅色形成了一條傾斜的對角線，藍(lán)色形成了一條以杯子為起點(diǎn)不斷延伸的射線。人際元功能方面，顏色的重要性在于它對讀者產(chǎn)生的情緒效果，圖1中，紅黃藍(lán)色彩明快，給人舒適的感覺。人們普遍認(rèn)為淺亮色對讀者的感受產(chǎn)生的影響與深色暗淡格調(diào)和只有黑白兩色的會很不同。這種差異不是經(jīng)過細(xì)看圖片內(nèi)容或得知故事事件后產(chǎn)生的，而是對顏色選擇發(fā)自內(nèi)心的回應(yīng)。

除了圖片，廣告還含有四個小句：（1）France is in the air.（2）Our world revolves around you.（3）Welcome to our Business Class，（4）where your comfort is our priority.以下是對小句的及物性過程分析和敘事過程對比，見表2與表3：

表2 及物性過程分析

表3 敘事過程對比

通過語言和視覺交際的敘事過程對比發(fā)現(xiàn)，書寫符號模態(tài)和視覺交際模態(tài)有各自實(shí)現(xiàn)相同語義關(guān)系的獨(dú)特手段。在語言中由行為動詞（action verbs）體現(xiàn)的，在視覺上由矢量體現(xiàn)。不是由語言體現(xiàn)的所有關(guān)系都能通過視覺體現(xiàn)，反之亦然。有些關(guān)系只能由視覺體現(xiàn)，有些只能由語言體現(xiàn)，有些用視覺更容易，有些則用語言更容易。符號模態(tài)之間的體現(xiàn)取決于社會、符號模態(tài)本身的潛勢和局限。視覺交際應(yīng)放在社會語境中理解，不同社會群體和機(jī)構(gòu)使用的視覺模態(tài)不同。視覺結(jié)構(gòu)不是簡單地再現(xiàn)現(xiàn)實(shí)結(jié)構(gòu)，它們生成的現(xiàn)實(shí)圖像與社會結(jié)構(gòu)的興趣有關(guān)，影響圖像的生成、流通和閱讀，體現(xiàn)意識形態(tài)。視覺結(jié)構(gòu)不僅是形式上的，它們還體現(xiàn)深層重要的語義層面。

五、結(jié)語

綜上所述，語言文本和圖片以各自不同的形式獨(dú)立實(shí)現(xiàn)意義系統(tǒng)。語言和圖片屬于同一社會的文化意義和結(jié)構(gòu)，雖然符號手段不同，但符號過程近似，這使二者在很大程度上能匹配。作為一種表征資源，圖片同語言一樣會展示規(guī)律性。語言文本隨時間展開，呈動態(tài)性和序列狀。語言在識解時間指示、序列、方位、相位和體范疇方面有豐富的潛勢。相比之下，單張圖片容易被整體瞬間領(lǐng)會，視覺符號能表達(dá)非序列空間對比關(guān)系。在理解人類情感方面，語言和圖片的共用特征能相得益彰。運(yùn)用獨(dú)特的選項(xiàng)范疇或配置，每個符號在分享語義負(fù)荷、加強(qiáng)共有意義和形成意義對比方面都能生成類似的意義。這些符號方向，無論是什么模態(tài)，其特征都適用于所有的人類意義構(gòu)建?？傊?，圖文互動的不同敘事不但有利于突顯語篇的意識形態(tài)，而且還能增強(qiáng)讀者理解多模態(tài)互動中語篇的意義、生成的機(jī)制和意義接受的過程。

［1］陳平原.從左圖右史到圖文互動——圖文書的崛起及其前景［J］.學(xué)術(shù)界，2004（3）：255-266.

［2］張德祿.多模態(tài)話語分析綜合理論框架探索［J］.中國外語，2009（1）：24-30.

［3］申丹，王麗亞.西方敘事學(xué)：經(jīng)典與后經(jīng)典［M］.北京：北京大學(xué)出版社，2010：246-250.

［4］齊蔚霞.廣告敘事研究［D］.西安：陜西師范大學(xué)，2012：18-20.

［5］王偉明.廣告語義結(jié)構(gòu)的敘事模式［J］.中國廣告，2006（4）：63-66.

［6］張路黎.廣告的敘事與情境的創(chuàng)造［J］.湖北社會科學(xué)，2008（1）：151-153.

［7］齊蔚霞.論現(xiàn)代廣告的原型敘事［J］.陜西師范大學(xué)學(xué)報(bào)（哲學(xué)社會科學(xué)版），2013（6）：37-45.

［8］劉芳.結(jié)構(gòu)、情節(jié)、時空：論微電影廣告敘事［J］.當(dāng)代傳播，2014（5）：96-97.

［9］Matthiessen，C.M.I.M.The multimodal page：A systemic functional exploration.In T.Royce&W.Bowcher（Eds），New directions in the analysis of multimodal discourse［M］.Mahwah，NJ：Lawrence Erlbaum Associates，2006：1-62.

［10］Kress，G.&T.van Leeuwen.Reading Images［M］.London：Rouledge，2006.

［11］Halliday，M.A.K.&C.M.I.M.Matthiessen.Introduction to Functional Grammar［M］.London：Edward Arnold，2004：220-270.

【責(zé)任編輯：孫健】

Examining the Image-Text Interaction in an Advertisement in Light of Grammar of Visual Design

WEI Jing-chun
（School of Humanities&Teacher Education，Wuyi University；Wuyishan 354300，F(xiàn)ujian China）

Relation between image and text was emphasized whereas narrative process between the two neglected in the past multimodal studies of advertisements.This paper tries to analyze distinct narrative processes in an image-text interactional discourse of advertisements within the theoretical framework of Kress and van Leeuwen’s Grammar of Visual Design.It first looks back upon the research developments of narratology studies and then explicates the theory of Grammar of Visual Design.A case study on a French airline advertisement is finally made.Studies show that distinct narrative processes are conducive to making salient ideologies of multimodal discourses on one hand，and on the other hand，Grammar of Visual Design can facilitate an easier understanding of any discourse，its meaning-generating mechanism and meaning comprehension in an image-text interaction.

image-text interaction；discourse of advertisement；narrative process；Grammar of Visual Design

G230

A

1671-5934（2016）04-0110-05

2016-04-27

魏景春（1982-），男，甘肅隴西人，講師，碩士，研究方向?yàn)檎Z篇分析與外語教學(xué)。