■胡 勇

話(huà)語(yǔ)研究的多模態(tài)轉(zhuǎn)向成為當(dāng)今語(yǔ)言學(xué)研究和話(huà)語(yǔ)分析的重點(diǎn)關(guān)注對(duì)象。其中，圖文關(guān)系是探討多模態(tài)之間協(xié)同互補(bǔ)機(jī)制中最為重要的一組關(guān)系。以系統(tǒng)功能語(yǔ)言學(xué)和視覺(jué)分析框架為理論方法，探究多模態(tài)敘事繪本中，圖文符號(hào)系統(tǒng)概念意義的創(chuàng)建以及圖文意義的跨符號(hào)互補(bǔ)機(jī)制，并在此基礎(chǔ)上，結(jié)合視覺(jué)敘事的有關(guān)概念，進(jìn)一步挖掘圖文符號(hào)系統(tǒng)在語(yǔ)篇共同實(shí)例化過(guò)程中的概念意義投入以及圖文符號(hào)系統(tǒng)承載、激活和表達(dá)的意義總量，可為中國(guó)語(yǔ)境下多模態(tài)敘事語(yǔ)篇的圖文互補(bǔ)機(jī)制研究提供新的視角和啟示。

新媒體時(shí)代使人們的交際方式和生活方式發(fā)生巨大的變化，單一的語(yǔ)言模態(tài)已不再是意義創(chuàng)建和表征的唯一手段，而是逐漸由圖像、聲音、手勢(shì)等多種媒介組成的交際模式所替代。20世紀(jì)90年代以來(lái)，多模態(tài)話(huà)語(yǔ)研究者在系統(tǒng)功能語(yǔ)言學(xué)的基礎(chǔ)上開(kāi)始探究語(yǔ)篇意義創(chuàng)建中語(yǔ)言之外的其他社會(huì)符號(hào)的語(yǔ)義、語(yǔ)法和描寫(xiě)系統(tǒng)，諸如圖像、聲音、空間等。對(duì)模態(tài)的定義和理解，不同的研究領(lǐng)域和研究方法持有不同見(jiàn)解，主要可歸為三種：一是將模態(tài)定義為不同社會(huì)文化中所形成的創(chuàng)建意義的社會(huì)符號(hào)資源；二是將其視為諸如視覺(jué)、聽(tīng)覺(jué)等感官模態(tài)及相應(yīng)系統(tǒng)；三是將多模態(tài)視為信息呈現(xiàn)方式。日常交際和話(huà)語(yǔ)實(shí)例中存在大量的非語(yǔ)言符號(hào)/模態(tài)，語(yǔ)言只是表達(dá)意義的眾多社會(huì)符號(hào)之一，話(huà)語(yǔ)的多模態(tài)特征是當(dāng)代話(huà)語(yǔ)研究的重點(diǎn)關(guān)注。近20年間，多模態(tài)研究發(fā)展如火如荼，已經(jīng)呈現(xiàn)出開(kāi)放包容的跨學(xué)科性質(zhì)，不同學(xué)科間的相互融合、相互影響能有效推動(dòng)多模態(tài)研究理論的發(fā)展。但國(guó)內(nèi)對(duì)多模態(tài)語(yǔ)篇中圖文互補(bǔ)關(guān)系的研究還屬起步階段，亟待發(fā)展，因此，筆者將在多模態(tài)話(huà)語(yǔ)研究的基礎(chǔ)上，對(duì)多模態(tài)敘事繪本這一典型話(huà)語(yǔ)形式進(jìn)行分析，從系統(tǒng)功能語(yǔ)言學(xué)和多模態(tài)敘事框架的視角探討敘事繪本中的圖文互補(bǔ)關(guān)系和銜接機(jī)制，挖掘圖文符號(hào)系統(tǒng)在語(yǔ)篇共同實(shí)例化過(guò)程中的意義投入和語(yǔ)義賦值。

一、話(huà)語(yǔ)的多模態(tài)轉(zhuǎn)向：多模態(tài)語(yǔ)篇圖文關(guān)系的發(fā)展流變

多模態(tài)話(huà)語(yǔ)是當(dāng)今人們社會(huì)交際活動(dòng)的一種普遍的內(nèi)在特質(zhì)。話(huà)語(yǔ)研究的多模態(tài)轉(zhuǎn)向成為當(dāng)今語(yǔ)言學(xué)研究的重點(diǎn)關(guān)注對(duì)象，而圖文關(guān)系是多模態(tài)協(xié)同、互補(bǔ)機(jī)制中最為重要的一組關(guān)系，近幾十年來(lái)受到越來(lái)越多學(xué)者的關(guān)注。

（一）多模態(tài)話(huà)語(yǔ)圖文關(guān)系研究的發(fā)展

近20年來(lái)，圖文關(guān)系逐漸受到學(xué)界關(guān)注，圖文關(guān)系研究主要從以下方面展開(kāi)：

首先，考察多模態(tài)語(yǔ)篇中圖文符號(hào)系統(tǒng)間的邏輯語(yǔ)義關(guān)系。在巴特圖文關(guān)系的基礎(chǔ)上，馬丁內(nèi)克和薩爾韋兩位學(xué)者結(jié)合韓禮德的系統(tǒng)功能語(yǔ)法中小句邏輯語(yǔ)義系統(tǒng)的相關(guān)理論，進(jìn)一步發(fā)展圖文邏輯關(guān)系，劃分了“邏輯語(yǔ)義”和“地位”兩種關(guān)系。［1］(P337-340)其中，圖文邏輯語(yǔ)義系統(tǒng)將圖文關(guān)系分為擴(kuò)展關(guān)系和投射關(guān)系。圖文地位系統(tǒng)則涉及圖文關(guān)系中的等同和不等同關(guān)系。楊信彰以?xún)杀倦p解字典為分析對(duì)象，從邏輯語(yǔ)義關(guān)系的視角討論語(yǔ)言釋義與插圖之間關(guān)系，研究指出圖文之間存在著“例舉”“說(shuō)明”和“澄清”三類(lèi)關(guān)系，且“例舉型的插圖使用頻率最高”。［2］(P51)

其次，探究多模態(tài)語(yǔ)篇圖文模態(tài)間的隱轉(zhuǎn)喻關(guān)系。雖然以語(yǔ)言符號(hào)系統(tǒng)為基礎(chǔ)的隱喻研究得到了長(zhǎng)足的發(fā)展，近年來(lái)，中國(guó)國(guó)內(nèi)隱喻研究更是百花齊放，例如，關(guān)注語(yǔ)言系統(tǒng)的隱喻理論研究，隱喻與翻譯方法及翻譯過(guò)程中的認(rèn)知研究，隱喻對(duì)英語(yǔ)學(xué)習(xí)者認(rèn)知和隱喻能力發(fā)展的影響等；但傳統(tǒng)經(jīng)典“認(rèn)知隱喻一直以來(lái)只關(guān)注語(yǔ)言體現(xiàn)，這蘊(yùn)藏某種偏見(jiàn)：意義只存于語(yǔ)言符號(hào)”［3］(P4)，而“語(yǔ)言只是創(chuàng)建意義的符號(hào)資源之一，只關(guān)注語(yǔ)言這一類(lèi)社會(huì)實(shí)踐中的意義表達(dá)是不夠的”［4](P8)。作為一種思維認(rèn)知方式，隱喻的體現(xiàn)方式可以是語(yǔ)言，也能是其他社會(huì)符號(hào)和交際媒介。福塞維爾明確地劃分了單模態(tài)隱喻和多模態(tài)隱喻，將多模態(tài)隱喻定義為“源域與目標(biāo)域分別使用不同的符號(hào)資源來(lái)呈現(xiàn)或在不同符號(hào)資源中占主要地位?！保?］(P24)自此，中國(guó)國(guó)內(nèi)學(xué)者開(kāi)始關(guān)注多模態(tài)語(yǔ)篇中基于圖文模態(tài)認(rèn)知隱/轉(zhuǎn)喻，強(qiáng)調(diào)多模態(tài)在隱喻構(gòu)建過(guò)程中的作用。

再次，挖掘多模態(tài)語(yǔ)篇圖文模態(tài)間的人際意義互動(dòng)。克瑞斯和范·勒文在視覺(jué)語(yǔ)法建構(gòu)的經(jīng)典著作中提出不僅語(yǔ)言能實(shí)現(xiàn)人際交往中的互動(dòng)關(guān)系，圖像模態(tài)也能完成建構(gòu)人際互動(dòng)、表達(dá)情態(tài)意義等功能，他們將圖像分為兩種類(lèi)型：即“提供”和“索取”圖像。［5］(P119-124)提供型圖像是指視覺(jué)構(gòu)圖中參與者為讀者提供一定的信息/服務(wù)。反之，索取型圖像是指視覺(jué)構(gòu)圖中參與者通過(guò)眼神聚焦和接觸等向讀者索取信息/服務(wù)。但這種將圖像簡(jiǎn)單劃分的觀點(diǎn)引起了相關(guān)領(lǐng)域的爭(zhēng)議。為了更好地探討圖文系統(tǒng)構(gòu)建的人際意義，羅伊斯從符際互補(bǔ)的視角考察圖文關(guān)系，指出不同的符號(hào)系統(tǒng)在創(chuàng)建讀者立場(chǎng)，形成互動(dòng)意義方面存在“強(qiáng)化”與“否定”的關(guān)系。［6］(P65-71)多模態(tài)語(yǔ)篇中的圖文關(guān)系引起了學(xué)界的重視，而多模態(tài)敘事語(yǔ)篇實(shí)例化過(guò)程中圖文符號(hào)系統(tǒng)所表征的意義和彼此間的相互關(guān)系更值得多模態(tài)話(huà)語(yǔ)研究領(lǐng)域的重視。

（二）多模態(tài)敘事研究境遇

中國(guó)國(guó)內(nèi)的敘事學(xué)研究在半個(gè)世紀(jì)以來(lái)經(jīng)歷了由發(fā)端到鼎盛的巨大發(fā)展，涌現(xiàn)出大批學(xué)者，推動(dòng)敘事學(xué)朝縱深方向發(fā)展。但國(guó)內(nèi)學(xué)者研究多聚焦于單模態(tài)文學(xué)作品的闡釋?zhuān)瑢?duì)多模態(tài)敘事研究鮮有涉及，對(duì)多模態(tài)敘事繪本圖文互補(bǔ)機(jī)制的研究更是鳳毛麟角。多模態(tài)繪本，尤其是敘事繪本，是兒童生活、教育中的重要讀物，在兒童讀寫(xiě)教育、意識(shí)形態(tài)塑造和社會(huì)文化價(jià)值培植等方面發(fā)揮作用。兒童繪本受到學(xué)界多方面的關(guān)注，但在多數(shù)關(guān)于繪本的研究中，圖像符號(hào)系統(tǒng)被視為次要方面，在意義建構(gòu)層面上難以得到和語(yǔ)言符號(hào)系統(tǒng)同等重要的關(guān)注。近年來(lái)，國(guó)外已經(jīng)開(kāi)始重視多模態(tài)繪本的研究，佩因特等人提出了一個(gè)基于系統(tǒng)功能語(yǔ)言學(xué)的視覺(jué)敘事框架，將“三個(gè)元功能理論應(yīng)用到視覺(jué)敘事當(dāng)中”，是視覺(jué)圖像分析理論的重大發(fā)展。［7］(P1-10)

反觀國(guó)內(nèi)，關(guān)于多模態(tài)敘事繪本的研究尚屬于起步階段。鑒于此，筆者從概念意義入手，以系統(tǒng)功能語(yǔ)言學(xué)和視覺(jué)語(yǔ)法為分析工具，探討多模態(tài)敘事繪本中圖文符號(hào)系統(tǒng)概念意義的跨符號(hào)協(xié)同機(jī)制。除了探討多模態(tài)敘事繪本中圖文概念意義如何互補(bǔ)，還進(jìn)一步探討圖文符號(hào)系統(tǒng)在語(yǔ)篇共同實(shí)例化過(guò)程中的概念意義投入，從而分析不同符號(hào)資源在實(shí)例化過(guò)程中激活和表征的語(yǔ)義總量，以期為分析多模態(tài)敘事語(yǔ)篇圖文相互關(guān)系提供一個(gè)新的研究視角。

二、多模態(tài)敘事語(yǔ)篇中圖文概念意義的構(gòu)建與互補(bǔ)

概念意義涉及人們使用語(yǔ)言來(lái)表征、識(shí)解和建構(gòu)世界的功能，這樣的功能并非語(yǔ)言符號(hào)所特有，圖像符號(hào)、視覺(jué)空間符號(hào)和聲音符號(hào)等眾多的社會(huì)符號(hào)均具有此功能。在多模態(tài)敘事語(yǔ)篇中，概念意義具有通過(guò)不同社會(huì)符號(hào)來(lái)構(gòu)建故事世界和故事人物，引導(dǎo)讀者進(jìn)入故事世界，從而參與到繪本敘事并與其互動(dòng)的功能。本文選取繪本《郵遞員叔叔的奇遇》①為研究對(duì)象?！多]遞員叔叔的奇遇》由13個(gè)雙面版面構(gòu)成，講述了郵遞員大關(guān)叔叔在春節(jié)期間給村民送信途中發(fā)生的奇遇，主要故事人物為郵遞員大關(guān)和雪人。郵遞員大關(guān)在大年三十騎著自行車(chē)給村民送信，途中一個(gè)雪人在其疲憊的時(shí)候幫助推車(chē)送信，于是，大關(guān)叔叔送給雪人春節(jié)禮物，卻在晚上驚喜地發(fā)現(xiàn)雪人們將冰塊做成的發(fā)糕回贈(zèng)予他作為新春祝福。整個(gè)繪本使用多元的敘事技巧，構(gòu)建了流暢的故事情節(jié)，通過(guò)故事敘述告訴兒童讀者中國(guó)春節(jié)的種種特色，幫助兒童讀者了解春節(jié)的傳統(tǒng)習(xí)俗，感受中國(guó)新年蘊(yùn)含的溫暖情懷?！多]遞員叔叔的奇遇》作為一本典型的敘事繪本，敘事結(jié)構(gòu)清晰完整，在繪本敘事的開(kāi)局、進(jìn)展、評(píng)價(jià)和結(jié)尾部分均充斥著大量的概念意義，分析此繪本中圖文概念意義的創(chuàng)建以及兩者意義建構(gòu)中存在的跨符號(hào)/跨模態(tài)機(jī)制有助于揭示和闡明敘事繪本中圖文關(guān)系，為系統(tǒng)闡釋多模態(tài)敘事語(yǔ)篇圖文相互關(guān)系提供新的分析視角。

（一）繪本語(yǔ)言文本概念意義的及物性分析

系統(tǒng)功能語(yǔ)言學(xué)區(qū)分語(yǔ)言所實(shí)現(xiàn)的三大元功能，分別是概念功能、人際功能和組篇功能。其中，概念功能是指人們通過(guò)語(yǔ)言“得以構(gòu)建關(guān)于現(xiàn)實(shí)的心理圖景，從而識(shí)解內(nèi)在和外在世界的功能”。［8］(P170-172)在系統(tǒng)功能語(yǔ)法層面，及物系統(tǒng)是語(yǔ)言實(shí)現(xiàn)概念功能的重要維度，能夠?qū)⑷祟?lèi)關(guān)于世界的經(jīng)驗(yàn)組織切分成一系列的小句過(guò)程類(lèi)型，換言之，通過(guò)小句的過(guò)程類(lèi)型表達(dá)“周?chē)诎l(fā)生的事情、事物的屬性以及事物發(fā)生的背景細(xì)節(jié)，諸如時(shí)間、地點(diǎn)、方式等等”。［9］(P86)人們使用語(yǔ)言將經(jīng)驗(yàn)?zāi)Ｊ交F(xiàn)實(shí)世界（包括內(nèi)心世界和外在世界）切分成一個(gè)個(gè)模式化的過(guò)程類(lèi)型。及物系統(tǒng)將經(jīng)驗(yàn)劃分為六個(gè)主要過(guò)程，即物質(zhì)過(guò)程、心理過(guò)程、關(guān)系過(guò)程、言語(yǔ)過(guò)程、行為過(guò)程和存在過(guò)程。每一個(gè)小句過(guò)程類(lèi)型能反映出人類(lèi)經(jīng)驗(yàn)的某一個(gè)特定方面，其中物質(zhì)過(guò)程強(qiáng)調(diào)動(dòng)作的過(guò)程，“這個(gè)過(guò)程本身一般由動(dòng)態(tài)動(dòng)詞來(lái)表示，動(dòng)作者和動(dòng)作的目標(biāo)一般由名詞或代詞來(lái)表示”。［10］(P75)心理過(guò)程表達(dá)作為經(jīng)驗(yàn)的感知者對(duì)物質(zhì)世界現(xiàn)象的認(rèn)知和識(shí)解。關(guān)系過(guò)程強(qiáng)調(diào)對(duì)客觀事物的描述和識(shí)別，又可次分為歸屬和識(shí)別兩類(lèi)關(guān)系，前者對(duì)客觀實(shí)體的屬性、性質(zhì)等進(jìn)行闡釋?zhuān)缓笳咄癸@對(duì)實(shí)體和實(shí)體間關(guān)系的限定。言語(yǔ)過(guò)程一般是指通過(guò)講話(huà)言說(shuō)達(dá)到信息交互作用的過(guò)程，參與者為說(shuō)話(huà)者、受話(huà)者和言語(yǔ)內(nèi)容。行為過(guò)程強(qiáng)調(diào)主體有意識(shí)的生理及心理行為，一般只涉及一個(gè)參與者。而存在過(guò)程聚焦物質(zhì)世界實(shí)體存在的狀態(tài)。

在多模態(tài)敘事繪本中，語(yǔ)言文本承載了構(gòu)建和呈現(xiàn)故事世界的重要任務(wù)，需要通過(guò)大量的概念意義的表征推動(dòng)敘事發(fā)展以及表達(dá)人物和人物之間關(guān)系。對(duì)《郵遞員叔叔的奇遇》的語(yǔ)言文本進(jìn)行及物性分析可以勾勒出語(yǔ)言系統(tǒng)構(gòu)建的概念意義，語(yǔ)言語(yǔ)篇中的小句類(lèi)型過(guò)程劃分如表1。

表1 《郵遞員叔叔的奇遇》中語(yǔ)言系統(tǒng)及物性分析

通過(guò)上述分析發(fā)現(xiàn)，該多模態(tài)繪本語(yǔ)言符號(hào)系統(tǒng)使用的最多小句類(lèi)型為行動(dòng)過(guò)程，主要包括物質(zhì)過(guò)程和行為過(guò)程，兩者的使用超過(guò)整個(gè)語(yǔ)言語(yǔ)篇小句使用的60%。這是由敘事繪本的敘事性決定的，這兩種小句過(guò)程類(lèi)型強(qiáng)調(diào)故事主要人物（郵遞員和雪人）所采取的行為和動(dòng)作，如，對(duì)郵遞員的描述采用了大量的動(dòng)詞：送、推、走、騎、坐、拿開(kāi)、打開(kāi)等。這樣的過(guò)程類(lèi)型有益于推動(dòng)敘事進(jìn)展，讓讀者逐漸清楚故事世界、人物關(guān)系和敘事發(fā)展走向。在故事的開(kāi)篇部分，語(yǔ)篇中使用了兩個(gè)物質(zhì)小句：“可是郵遞員大關(guān)叔叔還得工作”和“他必須把今天到達(dá)的信件給村民們送過(guò)去”。這兩個(gè)物質(zhì)小句凸顯了郵遞員的在敘事中必須完成的行為動(dòng)作以及其作為主角的敘事身份，導(dǎo)入了即將要開(kāi)始的奇遇情節(jié)，從而建構(gòu)了敘事的“指向部分”。在語(yǔ)言文本中，物質(zhì)過(guò)程和行為過(guò)程的使用給予讀者一種行為感和動(dòng)作感，這樣的小句過(guò)程突出動(dòng)作的施為者，往往與故事中的主要參與者緊密相關(guān)，使讀者得以進(jìn)入敘事世界，持續(xù)關(guān)注事件的發(fā)展和人物的行動(dòng)，并且做出反饋和猜測(cè)。在繪本語(yǔ)言文本中，除了行動(dòng)過(guò)程能夠模擬和建構(gòu)敘事繪本中的故事現(xiàn)實(shí)，作者還應(yīng)用了一系列關(guān)系過(guò)程來(lái)實(shí)現(xiàn)認(rèn)同功能。小句的關(guān)系過(guò)程是強(qiáng)調(diào)“是”（be）的過(guò)程，為讀者提供小句參與者及其屬性的相關(guān)信息。例如，故事開(kāi)局部分使用了兩個(gè)關(guān)系小句“今天是大年三十”和“明天就是新年了”。這兩個(gè)小句通過(guò)動(dòng)詞“是”達(dá)到連接小句中載體和屬性之間的關(guān)系，提供故事發(fā)展的時(shí)間信息，充當(dāng)了敘事發(fā)展的“背景”作用。

（二）多模態(tài)語(yǔ)篇概念意義的圖文互補(bǔ)機(jī)制

多模態(tài)語(yǔ)篇中不同模態(tài)之間的關(guān)系是多模態(tài)話(huà)語(yǔ)研究的焦點(diǎn)問(wèn)題。羅伊斯提出了符際互補(bǔ)理論，并研究探討了基于頁(yè)面的多模態(tài)語(yǔ)篇中不同符號(hào)系統(tǒng)之間的銜接關(guān)系，尤其是語(yǔ)言符號(hào)系統(tǒng)和圖像符號(hào)系統(tǒng)之間的互補(bǔ)關(guān)系。在概念意義層面上，符際互補(bǔ)理論區(qū)分了圖文兩種符號(hào)信息的表征模式。基于系統(tǒng)功能語(yǔ)法，符際互補(bǔ)理論設(shè)置了一系列參數(shù)信息來(lái)表達(dá)語(yǔ)言符號(hào)系統(tǒng)中的概念意義和經(jīng)驗(yàn)意義，分別為“過(guò)程類(lèi)型”“參與者”“屬性”和“環(huán)境”。［6］(P72-85)圖像符號(hào)系統(tǒng)中信息表達(dá)的關(guān)鍵概念則為視覺(jué)信息元素，主要分為等同（圖像參與者）、行動(dòng)（行為動(dòng)作）、屬性（參與者的品質(zhì)和特性）以及環(huán)境（呈現(xiàn)的語(yǔ)境）等。為了研究概念意義層面的符號(hào)間互補(bǔ)銜接關(guān)系，筆者選擇包含動(dòng)作的敘事圖像作為分析對(duì)象，該圖像位于繪本的第6頁(yè)面（雙頁(yè)版面），語(yǔ)言文本內(nèi)容左圖為“送完最后一封信，大關(guān)叔叔準(zhǔn)備回家了，他走到自行車(chē)旁，發(fā)現(xiàn)雪人坐到了前面，雪人指指后座，示意他坐上去”。右圖為“哇！雪人騎自行車(chē)比開(kāi)摩托車(chē)還快，大關(guān)叔叔伸出手，抱住了雪人的腰：?jiǎn)?，好冰喲”（下文均用左圖、右圖代表第6頁(yè)面文本中的內(nèi)容）。通過(guò)定位和挖掘語(yǔ)言元素和視覺(jué)信息元素所建立的語(yǔ)義聯(lián)系能夠更細(xì)致探討概念意義的圖文銜接機(jī)制。

繪本《郵遞員叔叔的奇遇》第6頁(yè)面中的視覺(jué)信息元素需要界定，這是由于視覺(jué)信息元素能夠在很大程度上承載和表達(dá)作者/創(chuàng)作者通過(guò)一連串視覺(jué)手段來(lái)實(shí)現(xiàn)的語(yǔ)義屬性，同時(shí)視覺(jué)信息元素構(gòu)成了探索雙模態(tài)文本語(yǔ)言方面的重要參考。視覺(jué)信息元素主要包括：（1）參與者視覺(jué)信息元素。參與者視覺(jué)信息主要涉及圖像中的誰(shuí)/什么是圖像中的參與者以及它們和誰(shuí)/什么存在交際互動(dòng)。一般來(lái)說(shuō)，視覺(jué)圖像中最突出的參與者是通過(guò)他們面部表情和身體姿勢(shì)的視覺(jué)表征明確地呈現(xiàn)給讀者的。在這兩張圖像中，讀者看到了兩個(gè)主要的人物：雪人和郵遞員，他們的面部表情都被清晰地描繪出來(lái)了。除了兩個(gè)描述的人物(從故事敘述中推斷出的主角)，視覺(jué)框架中還展示了兩個(gè)相關(guān)的參與者：一輛自行車(chē)和一個(gè)掛在后座上的綠色郵袋。因而，在這一視覺(jué)圖像中，參與者可識(shí)別為“大關(guān)叔叔”“雪人”“自行車(chē)”和“郵袋”。（2）行動(dòng)視覺(jué)信息元素。行動(dòng)視覺(jué)信息關(guān)注被描述的參與者和接受者（或?qū)ο螅┲g發(fā)生的動(dòng)作和行為。在繪本第6頁(yè)面左圖中我們可以看到，雪人坐在自行車(chē)上，并邀請(qǐng)郵遞員（從前面的圖像推斷）乘坐。繪本第6頁(yè)面右圖描述了雪人騎著自行車(chē)，郵遞員則坐在后座。因此，該視覺(jué)圖像中的行動(dòng)視覺(jué)信息可梳理為“坐”和“騎”。（3）環(huán)境視覺(jué)信息元素。環(huán)境視覺(jué)信息是指視覺(jué)呈現(xiàn)的語(yǔ)境，是不同參與者之間動(dòng)作發(fā)生的環(huán)境，主要充當(dāng)背景說(shuō)明的作用。在該視覺(jué)構(gòu)架中，圖像參與者以及動(dòng)作發(fā)生的語(yǔ)境為雪天，而繪本第6頁(yè)面左圖采用了去語(yǔ)境化的視覺(jué)技巧將讀者的注意力由環(huán)境背景轉(zhuǎn)移到所描述的參與者身上。（4）屬性視覺(jué)信息元素。作為視覺(jué)圖像中信息元素表征的最后一個(gè)重要因素，屬性信息是表達(dá)視覺(jué)框架中所描述的參與者的任何重要特征、屬性或品質(zhì)。在該雙頁(yè)圖像版面中，環(huán)境背景被描繪為冬天的一個(gè)下雪的日子，雪人作為故事的主要人物在視覺(jué)框架中被突出，而這些背景信息都有利于讀者推斷關(guān)于“冷”的屬性。視覺(jué)構(gòu)圖中的另一個(gè)屬性是速度維度上的“快”的屬性，這可以從騎著的自行車(chē)和視覺(jué)背景對(duì)比下相對(duì)較小的房屋和樹(shù)木中推斷出來(lái)。將這些視覺(jué)信息元素界定之后，筆者對(duì)雙模態(tài)文本的概念意義符號(hào)銜接機(jī)制進(jìn)行分析。通過(guò)分析得出，圖文符號(hào)系統(tǒng)之間存在重復(fù)類(lèi)銜接機(jī)制14處，如大關(guān)叔叔在圖文模態(tài)中均有詳細(xì)的符號(hào)表征；搭配類(lèi)銜接機(jī)制為13處，除此之外還存在3例“整體—部分”關(guān)系以及1例反義類(lèi)銜接機(jī)制。

通過(guò)研究發(fā)現(xiàn)，兩個(gè)符號(hào)系統(tǒng)之間最顯著的銜接關(guān)系是通過(guò)重復(fù)（共14處）和搭配（共13處）來(lái)實(shí)現(xiàn)的。在語(yǔ)義維度上，語(yǔ)言符號(hào)系統(tǒng)中存在大量的詞匯項(xiàng)與圖像符號(hào)系統(tǒng)中的視覺(jué)信息元素所表征的經(jīng)驗(yàn)意義關(guān)聯(lián)。這兩種模態(tài)中人物刻畫(huà)的重復(fù)銜接機(jī)制可使讀者關(guān)心故事中的主要人物和他們之間發(fā)生的奇遇，從而起到元敘事作用，促使讀者聚焦故事情節(jié)。同時(shí)，繪本第6頁(yè)面左圖中作者采用了接觸聚焦的視覺(jué)人際技巧使讀者與雪人產(chǎn)生眼神接觸，促使讀者與故事人物形成互動(dòng)，不但強(qiáng)化了元敘事的本質(zhì)，也對(duì)語(yǔ)言文本中的小句“發(fā)現(xiàn)雪人坐到了前面”進(jìn)行了補(bǔ)充和支撐。根據(jù)圖像的視覺(jué)表征，作為主人公的郵遞員并沒(méi)有出現(xiàn)在左圖中，這與語(yǔ)言文本并不對(duì)應(yīng)。但有經(jīng)驗(yàn)的讀者可以很容易地從雪人的身體動(dòng)作（如指向后座）和面部表情（如微笑）推斷出他是在邀請(qǐng)郵遞員坐在自行車(chē)后座，以便載他一程。因此，它建立了語(yǔ)言文本和視覺(jué)文本之間的跨符號(hào)銜接關(guān)系。同樣，符號(hào)系統(tǒng)間的重復(fù)機(jī)制也被應(yīng)用于闡釋視覺(jué)框架中兩個(gè)參與者之間發(fā)生的活動(dòng)。語(yǔ)言文本中一系列動(dòng)詞被反復(fù)使用，這些動(dòng)詞被用于識(shí)別和照應(yīng)活動(dòng)視覺(jué)信息，提醒讀者持續(xù)關(guān)注視覺(jué)構(gòu)圖中發(fā)生在參與者之間的行為動(dòng)作以及識(shí)解這些動(dòng)作的順序關(guān)系。此外，繪本第6頁(yè)面左圖中雪人向郵遞員發(fā)出邀請(qǐng)，激發(fā)讀者關(guān)于郵遞員是否接受邀請(qǐng)的敘事期望。而緊接著的視圖描畫(huà)了郵遞員坐在自行車(chē)后座的場(chǎng)景。這樣的視覺(jué)技巧滿(mǎn)足了視覺(jué)敘事框架中實(shí)現(xiàn)化的順序間事件關(guān)系，隨著敘事的進(jìn)展，該視覺(jué)選項(xiàng)又進(jìn)一步增強(qiáng)了視覺(jué)圖像和語(yǔ)言文本之間的跨符號(hào)銜接關(guān)系，以便為讀者理解故事提供一個(gè)更好的視角。

視覺(jué)構(gòu)圖中使用較多的另一種符際互補(bǔ)機(jī)制為搭配機(jī)制。在語(yǔ)言文本中出現(xiàn)的首個(gè)小句“送完最后一封信”與視覺(jué)圖像中的郵袋視覺(jué)信息構(gòu)成了符號(hào)間的搭配關(guān)系，突出了郵遞員即將開(kāi)始的春節(jié)奇遇。雪人是該構(gòu)圖中的另一個(gè)主要參與者，他的出現(xiàn)與“下雪天”的環(huán)境設(shè)置以及“冷”的屬性視覺(jué)信息元素密切相關(guān)。同時(shí)，在環(huán)境設(shè)置描述中選擇去語(yǔ)境化的視覺(jué)選項(xiàng)將讀者的注意力從關(guān)注背景信息轉(zhuǎn)化到聚焦雪人的外觀，強(qiáng)化了雪人的屬性（在此實(shí)例中為“冷”），并激發(fā)了讀者對(duì)雪人的評(píng)價(jià)：雖然雪人的身體很冷，但他樂(lè)于助人，內(nèi)心炙熱，根據(jù)研究分析可以發(fā)現(xiàn)，概念意義上的圖文銜接機(jī)制主要包括重復(fù)、同義、部分—整體指代關(guān)系和搭配等機(jī)制。其中，圖文重復(fù)和搭配機(jī)制是實(shí)現(xiàn)兩個(gè)系統(tǒng)概念意義構(gòu)建和互補(bǔ)最為有效、使用最頻繁的銜接機(jī)制。

三、多模態(tài)語(yǔ)篇實(shí)例化：圖文概念意義投入研究

系統(tǒng)功能語(yǔ)言學(xué)中實(shí)例化研究旨在探討語(yǔ)言系統(tǒng)和具體實(shí)例的語(yǔ)篇之間關(guān)系。韓禮德經(jīng)常使用氣候和天氣之間關(guān)系的隱喻來(lái)解釋實(shí)例化研究，天氣是氣候系統(tǒng)中的一個(gè)個(gè)具體實(shí)例，而氣候是作為實(shí)例天氣的整體概括。隨著實(shí)例化研究的發(fā)展，研究者逐漸將重點(diǎn)從語(yǔ)言語(yǔ)篇實(shí)例化過(guò)程轉(zhuǎn)移到多符號(hào)/多模態(tài)語(yǔ)篇的實(shí)例化過(guò)程，并探討不同符號(hào)系統(tǒng)在語(yǔ)篇生成和意義創(chuàng)建過(guò)程中實(shí)現(xiàn)的意義潛勢(shì)總量。采用視覺(jué)敘事框架中的模態(tài)間“投入”分析框架對(duì)繪本《郵遞員叔叔的奇遇》第6頁(yè)（雙版面）進(jìn)行圖文實(shí)例化分析有助于深入探索圖文系統(tǒng)語(yǔ)義賦值的異同之處。投入分析是指語(yǔ)篇實(shí)例化過(guò)程中語(yǔ)義系統(tǒng)所構(gòu)建的意義總量，多模態(tài)語(yǔ)篇?jiǎng)t要考查語(yǔ)篇意義潛勢(shì)實(shí)例化中表達(dá)和創(chuàng)建意義的所有語(yǔ)義系統(tǒng)，如語(yǔ)言、圖像、聲音和空間系統(tǒng)等。模態(tài)間的投入分析框架聚焦三個(gè)系統(tǒng)，即行動(dòng)系統(tǒng)、角色系統(tǒng)和環(huán)境系統(tǒng)。行動(dòng)系統(tǒng)包含圖文兩種符號(hào)系統(tǒng)所實(shí)現(xiàn)的行動(dòng)意義、認(rèn)知意義和事件間關(guān)系等。角色系統(tǒng)則涉及圖文符號(hào)系統(tǒng)如何構(gòu)建參與者屬性、參與者形象表征和出現(xiàn)方式以及參與者之間的關(guān)系等。環(huán)境系統(tǒng)考量語(yǔ)篇中圖文模態(tài)中事件發(fā)生的背景和環(huán)境信息以及環(huán)境之間的關(guān)系（如環(huán)境背景的轉(zhuǎn)換或維持）。筆者以投入分析框架為理論基礎(chǔ)，對(duì)多模態(tài)敘事語(yǔ)篇共同實(shí)例化進(jìn)行了分析，表2為兩種符號(hào)系統(tǒng)概念意義投入的圖式表征。

表2 圖文系統(tǒng)概念意義投入分析

首先，從行動(dòng)系統(tǒng)來(lái)看，視覺(jué)概念意義的構(gòu)建主要通過(guò)一系列不同的動(dòng)作描繪來(lái)實(shí)現(xiàn)，如在繪本第6頁(yè)面左圖中，雪人坐在自行車(chē)上發(fā)出邀請(qǐng)，這個(gè)視覺(jué)意義能夠通過(guò)他的手的位置和指向以及未表征的凝視矢量才得以識(shí)別。盡管設(shè)定的接收者（郵遞員）在視覺(jué)圖像中沒(méi)有出現(xiàn)，讀者可以依據(jù)動(dòng)作的矢量（如凝視的方向）做出推斷，他正在邀請(qǐng)某人坐在自行車(chē)的后座。而在繪本第6頁(yè)面右圖中，讀者可以看到雪人正在騎自行車(chē)，郵遞員坐在后座上，他的胳膊摟著雪人的腰。面向讀者相鄰的兩幅圖像表明兩個(gè)行為序列之間存在一種時(shí)間上的事件之間關(guān)系，亦可被識(shí)別為一種完成的關(guān)系。活動(dòng)順序?qū)用?，讀者對(duì)下一個(gè)動(dòng)作發(fā)生的期望在連續(xù)的圖像中也得以實(shí)現(xiàn)。兩個(gè)視覺(jué)頁(yè)面中差異的動(dòng)作表達(dá)增強(qiáng)了兩個(gè)主角之間的緊密聯(lián)系，迎合了讀者們對(duì)故事的期待，凸顯了他們?cè)谄嬗鲋械挠H密關(guān)系。就語(yǔ)言系統(tǒng)而言，與活動(dòng)相關(guān)的概念意義的闡釋是通過(guò)多種類(lèi)型小句過(guò)程實(shí)現(xiàn)的，例如，一些動(dòng)詞被用于識(shí)別故事中發(fā)生的活動(dòng)，這些動(dòng)詞和小句完成了語(yǔ)言系統(tǒng)概念意義的投入，告訴讀者此刻發(fā)生了什么。在此層面上，語(yǔ)言系統(tǒng)投入的概念意義多于圖像系統(tǒng)。郵遞員所采取的行動(dòng)（如走向自行車(chē)，看著一個(gè)雪人坐在自行車(chē)上）的語(yǔ)言表達(dá)在圖像系統(tǒng)中沒(méi)有相應(yīng)的視覺(jué)補(bǔ)充表達(dá)，讀者必須從身體動(dòng)作和目光向量來(lái)推斷這種概念意義。同理，在視覺(jué)意義表征中，語(yǔ)言文本并未描述不同動(dòng)作之間的擴(kuò)展關(guān)系，這些動(dòng)作間的關(guān)系是通過(guò)視覺(jué)傳達(dá)和詮釋的。

其次，構(gòu)建概念意義的角色系統(tǒng)中，郵遞員和雪人都被完整地描繪出來(lái)，后者在故事的下一個(gè)事件中重復(fù)出現(xiàn)，這些能讓兒童讀者最大程度地識(shí)別故事的主角。讀者可以根據(jù)人物的服裝屬性、穿著的顏色、大小等推斷出更多的人物信息（如年齡、種族、職業(yè)甚至社會(huì)階層）。對(duì)中國(guó)讀者來(lái)說(shuō)，通過(guò)綠色的制服和帽子以及綠色的郵袋，很容易推斷出主角的職業(yè)。值得注意的是，對(duì)郵遞員和雪人的描繪采用了緊密相鄰的視覺(jué)布局，突出人物之間的友好關(guān)系，為接下來(lái)的敘述奠定基礎(chǔ)。

最后，就環(huán)境設(shè)定系統(tǒng)而言，視覺(jué)構(gòu)成的繪本第6頁(yè)面左圖選取了去語(yǔ)境化的視覺(jué)表達(dá)，通過(guò)刪除背景設(shè)置以突出所描述的參與者。右圖中視覺(jué)重新語(yǔ)境化技巧的選用具有將讀者帶入故事世界并參與敘事事件的功能。故事環(huán)境背景的快速切換發(fā)揮了管理讀者注意力的作用，投入了不同程度的概念意義。與視覺(jué)圖像相比，語(yǔ)言文本中存在著概念意義投入差異。而語(yǔ)言文本對(duì)視覺(jué)參與者的人物形象描述基本沒(méi)有任何提及，僅有一個(gè)關(guān)于雪人屬性的隱性心理投射小句“喲，好冰哦”。這個(gè)投射小句是郵遞員在擁抱雪人時(shí)，為了分享他對(duì)雪人溫暖的感覺(jué)而發(fā)出的。而在視覺(jué)圖像中，讀者幾乎不可能推斷出這種心理投射，只能從郵遞員的凝視矢量及對(duì)雪人的經(jīng)驗(yàn)認(rèn)知中推斷出這種屬性。同樣，圖像系統(tǒng)中環(huán)境間關(guān)系在語(yǔ)言系統(tǒng)中沒(méi)有相同的闡述，讀者只能從視覺(jué)圖像中推斷出一系列不同動(dòng)作之間的銜接關(guān)系以及在兩種不同語(yǔ)境下動(dòng)作的銜接程度。

因此，就視覺(jué)系統(tǒng)和語(yǔ)言系統(tǒng)在概念意義層面上的投入而言，我們可以得出以下結(jié)論：在屬性、人物表征、關(guān)系、事件間關(guān)系和環(huán)境間關(guān)系等方面，圖像投入的概念意義比語(yǔ)言文本所投入的概念意義更多；同時(shí)，語(yǔ)言文本也投入了一定程度的概念意義，而這些在視覺(jué)文本中是無(wú)法表達(dá)的（如在行動(dòng)和環(huán)境方面）。語(yǔ)言符號(hào)系統(tǒng)和視覺(jué)符號(hào)系統(tǒng)在概念意義投入層面上存在分歧，呈現(xiàn)出不均勻和差異化的語(yǔ)義賦值。

四、結(jié)語(yǔ)

探討多模態(tài)敘事語(yǔ)篇中圖文符號(hào)系統(tǒng)概念意義創(chuàng)建，采用功能語(yǔ)言學(xué)相關(guān)概念對(duì)多模態(tài)繪本《郵遞員叔叔的奇遇》中語(yǔ)言系統(tǒng)進(jìn)行及物性分析，結(jié)合符際互補(bǔ)理論挖掘圖文系統(tǒng)間的跨符號(hào)互補(bǔ)機(jī)制，是圖文關(guān)系研究的一次積極話(huà)語(yǔ)實(shí)踐。本研究發(fā)現(xiàn)，圖文系統(tǒng)存在最為突出的概念意義銜接機(jī)制為重復(fù)機(jī)制和搭配機(jī)制。這是由兒童繪本這一特殊多模態(tài)語(yǔ)篇屬性及其預(yù)期讀者所決定的，通過(guò)詞匯項(xiàng)目/標(biāo)簽與視覺(jué)信息表征的概念意義形成重復(fù)，達(dá)到提醒讀者故事世界和人物的敘事功能。同時(shí)結(jié)合語(yǔ)篇實(shí)例化的分析方法，探索圖文系統(tǒng)各自的語(yǔ)義賦值，是圖文互補(bǔ)研究的本土化嘗試，期望為探索多模態(tài)敘事話(huà)語(yǔ)提供新的視角和方法，為多模態(tài)作品創(chuàng)作、解讀和闡釋提供有益的啟示。

注釋?zhuān)?/p>

①本文所選繪本《郵遞員叔叔的奇遇》，作者鄭春華，少年兒童出版社2013年版。