陳　俊

淮陰工學(xué)院外國語學(xué)院，江蘇淮安，223003

?

兒童繪本的多模態(tài)語篇敘事與讀者認(rèn)知、情感體驗關(guān)系探討
——以《猜猜我有多愛你》為例

陳俊

淮陰工學(xué)院外國語學(xué)院，江蘇淮安，223003

摘要：以山姆·麥克布雷尼 (Sam McBratney)和安妮塔·婕朗(Anita Jeram)的彩色繪本圖畫書《猜猜我有多愛你》為例，運用多模態(tài)語篇理論框架，探討了該繪本故事綜合運用語言文字、圖畫、色彩、聲音等多種模態(tài)共同作用，共同敘述故事的語篇特征。然后從多模態(tài)認(rèn)知詩學(xué)的雙重情境體驗和雙重主體幻覺兩個視角，分析了讀者在閱讀這類多模態(tài)敘事語篇時的認(rèn)知感受和情感體驗，即讀者的化身進(jìn)入該繪本故事中虛擬的小兔子和大兔子世界，并與兩只兔子身份分別重疊，在認(rèn)知上、情感上體驗她們愛的故事。

關(guān)鍵詞：多模態(tài)語篇；《猜猜我有多愛你》；認(rèn)知詩學(xué)；認(rèn)知、情感體驗

隨著科學(xué)技術(shù)的發(fā)展，出版物的圖像化已經(jīng)成為一個新的特征，出版物的語篇模態(tài)已從單一的語言文字形式轉(zhuǎn)變?yōu)橛蓤D畫、文字、色彩、聲音等相結(jié)合的多模態(tài)語篇。近年來，這種融合多種符號資源和模態(tài)、有別于傳統(tǒng)文本形式的多模態(tài)語篇引起了國內(nèi)外許多學(xué)者的關(guān)注，如繪本圖畫書、插圖小說、卡通漫畫作品、政治漫畫、平面廣告、影視作品、宣傳片、網(wǎng)頁等。

本文以山姆·麥克布雷尼 (Sam McBratney)的彩色繪本圖畫書《猜猜我有多愛你》(Guess How Much I Love You)[1]為研究對象，以多模態(tài)語篇為理論框架，從多模態(tài)認(rèn)知詩學(xué)的雙重情境體驗和雙重主體幻覺視角，探究該繪本故事的多模態(tài)語篇敘事特點和讀者的認(rèn)知、情感體驗。

1　理論背景

1.1關(guān)于多模態(tài)語篇研究

模態(tài)是信息交流的渠道和媒介，包括語言、技術(shù)、圖像、顏色、音樂等符號系統(tǒng)[2]。Forceville將模態(tài)定義為“一種利用具體感知過程而具有闡釋性的符號系統(tǒng)”[3]。顧曰國[4]指出，模態(tài)是人類通過感官(如視覺、聽覺等)跟外部環(huán)境(如人、機(jī)器、物件、動物等) 之間的互動方式。用單個感官進(jìn)行互動的叫單模態(tài)，用兩個的叫雙模態(tài)，三個或以上的叫多模態(tài)。多模態(tài)主要涉及到人類通過感官(如視覺、聽覺等)跟外部環(huán)境(如人、機(jī)器、物件、動物等)之間的互動方式。綜合利用聽覺、視覺和觸覺等三個或以上感官，通過語言、聲音、顏色、圖像等多種符號模態(tài)創(chuàng)造和傳達(dá)意義的方式則叫多符號或多模態(tài)。

多模態(tài)語篇就是融合了語言、圖像、動畫、聲音等多種模態(tài)來表達(dá)信息的語篇[5]。張德祿也對多模態(tài)語篇進(jìn)行了定義，他認(rèn)為，運用感官感覺如視覺、聽覺、觸覺等去進(jìn)行交流交際的過程中，則離不開語言文字、圖像圖形、顏色、聲音等這些多種模態(tài)形式和符號[6]。就交流交際的本質(zhì)而言，其過程中所使用的話語是多模態(tài)的，而不是一種模態(tài)的，只有這樣通過多種途徑、渠道和模態(tài)形式，才能實現(xiàn)將所要建構(gòu)的含義和所要傳達(dá)的意思表達(dá)地更加清晰。潘艷艷也認(rèn)為，對多模態(tài)語篇進(jìn)行分析就是為了研究單個模態(tài)對話語意義的產(chǎn)生所起的作用，同時關(guān)注各個模態(tài)之間是如何實現(xiàn)互動的，從而使多模態(tài)語篇獲得意義[7]。Kress和van Leeuwen將社會符號理論和功能語法理論中的一些知識運用到視覺圖像這種社會符號分析中，提出了多模態(tài)視覺圖像分析理論，它包括三個方面，即圖像的再現(xiàn)意義、圖像的互動意義以及圖像的構(gòu)圖意義[5]。這為多模態(tài)語篇分析提供了分析方法和理論基礎(chǔ)，但是這一多模態(tài)視覺語篇分析方法卻忽視了讀者或觀看者的認(rèn)知過程和心理感受。

目前，關(guān)于多模態(tài)語篇的研究主要集中在多模態(tài)隱喻、轉(zhuǎn)喻以及多模態(tài)視覺語法方面，其主要關(guān)注多模態(tài)的呈現(xiàn)形式、語篇中多種模態(tài)的隱喻轉(zhuǎn)喻構(gòu)建、多種不同模態(tài)的相互協(xié)同作用、視覺圖像的再現(xiàn)、構(gòu)圖和互動意義等方面，但是對于多模態(tài)語篇的讀者認(rèn)知感受和情感體驗等的研究鮮有涉及。

1.2多模態(tài)語篇與認(rèn)知詩學(xué)

認(rèn)知詩學(xué)是21世紀(jì)初在認(rèn)知語言學(xué)和認(rèn)知心理學(xué)的基礎(chǔ)上發(fā)展起來的一門交叉、新興學(xué)科。以色列的Reuven Tsur首先論述了認(rèn)知詩學(xué)，他認(rèn)為：“認(rèn)知詩學(xué)是一種文學(xué)批評理論，是運用了認(rèn)知科學(xué)的一些分析工具，來探究人類的信息處理過程如何影響和制約詩歌的語言與形式，為文學(xué)文本結(jié)構(gòu)與所感知效果之間的關(guān)系做出系統(tǒng)的解釋。”[8-9]認(rèn)知詩學(xué)的主要理論包括概念隱喻、圖形—背景理論、腳本和圖式、文本世界理論、可能世界理論以及心智空間等。

Gibbons在自己多篇論文的基礎(chǔ)上出版了《多模態(tài)，認(rèn)知和實驗文學(xué)》多模態(tài)認(rèn)知詩學(xué)方面的專著，構(gòu)建了多模態(tài)認(rèn)知詩學(xué)的研究框架[10]。Stockwell認(rèn)為，認(rèn)知詩學(xué)是關(guān)于文學(xué)的閱讀。認(rèn)知詩學(xué)關(guān)注文學(xué)語篇，關(guān)注讀者的閱讀過程中認(rèn)知情感體驗[11]。多模態(tài)語篇是在同一語篇中融合了多種符號資源的一種新型文學(xué)文本形式，多種模態(tài)形式在這類文學(xué)文本中相互作用、共同完成敘事。讀者或觀看者在閱讀或觀看多模態(tài)語篇的時候，會因為語篇中不同模態(tài)的協(xié)同互動作用而產(chǎn)生認(rèn)知體驗、情感認(rèn)同或涉身的動作等心理、情感甚至行為動作的反應(yīng)。Gibbons對此進(jìn)行了研究和概括，提出了雙重情境體驗、雙重主體幻覺等多模態(tài)認(rèn)知詩學(xué)分析方法。

本文試圖結(jié)合多模態(tài)語篇分析理論知識，從分析多模態(tài)語篇的表征形式和讀者的認(rèn)知入手，嘗試運用多模態(tài)認(rèn)知詩學(xué)的雙重情境體驗和雙重主體幻覺的分析方法來考察多模態(tài)語篇的敘事特點與讀者認(rèn)知、情感體驗之間的關(guān)系。

2　兒童繪本《猜猜我有多愛你》簡介及其主題意義

本研究的對象為彩色繪本圖畫書《猜猜我有多愛你》(Guess How Much I Love You)。該繪本圖畫書的作者為Sam McBratney，繪圖者是Anita Jeram，于1994年首次在英國出版。國內(nèi)第一版由明天出版社于2008年出版。

在兒童繪本《猜猜我有多愛你》中,作者和繪圖者通過語言文字、圖像、顏色甚至聲音和肢體動作等多種模態(tài)符號的互動互補作用，來表達(dá)該繪本圖畫書的愛的主題。這一愛的主題意義僅從該繪本的封面(圖1)即可略知一二，其封面至少由文字、圖像、顏色等幾種模態(tài)組合而成。該繪本書名《Guess How Much I Love You》(《猜猜我有多愛你》)為典型的語言文字模態(tài)，位于該繪本封面的頂部，從其中英文“I”和“You”就可以判斷該圖像的再現(xiàn)參與者有兩個，即“我”和“你”。而在此過程中，讀者或觀看者通過動詞“Guess”和“Love”(“猜”和“愛”)，就可以推斷兩個再現(xiàn)參與者應(yīng)該是人。但當(dāng)讀者或觀看者將其目光從頂部向下方移動時就會發(fā)現(xiàn)，原來他們以為再現(xiàn)參與者是人的想法有偏差，原來兩個參與者是兩只兔子。此時，兩只兔子的圖像模態(tài)作為輔助信息補充說明文字模態(tài)，同時插圖者將兩只兔子的顏色繪成栗色，兔子周圍的小草和草坪繪成綠色，這樣，文字、圖片、色彩協(xié)同構(gòu)建該封面的構(gòu)圖意義。Lewis[12]認(rèn)為，圖與文的關(guān)系是相互激勵的、靈活的和復(fù)雜的。同時，栗色(深棕色)的兔子更惹人喜愛，草坪的綠色象征著友善、和平、溫馨、成長和愛。如此的繪本封面設(shè)計容易讓繪本的閱讀對象——家長們、孩子們從內(nèi)心接受，更愿意閱讀，并與兩只栗色兔子一起體驗、分享他們的故事。接著，當(dāng)讀者或觀看者翻開這一繪本書時，他們便會發(fā)現(xiàn)從故事的開始到結(jié)束都是圍繞著“一只小兔子跟一只大兔子不停地在比誰愛誰更多、更遠(yuǎn)、更深這樣問題而展開”的。雖然整個故事中小兔子沒有大兔子跳得高，沒有大兔子手臂長，也沒有大兔子的想法多，小兔子雖然不能用語言來表達(dá)對大兔子的愛，但是，他還是非常認(rèn)真地對大兔子說：我愛你！

圖1　《猜猜我有多愛你》英文版封面

那么，當(dāng)繪本作者、插圖者通過文字、圖像以及顏色等多種模態(tài)的形式向讀者或觀看者講述這樣一個關(guān)于愛的故事時，讀者或觀看者的內(nèi)心會出現(xiàn)怎樣的認(rèn)知感受和情感反應(yīng)？這是本文要解決的主要問題。

3　兒童繪本的多模態(tài)表征與讀者認(rèn)知情感反應(yīng)

兒童繪本主要指兒童故事圖畫書，21世紀(jì)初被介紹到中國，促進(jìn)了國內(nèi)兒童繪本的創(chuàng)作和出版。兒童繪本以圖像、文字以及顏色協(xié)同作用，共同講述故事。因此，它具有典型的多模態(tài)特征。因而，本研究在對兒童繪本中的語言、圖像、色彩等多個模態(tài)互動表征方式進(jìn)行分析的同時，嘗試運用多模態(tài)認(rèn)知詩學(xué)的雙重情境體驗和雙重主體幻覺的分析方法以考察讀者在閱讀、理解多模態(tài)語篇敘事時其認(rèn)知、情感上的涉身體驗。

雙重情境體驗。雙重情境體驗指“多模態(tài)小說極易誘發(fā)讀者的雙重情境定位感，即讀者會自覺地意識到心理和物理兩個層面上的自我同時參與敘事體驗”[13]。關(guān)于超文本語篇中的雙重情境體驗，Ensslin有所論述，他指出，讀者或觀看者通過閱讀或觀看這種超文本語篇，而成為該語篇的接觸者、使用者，作為接觸者、使用者，在閱讀和觀看這類語篇的過程中將會采取一些物理行為[14]。這些物理行為如手拿著書、眼睛盯著文字和圖片、口中朗誦著其中的內(nèi)容，這一系列物理行為參與語篇敘事。同時，這類語篇還通過手勢、視覺、聽覺等多種感官符號的表征形式，將故事中的人、事、物等化身進(jìn)入虛擬世界、讀者或觀看者的心理世界，從而讓他們經(jīng)由這種涉身的方式體驗作者和圖畫者所創(chuàng)作的故事世界。這種雙重情景感知包括各類身體操作、寬泛的心理投入、指示中心轉(zhuǎn)移和各類自我投射認(rèn)同方式。

在兒童繪本《猜猜我有多愛你》中，作者和繪圖者通過語言文字、圖像、顏色甚至聲音和肢體動作等多種模態(tài)符號的互動協(xié)同作用，來表達(dá)該繪本圖畫書的愛的故事。如前所述，從作者和繪圖者獨具匠心的封面設(shè)計可見一斑。當(dāng)讀者接觸這一繪本時，他們的目光可能首先被處在該封面中間的圖片所吸引，即一只栗色小兔子拉著一只栗色大兔子的長耳朵，然后其目光將會跳躍到上下方大寫的文字“GUESS HOW MUCH I LOVE YOU”，這時可能將這些文字朗讀出來。此時，“眼睛”的閱讀路徑不再是常規(guī)的、線性的，緊接著其目光可能跳躍至左下方和右下方的兩個稍小一點的栗色兔子圖片。所以，讀者的閱讀路徑是跳躍型的：即從拿起該繪本書——封面中間的栗色——栗色兔子圖片——位于該圖片上下方的大寫字體——左下方和右下方的栗色兔子小圖片。在這一過程中，讀者涉身地運用了觸覺、視覺、聽覺、身勢等多模態(tài)感官方式進(jìn)行了體驗的閱讀，并會結(jié)合封面中的圖片和文字思考“猜猜我有多愛你”這個問題，然后迫切地打開該繪本的扉頁開始找尋答案，進(jìn)而開啟閱讀體驗之旅。當(dāng)讀者打開該繪本的第一頁便會發(fā)現(xiàn)，一只栗色小兔子趴在一只栗色大兔子的頭上，并拉著大兔子的大耳朵不放，小兔子要確定大兔子在聽他說話，“猜猜我有多愛你？”(圖2)

圖2　小兔子確定大兔子在聽她說話

家長們或小讀者(兒童)讀到或看到這一情景時，便可能學(xué)著故事中的小兔子拉著他們父母的耳朵問同樣的問題。這樣，讀者(包括小讀者和他們家長們)便不由自主地通過肢體(用手拉著家長們的耳朵)、語言(讓他們父母聽他們說話或家長們讀繪本故事)、心里伴隨著繪本故事中小兔子和大兔子相互問著“猜猜我有多愛你”的情景，尋找問題的答案。小兔子第一次回答說：“這么多?！?他張開兩只手臂，伸得盡可能遠(yuǎn)(圖3)。而大兔子手臂更長，所以張開地更大，并說道：“我愛你有這么多”(圖4)。接著，小兔子覺得他的胳膊沒有大兔子舉得高，他倒立著腳趾不如大兔子夠得遠(yuǎn)，甚至跳起來也不如大兔子高，最后小兔子想累了，看著月亮告訴大兔子“我愛你，一直遠(yuǎn)到月亮那里”，而大兔子沒有急著回答，而是把栗色的小兔子輕輕地放到了樹葉鋪成的床上，低下頭來，親吻他，祝他晚安。然后，大兔子躺在小兔子的身邊，微笑著輕聲地說：“我愛你，一直到月亮那里，再從月亮上——回到這里來”(圖5)。該繪本作者和繪畫作家通過小兔子和大兔子的相互對話即語言文字模態(tài)、聽覺模態(tài)，栗色的小兔子和大兔子、栗色的樹干、綠色樹葉和小草等色彩模態(tài)，小兔子和大兔子比誰更愛誰時所使用的“手”勢、體勢模態(tài)，讀者在閱讀該繪本時朗讀故事以及兒童聽故事、看故事時的視覺和聽覺模態(tài)來協(xié)同敘述這一愛的故事。愛的故事“引導(dǎo)讀者的身體行為反應(yīng)，彰顯讀者與敘事之間的內(nèi)在關(guān)聯(lián)”。如通過展開雙臂、倒立、跳躍等身體行為反應(yīng)來體驗繪本中虛擬的故事世界，即讀者包括小讀者(兒童)的身體化身進(jìn)入虛擬的小兔子和大兔子世界，同時在認(rèn)知上、情感上體驗著她們的愛的故事。

圖3　愛你“這么多”

圖4　“我愛你有這么多”

圖5　愛你到月亮再回來這么多

雙重主體幻覺。趙秀鳳[13]認(rèn)為，雙重主體幻覺是“讀者在閱讀多模態(tài)文學(xué)時產(chǎn)生的一種雙重身份幻覺: 一個是位于話語世界的肉身自我，另外一個是文本世界內(nèi)的符號表征物——人物。”這種雙重身份虛幻感來源于讀者所閱讀或觀看的多模態(tài)語篇里的故事人物與故事外現(xiàn)實生活中讀者之間的身份重疊。Gibbons[10]認(rèn)為，讀者在閱讀、觀看多模態(tài)語篇時更容易產(chǎn)生這種雙重主體重疊感覺。讀者或觀看者包括小讀者(兒童)在讀、看、聽多模態(tài)語篇敘事繪本《猜猜我有多愛你》(GUESS HOW MUCH I LOVE YOU)時，了解到這是關(guān)于一只小兔子和他的母親(或父親)在睡前攀比自己有多愛對方的故事。讀者們無不被小兔子天真無邪的愛、大兔子無私無盡的愛所感動，他們感動大兔子總比小兔子的愛來得多、來得高、來得深、來得遠(yuǎn)。這時，故事外現(xiàn)實中的大讀者們，如果是爸爸、媽媽、爺爺、奶奶、外公、外婆等家長們，他們會感同身受地覺得他們仿佛就是該故事中的大兔子，他們的孩子便是那只小兔子，他們(家長或大兔子)給予孩子(小兔子)無私、無盡的關(guān)心和愛護(hù)；小讀者們(孩子)在看、讀和聽這一故事時，感覺自己好像故事中的小兔子，天真、可愛，心中充滿愛。尤其是當(dāng)小讀者們看到小兔子嘗試著通過張開雙臂、倒立、跳躍等方式來表示他對大兔子的愛時，小讀者們便會把自己幻想成故事中的小兔子，然后也會問他們的家長們同樣的問題——“猜猜我有多愛你？”此時故事外的大小讀者與故事里的人物(大兔子和小兔子)身份重疊，他們能夠真切地感受到對方對自己那種無法用簡單語言來表達(dá)的、更是無法用任何標(biāo)尺衡量的愛。在小兔子和大兔子簡短而純真的對話中，在小兔子和大兔子深愛著對方的故事中，無不展露出無邊的親情，溫馨感人。這也激起了故事外讀者與故事內(nèi)人物在心理上、情感上的越界共鳴。

4　結(jié)束語

本文以具有多模態(tài)語篇特征的兒童繪本故事《猜猜我有多愛你》為研究對象，在多模態(tài)語篇的理論框架下，運用多模態(tài)認(rèn)知詩學(xué)分析方法，包括雙重情境體驗和雙重主體幻覺兩個視角，考察了該繪本的語言、圖像、色彩等多個模態(tài)互動表征敘事的特點，探討了讀者綜合運用觸覺、視覺、聽覺、身勢等多模態(tài)感官進(jìn)行的認(rèn)知閱讀感受以及讀者在情感上對該繪本中愛的故事的體驗。

參考文獻(xiàn)：

[1]Sam McBratney,Anita Jeram.Guess How Much I Love You[M].London:Walker Books,1994:1-28

[2]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊,2007(5):82-86

[3]Forceville C.Non-verbal and Multimodal Metaphor in a Cognitivist Framework:Agendas for research[C]//Forceville & E.Urios-Aparisi(eds.).MultimodalMetaphor-Applications of Cognitive Linguistics.New York:Mouton de Gruyler,2009:22

作者簡介：陳俊(1977-)，江蘇漣水人，碩士，講師，主要研究方向：認(rèn)知語言學(xué)、多模態(tài)及外語教學(xué)。

基金項目：江蘇省大學(xué)生創(chuàng)新訓(xùn)練計劃項目“工科院校學(xué)生語言能力對英語口語的影響調(diào)查”(201511049046X)；淮陰工學(xué)院科研基金項目“大眾傳媒中多模態(tài)隱喻構(gòu)建的城市形象研究”(HGC1418)。

收稿日期：2015-06-25

中圖分類號：H0

文獻(xiàn)標(biāo)識碼：A

文章編號：1673-2006(2015)10-0076-05

doi:10.3969/j.issn.1673-2006.2015.10.020