李健雪　鄭慧

1.引言

繼《多模態(tài)與體裁》（Multimodality and Genre）（2008）與《多模態(tài)電影分析》（Multimodal Film Analysis）（2012）之后，德國(guó)不萊梅大學(xué)應(yīng)用英語(yǔ)語(yǔ)言學(xué)教授John A.Bateman于2014年隆重推出了由勞特利奇出版社出版的學(xué)術(shù)巨著《文本與圖像：視覺(jué)和言語(yǔ)劃界的批評(píng)性導(dǎo)論》（Text and Image： A critical introduction to the visual/verbal divide.）。該書(shū)從社會(huì)符號(hào)、視覺(jué)交際、話(huà)語(yǔ)的心理語(yǔ)言學(xué)方法、廣告和視覺(jué)勸說(shuō)及認(rèn)知隱喻理論等多維視角，探討了文本與圖像關(guān)系的各種多模態(tài)分析方法，為英語(yǔ)語(yǔ)言和語(yǔ)言學(xué)、媒體傳播學(xué)、視覺(jué)設(shè)計(jì)等研究提供了理論借鑒。

2.主要內(nèi)容

全書(shū)共分三個(gè)部分，每個(gè)部分又分成不同的模塊和單元。

第一部分是建立文本和圖像的聯(lián)系。這一部分由模塊一及兩個(gè)單元組成。在第1單元中，作者從多模態(tài)性和“意義增值”的關(guān)系出發(fā)，尋找建立文本與圖像聯(lián)系的基礎(chǔ)。作者指出，文本和圖像既非完全相似，又非截然不同，將文本和圖像結(jié)合起來(lái)，可使兩者在相似中融合、在差異中增值，從而建立兩者之間的兼容和對(duì)話(huà)。為此，作者提出了構(gòu)成全書(shū)基礎(chǔ)的圖文關(guān)系整體觀，認(rèn)為“文本和圖像是一個(gè)二維及靜態(tài)特質(zhì)組成的合成體。在這個(gè)合成體中，文本和圖像既是視覺(jué)實(shí)例，又是意圖的共現(xiàn)”（P.28）。在第2單元中，作者以文本—圖像結(jié)合所產(chǎn)生的意義類(lèi)型為出發(fā)點(diǎn)，對(duì)文本與圖像關(guān)系的研究進(jìn)行了理論回顧。作者發(fā)現(xiàn)，自羅蘭·巴特（Roland Barthes）將文本—圖像關(guān)系劃分為錨定、說(shuō)明和傳遞這三種關(guān)系以來(lái)，文本—圖像關(guān)系開(kāi)始進(jìn)入學(xué)術(shù)研究的領(lǐng)域。其中，系統(tǒng)功能語(yǔ)言學(xué)及其純理功能思想正式確定了文本—圖像的多模態(tài)意義建構(gòu)關(guān)系，使視覺(jué)模式具備了語(yǔ)言的性質(zhì)，也為視覺(jué)語(yǔ)法的建立奠定了理論基礎(chǔ)。

第二部分聚焦視覺(jué)語(yǔ)境，探究在不同視覺(jué)語(yǔ)境中，文本—圖像關(guān)系在實(shí)現(xiàn)多模態(tài)語(yǔ)篇的敘事功能（模塊二）和勸說(shuō)功能（模塊三）中的途徑與方法。模塊二的主題是視覺(jué)敘事，包括第3-5單元。在第3單元中，作者引入了敘事學(xué)和語(yǔ)類(lèi)兩大理論框架，作為視覺(jué)敘事的理論基礎(chǔ)。作者發(fā)現(xiàn)，聚焦、時(shí)間順序和敘事角度等基本的語(yǔ)言敘事策略，可以拓展到非語(yǔ)言的模態(tài)。同樣，不同語(yǔ)類(lèi)的會(huì)呈現(xiàn)出獨(dú)特的語(yǔ)言特征，語(yǔ)類(lèi)所表現(xiàn)的語(yǔ)言特性同樣適用于視覺(jué)模態(tài)。第4單元和第5單元分別聚焦兒童圖畫(huà)書(shū)和漫畫(huà)。作為視覺(jué)敘事的兩大典型語(yǔ)類(lèi)，圖畫(huà)書(shū)和漫畫(huà)存在許多相似點(diǎn)，作者對(duì)二者做了詳細(xì)的區(qū)分，二者之間在圖文的相對(duì)位置、距離，時(shí)間順序的表現(xiàn)，以及同一頁(yè)面圖像數(shù)量等方面存在不同。作者認(rèn)為，這些不同點(diǎn)會(huì)直接影響圖文關(guān)系。在第4單元中，作者首先對(duì)兒童圖畫(huà)書(shū)語(yǔ)類(lèi)涉及的實(shí)證和理論研究進(jìn)行梳理，然后概括總結(jié)出兒童圖畫(huà)書(shū)這一語(yǔ)類(lèi)中存在的圖文關(guān)系的類(lèi)型、可靠判斷組合關(guān)系的標(biāo)準(zhǔn)，以及文本—圖像關(guān)系對(duì)整體意義建構(gòu)的作用（P.73）。在第5單元中，作者回顧了針對(duì)漫畫(huà)語(yǔ)類(lèi)的研究，介紹了Neil Cohn 和Thierry Groensteen兩位學(xué)者的研究成果，并詳述了前者提出的內(nèi)在關(guān)系、相鄰關(guān)系、獨(dú)立關(guān)系、浮現(xiàn)關(guān)系四種圖文關(guān)系（P.107）。

模塊三是視覺(jué)勸說(shuō)，包括視覺(jué)修辭（第6單元）和視覺(jué)勸說(shuō)與廣告（第7單元）。在第6單元中，作者首先介紹了傳統(tǒng)修辭分類(lèi)（包括結(jié)構(gòu)性修辭與轉(zhuǎn)義性修辭兩大類(lèi)），然后對(duì)現(xiàn)有修辭研究進(jìn)行了梳理和總結(jié)，發(fā)現(xiàn)傳統(tǒng)語(yǔ)言修辭逐漸擴(kuò)展到視覺(jué)材料和語(yǔ)言—圖像組合的分析中。作者認(rèn)為以修辭概念為基礎(chǔ)的文本—圖像關(guān)系分類(lèi)，在可靠性、關(guān)系識(shí)別和分類(lèi)效果方面還有待進(jìn)一步驗(yàn)證。第7單元是第6單元的延伸，即以廣告語(yǔ)篇中視覺(jué)修辭的實(shí)證研究為基礎(chǔ)，驗(yàn)證了將傳統(tǒng)的修辭概念應(yīng)用于視覺(jué)材料和圖文組合分析的可行性與效果。

第三部分涉及具體圖文關(guān)系的理論框架，由模塊四和模塊五組成。模塊四包括第8-11單元，主要側(cè)重建立語(yǔ)言系統(tǒng)框架下，以語(yǔ)法層面、語(yǔ)篇層面、修辭層面為核心的圖文關(guān)系理論框架。第8單元側(cè)重多模態(tài)銜接和圖文關(guān)系。作者介紹了現(xiàn)有以銜接理論為基礎(chǔ)建立的多模態(tài)圖文關(guān)系框架，如基于頁(yè)面的符際互補(bǔ)框架。這些框架雖然在概念意義層面肯定了圖像和文本之間存在著類(lèi)似于語(yǔ)言實(shí)體之間的關(guān)系，如重復(fù)、同義、反義、部分—整體和上下義搭配關(guān)系，但作者認(rèn)為這些多模態(tài)銜接框架還存在諸多問(wèn)題，譬如何識(shí)別并說(shuō)明多模態(tài)銜接關(guān)系、假定的銜接關(guān)系和讀者的理解過(guò)程是否一致、歸納出的銜接關(guān)系或圖文關(guān)系對(duì)解讀多模態(tài)意義的作用等。在第9單元中，作者基于現(xiàn)有的多模態(tài)隱喻研究，認(rèn)為隱喻有能夠連接不同領(lǐng)域的功能（如從源域向目標(biāo)域進(jìn)行屬性轉(zhuǎn)移），非常適用于解釋信息在不同模態(tài)間流動(dòng)的運(yùn)作機(jī)制。鑒于隱喻和合成（Blending）是既有聯(lián)系又有區(qū)別的兩種概念，即前者具備定向?qū)傩赞D(zhuǎn)移且過(guò)程不可逆的特質(zhì)，后者是可逆的。因此，作者認(rèn)為多模態(tài)隱喻理論有助于理清多種模態(tài)結(jié)合后意義得到增值的原理，有助于說(shuō)明圖像和文本關(guān)系在意義建構(gòu)過(guò)程中作用。第10單元是語(yǔ)法層面的圖文關(guān)系建構(gòu)。本章中，作者首先綜述了前人依據(jù)系統(tǒng)功能語(yǔ)法中的及物性和小句關(guān)系建立的圖文關(guān)系框架，認(rèn)為此框架優(yōu)點(diǎn)在于分類(lèi)標(biāo)準(zhǔn)明確、體系具有封閉性。盡管如此，該框架也存在難以確定分析單位、忽視布局對(duì)多模態(tài)意義建構(gòu)的影響、沒(méi)能涵蓋所有的圖文關(guān)系等不足，并提出了針對(duì)性的建議和設(shè)想。第11單元從語(yǔ)篇層面對(duì)圖文關(guān)系進(jìn)行了解讀。鑒于語(yǔ)言不是實(shí)現(xiàn)交際目標(biāo)的唯一方式，語(yǔ)篇的不同成分如連接關(guān)系和修辭結(jié)構(gòu)等可以共同作用，推動(dòng)語(yǔ)篇實(shí)現(xiàn)特定的交際目標(biāo)。隨后作者介紹了以連接關(guān)系為基礎(chǔ)的圖文關(guān)系分類(lèi)，以及多模態(tài)修辭結(jié)構(gòu)理論（Rhetorical Structure Theory） 語(yǔ)篇分析法。但是作者認(rèn)為前者面臨劃分標(biāo)準(zhǔn)不夠精確和實(shí)證研究數(shù)據(jù)不足的問(wèn)題；后者也面臨一些挑戰(zhàn)，譬如修辭結(jié)構(gòu)分類(lèi)多大程度上可以解釋圖文關(guān)系，RST分析方法針對(duì)的是線性符號(hào)模態(tài)（如文本），對(duì)于非線性、空間性的符號(hào)模態(tài)（如圖像）的適用性問(wèn)題等。

模塊5包括第12-14單元。第12單元從語(yǔ)用學(xué)和交往行為角度考察了文本—圖像關(guān)系的建構(gòu)。作者發(fā)現(xiàn)從語(yǔ)言的角度研究視覺(jué)表征或圖文關(guān)系面臨諸多挑戰(zhàn)，主要原因是由于圖文關(guān)系缺少像句法、音系學(xué)、語(yǔ)音學(xué)這樣具體明確的分析單位，也很難識(shí)別抽象的、脫離語(yǔ)境的形式特征。因此，研究從純語(yǔ)言系統(tǒng)層面向語(yǔ)用學(xué)、視覺(jué)交際方向轉(zhuǎn)向，更有利于關(guān)注圖像的使用，而非圖像的形式，從而有效彌補(bǔ)語(yǔ)言系統(tǒng)解讀圖文關(guān)系的不足。語(yǔ)用學(xué)能夠有效解決多模態(tài)語(yǔ)篇中的圖片關(guān)系類(lèi)型；交際行為能夠解決圖文關(guān)系（即多模態(tài)交流）以外受眾的接受過(guò)程。在第13單元中，作者介紹了探究圖文關(guān)系所用到的實(shí)證研究方法，如眼球追蹤技術(shù)（Eye-tracking methods）和語(yǔ)料庫(kù)方法。前者可以用來(lái)探索讀者對(duì)圖文材料實(shí)際理解和接受過(guò)程，后者可以以大量實(shí)際數(shù)據(jù)為基礎(chǔ)檢測(cè)圖文關(guān)系分類(lèi)的信度和準(zhǔn)確性。在第14單元中，作者總結(jié)了今后還有待研究的領(lǐng)域并提出了建議。

3.簡(jiǎn)評(píng)

本書(shū)有以下幾個(gè)方面的特點(diǎn)：

第一，視角的廣泛性。該書(shū)涉及的內(nèi)容涵蓋了社會(huì)符號(hào)學(xué)、視覺(jué)傳播學(xué)、修辭學(xué)（針對(duì)廣告和視覺(jué)勸說(shuō)）、認(rèn)知心理學(xué)（隱喻）等諸多方面。多模態(tài)分析對(duì)象種類(lèi)多樣，包括廣告語(yǔ)篇、兒童圖畫(huà)書(shū)、漫畫(huà)、新聞?wù)Z篇、教科書(shū)，等等。作者將多模態(tài)文本—圖文關(guān)系置于廣泛的背景之下，有助于讀者形成對(duì)圖文關(guān)系全方位的認(rèn)識(shí)，對(duì)從事多模態(tài)研究的學(xué)者來(lái)說(shuō)是必不可少的參考書(shū)。

第二，內(nèi)容的系統(tǒng)性。首先，內(nèi)容全面完善，本書(shū)是一部聚焦圖文關(guān)系的綜述類(lèi)文獻(xiàn)，作者多學(xué)科多角度地介紹了現(xiàn)階段國(guó)外圖文關(guān)系的框架和模型，共介紹了Barthes、Kloepfer、North、Pegg、Spiller McQuarrie &Mick、Van Mulken、Groupe Mu、Forceville、Phillip & McQarrie、Martinec & Salway、Unsworth、Kong、 van Leeuwen等二十余位該領(lǐng)域領(lǐng)銜學(xué)者對(duì)于多模態(tài)研究中圖文關(guān)系的論述，他們從各自的研究興趣和關(guān)注點(diǎn)出發(fā)，探索文本和圖像在多模態(tài)整體意義建構(gòu)中的作用，尋求多模態(tài)意義倍增的運(yùn)作機(jī)制。這些學(xué)者的研究一定程度上可以代表和反映現(xiàn)階段國(guó)外圖文關(guān)系研究的水平和進(jìn)度，研究中存在的問(wèn)題和不足之處都是國(guó)內(nèi)外多模態(tài)研究者未來(lái)努力的方向。其次，內(nèi)容系統(tǒng)連貫。本書(shū)并不是簡(jiǎn)單羅列各位學(xué)者的理論，而是采用“理論基礎(chǔ)導(dǎo)入—學(xué)者研究成果介紹—評(píng)述”的方式，對(duì)他們提出的圖文關(guān)系分類(lèi)追根溯源，從理論角度論述這些圖文關(guān)系框架的分類(lèi)依據(jù)，如在介紹基于頁(yè)面的符際互補(bǔ)框架時(shí)，作者先簡(jiǎn)要闡述銜接理論的關(guān)鍵點(diǎn)，從而清晰地展示從語(yǔ)言向圖像—文本結(jié)合的推導(dǎo)過(guò)程。同時(shí)，作者比較各個(gè)圖文關(guān)系框架的異同點(diǎn)，如對(duì)現(xiàn)有研究者的圖文關(guān)系的分類(lèi)進(jìn)行了標(biāo)注、解釋和說(shuō)明，為正確把握文本—圖像關(guān)系關(guān)系及其發(fā)展提供了清晰的脈絡(luò)。

第三，理論的前瞻性。作者對(duì)各個(gè)理論框架的評(píng)述，對(duì)今后圖文關(guān)系的研究具有啟發(fā)和借鑒意義。在評(píng)估各個(gè)圖文關(guān)系分類(lèi)時(shí)，作者反復(fù)強(qiáng)調(diào)對(duì)圖文關(guān)系的探究要注意以下五個(gè)方面：

（1）分析單位（Unit）的識(shí)別和確定問(wèn)題。語(yǔ)言的分析單元容易確定，但是圖像的最小分析單位到目前為止沒(méi)有精確的劃分標(biāo)準(zhǔn)。如采用“視覺(jué)語(yǔ)法”解讀圖像意義，其方法是分解圖像，提取出視覺(jué)信息元素，然后和文本進(jìn)行意義匹配，從而確定圖像—文本的關(guān)系。這種做法的弊端在于如果缺少對(duì)文本的理解，分析者就不可能提前鎖定某些視覺(jué)信息元素。也就是說(shuō)，正因?yàn)閳D像和文本之間存在互動(dòng)，才使得一些視覺(jué)信息元素必須得以重視。

（2）重視布局（Layout）對(duì)圖文關(guān)系的影響。布局是視覺(jué)設(shè)計(jì)或頁(yè)面組織的重要組成部分，對(duì)文本的理解有很大的影響，但是在圖文關(guān)系探究中經(jīng)常被忽略。Pegg（2002）的圖文關(guān)系分類(lèi)就強(qiáng)調(diào)了頁(yè)面的布局和構(gòu)成對(duì)圖文關(guān)系的影響。

（3）圖文關(guān)系分類(lèi)標(biāo)準(zhǔn)的準(zhǔn)確性有待提高。圖文關(guān)系分類(lèi)容易存在不詳盡和有重疊的問(wèn)題。比如Barthes（1977）提出基本的圖文關(guān)系只有三種，分類(lèi)未免過(guò)于簡(jiǎn)單，不能涵蓋所有圖文關(guān)系；Marsh 和 White（2003）的圖文關(guān)系分類(lèi)包含三層，第一層分為三大類(lèi)，三大類(lèi)再細(xì)化為11種關(guān)系，11種關(guān)系又可以區(qū)分成30種分類(lèi)，如此分類(lèi)雖然很詳細(xì)，但難免會(huì)有所重疊。精準(zhǔn)的分類(lèi)標(biāo)準(zhǔn)有助于不同的分析者在使用同一種圖文關(guān)系分類(lèi)框架時(shí)得到相同的結(jié)論，從而增強(qiáng)圖文關(guān)系框架的內(nèi)部信度。

（4）根據(jù)語(yǔ)類(lèi)探究圖文關(guān)系。Bateman（2008：147）指出不同語(yǔ)類(lèi)的語(yǔ)篇不能用同一種圖文關(guān)系解釋。比如漫畫(huà)書(shū)和廣告語(yǔ)篇分別實(shí)現(xiàn)敘事和勸說(shuō)兩大功能，圖文關(guān)系在實(shí)現(xiàn)這兩大語(yǔ)類(lèi)功能時(shí)發(fā)揮的作用不同，存在的圖文關(guān)系也會(huì)有所差別。歸納出同一語(yǔ)類(lèi)圖文關(guān)系的普遍模式，有利于比較不同語(yǔ)類(lèi)在建構(gòu)多模態(tài)意義時(shí)所使用策略的異同。

（5）利用實(shí)證研究增強(qiáng)分類(lèi)的科學(xué)性。研究者在對(duì)圖文關(guān)系歸納時(shí)，如果主觀判斷讀者對(duì)于多模態(tài)文本的理解過(guò)程和結(jié)果，缺少實(shí)際數(shù)據(jù)的支撐，這樣的分類(lèi)框架就有待進(jìn)一步實(shí)證研究的驗(yàn)證和改善。開(kāi)展大量的實(shí)證研究得出的結(jié)論很可能會(huì)與理論推導(dǎo)出的結(jié)果不同，例如Holsanova 等人（2006）在利用眼球追蹤技術(shù)探究讀者對(duì)圖文并置的新聞?wù)Z篇的理解過(guò)程時(shí)發(fā)現(xiàn)，根本不存在從左到右，從上到下的閱讀路徑（Reading path），讀者閱讀時(shí)會(huì)跳過(guò)某些圖片，而在“視覺(jué)語(yǔ)法”中，理解圖像構(gòu)圖意義的方式之一是通過(guò)判斷各元素在圖像中占據(jù)不同的位置，左邊的代表已知信息，右邊的代表新信息，上方的代表理想的信息，下方的代表真實(shí)的信息。

當(dāng)然，本書(shū)還存在一些不足和局限性。首先，本書(shū)將研究對(duì)象——圖文關(guān)系做了嚴(yán)格的范圍限定，必須滿(mǎn)足三個(gè)條件要素：視覺(jué)共存、二維平面及有意被放置在一起共同建構(gòu)意義。這樣就排除了許多其他種類(lèi)的組合關(guān)系，比如口語(yǔ)與圖像、三維的圖像文本組合。還有一些在范圍內(nèi)但沒(méi)有涉及的領(lǐng)域，如新聞?wù)掌臀淖謽?biāo)題的關(guān)系、網(wǎng)頁(yè)中的圖文關(guān)系等。這些沒(méi)有涉及的模態(tài)間關(guān)系都值得今后進(jìn)一步研究。其次，本書(shū)更多關(guān)注對(duì)各個(gè)圖文關(guān)系分類(lèi)的理論闡述和評(píng)估、異同點(diǎn)比較，缺少在實(shí)際案例中的運(yùn)用。雖然給讀者展現(xiàn)了多種多樣的圖文關(guān)系分類(lèi)框架，但是在多模態(tài)語(yǔ)篇分析的實(shí)際操作層面的指導(dǎo)相對(duì)較少，難免給分析者造成困惑。最后，本書(shū)可以用作反映多模態(tài)意義建構(gòu)的教材，教材與其他理論著作在體例上有所不同，優(yōu)點(diǎn)是具有可讀性，便于理解，但是正因?yàn)槿绱?，?duì)書(shū)中涉及的理論框架的闡述的深度就會(huì)有所減損。

總體來(lái)說(shuō)，本書(shū)聚焦圖文關(guān)系，以清晰合理的結(jié)構(gòu)安排、簡(jiǎn)潔易懂的語(yǔ)言向讀者展示了現(xiàn)階段國(guó)外在該領(lǐng)域的研究成果，它的出版對(duì)今后多模態(tài)研究中的模態(tài)間相互關(guān)系探究有很多借鑒和啟發(fā)，是多模態(tài)研究中的一本重要的參考資料。

參考文獻(xiàn)：

[1]Bateman， J.A.2008.Multimodality and Genre： A Foundation for the Systematic Analysis of Multimodal Documents[M].London & New York： Palgrave Macmillan.

[2]Bateman，J.A.& K-H.Schmidt.2012.Multimodal Film Analysis： How Films Mean[M].London & New York ： Routledge.

基金項(xiàng)目：本文為江蘇省2014年度普通高校研究生科研創(chuàng)新計(jì)劃項(xiàng)目《視頻廣告的多模態(tài)批評(píng)話(huà)語(yǔ)分析》（編號(hào)：KYZZ_ 0312）的階段性成果。