代樹(shù)蘭

(江蘇理工學(xué)院，常州 213001)

隨著現(xiàn)代社會(huì)信息與傳播方式的改變及現(xiàn)代社會(huì)圖像的崛起，語(yǔ)言的統(tǒng)治地位受到?jīng)_擊，雖然圖像等視覺(jué)符號(hào)尚未達(dá)到一統(tǒng)天下的境地，然而其重要性也不可小覷。圖像、圖文之間的關(guān)系再次成為人們關(guān)注的焦點(diǎn)。特別是在現(xiàn)代符號(hào)學(xué)、語(yǔ)言學(xué)領(lǐng)域，人們?cè)絹?lái)越認(rèn)識(shí)到，意義的構(gòu)建依賴多種符號(hào)資源的協(xié)同作用，圖像、動(dòng)作、姿態(tài)、聲音常常與語(yǔ)言如影隨形，共同參與多模態(tài)話語(yǔ)意義的建構(gòu)。在圖文關(guān)系的研究中，繼索緒爾、巴爾特之后，以系統(tǒng)功能語(yǔ)言學(xué)理論為基礎(chǔ)的學(xué)者深入到圖文之間比較細(xì)致的“語(yǔ)法”關(guān)系中，將語(yǔ)言系統(tǒng)的研究成果如小句之間的關(guān)系等拓展到話語(yǔ)單位之間、圖文之間的關(guān)系研究中，對(duì)圖文之間的地位、互補(bǔ)等關(guān)系，以及人際意義中的評(píng)價(jià)立場(chǎng)等展開(kāi)研究；互動(dòng)社會(huì)語(yǔ)言學(xué)、認(rèn)知語(yǔ)言學(xué)等領(lǐng)域也將圖像、圖文關(guān)系納入研究視野(代樹(shù)蘭 2013:21)，他們對(duì)話語(yǔ)互動(dòng)進(jìn)程及參與互動(dòng)的多種模態(tài)也提出相應(yīng)的研究方法和路徑，對(duì)圖像隱喻、轉(zhuǎn)喻以及空間位置、聊天平臺(tái)上聲音符號(hào)的關(guān)注等為多模態(tài)之間關(guān)系的研究注入活力。

1　現(xiàn)代話語(yǔ)語(yǔ)境中圖像的崛起

在現(xiàn)代社會(huì)，圖像崛起于傳統(tǒng)的語(yǔ)言一統(tǒng)天下的語(yǔ)境中。事實(shí)上，人們對(duì)圖像等視覺(jué)符號(hào)的探討由來(lái)已久。柏拉圖的“線段之喻”將可視世界一分為二，即實(shí)物與圖像，認(rèn)為圖像是對(duì)實(shí)物的摹仿。(柏拉圖 1986:268)亞里士多德在《形而上學(xué)》的開(kāi)篇便有：“無(wú)論我們將有所作為，或竟是無(wú)所作為，較之其它感覺(jué)，我們都特愛(ài)觀看。理由是它能使我們識(shí)知事物，并顯明事物之間的許多差別，此于五官之中，以得于視覺(jué)者為多”(亞里士多德 1983:1)。我國(guó)古代，如果說(shuō)老子和莊子的“五色令人目盲，五音令人耳聾” (《老子·第十二章》)、“上窺青天，下潛黃泉”(《莊子·田子方》)有意無(wú)意地強(qiáng)調(diào)視覺(jué)、聽(tīng)覺(jué)的重要性，那么王弼的“盡意莫若象，盡象莫若言。言生于象，故可尋言以觀象；象生于意，故可尋象以觀意……”(《周易略例·明象》)，以及西晉文學(xué)家、書(shū)法家陸機(jī)的“宣物莫大于言,存形莫善于畫(huà)”(張彥遠(yuǎn)《歷代名畫(huà)記·敘畫(huà)之源流》引)等則凸顯出視覺(jué)及圖像的重要性。黑格爾在19世紀(jì)30年代也曾指出，在人的所有感官中，惟有視覺(jué)和聽(tīng)覺(jué)是認(rèn)識(shí)性的感官。(黑格爾 1979:331)

人類社會(huì)進(jìn)入20世紀(jì)后半期，消費(fèi)社會(huì)的來(lái)臨、信息生產(chǎn)與傳播方式的數(shù)字化進(jìn)程把我們由“語(yǔ)言一統(tǒng)天下”的時(shí)代帶入“圖像時(shí)代”?！八囆g(shù)”與“圖像”作為概念從內(nèi)涵與外延、能指與所指的關(guān)系都在發(fā)生轉(zhuǎn)變(尹德輝 2010:11)，視覺(jué)符號(hào)正成為溝通個(gè)體與社會(huì)、人類與自然、心靈與肉體的紐帶?！盁o(wú)論我們喜歡與否，我們自身在當(dāng)今都已處于視覺(jué)成為社會(huì)現(xiàn)實(shí)主導(dǎo)形式的社會(huì)”(艾爾雅維茨 2003:5)，“圖像俘虜了我們……它置身于我們的語(yǔ)言之中，并且語(yǔ)言也似乎不斷地向我們重復(fù)著它”(Wittgenstein 1958:6)?！斑^(guò)去，圖像闡釋文本。今天，文本則充實(shí)著圖像……過(guò)去是從文本到圖像的涵義遞減，今天存在的卻是從文本到圖像的涵義遞增。”(Barthes 1982:204)“目前占統(tǒng)治地位的是視覺(jué)觀念。聲音和景象，尤其是后者，組織了美學(xué)，統(tǒng)率了觀眾。”(貝爾 1989:154)甚至有人提出，在當(dāng)代視覺(jué)文化中，文本與圖像的傳統(tǒng)支配關(guān)系被倒置，不是文字或文本支配圖像，而是圖像獲得前所未有的“霸權(quán)”(周憲 2005:138)。世界圖像并非從一個(gè)中世紀(jì)的稱謂演變?yōu)橐粋€(gè)現(xiàn)代的時(shí)尚，而是世界從根本上變成圖像，這正是現(xiàn)代社會(huì)之本質(zhì)(海德格爾 1996:899)。

電影、電視畫(huà)面、各種網(wǎng)絡(luò)資源及圖像的出現(xiàn)與普及意味著以視覺(jué)文化為主導(dǎo)的海德格爾的“世界圖像時(shí)代”(同上:1)，或曰“景象社會(huì)”(Debord 1994:6)、“視覺(jué)文化”(Mirzoeff 1998:5)、“仿像社會(huì)”(Baudrillard 1983:83)的到來(lái)。于是有學(xué)者宣稱，80年代末以來(lái)的“語(yǔ)言學(xué)轉(zhuǎn)向”似乎已經(jīng)壽終正寢，取而代之的正是“視覺(jué)轉(zhuǎn)向”，或曰“圖像轉(zhuǎn)向”：哲學(xué)家們所談?wù)摰牧硪淮无D(zhuǎn)變正在發(fā)生，又一次關(guān)系復(fù)雜的轉(zhuǎn)變正在人文科學(xué)的其他學(xué)科里、在公共文化的領(lǐng)域里發(fā)生。我想把這一轉(zhuǎn)變稱之為“圖像轉(zhuǎn)向”。在英美哲學(xué)中，這一轉(zhuǎn)向的種種形式早期可追溯到皮爾斯的符號(hào)學(xué)，后期可追溯到古德曼的“藝術(shù)語(yǔ)言”，兩者都探討構(gòu)成非語(yǔ)言符號(hào)系統(tǒng)之基礎(chǔ)的慣例和符碼。更為重要的是，它們并不從如下假定出發(fā)，即語(yǔ)言乃是意義的范式。在歐洲，人們可以把這一變化和現(xiàn)象學(xué)關(guān)于想象和視覺(jué)經(jīng)驗(yàn)的研究等同起來(lái)，或把它與德里達(dá)的“語(yǔ)法學(xué)”等同起來(lái)，后者通過(guò)把注意力轉(zhuǎn)向書(shū)寫可見(jiàn)的物質(zhì)性痕跡而將語(yǔ)言的“語(yǔ)音中心論”模式去中心化；或者，還可以把這一轉(zhuǎn)變與法蘭克福學(xué)派對(duì)現(xiàn)代性、大眾文化以及視覺(jué)媒介的研究等同起來(lái)，或者與?？滤鶊?jiān)持的權(quán)力/知識(shí)歷史和理論等同起來(lái)，這一歷史和理論揭示出話語(yǔ)的和“視覺(jué)的”、可見(jiàn)的和可說(shuō)的東西之間存在的裂隙，這種裂隙乃是現(xiàn)代性的“視覺(jué)政體”中的關(guān)鍵所在(Mitchell 1994:11-12, 米歇爾 2006:2-3)。

事實(shí)上，早在1972年，英國(guó)學(xué)者貢布里希(2001:106)就宣布“視覺(jué)時(shí)代”的到來(lái)。從電視到報(bào)紙，從廣告到各類商業(yè)形象，社會(huì)的特征似視覺(jué)的癌癥般擴(kuò)散，所有事物的價(jià)值都取決于顯示或被顯示的能力，談話也被轉(zhuǎn)化為視覺(jué)過(guò)程(如電視訪談等)，這是一種眼睛的史詩(shī)，閱讀沖動(dòng)的史詩(shī) (Michel 1984:XXI)?！皥D像正是大眾話語(yǔ)最合適的傳媒和載體，圖像化為大眾化的意識(shí)形態(tài)提供一個(gè)最有效的途徑?！?彭亞非 2003:32)如果說(shuō)“語(yǔ)言學(xué)轉(zhuǎn)向”是建立在語(yǔ)言建構(gòu)我們社會(huì)現(xiàn)實(shí)的重要通道的話，那么，如今在同樣的意義上也可以說(shuō)，在當(dāng)代文化中圖像同樣是建構(gòu)我們社會(huì)現(xiàn)實(shí)的重要路徑。比較而言，圖像比語(yǔ)言更有效地塑造我們對(duì)現(xiàn)實(shí)世界的看法。而當(dāng)代視覺(jué)文化中各種復(fù)雜的圖像或影像形式的爆炸性發(fā)展，必然對(duì)當(dāng)代人的主體性、意識(shí)形態(tài)和認(rèn)知方式產(chǎn)生越來(lái)越深刻的影響(周憲 2005:142)。

盡管人們對(duì)圖像的地位、“圖像時(shí)代”的稱謂仍有爭(zhēng)議，“圖像霸權(quán)”等說(shuō)法仍不免有言過(guò)其實(shí)之嫌，然而圖像等視覺(jué)符號(hào)在現(xiàn)代社會(huì)中的作用及地位的凸顯已成為不爭(zhēng)的事實(shí)。傳統(tǒng)的語(yǔ)言一統(tǒng)天下的時(shí)代正在改變。事實(shí)上，“圖像轉(zhuǎn)向”某種程度上正是肇起于“語(yǔ)言轉(zhuǎn)向”的基礎(chǔ)之上，崛起于傳統(tǒng)的語(yǔ)言一統(tǒng)天下的語(yǔ)境中。不僅圖像的表述是借助于語(yǔ)言完成的，對(duì)圖像重要性的凸顯、對(duì)圖像轉(zhuǎn)向的表述也是在語(yǔ)言轉(zhuǎn)向中、在與語(yǔ)言的對(duì)比中實(shí)現(xiàn)的。在此過(guò)程中，語(yǔ)言與圖像孰輕孰重、圖像符號(hào)的特點(diǎn)及其與語(yǔ)言符號(hào)的關(guān)系自然是學(xué)者們必須面對(duì)的問(wèn)題。

2　現(xiàn)代多模態(tài)話語(yǔ)中各模態(tài)之間的關(guān)系

語(yǔ)言和圖像的發(fā)展經(jīng)歷早期的圖文一體、先秦至隋唐時(shí)期的文重于圖、圖模仿文，宋朝至明清的語(yǔ)圖合體、相得益彰的發(fā)展歷程(李彥鋒 2010:65)，與東方一樣，西方的圖像從模仿、替代到再現(xiàn)的過(guò)程也經(jīng)歷從一體、分離，走向融合的轉(zhuǎn)變。然而現(xiàn)代社會(huì)對(duì)多模態(tài)關(guān)系的研究歷史并不長(zhǎng)。20世紀(jì)30年代的語(yǔ)言轉(zhuǎn)向萌芽之時(shí)，胡塞爾將圖像的物質(zhì)客體區(qū)分為物理客體、展示性客體、被展示性客體3種類型(倪梁康 2001:34)，這一區(qū)分與帕諾夫斯基圖像學(xué)闡釋的3個(gè)階段(前圖像志描述、圖像志分析、圖像學(xué)闡釋)具有異曲同工之妙(潘諾夫斯基 1987:31)。維特根斯坦也注意到非語(yǔ)言符號(hào)的作用及語(yǔ)言與圖像之間的關(guān)系，在將語(yǔ)言符號(hào)的功能進(jìn)行分類(傳達(dá)信息、表達(dá)情感與指導(dǎo)行動(dòng))的同時(shí)，提出非語(yǔ)言符號(hào)的功能，即表達(dá)態(tài)度與情緒、輔助語(yǔ)言交際、替代語(yǔ)言等；認(rèn)為盡管非語(yǔ)言符號(hào)不容易變成系統(tǒng)、準(zhǔn)確的語(yǔ)言，但大量不同的信息正是通過(guò)它們傳達(dá)的(維特根斯坦 2001:215-270)。阿恩海姆更進(jìn)一步認(rèn)為，“每一個(gè)視覺(jué)式樣都是一個(gè)力的式樣”(阿恩海姆1998:9)。被視覺(jué)所感知的圖像本身便存在著特殊的、不能用預(yù)先積累的知識(shí)推斷出來(lái)的“力的樣式”，從而將圖像看作與文字一樣是具有獨(dú)立性、具有表達(dá)層和意義層的符號(hào)資源(Royce, Bowcher 2007:195)，提醒人們對(duì)其意義構(gòu)建過(guò)程與機(jī)制、對(duì)各種符號(hào)資源的融合予以關(guān)注、進(jìn)行解釋。

如果說(shuō)在柏拉圖那里，圖像與文字本身的符號(hào)價(jià)值被摹仿物所遮蔽，那么在現(xiàn)代的索緒爾、阿恩海姆等學(xué)者那里，它們的符號(hào)價(jià)值凸現(xiàn)出來(lái)，而不再受制于被摹仿物。只是索緒爾將語(yǔ)言文字看作一個(gè)自足的、封閉的系統(tǒng)，而胡塞爾、阿恩海姆等傾向于將圖像歸入某個(gè)自足的系統(tǒng)(陳力丹 王亦高 2008:15)。事實(shí)上，Kress和van Leeuwen認(rèn)為，圖像并不依賴文字說(shuō)明，而是自足的，具有自己的組織和結(jié)構(gòu)特征。(Kress, van Leeuwen 2006:16) 如今，圖文關(guān)系在經(jīng)歷柏拉圖的圖像優(yōu)于文字、文字是圖像的闡釋者與輔助工具，以及巴爾特的文字優(yōu)于圖像的觀點(diǎn)之后，步入后現(xiàn)代的圖像具有獨(dú)立性、自足性的時(shí)代。

正是后現(xiàn)代社會(huì)語(yǔ)境中圖像的這種獨(dú)立性、自足性導(dǎo)致“圖像時(shí)代”的到來(lái)，以及人們對(duì)圖像、圖文關(guān)系更多的關(guān)注和研究。在現(xiàn)代符號(hào)學(xué)、語(yǔ)言學(xué)領(lǐng)域，人們?cè)絹?lái)越認(rèn)識(shí)到，意義的構(gòu)建依賴多種符號(hào)資源的協(xié)同作用，視覺(jué)符號(hào)與我們對(duì)動(dòng)作的感知相聯(lián)系，從而將身體對(duì)動(dòng)作的體驗(yàn)也變成視覺(jué)與語(yǔ)言結(jié)合的模態(tài)符號(hào)，語(yǔ)言與圖像等符號(hào)之間的關(guān)系超越簡(jiǎn)單意義上的視覺(jué)符號(hào)與語(yǔ)言符號(hào)的結(jié)合，跨入多模態(tài)融合的階段。這種對(duì)多層次的單獨(dú)或協(xié)同作用的符號(hào)資源的認(rèn)識(shí)為意義的研究提出新的課題，而日益增長(zhǎng)的對(duì)傳播媒介、社會(huì)互動(dòng)、符號(hào)學(xué)的研究興趣也正在促使人們重新將目光轉(zhuǎn)向話語(yǔ)的多種模態(tài)以及各模態(tài)之間的關(guān)系上。

2.1 以巴爾特為代表的符號(hào)學(xué)研究

人類對(duì)圖文關(guān)系的認(rèn)知與探討以及語(yǔ)言與圖像相結(jié)合的傳統(tǒng)源遠(yuǎn)流長(zhǎng)。自古以來(lái)中國(guó)就有“圖經(jīng)書(shū)緯”的說(shuō)法，在歐洲，圖像也曾經(jīng)被看成是一種書(shū)寫形式。然而在語(yǔ)圖關(guān)系研究中較早也頗具影響的當(dāng)屬巴爾特。受索緒爾圖像僅是語(yǔ)言符號(hào)整體的一部分的觀點(diǎn)影響，他不贊成圖像具有符號(hào)自律性，認(rèn)為對(duì)圖像的符號(hào)學(xué)分析需要借助于語(yǔ)言模式?！皥D像可以表達(dá)意義，但從來(lái)就不是自律的；任何符號(hào)體系均包含語(yǔ)言?！饬x必然是通過(guò)語(yǔ)言來(lái)復(fù)制從而得到證實(shí)?！?Barthes 1973:10)“語(yǔ)言不是普遍的符號(hào)學(xué)科的一部分，……相反，符號(hào)學(xué)乃是語(yǔ)言學(xué)的一部分，是具體負(fù)責(zé)話語(yǔ)中的大的意義單位的那部分?！?巴爾特1999:2-3)

巴爾特的觀點(diǎn)大有成為現(xiàn)實(shí)之勢(shì)。他在圖文關(guān)系方面所做的工作也為后期的研究奠定基礎(chǔ)。他將圖像與文字的關(guān)系分為兩種：即本體論上的“基礎(chǔ)”關(guān)系和信息“傳遞”關(guān)系。前者圖像依賴文字；后者則是互補(bǔ)關(guān)系。兩種關(guān)系中，要么文字得到圖像的延伸，要么圖像從文字中擁有本體論基礎(chǔ)(葉起昌 2005:63)。隨后，在依賴與互補(bǔ)的基礎(chǔ)上，巴爾特提出語(yǔ)言和圖像間的3種關(guān)系：以圖像為主，語(yǔ)言解釋圖像；以語(yǔ)言為主，圖像解釋語(yǔ)言(Barthes 1977：25)；二者處于平等地位：“盡管在固定的圖像中很少見(jiàn)，但在電影中卻十分重要，對(duì)話不僅起著解釋的作用，而實(shí)際上通過(guò)提供圖像中不能表現(xiàn)的信息，起著推動(dòng)情節(jié)發(fā)展的作用。此時(shí)，語(yǔ)言和圖像作為語(yǔ)段的組成部分，處于互補(bǔ)關(guān)系，信息的整體性在更高層次上得以實(shí)現(xiàn) (同上：41)，從而實(shí)現(xiàn)在意義表達(dá)上相互拓展、細(xì)化、增加所蘊(yùn)含的信息，對(duì)意義予以詳細(xì)說(shuō)明或更準(zhǔn)確的重述 (Anthonissen 2003:300)。

2.2 系統(tǒng)功能語(yǔ)言學(xué)領(lǐng)域的研究

意義的建構(gòu)與理解不僅需要關(guān)注語(yǔ)言，還需要考慮符號(hào)的復(fù)雜性以及參與整體意義建構(gòu)的其他符號(hào)資源，考慮多種符號(hào)間的協(xié)同作用。社會(huì)符號(hào)學(xué)關(guān)注符號(hào)自身的特征，認(rèn)為意義的建構(gòu)需要多種符號(hào)的協(xié)同作用，尋求語(yǔ)言與圖像等多種符號(hào)的整體理解方式，從而成為多模態(tài)話語(yǔ)的重要理論基礎(chǔ)。Kress和van Leeuwen率先把韓禮德的理論運(yùn)用于多模態(tài)話語(yǔ)分析，認(rèn)為圖像符號(hào)與語(yǔ)言符號(hào)一樣也是常見(jiàn)的社會(huì)符號(hào)。(Kress，van Leeuwen 1996:1)圖像等視覺(jué)符號(hào)與語(yǔ)言符號(hào)一樣具有概念、人際和語(yǔ)篇3種功能(同上:40)，具有形成語(yǔ)篇或符號(hào)整體的功能，所形成的語(yǔ)篇既有內(nèi)在連貫性，又與外部語(yǔ)境相聯(lián)系。因此，話語(yǔ)的建構(gòu)與理解須要打破語(yǔ)言和圖像間的局限，考慮多模態(tài)語(yǔ)篇構(gòu)成的整體，須要將各模態(tài)的表達(dá)意義、指向意義和篇章意義結(jié)合起來(lái)(Lemke 1998:87)。

從20世紀(jì)90年代開(kāi)始，該領(lǐng)域的部分學(xué)者以此為基礎(chǔ)對(duì)各符號(hào)之間的關(guān)系開(kāi)展研究。Lemke 提出語(yǔ)言語(yǔ)義模式的語(yǔ)義系統(tǒng)或許也可用來(lái)整合語(yǔ)言與視覺(jué)圖像之間的意義關(guān)系(Lemke 1998:87)；Royce運(yùn)用韓禮德 (1985/1994)的元功能模型、Kress和van Leeuwen(1996)的布局系統(tǒng)對(duì)廣告中的圖文關(guān)系進(jìn)行探討 (Royce 1998:25)。Bateman 則通過(guò)對(duì)傳統(tǒng)的紙質(zhì)報(bào)紙和網(wǎng)絡(luò)電子報(bào)紙首頁(yè)的布局設(shè)計(jì)及其在生產(chǎn)和傳播過(guò)程中所呈現(xiàn)的不同特征進(jìn)行分析，從類型學(xué)的角度提出圖文關(guān)系研究中需要注意的問(wèn)題。(Royce, Bowcher 2007:147) 話語(yǔ)類型通過(guò)為話語(yǔ)提供隱性意義結(jié)構(gòu)，將圖文布局與社會(huì)活動(dòng)連接起來(lái)，影響并制約著二者在模態(tài)選擇和布局設(shè)計(jì)等方面的特征與策略。圖文關(guān)系的確立與話語(yǔ)類型關(guān)系密切，后者是決定二者關(guān)系的重要因素。Lemke發(fā)現(xiàn)，雖然從理論上講所有的模態(tài)都是平等的，但在實(shí)際運(yùn)用中，由于各自的特征及其在具體交際情景中所起的作用不同，一些模態(tài)會(huì)在更大程度上增加或減少由其他模態(tài)所表達(dá)的信息。(Lemke 1998:87) 語(yǔ)言更適用于表達(dá)序列關(guān)系、各類別之間的區(qū)別等，圖像更適用于表達(dá)空間關(guān)系，以及程度、等級(jí)、持續(xù)或動(dòng)態(tài)變化等。不過(guò)，在具體交際情景中，語(yǔ)言和圖像的作用并不局限于以上的“特殊功能”，特別是隨著圖像在各種文本中的頻繁使用，其功能有可能成為這兩種模態(tài)互補(bǔ)關(guān)系的特征(Martinec, Salway 2005:351)。目前，該領(lǐng)域的進(jìn)展主要集中在以下幾個(gè)方面：

2.21 語(yǔ)法關(guān)系與圖文關(guān)系

在特定的社會(huì)文化領(lǐng)域，意義通常可由不同的符號(hào)來(lái)表達(dá)，共同的符號(hào)原則能在不同交際模式中起作用。系統(tǒng)功能語(yǔ)言學(xué)的學(xué)者以韓禮德對(duì)語(yǔ)言的研究為基礎(chǔ)向外延伸，認(rèn)為其語(yǔ)言研究成果同樣適用于圖像等其他交際符號(hào)。將其邏輯語(yǔ)義關(guān)系(Halliday 1985:306-307)延伸到話語(yǔ)單位(Martin 1994:29)和圖文之間的關(guān)系上。又在該基礎(chǔ)上增加地位關(guān)系(Martinec, Salway 2005:351)，還將巴爾特的互補(bǔ)關(guān)系考慮在內(nèi)，認(rèn)為圖像和文本互相依賴、互相依存。并因此將圖文的語(yǔ)義關(guān)系分為兩個(gè)子系統(tǒng)，即地位系統(tǒng)和邏輯語(yǔ)義系統(tǒng)；將平等關(guān)系進(jìn)一步分為獨(dú)立和互補(bǔ)兩種關(guān)系，獨(dú)立關(guān)系中地位平等；互補(bǔ)關(guān)系中互相修飾，共同構(gòu)成更大的語(yǔ)段。相互獨(dú)立時(shí)，其信息處于平行狀態(tài)，各自形成獨(dú)立過(guò)程。與小句中的從屬關(guān)系一樣，圖像與語(yǔ)言有主輔之分。

2.22 圖文之間的地位關(guān)系

圖像與語(yǔ)言之間的關(guān)聯(lián)是通過(guò)成分之間的銜接實(shí)現(xiàn)的，從而將圖像和語(yǔ)言中參與者、過(guò)程和情景聯(lián)系在一起。二者互補(bǔ)時(shí)，它們共同構(gòu)成一個(gè)大的語(yǔ)段，多數(shù)情況下，它們共同參與意義的建構(gòu)，特別是在單靠語(yǔ)言不能表達(dá)清楚，需要二者協(xié)同作用時(shí)，這種情況尤為常見(jiàn)。在語(yǔ)言與圖像之間的地位關(guān)系中，平等關(guān)系中語(yǔ)言與圖像相互獨(dú)立、互相補(bǔ)充；不平等關(guān)系中圖像從屬于語(yǔ)言，或者語(yǔ)言從屬于圖像。韓禮德的術(shù)語(yǔ)“闡述”也被用于說(shuō)明圖文之間的邏輯語(yǔ)義關(guān)系，解釋、延伸和強(qiáng)化均可用來(lái)表達(dá)圖文關(guān)系。(韓禮德 1994:226) 解釋可分為說(shuō)明和舉例；延伸指語(yǔ)言與圖像中的一種模態(tài)增加新的相關(guān)信息；強(qiáng)化指增加時(shí)間、地點(diǎn)、原因等新信息(Martinec, Salway 2005:360)。

2.23 圖文之間的多種關(guān)系

各模態(tài)之間在話語(yǔ)過(guò)程中具有多種關(guān)系，它們互相增效、協(xié)調(diào)一致，服務(wù)于整體意義的建構(gòu)，其整體意義大于任何單一模態(tài)的意義。語(yǔ)言與圖像之間在概念意義上存在一致、互補(bǔ)和連接等多種關(guān)系。這里的一致關(guān)系與Lemke 的多模態(tài)話語(yǔ)的意義多重性一致(Lemke 2002:301)，是各符號(hào)系統(tǒng)的意義功能結(jié)合的必然結(jié)果，它包括不同模態(tài)之間的重復(fù)、展示和例證：重復(fù)并不是各模態(tài)之間的簡(jiǎn)單重復(fù)，而是通過(guò)另一模態(tài)的介入在原有的基礎(chǔ)上增加新的信息；展示指圖像與語(yǔ)篇處于同一級(jí)別時(shí)的意義建構(gòu)關(guān)系(Martinec, Salway 2005:350)；例證則指語(yǔ)言說(shuō)明一般情況，圖像表示其中的一種情況、一個(gè)例子，或者提供追加、額外信息。概念功能中的互補(bǔ)關(guān)系主要指各模態(tài)之間所表達(dá)的意義有所不同而呈現(xiàn)出的互相補(bǔ)充、增效，產(chǎn)生比任一模態(tài)以及各模態(tài)構(gòu)成的整體更大的效果(Royce 1998:25-50)。偶爾也會(huì)出現(xiàn)概念的背離性，即語(yǔ)言與圖像表達(dá)的內(nèi)容呈相反關(guān)系。連接關(guān)系有兩種表現(xiàn)形式，第一種是凸顯，主要指引用或報(bào)告別人的話語(yǔ)或想法；第二種是時(shí)間、地點(diǎn)、原因等的連接關(guān)系，如文本敘述，圖像表明原因等(Martinec, Salway 2005:337-71)。

2.24 圖文關(guān)系中的評(píng)價(jià)立場(chǎng)

語(yǔ)言與圖像互相配合，共同建構(gòu)人際意義和評(píng)價(jià)立場(chǎng)。近期關(guān)于圖文關(guān)系的人際意義研究雖然關(guān)注各模態(tài)間的相互作用，但研究重點(diǎn)主要在多模態(tài)話語(yǔ)中評(píng)價(jià)立場(chǎng)的建構(gòu)上。認(rèn)為圖像與意象相似，旨在激起讀者的評(píng)價(jià)反應(yīng)，其主要作用是協(xié)同語(yǔ)言表達(dá)態(tài)度(包括情感、判斷和欣賞)，二者之間的關(guān)系更傾向于表達(dá)評(píng)價(jià)，而不是語(yǔ)氣或情態(tài)。(Martin 2002:311)通過(guò)在表達(dá)過(guò)程中對(duì)圖文的呈現(xiàn)形式進(jìn)行精心設(shè)計(jì)，以預(yù)示或揭示語(yǔ)言所表達(dá)的價(jià)值立場(chǎng)。就篇章意義而言，語(yǔ)言作為視覺(jué)成分，可以對(duì)圖像的不同部分予以強(qiáng)調(diào)或凸顯，圖像也能以不同的呈現(xiàn)形式突出語(yǔ)言表達(dá)的內(nèi)容。通過(guò)調(diào)整圖像和語(yǔ)言在屏幕上、語(yǔ)篇中的視覺(jué)效果，影響讀者的觀點(diǎn)和觀眾的視覺(jué)效果(Jewitt 2002:171)。就篇章關(guān)系而言，布局特征是建構(gòu)和理解意義、確立作者立場(chǎng)至關(guān)重要的因素(Macken 2003:283)。在對(duì)圖像的理解中，特別是在機(jī)構(gòu)話語(yǔ)情境中，人們時(shí)常忽視人際意義和篇章布局，只關(guān)注概念意義(Lemke 2002:301)。

2.3 互動(dòng)社會(huì)語(yǔ)言學(xué)、認(rèn)知語(yǔ)言學(xué)對(duì)圖文關(guān)系的研究

話語(yǔ)研究不僅要考慮語(yǔ)言，更多地還要考慮語(yǔ)言在互動(dòng)過(guò)程中的作用，以及互動(dòng)過(guò)程中的其他因素。雖然在語(yǔ)言與其他各模態(tài)間的關(guān)系研究中，學(xué)者們關(guān)注較多的是語(yǔ)言與圖像，但是在社會(huì)符號(hào)學(xué)之外，對(duì)語(yǔ)言與其他模態(tài)之間的關(guān)系、對(duì)各模態(tài)間如何形成連貫的、有意義的整體以及各模態(tài)在意義建構(gòu)中的作用、對(duì)互動(dòng)性話語(yǔ)的研究也正在引起重視。特別是以互動(dòng)社會(huì)語(yǔ)言學(xué)、認(rèn)知語(yǔ)言學(xué)為理論基礎(chǔ)發(fā)展而來(lái)的多模態(tài)話語(yǔ)理論為多模態(tài)話語(yǔ)及其之間的關(guān)系研究提供支持。

互動(dòng)社會(huì)語(yǔ)言學(xué)將語(yǔ)言看成社會(huì)行為，認(rèn)為互動(dòng)過(guò)程中的參與者一般都同時(shí)做多件事情，只有在極少數(shù)情況下，參與者才會(huì)聚焦于單一事件或媒介上(Scollon 1998:116 )。一部電影、一幕街景同時(shí)具有多種代碼，并使用多種交際渠道，構(gòu)成具有整體意義的文化現(xiàn)象(格雷馬斯 2009:43)。因此，話語(yǔ)研究應(yīng)采取多模態(tài)的研究方法，將話語(yǔ)融入人們的行為進(jìn)行分析，探討話語(yǔ)和行為構(gòu)成的整體(Norris 2004a:5)。盡管交際情境中的模態(tài)難以計(jì)數(shù)，但各模態(tài)間的關(guān)系取決于具體的交際情景，其間不存在內(nèi)在的等級(jí)關(guān)系。就具體情況而言，當(dāng)某一模態(tài)特別適合某種情景且在當(dāng)前具有突出地位時(shí)，其他模態(tài)便處于輔助地位；當(dāng)各模態(tài)間的關(guān)系復(fù)雜且沒(méi)有一種更突出的模態(tài)時(shí)，特別是當(dāng)多種不同的模態(tài)同時(shí)表達(dá)一種信息時(shí)，各模態(tài)之間協(xié)同作用，共同為實(shí)現(xiàn)交際目標(biāo)服務(wù)。參與交際的模態(tài)數(shù)量并不重要，重要的是互相聯(lián)系的各模態(tài)間的關(guān)系或某一模態(tài)或某幾個(gè)模態(tài)的密度及其在交際過(guò)程中所起的作用。(Norris 2004b:196)

話語(yǔ)行為是對(duì)多個(gè)符號(hào)系統(tǒng)選擇的過(guò)程，非語(yǔ)言符號(hào)對(duì)于建構(gòu)和理解空間中的話語(yǔ)起著重要的作用。該領(lǐng)域以互動(dòng)社會(huì)語(yǔ)言學(xué)、語(yǔ)言人類學(xué)和社會(huì)心理學(xué)等學(xué)科為基礎(chǔ)提出包括3個(gè)子系統(tǒng)(交互秩序、視覺(jué)符號(hào)和地理符號(hào))的地理符號(hào)學(xué)，探索各種符號(hào)與其空間位置以及符號(hào)使用者行為的關(guān)系，研究人類同周圍存在的各種符號(hào)體系之間的互動(dòng)(Scollon, Scollon 2003:3)；關(guān)注城市空間中的多模態(tài)話語(yǔ)分析及個(gè)體在公共空間中的行為定位等。Ornberg通過(guò)對(duì)三維語(yǔ)音聊天的多模態(tài)研究，認(rèn)為聲音符號(hào)在交際平臺(tái)上具有很高的模態(tài)密度。在內(nèi)容層面，有聲語(yǔ)言引入話題，具有澄清、修正、重復(fù)、解釋、強(qiáng)調(diào)、反饋等作用，如聲調(diào)和停頓的強(qiáng)調(diào)作用、韻律和超語(yǔ)言符號(hào)提供的反饋信息等。(Ornberg 2006:1) 在結(jié)構(gòu)層面，與聲音相關(guān)的各模態(tài)均可用作銜接手段。在語(yǔ)境層面，既傳達(dá)會(huì)話特點(diǎn)與風(fēng)格，又是會(huì)話者身份的組成部分。姿勢(shì)、表情、眼神等也具有提供反饋信息、表明態(tài)度及對(duì)對(duì)方的關(guān)注程度等作用。

認(rèn)知語(yǔ)言學(xué)學(xué)者則提出關(guān)聯(lián)理論不局限于言語(yǔ)交際，也適用于非言語(yǔ)的、多模態(tài)的話語(yǔ)研究。并在概念隱喻的基礎(chǔ)上提出圖像隱喻理論和多模態(tài)隱喻理論(Forceville 1996:334)，運(yùn)用認(rèn)知理論，尤其是概念隱喻理論研究多模態(tài)話語(yǔ)及各模態(tài)間的關(guān)系。其中，Yus和Zbikowski等對(duì)視覺(jué)隱喻與語(yǔ)言隱喻，對(duì)詞語(yǔ)、手勢(shì)等不同形式的隱喻在口語(yǔ)表達(dá)中的運(yùn)用，以及對(duì)音樂(lè)、語(yǔ)言與多模態(tài)隱喻之間的關(guān)系的研究皆屬于這一領(lǐng)域。(Forceville 2009:145)

3　結(jié)束語(yǔ)

隨著現(xiàn)代社會(huì)“圖像轉(zhuǎn)向”在“語(yǔ)言轉(zhuǎn)向”的背景中的崛起及圖文關(guān)系的凸顯，以及后現(xiàn)代社會(huì)語(yǔ)境中圖像所呈現(xiàn)出的越來(lái)越明顯的獨(dú)立性、自足性，在圖像與文字語(yǔ)篇不分上下，圖像可以直接用于交流的時(shí)代，人們對(duì)語(yǔ)言與圖像之間關(guān)系的研究已經(jīng)跨越長(zhǎng)期以來(lái)爭(zhēng)論不休的孰重孰輕、孰優(yōu)孰劣的藩籬，圖像、圖文關(guān)系正引起更多的關(guān)注。以系統(tǒng)功能語(yǔ)言學(xué)為理論基礎(chǔ)的學(xué)者深入到圖文之間比較細(xì)致的“語(yǔ)法”關(guān)系中，將語(yǔ)言系統(tǒng)的研究成果如小句之間的關(guān)系拓展到話語(yǔ)單位之間、圖文之間關(guān)系的研究中。對(duì)圖文間的地位關(guān)系，一致、互補(bǔ)與連接關(guān)系，以及人際意義中的評(píng)價(jià)立場(chǎng)等展開(kāi)研究。學(xué)者們對(duì)符號(hào)資源多層次的協(xié)同作用的認(rèn)識(shí)與研究，對(duì)交際過(guò)程中的其他因素如空間位置、聊天平臺(tái)上聲音符號(hào)的關(guān)注等不僅為意義和話語(yǔ)的研究提出新的課題，同時(shí)也開(kāi)啟新的窗口、注入新的活力。

目前的研究，不管是索緒爾和巴爾特，還是系統(tǒng)功能語(yǔ)言學(xué)、互動(dòng)社會(huì)語(yǔ)言學(xué)以及認(rèn)知語(yǔ)言學(xué)的相關(guān)研究大都是以語(yǔ)言為基礎(chǔ)，或者以語(yǔ)言為參照展開(kāi)，即便是對(duì)繪畫(huà)等明顯以圖像為主的藝術(shù)研究，多數(shù)研究者也是深受先入為主的“語(yǔ)言霸權(quán)”的影響，就連“圖像轉(zhuǎn)向”一詞也肇起于“語(yǔ)言轉(zhuǎn)向”，以此為基礎(chǔ)對(duì)圖文關(guān)系的探討難免會(huì)從語(yǔ)言的視角出發(fā)去審視圖像及其之間的關(guān)系，其研究結(jié)論也會(huì)有偏頗，甚至在一定程度上掩蓋符號(hào)的本質(zhì)。因此，我們須要站在更高的平臺(tái)上，跨越“語(yǔ)言中心主義”的藩籬，將語(yǔ)言、圖像等看成人類多種交際符號(hào)中的平等對(duì)象，既正視各模態(tài)的區(qū)別，探討其符號(hào)本質(zhì)，重視其聯(lián)系，又不忽視交際過(guò)程中人的主體性和主動(dòng)性，只有這樣，才有可能更接近其本質(zhì)，真正朝著揭示各模態(tài)之間的關(guān)系邁進(jìn)一步。

在處理多模態(tài)間的關(guān)系時(shí)，我們應(yīng)該認(rèn)識(shí)到“所有的感覺(jué)表達(dá)媒介都在發(fā)生相互滲透，盡管每一種表達(dá)媒介在依靠自身最獨(dú)特的性質(zhì)時(shí)發(fā)揮得最好，它們又都可以通過(guò)與自己的鄰者偶然連袂為自己灌注新的活力”(阿恩海姆 1994:119)。因?yàn)橹挥挟?dāng)“內(nèi)容和完全適合內(nèi)容的形式達(dá)到獨(dú)立完整的統(tǒng)一，因而形成一種自由的整體，這就是藝術(shù)的中心”(黑格爾1979:157)，這應(yīng)該也是現(xiàn)代社會(huì)中以不同媒介為載體的多模態(tài)話語(yǔ)中各模態(tài)間關(guān)系的最佳境界。

阿恩海姆. 語(yǔ)言、形象與具體詩(shī)[A]. 藝術(shù)心理學(xué)新論[C]. 北京: 商務(wù)印書(shū)館, 1994.

阿恩海姆. 藝術(shù)與視知覺(jué)[M]. 成都: 四川人民出版社, 1998.

艾爾雅維茨. 圖像時(shí)代[M]. 長(zhǎng)春: 吉林人民出版社, 2003.

巴爾特·羅蘭. 符號(hào)學(xué)原理[M]. 北京: 三聯(lián)書(shū)店, 1999.

貝爾. 資本主義文化的矛盾[M].南京：江蘇人民出版社, 1989.

柏拉圖. 理想國(guó)[M]. 北京: 商務(wù)印書(shū)館, 1986.

陳力丹王亦高. 論圖文關(guān)系的歷史變遷——以柏拉圖式的圖文觀為先導(dǎo)[J]. 現(xiàn)代傳播, 2008(4).

代樹(shù)蘭. 多模態(tài)話語(yǔ)研究的緣起與進(jìn)展[J]. 外語(yǔ)學(xué)刊, 2013 (2).

格雷馬斯. 符號(hào)學(xué)與社會(huì)科學(xué)[M]. 天津: 百花文藝出版社, 2009.

貢布里希. 視覺(jué)圖像在信息交流中的地位[A]. 貢布里希論設(shè)計(jì)[C]. 長(zhǎng)沙: 湖南科技出版社, 2001.

海德格爾. 世界圖像時(shí)代[A]. 海德格爾選集[C]. 上海: 三聯(lián)書(shū)店, 1996.

黑格爾. 美學(xué)(第三卷上卷)[M]. 北京:商務(wù)印書(shū)館, 1979.

李彥鋒. 中國(guó)繪畫(huà)史中的語(yǔ)圖關(guān)系研究[D].上海大學(xué)博士學(xué)位論文, 2010.

米歇爾. 圖像理論[M]. 北京: 北京大學(xué)出版社, 2006.

倪梁康. 圖像意識(shí)的現(xiàn)象學(xué)[J]. 南京大學(xué)學(xué)報(bào), 2001(1).

潘諾夫斯基. 視覺(jué)藝術(shù)的含義[M]. 沈陽(yáng):遼寧人民出版社, 1987.

彭亞非. 圖像社會(huì)與文學(xué)的未來(lái)[J]. 文學(xué)評(píng)論, 2003(5).

維特根斯坦. 哲學(xué)研究[M]. 上海: 上海世紀(jì)出版(集團(tuán))有限公司, 2001.

亞里士多德. 形而上學(xué)[M]. 北京: 商務(wù)印書(shū)館, 1983.

葉起昌. 論后印刷時(shí)代話語(yǔ)中圖像與文字的關(guān)系[J]. 北京交通大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版), 2005 (4).

尹德輝. 新世紀(jì)以來(lái)國(guó)內(nèi)“圖像”研究述評(píng)[J]. 文藝爭(zhēng)鳴, 2010(10).

周憲. “讀圖時(shí)代”的圖文“戰(zhàn)爭(zhēng)”[J]. 文學(xué)評(píng)論, 2005(6).

Anthonissen, C. Interaction Between Visual and Verbal Communication: Changing Patterns in the Printed Media[A]. In: Weiss, G., Wodak, R.(Eds.),CriticalDiscourseAnalysis:TheoryandInterdisciplinarity[C]. New York: Palgrave Macmillan Ltd., 2003.

Barthes, R.ElementsofSemiology[M]. New York: Hill and Wang, 1973.

Barthes, R.Image,Music,Text[M]. London: Fontana, 1977.

Barthes, R. The Photographic Message[A]. In: Susan, S.(Ed.),ABarthesReader[C]. New York: Hill and Wang, 1982.

Baudrillard, J.Simulations[M]. New York: Semiotext(e), Inc., 1983.

Debord, G.TheSocietyoftheSpectacle[M]. New York: Zone Books, 1994.

Forceville, C.PictorialMetaphorinAdvertising[M]. London: Routledge, 1996.

Forceville, C., Urios-Aparisi, E.MultimodalMetaphor[M]. Berlin: Mouton de Gruyter, 2009.

Halliday, M.A.K.AnIntroductiontoFunctionalGrammar[M]. London: Arnold, 1985/1994.

Jewitt, C. The Move from Page to Screen: The Multimodal Reshaping of School English[J].VisualCommunication, 2002(2).

Kress, G., van Leeuwen, T.ReadingImages:TheGrammarofVisualDesign[M]. London: Routledge, 1996.

Kress, G., van Leeuwen, T.MultimodalDiscourse:TheModesandMediaofContemporaryCommunication[M]. London: Edward Arnold, 2001.

Lemke, J.L. Multiplying Meaning: Visual and Verbal Se-miotics in Scientific Text[A]. In: Martin, J.R., Veel, R.(Eds.),ReadingScience:CriticalandFunctionalPerspectivesonDiscoursesofScience[C]. London: Routledge, 1998.

Lemke, J.L. Travels in Hypermodality[J].VisualCommunication, 2002(3).

Macken-Horarik, M. Working the Borders in Racist Discourse: The Challenge of the “Children Overboard Affair” in News Media Texts[J].SocialSemiotics, 2003(3).

Martin, J.R. Macro-genres: The Ecology of the Page[J].Network, 1994(21).

Martin, J. Fair Trade: Negotiating Meaning in Multimodal Texts[A]. In: Coppock, P.(Ed.),TheSemioticsofWriting:TransdisciplinaryPerspectivesontheTechnologyofWriting[C]. Begijnhof: Brepols & Indiana University Press, 2002.

Martinec, R., Salway, A. A System for Image-text Relations in New(and Old)Media[J].VisualCommunication, 2005(3).

Michel, de C.ThePracticeofEverydayLife[M]. Berkeley and Los Angeles: University of California Press, 1984.

Mirzoeff, N.TheVisualReader[M]. London: Routledge, 1998.

Mitchell, W.J.T.PictureTheory[M]. Chicago: Chicago University Press, 1994.

Norris, S.AnalyzingMultimodalInteraction:AMethodologicalFramework[M]. London: Routledge, 2004a.

Norris, S. Multimodal Discourse Analysis: A Conceptual Framework[A]. In: LeVine, P., Scollon, R.(Eds.),DiscourseandTechnology:MultimodalDiscourseAnalysis[C]. Washington: Georgetown University Press, 2004b.

Ornberg, T. Multimodality in a Three-dimensional Voice Chat[P]. Multimodal Communication: Proceedings from the Second Nordic Conference on Multimodal Communication, 2006.

Royce, T. Synergy on the Page: Exploring Intersemiotic Complementarity in Page-based Multimodal Text[P]. Japan Association Systemic Functional Linguistics Occasional Papers, 1998(1).

Royce, T.D., Bowcher, W.L.NewDirectionsintheAnalysisofMultimodalDiscourse[M]. Mahwah: Lawrence Erlbaum Associates, 2007.

Scollon, R.MediatedDiscourseasSocialInteraction[M]. London: Longman, 1998.

Scollon, R., Scollon, W.DiscourseinPlace:LanguageintheMaterialWorld[M]. London: Routledge, 2003.

Wittgenstein, L.TheBlueandBrownBooks[M]. New York: Harper, 1958.