吳素偉

引言

近年來，構(gòu)式語法領域越來越關注由兩種及兩種以上模態(tài)共同參與構(gòu)建的構(gòu)式，即多模態(tài)構(gòu)式。盡管人類交際涉及言語、手勢、聲音、表情等多種模態(tài)，但目前多模態(tài)構(gòu)式語法研究主要考察言語和手勢，即手部動作、肩部動作、頭部動作等肢體動作協(xié)同構(gòu)建的構(gòu)式；其研究路徑主要是通過考察伴隨著某一言語構(gòu)式的手勢形式，探究該構(gòu)式的多模態(tài)表征形式和意義配對問題。

目前，國際學界已經(jīng)舉辦了數(shù)次多模態(tài)構(gòu)式語法專題研討會，如國際多模態(tài)構(gòu)式語法研討會、德國第六屆認知語言學大會上的多模態(tài)構(gòu)式語法研究專題，研究者發(fā)表了一系列研究成果，如Steen & Turner（2013）、Cienki（2015/2016）、Ruth-Hirrel & Wilcox（2018），這一領域的研究呈現(xiàn)出蓬勃發(fā)展的態(tài)勢。

我國學界雖然也對話語交際中的多模態(tài)互動問題進行了探討，如關注言語與身體活動（表情、注視及手勢等）如何共同構(gòu)建話輪等會話單位（郭恩華、張德祿，2017；方梅，2018；李曉婷，2019），但是，鮮有研究從構(gòu)式語法的角度出發(fā)探討多模態(tài)構(gòu)式問題。

本文擬就國際語言學界對多模態(tài)構(gòu)式的研究現(xiàn)狀進行概述和分析，包括其理論淵源、研究框架、研究價值及存在的挑戰(zhàn)等方面的內(nèi)容。

一、多模態(tài)構(gòu)式研究興起的理據(jù)

構(gòu)式語法理論①本文討論的構(gòu)式語法是指基于使用的構(gòu)式語法理論，包括Lakoff & Goldberg的認知構(gòu)式語法、Langacker 的認知語法以及Croft 的激進構(gòu)式語法。有一系列基本觀點，主要包括：構(gòu)式是語言系統(tǒng)的基石、構(gòu)式源于語言使用（使用觀）、構(gòu)式的意義在于概念化（意義觀）、詞匯與語法之間沒有嚴格的界限、構(gòu)式與構(gòu)式之間通過各種承接關系形成一個網(wǎng)絡（Croft，2001；Langacker，2001；Goldberg，2006）。其中，構(gòu)式語法理論的使用觀和意義觀是多模態(tài)構(gòu)式語法研究最重要的理論依據(jù)。

1.構(gòu)式語法理論的使用觀

基于使用的構(gòu)式語法理論認為，語法源于語言使用，語言使用中的任何一個方面都可以約定俗成，進而成為語法的一部分（Langacker，2001；Goldberg，2006）。例如，Langacker（2001）認為，使用事件（usage event）中頻繁出現(xiàn)的任何形式都可以成為構(gòu)式，形式可以包括語音、語調(diào)、言語、手勢等。因此，一個有充分解釋力和真正基于使用的構(gòu)式語法理論需要重視實際的語言使用。

事實上，在日常交際中，作為語言使用的重要組成部分，手勢幾乎無處不在。無論是何種文化背景（McNeill，1992），無論是成人還是兒童（Goldin-Meadow & Butcher，2003），無論聽話者能否看見（例如打電話時）（Bavelas et al.，2008 ），無論是表達事體特征還是表達語篇語用功能，如示意話論轉(zhuǎn)變（turn taking）（Streeck，2009）、指稱追蹤（referent tracking）（Debreslioska et al.，2013）等，說話者都會做手勢。既然手勢在實際語言使用中如此普遍，基于使用的構(gòu)式語法理論就不能只考慮言語，還應關注手勢。

2.構(gòu)式語法理論的意義觀

構(gòu)式語法理論認為，意義在于概念化，語言結(jié)構(gòu)反映的并非客觀現(xiàn)實本身，而是人們對客觀現(xiàn)實的識解（Goldberg，2006；Langacker，2008）。人類的識解方式主要有4種：詳略度（specificity）、聚焦（focusing）、凸顯（prominence）和視角（perspective）（Langacker，2008）。

研究發(fā)現(xiàn)，上述識解方式也可以映現(xiàn)在手勢中（Wilcox，2004；Kok &Cienki，2016）。首先，手勢可以反映說話者觀察事件的詳略程度：它既能呈現(xiàn)抽象的意象圖式（如表路徑的手勢）（Cienki，2005），又能呈現(xiàn)具體的模仿圖式（mimetic schema，如模仿跑步的手勢）（Zlatev，2005）。其次，手勢能使信息前景化或背景化：說話者可以一只手保持不動，代表背景信息，同時用另一只手做新的手勢表達前景信息（Enfield，2004）。再次，手勢能凸顯信息的重要程度，說話者會用S 型手勢（通常形式上更小，如只使用手部動作等）表達次要和基本的信息，而用B 型手勢（通常形式上更大，如使用全臂，并同時使用眼睛凝視等）表達主要和凸顯的信息（Enfield et al.，2007）。最后，手勢能反映說話者對事件的識解視角：說話者用內(nèi)部視角觀察事件時，會對事件進行順序性掃描，其手勢形式更復雜、持續(xù)時間更長；而用外部視角觀察事件時，會對事件進行整體性掃描，其手勢形式更簡單、持續(xù)時間更短（Duncan，2002）。既然手勢也可以像言語一樣承載人類的認知識解，那么，構(gòu)式語法理論自然有必要同時包含言語和手勢。

綜上所述，構(gòu)式語法理論的使用觀和意義觀要求該理論突破言語的局限，重視手勢價值，考慮由言語和手勢共同構(gòu)建的構(gòu)式（即多模態(tài)構(gòu)式），從而進一步豐富和完善構(gòu)式語法理論。

二、多模態(tài)構(gòu)式的研究框架

構(gòu)式是約定俗成的形式—意義配對體（Goldberg，1995），“多模態(tài)構(gòu)式”是指由兩種及兩種以上模態(tài)共同構(gòu)建而成的約定俗成的形式—意義配對體，其形式端由言語形式和手勢形式構(gòu)成，意義端則由言語意義和手勢意義組成（Steen &Turner，2013；Schoonjans，2014；Zima，2014；Hoffman，2017）。在 此 基礎上，我們提出以下多模態(tài)構(gòu)式分析框架（見圖1）。

圖1 多模態(tài)構(gòu)式分析框架

整體來看，多模態(tài)構(gòu)式涉及5 個方面：言語構(gòu)式的形式和意義、手勢的形式和意義、手勢與言語的形式關系、手勢與言語的語義關系，以及多模態(tài)形義配對體的約定俗成性。鑒于既有構(gòu)式語法理論已經(jīng)對言語構(gòu)式的形式和意義進行了充分探討，本文將重點分析后4 個方面，并在此基礎上結(jié)合實例闡釋具體的分析步驟。

1.手勢的形式和意義

（1）手勢形式

多模態(tài)構(gòu)式分析不可避免地要考察手勢的形式特征。系統(tǒng)描述手勢形式，即描述手的形狀、方向、手所處的空間位置和運動等，是研究手勢意義和多模態(tài)構(gòu)式等相關問題的前提和基礎。

整體而言，如圖2 所示，手勢的形式主要包括三大類：①手勢的各類形式參數(shù)——手型（hand shape）、掌心朝向（palm orientation）、運動（movement）、動作位置（location）；②手勢的整體表征方式（modes of representation）——表演式（acting）、軌跡式（tracing）、模塑式（molding）和象征式（embodying）；③手勢的持續(xù)時間（如毫秒數(shù)、幀數(shù)、階段數(shù)）等（詳見Bressem et al.，2013；Müller，2014 等）。手勢形式的分析內(nèi)容視具體研究而定，不同研究可能選擇考察手勢形式的不同方面。

圖2 手勢形式的基本內(nèi)容（Bressem et al.，2013；Müller，2014）

（2）手勢意義

與言語一樣，手勢可以表征意義。一方面，手勢可以表達語義內(nèi)容，如物體的大小和形狀、運動的方式和路徑等。手勢意義與手勢形式之間存在象似性（McNeill，1992）。例如，手臂在空中的螺旋狀移動與人或物體的螺旋式運動方式存在象似性，手勢持續(xù)的時間與事件持續(xù)的時間存在象似性。另一方面，手勢可以表達語用功能，如手勢可以“行事”。以英語、德語等語言中的阻擋手勢（holding away gesture）為例，其核心形式為手掌張開、掌心朝外，像是在推開或阻擋一個物體或人，表示阻止、拒絕（如拒絕談論一個話題），相當于言語中的“最好不要”，即承擔了言語行為中的命令功能。該手勢根植于人們的動作經(jīng)驗：通過推開或阻擋一個物體，以防不喜歡的人或物靠近自己。此外，語用手勢功能的形成通常涉及隱喻、轉(zhuǎn)喻等認知過程，如上述手勢存在“拒絕（即阻擋）/推開”（拒絕對方談論某一話題，即阻擋/推開物體）隱喻（Müller，2017；Harrison，2018）。

2.手勢與言語構(gòu)式的形式關系

多模態(tài)構(gòu)式中手勢形式與言語形式之間的關系主要指兩者在時間上的關系。McNeill（1992）認為，正是由于言語與言伴手勢受同一認知系統(tǒng)的支配，兩者才會在時間上緊密相連。研究表明，手勢與言語出現(xiàn)的時間關系可以分為兩種。第一種是手勢與言語幾乎同步出現(xiàn)（McNeill，1992），此種關系較為常見，如在大多數(shù)情況下，［from X to Y］這一言語構(gòu)式和所伴手勢幾乎都是同步出現(xiàn)的；第二種是手勢先于言語出現(xiàn)，如說話者有時會先做指涉手勢，再用言語表達“here”（Kok，2017）。需要指出的是，無論手勢與言語同步出現(xiàn)，還是手勢先于言語出現(xiàn)，兩者在時間上都是緊密相連的，均可稱為共現(xiàn)。目前，手勢與言語構(gòu)式共現(xiàn)的諸多問題仍有待進一步深入研究。例如，同一多模態(tài)構(gòu)式中手勢與言語構(gòu)式之間是否可以存在不同的時間關系？手勢是否可與言語構(gòu)式中的不同成分同步出現(xiàn)？如果可以同步出現(xiàn)，那么這兩種符號組合產(chǎn)生的意義或功能是否會隨之發(fā)生變化？如何變化？

3.手勢與言語構(gòu)式的語義關系

判定一個由手勢和言語構(gòu)式構(gòu)成的符號結(jié)構(gòu)是否具有構(gòu)式性，其基本依據(jù)是兩者是否存在系統(tǒng)的語義關系，即特定手勢是否與特定言語構(gòu)式共現(xiàn)，并共同表達特定的意義或功能。Fricke（2013）的研究表明，多模態(tài)構(gòu)式中手勢與言語構(gòu)式的語義關系大致分為兩種：語碼映現(xiàn)（code manifestation）和語碼融合（code integration）。

語碼映現(xiàn)指手勢與言語構(gòu)式表達相同的意義，說話者把同一意義或功能同時編碼在手勢與言語中，兩者互為映現(xiàn)。當代手勢研究的兩大奠基人McNeill（1992）和Kendon（2004）認為，言語與手勢源于同一認知和交流系統(tǒng)，說話者的認知和交際意圖不僅會反映在言語中，也會反映在手勢中，因此手勢和言語構(gòu)式可傳遞相同的意義或功能。例如，Hinnell（2018）發(fā)現(xiàn)，說話者在說“stop + V-ing”時，所做手勢持續(xù)較短，而說“keep + V-ing”時，所做手勢持續(xù)時間較長，這兩種手勢的形式特征分別反映了抽象的終結(jié)體（terminative aspect）和持續(xù)體（continuative aspect）語義?？梢?，“體”的意義在言語和手勢中均可有所體現(xiàn)。Hinnell（2018）的研究揭示了語碼映現(xiàn)型多模態(tài)構(gòu)式研究的重要意義，即手勢作為一種更直觀的體現(xiàn)認知的符號，在多模態(tài)“體”構(gòu)式中，對“體”意義進行了重復性符號表征，這也證實了“體”這一語法意義的認知凸顯性。

語碼映現(xiàn)型多模態(tài)構(gòu)式還包括多模態(tài)運動構(gòu)式［V（motion） in circles +循環(huán)手勢］（Zima，2014）、多模態(tài)時間軸構(gòu)式［from X to Y +表示相應意義的手勢］（Cánovas & Valenzuela，2017）、多模態(tài)否定評價構(gòu)式［否定言語表達+“丟棄手勢”（throwing away gesture）］（Bressem & Müller，2017）、多模態(tài)雙賓語構(gòu)式（Wu，2018；吳素偉、Cienki，2020）等。特定言語構(gòu)式和特定手勢構(gòu)成相對穩(wěn)定的多模態(tài)構(gòu)式，在語義上，兩種符號相互印證，不僅可以充分反映符號背后的認知本質(zhì)，而且使得構(gòu)式義更為凸顯。

語碼融合指言伴手勢與言語構(gòu)式相互補充，彼此融合，共同表達某一意義或功能，兩者缺一不可。McNeill（1992）指出，雖然言語與手勢源于同一認知系統(tǒng)，兩者共同傳遞信息，但在表達某些意義/功能時（如物體的形狀、大小、空間關系、說話者的態(tài)度、情感等），手勢比言語更具優(yōu)勢。基于語言表達的“經(jīng)濟性原則”，人類更傾向于使用手勢補充表達這些意義或功能，并與言語一起構(gòu)建整個結(jié)構(gòu)的意義。Fricke（2013）觀察到，德語說話者在說lch will sonen Tisch kaufen（我想買一個這樣的桌子）時，可做一個指涉手勢，即用手指指向面前的桌子，也可做一個象似性手勢（iconic gesture），即用手勢描繪桌子的形狀、大小等。前一類表達表明說話者想買一張類似種類的桌子，但并未詳細描述桌子的具體特征；后一類表達表明說話者想買的桌子的某一具體特征，但并未指出桌子的類別。換言之，前者描述了“類”（type）定而“形”（token）未定的物體，而后者描述了“形”定而“類”未定的物體。可見，言語和手勢共同構(gòu)建了此類名詞短語，其形式為［son（such a）+表達物體特征的手勢+名詞］。在這類構(gòu)式中，言語和手勢缺一不可：言語中的名詞可以被看作該名詞短語的中心詞；手勢的功能與定語類似，修飾中心詞；言語中的“son”（“這樣一個”）是手勢與言語的整合點。顯然，該類名詞短語構(gòu)式的（形式和）意義是由言語和手勢共同構(gòu)建的。Fricke（2013）的研究揭示了語碼融合型多模態(tài)構(gòu)式的獨特價值：作為一種可以更簡易、更形象地表達物體“類”和“形”特征的符號，手勢補充了言語中未能展現(xiàn)的信息，從而使此類構(gòu)式的意義得到完整映現(xiàn)。

此外，語碼融合型多模態(tài)構(gòu)式還包括多模態(tài)指示構(gòu)式［here +指涉手勢（pointing）］（Kok & Cienki，2016）、多模態(tài)及物和不及物構(gòu)式［主語+起動詞作用的表征手勢］（Ladewig，2011），以及多模態(tài)強調(diào)構(gòu)式［強調(diào)話語成分+節(jié)拍手勢（+指涉手勢）］（Ruth-Hirrel & Wilcox，2018）。特定言語構(gòu)式和特定手勢共同構(gòu)成了相對穩(wěn)定的多模態(tài)構(gòu)式，在語義上，兩種符號互相補充，協(xié)同承載意義或功能，并更完整地反映了符號背后的認知本質(zhì)。

4.手勢與言語構(gòu)式組合的多模態(tài)形義配對體的約定俗成性

鑒于構(gòu)式是約定俗成的形義配對體，判斷某一多模態(tài)組合是否為構(gòu)式的根本標準便是看其多模態(tài)形式—意義配對體是否是約定俗成的。目前，考察特定多模態(tài)表達在交際中出現(xiàn)的頻次是判定其約定俗成性的基本方法。例如，基于多模態(tài)數(shù)據(jù)庫Red Hen，Zima（2014）發(fā)現(xiàn)，80%的［all the way from X PREP Y］構(gòu)式伴有表空間意義的手勢；Hinnell（2018）發(fā)現(xiàn)，74%的［CONTINUE to VVI］構(gòu)式伴有表持續(xù)體意義的手勢。

一旦手勢與言語構(gòu)式頻繁共現(xiàn)，多模態(tài)表達就可以被視為具有約定俗成性。目前發(fā)現(xiàn)的相對穩(wěn)定的多模態(tài)組合構(gòu)式主要包括與動作、空間關系相關的構(gòu)式（如運動構(gòu)式、介詞短語構(gòu)式）、與指示（deictic）表達相關的構(gòu)式（如here、this one）、話語標記（如you know）。是否還存在一些其他的言語構(gòu)式頻繁伴隨著特定手勢出現(xiàn)，仍需進一步研究。

5.分析步驟

綜合上文內(nèi)容，多模態(tài)構(gòu)式分析一般包括以下3 個步驟：

第一步，多模態(tài)表達的形式分析：主要分析伴隨著某一言語構(gòu)式的手勢在基本參數(shù)、表達方式、持續(xù)時間等方面是否存在穩(wěn)定性，以及言語構(gòu)式與手勢的同步時間關系；

第二步，多模態(tài)表達的意義或功能分析：重點探討手勢與言語兩種符號之間的語義或功能關系，即手勢是否映現(xiàn)或補充了言語構(gòu)式的意義或功能，以及實現(xiàn)映現(xiàn)或補充的途經(jīng)；

第三步，考察多模態(tài)表達中手勢與言語構(gòu)式組合共現(xiàn)的頻率，探討其約定俗成性。

例如，Schoonjans（2014）基于德國的談話節(jié)目、電視辯論、體育報道等語料，考察了伴隨語助詞（modal particle）“schon”（已經(jīng)）的手勢情況。他發(fā)現(xiàn)，在形式上，“schon”常與點頭動作同步出現(xiàn)；在功能上，“schon”和點頭動作都表示確有某一事實，即言語和手勢兩種符號功能一致，通過點頭動作，強化了說話者的肯定態(tài)度。該語助詞與點頭動作的共現(xiàn)頻率約為60%，即共現(xiàn)較頻繁。因此，他認為德語中“schon”與點頭動作構(gòu)成了約定俗成的形式—意義配對體，是語碼映現(xiàn)型多模態(tài)構(gòu)式。

需要指出的是，目前的多模態(tài)構(gòu)式研究框架仍相對簡單，并未像典型的構(gòu)式語法研究那樣考察（多模態(tài)）構(gòu)式的不可預測性或構(gòu)式及其成分使用的限制性條件。未來的研究仍需著力解決這些問題。

三、多模態(tài)構(gòu)式語法研究的價值和挑戰(zhàn)

多模態(tài)構(gòu)式語法研究深化了構(gòu)式觀，拓展了構(gòu)式內(nèi)涵，完善了構(gòu)式語法的理論體系。具體而言，多模態(tài)構(gòu)式語法研究有如下研究價值：

第一，多模態(tài)構(gòu)式研究為考察構(gòu)式義提供了新的觀測窗口。長期以來，構(gòu)式語法對于構(gòu)式義的研究以言語（或文本）分析為主，即從構(gòu)式及其成分的使用入手，推導構(gòu)式義的存在，又用構(gòu)式義解釋構(gòu)式及其成分的使用。這在邏輯上似有循環(huán)論證之嫌。手勢與言語一道，能更直觀、更生動地呈現(xiàn)人的“后臺”認知，為研究構(gòu)式義提供了新思路，進而有助于克服上述循環(huán)論證的缺陷。

第二，多模態(tài)構(gòu)式分析有助于更深刻和完整地理解構(gòu)式義。語義是構(gòu)式語法乃至整個認知語言學理論研究的起點，手勢是一些構(gòu)式意義不可或缺的組成部分。如上文提到的［here +指涉手勢］、［強調(diào)話語成分+節(jié)拍手勢（+指涉手勢）］等構(gòu)式，若不考察其手勢，就無法準確理解這些構(gòu)式的意義。因此，多模態(tài)構(gòu)式研究加深了我們對指示性、強調(diào)性等構(gòu)式意義的理解。

第三，多模態(tài)構(gòu)式研究豐富和完善了構(gòu)式語法理論。大量研究發(fā)現(xiàn)，詞匯、句法、語篇語用層面的諸多構(gòu)式常伴隨著特定的手勢。既然如此，那么根據(jù)“基于使用”這一原則，二者應作為多模態(tài)構(gòu)式存在。多模態(tài)構(gòu)式研究拓展了構(gòu)式概念的內(nèi)涵，擴大了構(gòu)式語法理論的適用范圍。

最后，多模態(tài)構(gòu)式研究有助于加深我們對構(gòu)式社會認知機制的理解和認識。鑒于言語和手勢表達會受言語社團的語言文化或社會認知的影響，考察多模態(tài)構(gòu)式的形式特征、認知基礎和社會語用功能，不僅能加深我們對多模態(tài)構(gòu)式深層社會認知機制的認識，而且還能通過對多模態(tài)構(gòu)式的跨語言、跨文化對比，為培養(yǎng)真實有效的跨文化交際能力提供語言學理論的支撐。

目前，多模態(tài)構(gòu)式研究仍處于起步階段，還面臨不少的挑戰(zhàn)。首先，手勢與言語構(gòu)式的共現(xiàn)頻率判斷缺乏公認的標準。如前所述，基于構(gòu)式語法理論，當一個多模態(tài)組合使用足夠頻繁時，可以成為多模態(tài)構(gòu)式；但何謂足夠頻繁，學界需要對此形成基本共識。其次，目前多模態(tài)構(gòu)式的識別主要依賴人工判斷，主觀性較強。有必要借助新建成的大型多模態(tài)語料庫和新開發(fā)的手勢標注軟件，使用定量和實驗方法，增加研究的客觀性和可信性。

結(jié)語

近年興起的多模態(tài)構(gòu)式語法研究綜合考慮言語和手勢等多種模態(tài)，利用現(xiàn)代化電子媒介和大型語料庫，考察真實的語言交際情形，分析伴隨著言語構(gòu)式的手勢特征，研究多模態(tài)構(gòu)式的形式和意義配對問題。這符合構(gòu)式語法理論的基本主張，也推動了構(gòu)式語法研究的多模態(tài)轉(zhuǎn)向，是繼多模態(tài)隱喻研究之后（如Cienki & Müller，2008；Forceville & Urios-Aparisi，2009；趙秀鳳，2011）興起的另一個多模態(tài)研究的熱點。多模態(tài)構(gòu)式語法研究從更寬廣的角度考察人類交際的真實面貌，拓寬了語言學的研究范疇，更直觀、更完整地分析認知操作，深化了對構(gòu)式義的研究。

我國語言學界在這一領域尚有很大的發(fā)展空間。一方面，可以通過分析言伴手勢的表征考察漢語構(gòu)式的識解特征，深化對漢語基本構(gòu)式的認識。例如，目前“把”字、“給”字等常用漢語構(gòu)式的識解特征主要是基于語言分析得出的，手勢特征或能為這些構(gòu)式的識解提供新的直觀證據(jù)。另一方面，可以從多模態(tài)視角考察跨語言的思維差異，加深對語言與思維關系的理解。手勢或能為“英漢名動差異說”（沈家煊，2012）、“英漢時空差異論”（王文斌，2013）等跨語言認知理論提供更堅實的證據(jù)。此外，未來研究還應考慮如何從漢語語言的多模態(tài)習得和教學的角度探討多模態(tài)構(gòu)式語法理論的應用問題。