張恒超

(天津商業(yè)大學法學院心理學系,天津 300134)

1 前言

交流是以語言為核心媒介的社會人際互動過程,交流過程體現(xiàn)了交流者間認知和行為“沖突?協(xié)調(diào)”的相互作用特征(張恒超,2013;Hellbernd &Sammler,2016;Krauss &Weinheimer,1964)。交流認知是一種基于交流者心理狀態(tài)和共享知識的推理過程(Clark,1996),特定情境下的交流認知反映了從腦加工到社會人際互動、語言使用等的一系列復雜過程(Airenti &Plebe,2017)。盡管交流媒介中語言具有顯著代表性,但并不是唯一媒介,交流互動認知的復雜性也表現(xiàn)于非語言媒介的互動性和交流性,以及與語言媒介間的相互關系(張恒超,2017,2018;張恒超,陰國恩,2014;Buz,Tanenhaus,&Jaeger,2016;Levinson,2016;Pickering,McLean,&Krayeva,2015)。因而,人類的交流不僅表現(xiàn)于聽覺形態(tài)也表現(xiàn)于視覺形態(tài),典型的如手勢交流,手勢和語言的形式雖然不同,但是彼此在時間和語義上互相伴隨和映射,共同表達相關的交流信息(De Marco,De Stefani,&Gentilucci,2015;Graziano &Gullberg,2013)。伴隨語言發(fā)生的手勢是交流中的一種視覺形態(tài),其與語言的聲音形態(tài)在交流信息互動過程中形成了一個緊湊的整體(Kelly,?zyürek,&Maris,2010),然而,其又不同于聾啞人使用的手語。手語是一種展現(xiàn)各水平語言結構并全面發(fā)展的自然語言,通過系統(tǒng)化和習俗化的手、面部、身體的移動進行語言表達,產(chǎn)生了嚴謹?shù)恼Z義,形成了完整的言語過程,手語的發(fā)生過程具有和口語類似的神經(jīng)基礎(Perniss,?zyürek,&Morgan,2015)。

現(xiàn)實生活中,當人們交談時通常會做出一些手勢,即便是電話交流方式下,人們也習慣性使用手勢,盡管另一端的對方根本看不到;同樣,交流中的信息接受者不會漠視互動中的手勢信息,當語言和手勢信息不協(xié)調(diào)時,人們將表現(xiàn)出疑惑不解而需要對方進一步澄清,甚至手勢會像語言一樣主導認知理解。比如,先天性盲人從未見過任何手勢動作,在交流中仍然頻繁使用手勢交流(Iverson &Goldin-Meadow,1998);當詢問“還有什么適合男人穿戴？”,同時“移動雙手仿佛戴上帽子”,回答者將自覺關注“帽子”而非其他衣飾(Broaders &Goldin-Meadow,2010)。交流認知領域中,手勢交流的探討不僅是理論上的,其更具有現(xiàn)實研究意義,不同文化個體在交流中都會使用手勢,手勢因無處不在而為口語交流增加了想象空間,并且手勢不必像口語那樣以語法規(guī)則為基礎線性發(fā)生,當語言傳達信息困難時,手勢觀點表達的潛力更為凸顯,總之,雙手在人際互動溝通中扮演了重要角色。文章將圍繞三方面內(nèi)容對交流手勢認知特征做出述評：首先,手勢和語言交流的關系,手勢雖然不具有完整連貫的交流特征,但是交流中手勢的發(fā)生過程始終伴隨并影響著語言的發(fā)生和理解過程;其次,手勢相對獨立的交流特征,鑒于手勢不具有語言媒介完整和連貫交流信息的典型特征,這種交流性是“相對獨立的”;最后,教育情境中的手勢交流,這是以往研究探討交流手勢認知特征的主要領域,也是“手勢和語言交流的關系、手勢相對獨立的交流特征”在教育情境中的應用體現(xiàn)。

2 手勢和語言交流的關系

手勢表達普遍存在于不同時空條件下的語言交流中,既可以表達語言未清楚表達或沒有表達的思想和觀點,又可以增進交流意圖、期望的理解,有助于交流公共認知基礎的形成,這使得手勢成為語言交流之外,展現(xiàn)交流者思想的一扇窗戶。交流語義協(xié)調(diào)觀點認為手勢克服了語言交流的困難,不僅表現(xiàn)在手勢和語言的相伴發(fā)生,有時手勢先于語言發(fā)生,激發(fā)語言理解的準備性,這尤其出現(xiàn)在模糊或過渡性知識的語言交流中(Nicoladis,Pika,Yin,&Marentette,2007;Pine,Bird,&Kirk,2007)。總之,手勢和語言對于相關信息的共同表達,促進了語言發(fā)生的認知加工過程,同時,有助于語義的理解、整合和記憶。

2.1 手勢和語言發(fā)生的關系

交流中手勢使用對語言生成過程的影響性,歸納而言,表現(xiàn)于兩個方面：一是手勢和語言表達的聯(lián)合性,即手勢表達和語言溝通特征的一致性、共同性;二是手勢和語言表達的互補性,即手勢表達彌補語言交流的不足或缺乏。Graziano和Gullberg (2013)在實驗中招募了兒童被試、母語成人被試、第二語言成人被試,實驗過程中被試先聽配有圖片的故事,之后向同伴轉述,結果顯示：從手勢使用的絕對量看,當交流者語言流暢交流時,手勢數(shù)量更多,從手勢表達自然性看,語言流暢時手勢連貫,語言不流暢時手勢表達中的停頓更多,而且在不流暢的語言交流過程中,手勢幾乎都不是完整性的表達,這兩個特征跨被試組表現(xiàn)出一致性;但是,在第二語言成人被試的交流中發(fā)現(xiàn),不流暢語言表述時手勢動作顯著更多,即在語言交流困難時手勢表達的努力程度顯著增加?？梢哉f,一方面,從交流相關性上,手勢是語言交流的輔助手段,表達特征上兩者是相似的;另一方面,手勢又是語言表意的一種補償手段,相比于語言交流對詞匯和語法的依賴,手勢交流更多借助了視覺和模仿性想象,其表意方式更為直觀而且是全方位性的。

圍繞著手勢和語言表達間的關系,研究者提出了不同的解釋理論：“增長點理論”立足于手勢和語言表達的共同性,“信息捆綁假說”立足于兩者間的互補性;“詞匯性手勢生成模型”強調(diào)手勢對于語言發(fā)生的激活性,而“模擬行為的手勢框架理論”則強調(diào)語言發(fā)生時激活了手勢表達。

McNeill和 Duncan (2000)的“增長點理論(growth point theory)”認為交流中手勢和語言是一個單一的集成系統(tǒng),彼此通過“視?空”和語音的分層形式組合成交流信息增長點或整體合成結構。該理論傾向于關注交流中手勢和語言表達的共同性和關聯(lián)性,多種媒介的共同表達不僅有助于交流意圖的明確傳遞,而且有助于多角度增量解釋和澄清交流對象;但是,“增長點理論”過于看重手勢表達和語言表達的共同性,則產(chǎn)生了手勢是語言交流附屬的弊端,誠然,從表達的形式、機制以及意識性等特征上,手勢和語言認知過程均有顯著的差異性,因此從理論所強調(diào)的多媒介對于信息的“增量表達”角度,潛在接受了多媒介表達不等同于手勢和語言簡單的重復性表達。

Kita和 ?zyürek (2003)則提出了“信息捆綁(information packaging)假說”,明確指出手勢表達不同于語言溝通,交流中手勢幫助語言表達者組織和封裝了空間視覺信息,其與線性、順序發(fā)生的語言模式相匹配,該理論強調(diào)手勢表達的空間視覺表征不同于語言表征的認知加工,交流語言在描述復雜空間信息方面存在不足,如多種物品的擺放位置和不同的操作處置,此時信息的準確表達需要進行單元性分解和序列性描述,手勢在選擇和組織視空單元信息上表現(xiàn)了明顯的便利性,可以即時適合和促進語言信息傳遞。檢驗信息捆綁假說的簡單方式是創(chuàng)設視空操作條件,觀察手勢表達特征以及對語言交流的促進性,例如,Hostetter,Alibali和 Kita (2007)向被試呈現(xiàn)一些“點”,要求被試描述點系列的特征,發(fā)現(xiàn)當點明顯可以連接為幾何形狀時,語言表述更容易,手勢顯著更少,反之,語言描述困難,手勢量增加。簡言之,語言表述過程簡單容易時,與之匹配的手勢表達也相應簡單減少;反之亦然。

總之,信息捆綁假說對于手勢方便于視空信息表達的解釋是客觀的,但是僅從視空信息角度出發(fā)略顯狹隘,并且現(xiàn)實交流中,手勢經(jīng)常可以表達非視空方面的信息,如確定性態(tài)度、情緒特點等,進一步而言,即便是在語言流暢交流中手勢表達也并沒有消失,同時對于交流雙方而言又并不顯得贅余,另外,在視空交流情境下,手勢和語言關系的復雜性還表現(xiàn)在,盡管手勢方便于視空信息單元的分解,但是信息的序列性表達或組合仍離不開語言的線性表述,或者說,此時手勢表達片段性,而語言描述表現(xiàn)出困難性和殘缺性,手勢對于語言交流的促進性表現(xiàn)于交流者對于不完整和不準確的語言描述做出了完整而準確的解碼,手勢語言間的這種契合機制是怎樣的？也有待于進一步探查和解釋。盡管 ?zyürek等(2008)進一步指出,交流中手勢是由行動發(fā)生器計劃的,語言是由信息發(fā)生器計劃的,手勢和語言是由不同的系統(tǒng)產(chǎn)生的,當語言概念化和組織交流信息時,兩個系統(tǒng)雙向溝通和互動,但是仍然不能獲得令人滿意的解答。值得肯定的一點是,該理論已經(jīng)擺脫了增長點理論所片面強調(diào)的手勢和語言表達上的共同性,而重視兩者間在信息表達中的互補性。

如果說“增長點理論”和“信息捆綁假說”是著眼于手勢和語言的表意關系方面(即,交流信息的表達);那么“詞匯性手勢生成模型”和“模擬行為的手勢框架理論”則是著眼于手勢和語言發(fā)生時的認知溝通特征(即,兩種交流媒介認知加工過程彼此溝通和相互作用的關系)。Krauss,Chen和Gottesman (2000)提出了“詞匯性手勢生成模型”(lexical gesture process model),認為交流中人們的手勢使用影響語言詞匯的選擇和語句的復雜性特點,交流中手勢對于語言表達產(chǎn)生激活作用,既易化語言發(fā)生過程,也易化了語言信息的理解過程。例如,交流者在表達“球滾下山”的同時,做出了一個圓形的手勢,這將促進詞語“滾”的激活和理解。在語言表達和理解變得困難時,交流者手勢的發(fā)生頻率相應提高(Morsella &Krauss,2004),相反,當禁止手勢表達時,交流者語言將變得斷續(xù)、贅余而不流暢(Rauscher,Krauss,&Chen,1996),即語言表達困難復雜時,手勢的激活過程相應也困難和復雜,表現(xiàn)出發(fā)生頻率的提高;當交流中禁止交流者的手勢表達時,由于缺少手勢的激活,語言相對變得不流暢。這為該理論提供了較充分的實驗研究證據(jù)。

與此相對應,Hostetter和 Alibali (2010)提出的“模擬行為的手勢框架理論” (the gestureassimulated-action framework)卻認為,交流過程中,語言的發(fā)生自然激活了與之相應的感知狀態(tài)、行為的心理表征和模擬,使得伴隨語言的手勢自然產(chǎn)生,交流語言影響手勢表達的形式和內(nèi)容,這是通過影響語言發(fā)出者的心理模擬特征而實現(xiàn)的,簡言之,語言交流中包含了感知和行為的心理表征和模擬,而手勢是心理表征和模擬的自然產(chǎn)物。

綜合對照分析可以看出,這兩種理論分歧的焦點在于“交流表征”的爭論,語言作為思維的工具和思想溝通的媒介,典型具有抽象性特征,但這不是語言加工的全部特征,語言加工過程存在一定的感知動作心理表征的加工,這樣語言加工才不會脫離具體的外界交流情境和事件。因此,從這一意義出發(fā),不論是強調(diào)手勢對于語言激活和表達易化,還是強調(diào)語言自然引發(fā)手勢動作的發(fā)生,共同之處在于認可語言認知加工涉及到交流對象、事件等心理表征的聯(lián)合建構,交流語言的發(fā)生和理解是在特定的具體化的情境下實現(xiàn)的,并伴隨特定交流目的的最終實現(xiàn)(如執(zhí)行某種動作),語言認知加工的行為預期性使得語言信息的傳遞和溝通處于一個可具體化的認知互動過程中,所以,手勢的發(fā)生是這種可具體化認知互動的一種自覺的外在表現(xiàn),其最終服務于交流目的的實現(xiàn)和交流行為的準確實施。概括而言,特定交流表征是抽象的又是具體的,交流的目的是實現(xiàn)交流者公共認知的具體化,交流語言加工過程可能是相對抽象的,但是交流語言的最終功能是具體的,是某種特定操作的成功實現(xiàn),這是“詞匯性手勢生成模型”和“模擬行為的手勢框架理論”的共通之處,因而,可以說這兩種過程在具體的交流情境中可能均存在,而表現(xiàn)上的差異可能與具體交流特征、交流情境等存在關聯(lián)。

具體化認知理論認為語言認知加工是以感知和運動過程為基礎的,特定的交流情境涉及到某些具體化的感知和行為的執(zhí)行,因此,語言將誘導感知運動神經(jīng)的激活,該過程是相對自動實現(xiàn)的,在具體交流中即表現(xiàn)出語言和手勢的同時發(fā)生(Glenberg &Gallese,2012);但是也有觀點認為,這些感知運動區(qū)域的激活不單純受語言的影響,也受交流語境特征的調(diào)節(jié),例如,研究發(fā)現(xiàn)語言中的動作動詞顯著激活了運動區(qū)域,而非動作動詞則表現(xiàn)出混雜的結果,即一定程度上也激活了運動區(qū)域,因此,感知運動區(qū)域的激活是自動關聯(lián)于語言表達,亦或是也關聯(lián)于交流的具體情境,則有待于未來研究具體辨別,這涉及到上述語言和手勢關系的理論之爭。但是有一點是明確的,在采用 fMRI的研究中發(fā)現(xiàn),當語言明確表達動作行為信息時,運動區(qū)域的激活水平顯著高于表達非動作信息的條件(Schuil,Smits,&Zwaan,2013)。Goldin-Meadow (2015)在兒童解決數(shù)學等式問題的情境中,要求被試使用語言表達策略或語言和手勢同時表達的策略,fMRI的數(shù)據(jù)結果顯示,使用語言和手勢策略被試的感覺運動區(qū)域激活水平顯著更高,并且該條件下的被試在遷移任務中即便不再使用手勢,其感覺運動區(qū)域也表現(xiàn)出顯著的重復激活。盡管這些結果尚無法明確說明,手勢和語言的表意關系(“增長點理論”和“信息捆綁假說”之爭),以及語言和手勢的發(fā)生關系(“詞匯性手勢生成模型”和“模擬行為的手勢框架理論”之爭),但是可以明確證實,語言和手勢交流的認知神經(jīng)過程存在差異性,但在特定交流目的和情境下,彼此間又相互溝通和關聯(lián);未來認知神經(jīng)研究的關鍵不僅需要區(qū)分彼此的差異,而且需要與兩者共同發(fā)生時的認知神經(jīng)過程相比較,這既有助于說明交流中語言和手勢的關系,也有助于澄清上述的理論之爭。這一過程是相對復雜的,正如 Newcombe (2010)研究發(fā)現(xiàn),手勢的發(fā)生不僅伴隨感覺運動區(qū)的顯著激活,而且前額葉區(qū)域也顯著激活,而前額葉與高級思維相關聯(lián)。

2.2 手勢和語言理解的關系

交流認知研究逐漸發(fā)現(xiàn)手勢表達影響同伴的語言理解過程,例如,當說“我的朋友正在戴帽子……”時,手同時做出握著帽檐的動作,同伴潛在地自然理解為那個人戴的是一頂“長舌帽子”。以往研究針對“手勢對語言理解影響性”的探討,從交流任務特點上,可以歸納為以下三類：一是觀看剪輯視頻,Koppensteiner,Stephan和J?schke(2016)通過向被試呈現(xiàn)具有表情比較性的“政客演講視頻”,發(fā)現(xiàn)手勢等表情因素的豐富性影響交流語言的理解性,具體表現(xiàn)為政見的支持和接受程度;二是參與交流互動,Cook,Duffy和 Fenn(2013)對比了在有無手勢參與指導的學習情境下,學習成績的顯著性差異;三是交流互動情境真實性的比較,Yu,Schermerhorn和Scheutz (2012)對比了“真實交流”和“與等比例人形模型交流”的不同,語言、錄像和眼動數(shù)據(jù)均表明,真人互動交流中交流者對彼此的表情細節(jié)更為敏感,Arnold,Kahn和 Pancani (2012)在使用研究者同謀的條件下,也發(fā)現(xiàn)同謀的特定手勢動作影響被試的交流認知以及后續(xù)的語言表達和理解效率。各類研究的指標包括：回答與語言交流有關的問題,重申交流語言,通過評估被試下一交流回合中的語言表達來分析其對同伴語言的理解,評估被試的行為反應。

首先,從交流互動的功能性方面分析。手勢對于語言理解的促進性,表現(xiàn)于：手勢有助于降低語言信息的模糊性,傳達一些語言不便于清楚說明的信息(Koppensteiner et al.,2016;Post,van Gog,Paas,&Zwaan,2013),手勢溝通過程體現(xiàn)為一個無意識、非策略性過程,在某種程度上可以降低語言理解的認知負荷(Novack,Goldin-Meadow,&Woodward,2015;Ping,Goldin-Meadow,&Beilock,2014),手勢可以配合語言互補性地表達某些語言未表達的信息,從而促進交流者對語言信息的完整理解(Trofatter,Kontra,Beilock,&Goldin-Meadow,2015)。概括而言,手勢對于語言理解的促進性,一方面表現(xiàn)在手勢表達和語言表達間的關聯(lián)性和配合性,另一方面在于手勢表達相對于語言表達的互補性,即當手勢表達語言本身的信息時,手勢有助于語言的準確理解,當手勢表達語言未表達的信息時,可以彌補語言信息的不完整性,同時語言交流作為一種社會行為,具有意識性、策略性的特征,即通過深思熟慮的過程驅(qū)動,手勢表達一定程度上彌補了這一不足。具體而言,手勢對于語言理解的促進效果,受到交流內(nèi)容特點、手勢和語言的重疊性、交流者的年齡和身份等因素的綜合影響(Hostetter,2011);語言交流過程中,手勢對于語言理解的促進作用,最終源于多種共享信息的情境比單一語言信息情境提供了更豐富和更強的認知理解線索,使得交流效果顯著更好。

其次,從交流語言理解的認知特征方面分析。手勢對于語言理解的促進性,源于語言理解認知過程是抽象符號表征和具體化表征共存的混合認知過程。最初,語言理解的“抽象符號認知理論”假設,交流語言理解認知加工過程涉及到一系列解碼規(guī)則的運用,這些規(guī)則操作的對象是抽象的語言符號(Turing,1950);之后,“具體化認知理論”假設,交流語言理解認知加工過程涉及到經(jīng)驗的重現(xiàn)和重組,這是通過大腦感知運動和情感系統(tǒng)建立起來,所以語言理解過程表征的符號是具體的(Glenberg &Gallese,2012);當前,交流語言理解的“雙編碼理論”進一步針對抽象性和具體化的理論之爭做了協(xié)調(diào)性的解釋,提供了一種多元化的觀點,強調(diào)語言理解過程中抽象和具體化符號的共存性,語言理解認知過程不是單一過程,而是混合認知過程(Arbib,Gasser,&Barrès,2014)。

具體而言,語言認知過程不能單純作為一組自由浮動的抽象符號和規(guī)則而存在;這些符號需要與感知動作、具體經(jīng)驗和情感等聯(lián)系在一起,這是手勢表達促進語言理解的前提。交流中語言符號表征的理解依靠概念聯(lián)合加工和相應意義的激活,激活過程導致語言理解認知實現(xiàn)從抽象符號向具體化表征的轉變。Mahon和 Caramazza(2008)指出該過程主要依賴于大腦中樞的感覺運動區(qū)。交流中手勢為語言理解認知過程中多種心理表征的聯(lián)合建構提供了一種機會和便利性支持,如在預測、推理、問題解決以及決策等交流互動過程中,手勢和語言的伴隨呈現(xiàn),有助于交流者彼此間將抽象的思維過程具體化表征出來。比如理解一個簡單的語句“把牛肉反復油煎后夾在面包中間”,概念的聯(lián)合加工即時實現(xiàn)(紅色的鮮牛肉、油、煎鍋、面包等),當同時觀察到語言發(fā)出者兩手反復翻轉的動作時,這有助于激活和易化人們對于烹飪過程的具體化理解。誠然,手勢對語言理解過程的促進,不能否認語言抽象性特征的典型性,語言理解過程從抽象到具體化的轉化,也不可能僅依賴于手勢具體化或感知動作的片段表達;手勢促進語言理解的關鍵在于視覺、聽覺、觸覺等多模式的綜合表征,甚至包括特殊感受和情感的傳遞,使得語言解碼過程聯(lián)系于交流情境中的特定主體、對象和事件,并有助于指向于記憶系統(tǒng)中的特定相關知識經(jīng)驗。可以說,手勢對

語言理解的促進基于客觀世界中交流對象的多種共現(xiàn)模式(Louwerse,2011)。交流語言理解過程和個人私語認知過程不同,在現(xiàn)實交流語言理解過程中,人們產(chǎn)生大量的心理表征,這形成了一個交流的環(huán)境,超出了簡單的詞匯水平的理解,盡管語言中的動詞詞匯等一定程度上也可以引發(fā)感知運動區(qū)的激活,但是這種孤立的激活過程形象性相對減弱且具有跨越不同交流情境的一般抽象性,而交流情境中的手勢等因素的共現(xiàn)使得人們集中關注特定交流細節(jié)的表征,這些表征可以伴隨語言時間過程的發(fā)生和信息的縱向展開,而不斷輸入和即時更新,具體化表征激活的程度決定于語境的具體特點。研究者們指出手勢表達和對于語言理解的必要性,決定于語言交流的情境特征,聯(lián)系于交流者對于手勢感知運動角色、語言理解的抽象性和具體性表征特點的某種潛在預測(張恒 超 ,2017;Christensen,Fusaroli,&Tylén,2016;Gahl &Strand,2016)。

3 手勢相對獨立的交流特征

在交流過程中手勢不是語言表達時的附帶現(xiàn)象,手勢一定程度上具有獨立的交流性。Kelly和Church (1998)采用了兒童講解皮亞杰守恒任務的視頻片段,要求兒童被試對語言表達的推理過程做肯否判斷,在一個視頻短片中,語言中提及到容器的高度,但手勢表達的是容器的寬度,被試觀看后一致認為講解者在同時解釋容器的高度和寬度,該結果證實聽者將說者手勢獨自傳達的信息合并進入了語言信息之中,即說者是同時使用語言和手勢交流媒介表達信息,而聽者也是同時根據(jù)語言和手勢信息來理解說者的完整交流意圖,該結論進一步得到Ping和Goldin-Meadow (2008)兒童交流實驗研究結果的支持。

歸納而言,手勢獨立的交流特征,表現(xiàn)于三個方面：一是,當雙方在彼此可見的交流情境中,交流者的手勢更多;反之,手勢顯著更少(Hostetter &Potthoff,2012);二是,當要求語言表達者向不同的聽者重復相同的交流信息時,其手勢表達的頻繁性并不下降,手勢表達表現(xiàn)出服務于信息交流(Jacobs &Garnham,2007);三是,語言交流中手勢經(jīng)常表達一些語言不包含的信息(Melinger &Levelt,2004;O’Carroll,Nicoladis,&Smithson,2015)。這些研究結果和交流現(xiàn)象反映出交流語言和手勢間在信息溝通過程中的“不匹配性”特點。

3.1 手勢和語言的“不匹配性”反映了交流信息的變化性

手勢和語言不匹配的現(xiàn)象是有趣且有意義的,因為這有助于了解語言明確表達信息的“言外之意”。但是手勢自身不是語言,手勢視覺信號離不開復雜語法結構,使得口語交流中手勢和語義彼此形成了一個緊湊的信息整體(Green,Kelly,&Schembri,2014;Kelly et al.,2010);由于兩者間表達方式的明顯差別使手勢不僅可以傳達與語言信息相關的聯(lián)合義,也可以傳達語言之外的模糊義,如不確定性推測、直覺等,手勢對可能性交流信息或交流信息變化性的表達反映了認知理解的不斷深入和變化性。

手勢揭示的交流信息變化性,可以更豐富深刻的展現(xiàn)交流者獨到的思維過程。如上所提到的,兒童不能理解液體質(zhì)量守恒的概念時,相信當把水從高的、細的容器中倒入短的、粗的容器里,水的數(shù)量變化了;當要求解釋時,兒童可能會說“這個容器比另一個容器高”,但與此同時卻也通過一個 C形手勢來揭示了容器的粗細差異性,換言之,兒童在語言上強調(diào)了容器的一個維度(高度),但是手勢清楚地表達了他正開始模糊思索的第二維度(寬度),傳達了不同于語言的變化性信息。Novack和Goldin-Meadow (2015)指出,交流者通過使用手勢傳達了其思維中所理解的超出交流語言信息范疇的不同信息,這些信息通常是不穩(wěn)定的、壓縮式的和隱含性的,但是這些信息在明確的語言信息背景下可以為交流雙方即時準確地捕捉到。然而,鑒于手勢不受口語慣例和規(guī)則限制的特點,交流者可以通過手勢靈活表達出不同于語言的新信息或新假設,這種信息的變化性是交流者知識理解過程中過渡狀態(tài)的一種直觀形象的表達,也是接下來可能準備明確進入語言內(nèi)容中的相關信息,因此,對于交流者而言,手勢表達出的變化性信息是一種標記,標示出交流者正處于交流推理中的某種重要思維過程中。

反觀該問題,如果手勢對于交流信息變化性的表達是交流認知過渡性的一種表現(xiàn),而且這種過渡性傾向于成為語言認知深入發(fā)展的一種準備狀態(tài),那么,交流過程中有意識控制或指導被試交流手勢的運用,是否可以對于語言交流過程產(chǎn)生促進作用呢？或者說,鼓勵交流者使用手勢是否可以促使那些隱含的觀點浮現(xiàn)出來呢？Broaders,Cook,Mitchell和Goldin-Meadow (2007)的實驗要求兒童解釋他們不正確的數(shù)學問題解題思路,然后再要求解決一組相似的數(shù)學問題;鼓勵一半兒童邊解釋思路,邊使用手勢。結果發(fā)現(xiàn),要求使用手勢的兒童采用了一些新的解題策略,但是這些策略只能在手勢中觀察到;未被鼓勵使用手勢的兒童沒有在手勢和語言表達中出現(xiàn)這些新策略;重要的一點是,使用手勢增加獨特新策略的兒童在相似數(shù)學問題中表現(xiàn)出更高的解題水平。Beaudoin-Ryan和Goldin-Meadow (2014)在研究中使用了道德推理問題,與未鼓勵使用手勢的兒童相比,鼓勵使用手勢的兒童在道德困境解釋過程中,通過手勢表達出了不同的復合觀點,反映其對于多重因素具有更好的理解性,而且,任務結束后,當向被試再次提及類似道德問題時,其語言中的觀點數(shù)量顯著增加,觀點的綜合性更強,盡管此時其不再高頻率使用手勢?？傊?不論是在適合于空間表征的知識領域(如數(shù)學問題),還是在非適合于空間表征的問題情境(如道德問題),手勢均表現(xiàn)出有助于激活內(nèi)隱而正確的觀念,從而為進一步語言交流做了充分的準備和過渡;這也表明交流中手勢的作用價值不是僅簡單體現(xiàn)為對交流者注意的指引,手勢的操作性行為可以將交流者的注意指引于問題對象的細節(jié)上,進而影響到問題的抽象概括,促進更深層次交流的發(fā)生發(fā)展。簡言之,手勢和語言間的不匹配性是交流者交流信息變化的良好指標,代表了交流互動認知的一種過渡狀態(tài)。

可見,手勢不是一個隨意的揮手動作,是一個交流媒介和橋梁,是抽象思想溝通和發(fā)展的一個有力工具。其一方面表達了交流者對于交流情境、任務和問題的觀念,另一方面改變了交流者的思想;手勢促進交流思想的傳達,并促進觀點的萌生和發(fā)展,事實上,手勢是一種特殊的直觀動作,在特定交流情境下能使特定的動作元素突出,這些直觀性元素進而促進抽象性思維的溝通和發(fā)展。有研究者也指出,手勢的這一交流特征在現(xiàn)實中有時可能對交流產(chǎn)生不良的影響作用,Broaders和 Goldin-Meadow (2010)研究中模擬了目擊者證人的詢問過程,與一般交流情境比較,該情境的敏感性相對更高,研究者控制“訊問者”的語言內(nèi)容不具有暗示性(因為暗示性問題可能鼓勵“目擊證人”報告出不真實和不正確的現(xiàn)場細節(jié)),但是“語言訊問”中使用了一些具有信息性的手勢,比如,當問被試“他穿的什么衣服？”時,同時做了一個“戴帽子的手勢動作”,結果發(fā)現(xiàn)手勢將原本開放性的交流問題變成了目標性問題,被試顯著表現(xiàn)出使用“帽子”回答了該問題,“訊問者”的手勢提示并誤導了“目擊證人”;同時研究者也發(fā)現(xiàn),“目擊證人”交流期間也自發(fā)地產(chǎn)生了一些手勢動作,但有趣的是,這些手勢通常傳達的是其交流語言中未傳達的有關事件的真實信息,相反,在“訊問情境下”訊問者經(jīng)常忽視被試的這些重要手勢信息。

3.2 手勢和語言的“不匹配性”導致交流認知的改變

手勢和語言的“不匹配性”不僅反映了而且引發(fā)了交流者交流認知的改變,具體而言：

首先,手勢可能表現(xiàn)為交流者對于交流問題對象的隱性知識,當交流者同時表達這種隱性知識和其他明確知識時,這些想法的激活可能會破壞他們原有的認知狀態(tài),從而更容易接受交流情境中的多元信息(語言和非語言的情境信息),導致解決問題策略的改變。Brooks和 Goldin-Meadow (2016)指出,手勢不僅僅反映交流者擁有的初始想法,還有助于交流者發(fā)展和表達新想法,換句話說,交流者產(chǎn)生手勢過程帶來的認知變化過程多種多樣,人們能通過簡單地手勢為認知的新發(fā)展奠定基礎。交流中手勢和語言兩種形態(tài)的媒介可以加強交流者的問題表征,反過來這有助于交流者進一步利用手勢的溝通優(yōu)勢;然而,兩種形式的交流媒介并不是簡單的形式并列,而是并列使用了兩種不同類型的問題表征形式(語言的明確抽象表達和手勢的形象模仿)。

Grenoble,Martinovi?和 Baglini (2014)認為,在多數(shù)語言交流情況下,交流者都會自覺使用雙手來互動,其實人們在認知中很難將兩種表征形式做出明確的區(qū)分。從這一意義出發(fā),手勢和語言的“不匹配性”與交流認知、交流效率效果直接相關,兩種“不匹配”交流表征形式的并置,讓手勢成為一種有力的認知工具,因為手勢的影響在于能添加第二個表征形式到交流者的認知技能中去,而不僅是一個動作形態(tài);進而,這為后續(xù)的研究工作留下了開放性的思考,“不匹配”是交流認知敏感性和過渡性的良好指標,手勢將“動作性表征”引入交流心理表征中,反映了其交流認知的一種傾向性,這可能是交流者在語言溝通之外向另一種意義上認知索引轉移的標志。

其次,手勢可以幫助交流者管理交流認知努力,手勢有助于降低交流者的認知努力,節(jié)省的認知努力可能投入到交流問題的其他方面,從而促進交流認知的深入發(fā)展。Goldin-Meadow,Nusbaum,Kelly和 Wagner (2001)發(fā)現(xiàn),當要求被試解釋自己系列數(shù)學問題的解題思路,并同時記住一些無關聯(lián)的刺激項目時,使用手勢的被試比不使用手勢的被試回憶得顯著更多。Novack,Congdon,Hemani-Lopez和Goldin-Meadow (2014)通過數(shù)學等式問題研究發(fā)現(xiàn),手勢組被試能做到知識理解的一般化或概括化,能遷移性的解決問題;因此研究者強調(diào)手勢對于認知節(jié)省性的影響源于手勢本身是一種身體動作,實現(xiàn)了身體動作對抽象思維過程的表現(xiàn)。

關于手勢表達的認知機制特征的探討,行為數(shù)據(jù)的解釋相對的間接而模糊,輔以腦成像技術的研究可以提供一種相對更為直觀的理解。Goldin-Meadow (2015)要求兒童被試在解決數(shù)學等式問題過程中做出語言表達,如“我想要一邊等于另一邊” (等價策略),一組被試僅通過語言表達,另一組被試語言表達的同時,產(chǎn)生傳達相同信息的手勢(如,在等式的左邊揮動手,然后在等式的右邊做同樣的手勢),之后將兩組中學會解決問題的被試篩選出來,并提供遷移任務,該任務不需要任何被試采用手勢表達思維過程,結果 fMRI的數(shù)據(jù)結果顯示,手勢組被試感覺運動區(qū)域顯著重復激活,表明手勢促進認知的機制涉及到與問題情境相關的感覺運動表征,并且這些表征在之后不用手勢解決相似任務過程中,也可以重復激活。Newcombe (2010)在fMRI觀察中發(fā)現(xiàn)使用手勢的被試不僅感覺運動區(qū)顯著激活,而且前額葉區(qū)域也顯著激活,前額葉與高級思維相關聯(lián),但是,無關動作不會激活被試的前額葉區(qū)域,因此手勢對于認知的影響性不同于一般性的肢體動作。

歸納而言,手勢交流對于認知的促進作用,以及認知節(jié)省性特征,可能源于手勢表達的具體化、直觀性能夠促進認知的一般化過程：手勢不僅使交流者集中注意于知識的具體細節(jié),還能使交流者集中注意于知識的遷移過程。

最后,手勢可以集中交流者注意于問題表征中的感知或操作性信息,而交流問題解決過程中這些信息更容易被利用。Alibali和Kita (2010)研究中要求兒童被試解決一系列皮亞杰守恒問題,允許使用手勢的兒童比不允許的兒童表達了更多的對象感知狀態(tài)信息;之后的另一項研究中,Alibali,Spencer,Knox和Kita (2011)發(fā)現(xiàn),要求成人被試預測“如果第一個齒輪被轉動到一個特定方向,齒輪組中的某一個齒輪將會怎樣運動？”,允許使用手勢的被試顯著使用感知操作策略(表象和模擬各個齒輪的運動)來解決問題,幾乎不使用抽象策略(基于齒輪的總數(shù)是偶數(shù)或奇數(shù)來推算某個齒輪的運動)。

盡管手勢關聯(lián)于語言系統(tǒng),不是一個完全獨立的視覺交流系統(tǒng),但手勢是一種表征性的行為,不同于針對對象的操作行為,操作行為體現(xiàn)的是執(zhí)行功能而非表征功能,這種差別決定了手勢對交流認知獨特的作用特征。在現(xiàn)實交流過程中,人們產(chǎn)生大量的心理表征,形成一個交流的認知環(huán)境,這不是簡單僅通過詞匯水平來表達的,認知環(huán)境是調(diào)節(jié)抽象表征和具體表征相對影響作用的一個主要潛在因素。盡管當前研究對于交流表征類型的激活機制沒有定論,但是有一點是明確的,手勢表達集中關注于交流對象的具體化細節(jié)表征,這些細節(jié)通常無法從語句中獲取,或者說,語言認知表征可以是具體化的,但不可能是過度詳細的;同時,手勢交流的易于利用性還在于,交流語境一般不會約束交流認知始終激活某特定表征,即交流具有動態(tài)性和發(fā)展性,手勢的直觀表達使得表征理解的輪替和分割變得形象可視?？梢?有關交流抽象性和具體性表征之間交互作用的問題不能脫離交流語境孤立地回答。

總之,手勢和語言的“不匹配性”導致交流認知的改變,涉及到不同的過程和機制。例如,在緊急情境中手勢可以連接急于表達的斷續(xù)的抽象概念(Alibali et al.,2014;Schuil et al.,2013),手勢可以降低認知負荷(Hu,Ginns,&Bobis,2015),因為手勢是身體的一個動作,它對交流認知的影響至少部分源于感知運動系統(tǒng)的認知資源(Ping et al.,2014),手勢可以增強口語交流的表達性(Chow et al.,2014;Hostetter,2011)等。在具體交流過程中,手勢的具體化表征和語言的抽象表征都很活躍,兩者間的復雜關系,一方面是在一個立體網(wǎng)絡結構中交互作用和制約,另一方面交流互動中存在從抽象表征到具體表征的不斷轉換,這些決定了兩者間的某種“不匹配性”特征。

歸納以上,手勢交流不同于語言交流,不具有完全的獨立交流性和表意的完整性;同時,手勢在交流中具有和語言不同的交流認知作用和特征：一方面,手勢和語言以一種協(xié)調(diào)方式共同表達交流信息,手勢表現(xiàn)出對于交流認知的增強作用,換言之,交流手勢的發(fā)生部分源于說者增強交流的期望性。另一方面,手勢不是語言交流的附屬,其一定程度上具有相對獨立的交流特征,即手勢具有一定相對獨立的認知過程和表達性;有研究者稱其為“手勢的自我認知導向功能”,交流中的手勢互動是以肢體動作方式展現(xiàn)已存在的心理表征,該表征不同于語言心理表征,但與語言和思維中正在加工的心理表征密切關聯(lián)(Chu &Kita,2016)?？傊?交流手勢的認知特征與語言認知相關,但又不局限于語言信息表達范疇;手勢不僅可以表達與語言和思維推理有關的時空運動信息,也可以通過隱喻性方式表達某些抽象性交流信息,并啟迪語言的外顯性交流。

以往研究主要是在一般文化背景下探討了交流手勢的認知特征,但有研究者較早就指出文化背景或群體身份特征,如國籍、母語、民族、團體等,可以引導交流知識的推理過程,文化提供了針對交流者心理狀態(tài)的有價值的參考性信息,其影響性具體表現(xiàn)于交流互動調(diào)整過程(Fussell&Krauss,1992)。Quinto-Pozos 和 Parrill (2015)研究發(fā)現(xiàn)英語交流者手勢表達方式具有相似性;Perniss和 ?zyürek (2008)發(fā)現(xiàn)德國人和土耳其人手勢表達方式顯著不同,認為這根源于手勢交流依賴于語言交流,人們無法單一利用手勢的視覺空間特征來表達完整連貫的交流信息。Brentari,Di Renzo,Keane和Volterra (2015)也發(fā)現(xiàn)美國和意大利交流者在使用手勢表達靜態(tài)對象和動態(tài)事件中均存在差異性,并且兩國被試手勢表達的差異一定程度上和語言表達差異相一致,文化背景影響交流者手勢表達的習俗化特征。Perniss等(2015)認為文化背景影響交流者的交流認知基礎,比如,和美國人相比印度人手勢表達中手形的區(qū)分更加詳細,表明豐富的文化使得印度人對手勢的形式特征和含義具有更高的敏感性。盡管文化對交流手勢的具體影響過程仍然不清楚,但是文化的影響性可能部分地通過基于文化和社會身份的記憶過程來實現(xiàn)。

4 教育情境中的手勢交流

當前,關于手勢對教學和學習過程的影響,逐漸受到研究者的關注,這也是現(xiàn)實手勢交流在教育情境中的表現(xiàn),手勢交流在教育情境中的表現(xiàn)也具有一定的獨特性,例如,有研究發(fā)現(xiàn),教育情境下特定的手勢表達會和先前的知識經(jīng)驗產(chǎn)生交互影響,有時手勢是有效的,有時可能是無效的,甚至可能阻礙學習(Post et al.,2013;Wakefield &James,2015),手勢的交流作用和特征可能隨年齡而變化(Novack et al.,2015)。就教育角色而言,手勢表達的主體可以是教師,也可以是學生,對于教師是教學工具,對于學生是學習工具。手勢的方便靈活性特點,具有促進教學和學習的潛力。

4.1 教師手勢交流的認知特征

從教師講授的角度而言,教師的手勢表達可以捕捉和引導學生的注意,并充分澄清語言講解中的信息。

一方面,如前所述,手勢表達的獨特認知特征不僅輔助教師的語言表達,而且促進學生的語言理解,同時潛在豐富性表現(xiàn)語言講解的深層內(nèi)涵。例如,教師使用手勢來模擬形狀的對稱,幫助學前兒童學習雙邊對稱的概念,這種效用產(chǎn)生于手勢實現(xiàn)了對抽象語言的形象表達(Valenzeno,Alibali,&Klatzky,2003);研究還發(fā)現(xiàn),在教學對象未直觀呈現(xiàn)的條件下,手勢仍可以促進學習,Ping和 Golding-Meadow (2010)給 5～7歲的兒童講授皮亞杰的守恒問題,實驗條件分有手勢表達和沒有手勢表達兩種條件,手勢條件下教師會使用手勢模擬表現(xiàn)兩個杯子的相對寬度和高度,結果發(fā)現(xiàn),目標存在和目標缺失情境下,手勢條件被試的學習效果均顯著高于無手勢條件被試,證實手勢不僅可以引導和集中學習者的注意力,而且向?qū)W習者傳達了學習觀點。

另一方面,教師在教學中使用手勢可以向?qū)W生提供多種解決問題的策略和方法。Singer和Goldin-Meadow (2005)研究發(fā)現(xiàn)教師講授中同時使用兩種交流策略(“語言+手勢”)時,學生數(shù)學課程學習效果顯著優(yōu)于“語言→語言”策略(語言表達的兩種策略是序列發(fā)生的),指出手勢交流的作用至少部分源于其與語言的同時發(fā)生性。Congdon等(2017)的研究進一步發(fā)現(xiàn),在手勢表達和語言表達的關系上,手勢和語言同時發(fā)生條件(“語言+手勢”)下學習者對于學習內(nèi)容的歸納概括和記憶保持效果均顯著優(yōu)于手勢和語言序列發(fā)生條件(“語言→手勢”),手勢和語言序列發(fā)生條件(“語言→手勢”)、語言和語言序列條件(“語言→語言”)間無顯著差異,證實手勢和語言同時發(fā)生時(“語言+手勢”)對學習的促進作用高于手勢和語言序列發(fā)生條件(“語言→手勢”)。

許多研究也表明,教學中教師使用手勢可以推動更深層次的學習(如,出現(xiàn)新的推理形式、更高的遷移能力以及知識記憶效果等方面),相比不使用手勢的課堂教學,表現(xiàn)了更多的優(yōu)勢。例如,Church,Ayman-Nolley和Mahootian (2004)研究指出一年級學生學習皮亞杰守恒任務時,學生在“手勢+語言”講授課堂中學習得更為深入(相似問題理解水平更高),這一致出現(xiàn)于英語母語學生和西班牙母語學生被試中(均采用英語語言講解)。教師的手勢溝通能對學生的學習認知和行為產(chǎn)生重大影響,教師在較難內(nèi)容的教學中使用手勢,有助于易化學習內(nèi)容。

由于教師的手勢表達會影響學生從課堂學習到的知識,也由于教師可以根據(jù)自己的想法改變他們的手勢交流方式,因此教學中教師有意識使用手勢是有益的,有意識使用體現(xiàn)了有計劃、有目的地強化教授內(nèi)容的多樣化方式。Stieff和Raje(2010)強調(diào),在現(xiàn)實課堂教學環(huán)境中,當不能使用別的教學輔助手段時,手勢顯得尤為重要和有用,手勢可以表達那些語言講解中具有難度和挑戰(zhàn)性的觀點與問題。另外,教師手勢的使用也會促進教學過程中學生手勢表達的增加,即教師樂于在課堂上使用手勢,學生也更傾向于使用手勢,反過來,使自己從課堂學習中受益(Cook &Goldin-Meadow,2006)。簡言之,教學過程中教師手勢的使用不僅提高了課堂教學的講授質(zhì)量,而且也營造出使用手勢的獨特課堂文化和教學風格,這對于教與學的雙方均是有益的。

4.2 學生手勢交流的認知特征

從學生學習的角度而言,手勢交流有助于促進學生的學習認知過程和水平。教師通過提問學生,并鼓勵學生解釋時使用手勢,這為學生的手勢表達提供了一個機會。

一方面,學生的手勢往往可以顯示他們未表達于語言中的思維信息,同時向教師傳達了自身學習認知狀態(tài)的重要線索。此時,教師需要留意學生手勢傳達的信息,據(jù)此改變向?qū)W生講授知識的方式,如果老師只留意學生的語言信息,將錯過學生手勢傳達的獨特見解和知識,因此這一過程有助于教學更好地貼近學生認知實際(Goldin-Meadow &Singer 2003)。如前所述,手勢和語言間的不匹配性是一個較為可靠的學習準備性指標,教學互動的交流情境中,使用不同于語言信息但又關聯(lián)語言信息的手勢并不罕見,有意義的是,手勢和語言表達的不匹配性是預測學習者從學習任務中獲益的一個良好指標,第一個原因在于,手勢和語言表達的不匹配性導致學習者偶爾成功解決問題,這是學習過渡狀態(tài)的一種表現(xiàn);第二個原因在于,學習者是為了通過不匹配手勢來輔助語言回應教學互動交流情境中的特定問題對象。

Goldin-Meadow和Singer (2003)的研究顯示,在解釋如何解決數(shù)學等式問題時,如果教師指導的學生是手勢和語言不匹配的表達學習者,教師也自然會產(chǎn)生手勢和語言不匹配的講授方式,但是,教師的不匹配性和學生的不匹配性存在兩點差異：一是,教師通過手勢和語言傳達的解題策略都是正確的;二是,教師在他們不匹配的手勢中所表達的策略經(jīng)常出現(xiàn)于高水平學習者的語言策略中,即該策略既適合于手勢表達也適合于語言表達。與此相反,學生手勢和語言表達的策略都不是完全正確的,并且,學生不匹配手勢表達的策略因其不是完全正確或恰當,而不出現(xiàn)于語言解釋中。

不論如何,學習者手勢和語言的不匹配性表明,其能同時注意學習任務和對象的更多相關性信息,這些相關知識使得不匹配學習者處于一個有利的、準備性的并有助于促進的學習準備狀態(tài)。同時,也可以看出,學生和教師互動中彼此出現(xiàn)的手勢和語言不匹配現(xiàn)象存在本質(zhì)差異,教師作為學科“專家”,其交流互動中的不匹配性反映了他們在回應和指導學生時的溝通調(diào)節(jié)能力,其目的是為了回應學生的認知需求和知識掌握,相反,學生教學互動中出現(xiàn)的手勢和語言不匹配現(xiàn)象,反映的是他們?yōu)閷W習而做出的認知準備性特征,這種準備性是進一步學習和認知發(fā)展的一種推動力。

另一方面,學生手勢行為本身可以促進自身的學習認知和行為,教師應鼓勵學生自己主動產(chǎn)生手勢和表達思想。手勢是其隱性知識的重要表現(xiàn),這種隱性知識的表達可以改變自身的認知輸入和加工過程,進而改變原有的知識狀態(tài),即手勢表達可能成為學生知識進一步發(fā)展的“腳手架或支架”,鼓勵學生的手勢表達在激活其隱性知識的同時,也使其更易于接受課堂講授(Broaders et al.,2007)。Cook 和 Goldin-Meadow (2006)發(fā)現(xiàn),學生會在數(shù)學課上模仿他們教師授課時的手勢動作,反過來,手勢的恰當表達表明他們成功掌握了相應的數(shù)學問題類型,教師的手勢可以促進學生的手勢表達,反過來又促進了學生學習認知和行為的改變。

手勢促進學習認知中的“新想法”可能源于兩個方面：一是,學習者可以從他們產(chǎn)生的手勢中提取問題意義,這也是學習者對他們特定教學互動情境下的重要手勢感到敏感的原因之一。二是,學習者因為做了手勢或移動了他們的雙手,而自覺促進了學習認知和理解,如前闡述,手勢不僅反映學習者準備學習的狀態(tài),它也能促進學習過程,手勢對認知變化的影響源于身體動作本身,其將動作表征引入人們的問題認知表征中,一定程度上同時兼顧了問題抽象性和表達性的特征,進而成為推動學習認知的有力工具。

為了進一步分析學習者自己的手勢可能對學習認知產(chǎn)生的影響,需要在實驗研究中對手勢做出特定的控制,Broaders等(2007)研究中告訴兒童被試,當解釋他們對數(shù)學等式問題的解題方案時移動他們的雙手,結果發(fā)現(xiàn),與沒有被告知使用手勢的兒童被試相比較,被告知的兒童通過使用手勢產(chǎn)生了更多新的、正確的想法。有趣的是,被告知的兒童在手勢上產(chǎn)生這些新的和正確想法的同時,繼續(xù)錯誤性地語言解釋問題解決策略,然而,之后當再提供類似問題時,與沒有被告知使用手勢的兒童相比較,這些做手勢的兒童更好地解決了問題。因此,手勢信息盡管未被語言明確而正確的表達,但是卻能啟發(fā)學習者的學習思維過程,進而引導和促進了學習認知過程和水平。后續(xù)的研究中,Cook,Mitchell和Goldin-Meadow(2008)進一步發(fā)現(xiàn),通過告訴兒童如何移動雙手來學習新問題能夠提高他們的認知技能,而且根據(jù)指導移動雙手的兒童對最近學習知識的保持效果顯著更好,即手勢指導增強了新知識的記憶?？梢?手勢表達的指導幫助學習者集中注意力于問題對象的關鍵特征上,有助于學習者提取解決問題的關鍵信息。

5 啟示與展望

人們語言交流時會使用手勢,手勢在任何時間段的交流中均扮演了重要的角色,誠然,手勢反映了交流者的思想,且經(jīng)常是那些沒有語言明確表達出來的思想,因此手勢成為了解交流者認知和思想的一扇窗口。手勢不僅是表達者自我認知表現(xiàn)和發(fā)現(xiàn)的過程,也幫助交流同伴更好的理解交流意圖和期望;在交流的媒介中,手勢提供了語言建構和溝通的前提,是語言創(chuàng)造過程的可靠基石之一,由于手勢和語言交流的相輔相承性和相伴發(fā)生性,使其成為交流認知研究的一個重要方面。未來研究需要進一步探討以下幾個方面的問題：

首先,從手勢和語言交流的關系看,語言交流中的手勢互動不僅幫助語言發(fā)出者表達思想和期望,而且有助于語言理解者做出正確的交流認知推理和互動反饋,并且手勢提供了可用于語言構造的信息組塊,因此,未來研究需要進一步思考手勢對于語言交流互動或交際功能的履行機制和程度等特點,比如,語言互動能力較低的兒童和成年人、專家和新手在交流中手勢表達特征差異,以及利用手勢為語言交流提供信息組塊過程的差異性。

其次,從手勢相對獨立的交流特征看,手勢是通過片段式動作的分割和組合來傳遞針對性的信息或?qū)ο蟮年P鍵特征,因此,未來研究應關注語言交流過程中的手勢交流優(yōu)勢特征,這是手勢交流啟蒙新思想和改變交流認知的關鍵切入點,但是手勢表達的這種特有認知機制和影響因素均尚不清楚。

再次,從教育情境中的手勢交流特征看,手勢對于知識的講授和學習具有重要的現(xiàn)實意義,但是,課堂教學中教師相同的手勢,是否對于所有層次和不同特征的學生具有同等的意義和作用,比如,不同發(fā)展階段學生的語言能力是不同的,而同階段學生間也具有眾多的學習認知差異。同樣,手勢表達是否受學習科目和任務的不同影響,如上所述,以往研究更多采用了空間任務或數(shù)學問題情境等,這些交流情境相對較適合于手勢的表達和互動。另外,未來對于教學互動中教師和學生手勢交流互動高效性認知機制的探討,將有重要的現(xiàn)實借鑒和指導價值,甚至進一步影響到對教學認知心理、傳統(tǒng)教學方法和經(jīng)驗的深入理解,以及是否可以探索建立教師有效使用手勢進行教學表達的方法或建議。

最后,鑒于手勢交流研究的相對復雜性,以往研究未對手勢交流的影響因素做針對性的探討和歸納,該領域的深入分析研究將有利于交流手勢相關理論的建構和完整解釋;進一步將涉及到交流手勢的一般特征和個體差異問題,比如,交流中有的個體相對更容易產(chǎn)生手勢交流;同理有些現(xiàn)實交流情境(如演講)更容易出現(xiàn)大量的交流手勢;還有像某些特殊兒童(如自閉癥兒童)可觀察的交流手勢顯著更少,這是否是其特異性表現(xiàn)亦或語言交流的關聯(lián)性表現(xiàn)。

參考文獻

張恒超.(2013).參照性交流中的“聽者設計”.心理發(fā)展與教育,29(5),552?560.

張恒超.(2017).共享因素對參照性交流雙方學習的影響.心理學報,49(2),197?205.

張恒超.(2018).交流語言認知特征.心理科學進展,26(2),270–282.

張恒超,陰國恩.(2014).參照性交流中的非策略性認知過程.心理研究,7(5),7?14.

Airenti,G.,&Plebe,A.(2017).Editorial: Context in communication:A cognitive view.Frontiers in Psychology,8,115.

Alibali,M.W.,&Kita,S.(2010).Gesture highlights perceptually present information for speakers.Gesture,10(1),3–28.

Alibali,M.W.,Nathan,M.J.,Wolfgram,M.S.,Church,R.B.,Jacobs,S.A.,Johnson Martinez,C.,&Knuth,E.J.(2014).How teachers link ideas in mathematics instruction using speech and gesture: A corpus analysis.Cognition and Instruction,32,65–100.

Alibali,M.W.,Spencer,R.C.,Knox,L.,&Kita,S.(2011).Spontaneous gestures influence strategy choices in problem solving.Psychological Science,22(9),1138–1144.

Arbib,M.A.,Gasser,B.,&Barrès,V.(2014).Language is handy but is it embodied?.Neuropsychologia,55,57?70.

Arnold,J.E.,Kahn,J.M.,&Pancani,G.C.(2012).Audience design affects acoustic reduction via production facilitation.Psychonomic Bulletin &Review,19(3),505–512.

Beaudoin-Ryan,L.,&Goldin-Meadow,S.(2014).Teaching moral reasoning through gesture.Developmental Science,17(6),984?990.

Brentari,D.,Di Renzo,A.,Keane,J.,&Volterra,V.(2015).Cognitive,cultural,and linguistic sources of a handshape distinction expressing agentivity.Topics in Cognitive Science,7(1),95–123.

Broaders,S.C.,Cook,S.W.,Mitchell,Z.,&Goldin-Meadow,S.(2007).Making children gesture brings out implicit knowledge and leads to learning.Journal of Experimental Psychology: General,136(4),539?550.

Broaders,S.C.,&Goldin-Meadow,S.(2010).Truth is at hand: How gesture adds information during investigative interviews.Psychological Science,21(5),623?628.

Brooks,N.,&Goldin-Meadow,S.(2016).Moving to learn:How guiding the hands can set the stage for learning.Cognitive Science A Multidisciplinary Journal,40(7),1831?1849.

Buz,E.,Tanenhaus,M.K.,&Jaeger,T.F.(2016).Dynamically adapted context-specific hyper-articulation: Feedback from interlocutors affects speakers’ subsequent pronunciations.Journal of Memory and Language,89,68?86.

Chow,H.M.,Mar,R.A.,Xu,Y.S.,Liu,S.Y.,Wagage,S.,&Braun,A.R.(2014).Embodied comprehension of stories:Interactions between language regions and modality-specific neural systems.Journal of Cognitive Neuroscience,26(2),279–295.

Christensen,P.,Fusaroli,R.,&Tylén,K.(2016).Environmental constraints shaping constituent order in emerging communication systems: Structural iconicity,interactive alignment and conventionalization.Cognition,146,67?80.

Chu,M.Y.,&Kita,S.(2016).Co-thought and co-speech gestures are generated by the same action generation process.Journal of Experimental Psychology: Learning,Memory,and Cognition,42(2),257?270.

Church,R.B.,Ayman-Nolley,S.,&Mahootian,S.(2004).The role of gesture in bilingual education: Does gesture enhance learning?.International Journal of Bilingual Education and Bilingualism,7(4),303?319.

Clark,H.H.(1996).Using language.Cambridge: Cambridge University Press.

Congdon,E.L.,Novack,M.A.,Brooks,N.,Hemani-Lopez,N.,O’Keefe,L.,&Goldin-Meadow,S.(2017).Better together: Simultaneous presentation of speech and gesture in math instruction supports generalization and retention.Learning and Instruction,50,65?74.

Cook,S.W.,Duffy,R.G.,&Fenn,K.M.(2013).Consolidation and transfer of learning after observing hand gesture.Child Development,84(6),1863?1871.

Cook,S.W.,&Goldin-Meadow,S.(2006).The role of gesture in learning: Do children use their hands to change their minds?.Journal of Cognition and Development,7(2),211?232.

Cook,S.W.,Mitchell,Z.,&Goldin-Meadow,S.(2008).Gesturing makes learning last.Cognition,106(2),1047?1058.

De Marco,D.,De Stefani,E.,&Gentilucci,M.(2015).Gesture and word analysis: The same or different processes?.NeuroImage,117,375?385.

Fussell,S.R.,&Krauss,R.M.(1992).Coordination of knowledge in communication: Effects of speakers’ assumptions about what others know.Journal of Personality and Social Psychology,62,378–391.

Gahl,S.,&Strand,J.F.(2016).Many neighborhoods:Phonological and perceptual neighborhood density in lexical production and perception.Journal of Memory and Language,89,162?178.

Glenberg,A.M.,&Gallese,V.(2012).Action-based language: A theory of language acquisition,comprehension,and production.Cortex,48(7),905?922.

Goldin-Meadow,S.(2015).From action to abstraction:Gesture as a mechanism of change.Developmental Review,38,167?184.

Goldin-Meadow,S.,Nusbaum,H.,Kelly,S.D.,&Wagner,S.(2001).Explaining math: Gesturing lightens the load.Psychological Science,12(6),516?522.

Goldin-Meadow,S.,&Singer,M.A.(2003).From children's hands to adults' ears: Gesture's role in the learning process.Developmental Psychology,39(3),509?520.

Graziano,M.,&Gullberg,M.(2013).Gesture production and speech fluency in competent speakers and language learners.Tilburg Gesture Research Meeting (TiGeR) 2013.Tilburg University.

Green,J.,Kelly,B.F.,&Schembri,A.(2014).Finding common ground: Sign language and gesture research in Australia.Australian Journal of Linguistics,34(2),185?192.

Grenoble,L.A.,Martinovi?,M.,&Baglini,R.(2014).Verbal gestures in Wolof.In Selected Proceedings of the 44th annual conference on African linguistics (pp.110?121).Somerville,MA: Cascadilla Press.

Hellbernd,N.,&Sammler,D.(2016).Prosody conveys speaker’s intentions: Acoustic cues for speech act perception.Journal of Memory and Language,88,70–86.

Hostetter,A.B.(2011).When do gestures communicate? A meta-analysis.Psychological Bulletin,137(2),297–315.

Hostetter,A.B.,&Alibali,M.W.(2010).Language,gesture,action! A test of the Gesture as Simulated Action framework.Journal of Memory and Language,63(2),245–257.

Hostetter,A.B.,Alibali,M.W.,&Kita,S.(2007).I see it in my hands’ eye: Representational gestures reflect conceptual demands.Language and Cognitive Processes,22(3),313?336.

Hostetter,A.B.,&Potthoff,A.L.(2012).Effects of personality and social situation on representational gesture production.Gesture,12(1),62?83.

Hu,F.T.,Ginns,P.,&Bobis,J.(2015).Getting the point:Tracing worked examples enhances learning.Learning &Instruction,35,85?93.

Iverson,J.M.,&Goldin-Meadow,S.(1998).Why people gesture when they speak.Nature,396,228.

Jacobs,N.,&Garnham,A.(2007).The role of conversational hand gestures in a narrative task.Journal of Memory and Language,56(2),291?303.

Kelly,S.D.,&Church,R.B.(1998).A comparison between children's and adults' ability to detect conceptual information conveyed through representational gestures.Child Development,69(1),85?93.

Kelly,S.D.,?zyürek,A.,&Maris,E.(2010).Two sides of the same coin: Speech and gesture mutually interact to enhance comprehension.Psychological Science,21(2),260?267.

Kita,S.,&?zyürek,A.(2003).What does cross-linguistic variation in semantic coordination of speech and gesture reveal?: Evidence for an interface representation of spatial thinking and speaking.Journal of Memory and Language,48(1),16?32.

Koppensteiner,M.,Stephan,P.,&J?schke,J.P.M.(2016).Moving speeches: Dominance,trustworthiness and competence in body motion.Personality and Individual Differences,94,101–106.

Krauss,R.M.,Chen,Y.,&Gottesman,R.(2000).Lexical gestures and lexical access: A process model.In D.McNeill (Ed.),Language and gesture (pp.261–283).Cambridge,UK: Cambridge University Press.

Krauss,R.M.,&Weinheimer,S.(1964).Changes in reference phrases as a function of frequency of usage in social interaction: A preliminary study.Psychonomic Science,1,113?114.

Levinson,S.C.(2016).Turn-taking in human communication–origins and implications for language processing.Trends in Cognitive Sciences,20(1),6?14.

Louwerse,M.M.(2011).Symbol interdependency in symbolic and embodied cognition.Topics in Cognitive Science,3(2),273–302.

Mahon,B.Z.,&Caramazza,A.(2008).A critical look at the embodied cognition hypothesis and a new proposal for grounding conceptual content.Journal of Physiology-Paris,102,59?70.

McNeill,D.,&Duncan,S.D.(2000).Growth points in thinking-for-speaking.In D.McNeill (Ed.),Language and gesture (pp.141–161).Cambridge,UK: Cambridge University Press.

Melinger,A.,&Levelt,W.J.(2004).Gesture and the communicative intention of the speaker.Gesture,4(2),119?141.

Morsella,E.,&Krauss,R.M.(2004).The role of gestures in spatial working memory and speech.The American Journal of Psychology,117,411?424.

Newcombe,N.S.(2010).Picture this: Increasing math and science learning by improving spatial thinking.American Educator,34(2),29?35.

Nicoladis,E.,Pika,S.,Yin,H.,&Marentette,P.(2007).Gesture use in story recall by Chinese–English bilinguals.Applied Psycholinguistics,28(4),721?735.

Novack,M.A.,Congdon,E.L.,Hemani-Lopez,N.,&Goldin-Meadow,S.(2014).From action to abstraction:Using the hands to learn math.Psychological Science,25(4),903–910.

Novack,M.,&Goldin-Meadow,S.(2015).Learning from gesture: How our hands change our minds.Educational Psychology Review,27(3),405–412.

Novack,M.A.,Goldin-Meadow,S.,&Woodward,A.L.(2015).Learning from gesture: How early does it happen?.Cognition,142,138?147.

O’Carroll,S.,Nicoladis,E.,&Smithson,L.(2015).The effect of extroversion on communication: Evidence from an interlocutor visibility manipulation.Speech Communication,69,1?8.

?zyürek,A.,Kita,S.,Allen,S.,Brown,A.,Furman,R.,&Ishizuka,T.(2008).Development of cross-linguistic variation in speech and gesture: Motion events in English and Turkish.Developmental Psychology,44(4),1040?1054.

Perniss,P.,&?zyürek,A.(2008).Representations of action,motion,and location in sign space: A comparison of German (DGS) and Turkish (T?D) Sign Language narratives.Signs of the Time: Selected Papers from TISLR,8,353–378.

Perniss,P.,?zyürek,A.,&Morgan,G.(2015).The influence of the visual modality on language structure and conventionalization: Insights from sign language and gesture.Topics in Cognitive Science,7,2–11.

Pickering,M.J.,McLean,J.F.,&Krayeva,M.(2015).Nonconscious priming of communication.Journal of Experimental Social Psychology,58,77?81.

Pine,K.J.,Bird,H.,&Kirk,E.(2007).The effects of prohibiting gestures on children's lexical retrieval ability.Developmental Science,10(6),747?754.

Ping,R.M.,&Goldin-Meadow,S.(2008).Hands in the air:Using ungrounded iconic gestures to teach children conservation of quantity.Developmental Psychology,44(5),1277?1287.

Ping,R.,&Goldin-Meadow,S.(2010).Gesturing saves cognitive resources when talking about nonpresent objects.Cognitive Science,34(4),602–619.

Ping,R.M.,Goldin-Meadow,S.,&Beilock,S.L.(2014).Understanding gesture: Is the listener’s motor system involved?.Journal of Experimental Psychology: General,143(1),195?204.

Post,L.S.,van Gog,T.,Paas,F.,&Zwaan,R.A.(2013).Effects of simultaneously observing and making gestures while studying grammar animations on cognitive load and learning.Computers in Human Behavior,29(4),1450?1455.

Quinto-Pozos,D.,&Parrill,F.(2015).Signers and co-speech gesturers adopt similar strategies for portraying viewpoint in narratives.Topics in Cognitive Science,7(1),12–35.

Rauscher,F.H.,Krauss,R.M.,&Chen,Y.(1996).Gesture,speech,and lexical access: The role of lexical movements in speech production.Psychological Science,7(4),226?231.

Schuil,K.D.I.,Smits,M.,&Zwaan,R.A.(2013).Sentential context modulates the involvement of the motor cortex in action language processing: An fMRI study.Frontiers in Human Neuroscience,7(1),100.

Singer,M.A.,&Goldin-Meadow,S.(2005).Children learn when their teacher's gestures and speech differ.Psychological Science,16(2),85?89.

Stieff,M.,&Raje,S.(2010).Expert algorithmic and imagistic problem solving strategies in advanced chemistry.Spatial Cognition &Computation,10(1),53?81.

Trofatter,C.,Kontra,C.,Beilock,S.,&Goldin-Meadow,S.(2015).Gesturing has a larger impact on problem-solving than action,even when action is accompanied by words.Language,Cognition and Neuroscience,30(3),251?260.

Turing,A.M.(1950).Computing machinery and intelligence.Mind,59(236),433?460.

Valenzeno,L.,Alibali,M.W.,&Klatzky,R.(2003).Teachers’ gestures facilitate students’ learning: A lesson in symmetry.Contemporary Educational Psychology,28(2),187?204.

Wakefield,E.M.,&James,K.H.(2015).Effects of learning with gesture on children's understanding of a new language concept.Developmental Psychology,51(8),1105?1114.

Yu,C.,Schermerhorn,P.,&Scheutz,M.(2012).Adaptive eye gaze patterns in interactions with human and artificial agents.ACM Transactions on Interactive Intelligent Systems,1(2),Article No.13.