〔摘要〕現(xiàn)場即席話語出現(xiàn)于人類文字發(fā)明以前，存在于鮮活整人的親歷過程中，具有多模態(tài)性質(zhì)，與人類當(dāng)下認(rèn)知密切相關(guān)。對它的研究應(yīng)以多模態(tài)感官為基點、以人類當(dāng)下認(rèn)知為理論框架、以多模態(tài)充盈親歷及多模態(tài)充盈信息為切入點、以貼真建模為基本思路，盡量貼近人類在現(xiàn)場即席會話中進(jìn)行多模態(tài)互動的充盈親歷過程。在這樣的研究思路下，多模態(tài)語料庫語言學(xué)方法成為現(xiàn)場即席話語研究的具體操作手段。多模態(tài)現(xiàn)場即席話語語料庫帶來的研究選題包括：站在普通行為理論高度開展的語言研究、傳統(tǒng)語用課題的重新考察、特殊人群的語言研究、瀕危語言或方言保護(hù)及多模態(tài)修辭現(xiàn)象研究等?，F(xiàn)場即席話語研究及對應(yīng)的多模態(tài)研究方法，連接著認(rèn)知科學(xué)和人類語言能力發(fā)展的理論內(nèi)涵，拓展了語言研究的視野，具有深刻的理論意義和廣闊的應(yīng)用價值，是未來語言研究的新興領(lǐng)域之一。

〔關(guān)鍵詞〕現(xiàn)場即席話語；多模態(tài)；語料庫；親歷；當(dāng)下認(rèn)知

〔中圖分類號〕H0〔文獻(xiàn)標(biāo)識碼〕A〔文章編號〕1008-2689（2016）05-0029-08

引 言

在目前的語言學(xué)研究中，如何考察由一個個言真意切、聲情并茂、體貌豐富的語言使用者產(chǎn)生的話語成為一個重要課題。本文從分析現(xiàn)場即席話語的本質(zhì)及其多模態(tài)特征入手，介紹多模態(tài)語言研究的概念及其背后認(rèn)知內(nèi)涵，指出現(xiàn)場即席話語是多模態(tài)語言研究的一個新興熱點，并對可以基于多模態(tài)語料庫開展的各類課題進(jìn)行展望。

一、 什么是現(xiàn)場即席話語？

現(xiàn)場即席話語（Situated Discourse）是指某語言的某（些）使用者在某時某刻某地說出來（或?qū)懴聛恚┑脑捳Z[1]?！罢f出來”的話語是最古老的語言形式，它在人類各種文字發(fā)明之前就業(yè)已存在。因此，現(xiàn)場即席話語是人類語言發(fā)展的起點，是人類言語活動的根本形式，對它的研究具有重要意義①。有些民族的語言只有口語，沒有文字②；兒童沒有學(xué)習(xí)文字之前的母語習(xí)得也正是從這里開始；文盲因沒有受過書面教育，因此其大部分語言活動都屬于說出來的現(xiàn)場即席話語。

需要注意的是，現(xiàn)場即席話語不同于我們?nèi)粘ＫQ的“口語”?？谡Z的范疇更廣，從說話人角度而言，口語可以是單人的自言自語，而現(xiàn)場即席會話通常是兩人或兩人以上的說話人參與；從說話內(nèi)容是否經(jīng)過說話人事先準(zhǔn)備的角度來說，如果說話人事先經(jīng)過準(zhǔn)備（或書面或口頭），如書面講話或話劇、小品及相聲表演等，這些話語就不屬于現(xiàn)場即席話語，但卻在口語范疇中。從這個意義上說，語言學(xué)傳統(tǒng)意義上的口語研究與本文所說的“現(xiàn)場即席話語研究”并非完全等同。顧曰國[2]（490）曾對現(xiàn)場即席話語的本質(zhì)特征做過概括：

1） 根植于某一時空間；

2） 是動態(tài)、按時空間展開的一個人際間的互動過程；

3） 屬于談話人；

4） 是現(xiàn)場社會活動的一部分；

5） 受談話人當(dāng)時的動機(jī)和目的的驅(qū)使；

6） 受談話人當(dāng)時的大腦認(rèn)知狀態(tài)、情感等心理因素的支配和制約；

7） 生成一個人際間主觀世界。

科學(xué)研究需要直面和關(guān)注客觀現(xiàn)象和事實，語言學(xué)也必須研究上述自然話語。相應(yīng)地，研究者所設(shè)計的研究模型或框架均要面向或符合這樣的語言事實。

從學(xué)科發(fā)展史上看，在Chomsky、Saussure、Hymes、Halliday、Bloomfield、Austin、Searl等諸家理論以及話語分析（Discourse Analysis）、會話分析（Conversation Analysis）等語言學(xué)研究范式中，現(xiàn)場即席話語具有不同的研究地位和處理方式[1]。

隨著互動語言學(xué)（Interactional Linguistics）的興起，日常言語活動日益受到關(guān)注，學(xué)者們以此為語料，對語言結(jié)構(gòu)、話輪順序、韻律特征、句法語義功能等課題進(jìn)行了研究[3]（96-97）?；诱Z言學(xué)在方法學(xué)上受到會話分析的重要影響，后者最早由社會學(xué)家承擔(dān)，代表人物包括Sacks、Schegloff、Heritage等。起初的會話分析研究主要描述日常社會活動結(jié)構(gòu)[4]；之后則將范圍拓展至機(jī)構(gòu)語境（institutional contexts）中的社會交互[5]（59），目前會話分析還將研究視野拓展至言語行為[6]（4）。會話分析研究者關(guān)注了許多以往語言學(xué)者不感興趣的現(xiàn)象，如話輪、話輪轉(zhuǎn)換規(guī)則、話輪轉(zhuǎn)接點、即席修正、應(yīng)急填語、打斷、停頓、插話等。當(dāng)然，他們的研究目的并非揭示語言規(guī)律，而是要解釋會話背后的社會現(xiàn)象，如以Garfinkel等為代表的“常人方法學(xué)派”（Ethnomethodology）對日?！吧鐣印保╯ocial interaction）進(jìn)行了深入探索（參考Garfinkel[7]、Sacks[8]及Schegloff[9][10]等）。

無論是社會學(xué)研究的“常人方法學(xué)派”、會話分析，還是后來的互動語言學(xué)，從方法論上說，它們都關(guān)注人們在日常實踐中產(chǎn)生的真實信息，在此基礎(chǔ)上分析各類社會學(xué)、語言學(xué)問題。

以互動語言學(xué)的觀點來看，人們互動交際中的話語是根植于一定時空間的[3]（97-98），因此研究者對語言現(xiàn)象的研究不應(yīng)當(dāng)是孤立的，而是要聯(lián)系起前后語境及說話人表現(xiàn)行為，采集數(shù)據(jù)時要用視頻或音頻錄制日常活動中真實的、鮮活的話語。

二、 什么是面向現(xiàn)場即席話語的多模態(tài)研究？

（一） 多模態(tài)及相關(guān)研究的內(nèi)涵

與現(xiàn)場即席話語緊密相關(guān)的一個概念便是“多模態(tài)”?！岸嗄B(tài)”一詞已成為橫跨自然科學(xué)、工程領(lǐng)域及人文社會科學(xué)研究的熱門詞，涉及語言學(xué)、認(rèn)知科學(xué)、哲學(xué)、腦科學(xué)、臨床醫(yī)學(xué)、計算機(jī)科學(xué)等領(lǐng)域[11]448。在不同領(lǐng)域，“多模態(tài)”具有各不相同的含義，且研究范式也各異。對此，筆者將另外撰文討論，此處僅以簡述。語言研究及相關(guān)領(lǐng)域中“多模態(tài)”的概念可以歸結(jié)為三個：一是沿用腦科學(xué)或生理學(xué)對“模態(tài)”的定義，將其視為感官及其相應(yīng)的神經(jīng)系統(tǒng)，多模態(tài)是人類通過感官跟外部環(huán)境之間的一種互動方式[11]；二是從符號學(xué)出發(fā)，將“模態(tài)”視為在社會文化中形成的創(chuàng)造意義的符號資源，多模態(tài)話語是由多種表意符號資源形成的。在該范式中，張德祿[12]等學(xué)者對各模態(tài)資源之間的協(xié)同關(guān)系進(jìn)行了分析框架的構(gòu)建，并運(yùn)用于外語教學(xué)，頗具啟發(fā)性；三是將“模態(tài)”定義為人機(jī)交互中的信息呈現(xiàn)方式，多模態(tài)人機(jī)交互就是人們使用多種感官模態(tài)，通過多種物理媒介，與計算機(jī)等進(jìn)行信息交互[13]。語言研究及相關(guān)領(lǐng)域的多模態(tài)研究范式大致包括：符號學(xué)屬性的“多模態(tài)”研究范式、多模態(tài)語料庫語言學(xué)范式以及神經(jīng)語言學(xué)、人機(jī)交互及學(xué)習(xí)研究中的多模態(tài)范式。

雖然各類研究對“模態(tài)”的定義不同，研究范式各異，但總的研究目標(biāo)可以歸結(jié)為：探究人類與外界的多模態(tài)交互現(xiàn)象，利用多模態(tài)交互規(guī)律進(jìn)行技術(shù)開發(fā)、服務(wù)人類發(fā)展。

本文所指的“多模態(tài)”發(fā)展于腦神經(jīng)科學(xué)?，F(xiàn)代腦科學(xué)研究喜用“模態(tài)”（modality）一詞通指感官及其相應(yīng)神經(jīng)系統(tǒng)[14]（135）。從該視角出發(fā)，“模態(tài)”被定義為人類通過感官系統(tǒng)（如視覺、聽覺、觸覺等）跟外部環(huán)境（如人、機(jī)器、物件、動物等）之間的互動方式。感知模態(tài)（perception modality）和產(chǎn)出模態(tài)（production modality）同時作用才能順利實現(xiàn)完整的言語交際[15]（351）。例如，說話人通過發(fā)聲模態(tài)說出話語（包括韻律特征等），聽話人則通過聽覺模態(tài)接受這些信息；如果加上體貌表現(xiàn)（包括表情、手勢或身姿等），則又涉及視覺、觸覺、體感等多種模態(tài)。從整體上說，身心健康的人在正常情況下與外部世界（包括人際之間）的互動是多模態(tài)的（至少是雙模態(tài)），面對面的現(xiàn)場即席會話更是如此。例如，中醫(yī)采用“望聞問切”的方法對病人進(jìn)行診療，就涉及視覺、聽覺、味覺、發(fā)聲和觸覺等多種模態(tài)。

現(xiàn)場即席會話是一種多模態(tài)互動，就是一個人們調(diào)用多模態(tài)感官系統(tǒng)對外界進(jìn)行意義構(gòu)建與識解的行為過程。這一點能夠找到神經(jīng)學(xué)證據(jù)。研究者運(yùn)用fMRI（功能性核磁共振成像）、ERP（事件相關(guān)電位）、PET（正電子發(fā)射計算機(jī)斷層掃描）、EEG（腦電圖）等技術(shù)已經(jīng)證明：話語活動中的不同信息處理是由不同大腦功能區(qū)負(fù)責(zé)，例如：句子及其以上層面的情感韻律加工呈右側(cè)化[16]，主要定位于額下回、顳上回以及頂枕區(qū)；也有腦成像研究顯示進(jìn)行語音、韻律加工時大腦左右半球均會激活：右半球在情感韻律識解中占主導(dǎo)，負(fù)責(zé)言語交際中情感線索的產(chǎn)出與識解[17]（225）[18]（213），而左半球則主要負(fù)責(zé)語音加工（也有學(xué)者對此區(qū)分抱有懷疑態(tài)度[19]）；身體動作涉及的運(yùn)動區(qū)位于大腦前半部[18]（211）；大腦左半球前區(qū)負(fù)責(zé)積極情感及積極介入或向前靠近的行為，右半球前區(qū)則與消極情感及避讓行為相關(guān)。這些運(yùn)用現(xiàn)代腦成像技術(shù)開展的研究告訴我們：說話人進(jìn)行現(xiàn)場即席會話時，多個大腦區(qū)域及相應(yīng)的信息處理系統(tǒng)同時工作，大腦處理區(qū)域互相補(bǔ)償、支持和勾連，從而使人們與外界互動時進(jìn)行多模態(tài)處理。諸多現(xiàn)代神經(jīng)醫(yī)學(xué)和胚胎學(xué)的研究成果使得不少學(xué)者開始以“多模態(tài)感官為基點”構(gòu)建語言學(xué)理論，即在構(gòu)建語言學(xué)理論時默認(rèn)一個前提：語言的發(fā)生與發(fā)展需要多模態(tài)感官系統(tǒng)的支撐[11]（456）（但同時，人類的語言具有“無模態(tài)性”（amodal），見下文介紹及顧曰國[20]的論述）。

需要指出的是，在與外界的互動中，由于人腦在處理由多符號系統(tǒng)構(gòu)成的文本時，需要調(diào)用多模態(tài)感官系統(tǒng)多模態(tài)感官系統(tǒng)至少包括：皮膚、視覺、聽覺、觸覺、味覺、本體感受器等[20]。，從而使得多模態(tài)話語分析與多模態(tài)感官系統(tǒng)產(chǎn)生重要的內(nèi)在聯(lián)系[11]（449）。

（二） 現(xiàn)場即席話語與當(dāng)下親歷、當(dāng)下認(rèn)知及多模態(tài)數(shù)據(jù)要區(qū)分“信息”與“數(shù)據(jù)”：信息是客觀存在的、充盈的，研究者一次不可能處理所有信息；從若干角度提取一定量信息成為研究分析的對象，此時便成為研究數(shù)據(jù)。

我們再從過程視角分析現(xiàn)場即席話語的多模態(tài)性質(zhì)?，F(xiàn)場即席會話的主體是一個個言真意切、聲情并茂、體貌豐富的鮮活的、完整的人。顧曰國[21]將其稱為“鮮活整人”（the whole person）這種思想可追溯至Firth[22]（19）。他提出，應(yīng)當(dāng)停止心靈與身體（mind and body）、思想與話語（thought and word）的二元對立，要把會話人視為與他人相聯(lián)系、思維與行動形成整體的一個整人（the whole man）。語言學(xué)研究應(yīng)當(dāng)基于整人的生活形態(tài)（pattern of living）開展。顧曰國[21]從言思情貌四個視角對“鮮活整人”進(jìn)行建模，也是基于上述思想的。。這些“鮮活整人”在現(xiàn)場即席會話中是一個個親歷者（the experiencer），他們的親歷（experiencing）與其當(dāng)下認(rèn)知（situated cognition）顧曰國[20]認(rèn)為，嚴(yán)格來說，英語situated應(yīng)當(dāng)由“實景”、“當(dāng)下”兩個漢語詞匯合起來才能較為完整地傳達(dá)其意義。另外，顧曰國[21]（18）也將situated discourse稱為“鮮活話語”，本文仍沿用最初的叫法“現(xiàn)場即席話語”。密切相關(guān)。所謂當(dāng)下認(rèn)知，是指認(rèn)知主體在某個具體的、真實的、特定的時空間里通過多模態(tài)感官系統(tǒng)與外部進(jìn)行互動的認(rèn)知活動[20]。從這個角度看，語言隨著說話人發(fā)聲而產(chǎn)生，又隨著說話人結(jié)束說話而消失。在文化口耳相傳的民族、沒有學(xué)習(xí)文字的幼兒或文盲的言語交際中，語言就存在于他們的鮮活親歷過程中，這種親歷最常見的形式就是現(xiàn)場即席會話。不難理解，“鮮活整人”在現(xiàn)場即席會話中的語言親歷是一種多模態(tài)充盈親歷（total saturated experience），多個感官同時參與言語交際過程，在此基礎(chǔ)上形成多模態(tài)充盈意義（total saturated signification）[23]（435-437）。顧曰國[20]將此稱為“多模態(tài)充盈原則”（Principle of Multimodality and Saturatedness）。從日常行為角度來看，現(xiàn)場即席話語是先于書寫等任何其它媒介而最基本的意義表現(xiàn)形式，是人們在充盈的行為與概念環(huán)境中產(chǎn)生的[24]（91-92）。

我們可將當(dāng)下認(rèn)知視為給說話人的鮮活親歷不斷填充信息的過程：親歷者就好比一個大數(shù)據(jù)存放與集成庫，親歷過程就是在不斷往該數(shù)據(jù)庫填寫數(shù)據(jù)，親歷者主觀掌握的數(shù)據(jù)成為體驗。由此，顧曰國[20][25]提出了研究語言親歷的“3E模型”（Experiencer， Experiencing， Experiences）。

當(dāng)然，人類能夠超越當(dāng)下時空間的束縛。人類通過多模態(tài)感官處理信息，產(chǎn)生多模態(tài)記憶，這種記憶不需要通過語言符號，而是通過“印記”（image）[26]（9）來存儲。之后，人類又可以通過語言進(jìn)行再次編碼，將體驗說出來，而這種說出來的語言則具有“無模態(tài)”（amodal）的特征，即“說語言不依附于任何一個感官系統(tǒng)”，正是語言的“無模態(tài)性”才使得語言可以用來表達(dá)任何一種模態(tài)的數(shù)據(jù)。從人類的多模態(tài)感官，到多模態(tài)記憶及編碼系統(tǒng)，再到現(xiàn)場即席話語的多模態(tài)充盈意義，最后到語言的無模態(tài)性，是對人類語言、認(rèn)知及交際之間關(guān)系的新認(rèn)識。該結(jié)論與喬姆斯基觀點一致，有興趣的讀者可參考顧曰國[20]的論述。

語言親歷（experiencing）在不同的語言學(xué)理論中有著不同的位置。例如，Saussure結(jié)構(gòu)主義語言學(xué)將親歷過濾掉，因為他明確指出抽象后的語言才是語言學(xué)需要關(guān)注的對象，被稱為言語（parole）的會話人親歷話語并非研究對象；Halliday等系統(tǒng)功能語言學(xué)家則認(rèn)為語言編碼了語言親歷；Lakoff-Johnson的認(rèn)知學(xué)派則認(rèn)為語言親歷是“身構(gòu)”（embodiment）和“隱喻化”（metaphorization）；Chomsky的形式主義語言學(xué)認(rèn)為語言親歷在兒童語言發(fā)展過程中起激發(fā)作用（triggering）。

研究現(xiàn)場即席話語，就要盡可能地記錄下說話人的多模態(tài)充盈信息。目前，可通過現(xiàn)代影像技術(shù)將現(xiàn)場即席話語轉(zhuǎn)為計算機(jī)可處理的音視頻流，形成供研究使用的“多模態(tài)語料”。但嚴(yán)格來講，這種記錄永遠(yuǎn)不具有數(shù)據(jù)本來的充盈性和豐富性。一旦現(xiàn)場即席話語被會話人“親歷”過后，它們便殘存在會話人的記憶中，影像記錄、音頻記錄和文字記錄只是不同的記錄手段，這些記錄數(shù)據(jù)均已失去了當(dāng)時的意義充盈態(tài)。通過影像手段記錄的“多模態(tài)語料”是“鮮活整人”（即親歷者the experiencer）已經(jīng)“親歷”過的“現(xiàn)場即席話語”，是一種體驗（experiences）。因此，通過現(xiàn)代影像手段記錄形成的多模態(tài)語料并不完全等同于鮮活整人的“現(xiàn)場即席話語”。

總之，研究現(xiàn)場即席話語要以多模態(tài)感官為基點、以人類當(dāng)下認(rèn)知為理論框架、以多模態(tài)充盈親歷及多模態(tài)充盈信息為切入點，盡量貼近人類在現(xiàn)場即席話語中進(jìn)行多模態(tài)互動的充盈親歷過程，采集多模態(tài)數(shù)據(jù)，進(jìn)行綜合性、混合式分析。當(dāng)然，多模態(tài)數(shù)據(jù)的范圍很廣，除了音視頻數(shù)據(jù)，還可從多個維度對說話人言語交際時的各種類型數(shù)據(jù)進(jìn)行采集，如利用眼動儀、高速數(shù)字成像系統(tǒng)、肌電圖、fMRI、ERP、EEG等多種技術(shù)采集說話人產(chǎn)生現(xiàn)場即席話語時的實時聲學(xué)、生理數(shù)據(jù)，形成大數(shù)據(jù)集合，從包括眼動、舌位、聲帶、聲道、氣息、情感、激活腦區(qū)等多方面入手研究。從大數(shù)據(jù)的角度而言，只要符合研究目的、技術(shù)條件允許，這些信息都可成為語言研究的數(shù)據(jù)來源。

三、 如何開展相關(guān)研究？

（一） 貼真建模：現(xiàn)場即席話語研究的基本思路

貼真建模是多模態(tài)語料庫語言學(xué)采用的研究方法。顧曰國[21]（4）、黃立鶴[27]（49-50）[28]（2）對其基本內(nèi)涵及在語言學(xué)研究中的應(yīng)用進(jìn)行了闡述。

現(xiàn)場即席話語是十分復(fù)雜的研究對象。研究者無法完全客觀、完整地對現(xiàn)場即席話語中的多模態(tài)充盈意義進(jìn)行復(fù)現(xiàn)，很難在一個研究中對現(xiàn)場即席話語的全部信息進(jìn)行考察。一般而言，每次研究只能選擇若干視角對某些方面進(jìn)行研究。貼真建模為研究者提供了重要的參考思路。

顧曰國[21]（6）借用“化整為零”這一成語解釋對“鮮活整人”的貼真建模過程：“整”即“鮮活整人”，“零”是指建模的各個角度。單個角度看到的整人就是該人的某個方面，即“化整為零”；將各個角度集合起來，又得到了一個整人，即“合零為整”，該過程在建模上叫做數(shù)據(jù)集成[23]。當(dāng)然，在實際觀察和研究中，受到技術(shù)、方法甚至必要性的限制，研究者不可能完全還原現(xiàn)場即席話語原本的所有充盈數(shù)據(jù)。同樣地，在面向現(xiàn)場即席話語的多模態(tài)研究中，“鮮活整人”產(chǎn)生的“現(xiàn)場即席話語”就是研究者建模的對象，研究者從多個視角對研究對象進(jìn)行建模，見下圖：

在對現(xiàn)場即席話語進(jìn)行多視角建模后，需要進(jìn)行各種數(shù)據(jù)的提取。目前最為常見的操作方法就是進(jìn)行視頻和音頻的錄制，構(gòu)建多模態(tài)語料庫。

（二） 多模態(tài)語料庫：現(xiàn)場即席話語研究的操作手段

隨著現(xiàn)代計算機(jī)多媒體技術(shù)、存儲技術(shù)的發(fā)展，以及人們對言語活動本質(zhì)認(rèn)識的提升，原來單模態(tài)語料庫逐步向多模態(tài)語料庫發(fā)展。多模態(tài)語料庫是指音頻、視頻和文字語料等多種信息集成，研究者可以通過多模態(tài)方式加工、檢索和統(tǒng)計進(jìn)行相關(guān)研究的語料庫[21]（3）[29]（V-VI），堪稱“語料庫40”[28]。其中，“多模態(tài)”是指調(diào)用多模態(tài)進(jìn)行語料處理（如視覺、聽覺等），以及檢索方式的多模態(tài)（如觸覺、視覺、聽覺等）[21]（3）。多模態(tài)語料庫的構(gòu)建通常面向現(xiàn)場即席話語，它既是后續(xù)研究的基礎(chǔ)，自身建設(shè)也反映著對現(xiàn)場即席話語本質(zhì)的認(rèn)識。

顧曰國（Gu）的系列研究[23][30][31][32]從現(xiàn)場即席話語的本質(zhì)出發(fā)，構(gòu)建了一個解決多模態(tài)文本（視頻流數(shù)據(jù)）處理、建庫、文本內(nèi)容分析及相關(guān)數(shù)據(jù)建模的理論框架。該框架具有橫跨語料庫語言學(xué)、語用學(xué)和話語分析等語言學(xué)分支的交叉性，為采集、加工、標(biāo)注和分析現(xiàn)場即席話語語料，進(jìn)行多模態(tài)語料庫建設(shè)提供了重要的理論指導(dǎo)。

語料庫語言學(xué)具有一整套研究思路和方法，包括：建立語料庫、語料轉(zhuǎn)寫、語料標(biāo)注、語料加工軟件以及在此基礎(chǔ)上的語言研究。多模態(tài)語料庫的建設(shè)既有語料采集、加工、標(biāo)注和建庫等一系列語料庫建設(shè)的共性問題，也有基于多模態(tài)語料特點而產(chǎn)生的分層、定義、切分、標(biāo)注和檢索的特有問題，具體可參考筆者對多模態(tài)語料庫建設(shè)理論和實踐問題的相關(guān)介紹[28]。

面向現(xiàn)場即席話語的多模態(tài)語料庫建設(shè)，需要采用各種技術(shù)對現(xiàn)場實際發(fā)生的原始信息進(jìn)行記錄。過去因為技術(shù)手段的限制，對多模態(tài)信息的采集和標(biāo)注均有困難。隨著現(xiàn)代影像技術(shù)的發(fā)展，一般的研究可以使用數(shù)碼攝像機(jī)和錄音筆，客觀、連續(xù)地記錄包括聲音、動作、場景和空間關(guān)系等一系列信息[28]，是目前多模態(tài)語料采集所能夠使用的較為理想的工具。但需要強(qiáng)調(diào)的是，到目前為止，沒有任何一種技術(shù)能夠?qū)崿F(xiàn)多模態(tài)充盈信息的完全復(fù)現(xiàn)，攝像機(jī)采錄的多模態(tài)語料仍然丟失了諸多原始信息[23]（439-440）。

在語料采集之后，研究者要使用文字（單模態(tài)）對現(xiàn)場即席話語進(jìn)行轉(zhuǎn)寫。當(dāng)然，轉(zhuǎn)寫過程丟失了原本由多模態(tài)語料承載的信息，如身體動作、臉部表情等研究數(shù)據(jù)。轉(zhuǎn)寫信息的多寡可以根據(jù)項目性質(zhì)和研究需要決定。

這樣，就構(gòu)成了最原始的現(xiàn)場即席話語“資源庫”。接下來，要對其中的語料進(jìn)行加工，在資源庫的基礎(chǔ)上將其建設(shè)成“語料庫”。多模態(tài)語料庫的加工就是根據(jù)研究目的所構(gòu)建的研究模型或分析框架，對其中的部分信息進(jìn)行切分、標(biāo)注。首先是研究者根據(jù)研究需要對多模態(tài)內(nèi)容的多層信息進(jìn)行定義、確定切分標(biāo)準(zhǔn)和方法；隨后使用多模態(tài)語料處理軟件（如Elan，Anvil等）對其中的信息進(jìn)行標(biāo)注，并根據(jù)研究需要按照一定單位對標(biāo)注加工后的語料進(jìn)行儲存，從而形成一定規(guī)模的多模態(tài)語料庫。

目前，對多模態(tài)語料加工技術(shù)的相關(guān)研發(fā)逐漸豐碩，并在理論依據(jù)、語料采集、加工標(biāo)注以及分析框架上有了系列研究。國外多模態(tài)語言研究的標(biāo)注工具開發(fā)日益成熟和多樣，國內(nèi)也有學(xué)者在建設(shè)漢語現(xiàn)場即席多模態(tài)語料庫的基礎(chǔ)上，研究開發(fā)新的多模態(tài)數(shù)據(jù)標(biāo)注、切分軟件以及數(shù)據(jù)集成工具，這無疑對我國學(xué)者站在國際多模態(tài)語言研究前沿具有重要意義。

四、 多模態(tài)現(xiàn)場即席話語語料庫可帶來哪些選題？

對新的研究材料或數(shù)據(jù)的關(guān)注往往會促使研究視角的轉(zhuǎn)換、研究領(lǐng)域的拓展及研究方法的革新，最終帶來新的研究發(fā)現(xiàn)。如果我們將現(xiàn)場即席話語作為研究的出發(fā)點和關(guān)注點，將相應(yīng)的多模態(tài)語料庫方法作為主要研究手段，就能帶來一些新的選題方向：

一是認(rèn)識到現(xiàn)場即席話語是與人們?nèi)粘Ｐ袨榫o密結(jié)合在一起的，站在普通行為理論高度開展相關(guān)語言研究。Gu[33][34]借鑒了時間地理學(xué)的研究方法（參考Hagerstrand[35]、Thrift[36]），以及人文地理學(xué)關(guān)于時空間、特別是社會時空間的理論，解決了現(xiàn)場即席話語跟物理時空間和社會時空間之間的扎根問題等，探討個人動態(tài)的日常行為與其話語之間的關(guān)系，構(gòu)建了工作現(xiàn)場話語地理關(guān)系（workplace discourse geography），并設(shè)計了相應(yīng)的分析方法。這樣，時間地理學(xué)就為考察現(xiàn)場即席話語提供了一種分析途徑。另外，還可聯(lián)系知識本體基礎(chǔ)理論及相關(guān)技術(shù)，站在人類普通行為的高度對現(xiàn)場即席話語中的言語行為進(jìn)行建庫、研究，這對人工智能等領(lǐng)域具有較強(qiáng)的工程意義[37]。

二是利用多模態(tài)現(xiàn)場即席話語語料，重新考察傳統(tǒng)語用學(xué)領(lǐng)域的經(jīng)典課題。經(jīng)典語用學(xué)承襲西方哲學(xué)和邏輯學(xué)等傳統(tǒng)，是基于單模態(tài)（文字載體的視覺感官或音頻載體的聽覺感官）的信息交流分析上發(fā)展而來的語言使用規(guī)律考察。但是，忽略其他模態(tài)所蘊(yùn)含和傳遞的意義而構(gòu)建的語用學(xué)理論及原則是不充分的，因而只有在分析全方位充盈體驗（Total Saturated Experience）式的言語交際過程基礎(chǔ)上才能歸納出真正符合實際的語用規(guī)律和原則。另外，言語交際發(fā)生的不同空間、時間和方式均會影響到經(jīng)典語用學(xué)原理的適用性。通過多模態(tài)語言研究方法，聯(lián)手會話分析等學(xué)科分支，使語言使用研究回歸至“以言行事”的、與社會活動交織的言語交際情境中加以探究，可以重新考察包括禮貌原則、合作原則、指示、言語行為等若干經(jīng)典語用學(xué)課題，對它們進(jìn)行驗證、修補(bǔ)和發(fā)展。

三是利用多模態(tài)現(xiàn)場即席話語語料庫開展對特殊人群的語言研究，包括文盲話語、老年人（含阿爾茲海默癥老年癡呆患者）語言衰老、嬰幼兒語言發(fā)展等。例如，文盲大腦中沒有文字表征，他們的語言活動僅限于現(xiàn)場即席會話。對文盲話語的研究有助于理解人類最初的語用交際本質(zhì)，進(jìn)一步理解文盲在語言信息加工過程中的各種問題[38]；老年人語言衰老表現(xiàn)在現(xiàn)場即席會話中呈現(xiàn)各種語言特點及語用特征，多模態(tài)語料能為研究者提供單模態(tài)語料（如音頻）所不能及的信息[39]；另外，嬰幼兒當(dāng)下親歷與認(rèn)知、多模態(tài)意義模塊中的模態(tài)協(xié)同及演化等也是人類語言發(fā)展研究中的重要問題。

四是通過多模態(tài)現(xiàn)場即席話語語料庫建設(shè)開展瀕危語言或方言保護(hù)。多模態(tài)語料庫除能記錄瀕危語言或方言的語音特征外，還能有效捕捉說話人在現(xiàn)場交際中的多種信息，如該語言或方言所承載的各種文化風(fēng)俗、交際習(xí)慣等，從整體上相對完整地記錄社會文化實踐中的語言活動[40]（262-263），對瀕危語言研究和方言傳承保護(hù)具有重要意義[40][41][42]。境內(nèi)外已有不少研究機(jī)構(gòu)都建立了瀕危語言或方言的多模態(tài)數(shù)字檔案庫。

五是基于多模態(tài)語料庫對多模態(tài)修辭（Multimodal Rhetoric）現(xiàn)象進(jìn)行研究。從人類行為的多模態(tài)交際本質(zhì)來看，鮮活整人在交際中形成了鮮活修辭行為。研究者可以基于多模態(tài)數(shù)據(jù)考察鮮活的、完整的人如何在各個時空間、通過各種載體、調(diào)用多種模態(tài)手段，為提升交際有效性而進(jìn)行的修辭行為。當(dāng)然，多模態(tài)修辭不僅限于現(xiàn)場即席話語，在非現(xiàn)場即席話語中也有多模態(tài)修辭行為，如多模態(tài)隱喻就可以出現(xiàn)在非現(xiàn)場即席話語中[43]。通過多模態(tài)語料庫，還可對不同語言之間的修辭現(xiàn)象進(jìn)行對比分析、規(guī)律總結(jié)。

多模態(tài)語料庫在一定程度上還能為人文社會科學(xué)研究范式的創(chuàng)新做出貢獻(xiàn)。目前，已有一些人文社會學(xué)者利用大規(guī)模文字（單模態(tài)）語料庫進(jìn)行歷史文化、社會政治等相關(guān)課題的研究，國外還出現(xiàn)了digital humanities及esocial science的研究領(lǐng)域。在多模態(tài)語料內(nèi)容的建模方法和檢索技術(shù)有效建立后如何為多模態(tài)語料進(jìn)行建模并設(shè)計檢索語言，以及如何處理語料規(guī)模和時間跨度等問題，是一項復(fù)雜艱巨但具有重要意義的研究。，較單模態(tài)語料庫而言，能為學(xué)者提供更多信息，有利于面向客觀事實進(jìn)行相關(guān)的人文社會研究，將定性與定量研究有效結(jié)合起來。

當(dāng)然，需要指出的是，雖然在目前階段，多模態(tài)語料庫在研究理念、數(shù)據(jù)類型等方面是相對先進(jìn)的語料庫類型，但語料庫的研發(fā)絕不會停步于此。人們對大腦及語言認(rèn)識的持續(xù)深入將帶來新的語言研究模型，并從而促使研究者不斷突破技術(shù)限制、拓展數(shù)據(jù)類型、精細(xì)建模顆粒度，開始構(gòu)建大數(shù)據(jù)、復(fù)合型的語料庫，為探究語言交際本質(zhì)及其認(rèn)知機(jī)制提供更加充分的證據(jù)。在這一方面，顧曰國[20]已做了較為詳盡的論述。

五、 結(jié) 語

現(xiàn)場即席話語研究背后聯(lián)系著人類親歷與體驗的理論問題，在認(rèn)識人類出生以后的體驗對語言能力發(fā)展的作用等方面具有重要意義，從而對喬姆斯基的語言學(xué)理論形成補(bǔ)充性研究。天賦的語言器官和后天的體驗分別在多大程度上對語言能力的發(fā)展起到作用？人類的多模態(tài)感官系統(tǒng)、編碼系統(tǒng)和記憶等如何與語言能力發(fā)展相互交織？這些理論性的問題都起始于對現(xiàn)場即席話語的深入探究（可參考顧曰國[20][44]的相關(guān)論述）。

語言學(xué)研究對現(xiàn)場即席話語和多模態(tài)研究手段的關(guān)注，與相關(guān)的科技進(jìn)步關(guān)系密切：科技進(jìn)步為人們有效觀察、深入研究過去未加注意或不能捕捉的語言現(xiàn)象提供了更多途徑，從而豐富、拓展了考察界面和研究范疇；另一方面，相關(guān)的語言研究成果必將促進(jìn)相關(guān)科技的發(fā)展，如能為人機(jī)對話、人工智能系統(tǒng)的研發(fā)做好語言學(xué)準(zhǔn)備；在研究中產(chǎn)生的思想、方法或路徑還能為其他相關(guān)人文社會領(lǐng)域的研究提供啟示?？傊?，現(xiàn)場即席話語研究及對應(yīng)的多模態(tài)研究方法，拓展了語言研究的視野，具有深刻的理論意義和廣闊的應(yīng)用價值，應(yīng)當(dāng)成為未來語言研究的新興領(lǐng)域之一。

〔參考文獻(xiàn)〕

[1]顧曰國. 使用者話語的語言學(xué)地位綜述[J]. 當(dāng)代語言學(xué)，1999， （3）： 3-14。

[2]顧曰國. 北京地區(qū)現(xiàn)場即席話語語料庫取樣與代表性問題[A]. 中國社會科學(xué)院世界經(jīng)濟(jì)研究中心編. 全球化與21世紀(jì)[C]. 北京：社會科學(xué)文獻(xiàn)出版社， 2002： 484-500.

[3]Lindstrm， J. Interactional linguistics[A]. In DHondt， S.， stman， J. & Verschueren， J. （eds.）. The Pragmatics of Interaction[C]. John Benjamins Publishing Company， 2009： 96-103.

[4]Sacks， H.， Schegloff， E. and Jefferson， G.. A simplest systematics for the organization of turntaking for conversation[J]. Language. 1974， 50 （4）： 696-735.

[5]GonzálezLloret， M. Conversation analysis and speech act performance[A]. In MartínerFlor， A. and UsóJuan， E. （eds.）. Speech Act Performance： Theoretical， Empirical and Methodological Issues[C]. Amsterdam/Philadelphia： John Benjamins Publishing Company， 2010： 57-74.

[6]Drew， P. Conversation analysis and social action[J]. 外國語， 2013， （3）： 2-19.

[7]Garfinkel， H. Studies in Ethnomethodology [M]. Englewood Cliffs， New Jersey： PrenticeHall Inc.， 1967.

[8]Sacks， H. Notes on methodology[A]. In Atkinson， J. M. and Heritage， J. （eds.）. Structures of Social Action： Studies in Conversation Analysis[C]. Cambridge： Cambridge University Press， 1984： 21-27.

[9]Schegloff， E. A. On some questions and ambiguities in conversation[A]. In Atkinson， M. J. and Heritage， J. （eds.）. Structures of Social Action： Studies in Conversation Analysis[C]. Cambridge： Cambridge University Press， 1984： 28-52.

[10]Schegloff， E. A. Sequence Organization in Interaction： A Primer in Conversation Analysis I [M]. Cambridge： Cambridge University Press， 2007.

[11]顧曰國. 多模態(tài)感官系統(tǒng)與語言研究[J]. 當(dāng)代語言學(xué)，2015， （4）： 448-469.

[12]張德祿. 多模態(tài)話語分析理論與外語教學(xué)[M]. 北京：高等教育出版社， 2015.

[13]陶建華，楊明浩，李雅，潘詩峰，穆凱輝. 多模態(tài)融合的人際對話系統(tǒng)[J]. 中國計算機(jī)學(xué)會通訊，2011， （11）： 30-39.

[14]Kolb， B. & Whishaw， I. Q. Fundamentals of Human Neuropsychology[M]. New York： Worth Publishers， 2005.

[15]McBurney， S. L. Pronominal reference in signed and spoken language： are grammatical categories modalitydependent？[A]. In Meier， R. P. et al. （eds.）. Modality and Structure in Signed and Spoken Languages[C]. 2002： 329-369.

[16]Robin， D. A.， Tranel， D. and Damasio， H. Auditory perception of temporal and spectral events in patients with focal left and right cerebral lesions[J]. Brain and Language. 1990， （39）： 539-555.

[17]Whitaker， H. A. Concise Encyclopedia of Brain and Language[Z]. Elsevier Ltd.， 2010.

[18]Ireland， K. A. & Tenenbaum， D. J. Visualizing Human Biology[M]. NJ： John Wiley & Sons， Inc. 2008.

[19]Seddoh， S. How discrete or independent are ‘a(chǎn)ffective prosody and ‘linguistic prosody？[J] Aphasiology， 2002， （16）： 683-692.

[20]顧曰國. 當(dāng)下親歷與認(rèn)知、多模態(tài)感官系統(tǒng)與大數(shù)據(jù)研究模型—以新生嬰兒親歷為例[J]. 當(dāng)代語言學(xué)， 2016， （4）（即出）.

[21]顧曰國. 論言思情貌整一原則與鮮活話語研究[J]. 當(dāng)代修辭學(xué)， 2013， （6）： 1-19.

[22]Firth， J. R. Papers in Linguistics， 1934-1951[M]. Oxford： Oxford University Press， 1957.

[23]Gu， Y. G. From reallife situated discourse to videostream datamining[J].International Journal of Corpus Linguistics， 2009， 14 （4）： 433-466.

[24]Giddens， A. Social Theory and Modern Sociology[M]. Stanford， California： Stanford University Press， 1987.

[25]顧曰國. 多模態(tài)語料庫的設(shè)計與研發(fā)系列講座[R]. 上海交通大學(xué)，2012年7月9至10日.

[26]Damasio， A. The Feeling of What Happens： Body and Emotion in the Making of Consciousness[M]. London： William Heinemann， 1999.

[27]黃立鶴. 言語行為研究的另一個界面：現(xiàn)場即席話語視角[J]. 浙江外國語學(xué)院學(xué)報，2014， （3）： 45-53.

[28]黃立鶴. 語料庫4.0：多模態(tài)語料庫建設(shè)及其應(yīng)用[J]. 解放軍外國語學(xué)院學(xué)報，2015， （3）： 1-7，48.

[29]Kipp， M.， Martin， J.， Paggio， P. and Heylen， D. （eds.）. Multimodal Corpora： From Models of Natural Interaction to Systems and Applications[C]. SpringerVerlag Berlin Heidelberg， 2009.

[30]Gu， Y. G. Towards a model of situated discourse[A]. In Turner， K. （ed.）. The Semantics and Pragmatics Interface[C]. Elsevier Science Publisher， 1999： 149-178.

[31]Gu， Y. G. Towards an understanding of workplace discourse[A]. In Candlin， C. （ed.）. Research and Practice in Professional Discourse[C]. Hong Kong： The City University of Hong Kong Press， 2002： 137-185.

[32]Gu， Y. G. Multimodal text analysis—a corpus linguistic approach to situated discourse[J]. Text and Talk， 2006， 26 （2）： 127-167.

[33]Gu， Y. G. Fourborne discourses： towards language as a multidimensional city of history[A]. In Li， W. and Cook， V. （eds.）. Contemporary Applied Linguistics Volume 2： Linguistics in the Real World[C]. London： Centinuum， 2009： 98-121.

[34]Gu， Y. G. Discourse geography[A]. In Gee， J. and Hanford， M. （eds.）. Handbook of Discourse Analysis[C]. London： Routledge， 2012： 541-557.

[35]Hagerstrand， T. Space， time and human conditions[A]. In Karlqvist， A.， Lundqvist， L. and Snickars， F. （eds.）. Dynamic allocation of urban space[C]. Farnborough： Saxon House， 1975： 3-12.

[36]Thrift， N. Concepts and Techniques in Modern Geography No. 13 [M]. Nordwich： GeoAbstracts Limited， 1977.

[37]顧曰國. OntologySupported Special Corpus of Illocution， Emotion and Prosody [R]. 第十八屆“口語語音資料庫協(xié)調(diào)暨標(biāo)準(zhǔn)化國際研討會東方分會”和“亞太口語語言研究和評價會議”（Oriental COCOSDA/CASLRE 2015）主旨報告，上海交通大學(xué)，2015年10月28至30日.

[38]黃立鶴. 文盲的語言研究：綜述、意義與后續(xù)考察[J]. 南榮學(xué)報，2014， （17）： A3-1-A3-13.

[39]黃立鶴. 近十年老年人語言衰老現(xiàn)象研究：回顧與前瞻[J]. 北京第二外國語學(xué)院學(xué)報，2015， （10）： 17-24.

[40]黃成龍，李云兵，王峰. 記錄語言學(xué)：一門新興交叉學(xué)科[J]. 語言科學(xué)，2011， （3）： 259-268.

[41]徐世璇. 論瀕危語言的文獻(xiàn)記錄[J]. 當(dāng)代語言學(xué)，2007， （1）： 44-51.

[42]張霄軍. 多模態(tài)語料庫：搶救瀕危語言的有效途徑[A]. 民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會論文集[C]. 中國云南西雙版納傣族自治州（2007年2月）， 2007： 35-41.

[43]黃立鶴. 通感、隱喻與多模態(tài)隱喻[J]. 語文與國際研究，2015， （13）： 1-13.

[44]顧曰國. 當(dāng)代語言學(xué)的波形發(fā)展主題二：語言、人腦與心智[J]. 當(dāng)代語言學(xué)， 2010， （4）： 289-311.

（責(zé)任編輯：高生文）

Abstract： Reallife situated discourse is the most fundamental form of human interaction and it is constructed in the experiencing process of the Experiencer with the help of human multimodal sensory organs. In this reallife situated discourse， the Experiencers Total Saturated Experience and Situated Cognition are closely related. For a more profound understanding on situated discourse， we suggest taking Simulative Modeling and Multimodal Corpus Linguistics as the methodology and Situated Cognition as the theoretical framework， which enables the study to approach the Total Saturated Signification in situated discourse. This paper presents an introduction to multimodal studies on situated discourse， and offers the agenda for future research， including： language and human action， revisit to classic issues in Pragmatics， linguistic phenomena in special groups of people， protection of endangered languages and multimodal rhetoric analysis， etc.. All these issues are believed to be relevant to human cognition and linguistic competence， and thus extend the scope of language study and will grow into a promising research field with good theoretical and applied significance.

Key words： situated discourse； multimodality； corpus； experiencing； situated cognition