青島科技大學(xué) 劉 靖 陳露露

1. 引言

《多模態(tài)數(shù)據(jù)的系統(tǒng)化處理：多模態(tài)話語(yǔ)分析中的研究方法》(SystematicallyWorkingwithMultimodalData:ResearchMethodsinMultimodalDiscourseAnalysis)是多模態(tài)話語(yǔ)互動(dòng)分析研究的代表人物Sigrid Norris于2019年由Wiley-Blackwell出版公司出版的最新成果。多模態(tài)互動(dòng)分析作為一種新的多模態(tài)話語(yǔ)分析方法，吸收了互動(dòng)社會(huì)語(yǔ)言學(xué)、中介話語(yǔ)理論和多模態(tài)領(lǐng)域的研究成果，在多模態(tài)話語(yǔ)研究領(lǐng)域的作用日益凸顯。Jewitt (2009：28-39)認(rèn)為多模態(tài)互動(dòng)分析、社會(huì)符號(hào)學(xué)分析、系統(tǒng)功能語(yǔ)言學(xué)的多模態(tài)話語(yǔ)分析共同組成多模態(tài)話語(yǔ)的3種主要研究方法。該書通過(guò)介紹具體的多模態(tài)數(shù)據(jù)收集和處理步驟，論述了系統(tǒng)化處理多模態(tài)數(shù)據(jù)對(duì)于多模態(tài)研究的重要意義。信息技術(shù)的發(fā)展使數(shù)據(jù)的收集和處理日益便捷，但多模態(tài)話語(yǔ)的跨學(xué)科性，增加了其研究的復(fù)雜性，因此研究在多模態(tài)話語(yǔ)分析過(guò)程中如何對(duì)數(shù)據(jù)進(jìn)行科學(xué)、系統(tǒng)的收集與處理就顯得尤為必要。

2. 內(nèi)容概述

第一章概述了整書的主要內(nèi)容及適用人群，區(qū)分了不同層次學(xué)習(xí)者適用的章節(jié)，對(duì)該書的使用方法做了說(shuō)明。該章后半部分介紹了與多模態(tài)話語(yǔ)分析相關(guān)的理論和框架體系，引用相關(guān)文獻(xiàn),闡述了多模態(tài)話語(yǔ)研究的跨學(xué)科屬性,該書的構(gòu)建框架和相關(guān)理論支撐，以及對(duì)多模態(tài)話語(yǔ)研究者的啟發(fā)意義。

第二章主要關(guān)注多模態(tài)話語(yǔ)分析中涉及的基本理論和概念，作者從多模態(tài)話語(yǔ)的哲學(xué)基礎(chǔ)出發(fā)，論述了社會(huì)行為等相關(guān)理論，以及多模態(tài)話語(yǔ)分析的經(jīng)驗(yàn)框架，著重探究了Scollon的多模態(tài)中介理論是如何為該書提供哲學(xué)和理論支撐的。作者梳理了多模態(tài)話語(yǔ)分析中兩個(gè)重要的哲學(xué)概念：感知(perception)和體驗(yàn)(embodiment)，介紹了社會(huì)行為的原則和交際的兩個(gè)次原則。此外，該章還討論了Scollon多模態(tài)中介理論溯源及形成過(guò)程，指出Scollon的思想是多模態(tài)話語(yǔ)互動(dòng)分析的理論基礎(chǔ)。

第三章詳細(xì)闡述了多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第一階段：數(shù)據(jù)收集。多模態(tài)話語(yǔ)分析的特點(diǎn)決定了影像數(shù)據(jù)收集的重要性和復(fù)雜性。該章以影像數(shù)據(jù)收集為例，介紹了小數(shù)據(jù)集、中數(shù)據(jù)集和大數(shù)據(jù)集的收集方法，整體上可分為10個(gè)步驟：確認(rèn)研究主題或話題，提出研究問(wèn)題，錄像記錄和鏡頭設(shè)置，進(jìn)行現(xiàn)場(chǎng)錄制和采訪參與者，制作數(shù)據(jù)收集表格，確定數(shù)據(jù)采集現(xiàn)場(chǎng)布局，以及整理數(shù)據(jù)并進(jìn)行時(shí)間標(biāo)注。第三章還提及了錄像記錄的局限性，包括數(shù)據(jù)收集的完整度以及Labov曾提及的觀察者悖論。要求研究者基于自己的研究目的和研究問(wèn)題，選擇最佳的數(shù)據(jù)收集方案。

第四章是多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第二階段：數(shù)據(jù)描述。該章詳細(xì)討論了在進(jìn)行數(shù)據(jù)轉(zhuǎn)寫之前對(duì)數(shù)據(jù)進(jìn)行描述的重要性，并以YouTube視頻等為例介紹了對(duì)不同類型的數(shù)據(jù)集如何進(jìn)行描寫。這個(gè)階段主要包括5個(gè)步驟：確定目標(biāo)數(shù)據(jù)集；借助分析工具(介入點(diǎn))以圖解形式確定研究者在數(shù)據(jù)集中的位置；確定具體某一個(gè)數(shù)據(jù)塊；借助分析工具(介入點(diǎn))以圖解形式確定研究者在數(shù)據(jù)塊中的位置；圍繞數(shù)據(jù)提出完善研究問(wèn)題。作者結(jié)合視頻的民族志研究詳細(xì)闡述了如何將這5個(gè)步驟應(yīng)用于不同大小的數(shù)據(jù)描寫。

第五章闡述了多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第三階段：微觀分析數(shù)據(jù)塊篩選。和Hasko曾提及的大量數(shù)據(jù)庫(kù)分析相類似，該章旨在進(jìn)一步處理所收集的數(shù)據(jù)，以一種更加系統(tǒng)化的方式為各類微觀分析區(qū)分和挑選數(shù)據(jù)，闡明其研究的適用性。多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第三階段分為4個(gè)步驟：借助中介行為的概念對(duì)研究問(wèn)題進(jìn)行剖析，確定參與者、動(dòng)作和中介工具；界定區(qū)分高層中介行為，該過(guò)程可借助表格記錄和時(shí)間標(biāo)記法；借助表格等對(duì)已界定的高層中介行為進(jìn)行分類整合，以期在進(jìn)一步研究中提高效率；具體細(xì)化介入點(diǎn)，即圍繞中心問(wèn)題為進(jìn)一步的微觀分析挑選數(shù)據(jù)塊，確定具體研究點(diǎn)。

第六章論述了多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第四階段：按多模態(tài)轉(zhuǎn)寫慣例轉(zhuǎn)寫數(shù)據(jù)。多模態(tài)轉(zhuǎn)寫慣例要求以一種更加系統(tǒng)、全面、精細(xì)的方式對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)寫，在一定程度上可以說(shuō)多模態(tài)轉(zhuǎn)寫就是分析。在人類互動(dòng)中言語(yǔ)模態(tài)并不總是起主導(dǎo)作用，每個(gè)模態(tài)的使用都有自己可觀察到的過(guò)程，例如起點(diǎn)、持續(xù)和結(jié)束，因此可以分別進(jìn)行描述(張佐成、陳瑜敏 2011： 4)。作者結(jié)合多模態(tài)實(shí)例介紹了幾種模態(tài)的轉(zhuǎn)寫過(guò)程，比如布局、空間距離、身體姿態(tài)、手勢(shì)、注視等，最后一步是整理形成揭示互動(dòng)本質(zhì)的多種模態(tài)轉(zhuǎn)寫。

第七章討論了多模態(tài)數(shù)據(jù)系統(tǒng)化處理的第五階段：分析工具的使用。該章可大致分為3個(gè)部分，首先是為微觀挑選合適的分析工具，這是關(guān)鍵的一步，分析工具關(guān)系研究角度及研究的可行性。作者介紹了7種分析工具，包括底層中介行為、高層中介行為、凝固中介行為、模態(tài)密度、模態(tài)結(jié)構(gòu)配置等。其次，作者結(jié)合實(shí)例介紹了這些分析工具的特點(diǎn)及適用范圍，研究者需要根據(jù)已轉(zhuǎn)寫的數(shù)據(jù)選擇最合適的分析工具。作者最后介紹了中級(jí)和宏觀分析所需的分析工具，補(bǔ)充了3種分析工具：行為范圍、介入點(diǎn)/實(shí)踐和語(yǔ)篇、時(shí)間輪和節(jié)奏。

第八章對(duì)全書的內(nèi)容進(jìn)行了概括和總結(jié)，闡述了該書為多模態(tài)話語(yǔ)分析領(lǐng)域的研究者提供的收集和分析多模態(tài)數(shù)據(jù)的系統(tǒng)方法，并區(qū)分了每個(gè)章節(jié)的側(cè)重點(diǎn)和適用范圍，為該書的使用者提供了建議。

3. 簡(jiǎn)評(píng)

3.1 啟示

該書圍繞多模態(tài)話語(yǔ)分析中涉及的數(shù)據(jù)處理問(wèn)題，在多模態(tài)互動(dòng)分析框架及中介行為理論的基礎(chǔ)上，借助現(xiàn)代信息技術(shù)手段，向讀者提供了一種較為系統(tǒng)、科學(xué)的多模態(tài)數(shù)據(jù)處理范式，具有較強(qiáng)的啟示意義?？v觀全書，該書有以下三大特色值得推介。

第一，較為完善的理論基礎(chǔ)和跨學(xué)科分析范式。社會(huì)互動(dòng)語(yǔ)言學(xué)、人類學(xué)、心理學(xué)以及社會(huì)學(xué)等眾多學(xué)科對(duì)多模態(tài)研究的興趣日漸增加，不同的研究方法會(huì)導(dǎo)致不同的數(shù)據(jù)、研究問(wèn)題和焦點(diǎn)(李華兵 2013： 22)，因此，多模態(tài)數(shù)據(jù)收集與轉(zhuǎn)寫的重要性日益凸顯。該書作者Norris順應(yīng)該研究趨勢(shì)，傳承發(fā)展了Scollon的介入理論，提出了多模態(tài)話語(yǔ)分析模式。Norris的基本理念是，社會(huì)交互是多模態(tài)的，在特定情景下，不同的交際模式以不同的程度參與交互(辛志英2008： 209)，并在這個(gè)過(guò)程中豐富發(fā)展了感知和體驗(yàn)的內(nèi)涵。與傳統(tǒng)的以語(yǔ)言為中心的話語(yǔ)分析不同，多模態(tài)互動(dòng)分析屬于整體分析，以中介活動(dòng)為基本分析單位，認(rèn)為語(yǔ)言只是在實(shí)際交流過(guò)程中起作用的一種模態(tài)(張德祿、王正 2016： 54)。Norris在此基礎(chǔ)上將中介活動(dòng)細(xì)分為更加具體化的高層中介行為、低層中介行為以及凝固中介行為，聚焦于人的行為和互動(dòng)。正是由于全新分析視角的理論化，學(xué)界才得以將研究者同社會(huì)、文化、心理和物質(zhì)環(huán)境相結(jié)合，這為對(duì)不同類型大小的數(shù)據(jù)進(jìn)行系統(tǒng)化分析提供了可能。

第二，較強(qiáng)的可操作性及批判性思維。作為一本工具書，該書具有較強(qiáng)的實(shí)踐指導(dǎo)價(jià)值。首先，該書從理論層面著手，以淺顯易懂的語(yǔ)言對(duì)Scollon的多模態(tài)話語(yǔ)分析理論進(jìn)行了詳細(xì)闡述，指出了其局限性，Norris認(rèn)為多模態(tài)話語(yǔ)分析理論是一個(gè)動(dòng)態(tài)發(fā)展的過(guò)程，多模態(tài)話語(yǔ)研究者不能固步自封，要時(shí)刻保持批判性。基于此，Norris賦予了多模態(tài)話語(yǔ)分析理論新的內(nèi)涵，創(chuàng)造性地提出了多模態(tài)互動(dòng)分析理論(Multimodal Interaction Analysis)，并將其應(yīng)用到多模態(tài)數(shù)據(jù)的收集和轉(zhuǎn)寫上。同時(shí)，Norris的批判性思維也貫徹全書，比如在數(shù)據(jù)收集階段，作者指出研究者必須辯證地看待收集到的影像數(shù)據(jù)，即使是完整的影像資料也無(wú)法完全記錄如參與者的感受、放松的程度等心理活動(dòng)。研究者必須正視而非拿大量數(shù)據(jù)去遮蓋這個(gè)局限，并盡最大努力地去彌補(bǔ)這個(gè)不足，比如進(jìn)行現(xiàn)場(chǎng)采訪并進(jìn)行現(xiàn)場(chǎng)記錄。

第三，較廣的適用性和啟示意義。首先，該書的開始和最后都詳細(xì)劃分了受眾層次和對(duì)應(yīng)重點(diǎn)章節(jié)。對(duì)入門研究者、較高層次的研究者或經(jīng)驗(yàn)豐富的研究團(tuán)隊(duì)來(lái)說(shuō)，均是一本具有啟示意義的參考書籍，有利于多模態(tài)研究中的橫向?qū)W習(xí)及拓展。其次，人類互動(dòng)作為一個(gè)連續(xù)動(dòng)態(tài)的過(guò)程，話語(yǔ)分析者如何把其進(jìn)行切分是一個(gè)難題(張佐成、陳瑜敏2011： 5)。但在該書中Norris顯然給予了研究者啟示，作者認(rèn)為高層行為是由一系列低層行為構(gòu)成，而每個(gè)高層行為的產(chǎn)生總是伴隨著一系列的低層行為，研究者可以根據(jù)對(duì)相關(guān)高層行為的注意度(awareness or attention)進(jìn)行切分，根據(jù)研究者的興趣點(diǎn)對(duì)首先觀察到的高層行為進(jìn)行記錄，這些行為通常伴隨著多種模態(tài)作為中介，而模態(tài)的使用是可以辨別分析的，這就為研究者進(jìn)一步分析人類的互動(dòng)過(guò)程提供了切入點(diǎn)。

值得一提的是，作者認(rèn)為，無(wú)論是在數(shù)據(jù)收集還是數(shù)據(jù)分析中，倫理道德因素都是成功進(jìn)行實(shí)證研究不可或缺的一部分。因此受試的許可及其隱私權(quán)、知情權(quán)必須得到尊重。要熟悉相關(guān)視頻資源的使用規(guī)則，做到正當(dāng)、合理、合法使用。有關(guān)倫理道德的研究在國(guó)內(nèi)的實(shí)證研究過(guò)程中一直未得到足夠的重視，該書對(duì)此所做的詳細(xì)闡述，有益于國(guó)內(nèi)相關(guān)研究的進(jìn)一步完善和發(fā)展。

綜上所述，《多模態(tài)數(shù)據(jù)的系統(tǒng)化處理：多模態(tài)話語(yǔ)分析中的研究方法》 一書有助于研究者的多模態(tài)數(shù)據(jù)處理能力及批判性思維發(fā)展，加深其對(duì)多模態(tài)話語(yǔ)分析這一交叉學(xué)科的認(rèn)識(shí)，培養(yǎng)跨學(xué)科意識(shí)和發(fā)展性眼光。

3.2 問(wèn)題與反思

多模態(tài)話語(yǔ)的跨學(xué)科發(fā)展及應(yīng)用已成學(xué)界共識(shí)，如Wieselmannetal.(2020) 從跨學(xué)科視角分析了STEM教育模式下課堂小組的互動(dòng)行為，以微觀民族志的方法進(jìn)行多模態(tài)批判話語(yǔ)分析。《多模態(tài)數(shù)據(jù)的系統(tǒng)化處理：多模態(tài)話語(yǔ)分析中的研究方法》一書順應(yīng)學(xué)科發(fā)展趨勢(shì)，具有一定的學(xué)術(shù)參考價(jià)值，但該書也存在一些值得商榷的地方。

由于多模態(tài)互動(dòng)分析方法仍處在發(fā)展階段，目前仍存在不足，比如沒(méi)有考慮或重視社會(huì)文化和情景語(yǔ)境對(duì)社會(huì)活動(dòng)選擇動(dòng)機(jī)的影響(張德祿、王正 2016： 57) 。書中采用的影像資料均來(lái)自于國(guó)外網(wǎng)站，參與者國(guó)籍較為單一，一定程度上使實(shí)驗(yàn)的分析和演示存在一定的偏頗性。比如由于文化差異或者是視頻軟件的使用差異，可能會(huì)導(dǎo)致相關(guān)研究方法在實(shí)際操作中存在差異，因此參與者及語(yǔ)料的選用覆蓋面有待進(jìn)一步完善。其次，人類互動(dòng)在本質(zhì)上是多模態(tài)的，但不同民族文化背景下對(duì)于模態(tài)轉(zhuǎn)寫的方式也存在差異(劉玉梅、周思邑 2020： 106)，因此基于印歐語(yǔ)系的多模態(tài)互動(dòng)轉(zhuǎn)寫系統(tǒng)是否適合漢語(yǔ)多模態(tài)數(shù)據(jù)的轉(zhuǎn)寫有待進(jìn)一步驗(yàn)證。這就涉及到學(xué)界常說(shuō)的研究方法本土化的問(wèn)題，尤其是漢語(yǔ)的多模態(tài)互動(dòng)研究尚處于起步階段，在此背景下，該書對(duì)文化差異方面的關(guān)注不夠充分。

此外,這本書在多模態(tài)分析工具使用方面未形成系統(tǒng)化的理論框架。作者在書的后半部分詳細(xì)介紹了幾種多模態(tài)分析工具，但只是較為孤立地介紹了各自的定義和適用范圍，忽視了其相互之間的聯(lián)系。Norris(2004)指出，各模態(tài)有合作表達(dá)意義的情況，例如講話時(shí)語(yǔ)言、手部動(dòng)作等不同類型的模態(tài)都在對(duì)進(jìn)行的說(shuō)話動(dòng)作有貢獻(xiàn)，同時(shí)不同的模態(tài)還在完成其他的高一級(jí)行動(dòng)。這樣可能會(huì)出現(xiàn)利用多種分析工具對(duì)某一具體高層活動(dòng)進(jìn)行分析的情況，這就需要考慮不同分析工具間的相互聯(lián)系，即如何共同發(fā)揮作用。

各種模態(tài)之間的互動(dòng)關(guān)系和互補(bǔ)作用難以確定。多模態(tài)話語(yǔ)往往由多種系統(tǒng)構(gòu)成，而每個(gè)系統(tǒng)中又有很多單個(gè)成分。這些成分當(dāng)中，哪些對(duì)解讀有價(jià)值，哪些沒(méi)有價(jià)值，也是不容易確定的因素(朱永生 2007： 85)。僅僅圍繞所研究問(wèn)題進(jìn)行取舍是不全面的，這個(gè)過(guò)程也會(huì)受到研究者個(gè)人的文化背景或是知識(shí)儲(chǔ)備的影響，這個(gè)方面需要在實(shí)證中得到進(jìn)一步完善。其次，書中對(duì)大、中和小數(shù)據(jù)集的劃分也并未給出明確的標(biāo)準(zhǔn)，存在較強(qiáng)的主觀性，一定程度上可能會(huì)影響相關(guān)研究方法的使用。最后，作為一本工具書，該書步驟詳細(xì)，語(yǔ)言通俗易懂，但簡(jiǎn)潔不足，一定程度上影響了可讀性及可操作性。

4. 結(jié)語(yǔ)

總體來(lái)看，《多模態(tài)數(shù)據(jù)的系統(tǒng)化處理：多模態(tài)話語(yǔ)分析中的研究方法》一書雖存在不足，但瑕不掩瑜，仍具有重要的理論價(jià)值和實(shí)踐意義。多模態(tài)話語(yǔ)分析已經(jīng)呈現(xiàn)跨學(xué)科發(fā)展趨勢(shì)，如何把現(xiàn)代智能科技手段和多模態(tài)話語(yǔ)結(jié)合起來(lái)進(jìn)行分析解讀是多模態(tài)話語(yǔ)分析將要解決的問(wèn)題，這決定了數(shù)據(jù)收集必須逐漸科學(xué)化、系統(tǒng)化。相信該書可以很好地幫助讀者科學(xué)地處理多模態(tài)數(shù)據(jù)，進(jìn)一步推動(dòng)多模態(tài)話語(yǔ)分析研究方法的發(fā)展。