鄧靈奇 徐添喜

一、引言

模態(tài)（Modality）指的是交流的渠道和媒介，包括語言、技術(shù)、圖像、顏色、音樂等符號系統(tǒng)；多模態(tài)話語（Multimodal Discourse）指同時利用兩種或兩種以上模態(tài)進行交流的話語。在這一過程中，人們綜合調(diào)動自己的感知通道，包括視覺通道、聽覺通道、觸覺通道、嗅覺通道和味覺通道［1］。溝通（Communication）是人們分享信息、思想和情感的過程，包含口頭語言和書面語言，也包含形體語言、個人的習氣和方式，以及賦予信息含義的物質(zhì)環(huán)境［2］。溝通建立在溝通者雙方均具備發(fā)送和接收信息能力的前提之下，發(fā)聲和簡單的動作可以回應單一的“是/否”的請求，如果要傳遞更為復雜的信息，則需要溝通者使用語言，即口語或書面語。溝通者需要通過視覺感知、語音感知及語言的加工處理來編碼和解碼信息［3］。溝通交往是人類的基本社會活動，具有溝通障礙的個體難以高效地參與社會活動，其社會適應往往存在困難。

腦癱（Cerebral Palsy，又稱腦性癱瘓、腦性麻痹）是自受孕開始至嬰兒期非進行性腦損傷和發(fā)育缺陷所導致的綜合征，主要表現(xiàn)為運動障礙和姿勢異常［4］。腦癱病變在腦，累及四肢，一方面直接損害語言腦區(qū)，另一方面可能會伴有感覺系統(tǒng)異常、智能異常、口運動異常或情緒及行為異常等［5］。由于自身障礙，在參與溝通互動時，腦癱兒童面臨著諸多阻礙，不僅影響了其個性與人格的健康發(fā)展，還限制了其參與學校及社會生活的范圍與質(zhì)量。

20 世紀50 年代起，國內(nèi)外學者們開始關(guān)注腦癱人士溝通障礙相關(guān)的話題，從語言障礙、聽覺障礙、視覺障礙等各類感知覺障礙的維度分別探究腦癱人士溝通障礙的根源與成因。同時，學者們致力于探究針對學齡前腦癱兒童的康復對策，調(diào)查學齡腦癱兒童的互動交往狀況。但迄今為止，從多模態(tài)視角對腦癱兒童溝通交往進行分析與思考的研究尚不充分。本文嘗試從多模態(tài)話語的視角解釋與分析腦癱兒童溝通互動的過程，結(jié)合國內(nèi)外相關(guān)的實證研究，提出腦癱兒童溝通互動的多模態(tài)干預思路。

二、多模態(tài)話語視角下的溝通互動模式

20 世紀50 年代前后，解釋信息傳遞過程的溝通模式強調(diào)從傳遞信息者到接收信息者的單向流程，但自20 世紀六七十年代以后，溝通模式更強調(diào)溝通的交互性、動態(tài)性和發(fā)展性，其中，最具代表性的是奧斯古德-施拉姆的循環(huán)模式［6］（如圖1）。參加溝通過程的雙方在不同階段都依次扮演著譯碼者（執(zhí)行接收和符號解讀功能）、釋碼者（執(zhí)行解釋意義功能）、編碼者（執(zhí)行符號化和傳達功能）的角色，并相互交替三種角色。

圖1 奧斯古德-施拉姆的循環(huán)模式

多模態(tài)話語分析從符號學理論中汲取媒介、對象、解釋三位一體等理念，并以Halliday 創(chuàng)立的系統(tǒng)功能語言學為主要理論基礎［7］。在多模態(tài)視角下，各感官在具身經(jīng)驗中聯(lián)合與互動［8］，均能在溝通互動中發(fā)揮作用。從多模態(tài)話語的視角出發(fā)，結(jié)合信息加工理論，分析個體在溝通互動中參與信息接收、處理與發(fā)送的過程，提出以下假設模型（如圖2）：

圖2 多模態(tài)話語視角下的溝通互動模式

在奧斯古德-施拉姆的循環(huán)模式中，訊息為溝通環(huán)境中的符號在媒介呈現(xiàn)下，通過各種感官渠道傳遞至個體，從不同感知通道獲得的訊息為該通道接收的模態(tài)，個體對感官渠道接收的多模態(tài)符號進行感覺登記，但并非所有的符號都能通過感知通道被個體感覺登記；訊息通過感覺登記在譯碼階段形成多模態(tài)信息，感覺統(tǒng)合系統(tǒng)通過信息加工，將多模態(tài)信息進行解釋、關(guān)聯(lián)和統(tǒng)合；進入釋碼階段，大腦處理已加工好的多模態(tài)信息，通過記憶獲得知識，產(chǎn)生知識模型；知識模型在個體動機的作用下應用到個體的行動中，執(zhí)行監(jiān)控系統(tǒng)同時參與行動過程，反應發(fā)生，為編碼階段；個體通過生理行為、肢體運動呈現(xiàn)聲音、圖像等各種符號，符號再次輸出到溝通環(huán)境中，依次循環(huán)，形成動態(tài)的溝通與互動。

三、多模態(tài)話語視角下腦癱兒童的溝通互動特征

腦癱可導致感覺和認知發(fā)育障礙以及運動障礙，這些功能領域的問題會影響兒童的言語、語言和交流發(fā)展。腦癱兒童的言語、手勢和肢體動作所表達的交流信號不明確，且語言表達延遲，致使溝通對象的信息接收出現(xiàn)失誤［9］。從多模態(tài)話語視角下的溝通互動模式來看，腦癱兒童的溝通互動障礙應歸因于對溝通環(huán)境中的訊息接收與轉(zhuǎn)換不全，以及對多模態(tài)信息的處理不充分。

溝通環(huán)境中的有效符號完全轉(zhuǎn)換為能被感覺登記的訊息需要兩個條件，分別是良好的媒介和完善的感官通道。就腦癱兒童自身生理發(fā)展來說，各感官通道可能同時存在不同程度的受損，甚至缺失。在譯碼、釋碼與編碼階段，個體需要對已登記的多模態(tài)信息進行處理，腦癱兒童由于腦發(fā)育異常而引發(fā)感覺統(tǒng)合失調(diào)，在信息獲取、加工及反饋處理、信息表達等方面存在缺陷，導致其溝通互動困難。

（一）感官通道受阻，多模態(tài)信息獲取受限

在多模態(tài)話語視角下的溝通互動模式中，溝通環(huán)境中的符號通過媒介呈現(xiàn)，個體利用感官通道接收多模態(tài)信息。腦癱兒童因大腦受損區(qū)域的不同表現(xiàn)出一種或多種感覺障礙，一條或多條感官通道受到阻礙，感覺登記不全面，對多模態(tài)信息的獲取受到一定限制。

在溝通活動中，聽話者主要憑借聽覺來接收交流信息，此外，還可以通過視覺觀察說話者的口部動作、面部表情、手勢及周圍環(huán)境等以獲得更多有價值的潛在信息［10］。聽覺障礙會直接影響腦癱兒童溝通能力的發(fā)展，還會直接阻礙腦癱兒童在溝通活動中對聽覺信息的接收。在幼兒時期，聽覺障礙會影響大腦建立聽覺信息的神經(jīng)通路［11］，導致腦癱兒童的言語障礙與語言理解困難。腦癱兒童視覺障礙的發(fā)生率為28.2%—47.0%［12］，主要表現(xiàn)包括斜視和屈光不正等［13］，有視覺障礙的腦癱兒童在溝通中視覺通道也會受限，使其視覺模態(tài)信息接收不完全。除了聽覺、視覺障礙外，腦癱兒童在觸覺、嗅覺、味覺等其他感知覺方面也可能存在缺陷，進而影響觸覺模態(tài)、嗅覺模態(tài)以及味覺模態(tài)參與個體感覺登記。腦癱兒童其他感知覺障礙發(fā)生率相對較低，目前國內(nèi)外的相關(guān)研究較少。

（二）感覺統(tǒng)合失調(diào)，多模態(tài)信息加工困難

Ayres 在1972 年將感覺統(tǒng)合定義為“將人體器官各部分感覺信息輸入組合起來，經(jīng)大腦整合作用，完成對身體內(nèi)外的知覺，并做出反應”［14］。感覺統(tǒng)合系統(tǒng)將通過空間與時間維度輸入的各種感覺模態(tài)解釋、關(guān)聯(lián)和統(tǒng)一。感覺統(tǒng)合涉及感覺信息的登記和調(diào)節(jié)，以及傳入登記的內(nèi)部組織，以提供適應性行為，促進反應執(zhí)行［15］。

溝通中的譯碼階段需要完善的感覺統(tǒng)合能力處理多模態(tài)信息，或分別傳導各類感覺模態(tài)信息，或?qū)⒍喾N感覺模態(tài)信息進行整合再傳導。感覺統(tǒng)合能力良好的兒童在溝通活動中接受來自環(huán)境和身體運動的感覺信息，在譯碼階段，通過中樞神經(jīng)系統(tǒng)內(nèi)處理和整合這些感覺輸入，并使用這些感覺信息來計劃和組織溝通行為。與普通兒童相比，腦癱兒童表現(xiàn)出明顯的感覺加工缺陷，在處理視覺、前庭覺和多感官信息方面表現(xiàn)出不同程度的缺陷，并在調(diào)節(jié)感官信息方面存在困難［16］。腦癱兒童通過感覺接收信息的神經(jīng)處理效率低下，譯碼階段多模態(tài)信息加工困難，導致個體的溝通行為出現(xiàn)問題。

（三）生理運動有缺陷，多模態(tài)信息輸出不全

傳統(tǒng)的腦癱分類主要基于運動功能障礙，當前學術(shù)界的運動行為理論則支持將運動與感覺進行關(guān)聯(lián)。溝通活動中的編碼階段，個體在動機刺激下通過生理運動，即說話、書寫、做表情、肢體動作等，形成多模態(tài)信息，將大腦構(gòu)建的知識模型輸出到溝通環(huán)境中。腦癱兒童由于自身障礙，其生理運動存在不同程度的缺陷，言語及非言語形式的多模態(tài)信息輸出過程與輸出結(jié)果不能完整傳遞其溝通意志，導致聽話者接收的多模態(tài)信息缺失或誤解，不能達到溝通的理想狀態(tài)。

1.言語表達不易

語言障礙是腦癱的主要表現(xiàn)之一，也是國內(nèi)外學者最早發(fā)現(xiàn)的腦癱兒童的障礙表現(xiàn)之一［17］，腦癱兒童的語言障礙包括言語障礙、語言發(fā)育遲緩和失語癥等［18］。研究顯示，腦癱兒童言語障礙的發(fā)生率為44%—73.55%［19］，包括呼吸、發(fā)聲、共鳴、構(gòu)音、語音等障礙。腦癱運動功能障礙累及發(fā)聲發(fā)音肌群，因此有言語障礙的腦癱兒童通常伴有呼吸運動及吞咽功能障礙［20］，表現(xiàn)包括發(fā)音不清晰、音調(diào)異常、言語不清、口語不流利等，嚴重者甚至會失去言語表達和接受的能力［21］。同時，腦癱兒童因語言發(fā)育遲緩在預期時間內(nèi)不能夠像普通兒童一樣用語言符號進行語言理解與表達，與他人的日常生活語言交流不能正常進行［22］。語言障礙在不同程度上阻礙了腦癱兒童的語言發(fā)展，導致腦癱兒童口語交流困難，形成了溝通障礙。此外，由于腦癱兒童完成精細動作較為困難，在書寫能力與書面表達方面，腦癱兒童往往比同齡的普通兒童要弱。但也不排除有部分輕度的腦癱兒童，相比于口語溝通，在有足夠的時間和耐心的前提下，他們也能較好地運用書面語進行溝通［23］。

2.非言語表意失準

除了言語，面部表情與肢體動作也會在溝通交往的過程中提供個體的情緒和思想線索，為言語表達提供支撐，或單獨傳遞信息，屬于非言語溝通方式。由于腦組織受到不同程度且不可逆的損傷，腦癱兒童的肌肉控制與協(xié)調(diào)能力較弱，其面部表情呈現(xiàn)不自然、反應夸張，使得溝通對象不適，溝通狀態(tài)欠佳。Coleman 等人通過磁共振成像（Magnetic Resonance Imaging，MRI）驗證了腦癱兒童的溝通能力與粗大運動能力的正相關(guān)關(guān)系，并得出了運動障礙比腦損傷的嚴重程度更能影響個體的整體溝通能力的結(jié)論［24］，運動障礙限制兒童探索環(huán)境、獨立游戲和產(chǎn)生交流信號的能力，從而影響溝通能力的發(fā)展［25］。腦癱兒童存在姿勢障礙與運動異常，在使用肢體動作進行表達時易出現(xiàn)錯誤。上肢運動障礙會限制個體使用手勢進行交流，而手勢與溝通能力的發(fā)展也存在一定的關(guān)聯(lián)［26］。由此可見，由于生理方面的原因，腦癱兒童除了言語溝通存在困難，以面部表情和肢體動作為載體的非言語溝通在表達信息的過程中也往往準確度不足。

四、腦癱兒童溝通互動的多模態(tài)干預思路

溝通環(huán)境中的多模態(tài)成分是形成多模態(tài)溝通互動的前提，個體對于多模態(tài)信息的充分處理是完成多模態(tài)溝通互動的必要條件。多模態(tài)成分涉及感官通道、媒介和符號系統(tǒng)，對于多模態(tài)信息的處理要求個體具備良好的感覺統(tǒng)合能力。

鑒于此，腦癱兒童溝通互動的多模態(tài)干預需立足于完善多模態(tài)成分與提升個體感覺統(tǒng)合能力，在構(gòu)建多模態(tài)溝通互動環(huán)境的同時，促進與實現(xiàn)腦癱兒童的缺陷補償和潛能開發(fā)。當前，國內(nèi)外學者通過實證研究提出了多種腦癱兒童溝通互動的干預措施，其中，能反映出多模態(tài)思維的干預措施可大致分為三種，分別是基于多模態(tài)形式的早期互動干預、提升模態(tài)處理能力的感覺統(tǒng)合訓練和實現(xiàn)模態(tài)渠道轉(zhuǎn)換的智能輔助干預。

（一）基于多模態(tài)形式的早期互動干預

與嬰幼兒進行早期互動干預能有效促進其建立語言系統(tǒng)、發(fā)展溝通思維與技巧。在早期互動中，當向嬰兒展示一個新物體時，看護者通過同時命名和移動物體來同步信息輸入，這種多樣化的感覺信號已被證明能吸引嬰兒的注意力［27］，也能促進其學習［28］。因此，多模態(tài)輸入呈現(xiàn)方式的差異以及多感官整合的缺陷可能會影響溝通技能的早期發(fā)展。針對腦癱兒童的言語語言治療（Speech and Language Therapy，SLT）側(cè)重于訓練父母識別孩子特殊溝通信號的能力，要求父母創(chuàng)造頻繁且多樣化的對話機會來促進孩子溝通能力的發(fā)展［29］［30］，這里的多樣化對話是相對于單一語音對話而言的，可涉及視覺模態(tài)、觸覺模態(tài)、除語音外的聽覺模態(tài)以及其他各類感官模態(tài)，例如表情、手勢、肢體接觸、展示玩具、播放音樂、給孩子讀圖畫故事書等。其中，在人際交往中發(fā)揮重要作用的觸覺模態(tài)尤其令研究者們感興趣。Seidl 等人通過研究發(fā)現(xiàn)嬰兒的早期詞匯通常是與其看護者的觸摸相關(guān)的單詞［31］［32］，當觸摸與言語相結(jié)合時，可以促進嬰兒在多模態(tài)互動中的言語感知，這進一步強調(diào)了多模態(tài)形式的互動在溝通能力早期發(fā)展中的重要性。

（二）提升模態(tài)處理能力的感覺統(tǒng)合訓練

腦癱兒童的腦部損傷是非進行性的，但隨著中樞神經(jīng)系統(tǒng)的生長和發(fā)育，若不開展訓練及教育，其各方面機能則會發(fā)生進行性改變［33］。適當?shù)母杏X統(tǒng)合訓練能幫助腦癱兒童達到模態(tài)處理的最佳水平，提高個體在環(huán)境中的功能表現(xiàn)，如溝通互動表現(xiàn)［34］。由于腦癱兒童個體在視、聽、智力、言語、語言等一個方面或幾個方面存在不同程度的障礙，針對腦癱兒童的感覺統(tǒng)合訓練內(nèi)容很大程度上取決于受訓個體的具體特點?？傮w來說，為改善腦癱兒童的溝通互動表現(xiàn)，對各類模態(tài)信息的處理能力經(jīng)過感覺統(tǒng)合訓練無論是降低還是增加，其目的都是為個體提供分級的感官體驗，通過接收、記錄、調(diào)節(jié)、組織和解釋從感官傳入大腦的模態(tài)信息，以實現(xiàn)個體對溝通環(huán)境的充分理解。

（三）拓寬模態(tài)渠道的智能輔助干預

人工智能輔助技術(shù)在腦癱兒童的溝通互動中發(fā)揮著轉(zhuǎn)換模態(tài)渠道、完善多模態(tài)成分、建立多模態(tài)溝通環(huán)境的作用。當前應用于腦癱兒童的智能輔助技術(shù)包括增強和替代溝通系統(tǒng)、機器人、虛擬現(xiàn)實技術(shù)等。

早期干預可以促進腦癱兒童建立語言系統(tǒng)、發(fā)展溝通思維與技巧，但對于言語表達存在嚴重缺陷的腦癱兒童來說，則需要使用增強和替代溝通（Augmentative and Alternative Communication，AAC）系統(tǒng)來實現(xiàn)主動溝通［35］。AAC 起到將無法被接收及發(fā)送的模態(tài)轉(zhuǎn)換為易于接收及發(fā)送的模態(tài)的作用，如圖片交換溝通系統(tǒng)（Picture Exchange Communication System，PECS）可以幫助有聽覺障礙和言語表達障礙的腦癱兒童將聽覺模態(tài)轉(zhuǎn)換為視覺模態(tài)，語音生成設備（Speech Generating Device，SGD）則在信息輸出中增加了語言符號。成立于1983 年的DynaVox 公司研發(fā)的EyeTyper 將使用者的視覺信息通過計算機語音“說出來”，最早使用于幫助患有腦癱的年輕女性實現(xiàn)交流。AAC 可以幫助腦癱兒童更頻繁地發(fā)起對話，實現(xiàn)更為廣泛的交際功能，在使用的過程中幫助其學習詞匯，并提高敘事能力。

社交輔助機器人（Socially Assistive Robotics，SAR）旨在替代或補償腦癱兒童缺失的運動和感知技能，并通過語音、手勢、游戲等幫助腦癱兒童參與社會互動，由此豐富溝通環(huán)境中的多模態(tài)成分，尤其體現(xiàn)在視覺模態(tài)方面。研究表明，SAR 在改善腦癱兒童的身體機能、提升其社會互動以及提高其社交動機等方面有顯著效果［36］。

目前關(guān)于虛擬現(xiàn)實（Virtual Reality，VR）技術(shù)改善腦癱兒童溝通障礙的研究非常有限，但已有關(guān)于VR 技術(shù)干預腦癱人士運動功能、獨立生活能力以及預防成人腦癱惡化等方面的實證研究［37］［38］，并已有理論提出了VR 技術(shù)在改善溝通障礙人士社會交往能力方面的可能性［39］［40］。從多模態(tài)視角來看，VR 可為學習者創(chuàng)造場景體驗、調(diào)整模態(tài)信息、賦予其沉浸體驗者新的身份；在非語言信息的呈現(xiàn)與交互方面，VR 有助于重構(gòu)學習的物理空間［41］。與此同時，VR 可以有效分析腦癱兒童個體對于信息接收的最佳感官渠道，從而為腦癱兒童溝通能力的多模態(tài)干預提供參照。

五、總結(jié)與啟示

多模態(tài)話語分析不僅關(guān)注語言系統(tǒng)在意義交換中所發(fā)揮的作用，還強調(diào)圖像、音樂、顏色等其他符號系統(tǒng)在其中產(chǎn)生的效果，能進一步探究人類綜合使用多種模態(tài)達到社會交際的目的。多模態(tài)的社會互動在兒童發(fā)展中起著至關(guān)重要的作用，正確識別、解釋和產(chǎn)生社會行為的能力是溝通的關(guān)鍵。腦癱兒童的病理及功能障礙導致其言語表達困難、非言語表意失準、信息的獲取與加工受限，不同程度地影響了其參與溝通互動活動。從多模態(tài)話語的視角分析，腦癱兒童對溝通環(huán)境中的訊息接收與轉(zhuǎn)換不全，對多模態(tài)信息的處理不充分，從而易產(chǎn)生溝通互動障礙。因此，干預人員可以通過在早期干預選用多模態(tài)形式、使用智能輔助技術(shù)（如AAC、機器人、VR 等）、開展感覺統(tǒng)合訓練等方式從多模態(tài)干預的思路改善腦癱兒童的溝通互動能力。

雖然當前多模態(tài)話語的理論和技術(shù)還處于研發(fā)的階段，但已經(jīng)對人類社會交際的方式和作用產(chǎn)生了影響，尤其是在特殊兒童發(fā)展方面。在腦癱兒童的康復與教育領域，應從腦癱兒童個體的感官特征出發(fā)，遵循“缺陷補償”與“潛能開發(fā)”的原則，提供多種技術(shù)支持，完善溝通互動活動中的多模態(tài)成分，豐富溝通環(huán)境，同時提升個體感覺統(tǒng)合能力，促進腦癱兒童對信息的獲取與加工，幫助腦癱兒童實現(xiàn)多模態(tài)溝通。此外，腦癱兒童在溝通互動等日常社交中常會面對交往對象或其他人的排斥，造成較為沉重的心理負擔，因此，應該加強腦癱兒童的自我心理調(diào)適，家人、朋友和教師等交往伙伴需時常給予積極的鼓勵，幫助營造良好的心理環(huán)境，提升其溝通與交往的意志。在研究領域，要加強多模態(tài)話語理論指導下的實證研究。多模態(tài)話語理論為解釋和干預腦癱兒童的溝通互動提供了新的研究視角，研究人員應結(jié)合腦癱兒童個體的生理病理特征和溝通互動特點，開展有針對性的實證研究，進一步驗證有效的多模態(tài)干預策略。

我想要擁抱星星王嘉輝（山東省淄博市博山區(qū)特殊教育中心學校）指導老師：宋寧寧