唐文奕

（福建廣播電視大學(xué)福鼎學(xué)院，福建福鼎，355200）

受到疫情的沖擊，在線教育獲得爆發(fā)式的增長。翻轉(zhuǎn)課堂、MOOC 等在線教育課程以及各種在線教育平臺蓬勃發(fā)展。教學(xué)環(huán)境的改變催生新的教學(xué)理念，教學(xué)理念的興起則必然有與之相應(yīng)的應(yīng)用這一教學(xué)理念的平臺。如果說在線教育代表了一種教學(xué)環(huán)境的改變，它催生了傳統(tǒng)的文本和話語交互的教育理念向多模態(tài)教育理念的改變，那么反過來，多模態(tài)教育理念，又對應(yīng)用它的教育環(huán)境提出了更進一步的要求。

一、 對于多模態(tài)教學(xué)理念的認識

多模態(tài)研究是由新倫敦小組（New London Group） 的《宣言》 （1996） 引發(fā)的， 《宣言》呼吁對教育學(xué)采取多元讀寫方法，以應(yīng)對當(dāng)時出現(xiàn)的新交流形式的激增。模態(tài)是在任何媒介或類型（如聲音、顏色、音調(diào)、音樂和紋理） 中表現(xiàn)、表達和交流意義的組成部分和慣例。

所謂多模態(tài)話語分析為基礎(chǔ)的教學(xué)理念可以理解為以多模態(tài)話語分析理論為基礎(chǔ)建立的教學(xué)關(guān)系。在課堂上，教師將聲音、圖片、動畫等多種媒介（模態(tài)） 作為獨立的教學(xué)語言交互方式，通過對這些媒介的協(xié)同整合設(shè)計應(yīng)用，以最能體現(xiàn)課程特點要求，最能調(diào)動學(xué)習(xí)者感官反應(yīng)的方式，使學(xué)習(xí)者積極參與到課程學(xué)習(xí)的動態(tài)過程中，促進學(xué)習(xí)者通過共同參與和合作來進行學(xué)習(xí)。

語言是一種社會符號，是人們交流交際的工具。20 世紀90 年代以來，系統(tǒng)功能語言學(xué)者們將語言的社會符號性擴展開來，將聲音、圖像、動作和空間、顏色設(shè)計等多模態(tài)也作為與語言一樣具有交互功能的社會符號基本資源進行研究。在這個系統(tǒng)中，聲音、圖像、動作和空間、顏色設(shè)計等都是用于社會交互的媒介符號系統(tǒng)。語言只是該系統(tǒng)中人類眾多交流方式中的一種符號。對媒介符號系統(tǒng)的研究，最為突出和具有代表性的是分析視覺圖像的語法框架，它為社會符號資源的話語化分析提供了基本的理論依據(jù)和分析方法，并在此基礎(chǔ)上形成多模態(tài)話語分析的研究雛形。而以課程教學(xué)為對象的多模態(tài)研究則以此作為基礎(chǔ)鋪展開來。

當(dāng)然，這個符號系統(tǒng)并不是雜亂簡單的混合，而是要符合一定的規(guī)律，這個規(guī)律是語言產(chǎn)生以來逐漸發(fā)展而來的，是一整套由語匯構(gòu)成，符合一定語法規(guī)則的系統(tǒng)，通過對語匯的選擇和使用，實現(xiàn)人類之間的交流與溝通。

以圖像來說，它實際上也包含一個體現(xiàn)為選擇行為的符號系統(tǒng)。圖片中不包括什么，包括什么，都是一個表達意義時“選擇”的結(jié)果，而這些選擇體現(xiàn)了選擇者對意義的指認，也就是所謂的意義潛勢，從而使圖片實現(xiàn)不同的社會功能。其表達的目的是一致的，即用于溝通和交流，語言與圖片的不同只是意義的表達方式。它們同樣是通過符號構(gòu)造出的溝通的發(fā)出者、接收者和被表達的事物之間的特定關(guān)系。而對于表達的整體而言，則是通過交流的各種元素內(nèi)在與外在的整合來實現(xiàn)的。

另一個方面，圖片作為一種交流的符號系統(tǒng)，也是具有社會性的，它與傳播和閱讀、制造它們的人以及社會單位緊密結(jié)合，因而具有典型的社會環(huán)境的特色。從這個意義上說，圖片是帶著意識形態(tài)的。

一般意義上，構(gòu)成在線計算機課程教學(xué)的多模態(tài)交互方式構(gòu)成了該課程的語篇結(jié)構(gòu)。我們這里所稱的語篇結(jié)構(gòu)與其他面向一種模態(tài)進行分析所稱的語篇不同，實際上是一種由多種符號系統(tǒng)共同構(gòu)成的，貫穿計算機課程教學(xué)的整體。在這里，語篇多模態(tài)化指的是在計算機教學(xué)中，通過統(tǒng)合運用各種符號資源(如有聲語言、形象、聲音、設(shè)計、動作等)共同參與計算機的教學(xué)過程，以追求計算機課程教學(xué)表達的多樣化設(shè)計。但是，與大多數(shù)理工課程一樣，由于計算機課程的知識體系往往是由一系列相對模糊或抽象的概念符號構(gòu)成，因此，從文本文件出發(fā)運用簡單的圖像資料或者圖表資料對計算機課程進行設(shè)計是沒有問題的，但往往因其直觀簡單無法直觀準確地表達實現(xiàn)有效的交流，因而需要在文本語言符號的基礎(chǔ)上構(gòu)建一個全面系統(tǒng)的，從構(gòu)圖視角、圖片架構(gòu)、色調(diào)等多模態(tài)開展教學(xué)設(shè)計，以構(gòu)建多模態(tài)為基礎(chǔ)的語法分析框架。

需要強調(diào)的是，聲音、形象、設(shè)計等模態(tài)并不等同于教學(xué)設(shè)計中的要素，要素是構(gòu)成教學(xué)的元素，而作為模態(tài)的聲音、形象、設(shè)計是可以獨立實現(xiàn)交互的交流手段，在教學(xué)過程中，它們是可以獨立表述教學(xué)內(nèi)容的。

鑒于上述，我們認為，所謂多模態(tài)教學(xué)，必然是在對多種模態(tài)進行的綜合話語分析基礎(chǔ)上，為實現(xiàn)教學(xué)目標，對各種模態(tài)的整體應(yīng)用，那種僅僅增加或減少幾個模態(tài)的做法，并不能稱為完整意義上的多模態(tài)教學(xué)，充其量可以稱為多媒體輔助下的教學(xué)。

二、 多模態(tài)視角下對在線教育的反思

對于在線教育來說，為了多樣化呈現(xiàn)教學(xué)內(nèi)容、發(fā)揮學(xué)習(xí)者主體性、豐富課堂表現(xiàn)，以文本、語言、圖片、影像、空間結(jié)構(gòu)、動畫等符號資源為代表的多模態(tài)協(xié)同交互手段正從內(nèi)容到形式深刻影響并改變著教育，在在線教育模式下，人們已越來越多地將多模態(tài)作為教學(xué)的組織方式，并使用多模態(tài)語法分析框架，來豐富和解讀教學(xué)中文字以外的表達方式。但是，僅僅簡單的在教學(xué)中使用多模態(tài)還不足以真正實現(xiàn)在線教育的教學(xué)目標，為了達到教學(xué)的效果，為了有效發(fā)揮多模態(tài)教學(xué)的效果，更大的問題是要針對在線教育多模態(tài)教學(xué)的特點改造在線教育的教學(xué)平臺。

站在多模態(tài)話語分析的視角上，反思當(dāng)前在線教育，無論從教學(xué)內(nèi)容、教學(xué)組織方式、教學(xué)效果還是在線教育平臺本身的建設(shè)，都不甚理想，甚至可以說僅僅是傳統(tǒng)面授課程的移植，總的來說，體現(xiàn)為在線教育平臺的教學(xué)環(huán)境過于簡單，無法適應(yīng)在線教育個性化教學(xué)、現(xiàn)代化教學(xué)的需要。

1. 教學(xué)環(huán)境與教學(xué)交互相關(guān)性不強

我們在傳統(tǒng)教學(xué)中，大多數(shù)使用多媒體輔助教學(xué)，而從模態(tài)話語分析的角度，聲音、圖片、視頻等過去傳統(tǒng)的多媒體輔助工具都是與聲音、圖像相對應(yīng)的語言傳達媒介，具有獨立的語匯語法系統(tǒng)，可以獨立表達課程內(nèi)容。而傳統(tǒng)教學(xué)中的多媒體，只是聲音、圖像等的輔助工具，并無獨立的交互功能。在線教學(xué)，因教與學(xué)的雙方受到空間的阻隔，很難像傳統(tǒng)教學(xué)那樣面對面進行，因而，需要更多樣的教學(xué)交互方式，有時，甚至需要使用圖像、圖表等模態(tài)作為獨立的交互工具使用。

但在當(dāng)前在線平臺上的課程教學(xué)中，普遍沿用以教師、教室、教材為依托的傳統(tǒng)教學(xué)模式，使用的錄播課件的方式開展教學(xué)。在這種方式中，教師是教學(xué)的中心，并以課本為依托，范圍局限在教室中，基本體現(xiàn)為照本宣科的模式。不同者，只在于在線教育使用錄播設(shè)備將教師授課的過程記錄下來而已。在在線教學(xué)的過程中，這種教學(xué)模式很難調(diào)動學(xué)習(xí)者的學(xué)習(xí)興趣，學(xué)習(xí)者普遍缺乏實踐能力，無法實現(xiàn)教學(xué)目標要求的對創(chuàng)新思維、創(chuàng)新能力的培養(yǎng)。

2. 對多模態(tài)缺乏綜合全面的分析利用

在電大在線教學(xué)平臺環(huán)境下，教師往往會根據(jù)教學(xué)內(nèi)容的需要組合和使用包括圖像、視頻、圖表等交流方式，以幫助學(xué)習(xí)者理解和記憶教學(xué)內(nèi)容。但是，這種交流方式，從目前來看，仍然處于從屬地位，是由語言教學(xué)的需要來使用，并沒有建立在系統(tǒng)的模態(tài)分析基礎(chǔ)之上。模態(tài)話語分析理論認為，圖像、畫面、設(shè)計等教學(xué)中的輔助交流方式，都是有自己獨立的語匯語法體系的，因而，在使用這些工具開展教學(xué)活動時，要想完整準確地表達教學(xué)內(nèi)容，就必須采用類似傳統(tǒng)教學(xué)中的語言授課方式一樣，對這些要素進行系統(tǒng)的組織和設(shè)計。并且計算機課程雖然已經(jīng)在電大開設(shè)了很多年，但由于科技的迅速發(fā)展，計算機的升級換代很快，運用的領(lǐng)域也較為廣泛，即使是教師也都難以適應(yīng)計算機學(xué)科知識發(fā)展變化，對計算機領(lǐng)域的新知識、新發(fā)展了解并不一定比學(xué)習(xí)者多。這就要求教師為了完整準確地表述教學(xué)內(nèi)容，需要運用多種教學(xué)手段從多個層面對學(xué)習(xí)者進行講解。而這就要求對所使用的模態(tài)進行綜合全面的分析。

3. 模態(tài)話語缺乏系統(tǒng)的表述設(shè)計

計算機是一門應(yīng)用性技術(shù)性都很強的學(xué)科，學(xué)習(xí)者在學(xué)習(xí)過程中，除需要掌握基本的理論知識，對學(xué)習(xí)者的實際操作能力也提出了較高的要求。在教學(xué)過程中，往往需要學(xué)習(xí)者通過上機的實際操作，將理論知識鞏固到實際的操作中，但是，在線上課程中，這些優(yōu)勢恰恰成了教學(xué)中難以克服的阻礙，教師無法進行直觀的演示，學(xué)習(xí)者無法實際觸摸體驗。教師如果僅僅使用錄像設(shè)備對教師的計算機硬件操作行為進行錄播，是很難提起學(xué)習(xí)者興趣的，也無法與學(xué)習(xí)者展開有效的互動。

4. 模態(tài)指向單一，缺乏教師和學(xué)習(xí)者的互動

目前的在線平臺，對模態(tài)資源的調(diào)用往往決定權(quán)在教師，學(xué)習(xí)者往往是被動的接受者，因而無法建立以學(xué)習(xí)者為主導(dǎo)的學(xué)習(xí)模式。以學(xué)習(xí)者為主體，開展學(xué)習(xí)者的主動互助式的學(xué)習(xí)是進行在線教學(xué)的需要。教學(xué)需要學(xué)習(xí)者有主動的探究精神，并通過結(jié)合課本與實際生活中的需要，有目的地開展學(xué)習(xí)活動。但我們目前的在線課程，由于網(wǎng)絡(luò)的阻隔，不但學(xué)習(xí)者的互助互動很難實現(xiàn)，而且由于缺少教師的引導(dǎo)和監(jiān)控，學(xué)習(xí)者過度放松，以至于以學(xué)習(xí)者為主體也很難實現(xiàn)。

5. 教學(xué)環(huán)境不能適應(yīng)多模態(tài)整合

國內(nèi)多模態(tài)話語的研究還處在起始階段，李戰(zhàn)子、顧曰國、胡壯麟、朱永生、張德祿等從多媒體、多模態(tài)學(xué)習(xí)；多模態(tài)、多媒體符號學(xué)；多模態(tài)話語分析的理論基礎(chǔ)與研究方法、課堂教學(xué)多模態(tài)話語等方面進行了研究。結(jié)合這些成果，我們認為，恰恰是線下教學(xué)的應(yīng)用背景限制了多模態(tài)理念的發(fā)展，其研究大多局限在語言教學(xué)中，且模態(tài)的綜合應(yīng)用大多僅涉及到語言和視頻、圖片等兩到三個模態(tài)的應(yīng)用，遠未達到綜合模態(tài)的程度?？偟膩碚f，存在著在線教育無法引起學(xué)習(xí)者學(xué)習(xí)興趣、平臺穩(wěn)定性差、知識點呈現(xiàn)方式單一、線下課堂知識點過多、沒有開發(fā)利用好網(wǎng)絡(luò)教學(xué)資源等問題，而這些問題一方面固然是由于課程的性質(zhì)和傳統(tǒng)教育思維的影響，但我們認為，也是由于缺乏多方位運用模態(tài)話語分析的語言環(huán)境。

三、 依托虛擬現(xiàn)實技術(shù)打造在線多模態(tài)教學(xué)平臺

為了充分體現(xiàn)多模態(tài)教學(xué)理念，我們認為利用虛擬現(xiàn)實技術(shù)打造在線教育平臺的做法有利于多模態(tài)圍繞教學(xué)目標實現(xiàn)在線教育的話語分析和話語整合。

虛擬現(xiàn)實技術(shù)植根于數(shù)字化電子傳播技術(shù)及數(shù)碼技術(shù)的發(fā)展。它能夠生成實時的、逼真的、三維的人工虛擬環(huán)境，讓人能深入虛擬的環(huán)境之中，并能完全模仿真實世界與環(huán)境進行實時交流，同時獲得各種感官上的直觀又自然的感知和認知體驗。從這個意義上說，虛擬現(xiàn)實技術(shù)的發(fā)展為多模態(tài)教學(xué)的模態(tài)整合提供了良好的平臺。虛擬現(xiàn)實是信息形態(tài)的最終體現(xiàn)，它模糊了現(xiàn)實和虛擬之間的關(guān)系，超越多媒體技術(shù)而實現(xiàn)了人機交互的完整而系統(tǒng)的體驗，是模態(tài)話語形式的新模式。在這種情況下，教學(xué)狀態(tài)不只是調(diào)動學(xué)習(xí)者的聽覺與視覺等部分感官，而是通過啟動多感官同步以實現(xiàn)教學(xué)信息的交互，在學(xué)習(xí)者接受知識的過程中，能使用數(shù)碼設(shè)備模擬真實語境，使課堂環(huán)境中的話語交互更趨于真實的語境。通過虛擬現(xiàn)實技術(shù)，課堂交互可以最大程度地打破文本時代線性敘事的方式，幫助教師在課堂中通過多模態(tài)的方式調(diào)動學(xué)習(xí)者的聽覺、視覺、觸覺等多種感官進行交互，實現(xiàn)教學(xué)信息有效傳遞，使學(xué)習(xí)者正確接受并準確理解課堂的話語語義。

例如在計算機網(wǎng)絡(luò)信息安全課程中，有關(guān)網(wǎng)絡(luò)安全防范這一知識點的教學(xué)就完全可以利用虛擬現(xiàn)實技術(shù)以游戲的方式實現(xiàn)教學(xué)。首先，我們運用多模態(tài)對網(wǎng)絡(luò)病毒進行實體化設(shè)計，將不同類型不同危害程度的病毒設(shè)計成不同的模型，讓現(xiàn)實中無法觸及的病毒程序在虛擬環(huán)境中成為學(xué)習(xí)者能夠感知觸摸聽聞的實體，在這個環(huán)節(jié)中，我們甚至可以嘗試讓學(xué)習(xí)者參與到病毒模態(tài)設(shè)計的過程中。其次，我們將網(wǎng)絡(luò)病毒和計算機軟件的交互過程故事化，讓學(xué)習(xí)者通過融入故事的發(fā)展和環(huán)境，多維度體會病毒對計算機的攻擊方式及其危害，這種代入感會讓學(xué)習(xí)者形成更多的直觀印象。最后，我們也可以借助一些隱喻或者暗寓的手法，將電影中的某些情節(jié)或者片段融入到虛擬現(xiàn)實中，例如我們就曾經(jīng)使用電影《西游記》中孫悟空與妖怪搏斗的場面來形容抵抗網(wǎng)絡(luò)病毒艱難，也曾使用電影《黑客帝國》中對于網(wǎng)絡(luò)病毒數(shù)字化流轉(zhuǎn)方式的描寫來將病毒的傳播形象化。

學(xué)習(xí)者在虛擬課堂中學(xué)習(xí)計算機的整個過程和真實的面授教學(xué)一致，通過模擬在真實世界中學(xué)習(xí)技能的過程，運用多種感官的整合實現(xiàn)與現(xiàn)實一樣的體驗。而且，不同的參與者在參與過程中可以形成不同的教學(xué)體驗，獲得不同的感受。因此，利用虛擬現(xiàn)實課堂中的多模態(tài)體驗，可以淡化教師與學(xué)習(xí)者之間認知與感覺的界限，創(chuàng)設(shè)新的認知體驗。

對于教學(xué)來說，學(xué)習(xí)的過程由低到高可以分為學(xué)習(xí)者被動地學(xué)習(xí)，學(xué)習(xí)者在教師的引導(dǎo)下學(xué)習(xí)和學(xué)習(xí)者主動積極地自主學(xué)習(xí)三個階段。在這三個階段中，學(xué)習(xí)環(huán)境和學(xué)習(xí)方式在其中起到了重要的作用。對于傳統(tǒng)教學(xué)來說，學(xué)習(xí)環(huán)境和學(xué)習(xí)方式體現(xiàn)為課堂中教師的授課行為和學(xué)習(xí)者在教師監(jiān)督下的學(xué)習(xí)行為，無論是授課還是學(xué)習(xí)，都是以語言為載體進行的，但是在計算機在線教育的環(huán)境下，單純的語言教學(xué)很難引發(fā)學(xué)習(xí)者的興趣，因而自始至終，學(xué)習(xí)者都處于被動學(xué)習(xí)的狀態(tài)之中。因此，有必要將遠程教育、多模態(tài)理念與虛擬現(xiàn)實技術(shù)結(jié)合，在虛擬現(xiàn)實中，多種類型模態(tài)的組合和運用更為直接，在這種環(huán)境下，教師使用多種類型的模態(tài)，從而使課堂變得生動和豐富，使學(xué)習(xí)者對學(xué)習(xí)的過程充滿激情，并使學(xué)習(xí)環(huán)境變得對學(xué)習(xí)者更為友好和生動，從而達到讓學(xué)習(xí)者主動積極的自主學(xué)習(xí)的目的。

四、 多模態(tài)理念在虛擬現(xiàn)實環(huán)境中的應(yīng)用要點

我們認為，在虛擬現(xiàn)實環(huán)境下建立在線教育的多模態(tài)教學(xué)模式，以下幾個方面的內(nèi)容值得重點把握：

第一，要充分利用虛擬現(xiàn)實環(huán)境所提供的有利條件，從計算機課程的實際需要出發(fā)，根據(jù)教學(xué)的具體內(nèi)容和具體要求對多模態(tài)話語進行整體分析和設(shè)計。多模態(tài)話語分析的目的是要達到理想的課程教學(xué)目標，在這里，多模態(tài)話語分析是工具而不是目的，因此就需要有針對性地對課程進行多模態(tài)話語設(shè)計，并從實現(xiàn)課程整體教學(xué)目標的角度，對模態(tài)語篇進行整體構(gòu)架，而不是為了使用某一個模態(tài)而強搬硬湊。同時，要區(qū)分傳統(tǒng)教學(xué)環(huán)境與虛擬現(xiàn)實教學(xué)環(huán)境的特點，有針對性地在虛擬現(xiàn)實環(huán)境中運用多模態(tài)理念。

第二，要充分以利用多模態(tài)理念整合在線教育的學(xué)習(xí)資源。在線教育的優(yōu)勢就在于教學(xué)資源眾多，因此，慎重挑選學(xué)習(xí)資源至關(guān)重要。而這一點對于打造虛擬現(xiàn)實環(huán)境中的多模態(tài)教學(xué)模式尤為突出。但過于龐雜的資源堆砌不但無助于實現(xiàn)教學(xué)目標，相反會干擾正常的教學(xué)秩序，同時，教學(xué)資源有必要按照課程的性質(zhì)和教學(xué)內(nèi)容進行重新審視，不可直接照搬，而是需要結(jié)合課程的設(shè)計與要求，通過多模態(tài)信息的互動與反饋，提高學(xué)習(xí)者對知識的理解與掌握能力。教師在進行多模態(tài)話語設(shè)計與分析的過程中，要重視非語言手段在現(xiàn)代教學(xué)模式中的重要作用，包括課程中使用的工具、設(shè)施設(shè)備以及教學(xué)環(huán)境。無論采用何種形式的模態(tài)，最終都要以學(xué)習(xí)者的學(xué)習(xí)為目的，要以調(diào)動學(xué)習(xí)者學(xué)習(xí)的積極性為目標。

第三，要用動態(tài)的視角看待多模態(tài)理論在虛擬現(xiàn)實環(huán)境中的應(yīng)用問題。課程內(nèi)容的呈現(xiàn)，學(xué)習(xí)者與教師的互動，教學(xué)環(huán)境及教學(xué)措施的遞進，都需要教師在進行模態(tài)設(shè)計的時候以動態(tài)的眼光去看待，如要素之間先后，教學(xué)內(nèi)容之間的關(guān)系等，避免簡單的就一個方面一個要素進行模態(tài)設(shè)計和話語分析，只有這樣才能形成完整的語篇結(jié)構(gòu)，才能有助于學(xué)習(xí)者的知識獲取，能力培養(yǎng)。

總之，在多模態(tài)理論背景下開展教學(xué)，既是在線教育理論的創(chuàng)新，也是實踐的需要。從在線教育來看，要發(fā)揮多模態(tài)理論在教學(xué)中的作用，需要突破傳統(tǒng)教育教學(xué)模式的束縛，著眼于良好的與在線教育相適應(yīng)的教育教學(xué)環(huán)境的創(chuàng)設(shè)。虛擬現(xiàn)實技術(shù)的發(fā)展為多模態(tài)理論在在線教育中的應(yīng)用提供了契機，因此，要以動態(tài)的視角開展在線教育的資源整合、要統(tǒng)合運用在線教育過程中的諸模態(tài)，并進行整體設(shè)計，才能充分發(fā)揮多模態(tài)理念在在線教育中的作用。