編者按：在信息化教學(xué)環(huán)境中，多媒體教材的知識是以畫面形式呈現(xiàn)的，或者說是用“畫面語言”寫成的。隨著信息化教學(xué)日益常態(tài)化，多媒體教材的制作與使用缺乏科學(xué)性、規(guī)范性的問題日漸凸現(xiàn)、亟待解決。
　　早在2002年，游澤清教授就在本刊率先提出了“多媒體畫面語言”的概念。十年磨一劍，他本著高度的歷史責(zé)任感和使命感，帶領(lǐng)課題團隊和研究生，進行了持之以恒的研究。這十年，他們曾誤入歧途、也走過彎路，但他們從未放棄，從深入進行大量基礎(chǔ)性的研究到終有靈光一閃，從點滴概念的明晰到學(xué)科體系的建立，今天，“多媒體畫面語言學(xué)”終于系統(tǒng)、完整地與讀者見面了。
　　本刊將分四期，按“畫面語用學(xué)”、“畫面語義學(xué)”、“畫面語構(gòu)學(xué)”和“多媒體畫面語言學(xué)誕生過程”的順序詳加介紹，讓多媒體教材在教育教學(xué)改革中的應(yīng)用更加有序、規(guī)范，綻放更加奪目的光彩。
　　
　　在畫面語言學(xué)中，把設(shè)計、制作的多媒體教材看成是用“畫面語言”編寫的，但是對于編寫的特點和規(guī)律，即畫面語言是如何表現(xiàn)教學(xué)內(nèi)容的，至今在國內(nèi)外都是正在探討的熱門話題。對此，我研究十多年，這才意識到“多媒體畫面語言”有三個要點，可以把它們比喻成進入畫面語言大門的三把“鑰匙”。換句話說，只有把這三個要點真正弄明白了，才能算是入了門。
　　● “多媒體畫面語言”的三個要點
　　第一個要點是“以形表義”，強調(diào)畫面語言表義的方式與文字語言不同，即靠“形”，而不是靠“文字表述”。
　　強調(diào)畫面語言“以形表義”這一要點，是因為在進入信息時代以前，一方面?zhèn)鹘y(tǒng)藝術(shù)領(lǐng)域（如美術(shù)、攝影）就曾用過“畫面語言”一詞，由于那時“畫面”的功能，審美遠遠多于表義，給人們留下了“形主要用于審美”的認識局限；另一方面，人們在長期閱讀書報的過程中，已經(jīng)養(yǎng)成了通過文字表述獲取知識、信息的習(xí)慣，因而一般很少注意到，畫面中文字以外其他媒體及其配合的表義功能。
　　畫面語言用來表義的“形”，不僅指圖形和字形，還應(yīng)包括解說、音樂、色彩、運動等元素的表現(xiàn)形式，如版面格調(diào)、基色、背景音樂等。由于其中文本（解說）具有形（音）和義分離的特點，因此還應(yīng)將文本（解說）表述的表義形式包括進去。
　　第二個要點是“基于屏幕呈現(xiàn)”，強調(diào)屏幕的運動畫面屬性。靜止畫面表現(xiàn)的是空間藝術(shù)，運動畫面表現(xiàn)的藝術(shù)則包括空間和時間兩個方面。因此這一要點實際是突出了，多媒體畫面語言與傳統(tǒng)（美術(shù)）“畫面語言”之間的區(qū)別。
　　例如，畫面分割藝術(shù)是在傳統(tǒng)靜止畫面（美術(shù)、攝影、報刊排版等）中形成的，屬于“空間分割”。多媒體教材在講授一個設(shè)備的各部件時，經(jīng)常將這些部件以菜單的形式列出，點擊一個菜單項便調(diào)出一個部件的畫面進行介紹。這就是運動畫面的分割，叫做“時間分割”。在多媒體教材中，畫面的“時間分割”形式，可以用來介紹美術(shù)教材中的各幅名畫、音樂教材中的各類樂器、一門技術(shù)中的各個術(shù)語、一個實驗中的各個步驟，等等。
　　以上兩個要點表明，多媒體畫面語言與傳統(tǒng)“畫面語言”既有共性（即“以形表義”），又有區(qū)別（即“時間屬性”）。
　　第三個要點是，多媒體畫面語言是有規(guī)則可循的。和文字語言一樣，這些規(guī)則應(yīng)包括語構(gòu)、語義和語用三個方面。在《多媒體畫面藝術(shù)理論》中，這三方面分別叫做“多媒體畫面藝術(shù)規(guī)則”、“設(shè)計格式”和“教學(xué)格式”。如果說畫面語用學(xué)的研究內(nèi)容是規(guī)范化的“教學(xué)格式”，那么畫面語義學(xué)的研究內(nèi)容便是規(guī)范化的“設(shè)計格式”。
　　順便說明，其實教學(xué)（或設(shè)計）格式也是畫面語用（或語義）學(xué)中的一些“規(guī)則”，因為“規(guī)則”只不過是對一些規(guī)格的條文表達，而規(guī)格就是所謂“規(guī)范化格式”的簡稱。在《多媒體畫面藝術(shù)理論》中選用“格式”一詞，是為了避免和語構(gòu)學(xué)中語法規(guī)則（即“多媒體畫面藝術(shù)規(guī)則”）混為一談。
　　● “多媒體畫面語言”中的設(shè)計格式
　　借鑒文字語言，可以幫助我們認識“設(shè)計格式”在畫面語言中的定位和分工。
　　人們在運用文字語言進行交流時，雖然基于語法、句法，但是通常注意的只是如何將內(nèi)容有效、準確地表達出來，因為語法已經(jīng)熟練地融入到語句之中了。小學(xué)生練習(xí)作文時，一般是按照敘述、報道、描寫、書信、論文、詩歌等不同題材，分門別類地熟悉各種題材的寫作方法（或格式）。用畫面語言表現(xiàn)教學(xué)內(nèi)容時，同樣需要語法（即“多媒體畫面藝術(shù)規(guī)則”），但是應(yīng)該將其熟練地融入到畫面之中，而關(guān)注的則是按照不同的題材，將教學(xué)內(nèi)容有效、準確地表達出來?！霸O(shè)計格式”就是不同題材教學(xué)內(nèi)容的表現(xiàn)形式。
　　由此也可以看出畫面語用學(xué)和畫面語義學(xué)的區(qū)別：前者關(guān)注的是運用畫面語言的語境（教學(xué)環(huán)境）和效果（教學(xué)效果），因而強調(diào)與不同學(xué)科的課堂教學(xué)整合；后者則是研究畫面語言如何表現(xiàn)教學(xué)內(nèi)容，但是表現(xiàn)形式并非按照教學(xué)內(nèi)容，而是按照題材劃分的。比如，上例中介紹了設(shè)備的各部件、美術(shù)中的各名畫、技術(shù)中的各術(shù)語、實驗中的各步驟，雖然教學(xué)內(nèi)容互不相同，但是同屬知識介紹類的題材，因此都可以采用畫面的“時間分割”表現(xiàn)形式，叫做介紹類設(shè)計格式。（稍后詳細討論）
　　下面討論多媒體課件中幾種比較常見的設(shè)計格式，看看畫面語言是如何表現(xiàn)不同題材教學(xué)內(nèi)容的。
　　1.知識介紹類設(shè)計格式
　　在多媒體課件中，如果知識點較多，或者知識點內(nèi)包括的內(nèi)容較多，一般采用畫面分割形式表現(xiàn)。此時畫面上呈現(xiàn)的是知識內(nèi)容，設(shè)計這類格式時，應(yīng)遵循以下原則：
　?。?）按照認知規(guī)律（如講解重點、分散難點等）安排教學(xué)內(nèi)容；按照畫面語言的語法（即“多媒體畫面藝術(shù)規(guī)則”）將其呈現(xiàn)在畫面上。
　　（2）畫面分割有空間分割和時間分割兩大類，其中時間分割又分單畫面和多畫面兩類。單畫面時間分割是指點擊的菜單項與其調(diào)出的教學(xué)內(nèi)容呈現(xiàn)在同一畫面上；多畫面時間分割則是指該菜單項調(diào)出的是另一個畫面。選用哪一種畫面分割形式應(yīng)由教學(xué)內(nèi)容的特點而定。
　?。?）可以將規(guī)范這類格式的語法，概括為“大同小異”：所有畫面在整體形式上看應(yīng)該是統(tǒng)一的；而區(qū)別則體現(xiàn)在各畫面的內(nèi)容上。
　　知識介紹類設(shè)計格式的應(yīng)用范圍十分廣泛，既可以用于介紹整個課件的知識結(jié)構(gòu)，也可以用來講解一個元部件上的各個術(shù)語和參數(shù)。分別舉例說明。
　　例1：多媒體課件《鳥》是根據(jù)小學(xué)教科書《自然》第五冊第六課《鳥》設(shè)計的。作者準備從四個方面，通過九個板塊來展現(xiàn)鳥類百科知識，即從鳥的特征方面，通過“鳥的特征”板塊，介紹不同鳥類的喙、羽毛、翅膀、尾巴、腳爪以及產(chǎn)卵等特征；從鳥的生理和習(xí)性方面，通過“生理結(jié)構(gòu)”、“生活習(xí)性”和“分類分布”三個板塊，介紹鳥的生理和習(xí)性方面的知識；從科普知識方面，通過“鳥類進化”和“經(jīng)濟價值”兩個板塊，介紹鳥類演變以及鳥類與人類關(guān)系方面的知識；從人文知識方面，通過“鳥類之最”、“交流園地”和“鳥類故事”三個板塊，分別介紹一些有關(guān)鳥類的特殊類型、喂養(yǎng)知識及幽默故事。顯然，這樣安排教學(xué)內(nèi)容是符合認知規(guī)律的。在用畫面語言呈現(xiàn)這些內(nèi)容時，采用了多畫面時間分割形式，并且按照以下原則進行版面（即“形”）設(shè)計：不同方面板塊的設(shè)計格式互不相同，而相同方面板塊的設(shè)計格式是相同的。具體地講，雖然九個板塊的版面內(nèi)容各有差異，但是課件在菜單的布局、主色調(diào)、背景以及“退出”標志等設(shè)計上的統(tǒng)一，都給人一種完整、協(xié)調(diào)的感覺，而且四個方面之內(nèi)和之間各板塊版面的統(tǒng)一程度也有區(qū)別。這就表明，該課件是通過規(guī)范化的版面設(shè)計（而不是單靠文字表述），分門別類地展現(xiàn)《鳥》的知識結(jié)構(gòu)的。
　　例2：用畫面語言介紹齒輪的10種參數(shù)（齒槽、分度圓、壓力角、模數(shù)等），采用的是如圖1所示的單畫面時間分割形式：點擊畫面左側(cè)參數(shù)菜單的某一菜單項，便有相應(yīng)的圖形和文字（配解說）說明調(diào)出，呈現(xiàn)在右側(cè)的工作區(qū)中。換言之，該知識點的內(nèi)容是在同一畫面上分時呈現(xiàn)出來的。各菜單項調(diào)出的畫面格式相同，采用了統(tǒng)一的色彩、影調(diào)、材質(zhì)等元素，在整體上保持了一個知識點的完整性，又通過精美造型和規(guī)范表述使各參數(shù)的內(nèi)容得以清晰的呈現(xiàn)。
　　
　　由圖1可以看出，畫面語言是通過圖、文、聲、色等多種元素的配合，并且按照規(guī)范的格式表現(xiàn)教學(xué)內(nèi)容的，其中包括了文字、解說的表述，但是它們僅以畫面語言中的成員之一出現(xiàn)，而且都要遵循畫面語言的語法規(guī)則。
　　2.探究性學(xué)習(xí)類設(shè)計格式
　　探究性學(xué)習(xí)課件的畫面上，呈現(xiàn)的不是知識內(nèi)容，而是一個探討問題的平臺。為了能讓學(xué)生在其上進行探究、實驗、交流等活動，對這類平臺提出以下幾點要求。
　?。?）具有按照教學(xué)要求提出問題或創(chuàng)建情景的功能，能為學(xué)生營造進行實驗或其他模擬活動的環(huán)境。
　　（2）能夠提供進行實驗或開展活動的條件，以維持探究性學(xué)習(xí)的順利進行。
　?。?）通常要有為學(xué)生提供交流心得的環(huán)境，便于開展協(xié)作學(xué)習(xí)，共享研究成果。
　　一般地講，編寫探究性學(xué)習(xí)課件時，呈現(xiàn)知識內(nèi)容往往是與教學(xué)過程聯(lián)系起來考慮的，即很難將畫面語義學(xué)和畫面語用學(xué)分開。
　　例如，多媒體課件《電動機》選自中學(xué)物理八年級下冊第九章第六節(jié)《電與磁》，主要介紹有關(guān)電動機的工作原理。鑒于學(xué)生已經(jīng)學(xué)習(xí)了電與磁的基礎(chǔ)知識，但是對電動機轉(zhuǎn)動過程中的電磁轉(zhuǎn)換原理缺乏認識，因此采用了探究性學(xué)習(xí)課件的設(shè)計方案（如圖2）。
　　這類課件一般是配合課堂上自主學(xué)習(xí)或協(xié)作學(xué)習(xí)模式用的。在教師指導(dǎo)下，學(xué)生通過反復(fù)實驗或小組交流，要求明確以下幾個概念：①在磁場中，通電線圈兩平行邊會分別受到大小相等、方向相反的力，由于此二力與線圈平面垂直，形成了力矩，使線圈產(chǎn)生了轉(zhuǎn)動；②在“中性面”兩側(cè)，由于線圈兩平行邊受力形成力矩的方向是相反的。所以只能形成來回擺動，不能產(chǎn)生轉(zhuǎn)動；③如果當(dāng)線圈每次通過“中性面”時，改變電池接線的極性，使流過線圈中的電流反向，這樣線圈就能維持轉(zhuǎn)動下去了。
　　這節(jié)課的重點內(nèi)容是電動機“換向”的工作原理，但是結(jié)論卻要由學(xué)生通過實驗或討論得出來，其中教師的主導(dǎo)作用不僅是提出上述思考問題，而且還包括設(shè)計這個配合學(xué)生思考的實驗平臺。
　　該平臺采用的也是單畫面時間分割形式。在一個畫面上，將上述思考問題所需的各種實驗列入到右側(cè)的菜單中，與各菜單項對應(yīng)的實驗過程，可通過畫面語言中的動畫、圖形、文本、色彩等元素演示出來。這樣的表現(xiàn)形式，充分發(fā)揮了多媒體的優(yōu)勢，是書本教材僅用配圖的文字描述所望塵莫及的。
　　3.情景教學(xué)類設(shè)計格式
　　創(chuàng)設(shè)情景進行教學(xué)，是目前中小學(xué)教學(xué)課件經(jīng)常采用的一種形式。究其原因有二：一是需要，中小學(xué)生受閱歷或知識所限，造成了一些理解課文內(nèi)容的難點，需要創(chuàng)建某些情景，或激發(fā)學(xué)習(xí)興趣，或引入新課，或提出思考、討論的問題，或化解難點；二是可能，多媒體畫面語言具有“以形表義”的特點，十分適合創(chuàng)建形象、生動的情景。
　　設(shè)計情景類格式應(yīng)遵循的原則是，滿足教學(xué)內(nèi)容的需要。具體地講，要不要創(chuàng)設(shè)情境和創(chuàng)設(shè)什么樣的情景，應(yīng)由教學(xué)內(nèi)容的需要決定；創(chuàng)設(shè)的情境要融入到教學(xué)過程中去，既不能“跑題”，也不能“喧賓奪主”，可以用“融入度”指標衡量；評價設(shè)置的情景好壞，應(yīng)看教學(xué)效果。
　　情境教學(xué)類設(shè)計格式可以用于各門課程，一般在低年級應(yīng)用多于高年級。
　　例如，在初中英語第一冊的多媒體課件《單詞樂園》中，將9個單元詞匯分成10組（課件中用module 1—10表示），每組不超過20個單詞。對各組英語單詞采用“釋義”、“拼寫”等練習(xí)形式，并且相應(yīng)地設(shè)計一些游戲類型的情境，將這些練習(xí)融入到各種娛樂形式之中。教學(xué)實踐表明，在多媒體課件中，采用這種玩電子游戲的形式，來化解記憶單詞時枯燥、易忘的難題，是十分有效的。
　　 顯然，設(shè)計這類課件的關(guān)鍵，在于“練習(xí)”與“游戲”二者的融合上。該課件的設(shè)計思路，可供大家參考。①先按傳統(tǒng)教學(xué)形式，設(shè)計各種單詞練習(xí)的題型，如釋義題、拼寫題、填空題等。設(shè)計遵循的是認知規(guī)律；②再按不同類型的練習(xí)題編“游戲故事”，并且用多媒體畫面語言（圖形、動畫、色彩、聲音、交互功能等）將設(shè)計的游戲呈現(xiàn)出來。這時的設(shè)計則需要遵循多媒體畫面藝術(shù)規(guī)則。設(shè)計這類課件時需要注意兩點，一是將單詞練習(xí)融入到游戲的情景中去；二是將練習(xí)題的答案作為游戲獲勝（或成功）的標準。由于教學(xué)作業(yè)和游戲娛樂二者在參與性和心理追求上具有共性，因此用習(xí)題答案作為游戲成功標準的思路，不僅可取，而且應(yīng)該視為一個“亮點”！
　　另一個情景教學(xué)類的案例是課件《機械能》。由于初中學(xué)生缺乏基礎(chǔ)知識，對許多中學(xué)物理概念（如力、速度、加速度、能量、電壓、磁場等）感到抽象難懂，因此在教學(xué)中通過一些形象的情景來講授物理概念，可以收到事半功倍的效果。
　　在課件《機械能》中創(chuàng)設(shè)的情境分兩類，即生產(chǎn)、生活類情景和實驗（試驗）類情景，分別用于說明定義和明確概念、定律等。
　　例如，說明什么是能量、動能或勢能時，可以通過多媒體畫面語言（圖形、動畫、色彩、聲音、交互功能等），創(chuàng)設(shè)開弓射箭、風(fēng)吹帆船、水力發(fā)電等情境引入定義。由于生產(chǎn)、生活中與能量有關(guān)的實例是很多的，因此創(chuàng)設(shè)這類情境與上述給英語單詞練習(xí)編故事相似，選擇的余量較大，只要“實例”能夠說明“定義”即可。
　　對實驗（試驗）類情景的選擇則要嚴格得多。例如，在講授“動、勢能互相轉(zhuǎn)化”的抽象概念時，傳統(tǒng)教學(xué)中常用單擺、滾擺、彈簧等實驗儀器，演示實驗過程中動能和勢能的變化及其轉(zhuǎn)化關(guān)系。此時用多媒體畫面語言來創(chuàng)設(shè)這類情境，不僅要求逼真，使學(xué)生認可該實驗的再現(xiàn)；而且要充分發(fā)揮多媒體的優(yōu)勢，使動能和勢能的變化、轉(zhuǎn)化關(guān)系在畫面上形象地呈現(xiàn)出來。圖3、圖4所示出的分別是單擺和滾擺的實驗情景。
　　如上所述，創(chuàng)設(shè)什么樣的情境是由教學(xué)內(nèi)容決定的，如在第一講的語文課件《記金華的雙龍洞》中，創(chuàng)設(shè)的情境只能是雙龍洞的景色，等等。
　　通過對以上案例的討論便可看出，有了“畫面語言學(xué)”，將多媒體教材看成是用“畫面語言”編寫的，并且按照畫面語義學(xué)探討編寫的特點和規(guī)律，即畫面語言表現(xiàn)各類題材教學(xué)內(nèi)容的設(shè)計格式，那么今后設(shè)計多媒體教材就有“章”可循了。
　　研究設(shè)計格式需要收集各種類型多媒體教材案例，按照多媒體畫面語言所具有的用“形”表義和從時、空兩個維度表義的特點，探討表現(xiàn)教材內(nèi)容中的一些規(guī)律，將其整理成規(guī)范化的格式。不言而喻，這是一項十分繁重的工作。但是對于學(xué)習(xí)畫面語言，是一項打基礎(chǔ)的工作；對于研究一門新的語言類型；則是一項開拓性的工作。