宋占美，孫倪明，屈 燕

繪本閱讀能夠促進幼兒的語言發(fā)展，幼兒能夠通過語氣語調(diào)的變化感知語言韻律，通過看圖片猜測某一單詞或句子的意思，從而形成概念與圖片的對應(yīng)，還可在教師的支持下通過參與故事表演共同構(gòu)建一些特定的語言環(huán)境、語言形式和意義過程。英語繪本是目前國內(nèi)雙語幼兒園普遍采用的重要教學(xué)媒介，以其豐富的故事性、趣味性影響幼兒的英語學(xué)習(xí)。但由于傳統(tǒng)的紙質(zhì)繪本質(zhì)量、設(shè)計以及教師的閱讀水平不高，導(dǎo)致雙語教學(xué)整體互動性弱、教師容易忽略幼兒的情感情緒體驗和閱讀興趣培養(yǎng)等問題；[1]且國內(nèi)雙語幼兒園的英語教師多為本土老師，專業(yè)化水平不高，存在“傳統(tǒng)教育經(jīng)驗?zāi)Ｊ健⒕€性思維”傾向。[2]因此很多雙語幼兒園都存在教學(xué)形式化、小學(xué)化的傾向。針對以上問題，本研究以“讓幼兒在快樂游戲化過程中體驗英語繪本學(xué)習(xí)的有趣”為目的，探究英語繪本學(xué)習(xí)的新手段——多模態(tài)英語電子繪本。

一、多模態(tài)電子交互式繪本的開發(fā)

(一)理論與實踐基礎(chǔ)

“兒童需要借助轉(zhuǎn)喻認識事物之間的鄰近關(guān)系，形成形象思維能力，由此實現(xiàn)認知發(fā)展。好的繪本應(yīng)善于使用文字與圖像等多模態(tài)轉(zhuǎn)喻，用兒童熟悉的認知域來突顯新的認知域，以此引導(dǎo)兒童關(guān)注和理解繪本內(nèi)容”[3]。Neuman(1997)在她的協(xié)同理論中提出，通過多媒體增強語言信息實際上可能有助于兒童學(xué)習(xí)新內(nèi)容，為他們提供處理新信息的新工具。[4]多模態(tài)電子交互式繪本則是利用視頻、圖譜、真人語音、操作引導(dǎo)按鈕組成的兒童可觸摸電子繪本，融合了聽覺、視覺、觸覺三大模態(tài)，基于維果斯基社會文化理論和多模態(tài)文本理論(Jewitt &Kress，2003;Kress，2010)而誕生的一種運用于幼兒繪本領(lǐng)域的教學(xué)輔助工具。[5]

國外已有研究通過大量實驗證明基于電子設(shè)備的交互式繪本可以讓3—6歲幼兒使用，并且可以在一定程度上促進幼兒的雙語學(xué)習(xí)和提升幼兒語言思維能力，尤其在3—6歲這個語言發(fā)展的關(guān)鍵期，采用多模態(tài)電子繪本可以促進幼兒有效閱讀。Cristine.W是目前多模態(tài)電子交互式繪本使用領(lǐng)域的專業(yè)研究者，她根據(jù)多個實驗研究，得出了關(guān)于多模態(tài)繪本的如下特點：(1)有動畫作為輔助可吸引孩子注意；(2)多模態(tài)繪本聲畫同步，通過豐富的按鍵可以讓孩子點讀、跟讀、聽讀文本；(3)繪本操作過程中及時彈跳出來的單詞解釋可以鞏固孩子的單詞記憶；(4)多種功能模式閱讀，尤其是孩子利用集成模式(聽讀、使用不同功能的按鍵、評論文本)和伙伴一起閱讀，可以促進社會互動能力發(fā)展。[6]美國、土耳其等國家的幼兒園目前已經(jīng)開始投入多模態(tài)電子繪本作為促進幼兒雙語學(xué)習(xí)的重要輔助工具。2018年4月，亞馬遜推出了一款兒童版智能音箱Echo Dot Kids Ediyion，該系統(tǒng)屬于多模態(tài)人機交互，研究者目前將這套系統(tǒng)運用于兒童早期閱讀領(lǐng)域，通過兒童自由點擊、傳輸語言，只需輕點電子屏幕上的圖文，視覺交互終端就能通過攝像頭采集，并對內(nèi)容進行定位、提取和識別，實時解決孩子在閱讀中遇到的難題。[7]國內(nèi)研究者孫平(2016)也提出通過構(gòu)建兒童繪本跨媒體閱讀新模式，促進新時期兒童繪本閱讀的良性健康發(fā)展；[8]劉曉婷(2016)通過版式風(fēng)格、構(gòu)圖、角色造型、文字特征和色彩特征五個方面，設(shè)計兒童繪本APP，讓兒童在觀看電子繪本時通過視覺、聽覺、觸覺與電子繪本產(chǎn)生互動。[9]但國內(nèi)的幼兒園目前很少有利用多模態(tài)電子交互式繪本進行雙語教學(xué)的案例。

事實上，“諸如變焦鏡頭和音效等多媒體增強功能可以使動作更加突出，并將孩子們的注意力吸引到相關(guān)細節(jié)上”[10]。多模態(tài)電子交互式繪本通常有動畫視頻、功能按鍵、導(dǎo)航菜單和其他(返回、數(shù)據(jù)保留)這幾個部分，[11]每個部分的設(shè)置也是構(gòu)成電子繪本特點的重要因素，如“動畫”，不同的繪本有不同動畫部分，包括聽讀無動畫、自動連播動畫、手動點播動畫和可自動可手動模式；再如“功能按鍵”，有無按鍵繪本，也有與故事線保持一致的按鍵，這些不一樣的設(shè)置能告訴教育者怎樣的模式才是最適合幼兒的，并反饋到下一輪研發(fā)中，將功能按鈕、繪本排版、動畫、測試等模塊都調(diào)整到適合幼兒使用的方式。

(二)開發(fā)過程

1.開發(fā)理念與目標(biāo)

多模態(tài)電子交互式繪本是對傳統(tǒng)紙質(zhì)繪本的補充，可以在幼兒欣賞靜態(tài)繪本之余，通過自主聽、看、玩游戲等方式，豐富整個英語學(xué)習(xí)過程，讓幼兒在涂畫和玩樂中潛移默化地接受英語語言的熏陶。設(shè)計該類型繪本的初衷是想要解答“怎樣實現(xiàn)孩子與繪本之間的聯(lián)系”“如何讓繪本‘自己說話’”“如何讓幼兒在游戲中學(xué)英語”“怎樣幫助孩子養(yǎng)成良好的閱讀習(xí)慣”以及“如何讓孩子在玩樂中感知原汁原味的英語”這幾個問題。因此，開發(fā)目標(biāo)是：(1)通過巧妙的軟件設(shè)計，讓孩子自己在繪本里找尋答案；(2)在此基礎(chǔ)上，通過原繪本的內(nèi)容，讓孩子更好地理解單詞句子和情境；(3)通過讓孩子自主點讀，讓教師從“全方位干預(yù)”中解脫出來，教師不再是幼兒繪本閱讀的指導(dǎo)者和監(jiān)督者，而是幼兒閱讀過程中的陪伴者；(4)通過豐富的內(nèi)容拓展，讓孩子不僅學(xué)習(xí)英語，也了解相關(guān)百科知識，更有體驗感，從而建立音、意、形之間的連接。

2.開發(fā)工具

本研究所使用的多模態(tài)電子交互式繪本為研究者本人所在團隊共同研發(fā)，使用來自中國臺灣的Hama Star科技軟件“Simmagic互動式電子書編輯軟件”，經(jīng)授權(quán)，研究團隊可以登錄永久使用。Simmagic互動式電子書編輯軟件操作簡便易上手，研究者需要將視頻、音頻、圖片、游戲代碼等素材提前準(zhǔn)備好，之后一一導(dǎo)入該系統(tǒng)的“電子書母版”，在母版中直接編輯素材即可。該軟件的主要功能有彈跳視窗、另開附件、幻燈片播放、插入視頻、邊框截取、動作軌跡、測試板塊等。以“幻燈片播放”為例，研究者將一個魔方的前后左右上下6個面全部拍照導(dǎo)入系統(tǒng)中后，利用幻燈片播放功能，可以實現(xiàn)該魔方的“360度旋轉(zhuǎn)”，使用者通過拖拉圖片，即可看到該物體的3D呈現(xiàn)方式，這一功能對于幼兒學(xué)習(xí)簡單圖形和方位有很大幫助。

3.“藍本”選取

為了配套目標(biāo)幼兒園正在使用的繪本，研究團隊根據(jù)幼兒年齡特點和身心發(fā)展規(guī)律，在紙質(zhì)雙語繪本Babylovesspring、Countingkisses、BrownbearBrownbearwhatdoyousee、Whoneedsadrink的基礎(chǔ)上，制作出多模態(tài)電子繪本，在原有繪本的基礎(chǔ)上，令靜態(tài)繪本圖片“發(fā)聲”“動起來”，并增加了百科知識和游戲。這4本紙質(zhì)繪本圍繞春天、數(shù)字、顏色、盥洗這些與幼兒日常相關(guān)的內(nèi)容展開，以故事的形式敘述與幼兒活動相關(guān)的英語單詞句子，既能夠讓幼兒對英語語言產(chǎn)生興趣，也能夠讓幼兒在故事中學(xué)習(xí)到與自己相關(guān)的簡單日常英語。

4.開發(fā)思路

(1)游戲化。多模態(tài)電子交互式繪本要結(jié)合具體園所的具體教學(xué)目標(biāo)，如主題目標(biāo)、課程目標(biāo)，結(jié)合幼兒現(xiàn)有操作水平，在幼兒“最近發(fā)展區(qū)”[12]內(nèi)進行；結(jié)合課程游戲化的理念，將游戲融入學(xué)習(xí)過程中，如我們設(shè)計的測試題采用游戲“刮刮樂”“連連看”“貪吃蛇”“打地鼠”等幼兒比較熟悉的操作方式，將英語單詞、句型、對話融入游戲中，讓幼兒在涂畫和玩樂中學(xué)習(xí)；結(jié)合繪本內(nèi)容，創(chuàng)造出更多價值。

(2)集成化?；赟immagic軟件設(shè)計的多模態(tài)電子交互式繪本集成了六大功能：一是點讀功能。幼兒通過手指點擊屏幕上的按鈕，實現(xiàn)單詞、句型點讀，研究團隊設(shè)計了“喇叭”“藍色小手”提示圖標(biāo)來引導(dǎo)幼兒點擊目標(biāo)單詞和句子。二是聽說功能。幼兒點擊后可重復(fù)多次，也可以將自己的聲音錄下來聽聽自己的讀音等。三是寫畫功能。幼兒可以點擊電子屏幕最下面一欄的“畫筆”按鍵，隨時隨地涂涂寫寫，也可以做標(biāo)記，如畫圈、打星號等。四是體驗功能。研究團隊編輯的音效全部來自真人真聲，視頻動畫也是采用幼兒熟悉的動畫，讓幼兒感受到自然、真實的聲音和熟悉的動畫人物，從而喜歡探索多模態(tài)電子繪本。五是游戲功能。這里的游戲主要是上文提到的“刮刮樂”“連連看”“打地鼠”等幼兒喜愛且熟悉的游戲，研究團隊不只是為了讓幼兒玩樂，也是將重點詞句、概念融入游戲中，讓孩子在游戲中學(xué)習(xí)。六是測試功能。研究團隊設(shè)計的測試題針對目標(biāo)幼兒的年齡段，設(shè)計了適合但高于幼兒目前水平的測試題，如單詞點選題、圖片單詞連線題等，這些測試題的作用體現(xiàn)在，可以幫助教育者掌握幼兒學(xué)習(xí)程度。部分電子書操作畫面如圖1所示。

圖1 電子書操作畫面圖

二、多模態(tài)電子交互式繪本的應(yīng)用

(一)對象選取

研究對象均來自溫州市某教育集團園旗下的4所幼兒園，研究團隊將本次研究的對象確定在小班下學(xué)期這一時段。這個年齡段的孩子有著“強烈的好奇心和探究欲望”，并且他們已經(jīng)接受過一學(xué)期的英語繪本教學(xué)了，因此本次研究綜合考慮幼兒的年齡特點和幼兒園教學(xué)的現(xiàn)實因素，將研究對象的范圍確定在了小班下學(xué)期這一時段。由于實施多模態(tài)繪本需要大量的平板電腦，而且需要拍攝幼兒的操作過程，以便后續(xù)觀察分析所用，因此多模態(tài)繪本應(yīng)用的第一步，研究團隊就對所選擇的所有小班幼兒家長進行了問卷調(diào)查，了解家長對于多模態(tài)電子交互式繪本的認識程度及態(tài)度看法等，以便綜合考慮篩選符合條件的目標(biāo)幼兒。研究者用問卷星編制問卷，涉及的問題包括家長對多模態(tài)繪本的了解程度、是否同意幼兒接觸電子設(shè)備、平時給幼兒使用什么類型的電子設(shè)備等，最后共收集到122份小班幼兒的家長問卷。在其中篩選符合“家里有iPad”“同意幼兒接觸多模態(tài)繪本”“同意幼兒在操作過程中被拍攝”條件的幼兒，最后共獲得36名目標(biāo)幼兒，男孩21名，女孩15名，年齡集中在4—4.5周歲。

(二)研究時間

整個研究為期13周，第1周對樣本幼兒進行英語水平前測，第13周進行后測，幼兒有11周接觸多模態(tài)繪本的時間；每周進行1次多模態(tài)繪本活動，每次30分鐘，前10分鐘為研究者和幼兒共同閱讀紙質(zhì)繪本，后20分鐘為幼兒自主操作多模態(tài)電子繪本；每進行完1次多模態(tài)繪本的操作，由幼兒園主班老師帶領(lǐng)幼兒到戶外場地運動、遠眺片刻，目的是保護幼兒的視力。在整個實施過程中，研究團隊和幼兒園的老師會不斷提醒幼兒保持正確的坐姿，且眼睛與平板電腦保持一定距離。

(三)具體實施

1.目標(biāo)幼兒的操作方式

首先是幼兒的操作。以紙質(zhì)繪本為基礎(chǔ)，通過遮罩單詞、隱藏部分內(nèi)容、點讀語句、設(shè)置測試題等，讓幼兒通過手指點擊操作，自主閱讀一本多模態(tài)電子繪本，幼兒在提示按鈕的引導(dǎo)下點擊學(xué)習(xí)英語單詞、跟讀句子以及理解繪本內(nèi)容。其次是幼兒的分組。研究者安排4個幼兒為一桌，由1位教師負責(zé)觀察和介紹電子繪本用法，另1位研究助手負責(zé)拍攝和記錄。操作良好的幼兒單獨使用自己帶來的平板電腦，操作水平較弱的幼兒則和另一位水平高一些的幼兒一組，進行同伴共讀。所有平板電腦均由幼兒自帶，研究者提前準(zhǔn)備5臺平板電腦作為備用，研究團隊會將制作好的繪本提前一天下載到幼兒的平板電腦上，第二天幼兒直接打開即可操作。

2.目標(biāo)幼兒的評價工具

36名幼兒接觸多模態(tài)電子繪本11周后，研究者使用COR學(xué)前兒童觀察評價系統(tǒng)量表對他們的英語等級進行評定。該工具由高瞻教育研究基金會和高瞻早期教育評價中心開發(fā)，開發(fā)者包括：安·愛潑斯坦(Ann S.Epstein)、吉爾·克拉克斯頓(Jill Claxton)、貝絲·哈丁(Beth Hardin)、麗貝卡·詹姆斯(Rebecca James)、莫莉·喬丹(Molly Jourden)等。COR Advantage(學(xué)前兒童觀察評價系統(tǒng))是高瞻課程模式的最新兒童觀察評價系統(tǒng)，具有發(fā)展適宜性、高信度、高效度等特點。[13]它包括學(xué)習(xí)品質(zhì)、社會性和情感發(fā)展、身體發(fā)展和健康、語言讀寫和交流、數(shù)學(xué)、創(chuàng)造性藝術(shù)、科學(xué)和技術(shù)、社會學(xué)習(xí)、英語語言學(xué)習(xí)(針對母語非英語的兒童)九大領(lǐng)域。研究者將采用九大領(lǐng)域之一的英語語言學(xué)習(xí)這一維度，與幼兒園教師一同觀察幼兒，給幼兒較為客觀的英語水平等級分?jǐn)?shù)。

(四)研究結(jié)果

研究者對目標(biāo)幼兒進行了2周的行為觀察，與主班副班老師及同行的研究伙伴一同給目標(biāo)幼兒評定打分，多模態(tài)繪本投入前的前測等級得分和后測得分如下表格所示(以隨機2人為例)：

表1 多模態(tài)繪本投入前后的幼兒英語語言COR等級水平

表2 COR IX.II維度上的前后測t檢驗結(jié)果

表3 COR IX.JJ維度上的前后測t檢驗結(jié)果

將36名幼兒的數(shù)據(jù)結(jié)果輸入SPSS中運用配對樣本t檢驗分析前后測數(shù)據(jù)的顯著性，經(jīng)過多模態(tài)電子交互式繪本學(xué)習(xí)后的第2次COR IX.II即英語聽力與理解(M=4.38，SD=0.779)顯著高于未使用多模態(tài)電子交互式繪本的第1次COR IX.II(M=3.86，SD=0.593)，t(36)=-4.14，P<0.05，d=0.69。

經(jīng)過多模態(tài)電子交互式繪本學(xué)習(xí)后的第2次COR IX.JJ即英語口語(M=4.17，SD=0.971)顯著高于未使用多模態(tài)電子交互式繪本的第1次COR IX.JJ(M=3.14，SD=0.351)，t(36)=-7.025，P<0.05。

根據(jù)t檢驗的結(jié)果，經(jīng)過多模態(tài)電子交互式繪本學(xué)習(xí)，36名目標(biāo)幼兒無論是英語聽力與理解還是英語口語的等級分?jǐn)?shù)與使用前有著顯著區(qū)別，第一次的均值均小于第二次的均值，足以證明研究者制作出來的多模態(tài)電子繪本的有效性。

研究者通過拍攝照片、視頻等，記錄幼兒對多模態(tài)電子交互式繪本的使用情況，發(fā)現(xiàn)大部分幼兒非常喜歡使用多模態(tài)電子交互式繪本，在操作過程中幼兒的情緒普遍較高，他們喜歡點擊可以彈跳出來的圖片，也喜歡跟唱繪本中的兒歌，對多模態(tài)繪本中文字的關(guān)注度明顯高于紙質(zhì)繪本。

三、小結(jié)與建議

在多模態(tài)電子繪本的開發(fā)上，研究者發(fā)現(xiàn)：(1)幼兒更喜愛偏向擬人化的、具有很強故事性的繪本；(2)對于大量重復(fù)性畫面的繪本，幼兒目光停留的時間會很短；(3)幼兒在游戲模塊、畫筆涂色模塊停留的時間較長。因此，在之后的多模態(tài)繪本開發(fā)制作中，研究者需要注重對不同模態(tài)版面設(shè)計的調(diào)整，避免大量重復(fù)的畫面，此外繪本藍本的選取也要充分考慮故事性、擬人性這些特點。

在多模態(tài)電子繪本的應(yīng)用上，實驗中目標(biāo)幼兒對多模態(tài)電子繪本的興趣和關(guān)注度都顯著高于紙質(zhì)繪本，并顯著提升了自己的英語水平。因此讓幼兒在“玩樂”中感受語言學(xué)習(xí)的過程才是基于幼兒視角開展的適宜性教學(xué)活動，這也再次證明了語言的學(xué)習(xí)是需要基于幼兒的興趣進行的，且語言的學(xué)習(xí)是一個潛移默化、浸潤式的過程。因此教師的角色尤為重要，教師需適時采用自上而下的“師者角色式”顯性指導(dǎo)和平行關(guān)系的“伙伴角色”隱性指導(dǎo)，[14]將語言滲透到幼兒園一日流程中。

由于多模態(tài)繪本的操作是以幼兒自主活動為主，這就要求幼兒有“內(nèi)隱認知”[15]的需求。美國心理學(xué)家Reber于1967年提出了“內(nèi)隱學(xué)習(xí)”，它是指無意識、自動化地獲得規(guī)則的認知加工過程。[16]在多模態(tài)繪本制作與運用的過程中，幼兒接受多模態(tài)繪本這個工具是無意識的，他們并不知道多模態(tài)繪本是什么，在他們的概念里，這是一個可以讓他們“玩樂”的工具。但是隨著研究者在多模態(tài)繪本里加入語言、認知、游戲等元素，幼兒的“自動化”便形成了，他們會根據(jù)繪本按鍵中的提示逐漸找到方法，熟練之后甚至不需要提示，可完全自動操作一本繪本。這其中的關(guān)鍵便在于多模態(tài)繪本給幼兒的呈現(xiàn)方式，是以幼兒的視角來設(shè)計并制作的，一定程度上激發(fā)了幼兒內(nèi)隱認知的需求。

在今后的多模態(tài)繪本實驗中，還應(yīng)在以下方面逐步完善：(1)要在設(shè)備上爭取全方位調(diào)試，能夠讓多模態(tài)電子交互式繪本在各個電子設(shè)備以及相關(guān)平臺上使用，以便讓更多孩子參與進來；(2)教育者應(yīng)該充分做好家長工作，讓家長了解多模態(tài)電子交互式繪本的具體操作，并觀察記錄好每一位幼兒的使用情況和成長情況，及時上報開發(fā)者，做到開發(fā)與教育一致；(3)在家園合作方面，可以通過密切的家長會、小組討論會、家長委員交流會等，讓家長了解孩子的操作使用情況，以便及時與教師聯(lián)系，還可以通過家庭親子閱讀，讓多模態(tài)電子繪本走進千萬家庭生活中，做到家園一致，保障幼兒身心健康成長。