(青少年網絡心理與行為教育部重點實驗室;華中師范大學心理學院,武漢 430079)

1 問題提出

多媒體學習(multimedia learning)是指對言語(口頭語言和文字)和圖片表征材料(圖片、聲音、視頻等)的心理建構和加工(Mayer,2005)。隨著科技的不斷發(fā)展,多媒體學習材料在教學及其他領域也得到了普及。但是豐富多樣的多媒體學習材料也同時存在信息量過大,學習者注意力被任務無關的信息捕獲而不利于學習效果的情況(Lowe,1999,2003),所以如何正確地引導學習者的注意力分配,以更好地促進多媒體學習中的圖文整合效果是研究關心的重點。

1.1 鄰近效應對圖文整合的影響

已有研究發(fā)現,良好的圖文編排方式能夠有效地引導學習者的注意,并提高學習者的學習效果(Schnotz,2005)。為了防止圖文結合呈現時學習過程中的注意分離(split-attention),研究者將圖片信息和文本信息鄰近排列而提高學習成績的現象稱為鄰近效應(contiguity effect)(Ayres &Sweller,2005;Mayer &Moreno,1998;Sweller,Van Merrienboer,&Paas,1998)。根據具體操作因素的不同,它又分為兩大類：一種是在空間位置上,圖片信息和文本信息鄰近排列而促進學習的現象,稱為空間鄰近效應(spatial contiguity effect);另一種是在時間因素上,圖片信息和文本信息同步編排而促進學習的現象,稱為時間臨近效應(temporal contiguity principle)(Mayer,2001)。在本研究中僅探討空間鄰近效應。

空間鄰近效應最先由Tarmizi和Sweller(1988)提出,他們發(fā)現在數學問題解決的過程中,將材料信息結合呈現能減少加工材料的認知負荷,并提高學習的正確率。在Mayer(2001)的多媒體學習原則中,稱其為空間鄰近原則(spatial contiguity principle),認為文本與圖片空間鄰近呈現時,學習者可以減少搜索相關信息的時間,同時也能將搜索到的信息更多地保存在短時記憶中,這樣的呈現效果比隔開呈現更能促進學生的學習(Ayres &Sweller,2005;Cierniak,Scheiter,&Gerjets,2009;Mayer &Moreno,1998)。Ginns(2006)對50項有關多媒體學習鄰近原則研究的元分析發(fā)現,鄰近效應確實有利于學習成績的提高或改進學習的效果(

d

=0.85)?？臻g鄰近效應在動畫教學(Kester,Kirschner,&Merri?nboer,2005)、書本閱讀(Mayer,Steinhoff,Bower,&Mars,1995)和報紙閱讀(Holsanova,Holmberg,&Holmqvist,2009)等研究領域中證明了其獨特的優(yōu)勢。

在多媒體學習中,圖文的空間位置變化確實會影響學習者的學習效果,但是其具體的加工過程是什么,卻較少被研究所探討。以往的一些研究中,研究者更多從認知負荷角度解釋鄰近效應。認為鄰近排列的文字和圖示減輕了學習者的認知負荷,從而有利于學習(Cierniak et al.,2009;Moreno &Mayer,1999)。Schmidt-Weigand,Kohnert和 Glowalla(2010)采用眼動技術探討了通道效應和鄰近效應的認知加工過程,眼動數據發(fā)現被試在學習有圖-文內容的閃電原理時注視文字內容更多;對圖片的注視時間在圖文鄰近情況下長于圖文遠離;注視圖片時間與學習結果呈現正相關。Johnson和 Mayer(2012)研究發(fā)現,圖文鄰近呈現組在圖片和文字間的注視點轉換比圖文遠離時更加頻繁。基于這些研究,本研究推測也許是圖-文位置的鄰近促進了學習者的視覺搜索,進而促進了圖片知識和文本知識的整合,促進了學習的結果。這就需要記錄學習者學習過程中的眼動數據,進一步驗證是否圖-文鄰近有利于學習者的注意加工過程。

1.2 線索對圖文整合的影響

在多媒體學習中,除了調整圖文位置來加強圖文整合外,在學習材料中適當地加入線索(cueing)也是引導注意力分配的一個常用方法。這里的線索是指通過操作指導材料視覺空間上的特征,從而達到幫助學習者注意相關信息以更好地把新知識與已有知識組織和整合成統(tǒng)一圖式的目的(綜述見：De Koning,Tabbers,Rikers,&Paas,2009)。線索的類型繁多,包括列舉大綱(topic shifts)、寫標題(outlines or headings )、箭頭(arrows)、顏色(color)等(中文綜述見：王福興,段朝輝,周宗奎,2013)。綜述以往研究發(fā)現,對多媒體學習注意引導最有效的線索是顏色(Kalyuga,Chandler,&Sweller,1999;Ozcelik,Arslan-Ari,&Cagiltay,2010;Ozcelik,Karakus,Kursun,&Cagiltay,2009)和對比度變化(De Koning,Tabbers,Rikers,&Paas,2007,2010)。并且考慮到教學設置的操作性和實用性,本研究采用顏色作為線索,通過對學習材料中的關鍵信息進行顏色凸顯以區(qū)別于其他信息的方式來引導注意加工、促進學習(不同類型線索有效性評價見：王福興 等,2013.p1431)。

綜述以往研究發(fā)現,線索影響多媒體學習效果主要是通過三步進行。首先是引導學習者注意到線索區(qū),從而引導學習者對知識的組織,最后幫助學習者進行新舊知識的整合(De Koning et al.,2009;Mautone &Mayer,2001)。在對多媒體學習的研究中,顏色線索在學習鋼琴運行原理(Boucheix &Lowe,2010)、飛機引擎的工作原理(Ozcelik et al.,2010)、飛機的起飛原理(Mautone &Mayer,2001)、心血管循環(huán)系統(tǒng)(De Koning et al.,2007)和齒輪結構(Boucheix &Guignard,2005)等知識學習上已經得到正面的驗證,發(fā)現顏色線索確實能提高學習者對知識的理解,從而在理解或保持測驗上得分更高。研究進一步采用眼動技術探討顏色線索和空間鄰近對多媒體學習注意引導和學習效果的影響。

在多媒體學習中,線索即便有引導學習者注意分配的作用,但是能否有效地改善對知識的識記和理解卻存在分歧。對線索研究的回顧發(fā)現當文本信息不與圖片同時出現時,無論其作為啟動信號出現在動畫或圖片信息的前面(Crooks,Cheon,Inan,Ari,&Flores,2012;De Koning et al.,2010;Fischer &Schwan,2010;Kriz &Hegarty,2007),還是作為補充信息出現在動畫或圖片信息的后面(Fischer &Schwan,2010),圖片上設置的視覺線索都沒有達到線索預期的效果。這也許是因為文本信息與圖片信息的時間不同步影響了知識的組織和加工,使得線索即使達到了引導注意的目的,但是引導知識組織和整合的作用卻沒有顯現(參見：De Koning et al.,2009)。相反的,當文本線索與圖片信息同步出現時,文本線索和視覺線索引導注意、組織和整合知識的功能都能很好地實現,學習者的學習成績也得到了提升(Boucheix &Guignard,2005;Boucheix &Lowe,2010;Mautone &Mayer,2001;Ozcelik et al.,2010)。由此推測,線索對多媒體學習效果的影響很大程度上與圖文位置的呈現有很大關系。因此,本研究以顏色作為線索進一步探討線索是否在圖文鄰近效應的加工中起到調節(jié)作用。此外,將線索效應與鄰近效應結合也有助于探索線索在什么條件下發(fā)揮作用,為有效使用線索提供依據。

基于以上論述,研究以多媒體學習中經典的“閃電的形成原理”作為學習材料(Mayer,2005;Mayer &Moreno,1998;Moreno &Mayer,1999),采用文字與圖片同時呈現的動畫作為呈現形式,同時在文本和圖形中加入顏色線索,來考查顏色線索和鄰近效應在多媒體學習中對圖文知識識記及其理解的影響。此外,借助于即時(moment to moment)記錄和反應個體視覺認知加工和注意分配的眼動技術(多媒體學習眼動研究評述見：Hy?n?,2010;Mayer,2010;Scheiter &Van Gog,2009;Van Gog &Scheiter,2010),探討鄰近效應和線索效應在圖文整合中學習者的注意分配問題。以往關于空間鄰近效應研究大部分都證明了空間鄰近要好于空間遠離(Cierniak et al.,2009;Ginns,2006;Kester,Kirschner,&van Merri?nboer,2005;Mayer &Moreno,1998),所以研究預期假設認為：圖文位置鄰近排列更有利于學習,并且會促進學習者對學習材料的視覺搜索,即鄰近排列的圖文會讓被試更多注視線索信息或文字信息。對線索綜述也可以發(fā)現,顏色線索在很多研究中都能有效引導注意、促進知識整合(Kalyuga et al.,1999;Ozcelik et al.,2010;Ozcelik et al.,2009),研究預期學習材料中加入線索會促進學習效果,有線索的測驗成績要好于無線索。根據線索可以引導注意假設(De Koning et al.,2009;Mautone&Mayer,2001),線索加入會凸顯關鍵信息,被試對有顏色線索的信息注視會更多。對于線索和圖文的物理排列位置相互作用,根據相關的眼動研究結果(Johnson &Mayer,2012;Schmidt-Weigand et al.,2010),研究推測線索會更加凸顯鄰近效應,即位置鄰近且有線索時最有利于學習者視覺搜索,從而促進學習的效果。

2 方法

實驗設計為線索(無線索、有線索)和圖文位置(遠離、鄰近)的兩因素被試間設計,具體設計參見圖1。

2.1 被試

被試為華中師范大學在校大學生,所有被試都經過經驗水平前測問卷進行篩選。實驗共招募符合要求被試57人,刪除眼動數據異常的6人,最后有效被試51人。被試被隨機分配到4種條件下：其中遠離無線索組13人,遠離有線索組12人,鄰近無線索組14人,鄰近有線索組12人。男生14人,女生37人,平均年齡22歲(

SD

=2.4)。所有被試的視力或者矯正視力正常,無色弱或者色盲。在實驗結束后,每個被試得到一份小禮品或者課堂學分作為回饋。

因變量包括：(1)測驗成績：學習后的保持測驗和遷移測驗。(2)主觀評定：動畫難度評定和問卷難度評定。(3)眼動：興趣區(qū)眼動注視指標。

2.2 材料

2.2.1 學習材料

實驗學習材料來自 Mayer在多媒體學習中使用的經典材料“閃電的形成原理”(Mayer,2005;Mayer &Moreno,1998;Moreno &Mayer,1999),具體刺激材料樣式見圖1。動畫文字部分內容從英文翻譯成中文,為了確保文字翻譯的準確性,研究者又請母語為英語、第二語言為漢語的美國留學生翻譯回英文,翻譯后的一致率為85%。研究者將翻譯不一致的地方與翻譯者探討后最終確定文字材料部分的中文內容。研究將學習材料制作成一段動態(tài)的動畫呈現,動畫素材格式為800×600像素的AVI,由16幅圖片素材和16段文字內容構成,整個動畫持續(xù)時間為155秒。其中圖片與文本描述在動畫中一一對應,由電腦控制使圖文同步呈現。線索設置采用紅色作為標記(Ozcelik et al.,2010)。其中線索組按照任務相關與任務無關(Canham &Hegarty,2010;Hegarty,Canham,&Fabrikant,2010)的劃分標準,把文字區(qū)和圖片區(qū)的相關興趣區(qū)劃為線索區(qū),經評定,線索區(qū)的信息與保持測驗的答案一致率達到95%以上。

2.2.2 前測問卷

氣象知識前測問卷參照 Mayer等人的研究編制(Mayer &Moreno,1998;Moreno &Mayer,1999),用來控制被試的經驗水平,共 8題：1)我定期閱覽報紙或者網上的天氣預報;2)我知道氣象中冷鋒的含義;3)我能區(qū)分積云與雨云的不同;4)我知道低氣壓系統(tǒng)是如何運行的;5)我知道刮風是如何形成的;6)我知道這個符號(冷鋒標志)的含義;7)我知道這個符號(暖鋒標志)的含義。其中每題按自己對知識的了解情況分“很少、較少、一般、較多、很多”五個維度計分,共5分。

2.2.3 保持測驗和遷移測驗

保持測驗和遷移測驗參照已有研究,并參照刺激材料文字部分對問題表述和評分點進行了翻譯和回翻,確保準確性和一致性(Mayer,2005;Moreno &Mayer,1999)。保持測驗要求學生寫出閃電的形成過程,評分點共19個,滿分19分。保持測驗目的在于考察學習者對知識的識記能力。遷移測驗由 4個問題組成,包括“如何才能降低閃電的強度？”;“假設你看見天空中的云層卻沒有出現閃電,這是為什么？”;“氣溫和閃電是什么關系？”;“什么導致了閃電？”。其中每個問題有兩個知識點,滿分8分,遷移測驗目的是測查把知識遷移并應用到新的情景中解決問題的能力。兩個測驗評分由2名經過培訓的評分者完成,最后得分取2人的平均分。計算兩個獨立評分者的 Pearson積差相關,保持測驗為0.94,遷移測驗為0.92(

p

<0.001)。

圖1 實驗用動畫材料截圖

2.2.4 主觀評定量表

動畫主觀難度(1表示非常簡單,9表示非常難)和測驗難度(1表示最簡單,9表示最難)評定均采用利克特9點評定。

2.3 儀器與程序

眼動數據采集為EyeLink 1000 Desktop型眼動儀(SR Research,Canada),采樣率250 Hz,瞳孔-角膜反射記錄,19英寸顯示器(1024×768分辨率,屏幕比例 5:4,眼睛距屏幕75 cm)。刺激材料可視區(qū)域的水平視角28.7度,垂直視角22.9度。

實驗開始前,對所有被試進行氣象學知識前測篩選。篩選結束后向被試呈現指導語,告知實驗內容及要求。被試明白后進行眼睛校準,然后進入正式實驗并學習動畫視頻材料。實驗結束后分別在規(guī)定時間內完成兩份問卷：第一份問卷包括動畫難度評定和保持測驗,規(guī)定時間為6分鐘;隨后呈現第二份問卷,包括遷移測驗和問卷難度評定,共10分鐘。

3 結果

3.1 保持測驗和遷移測驗得分

為了檢驗學生在不同的材料呈現形式及線索有無條件下對學習材料的識記、理解和應用,研究采用了保持測驗和遷移測驗,并以動畫感知難度評定量表和問卷感知難度量表為補充,較為全面地對學習效果進行了檢測(見表1)。

表1 各實驗條件的問卷得分和線索區(qū)眼動數據

3.2 圖片和文字興趣區(qū)的注視

由于學習材料為動態(tài)視頻,所以眼動數據處理時根據16幅圖片素材將動畫視頻切分為16個片段,在每個片段上劃興趣區(qū)(圖片、文字、線索),使用EyeLink自帶的數據分析軟件 DataViewer導出 16個片段的眼動數據,最后再將 16個片段平均后注視數據作為每個被試對興趣區(qū)注視數據進入統(tǒng)計分析。為了探討不同的線索及圖文空間位置是否會影響學習者對學習材料中圖片和文本的注意分配,及其相應的認知加工過程,本研究對四組動畫材料進行了圖片興趣區(qū)和文字興趣區(qū)的劃分,并確保不同圖文位置材料的文字區(qū)面積大小和圖片區(qū)面積大小差異不顯著。選取的眼動指標有興趣區(qū)停留時間百分比(Dwell Time Percent of AOI,簡稱 DTP,指注視停留在圖片或文字區(qū)的時間與停留在整個動畫上時間的比值,數值越大說明對圖或文的加工越長)、興趣區(qū)注視點個數(Fixation Count of AOI,簡稱 FC,是指被試注視圖片或文字區(qū)域的注視點數量,數值越大說明注視次數越多)以及在興趣區(qū)的首次注視時間(First Fixation Time of AOI,簡稱FFT,指的是對圖片區(qū)或文字區(qū)第一次注視加工的時間,反映了被試對圖或文字的第一次加工時間)(有關眼動指標含義參見：閆國利 等,2013)。這三個指標都可以說明學習者對興趣區(qū)(圖或文字)的關注程度,一般而言,值越大就代表對興趣區(qū)的注意加工越多。由于100 ms是作為區(qū)分注視與其他眼動活動的界限(Manor &Gordon,2003),所以研究把注視時間100 ms及以上的注視點納入結果分析。對這些眼動數據進行了 2(線索：無線索、有線索)×2(圖文位置：遠離、鄰近)×2(興趣區(qū)：圖片區(qū)、文字區(qū))三因素混合重復測量方差分析(數據見表2)。

表2 各實驗條件下對圖片-文字區(qū)的注視

3.3 線索區(qū)的注視

由上述結果看到,圖文位置會影響學習者對圖文信息的加工,并且線索也會在一定程度上影響這種圖文整合。所以為了進一步探討線索的影響機制,研究把材料中的線索區(qū)域作為興趣區(qū),對比分析鄰近和遠離情況下,有線索組和無線索組的眼動差異。選取的眼動指標有興趣區(qū)停留時間百分比(DTP,含義同前)、興趣區(qū)注視點個數百分比(Fixation Count Percent of AOI,簡稱FCP,是指對線索注視點個數占對整個動畫注視點個數比例,值越大說明對線索注視和加工越多)和進出興趣區(qū)次數(Run Count of AOI,簡寫為RC,是指被試頻繁地在線索和其他區(qū)域間來回注視的次數,值越大說明對興趣區(qū)關注越多)共3個指標,并進行2(線索：有線索、無線索)×2(圖文位置：遠離、鄰近)被試間分析(結果見表1)。

在線索區(qū)停留時間百分比(DTP)上：線索的主效應不顯著,

F

<1,

p

>0.05;圖文位置的主效應不顯著,

F

<1,

p

>0.05;圖文位置和線索的交互作用不顯著,

F

<1,

p

>0.05。在線索區(qū)注視點個數百分比(FCP)上：線索的主效應不顯著,

F

<1,

p

>0.05;圖文位置的主效應不顯著,

F

<1,

p

>0.05;圖文位置和線索的交互作用不顯著,

F

<1,

p

>0.05。

4 討論

本研究旨在探討圖文的空間鄰近效應和線索對多媒體學習圖文加工的影響,并探索顏色線索在空間鄰近效應中所具有的作用。結果發(fā)現：圖文位置會影響學習者對學習材料注意,圖文鄰近比圖文遠離在材料上的停留時間更長且注視次數更多,在學習后的保持測驗和遷移測驗上的學習成績也更好,這個結果與研究的預期假設一致。對圖片和文字的眼動分析發(fā)現,線索只是影響了早期的注意引導,有線索的興趣區(qū)注視點個數比無線索時更多,但線索條件在保持和遷移測驗上卻沒有差異,沒有驗證預期的假設。當把圖片不同位置進行線索標記后,結果發(fā)現圖文鄰近在有線索時得到更多的注視次數和更長的首次停留時間,在關鍵興趣區(qū)的進出次數也更多,但是這種差異卻沒有體現在測驗成績上。

研究發(fā)現圖片和文本鄰近呈現的測驗成績要高于圖文遠離,這與前人的研究一致(Ayres &Sweller,2005;Mayer &Moreno,1998;Moreno &Mayer,1999;Tarmizi &Sweller,1988),即圖片、文本在視覺空間和時間空間上的鄰近呈現會有利于圖-文信息加工,從而促進對知識理解和記憶。對眼動分析僅發(fā)現圖文鄰近排列的首次注視時長更長。僅對圖文位置主效應分析看似與預期假設以及空間鄰近效應解釋不一致。但是,當把圖片和文字興趣區(qū)分析納入后發(fā)現,圖文位置排列影響到了對文字和圖片注視分配,即當圖文鄰近排列時學習者對文字注視時間比例更高、注視點個數更多,而圖文遠離排列時對圖片注視時間和次數更高。空間鄰近經典假設認為鄰近排列的圖-文將會減少學習者在圖片和文本之間進行信息搜尋的時間,減少額外信息的干擾、節(jié)省認知資源,利于在圖片和文本之間建立聯(lián)結,從而提高學習效果(Johnson &Mayer,2012;Mayer,2001;Tarmizi &Sweller,1988)。從本研究結果看,圖文的空間位置鄰近效應主要是影響了對文字和圖片注意分配,從而導致其學習結果的提高。

這種在圖文呈現方式的閱讀模式中,對文本的更多關注被稱為以文本為導向的閱讀(Holsanova et al.,2009)。多媒體學習中圖文整合的文字導向的加工在Schmidt-Weigand等人(2010)研究中得到證實。這說明以文本為導向的閱讀模式不僅在報紙閱讀(Holsanova et al.,2009)上,兒童科學文本閱讀(Hannus &Hy?n?,1999)以及圖文廣告(Rayner,Rotello,Stewart,Keir,&Duffy,2001)中被證實,也出現在動態(tài)呈現的多媒體學習中,所以圖文整合中的文本閱讀模式對今后多媒體教學材料的個性化設計可能會有所啟發(fā)。

此外,研究還發(fā)現圖文鄰近時,學習者首次停留在關鍵興趣區(qū)的時間不僅更長,而且注意轉換(進出興趣區(qū)次數)也更多,這個結果與已有研究一致(Johnson &Mayer,2012)。進一步證實了圖片和文本位置鄰近確實影響學習者對信息的搜索和注意的分配,鄰近呈現會減少信息之間的干擾,節(jié)省認知資源(Johnson &Mayer,2012)。Schmidt-Weigand等人(2010)雖然發(fā)現被試對圖片和文字注視會存在權衡,卻沒有發(fā)現對文本注視時間在圖文鄰近上有差異。本研究中不僅發(fā)現了保持和遷移測驗上的空間鄰近效應,而且在眼動數據上,也為空間鄰近的假設(圖-文鄰近可能有利于學習者視覺搜索過程,進而提高了學習成績)提供了直接數據支持。

研究并沒有發(fā)現預期顯著的線索作用,既沒有發(fā)現學習測驗上顯著線索主效應,也沒有發(fā)現在眼動指標上有顯著主效應,僅在興趣區(qū)注視點個數上發(fā)現有線索時候注視圖文更多。De Koning等人(2009)認為線索只有在實現注意導向(guiding attention)功能后,才能進一步實現它結構組織(organization of instruction)和知識元素整合(integrating elements into a functional model)的功能。線索這種自下而上影響認知加工的方式在本研究中沒有被驗證。綜述以往研究可以發(fā)現,對于線索是否有效確實存在一定爭議(參見：王福興,段朝輝,周宗奎,2013),一部分研究確實沒有發(fā)現線索有效引導注意并促進學習(e.g.De Koning,Tabbers,Rikers,&Paas,2011);但是,也有一部分研究發(fā)現線索能夠引導注意(e.g.Boucheix &Lowe,2010;De Koning et al.,2010;Ozcelik et al.,2010)。

意外的是,如果把圖文位置和圖片、文字興趣區(qū)納入后分析,發(fā)現線索可以使鄰近效應更加凸顯。即有線索時,學習者進出關鍵信息區(qū)的次數在位置鄰近時會更多,對整個學習材料的注視次數也更多;有線索的圖文鄰近對文字注視要多于遠離,圖文遠離時有線索對圖片的注視也多于無線索。雖然線索對鄰近的突顯作用不是在所有眼動指標上都有體現,但是,可以推測線索可能加速了學習者對關鍵信息的搜索,減少了額外的認知負荷,凸顯了鄰近效應。當然,這種促進作用并沒有在學習測驗上體現出差異,所以,仍然需要進一步實驗來研究鄰近效應對學習者的注意引導通過哪些因素起到調節(jié)作用。

對于線索在空間鄰近上的作用,也需要再思考線索起作用的邊界條件(boundary condition)(Mayer,2010)。線索可能只有在學習材料結構非常復雜,學習者空間感知能力很低,并且先驗知識經驗很少的情況下才會發(fā)揮其積極作用(De Koning et al.,2009)。本實驗中線索之所以在學習效果上主效應不顯著在眼動上部分交互顯著,可能受到學習材料限制,因而使得線索的加入沒有必要,也就沒有起到幫助學習者對知識進行心理表征的作用(Hegarty&Just,1993)。另一個原因可能是學習者沒有注意到動畫材料中線索與關鍵信息的因果關系,因而對線索沒有進行過多的關注,也就是說學習者即使知覺到了線索的外在表征,但是其內在的知識組織和整合的作用卻沒有體現出來。今后探討線索的作用時,應該設法讓學習者知覺到線索的存在,以及線索在認知加工上的深層次功能。

本研究通過對圖文鄰近效應和線索的探討,發(fā)現了線索作為材料設計的方式之一,對材料的結構及其復雜性有一定的要求。并且要想有效地實現線索的注意導向、結構組織、知識元素整合的功能,對學習者的空間整合能力及其先前知識經驗也是有特定范圍約束的。鄰近效應作為圖文空間變量,也具有注意導向和知識整合的功能。并且兩者之間在特定情況下會共同對學習者進行影響。所以,未來研究可能需要考察學習者本身的知識經驗等特征的影響;或在被試的選取上遵循以往研究范式,對被試經驗進行控制(e.g.Boucheix &Lowe,2010;Fischer &Schwan,2010)。所以,未來研究需要特別關注被試已經具備的經驗知識。

5 結論

最后,研究得出以下結論：(1)多媒體中的圖文鄰近呈現有助于圖片和文本信息的注意聯(lián)結和知識整合,從而促進基于多媒體的知識學習。(2)在圖文整合的多媒體學習中,雖然圖片占的面積更大,但是學習者表現出了文字導向的閱讀。(3)當空間鄰近中加入線索后,線索可能使圖-文鄰近的排列得到凸顯從而促進圖-文信息的搜索。

致謝：

感謝心理學院謝和平完成了補充實驗的數據采集和分析工作,感謝錢瑩瑩、謝和平對文章進行了多次挑剔閱讀和校對工作！Ayres,P.,&Sweller,J.(2005).The split-attention principle in multimedia learning.In R.E.Mayer(Ed.),

The Cambridge handbook of multimedia learning

(pp.135–146).New York:Cambridge University Press.Boucheix,J.-M.,&Guignard,H.(2005).What animated illustrations conditions can improve technical document comprehension in young students? Format,signaling and control of the presentation.

European Journal of Psychology of Education,20

(4),369–388.Boucheix,J.-M.,&Lowe,R.K.(2010).An eye tracking comparison of external pointing cues and internal continuous cues in learning with complex animations.

Learning and Instruction,20

(2),123–135.Canham,M.,&Hegarty,M.(2010).Effects of knowledge and display design on comprehension of complex graphics.

Learning and Instruction,20

(2),155–166.Cierniak,G.,Scheiter,K.,&Gerjets,P.(2009).Explaining the split-attention effect:Is the reduction of extraneous cognitive load accompanied by an increase in germane cognitive load?

Computers in Human Behavior,25

(2),315–324.Crooks,S.M.,Cheon,J.,Inan,F.,Ari,F.,&Flores,R.(2012).Modality and cueing in multimedia learning:Examining cognitive and perceptual explanations for the modality effect.

Computers in Human Behavior,28

(3),1063–1071.De Koning,B.B.,Tabbers,H.K.,Rikers,R.M.J.P.,&Paas,F.(2007).Attention cueing as a means to enhance learning from an animation.

Applied Cognitive Psychology,21

(6),731–746.De Koning,B.B.,Tabbers,H.K.,Rikers,R.M.J.P.,&Paas,F.(2009).Towards a framework for attention cueing in instructional animations:Guidelines for research and design.

Educational Psychology Review,21

(2),113–140.De Koning,B.B.,Tabbers,H.K.,Rikers,R.M.J.P.,&Paas,F.(2010).Attention guidance in learning from a complex animation:Seeing is understanding?

Learning and Instruction,20

(2),111–122.De Koning,B.B.,Tabbers,H.K.,Rikers,R.M.J.P.,&Paas,F.(2011).Attention cueing in an instructional animation:The role of presentation speed.

Computers in Human Behavior,27

(1),41–45.Fischer,S.,&Schwan,S.(2010).Comprehending animations:Effects of spatial cueing versus temporal scaling.

Learning and Instruction,20

(6),465–475.Ginns,P.(2006).Integrating information:A meta-analysis of the spatial contiguity and temporal contiguity effects.

Learning and Instruction,16

(6),511–525.Hannus,M.,&Hy?n?,J.(1999).Utilization of illustrations during learning of science textbook passages among low-and high-ability children.

Contemporary Educational Psychology,24

(2),95–123.Hegarty,M.,Canham,M.S.,&Fabrikant,S.I.(2010).Thinking about the weather:How display salience and knowledge affect performance in a graphic inference task.

Journal of Experimental Psychology:Learning,Memory,and Cognition,36

(1),37–53.Hegarty,M.,&Just,M.A.(1993).Constructing mental models of machines from text and diagrams.

Journal of Memory and Language,32

(6),717–742.Holsanova,J.,Holmberg,N.,&Holmqvist,K.(2009).Reading information graphics:The role of spatial contiguity and dual attentional guidance.

Applied Cognitive Psychology,23

(9),1215–1226.Hy?n?,J.(2010).The use of eye movements in the study of multimedia learning.

Learning and Instruction,20

(2),172–176.Johnson,C.I.,&Mayer,R.E.(2012).An eye movement analysis of the spatial contiguity effect in multimedia learning.

Journal of Experimental Psychology:Applied,18

(2),178–191.Kalyuga,S.,Chandler,P.,&Sweller,J.(1999).Managing split-attention and redundancy in multimedia instruction.

Applied Cognitive Psychology,13

(4),351–371.Kester,L.,Kirschner,P.A.,&Van Merri?nboer,J.J.G.(2005).The management of cognitive load during complex cognitive skill acquisition by means of computer-simulated problem solving.

British Journal of Educational Psychology,75

(1),71–85.Kriz,S.,&Hegarty,M.(2007).Top-down and bottom-up influences on learning from animations.

International Journal of Human-Computer Studies,65

(11),911–930.Lowe,R.K.(1999).Extracting information from an animation during complex visual learning.

European Journal of Psychology of Education,14

(2),225–244.Lowe,R.K.(2003).Animation and learning:Selective processing of information in dynamic graphics.

Learning and Instruction,13

(2),157–176.Manor,B.R.,&Gordon,E.(2003).Defining the temporal threshold for ocular fixation in free-viewing visuocognitive tasks.

Journal of Neuroscience Methods,128

(1–2),85–93.Mautone,P.D.,&Mayer,R.E.(2001).Signaling as a cognitive guide in multimedia learning.

Journal of Educational Psychology,93

(2),377–389.Mayer,R.E.(2001).

Multimedia learning

.New York:Cambridge University Press.Mayer,R.E.(2010).Unique contributions of eye-tracking research to the study of learning with graphics.

Learning and Instruction,20

(2),167–171.Mayer,R.E.(Ed.).(2005).

The Cambridge handbook of multimedia learning

.Cambridge:Cambridge University Press.Mayer,R.E.,&Moreno,R.(1998).A split-attention effect in multimedia learning:Evidence for dual processing systems in working memory.

Journal of Educational Psychology,90

(2),312–320.Mayer,R.E.,Steinhoff,K.,Bower,G.,&Mars,R.(1995).A generative theory of textbook design:Using annotated illustrations to foster meaningful learning of science text.

Educational Technology Research and Development,43

(1),31–41.Moreno,R.,&Mayer,R.E.(1999).Cognitive principles of multimedia learning:The role of modality and contiguity.

Journal of Educational Psychology,91

(2),358–368.Ozcelik,E.,Arslan-Ari,I.,&Cagiltay,K.(2010).Why does signaling enhance multimedia learning? Evidence from eye movements.

Computers in Human Behavior,26

(1),110–117.Ozcelik,E.,Karakus,T.,Kursun,E.,&Cagiltay,K.(2009).An eye-tracking study of how color coding affects multimedia learning.

Computers &Education,53

(2),445–453.Rayner,K.,Rotello,C.M.,Stewart,A.J.,Keir,J.,&Duffy,S.A.(2001).Integrating text and pictorial information:Eye movements when looking at print advertisements.

Journal of Experimental Psychology:Applied,7

(3),219–226.Scheiter,K.,&Van Gog,T.(2009).Using eye tracking in applied research to study and stimulate the processing of information from multi-representational sources.

Applied Cognitive Psychology,23

(9),1209–1214.Schmidt-Weigand,F.,Kohnert,A.,&Glowalla,U.(2010).Explaining the modality and contiguity effects:New insights from investigating students' viewing behaviour.

Applied Cognitive Psychology,24

(2),226–237.Schnotz,W.(2005).An integrated model of text and picture comprehension.In R.E.Mayer(Ed.),

The Cambridge handbook of multimedia learning

(pp.49–69).New York:Cambridge University Press.Sweller,J.,Van Merrienboer,J.,&Paas,F.(1998).Cognitive architecture and instructional design.

Educational Psychology Review,10

(3),251–296.Tarmizi,R.A.,&Sweller,J.(1988).Guidance during mathematical problem solving.

Journal of Educational Psychology,80

(4),424–436.Van Gog,T.,&Scheiter,K.(2010).Eye tracking as a tool to study and enhance multimedia learning.

Learning and Instruction,20

(2),95–99.Wang,F.X.,Duan,Z.H.,&Zhou,Z.K.(2013).Attention guidance in multimedia learning:The role of cueing.

Advances in Psychological Science,21

(8),1430–1440.[王福興,段朝輝,周宗奎.(2013).線索在多媒體學習中的作用.

心理科學進展,21

(8),1430–1440.]Yan,G.L.,Xiong,J.P.,Zang,C.L.,Yu,L.L.,Cui,L.,&Bai,X.J.(2013).Review of eye-movement measures in reading research.

Advances in Psychological Science,21

(4),589–605.[閆國利,熊建萍,臧傳麗,余莉莉,崔磊,白學軍.(2013).閱讀研究中的主要眼動指標評述.

心理科學進展,21

(4),589–605.]