趙篤慶 沈 超 余 亮

基于二階元分析的教育游戲?qū)W(xué)生學(xué)習(xí)效果的影響研究*

趙篤慶 沈 超 余 亮[通訊作者]

（西南大學(xué) 教育學(xué)部，重慶 400715）

教育游戲作為一種支持學(xué)生學(xué)習(xí)和提升學(xué)生學(xué)習(xí)績(jī)效的重要手段，其有效性長(zhǎng)期以來(lái)受到研究者和教師的廣泛關(guān)注。以往關(guān)于教育游戲?qū)W(xué)生學(xué)習(xí)效果影響的元分析研究通常是基于一階元分析，但其存在一定的抽樣誤差，且容易受到發(fā)表偏倚影響，致使研究結(jié)論的可信度受到質(zhì)疑。相對(duì)于一階元分析，二階元分析在更大范圍整合實(shí)證研究，能夠進(jìn)一步提升研究結(jié)果的準(zhǔn)確度?；诖?，文章首先梳理了教育游戲?qū)W(xué)生學(xué)習(xí)效果影響的一階元分析研究，并闡述了二階元分析的基本原理；然后使用二階元分析定量綜合分析了11篇一階元分析文獻(xiàn)，探索教育游戲?qū)W(xué)生學(xué)習(xí)效果的整體影響及其調(diào)節(jié)因素；最后基于研究結(jié)果，對(duì)教育游戲的設(shè)計(jì)與應(yīng)用提出了建議，并總結(jié)了二階元分析的優(yōu)勢(shì)和局限，以期為教育游戲和元分析研究發(fā)展提供參考。

二階元分析；教育游戲；學(xué)習(xí)效果；二階抽樣誤差

引言

教育游戲是教育和游戲相互融合的產(chǎn)物，是為了支持學(xué)生學(xué)習(xí)而專門設(shè)計(jì)的數(shù)字游戲。近年來(lái)，隨著信息技術(shù)的發(fā)展和教學(xué)理念的更新，研究者充分認(rèn)識(shí)到了教育游戲提升學(xué)生學(xué)習(xí)績(jī)效的潛力，關(guān)于教育游戲的實(shí)證研究和教學(xué)應(yīng)用逐年遞增[1]。在此背景下，教育游戲的有效性成為教育研究者和學(xué)校教師關(guān)注的重點(diǎn)之一。元分析是對(duì)某一研究領(lǐng)域內(nèi)多項(xiàng)研究結(jié)果的定量綜合，是一種系統(tǒng)分析與評(píng)價(jià)整體研究情況的統(tǒng)計(jì)分析方法[2]。通過(guò)整合研究主題相近的實(shí)證研究結(jié)果，元分析研究可以精確地計(jì)算合并效應(yīng)量，歸納多項(xiàng)實(shí)證研究反映的共同效應(yīng)，并在一定程度上降低抽樣誤差的影響，得到較為綜合、準(zhǔn)確的研究結(jié)論，從而證明某項(xiàng)干預(yù)措施的有效性。教育游戲領(lǐng)域內(nèi)的元分析研究可以追溯到1981年[3]，在此之后，相近主題的元分析研究數(shù)量迅速增加。然而，盡管當(dāng)前已經(jīng)出現(xiàn)大量關(guān)于教育游戲有效性的元分析研究，且?guī)缀醵急砻鹘逃螒驅(qū)W(xué)生學(xué)習(xí)效果具有提升作用，但在研究結(jié)論上仍存在一定爭(zhēng)議。這些爭(zhēng)議一方面來(lái)自數(shù)據(jù)分析結(jié)果的差異，即研究者對(duì)教育游戲能在多大程度上提升學(xué)生的學(xué)習(xí)效果尚未達(dá)成共識(shí)，不同元分析研究的調(diào)節(jié)效應(yīng)分析結(jié)果存在分歧甚至相互矛盾；另一方面源于對(duì)元分析方法的質(zhì)疑，即由于元分析研究的樣本總數(shù)有限，始終存在一定的抽樣誤差，使元分析研究結(jié)果不可避免地存在偏差，且容易受到發(fā)表偏倚影響，因此元分析研究結(jié)論的準(zhǔn)確性有待商榷[4]。

為了盡可能減少抽樣誤差對(duì)研究結(jié)果的影響，彌合不同元分析研究結(jié)果之間的差異，獲得更全面、可靠的研究結(jié)論，有研究者提出可對(duì)已有相似主題的元分析研究再次進(jìn)行元分析，以降低研究樣本中的二階抽樣誤差（Second-Order Sampling Error，即元分析研究樣本中存在的抽樣誤差，是指整合多項(xiàng)實(shí)證研究，消除一定抽樣誤差后剩余的抽樣誤差），這種分析方法被稱為二階元分析（Second-Order Meta-Analysis）[5]。與一階元分析（為區(qū)分傳統(tǒng)意義的元分析與二階元分析，使用一階元分析來(lái)表述此概念）相比，二階元分析能夠定量綜合分析已有元分析研究的結(jié)果，實(shí)現(xiàn)在更大范圍內(nèi)整合實(shí)證研究結(jié)果，形成建立在更大樣本基礎(chǔ)上的可靠結(jié)論。當(dāng)前，二階元分析已經(jīng)應(yīng)用于檢驗(yàn)翻轉(zhuǎn)課堂的有效性和在線學(xué)習(xí)對(duì)學(xué)生學(xué)習(xí)效果的影響等研究[6][7]，這些研究證明了在教育領(lǐng)域中應(yīng)用二階元分析的可行性。在教育游戲領(lǐng)域，雖然研究者借助一階元分析得到了一些有價(jià)值的研究結(jié)論，但其尚不能說(shuō)明教育游戲?qū)W(xué)生學(xué)習(xí)效果的整體影響。因此，本研究嘗試通過(guò)二階元分析探索教育游戲?qū)W(xué)生學(xué)習(xí)效果的整體影響及其調(diào)節(jié)因素，以期形成對(duì)教育游戲有效性的更準(zhǔn)確認(rèn)識(shí)，為教育游戲和元分析研究發(fā)展提供參考。

一 研究現(xiàn)狀及問(wèn)題提出

1 教育游戲?qū)W(xué)生學(xué)習(xí)效果影響的一階元分析研究

梳理相關(guān)一階元分析文獻(xiàn)后，本研究發(fā)現(xiàn)雖然絕大多數(shù)研究表明教育游戲正向影響學(xué)生的學(xué)習(xí)效果，但對(duì)于其影響程度，研究者尚未達(dá)成共識(shí)。早期一些研究者發(fā)現(xiàn)教育游戲?qū)W(xué)生學(xué)習(xí)效果的影響較小[8]，而近幾年越來(lái)越多的研究結(jié)果表明，教育游戲?qū)W(xué)生學(xué)習(xí)效果的影響能夠達(dá)到中等程度甚至較大程度[9][10]，這似乎能夠說(shuō)明教育游戲的有效性隨著時(shí)間的推移不斷提升。然而，在2019年發(fā)表的兩項(xiàng)一階元分析研究中，Tokac等[11]發(fā)現(xiàn)教育游戲?qū)W(xué)生學(xué)業(yè)成就的影響極小，合并效應(yīng)量只有0.13，遠(yuǎn)低于其他研究者發(fā)現(xiàn)的影響效應(yīng)；Riopel等[12]也發(fā)現(xiàn)教育游戲?qū)W(xué)生學(xué)習(xí)效果只有較小程度的正向影響，合并效應(yīng)量為0.31——這與前文提出的關(guān)于時(shí)間作用的研究推斷相矛盾。由此可以看出，不同一階元分析研究得到的合并效應(yīng)量存在較大差異，當(dāng)前尚未形成對(duì)教育游戲有效性的綜合判斷。另外，盡管大量研究先后檢驗(yàn)了不同變量的調(diào)節(jié)效應(yīng)，但得到的研究結(jié)論相互矛盾甚至截然相反。以學(xué)科為例，段春雨[13]提出教育游戲在科學(xué)中的應(yīng)用效果優(yōu)于數(shù)學(xué)，與之相反，李玉斌等[14]發(fā)現(xiàn)教育游戲在數(shù)學(xué)中的應(yīng)用效果優(yōu)于科學(xué)，說(shuō)明兩者在對(duì)學(xué)科調(diào)節(jié)作用的認(rèn)識(shí)上存在一定分歧，而諸如此類的分歧在當(dāng)前的一階元分析研究結(jié)果中相對(duì)常見(jiàn)。上述現(xiàn)象的產(chǎn)生，可能是由一階元分析研究樣本覆蓋范圍有限造成的，也可能受研究視角和文獻(xiàn)篩選標(biāo)準(zhǔn)影響。從抽樣的角度來(lái)說(shuō)，上述推斷可以概括為一階元分析研究結(jié)果的差異源于一階元分析研究樣本中存在的二階抽樣誤差，而二階抽樣誤差又會(huì)直接影響研究結(jié)論的準(zhǔn)確性和可信度[15]。因此，基于“尋找最佳證據(jù)”的立場(chǎng)考慮，需要進(jìn)一步整合這些一階元分析研究結(jié)果，減少二階抽樣誤差的不利影響，以形成對(duì)教育游戲有效性的準(zhǔn)確認(rèn)識(shí)。

2 二階元分析

二階元分析也稱“元—元分析”或“元分析的元分析”，是對(duì)某一領(lǐng)域內(nèi)相似主題一階元分析研究的定量綜合，是對(duì)多項(xiàng)一階元分析研究結(jié)果的元分析。它通過(guò)計(jì)算不同一階元分析研究合并效應(yīng)量差異的可信度，來(lái)估算各一階元分析研究的真實(shí)合并效應(yīng)量，并降低二階抽樣誤差對(duì)合并效應(yīng)量的影響[16]。相較于一階元分析，二階元分析有以下優(yōu)點(diǎn)：①通過(guò)整合不同一階元分析研究結(jié)果，可以生成建立在更大樣本量基礎(chǔ)上的可靠結(jié)論；②能夠比較不同一階元分析研究之間的差異，檢驗(yàn)各一階元分析研究結(jié)果的信效度[17]；③可以利用一階元分析研究的異質(zhì)性，來(lái)檢驗(yàn)更多調(diào)節(jié)變量（如出版信息、研究質(zhì)量等）的影響[18]；④能夠彌補(bǔ)一階元分析研究的不足，如未解釋效應(yīng)量獨(dú)立性影響、消除的發(fā)表偏倚有限等[19]；⑤研究成本相對(duì)較低（包括樣本搜集的時(shí)間、經(jīng)費(fèi)等），并能夠大范圍總結(jié)現(xiàn)有研究的整體情況，說(shuō)明未來(lái)研究的發(fā)展趨勢(shì)[20]。

效應(yīng)量是二階元分析的主要關(guān)注對(duì)象，它是衡量影響效應(yīng)強(qiáng)度或變量關(guān)聯(lián)強(qiáng)度的統(tǒng)計(jì)量。根據(jù)效應(yīng)量的統(tǒng)計(jì)學(xué)意義，可將其劃分為組間差異類效應(yīng)量、相關(guān)類效應(yīng)量和組重疊效應(yīng)量[21]。Steenbergen-Hu等[22]提出，二階元分析中的組間差異類效應(yīng)量計(jì)算分為三步：①?gòu)囊浑A元分析研究中提取合并效應(yīng)量；②將合并效應(yīng)量統(tǒng)一轉(zhuǎn)化為Hedges’s g；③整合各一階元分析研究的合并效應(yīng)量，經(jīng)加權(quán)處理后得到Hedges’s g均值，該方法目前在二階元分析研究中常用。另外，相較于小樣本，大樣本合并效應(yīng)量的可信度往往更優(yōu)，標(biāo)準(zhǔn)誤更小。因此，許多研究者提倡選取包含實(shí)證研究樣本數(shù)較多的一階元分析研究作為研究對(duì)象以保障二階元分析的研究質(zhì)量[23]。

統(tǒng)計(jì)獨(dú)立性是開(kāi)展二階元分析的重要前提，它意味著應(yīng)盡可能地避免不同一階元分析研究中的樣本信息重疊。盡管當(dāng)前已經(jīng)出現(xiàn)一些控制樣本信息重疊比例的方法，但并不能確定哪種方法是最佳處理方式。一些研究提出，可以通過(guò)剔除樣本信息高度重疊的一階元分析研究[24]，或只選擇研究方法最嚴(yán)謹(jǐn)、最新發(fā)表的一階元分析研究作為研究對(duì)象來(lái)保障統(tǒng)計(jì)獨(dú)立性[25]。然而，上述處理方法往往受到其他研究者質(zhì)疑，因?yàn)榧{入樣本信息重疊的一階元分析研究能夠檢驗(yàn)不同調(diào)節(jié)變量的影響[26]。一些研究發(fā)現(xiàn)，違背統(tǒng)計(jì)獨(dú)立性原則幾乎不會(huì)影響研究結(jié)果，在此基礎(chǔ)上有研究者提出可以選擇忽略樣本信息重疊問(wèn)題[27]。然而，該觀點(diǎn)并未得到廣泛認(rèn)同，很多研究者認(rèn)為統(tǒng)計(jì)獨(dú)立性對(duì)二階元分析研究結(jié)果的影響程度尚不明確，需要進(jìn)一步檢驗(yàn)[28]。Wilson等[29]提出，由于無(wú)法完全消除一階元分析研究中存在的樣本信息重疊問(wèn)題，因此將每項(xiàng)一階元分析研究的樣本重疊比例控制在25%以內(nèi)并盡可能最小化即可接受，如果重疊比例大于25%，則需要有選擇地刪除相似一階元分析研究，目前該觀點(diǎn)被較多研究者采納。除此之外，開(kāi)展二階元分析研究往往還需要考慮發(fā)表偏倚情況的影響。理想狀態(tài)下，二階元分析的研究對(duì)象應(yīng)具有較高的研究質(zhì)量和透明度，并且沒(méi)有發(fā)表偏倚，否則需要研究者做出相應(yīng)調(diào)整[30]。

綜上，本研究提出“教育游戲?qū)W(xué)生學(xué)習(xí)效果的整體影響如何？”“哪些因素會(huì)調(diào)節(jié)教育游戲?qū)W(xué)生學(xué)習(xí)效果的影響？”兩個(gè)研究問(wèn)題，并通過(guò)二階元分析予以回答。

二 研究設(shè)計(jì)

1 文獻(xiàn)檢索

本研究以中國(guó)知網(wǎng)、ProQuest、Science Direct等數(shù)據(jù)庫(kù)作為文獻(xiàn)來(lái)源，選取2002年1月～2022年2月發(fā)表的相關(guān)文獻(xiàn)作為研究對(duì)象，檢索時(shí)間截至2022年2月3日。中文文獻(xiàn)檢索標(biāo)題為“元分析”“系統(tǒng)評(píng)價(jià)”“綜述”，關(guān)鍵詞為“教育游戲”“數(shù)字游戲”“嚴(yán)肅游戲”，并含“學(xué)習(xí)效果”“學(xué)習(xí)成績(jī)”“學(xué)業(yè)成就”。外文文獻(xiàn)檢索標(biāo)題為“review”“meta-analytic”“meta-analysis”，主題詞為“educational game”“serious game”“digital game”，并含“l(fā)earning outcome”“l(fā)earning achievement”“academic performance”。另外，本研究還通過(guò)參考文獻(xiàn)回溯、專家咨詢等方式納入未發(fā)表的“灰色文獻(xiàn)”。完成檢索后，歸納并剔除重復(fù)文獻(xiàn)，最終得到131篇一階元分析文獻(xiàn)。

2 樣本篩選

本研究對(duì)得到的文獻(xiàn)進(jìn)行篩選，標(biāo)準(zhǔn)如下：①文獻(xiàn)中的教育游戲指的是計(jì)算機(jī)游戲或數(shù)字游戲；②研究主題為教育游戲?qū)W(xué)生學(xué)習(xí)效果的影響，需比較使用教育游戲和不使用教育游戲?qū)W(xué)生學(xué)習(xí)效果的影響；③研究方法為元分析；④包含完整的數(shù)據(jù)信息，如樣本量、效應(yīng)量、標(biāo)準(zhǔn)誤等；⑤研究對(duì)象是在校學(xué)生；⑥出版語(yǔ)言為中文或英文。按照標(biāo)準(zhǔn)篩選后，本研究提取并對(duì)比了所有一階元分析文獻(xiàn)包含的實(shí)證研究信息。為保證統(tǒng)計(jì)獨(dú)立性，本研究剔除了2篇樣本信息重疊率超過(guò)25%的文獻(xiàn)，最終剩下11篇一階元分析文獻(xiàn)（包含14個(gè)效應(yīng)量），樣本信息重疊率為7.95%。如果完全排除實(shí)證研究重復(fù)項(xiàng)，則研究樣本包含1984年～2020年間開(kāi)展的336項(xiàng)實(shí)證研究，參與者人數(shù)為36948人。

3 特征值編碼

接下來(lái)，本研究對(duì)文獻(xiàn)的特征值編碼，以便于后續(xù)統(tǒng)計(jì)分析和效應(yīng)量計(jì)算工作的開(kāi)展。本研究根據(jù)出版情況，將作者姓名、出版年份和來(lái)源按照實(shí)際情況錄入，將語(yǔ)言編碼為中文和英文；根據(jù)文獻(xiàn)信息，將學(xué)科按照原始類別錄入（如果包含多個(gè)學(xué)科，則編碼為綜合類），效應(yīng)量類型編碼為Cohen’s d和Hedges’s g，樣本量和效應(yīng)量按原始數(shù)值錄入，發(fā)表偏倚情況編碼為有偏倚、無(wú)偏倚和未說(shuō)明。另外，標(biāo)準(zhǔn)誤分兩種情況編碼：如果原文提供標(biāo)準(zhǔn)誤，則按原始數(shù)值錄入；如果原文中未提供標(biāo)準(zhǔn)誤，則通過(guò)95%置信區(qū)間上下限差值計(jì)算標(biāo)準(zhǔn)誤[31]，公式如下：

(95%upper limit95%lower limit)/3.92公式（1）

編碼由本團(tuán)隊(duì)兩名具有教育技術(shù)專業(yè)背景的研究者完成，一致性系數(shù)（Cohen’s kappa）為0.86，說(shuō)明編碼一致性程度較高。對(duì)于異議項(xiàng)，經(jīng)多次討論后達(dá)成一致。編碼結(jié)果如表1所示。

表1 編碼結(jié)果

4 調(diào)節(jié)變量設(shè)置

完成特征值編碼后，本研究結(jié)合Hew等[32]的研究設(shè)置調(diào)節(jié)變量，包含情境性因素和方法論因素：①情境性因素即學(xué)科和出版年份。大量研究者通過(guò)一階元分析檢驗(yàn)教育游戲應(yīng)用學(xué)科對(duì)效應(yīng)量的影響，但得到的研究結(jié)論并不相同，這意味著學(xué)科作為調(diào)節(jié)變量的影響有待進(jìn)一步探究。另外，有二階元分析研究提出一階元分析研究的出版時(shí)間可能會(huì)對(duì)合并效應(yīng)量產(chǎn)生影響[33]，因此本研究將檢驗(yàn)學(xué)科和出版時(shí)間對(duì)合并效應(yīng)量的影響。②方法論因素即效應(yīng)量獨(dú)立性和研究質(zhì)量。其中，效應(yīng)量獨(dú)立性是指一階元分析研究樣本中的效應(yīng)量獨(dú)立，其對(duì)應(yīng)的實(shí)證研究樣本只能使用一次。Borenstein等[34]提出，使用非獨(dú)立效應(yīng)量可能會(huì)導(dǎo)致研究結(jié)果出現(xiàn)偏差?？紤]到特征值編碼過(guò)程中發(fā)現(xiàn)的使用非獨(dú)立效應(yīng)量現(xiàn)象，本研究將檢驗(yàn)效應(yīng)量獨(dú)立性作為調(diào)節(jié)變量的影響。而研究質(zhì)量是指一階元分析研究的規(guī)范性。本研究使用Kung等[35]提出的一階元分析研究質(zhì)量評(píng)價(jià)工具R-AMSTAR評(píng)價(jià)研究質(zhì)量，并將評(píng)價(jià)結(jié)果劃分為優(yōu)、良、中、差四個(gè)等級(jí)。由于各一階元分析研究的得分相近，故將劃分標(biāo)準(zhǔn)設(shè)置為：得分在百分位數(shù)75以上為優(yōu)，得分在百分位數(shù)50～75之間為良，得分在百分位數(shù)25～50之間為中，得分在百分位數(shù)25以下為差。研究質(zhì)量評(píng)價(jià)同樣由團(tuán)隊(duì)的兩名研究者共同完成。

5 數(shù)據(jù)分析

本研究的數(shù)據(jù)分析過(guò)程如下：①計(jì)算合并效應(yīng)量。參考Steenbergen-Hu等[36]提出的二階元分析效應(yīng)量計(jì)算方法，從每項(xiàng)一階元分析研究中提取樣本量、效應(yīng)量和標(biāo)準(zhǔn)誤，并按照原始數(shù)據(jù)錄入?？紤]到納入研究的樣本相對(duì)較少，因此將這些效應(yīng)量統(tǒng)一轉(zhuǎn)化為Hedges’s g值。在此基礎(chǔ)上，結(jié)合樣本量加權(quán)處理得到合并效應(yīng)量。合并效應(yīng)量的計(jì)算方式根據(jù)異質(zhì)性檢驗(yàn)結(jié)果決定，即若存在較高異質(zhì)性，則使用隨機(jī)效應(yīng)模型；反之使用固定效應(yīng)模型。②判斷是否存在發(fā)表偏倚。發(fā)表偏倚（Publication Bias）是指與無(wú)統(tǒng)計(jì)學(xué)上顯著性意義的研究結(jié)果相比，有統(tǒng)計(jì)學(xué)上顯著性意義的研究結(jié)果更可能被發(fā)表，它直接影響元分析研究結(jié)果的可信度和說(shuō)服力。發(fā)表偏倚情況一般通過(guò)漏斗圖、Egger’s回歸和Begg’s檢驗(yàn)等方式判斷，上述檢驗(yàn)方式均將在本研究中使用。③檢驗(yàn)調(diào)節(jié)效應(yīng)。即通過(guò)亞組分析檢驗(yàn)調(diào)節(jié)變量的影響，其判斷依據(jù)在于觀察組間效應(yīng)的計(jì)算結(jié)果是否顯著。合并效應(yīng)量計(jì)算、發(fā)表偏倚檢驗(yàn)和調(diào)節(jié)效應(yīng)分析均采用CMA 2.0軟件。

三 研究結(jié)果

1 合并效應(yīng)量分析

本研究首先進(jìn)行異質(zhì)性檢驗(yàn)，結(jié)果如表2所示，I2=82.123%、Q=72.719（＜0.001），說(shuō)明研究樣本存在較高異質(zhì)性，因此選擇隨機(jī)效應(yīng)模型計(jì)算合并效應(yīng)量。從計(jì)算結(jié)果來(lái)看，合并效應(yīng)量（Hedges’s g）為0.513，95%置信區(qū)間為0.393～0.632（＜0.001）。

表2 異質(zhì)性檢驗(yàn)結(jié)果

效應(yīng)模型效應(yīng)量標(biāo)準(zhǔn)誤95%置信區(qū)間異質(zhì)性檢驗(yàn)結(jié)果 下限上限QdfpI2 固定效應(yīng)模型0.40.0230.3550.44672.719130.00082.123 隨機(jī)效應(yīng)模型0.5130.0610.3930.632

圖1 漏斗圖

2 發(fā)表偏倚檢驗(yàn)

本研究得到的漏斗圖如圖1所示，可以發(fā)現(xiàn)修正前研究樣本并未均勻分布在左右兩側(cè)，且不具有對(duì)稱關(guān)系。Egger’s回歸結(jié)果為=3.465（＜0.05），Begg’s檢驗(yàn)結(jié)果為Z=2.628（＜0.05），說(shuō)明可能存在一定發(fā)表偏倚。因此，為了保障研究的準(zhǔn)確性和可信度，采用剪補(bǔ)法修正合并效應(yīng)量。估算和填充缺失值后，合并效應(yīng)量由0.513調(diào)整為0.441，95%置信區(qū)間為0.323～0.558。

3 調(diào)節(jié)效應(yīng)分析

本研究得到的調(diào)節(jié)效應(yīng)分析結(jié)果如表3所示，可以看出學(xué)科、效應(yīng)量獨(dú)立性和研究質(zhì)量的組間效應(yīng)顯著（＜0.05），出版時(shí)間的組間效應(yīng)不顯著（＞0.05）。在學(xué)科方面，語(yǔ)言類學(xué)科（=0.759）具有較高的效應(yīng)量，科學(xué)（=0.403）和數(shù)學(xué)（=0.13）的效應(yīng)量相對(duì)較低。在效應(yīng)量獨(dú)立性方面，效應(yīng)量獨(dú)立的一階元分析研究效應(yīng)量（=0.592）高于效應(yīng)量非獨(dú)立的一階元分析研究（=0.294），且標(biāo)準(zhǔn)誤更小。在研究質(zhì)量方面，研究質(zhì)量為差的一階元分析研究具有最高效應(yīng)量（=0.831），其次是研究質(zhì)量為良（=0.547）和研究質(zhì)量為優(yōu)（=0.515）的一階元分析研究，研究質(zhì)量為中的一階元分析研究效應(yīng)量最低（=0.403）。

表3 調(diào)節(jié)效應(yīng)分析結(jié)果

調(diào)節(jié)變量類型效應(yīng)量數(shù)效應(yīng)量（g）標(biāo)準(zhǔn)誤95%置信區(qū)間組間效應(yīng)Qb(p) 下限上限 學(xué)科科學(xué)40.4030.0690.2680.53841.38*** 數(shù)學(xué)10.130.060.0120.248 語(yǔ)言類30.7590.0830.5950.922 綜合類60.5440.0880.370.717 出版時(shí)間2013～201740.4850.1090.2720.6992.49（0.288） 2018～201960.4410.10.2460.637 2020～202140.6350.0850.4690.802 效應(yīng)量獨(dú)立性是110.5920.0710.4540.7316.283* 否30.2940.0960.1070.482 研究質(zhì)量?jī)?yōu)50.5150.0960.3260.7039.677* 良30.5470.2490.061.035 中40.4030.0620.2810.524 差20.8310.1240.5891.074

注：*＜0.05，***＜0.001。

四 結(jié)果討論

1 教育游戲?qū)W(xué)生學(xué)習(xí)效果的整體影響

研究結(jié)果表明，教育游戲?qū)W(xué)生學(xué)習(xí)效果具有正向影響（=0.441），說(shuō)明與不使用教育游戲相比，使用教育游戲后學(xué)生的學(xué)習(xí)效果更好，這可能與教育游戲的情境性、交互性、趣味性和高參與度有關(guān)。通過(guò)游戲場(chǎng)景搭建和挑戰(zhàn)性任務(wù)設(shè)置，教育游戲能夠?yàn)閷W(xué)生創(chuàng)設(shè)虛擬學(xué)習(xí)情境，提供及時(shí)、有效的干預(yù)與反饋，有助于激發(fā)學(xué)生參與興趣，提高學(xué)生的內(nèi)在學(xué)習(xí)動(dòng)機(jī)，降低無(wú)關(guān)認(rèn)知負(fù)荷，進(jìn)而提升學(xué)生的學(xué)習(xí)效果[37]。根據(jù)Cohen[38]提出的效應(yīng)量統(tǒng)計(jì)標(biāo)準(zhǔn)，0.441可被看作具有中等程度的正向影響效應(yīng)，與早期的元分析研究結(jié)果相比有所提升[39][40]，但提升的效應(yīng)量不大（約0.1）。對(duì)此，教育工作者可能會(huì)對(duì)使用教育游戲抱持觀望態(tài)度，原因在于此前很多教師持有游戲與學(xué)習(xí)對(duì)立的觀念。根據(jù)趙永樂(lè)等[41]提出的教師對(duì)教育游戲的接受模型，中等程度的正向影響效應(yīng)雖然在一定程度上有助于轉(zhuǎn)變教師對(duì)教育游戲的使用傾向和主觀態(tài)度，增加教師對(duì)教育游戲積極作用的認(rèn)同，但由于教師長(zhǎng)期以來(lái)形成的對(duì)游戲的懷疑與抵觸以及部分學(xué)校缺少必要的軟硬件資源支持和教學(xué)實(shí)踐機(jī)會(huì)，故實(shí)現(xiàn)教師完全采納并合理使用教育游戲仍有一定距離。從長(zhǎng)遠(yuǎn)來(lái)看，教育游戲有效性的持續(xù)提升是轉(zhuǎn)變教師觀念的重要推動(dòng)力。

2 教育游戲?qū)W(xué)生學(xué)習(xí)效果影響的調(diào)節(jié)因素

在情境性因素上，學(xué)科的調(diào)節(jié)作用顯著，并且教育游戲在語(yǔ)言類學(xué)科的應(yīng)用效果較好，在數(shù)學(xué)學(xué)科的應(yīng)用效果相對(duì)較差。已有的一階元分析研究也發(fā)現(xiàn)了類似現(xiàn)象[42]，究其原因，可能與學(xué)科屬性及游戲機(jī)制有關(guān)。語(yǔ)言感知和語(yǔ)言應(yīng)用是語(yǔ)言學(xué)習(xí)的重要環(huán)節(jié)，根據(jù)雙重編碼理論[43]，教育游戲中包含的視覺(jué)和聽(tīng)覺(jué)元素能夠更好地解釋單詞或短語(yǔ)含義。同時(shí)，一些角色扮演類游戲還能提供特定場(chǎng)景下使用語(yǔ)言交流的機(jī)會(huì)，有助于學(xué)生語(yǔ)言理解能力和應(yīng)用能力的提升。而在數(shù)學(xué)學(xué)科，當(dāng)前教育游戲?qū)W(xué)生學(xué)習(xí)提供的幫助多集中在數(shù)字計(jì)算、圖形識(shí)別等基礎(chǔ)能力的培養(yǎng)上，難以支持邏輯推理、數(shù)學(xué)抽象等高階思維能力的培養(yǎng)[44]。因此，相對(duì)有限的游戲類型可能制約了教育游戲在數(shù)學(xué)學(xué)科中的應(yīng)用效果。此外，數(shù)學(xué)教育游戲在開(kāi)發(fā)過(guò)程中缺少充分理論支持也可能是造成上述現(xiàn)象的原因。具體來(lái)說(shuō)，數(shù)學(xué)認(rèn)知是研究個(gè)體在完成數(shù)學(xué)任務(wù)時(shí)大腦內(nèi)在工作機(jī)制的學(xué)科，然而當(dāng)前尚未形成數(shù)學(xué)認(rèn)知與數(shù)學(xué)教育之間的有效轉(zhuǎn)化途徑[45]，這導(dǎo)致教育游戲開(kāi)發(fā)者對(duì)學(xué)生數(shù)學(xué)學(xué)習(xí)的內(nèi)在規(guī)律認(rèn)識(shí)不足，所設(shè)計(jì)游戲的科學(xué)性難以得到保障，進(jìn)而影響了應(yīng)用效果。對(duì)于出版時(shí)間的調(diào)節(jié)作用不顯著這一結(jié)果，可能的解釋是受到一階元分析研究的樣本分布情況影響。具體來(lái)說(shuō)，一項(xiàng)近年發(fā)表的一階元分析研究很可能包含十幾年前或更早出現(xiàn)的實(shí)證研究，而這些實(shí)證研究很可能已被納入早期發(fā)表的其他一階元分析研究樣本。從數(shù)據(jù)分析的角度來(lái)說(shuō)，上述做法導(dǎo)致二階元分析研究很難準(zhǔn)確判斷時(shí)間對(duì)合并效應(yīng)量的影響，以及不同時(shí)期教育游戲?qū)W(xué)生學(xué)習(xí)效果影響的差異。因此，建議后續(xù)一階元分析研究調(diào)整文獻(xiàn)檢索方式，將檢索年限縮小，以近五年或近十年開(kāi)展的實(shí)證研究或以在具有特殊研究意義時(shí)間段出現(xiàn)的實(shí)證研究為研究對(duì)象，通過(guò)整合這些研究獲得更具代表性的研究結(jié)論。

在方法論因素上，效應(yīng)量獨(dú)立性和研究質(zhì)量均能夠調(diào)節(jié)教育游戲?qū)W(xué)生學(xué)習(xí)效果的影響。效應(yīng)量獨(dú)立性方面，本研究發(fā)現(xiàn)相較于包含非獨(dú)立效應(yīng)量的一階元分析研究，只包含獨(dú)立效應(yīng)量的一階元分析研究能獲得更高的效應(yīng)量，且標(biāo)準(zhǔn)誤更小，這一結(jié)果印證了已有研究的推斷，即將非獨(dú)立效應(yīng)量納入數(shù)據(jù)分析，可能會(huì)導(dǎo)致分析結(jié)果出現(xiàn)偏差[46]。對(duì)此，研究者可通過(guò)計(jì)算非獨(dú)立效應(yīng)量均值、選擇最重要的效應(yīng)量或使用多層元分析模型分析數(shù)據(jù)等方式，降低非獨(dú)立效應(yīng)量的不利影響。研究質(zhì)量方面，本研究結(jié)果與教育領(lǐng)域其他二階元分析研究相比[47]，既有相同點(diǎn)，也有不同點(diǎn)——相同點(diǎn)是研究質(zhì)量為差的一階元分析研究效應(yīng)量相對(duì)較高，不同點(diǎn)是研究質(zhì)量為優(yōu)的一階元分析研究效應(yīng)量并非最低。對(duì)于相同點(diǎn)，可能的解釋是研究質(zhì)量較差的一階元分析研究在研究方法嚴(yán)謹(jǐn)程度上不足，會(huì)導(dǎo)致合并效應(yīng)量計(jì)算出現(xiàn)偏差，出現(xiàn)效應(yīng)量過(guò)高、標(biāo)準(zhǔn)誤過(guò)大等不可靠的結(jié)論。對(duì)于不同點(diǎn)，可能的解釋是研究質(zhì)量較好的一階元分析研究嚴(yán)格遵循元分析研究標(biāo)準(zhǔn)，合理控制了人為因素對(duì)研究結(jié)果的干擾，能保障研究結(jié)果的穩(wěn)定性并得到較高的合并效應(yīng)量[48]。另外，在使用R-AMSTAR量表劃分研究質(zhì)量等級(jí)的過(guò)程中，由于樣本中一階元分析研究得分相近，本研究截取百分位數(shù)25、50、75所在的分值來(lái)劃分等級(jí)區(qū)間，這是一種“相對(duì)”的等級(jí)劃分方式。而Young[49]使用固定區(qū)間來(lái)劃分等級(jí)，這是一種“絕對(duì)”的等級(jí)劃分方式。研究質(zhì)量等級(jí)劃分標(biāo)準(zhǔn)的不同，很可能是導(dǎo)致研究結(jié)論存在差異的主要原因。

五 研究啟示與反思

根據(jù)研究結(jié)果，本研究提出有關(guān)教育游戲設(shè)計(jì)與應(yīng)用的啟示。同時(shí)，結(jié)合研究過(guò)程，本研究反思了二階元分析的優(yōu)勢(shì)與局限，并闡述了研究者使用二階元分析時(shí)需要注意的事項(xiàng)。

1 研究啟示

本研究發(fā)現(xiàn)，教育游戲?qū)W(xué)生學(xué)習(xí)效果具有中等程度的正向影響效應(yīng)，且在不同學(xué)科的應(yīng)用效果存在差異。因此本研究認(rèn)為，對(duì)教育游戲開(kāi)發(fā)者來(lái)說(shuō)，應(yīng)與時(shí)俱進(jìn)更新游戲設(shè)計(jì)理念，積極借鑒教育神經(jīng)科學(xué)、學(xué)習(xí)科學(xué)研究成果，豐富游戲數(shù)量及類型，開(kāi)發(fā)面向特定學(xué)科、特定主題的教育游戲，特別是與數(shù)學(xué)學(xué)科核心素養(yǎng)培養(yǎng)相關(guān)的教育游戲；應(yīng)根據(jù)學(xué)生個(gè)性化需求調(diào)整教育游戲運(yùn)行機(jī)制，圍繞學(xué)生在游戲過(guò)程中可能出現(xiàn)的認(rèn)知負(fù)荷過(guò)高、注意力不集中等問(wèn)題構(gòu)建應(yīng)對(duì)策略。此外，可以在游戲開(kāi)發(fā)過(guò)程中充分融入虛擬現(xiàn)實(shí)、自適應(yīng)學(xué)習(xí)等技術(shù)，增強(qiáng)游戲的沉浸感和代入感，通過(guò)搭建豐富多樣的游戲場(chǎng)景和設(shè)置難度適宜的游戲任務(wù)，促進(jìn)學(xué)生學(xué)習(xí)效果的提升。對(duì)教師來(lái)說(shuō)，應(yīng)轉(zhuǎn)變對(duì)教育游戲的認(rèn)識(shí)，正視教育游戲在提升學(xué)生學(xué)習(xí)成效的積極作用，積極推進(jìn)教育游戲應(yīng)用。同時(shí)，教師在使用教育游戲的過(guò)程中，應(yīng)基于學(xué)科特征和游戲特征，合理選擇游戲類型，精心設(shè)計(jì)教學(xué)活動(dòng)，在實(shí)踐中探索基于教育游戲的教學(xué)方式。

2 二階元分析的應(yīng)用反思

相比于一階元分析，二階元分析能夠降低二階抽樣誤差和發(fā)表偏倚的不利影響，減少合并效應(yīng)量偏差，但也存在一定局限：①研究范圍相對(duì)有限，能檢驗(yàn)的調(diào)節(jié)變量較少。二階元分析以一階元分析研究為研究對(duì)象，意味著研究主題相近是樣本篩選的重要標(biāo)準(zhǔn)。為避免出現(xiàn)研究樣本不足的情況，二階元分析的研究主題通常需要具備良好的一階元分析研究基礎(chǔ)，而對(duì)文獻(xiàn)數(shù)量的要求無(wú)形中也縮小了可選擇的研究范圍。另外，由于相似主題的一階元分析研究往往存在一定的研究設(shè)計(jì)差異，導(dǎo)致很難從中提取出普遍具有的變量，因此二階元分析能夠檢驗(yàn)的調(diào)節(jié)變量往往較少。②對(duì)樣本信息的要求較高，導(dǎo)致實(shí)際納入的研究數(shù)量較少。如果一階元分析研究無(wú)法提供必要的樣本信息，則該文獻(xiàn)很可能被排除在外。原因在于二階元分析需要保障統(tǒng)計(jì)獨(dú)立性，而統(tǒng)計(jì)獨(dú)立性的檢驗(yàn)標(biāo)準(zhǔn)是實(shí)證研究重疊比例保持在可控范圍內(nèi)。樣本信息不全的一階元分析研究很難提取出實(shí)證研究項(xiàng)，因此也無(wú)法與其他一階元分析研究對(duì)比，明確樣本信息重疊情況。綜上，未來(lái)開(kāi)展二階元分析研究，一方面要注意所選擇的研究主題是否具備良好的研究基礎(chǔ)，并根據(jù)一階元分析研究信息尋找新的調(diào)節(jié)變量，探究合并效應(yīng)量背后的規(guī)律；另一方面要嚴(yán)格制定研究樣本納入標(biāo)準(zhǔn)，合理控制樣本信息重疊比例，以保障研究結(jié)果準(zhǔn)確可靠。

[1][37][40]Clark D B, Tanner-Smith E E, Killingsworth S S. Digital games, design, and learning: A systematic review and meta-analysis[J]. Review of Educational Research, 2016,(1):79-122.

[2][29]Wilson D B, Lipsey M W. The role of method in treatment effectiveness research: Evidence from meta-analysis[J]. Psychological Methods, 2001,(4):413-429.

[3]Dekkers J, Donatti S. The integration of research studies on the use of simulation as an instructional strategy[J]. The Journal of Educational Research, 1981,(6):424-427.

[4][5][15][16][28][30]Schmidt F L, Oh I S. Methods for second-order meta-analysis and illustrative applications[J]. Organizational Behavior and Human Decision Processes, 2013,(2):204-218.

[6][19][32]Hew K F, Bai S, Huang W, et al. On the use of flipped classroom across various disciplines: Insights from a second-order meta-analysis[J]. Australasian Journal of Educational Technology, 2021,(2):132-151.

[7][25]Martin F, Sun T, Westine C, et al. Examining research on the impact of distance and online learning: A second-order meta-analysis study[J]. Educational Research Review, 2022,36:100438.

[8][39]Wouters P, Van Nimwegen C, Van Oostendorp H, et al. A meta-analysis of the cognitive and motivational effects of serious games[J]. Journal of Educational Psychology, 2013,(2):249-265.

[9]和文斌,董永權(quán).教育游戲?qū)W(xué)生學(xué)習(xí)效果的影響研究——基于41項(xiàng)實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)的元分析[J].現(xiàn)代教育技術(shù), 2021,(4):44-50.

[10]Chen M H, Tseng W T, Hsiao T Y. The effectiveness of digital game‐based vocabulary learning: A framework‐based view of meta‐analysis[J]. British Journal of Educational Technology, 2018,(1):69-77.

[11]Tokac U, Novak E, Thompson C G. Effects of game‐based learning on students’ mathematics achievement: A meta‐analysis[J]. Journal of Computer Assisted Learning, 2019,(3):407-420.

[12]Riopel M, Nenciovici L, Potvin P, et al. Impact of serious games on science learning achievement compared with more conventional instruction: An overview and a meta-analysis[J]. Studies in Science Education, 2019,(2):169-214.

[13][42]段春雨.教育游戲?qū)W(xué)生學(xué)業(yè)成就影響研究——基于48項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的元分析[J].開(kāi)放教育研究,2017,(4):65-75.

[14]李玉斌,宋金玉,姚巧紅.游戲化學(xué)習(xí)方式對(duì)學(xué)生學(xué)習(xí)效果的影響研究——基于35項(xiàng)實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)研究的元分析[J].電化教育研究,2019,(11):56-62.

[17][22][36]Steenbergen-Hu S, Makel M C, Olszewski-Kubilius P. What one hundred years of research says about the effects of ability grouping and acceleration on K-12 students’ academic achievement: Findings of two second-order meta-analyses[J]. Review of Educational Research, 2016,(4):849-899.

[18][33]Causadias J M, Korous K M, Cahill K M. Are Whites and minorities more similar than different? Testing the cultural similarities hypothesis on psychopathology with a second-order meta-analysis[J]. Development and Psychopathology, 2018,(5):2009-2027.

[20]Tamim R M, Bernard R M, Borokhovski E, et al. What forty years of research says about the impact of technology on learning: A second-order meta-analysis and validation study[J]. Review of Educational Research, 2011,(1):4-28.

[21]鄭昊敏,溫忠麟,吳艷.心理學(xué)常用效應(yīng)量的選用與分析[J].心理科學(xué)進(jìn)展,2011,(12):1868-1878.

[23][26][27]Cooper H, Koenka A C. The overview of reviews: Unique challenges and opportunities when research syntheses are the principal elements of new integrative scholarship[J]. American Psychologist, 2012,(6):446-462.

[24][47][49]Young J. Technology-enhanced mathematics instruction: A second-order meta-analysis of 30 years of research[J]. Educational Research Review, 2017,22:19-33.

[31]Higgins J, Thomas J, Chandler J, et al. Cochrane handbook for systematic reviews of interventions[M]. Hoboken: John Wiley & Sons, 2019:143-176.

[34]Borenstein M, Hedges L V, Higgins J P T, et al. Introduction to meta-analysis[M]. Hoboken: John Wiley & Sons, 2009:215-216.

[35]Kung J, Chiappelli F, Cajulis O O, et al. From systematic reviews to clinical recommendations for evidence-based health care: Validation of revised assessment of multiple systematic reviews (R-AMSTAR) for grading of clinical relevance[J]. The Open Dentistry Journal, 2010,4:84-91.

[38]Cohen J. A power primer[J]. Psychological Bulletin, 1992,(1):155-159.

[41]趙永樂(lè),蔣宇,何瑩.我國(guó)教師對(duì)教育游戲的接受與使用狀況調(diào)查[J].開(kāi)放教育研究,2022,(1):51-61.

[43]Clark J M, Paivio A. Dual coding theory and education[J]. Educational Psychology Review, 1991,(3):149-210.

[44]Byun J, Joung E. Digital game-based learning for K-12 mathematics education: A meta-analysis[J]. School Science and Mathematics, 2018,(3-4):113-126.

[45]裴蕾絲,尚俊杰.學(xué)習(xí)科學(xué)視野下的數(shù)學(xué)教育游戲設(shè)計(jì)、開(kāi)發(fā)與應(yīng)用研究——以小學(xué)一年級(jí)數(shù)學(xué)“20以內(nèi)數(shù)的認(rèn)識(shí)和加減法”為例[J].中國(guó)電化教育,2019,(1):94-105.

[46]Nakagawa S, Santos E S A. Methodological issues and advances in biological meta-analysis[J]. Evolutionary Ecology, 2012,(5):1253-1274.

[48]Ioannidis J P A. How to make more published research true[J]. Revista Cubana de Información en Ciencias de la Salud (ACIMED), 2015,(2):187-200.

Research on the Impact of Educational Games on Students’ Learning Effects Based on the Second-order Meta-analysis

ZHAO Du-qing SHEN Chao YU Liang[Corresponding Author]

As an important way to support students’ learning and improve their learning performance, educational games have been widely concerned by researchers and teachers for a long time. Previous meta-analysis studies on the impact of educational games on students’ learning effects are usually based on first-order meta-analysis,but have some sampling errors and are easily affected by publication bias, and the credibility of their findings is often questioned. Compared with the first-order meta-analysis, the second-order meta-analysis can improve the accuracy of research results by integrating empirical research on a large scale. Based on this, this paper reviewed the first-order meta-analysis of the impact of educational games on students’ learning effects, and explained the basic principles of second-order meta-analysis. Subsequently, this paper used second-order meta-analysis to analyze 11 first-order meta-analysis papers to explore the overall effect of educational games on students’ learning effects and its moderators. Finally, based on research results, this paper put forward suggestions on the design and application of educational games, and summarized the advantages and limitations of second-order meta-analysis, expecting to provide a reference for the development of educational games and meta-analysis research.

second-order meta-analysis; educational game; learning effect; second-order sampling error

G40-057

A

1009—8097（2022）10—0043—10

10.3969/j.issn.1009-8097.2022.10.005

本文受2019年度教育部人文社會(huì)科學(xué)研究規(guī)劃基金項(xiàng)目“基于情境融合的泛在學(xué)習(xí)資源個(gè)性化推薦方法研究”（項(xiàng)目編號(hào)：19XJA880011）、2020年度重慶市高等教育教學(xué)改革研究重點(diǎn)項(xiàng)目“構(gòu)建‘互聯(lián)網(wǎng)+’條件下的新型課堂教學(xué)模式研究”（項(xiàng)目編號(hào)：202051）資助。

趙篤慶，在讀碩士，研究方向?yàn)閷W(xué)習(xí)科學(xué)與技術(shù)，郵箱為zhaoduqing@email.swu.edu.cn。

2022年3月25日

編輯：小時(shí)