李 珍 李小紅 陳 晨 王 杉 劉 拓

(1.北京師范大學(xué) 中國基礎(chǔ)教育質(zhì)量監(jiān)測協(xié)同創(chuàng)新中心，北京 100875；2.教育部人文社會科學(xué)重點研究基地天津師范大學(xué)心理與行為研究院，天津 300387；3.天津師范大學(xué) 心理學(xué)部，天津 300387)

一、引言

近年來，STEM教育在世界范圍內(nèi)興起，并迅速成為各國廣泛關(guān)注的新型教育范式。(1)Ye-Ping Li et al.,“Learning about Research and Readership Development in STEM Education: a Systematic Analysis of the Journal’s Publications from 2014 to 2018,”International Journal of STEM Education 6,no.1(2019): 1-8；Ye-Ping Li et al.,“Research and Trends in STEM Education: a Systematic Review of Journal Publications,”International Journal of STEM Education 7,no.1(2020): 212-242.STEM教育強調(diào)科學(xué)、技術(shù)、工程和數(shù)學(xué)的跨學(xué)科整合，重視培養(yǎng)學(xué)生實踐能力，以能夠運用多學(xué)科知識理解問題、解決現(xiàn)實問題為核心要義。(2)T.J.Kennedy and Michael R.L.Odell,“Engaging Students in STEM Education,”Science Education International 25,no.3(2014): 246-258；楊開城等.STEM教育的困境及出路[J]．現(xiàn)代遠(yuǎn)程教育研究，2020，(2)：20-28.然而，學(xué)界關(guān)于STEM教育效果的評價褒貶不一，對其影響因素的探討也尚未達(dá)成共識。(3)Bevo Wahono et al.,“Evidence of STEM Enactment Effectiveness in Asian Student Learning Outcomes, ”International Journal of STEM Education 7,no.1(2020): 1-18.學(xué)業(yè)成就(academic achievement)是衡量教育過程有效性的重要指標(biāo)(4)胡詠梅，元靜．學(xué)校投入與家庭投入哪個更重要？——回應(yīng)由《科爾曼報告》引起的關(guān)于學(xué)校與家庭作用之爭[J]．華東師范大學(xué)學(xué)報(教育科學(xué)版)，2021，(1)：1-25.，因此，研究者以學(xué)業(yè)成就為標(biāo)準(zhǔn)進(jìn)行了大量實證研究，以驗證STEM教育的效果。但是，這些研究所采用的研究設(shè)計和效應(yīng)量計算指標(biāo)各不相同，因此無法進(jìn)行結(jié)果的直接比較，以判斷哪種研究結(jié)果更具有參考價值。若能采用恰當(dāng)?shù)姆椒▽⒉煌难芯拷Y(jié)果放在同一量尺上進(jìn)行比較，再經(jīng)過整合得出相對客觀的結(jié)論，將有助于厘清STEM教育對學(xué)業(yè)成就的真實作用。(5)Jeong Heisawn et al.,“Ten Years of Computer-Supported Collaborative Learning: a Meta-Analysis of CSCL in STEM Education during 2005-2014,”Educational Research Review 28,(2019): 1-17.

元分析正是這樣一種方法，它能夠?qū)Χ囗棇嵶C研究進(jìn)行二次分析，得出一般性的結(jié)論。該方法由格拉斯(Glass)于1977年提出，是一種首先應(yīng)用于臨床心理學(xué)的定量文獻(xiàn)分析法。(6)Mark W.Lipsey and David B.Wilson, Practical Meta-Analysis(Thousand Oaks：Sage Publication, 2001), 1-23.其具體步驟如下：先以一定的規(guī)則篩選文獻(xiàn)，再用同一效應(yīng)量計算指標(biāo)計算單個研究的效應(yīng)量，最后將單個效應(yīng)量通過加權(quán)平均計算出合并效應(yīng)量，即可得到該研究主題下多項研究的預(yù)測變量有效性程度。(7)馬志強等．跨學(xué)科協(xié)作學(xué)習(xí)何以有效——STEM教育中CSCL應(yīng)用效果的元分析[J]．現(xiàn)代遠(yuǎn)程教育研究，2021，(1)：97-104.元分析區(qū)別于傳統(tǒng)主觀性較強的文獻(xiàn)分析法，具有如下兩點優(yōu)勢：一是研究者在難以直接獲得研究數(shù)據(jù)的情況下，也可以對存有爭議的實證研究結(jié)果進(jìn)行二次分析。二是可以相對客觀地得出一般性的結(jié)論以解決研究爭議，并深入探究引起研究結(jié)果差異的原因。

在元分析的研究過程中，首要任務(wù)就是確定研究對象。只有確定了研究對象，才能限定文獻(xiàn)檢索和篩選的范圍。STEM教育的受眾群體極為廣泛，覆蓋了K-12乃至大學(xué)和研究生的各個階段。本研究的研究內(nèi)容是STEM教育對學(xué)業(yè)成就的影響，并將標(biāo)準(zhǔn)化測驗成績作為學(xué)業(yè)成就的評價指標(biāo)。而幼兒階段的評價方式并非標(biāo)準(zhǔn)化考試，所以不將學(xué)齡前兒童納入研究。同時大學(xué)和研究生階段的學(xué)習(xí)內(nèi)容和考評方式更加多元，難以橫向比較。綜合來看，小學(xué)、初中和高中階段的學(xué)習(xí)特征相近，具備較大的可比性和規(guī)律性。因此，本研究擬運用元分析，探究STEM教育對中小學(xué)生學(xué)業(yè)成就的影響及其影響機(jī)制。

二、文獻(xiàn)綜述

世界各國就STEM教育對中小學(xué)生學(xué)業(yè)成就的影響問題進(jìn)行了深入研究。其中，以美國為首的發(fā)達(dá)國家(地區(qū))對STEM教育研究較早，在STEM教育對學(xué)業(yè)成就的影響方面積累了許多實證研究經(jīng)驗，但尚未形成一致的結(jié)論。(8)*表示同時被納入元分析的實證研究。Pierre Dillenbourg et al.,“The Evolution of Research on Computer-Supported Collaborative Learning,”in Technology-Enhanced Learning, ed. Nicolas Balacheff et al.(Netherland：Springer, 2009), 3-19.部分研究者認(rèn)為STEM教育能夠?qū)W(xué)生學(xué)業(yè)成就產(chǎn)生顯著正向影響。李艷燕等發(fā)現(xiàn)，與傳統(tǒng)教育相比，STEM教育能夠顯著提升小學(xué)生的問題解決能力(R=0.400)(9)Yan-Yan Li et al.,“The Effect on Pupils’ Science Performance and Problem-Solving Ability through Lego: an Engineering Design-Based Modeling Approach,”Journal of Educational Technology & Society 19, no.3(2016): 143-156.，史蒂文(Steven)的研究也表明，STEM教育有助于提高小學(xué)科學(xué)成績(效應(yīng)量偏η2=0.752)(10)Steven J.Seage,“The Effects of 5E Blended Learning on the STEM Achievement of Diverse Students” (PhD diss., Barry University, 2020), 17-20.。春蓬(Chumpon)等指出，在實施STEM教育后，學(xué)生物理成績明顯提高，效應(yīng)量R2=0.26。(11)Chumpon Chanthala et al.,“Affecting the Activity-Based on Learning Approaching Management through the STEM Education Instructional Method for Fostering the Creative Thinking Abilities, Learning Achievements and Environmental Perceptions in Physics Laboratory Classes of Secondary Students at the 10th Grade Level,”European Journal of Education Studies 3,no.5(2017): 94-122.類似的研究還有許多(12)Holly Dalby,“STEM Integration and its Impact on Student Learning: a Mixed Methods Study”(EdD diss., Northcentral University, 2020), 67-94；Carol C.Waters,“Exploring K-5 STEM Educators’ Perceptions of a Successful STEM Elementary School” (EdD diss., University of Houston Clear Lake, 2018), 63-77.，這些研究都發(fā)現(xiàn)，與未接受STEM教育的學(xué)生相比，接受STEM教育的學(xué)生學(xué)業(yè)成就顯著更高。然而，也有研究認(rèn)為，STEM教育未能對學(xué)業(yè)成就產(chǎn)生作用，或是其效果明顯差于傳統(tǒng)教育。米歇爾(Michelle)采用準(zhǔn)實驗研究發(fā)現(xiàn)，STEM課程不會對中學(xué)生學(xué)業(yè)成績產(chǎn)生顯著影響(p>0.01)。(13)Michelle Renee Hammonds,“Science, Technology, Engineering, and Mathematics (STEM) Curriculum and Standardized Test Scores in Middle School Students”(M.Ed diss., University of Houston, 2012), 32-38.杰米(Jamie)的研究也表明，在前測成績相同的情況下，與接受STEM教育的學(xué)生相比，接受傳統(tǒng)教育的學(xué)生數(shù)學(xué)和科學(xué)成績顯著更高(p<0.001)(14)Jamie Smith James,“Science, Technology, Engineering, and Mathematics (STEM) Curriculum and Seventh Grade Mathematics and Science Achievement”(EdD diss., Grand Canyon University, 2014), 93-96.。而迪恩(Dean)則發(fā)現(xiàn)STEM教育與科學(xué)成就之間存在顯著的負(fù)相關(guān)關(guān)系。(15)Dean Cairns and Shaljan Areepattamannil,“Exploring the Relations of Inquiry-Based Teaching to Science Achievement and Dispositions in 54 Countries,”Research in Science Education 49,no.1(2019)：1-23.

由此可見，學(xué)界對STEM教育與學(xué)業(yè)成就之間的關(guān)系探討仍存在爭議。這或許與STEM教育對學(xué)業(yè)成就的影響會受到其他因素的制約有關(guān)。已有研究多從課堂實施質(zhì)量、非智力因素、性別差異等方面來解釋STEM教育對學(xué)業(yè)成就的影響。喬納森(Jonathan)等人發(fā)現(xiàn)是否接受長期、高效的STEM課程對STEM教育與學(xué)業(yè)成就的關(guān)系具有顯著影響。(16)Jonathan Wai et al.,“Accomplishment in Science, Technology, Engineering, and Mathematics (STEM) and its Relation to STEM Educational Dose: A 25-Year Longitudinal Study,”Journal of Educational Psychology 102, no.4(2010): 860-871.馬克(Mark)論證了STEM興趣和態(tài)度在STEM教育與學(xué)業(yè)成就關(guān)系中的調(diào)節(jié)作用，并指出男女生在STEM學(xué)習(xí)態(tài)度上存在著差異。(17)Mark Patrick Mahoney,“Students' Attitudes toward STEM: Development of an Instrument for High School STEM-Based Programs,”Journal of Technology Studies 36,no.1(2010): 24-34.同樣，敏(Myint)的研究表明男女生的空間能力差異會導(dǎo)致STEM教育對學(xué)業(yè)成就影響的不同。(18)Myint Swe Khine, Visual-Spatial Ability in STEM Education(Berlin: Springer International Publication, 2016):195-224.而呂偉妮(2020)的研究表明男女生學(xué)習(xí)STEM課程的能力差異是由性別刻板印象所致。(19)呂偉妮．中學(xué)生STEM學(xué)業(yè)成就差異的性別作用機(jī)理研究[D].山東：青島大學(xué)教育系師范學(xué)院，2020.綜上所述，學(xué)界對于STEM教育與學(xué)業(yè)成就的關(guān)系及影響這一關(guān)系的調(diào)節(jié)變量的解讀各不相同。

近年來，為了尋求STEM教育與中小學(xué)生學(xué)業(yè)成就關(guān)系的一致性結(jié)論，國內(nèi)外研究者嘗試用元分析方法歸納整合不同實證研究結(jié)果(20)許靜等．國外中小學(xué)STEM教學(xué)影響學(xué)生學(xué)習(xí)效果的元分析[J]．當(dāng)代教育論壇，2020，(5)：89-97；馬志強等．跨學(xué)科協(xié)作學(xué)習(xí)何以有效——STEM教育中CSCL應(yīng)用效果的元分析[J]．現(xiàn)代遠(yuǎn)程教育研究，2021，(1)：97-104；Veli Batdi,“The Success of Students Using the Conceptual Map Technique and the Traditional Learning Method, its Effect on the Persistence and Attitudes of the Knowledge: a Meta-Analysis Study,”Dumlupinar University Journal of Social Sciences 42,no.2(2015): 93-102；Nam Ju Kim et al.,“Effectiveness of Computer-Based Scaffolding in the Context of Problem-Based Learning for STEM Education: Bayesian Meta-Analysis,”Educational Psychology Review 30, no.2(2018): 397-429.，但已有研究都在不同程度上存在一定的問題，一是納入文獻(xiàn)的篩選規(guī)則不明確，無法確定納入文獻(xiàn)與研究內(nèi)容的適切性。二是所研究的STEM教育方法較為單一，使得研究結(jié)果的可推廣性較差。因此，本研究在前人研究的基礎(chǔ)上，擬通過科學(xué)的元分析方法解決如下兩個問題：(1)STEM教育是否有助于提升中小學(xué)生的學(xué)業(yè)成就，其提升程度有多大？(2)哪些調(diào)節(jié)變量影響了STEM教育對中小學(xué)生學(xué)業(yè)成就的影響？

三、研究設(shè)計

本研究采用元分析方法進(jìn)行研究。其研究步驟主要包括：文獻(xiàn)檢索、文獻(xiàn)納入標(biāo)準(zhǔn)的制定、文獻(xiàn)篩選、文獻(xiàn)編碼、編碼準(zhǔn)確性評估、效應(yīng)量的計算與合并、異質(zhì)性分析以及發(fā)表偏倚檢驗。(21)Michael Borenstein et al., Introduction to Meta-Analysis(New Jersey: John Wiley & Sons, 2009), 1-37.本研究采用R 4.0.4軟件中的metafor、meta、dmetar、dplyr、esc統(tǒng)計包進(jìn)行數(shù)據(jù)分析。

(一)文獻(xiàn)檢索

元分析研究所納入的文獻(xiàn)應(yīng)盡量全面，文獻(xiàn)來源應(yīng)盡可能廣泛。為此，本研究依據(jù)布爾檢索規(guī)則在Web of Science Core Collection、ERIC(EBSCO)、ProQuest Dissertations & Theses (PQDT)、Taylor & Francis Online、Wiley Online Library、Science Direct這6個教育學(xué)領(lǐng)域常用數(shù)據(jù)庫以 (“STEM education”O(jiān)R“STEM” OR “integrated STEM education”) AND (“student achievement”O(jiān)R“student performance”O(jiān)R“teaching effect”O(jiān)R“teaching effectiveness”O(jiān)R“teaching role”O(jiān)R“teaching impact” OR“ academic achievement”O(jiān)R“l(fā)earning outcomes” OR“education evaluation”)為檢索式進(jìn)行高級檢索，在Google Scholar進(jìn)行精細(xì)檢索，并在中國知網(wǎng)、萬方搜索以關(guān)鍵詞“STEM教育”、“整合STEM”并含“學(xué)業(yè)成就、評估、學(xué)業(yè)表現(xiàn)”，搜索發(fā)表于2002-2021年間(22)根據(jù)WoS核心數(shù)據(jù)庫統(tǒng)計顯示，真正開始對STEM教育進(jìn)行研究是以2002年伊萊恩·西摩(Elaine Seymour)在《科學(xué)教育》期刊上發(fā)表了一篇題為《美國本科科學(xué)、數(shù)學(xué)、工程和科技教育變革過程的跟蹤》的文章為標(biāo)志。的文獻(xiàn)，語種分別為英文和中文。首次檢索獲得的文獻(xiàn)數(shù)量為19627篇。

(二)文獻(xiàn)納入標(biāo)準(zhǔn)制定

在制定元分析文獻(xiàn)準(zhǔn)入規(guī)則時，應(yīng)嚴(yán)格按照研究目的、研究內(nèi)容和統(tǒng)計需要來確定，避免個人主觀意愿。結(jié)合本研究主題，確定納入文獻(xiàn)需滿足如下4個條件：

1.研究所使用語言為中文或英文，發(fā)表于2002-2021年間，文獻(xiàn)類型為期刊文獻(xiàn)或碩博學(xué)位論文。

2.研究內(nèi)容為STEM教育對中小學(xué)生學(xué)業(yè)成就的影響，不包含學(xué)前教育、特殊教育、職業(yè)教育等，不涉及對學(xué)生思維水平、非認(rèn)知能力等的影響。

3.研究類型為實證研究，排除定性研究，實證研究的研究設(shè)計為相關(guān)研究、因果推斷研究或?qū)嶒炑芯?，實驗研究為隨機(jī)實驗或準(zhǔn)實驗設(shè)計，均設(shè)置實驗組(STEM教育)和對照組(傳統(tǒng)教育)，便于比較STEM教育和傳統(tǒng)教育對學(xué)業(yè)成就的影響。

4.研究應(yīng)報告均值、標(biāo)準(zhǔn)差、樣本量或t值、F值、效應(yīng)量等統(tǒng)計信息，確保能計算或轉(zhuǎn)換出單個效應(yīng)量和合并效應(yīng)量。

(三)文獻(xiàn)篩選

根據(jù)上述文獻(xiàn)準(zhǔn)入規(guī)則，首先通過標(biāo)題進(jìn)行第一次文獻(xiàn)篩選得到1696篇相關(guān)文獻(xiàn)。然后通過閱讀摘要排除明顯不符合規(guī)則的文獻(xiàn)，剩余60篇。最后進(jìn)行全文閱讀篩選，得到31篇符合納入標(biāo)準(zhǔn)的文獻(xiàn)，獲得有效效應(yīng)量42個(23)部分文獻(xiàn)有多個研究，得到多個有效效應(yīng)值。，總樣本量為12332。篩選過程如圖1：

(四)文獻(xiàn)編碼

確定原始文獻(xiàn)后，對原始文獻(xiàn)進(jìn)行編碼，生成數(shù)據(jù)文件，以便進(jìn)行后續(xù)各項指標(biāo)的計算。參照馬克(Mark)和大衛(wèi)(David)提出的規(guī)則，文獻(xiàn)編碼至少需要包含作者、出版年份、研究涉及的學(xué)科/課程、受教育階段、出版類型等信息。(24)Mark W.Lipsey and David B.Wilson, Practical Meta-Analysis(Thousand Oaks：Sage Publication, 2001), 1-23.本研究的文獻(xiàn)編碼如下：

1.文獻(xiàn)類型(Litrature type, Lt)：碩博論文編碼為D，期刊論文編碼為J。

2.樣本量(Sample size, Ss)：參照艾倫(Alan)和羅伯特(Robert) 提出的標(biāo)準(zhǔn)(25)Alan C.K.Cheung and Robert E.Slavin,“Effects of Educational Technology Applications on Reading Outcomes for Struggling Readers: A Best Evidence Synthesis,”Reading Research Quarterly 48,no.3(2013)：277-299.，樣本量大于250為大樣本，編碼為1，小于等于250為小樣本，編碼為2。

3.性別(Gender, Gen)：男性編碼為1，女性編碼為0，男女均有編碼為2，未報告編碼為缺失，編碼表中以“-”代替。

4.受教育階段(Grade, Gra)：樣本學(xué)段處于小學(xué)階段編碼為E，中學(xué)階段編碼為M。

5.區(qū)域(Region, Re)：以文獻(xiàn)中樣本所在地區(qū)為準(zhǔn)，具體包括美國(U.S.)、土耳其(TUR)、尼日利亞(NG)、阿拉伯聯(lián)合酋長國(U.A.E.)、中國臺灣和北京。

6.學(xué)科(Subject, Sub)：以納入文獻(xiàn)中學(xué)業(yè)成就所測試的學(xué)科為準(zhǔn)，涉及科學(xué)、工程、數(shù)學(xué)、閱讀和英語學(xué)科。

7.研究設(shè)計(Research design, Rd)：本研究中的研究設(shè)計涉及心理學(xué)中常用的研究類型：隨機(jī)實驗設(shè)計(Random-experimental design, Re)、準(zhǔn)實驗設(shè)計(Quasi-experimental design, Qe)、相關(guān)研究(Comparative design, Cd)和因果推斷設(shè)計(Causal-comparative design, Ccd)。

8.STEM教育方法(STEM education method, Sem)：根據(jù)美國工程教育學(xué)會第120屆學(xué)術(shù)會議上戴維(David)等人的報告，目前STEM教育主要包括四種典型的教學(xué)方法，分別是：問題式學(xué)習(xí)(Problem-based learning)、 項目式學(xué)習(xí)(Project-based learning)、設(shè)計式學(xué)習(xí)(Design-based learning)和探究式學(xué)習(xí)(Inquiry-based learning)。(26)David R.Heil et al.,“Understanding Integrated STEM Education: Report on a National Study, ”ASEE Annual Conference & Exposition, Atlanta, Georgia. 2013: 1-15．通過分析四種教學(xué)方法的內(nèi)涵，將本研究中的具體教育方法分別歸入對應(yīng)的類別：問題式學(xué)習(xí)的前提假設(shè)是學(xué)習(xí)是一種能動的、整合的，受社會文化因素影響的建構(gòu)過程。學(xué)生用先驗知識解決真實情境中的復(fù)雜問題，同時獲得新知識。其創(chuàng)造力和在現(xiàn)實世界中的問題解決能力在此過程中得到發(fā)展。包含原始文獻(xiàn)中的STEM program、STEM school、STEM approach和Problem-based Learning。項目式學(xué)習(xí)強調(diào)教師在設(shè)計項目時，全面衡量教學(xué)內(nèi)容的學(xué)科覆蓋程度。不能局限于科學(xué)和數(shù)學(xué)兩個學(xué)科，而工程和技術(shù)學(xué)科被認(rèn)為是實現(xiàn)學(xué)科整合的基礎(chǔ)和橋梁。STEM項目的合理性和有效性以跨學(xué)科性和整合性雙重標(biāo)準(zhǔn)評定。原始文獻(xiàn)中的STEM roles activity 、STEM lesson plan、STEM training、STEM method、ISTEMA method、Project-based Learning、integrated STEM、STEM education和STEM integration符合項目式學(xué)習(xí)的核心內(nèi)涵。設(shè)計式學(xué)習(xí)是指教師從一個現(xiàn)實需求出發(fā)，引導(dǎo)學(xué)生進(jìn)行概念設(shè)計、原型設(shè)計和測試的開發(fā)，最終創(chuàng)造一個能滿足現(xiàn)實需求的產(chǎn)品。包含原始文獻(xiàn)中的Engineering design-based、Engineering course和Computer-based probeware。探究式學(xué)習(xí)是一種研究性教學(xué)方法。學(xué)生通過提出問題，圍繞這一問題設(shè)計和進(jìn)行實驗，再在實驗數(shù)據(jù)分析基礎(chǔ)上得出結(jié)論。在不斷地總結(jié)和修正發(fā)現(xiàn)的過程中逐漸形成對知識的正確理解。包含原始文獻(xiàn)中的Inquiry-based Science Instruction和Inquiry-based Learning。經(jīng)整理，得到如表1所示的原始文獻(xiàn)信息編碼表：

(五)編碼準(zhǔn)確性評估

編碼準(zhǔn)確性對于元分析至關(guān)重要。本研究在進(jìn)行元分析前，由兩名研究者分別獨立對文獻(xiàn)進(jìn)行編碼，計算編碼的一致性程度。根據(jù)一致性系數(shù)(Cohen kappa)大于0.7的統(tǒng)計要求(27)Ali Yldrm and Hasan Simsek, Sosyal Bilimlerde Nitel Arastirma Yontemleri [Qualitative Research Methods in Social Sciences](Ankara: Seckin Publication, 2011), 237-253.，本研究的編碼一致性為0.9，證明本研究編碼結(jié)果是可靠的。

四、研究結(jié)果

(一)效應(yīng)量的計算與合并

計算與合并效應(yīng)量是元分析的核心環(huán)節(jié)。西烏(Siu)認(rèn)為，效應(yīng)量不但能揭示預(yù)測變量作用的大小，而且可作為統(tǒng)一的度量標(biāo)準(zhǔn)用以比較包含相同變量的系列研究結(jié)果(28)Siu L.Chow,“Significance Test or Effect Size,”Psychological Bulletin 103, no.1(1988): 105-110.②Gulcan Sarican and Devrim Akgunduz,“The Impact of Integrated STEM Education on Academic Achievement, Reflective Thinking Skills towards Problem Solving and Permanence in Learning in Science Education,”Cypriot Journal of Educational Sciences 13, no.1(2018): 94-107.③Müzdelife Kurt and Semraanl Benzer,“An Investigation on the Effect of STEM Practices on Sixth Grade Students’ Academic Achievement, Problem Solving Skills, and Attitudes towards STEM,”Journal of Science Learning 3, no.2(2020): 79-88.④Dilber Acar et al.,“The Effects of STEM Training on the Academic Achievement of 4th Graders in Science and Mathematics and Their Views on STEM Training,”International Electronic Journal of Elementary Education 10,no.4(2018): 505-513.⑤John F.Moyer,“Probeware in 8th Grade Science: A Quasi-Experimental Study on Attitude and Achievement”(EdD diss., Wilmington University, 2013), 35-76.⑥Norma Olivarez,“The Impact of a STEM Program on Academic Achievement of Eighth Grade Students in a South Texas Middle School”(EdD diss., TEXAS A&M University Corpus Christi, 2012), 29-47.⑦Chemisi Asha Kogo-Masila,“A Comparative Study of Two Graduation Pathways: Traditional vs. STEM at a Southeastern High School”(EdD diss., Gardner Webb University, 2017), 38-86.⑧Cotabish Alicia et al.,“The Effects of a STEM Intervention on Elementary Students' Science Knowledge and Skills,”School Science and Mathematics 113, no.5(2013): 215-226.⑨Kyung Hee Kim et al.,“Project Clarion: Three Years of Science Instruction in Title I Schools among K-Third Grade Students,”Research in Science Education 42, no.5(2012): 813-829. Melanie Megias Eileen,“The Impact of High School Science, Technology, Engineering, and Mathematics (STEM) Magnet Programs on the Academic Performance of Students”(EdD Diss., The College of William and Mary, 2020), 47-98.Hind Gergi Abou Nasr Kassir,“The Effectiveness of the Science-Inquiry Teaching Approach on the Students’ Achievement and Engagement in the UAE Public Schools”(EdD Diss., The British University in Dubai, 2013), 22-47.Omotayo Ojaleye and Adeneye O.A.Awofala,“Blended Learning and Problem-Based Learning Instructional Strategies as Determinants of Senior Secondary School Students’ Achievement in Algebra，”International Journal of Research in Education and Science 4, no.2(2018): 486-501.。更為重要的是，人們可以通過元分析等技術(shù)手段，對效應(yīng)量進(jìn)行加權(quán)平均以獲得研究的整體效應(yīng)大小。

本研究通過提取42項研究的樣本量、均值、標(biāo)準(zhǔn)差、統(tǒng)計量等信息，采用標(biāo)準(zhǔn)化平均差異(Standardized mean difference，SMD)公式計算單個研究效應(yīng)量和合并效應(yīng)量。教育研究中常用的SMD有Cohen’s d、Glass’s Δ、Hedges’s g等，在單次研究中計算SMD的常用指標(biāo)是 Cohen’ d。(29)Jacob Cohen,Statistical Power Analysis for the Behavioral Sciences(New York: Lawrence Erlbaum Associates, 1988), 19-66.②Ann Robinson et al.,“The Effects of a Science-Focused STEM Intervention on Gifted Elementary Students’ Science Knowledge and Skills,”Journal of Advanced Academics 25, no.3(2014): 189-213.③Alfred Olufemi Fatade et al.,“Effect of Problem-Based Learning on Senior Secondary School Students Achievements in Further Mathematics,”Acta Didactica Napocensia 6, no.3(2013): 27-44. ④Abeera Parvaiz Rehmat,“Engineering the Path to Higher-Order Thinking in Elementary Education: a Problem-Based Learning Approach for STEM Integration”(PhD diss., University of Nevada, 2015), 69-110.⑤Deborah O.Maxwell et al.,“Effects of Using Inquiry-Based Learning on Science Achievement for Fifth-Grade Students,”Asia-Pacific Forum on Science Learning and Teaching 16, no.1(2015): 1-31.⑥Szu-Chun Fan and Kuang-Chao Yu,“How an Integrative STEM Curriculum can Benefit Students in Engineering Design Practices,”International Journal of Technology & Design Education 27,no.1(2015): 107-129. ⑦Akawo Angwal Yaki, “Enhancing Science Achievement Utilising an Integrated STEM Approach,”Malaysian Journal of Learning and Instruction 16, no.1(2019): 181-205.⑧Salih Gülen,“The Effect of STEM Roles on the Solution of Daily Life Problems,”Participatory Educational Research 6, no.2(2019): 37-50.⑨Salih Gülen and Süleyman Yaman,“The Effect of Integration of STEM Disciplines into Toulmin’s Argumentation Model on Students’Academic Achievement, Reflective Thinking, and Psychomotor Skills,” Journal of Turkish Science Education 16, no.2(2019): 216-230.David Proudfoot et al.,“STEM Certification in Georgia’s Schools: a Causal Comparative Study Using the Georgia Student Growth Model,”Georgia Educational Researcher 15,no.1(2018): 16-39.Meltem Alemdar,“The Impact of a Middle School Engineering Course on Students’ Academic Achievement and Non-Cognitive Skills,”International Journal of Education in Mathematics, Science and Technology 6, no.4(2018): 363-380.Hasan ?zcan and Esra Koca,“The Impact of Teaching the Subject ‘Pressure’ with STEM Approach on the Academic Achievements of the Secondary School 7th Grade Students and Their Attitudes towards STEM,”Education and Science 44, no.198(2019): 201-227.Evelyn R.Tolliver,“The Effects of Science, Technology, Engineering and Mathematics (STEM) Education on Elementary Student Achievement in Urban Schools”(EdD diss.， Grand Canyon University, 2016), 70-111.Angela Anita Wade-Shepherd,“The Effect of Middle School STEM Curriculum on Science and Math Achievement Scores”(EdD diss., Union University, 2016), 54-98.Gülsüm Araz, “The Effect of Problem-Based Learning on the Elementary School Students’ Achievement in Genetics”(M.Ed diss., Middle East Technical University, 2007), 44-90. Susan E.Holveck, “Teaching for Conceptual Change in a Density Unit Taught to 7th Graders: Comparing Two Teaching Methodologies-Scientific Inquiry and a Traditional Approach” (EdD diss., University of Oregon, 2012), 64-218.Barth Katie Nicole, “An Investigation of the Effects of Integrating Science and Engineering Content and Pedagogy in an Elementary School Classroom”(MA diss., Brigham Young University, 2013), 25-45.但是，在計算整體效應(yīng)時，采用這種方式計算小樣本研究的SMD會導(dǎo)致效應(yīng)量被高估?？紤]到本研究中有不少研究是小樣本，為降低計算偏差本研究采用Hedges’s g(以下簡稱g值)作為效應(yīng)量估計指標(biāo)。

在估計合并效應(yīng)量時，如果樣本間存在異質(zhì)性，需要采用隨機(jī)效應(yīng)模型進(jìn)行分析，反之可采用固定效應(yīng)模型。經(jīng)檢驗，本研究存在異質(zhì)性(Q=253.38，p<0.001)，故采用隨機(jī)效應(yīng)模型進(jìn)行估計(30)Noel A.Card, Applied Meta-Analysis for Social Science Research(New York: Guilford Press, 2011), 107-257.。 效應(yīng)量計算結(jié)果見表2：

根據(jù)雅各布(Jacob)的標(biāo)準(zhǔn)，0.2-0.49為小效應(yīng)，0.50-0.79為中等效應(yīng)，0.8及以上為大效應(yīng)。由表2可知，從單個研究的效應(yīng)量來看，報告大效應(yīng)的研究有11篇，約占總研究的26%。報告中等程度效應(yīng)量的研究有8篇，約占總研究的19%，其結(jié)果都顯著。報告小效應(yīng)的研究有9篇，約占總研究的21%，只有4篇具有統(tǒng)計意義。呈現(xiàn)負(fù)效應(yīng)的研究有4篇，約占總研究的10%，其中有1篇研究結(jié)果不顯著。效應(yīng)量小于0.2的研究忽略不計。從所有研究的合并效應(yīng)量來看，STEM教育組與傳統(tǒng)教育組的標(biāo)準(zhǔn)化平均差異為0.616(p<0.001)，95%置信區(qū)間為[0.291, 0.941]，說明STEM教育對學(xué)業(yè)成就的影響顯著。本研究的合并效應(yīng)量屬于中等效應(yīng)范圍。

(二)異質(zhì)性分析

1.異質(zhì)性檢驗

異質(zhì)性檢驗(Heterogeneity test)，也叫效應(yīng)量的齊性檢驗，是指對每個效應(yīng)量的波動變化程度進(jìn)行檢驗。如果各效應(yīng)量之間的差異顯著就表明研究之間存在真實差異，而非抽樣誤差。如果研究間是異質(zhì)的，則需要進(jìn)一步探究是否存在極端值(outliers)，即個別研究的效應(yīng)量極大或極小，這些極端值都可能會影響總體效應(yīng)量，甚至扭曲研究結(jié)果。評估異質(zhì)性的常用指標(biāo)有：Higgin’ s & Thompson’ s I2和Cochran’ s Q。本研究的異質(zhì)性檢驗結(jié)果如下：

異質(zhì)性檢驗結(jié)果表明，本研究納入的研究之間具有強異質(zhì)性(I2>80%，表示強異質(zhì)性，且Q值顯著)。在檢出研究之間存在異質(zhì)性后，需繼續(xù)檢測是否存在極端值。檢測極端值的常用方法是觀察某個研究效應(yīng)量的置信區(qū)間與合并效應(yīng)量的置信區(qū)間是否有重合，沒有則認(rèn)為該效應(yīng)量是極端值。從表2可以得出7個極端值(研究2、8、11、17、21、23和24)，其中，研究8和21是極端小的效應(yīng)，其置信區(qū)間的上限明顯低于合并效應(yīng)值置信區(qū)間的下限，研究11、17、21、23和24是極端大的效應(yīng)，其置信區(qū)間的下限明顯高于合并效應(yīng)值置信區(qū)間的上限。

在剔除7個極端值后重新計算合并效應(yīng)量，查看剔除前后研究結(jié)果的變化，以此判斷極端值對綜合效應(yīng)量的影響。更新后的研究結(jié)果如表4所示：

由表4可知，剔除極端值后，合并效應(yīng)量由0.616變?yōu)?.499，Q值也由817.33變?yōu)?53.38。說明這7篇原始文獻(xiàn)對總效應(yīng)量的影響較大。

2.亞組分析與元回歸

亞組分析(Subgroup analysis)，又稱調(diào)節(jié)變量分析，是探索異質(zhì)性來源的又一重要途徑。元回歸 (meta-regression)與亞組分析并沒有本質(zhì)區(qū)別，但兩者在分析的數(shù)據(jù)類型上存在一定差異，元回歸適用于調(diào)節(jié)變量是連續(xù)型數(shù)據(jù)的研究，亞組分析適用于調(diào)節(jié)變量是分類數(shù)據(jù)的研究。

調(diào)節(jié)變量的選取可以采用兩種方式，一方面可以采用前人研究中揭示的STEM教育效果的影響因素，包括性別、家庭社會經(jīng)濟(jì)地位、種族、地域等。(31)Christopher S.Rozek et al.,“Reducing Socioeconomic Disparities in the STEM Pipeline through Student Emotion Regulation,”Proceedings of the National Academy of Sciences 116, no.5(2019): 1553-1558.另一方面可以參照以往元分析文獻(xiàn)的經(jīng)驗，采用文獻(xiàn)來源、樣本量、研究設(shè)計類型、區(qū)域、學(xué)段和STEM教育方法等。(32)Nur Choiro Siregaret al., “The Effect of Science, Technology, Engineering and Mathematics (STEM) Program on Students’ Achievement in Mathematics: a Meta-Analysis,”International Electronic Journal of Mathematics Education 15, no.1(2019): 1-12.本研究綜合考慮兩種調(diào)節(jié)變量選取策略，采用樣本量、學(xué)段、文獻(xiàn)類型、學(xué)科、研究設(shè)計、教育方法和研究地區(qū)等變量為調(diào)節(jié)變量做亞組分析。分析結(jié)果如表5所示：

由表5可知，在樣本量、學(xué)段、文獻(xiàn)類型和研究設(shè)計中都沒有發(fā)現(xiàn)明顯的組間差異，表明這些變量并不調(diào)節(jié)綜合效應(yīng)的結(jié)果。而學(xué)科、STEM教育方法和研究地區(qū)組間差異顯著，可以證明這些變量的不同亞組對綜合效應(yīng)的影響不同。就學(xué)科而言，科學(xué)和閱讀都呈現(xiàn)中等程度的效應(yīng)量(均大于0.5)，其他學(xué)科對學(xué)業(yè)成就的影響都是小效應(yīng)量。就教育方法而言，項目式、問題式和探究式教學(xué)法的效應(yīng)量較大。其中項目式教學(xué)法的效應(yīng)量為0.722，接近高效應(yīng)0.8。問題式和探究式教學(xué)法呈現(xiàn)中等效應(yīng)。設(shè)計式教學(xué)法表現(xiàn)為較小的效應(yīng)。就研究地區(qū)而言，土耳其、尼日利亞和中國臺灣的效應(yīng)量較大，分別為0.828、0.796和0.869。值得注意的是美國納入研究量最多，但其效應(yīng)量相對較小(g=0.318)。

元回歸分析將研究發(fā)表年份作為預(yù)測變量，考察其對STEM教育與學(xué)業(yè)成就關(guān)系的影響，由表6可知，研究發(fā)表年份的調(diào)節(jié)效應(yīng)并不顯著，說明研究發(fā)表年份的不同，不會影響STEM教育與學(xué)業(yè)成就的關(guān)系。

(三)發(fā)表偏倚檢驗與效應(yīng)量修正1.發(fā)表偏倚檢驗

發(fā)表偏倚也稱出版偏差，是指在同類研究中，具有統(tǒng)計學(xué)意義的研究比不具有統(tǒng)計學(xué)意義的研究更容易被接收和發(fā)表，或者高效應(yīng)量的研究比低效應(yīng)量的研究更有可能被發(fā)表。(33)Michael Borenstein et al., Introduction to Meta-Analysis(New Jersey: John Wiley & Sons, 2009), 352-360.理想的元分析情境是能夠得到所有符合納入標(biāo)準(zhǔn)的研究，但這是不現(xiàn)實的，因為元分析研究者很難收集到相關(guān)領(lǐng)域的所有文獻(xiàn)，比如沒有公開發(fā)表的文章。在元分析中，直觀地評定發(fā)表偏倚的方法是漏斗圖，統(tǒng)計方法常用Egger檢驗。(34)Noel A.Card, Applied Meta-Analysis for Social Science Research(New York: Guilford Press, 2011), 107-257.如圖2所示的漏斗圖中，標(biāo)準(zhǔn)線左右分布的研究樣本點明顯不對稱，說明存在一定的發(fā)表偏倚。繼續(xù)采用定量的方法進(jìn)行Egger檢驗，結(jié)果如表7所示，Egger檢驗的結(jié)果顯著(t=3.669，p<0.01)。這也證明本研究存在發(fā)表偏倚。但研究者可以通過剪補法(trim and fill)(35)Sue Duval and Richard Tweedie,“Trim and Fill: a Simple Funnel-Plot-Based Method of Testing and Adjusting for Publication Bias in Meta-Analysis,”Biometrics 56, no.2(2000): 455-463.修正發(fā)表偏倚。

2.效應(yīng)量修正

本研究運用剪補法，對效應(yīng)量進(jìn)行修正。該方法確定并修剪了13項研究。修剪后的總體效應(yīng)量估計為 g = 0.216 (即SMD=0.216，p=0.045)。與原始結(jié)果g=0.499相比，修剪填充后的結(jié)果小于原始結(jié)果，這表明發(fā)表偏差使得效應(yīng)量被高估，效應(yīng)量放大了28.3%。將修剪后的結(jié)果保存下來，可以得到包含了推測的研究(即缺失的研究)在內(nèi)的新的漏斗圖。如圖3所示，白色圓點為推測的缺失研究，灰色圓點為發(fā)表的研究。

以上分析結(jié)果表明，本研究修正后的效應(yīng)量，已經(jīng)在一定程度上消除了發(fā)表偏倚對分析結(jié)果的影響，研究結(jié)果較為穩(wěn)健，即0.216更為接近STEM教育對中小學(xué)生學(xué)業(yè)成就影響的真實效應(yīng)量。

五、結(jié)論與討論

本研究運用元分析方法，探究了STEM教育對國內(nèi)外中小學(xué)生學(xué)業(yè)成就的影響，并分析了影響STEM教育與學(xué)業(yè)成就關(guān)系的主要因素，得出如下兩點結(jié)論。

(一)STEM教育有助于提升中小學(xué)生學(xué)業(yè)成就

研究結(jié)果表明，STEM教育比傳統(tǒng)教育更有助于提升中小學(xué)生的學(xué)業(yè)成就，但提升程度較小(g=0.216)。通過分析發(fā)現(xiàn)，單個研究效應(yīng)量和納入文獻(xiàn)的范圍都對綜合效應(yīng)量有影響。

單個研究效應(yīng)量直接影響綜合效應(yīng)量。本研究的綜合效應(yīng)量與許多相同主題的元分析一致(36)Nur Choiro Siregar et al.,“The Effect of Science, Technology, Engineering and Mathematics (STEM) Program on Students’ Achievement in Mathematics: a Meta-Analysis,”International Electronic Journal of Mathematics Education 15, no.1(2019): 1-12；Hakan Sara?, “The Effect of Science, Technology, Engineering and Mathematics-STEM Educational Practices on Students’ Learning Outcomes: a Meta-Analysis Study,”Turkish Online Journal of Educational Technology-TOJET 17, no.2(2018): 125-142；曾昭炳，姚繼軍．尋找“最佳證據(jù)”：如何運用元分析進(jìn)行文獻(xiàn)綜述——以STEM教育對學(xué)生成績的影響研究為例[J]．華東師范大學(xué)學(xué)報(教育科學(xué)版)，2020，(6)：70-85.，這些研究的效應(yīng)量分別是0.242、0.442和0.410，都是較小的效應(yīng)量。本研究中，呈現(xiàn)大效應(yīng)的研究占總研究量的26%，中等效應(yīng)量有19%，報告小效應(yīng)量、負(fù)效應(yīng)和不具有統(tǒng)計學(xué)意義的研究占納入文獻(xiàn)的55%。可見，原始文獻(xiàn)中呈現(xiàn)中等程度以下效應(yīng)量的研究比例大于中等及以上效應(yīng)量的比例。同時，在計算綜合效應(yīng)量過程中，一部分研究的負(fù)效應(yīng)與正效應(yīng)相互抵消，導(dǎo)致總效應(yīng)量偏小。在賽瑞格(Siregar)的研究中，也體現(xiàn)出類似的特點。但整體而言，本研究結(jié)果仍具有統(tǒng)計意義。

納入文獻(xiàn)的范圍對綜合效應(yīng)量有一定影響。首先，本研究納入的文獻(xiàn)，其研究區(qū)域覆蓋了國內(nèi)外。其次，本研究將采用實驗研究、相關(guān)研究或因果推斷設(shè)計的文獻(xiàn)都囊括在內(nèi)。同時，所納入文獻(xiàn)涵蓋了所有目前最典型的STEM教育方法。最后，本研究考察了STEM教育對多門學(xué)科學(xué)業(yè)成就的影響。既有元分析幾乎沒有同時滿足上述四種條件的研究。本研究認(rèn)為在綜合考慮不同類型研究的基礎(chǔ)上得出的綜合效應(yīng)值相對客觀，且更為接近STEM教育對學(xué)業(yè)成就的真實影響。

(二)學(xué)科、STEM教育方法和地區(qū)變量調(diào)節(jié)STEM教育與中小學(xué)生學(xué)業(yè)成就的關(guān)系

本研究發(fā)現(xiàn)，所評估的學(xué)科、實施的STEM教育方法和研究地區(qū)的不同，是造成STEM教育對學(xué)生學(xué)業(yè)成就影響差異的關(guān)鍵因素。

就研究所評估的學(xué)科而言，組間異質(zhì)性結(jié)果顯著，這與已有研究結(jié)果相反。有研究者認(rèn)為STEM學(xué)科之間有很高的融通性(37)Ali Bicer et al.,“Integrated STEM Assessment Model,”Eurasia Journal of Mathematics, Science and Technology Education 13, no.7 (2017): 3959-3968.，不同學(xué)科下，STEM教育對學(xué)業(yè)成就產(chǎn)生的影響相似。但本研究的結(jié)果恰恰證明了目前的STEM教育實踐中，有效整合STEM學(xué)科的案例并不普遍(38)David R.Heil et al.,“Understanding Integrated STEM Education: Report on a National Study,”ASEE Annual Conference & Exposition, Atlanta, Georgia. 2013: 1-15.，學(xué)科壁壘現(xiàn)象依然存在。然而，本研究所體現(xiàn)出的差異p=0.048，與臨界值0.05極為接近，說明學(xué)科間并沒有極大的差異。隨著STEM教育實踐的深化和完善，大力發(fā)展學(xué)科融合和協(xié)同教學(xué)，能夠有效打破學(xué)科壁壘，為提升學(xué)業(yè)成就助力。

就STEM教育方法而言，項目式、問題式、探究式教學(xué)法的效應(yīng)均顯著，這與以往研究結(jié)果基本一致。(39)Becker Kurt Henry and Kyungsuk Park, “Integrative Approaches among Science, Technology, Engineering, and Mathematics (STEM) Subjects on Students’ Learning: a Meta-Analysis,”Journal of STEM Education 12,no.5,(2011)，23-37；Zhao-Bing Zeng et al., “A Meta-Analysis on the Effects of STEM Education on Students’ Abilities,”Science Insights Education Frontiers 1, no.1(2018): 3-16.表明世界各國在大力推行STEM教育過程中，開發(fā)出了許多行之有效的STEM教育方法。這些方法雖具有各自的特征，但都體現(xiàn)了STEM教育的核心要義：融合多學(xué)科，解決現(xiàn)實問題。因此對學(xué)生的學(xué)業(yè)成就都起到了促進(jìn)作用。值得注意的是，設(shè)計式教學(xué)法的效應(yīng)量較小。本研究中這類教學(xué)法包括探索式計算機(jī)環(huán)境教學(xué)法和工程式教學(xué)法。該方法的效應(yīng)量較小一方面是由于本研究納入采用此類方法的文獻(xiàn)數(shù)量較少，另一方面反映出這類方法運用的學(xué)科知識較為單一，對學(xué)業(yè)成就的提升效果有限。因此，在STEM教育實踐中應(yīng)注重選擇恰當(dāng)?shù)姆椒ㄟM(jìn)行教學(xué)，達(dá)到教學(xué)效果最大化。

就研究地區(qū)而言，土耳其的效應(yīng)量達(dá)到0.8的高效應(yīng)水平，土耳其STEM教育對中小學(xué)生學(xué)業(yè)成就的影響較其他國家更加明顯。但是，作為STEM教育發(fā)源地的美國，其STEM教育對中小學(xué)生學(xué)業(yè)成就的作用只達(dá)到了中等偏上水平。毋庸置疑，地區(qū)差異是各類研究中最常被探討的問題。大到各個國家政府對STEM的重視和投入程度存在差異，小到各國學(xué)生和家長對STEM教育的態(tài)度和動機(jī)不同，都會對STEM教育與學(xué)業(yè)成就的關(guān)系產(chǎn)生影響。地區(qū)差異帶來的影響提示我們，在提升STEM教育水平和效果時，要根據(jù)本國國情采取適當(dāng)?shù)膶Σ?，不可急于求成，照搬別國經(jīng)驗。