徐路明 楊亞坤

一、問題提出

教育質(zhì)量評價僅以終結(jié)性評價為標(biāo)準(zhǔn)對于不同學(xué)校群體有失公允，對學(xué)校的教學(xué)積極性也是不利的，需要更加科學(xué)和準(zhǔn)確地評價學(xué)校和教師的效能。《教育部關(guān)于推進(jìn)中小學(xué)教育質(zhì)量綜合評價改革的意見》中提出要改進(jìn)評價方式方法，要通過直接考查學(xué)生群體的發(fā)展情況評價學(xué)校的教育質(zhì)量，注重考查學(xué)生進(jìn)步的程度和學(xué)校的努力程度，改變單純強(qiáng)調(diào)結(jié)果不關(guān)注發(fā)展變化的做法[1]；《中共中央國務(wù)院關(guān)于深化教育教學(xué)改革全面提高義務(wù)教育質(zhì)量的意見》中再一次強(qiáng)調(diào)了要健全質(zhì)量評價監(jiān)測體系，強(qiáng)化過程性和發(fā)展性評價[2]。《溫州市中小學(xué)教育質(zhì)量增值評價實(shí)施指導(dǎo)意見》中提出，要關(guān)注評價的起點(diǎn)和過程，切實(shí)解決因起跑線不同帶來的評價偏差[3]?；诖耍恍┑貐^(qū)在對學(xué)校的教學(xué)質(zhì)量評價中引入了增值評價，以學(xué)校為單位，用以判斷教學(xué)質(zhì)量的提升程度。學(xué)校效能增值性評價的出現(xiàn)源于美國《關(guān)于教育機(jī)會平等性的報告》[4]。增值評價是指通過追蹤研究設(shè)計，收集學(xué)生在一段時間內(nèi)不同時間點(diǎn)上的標(biāo)準(zhǔn)化測驗(yàn)成績，基于學(xué)生自身測驗(yàn)成績的縱向比較，并考慮其他不受學(xué)?；蚪處熆刂埔蛩貙W(xué)生成績的影響 （如學(xué)生的原有成績水平、人口學(xué)因素、家庭背景信息以及學(xué)校周圍地區(qū)的經(jīng)濟(jì)發(fā)展水平等）[5]。

增值性評價作為關(guān)注學(xué)生自身進(jìn)步與發(fā)展的一種方法，不同于以往的終結(jié)性評價，也不單單是對學(xué)業(yè)質(zhì)量進(jìn)行一個橫向的比較，它是實(shí)現(xiàn)發(fā)展性評價的重要手段之一。現(xiàn)有的增值評價研究包括對國際上增值評價的介紹，例如，徐丹和牛月蕾就對美國田納西州的教育增值評價模式進(jìn)行了介紹[6]。也有學(xué)者運(yùn)用多水平分析模型對學(xué)校效能進(jìn)行增值評價，如杜屏和楊中超運(yùn)用兩水平模型對農(nóng)村初中學(xué)校的效能進(jìn)行增值評價，探討了學(xué)生水平、學(xué)校水平對學(xué)校效能的解釋力[7]。馬曉強(qiáng)、彭文蓉和薩麗·托馬斯運(yùn)用增值評價對河北保定市高中學(xué)校進(jìn)行效能判斷，研究發(fā)現(xiàn)60%～80%的高考成績校際差距都不是學(xué)校教育教學(xué)差異所導(dǎo)致的， 生源、學(xué)生背景、學(xué)校背景解釋了絕大多數(shù)的差異，在提高學(xué)生進(jìn)步幅度方面，不同學(xué)校間存在明顯差異[8]。大學(xué)時期增值評價的研究在評價內(nèi)容、方法上則更為復(fù)雜，學(xué)生在大學(xué)期間增值的維度較多，關(guān)鍵維度和指標(biāo)的選取及測試方法的操作性、應(yīng)用性有待進(jìn)一步完善[9]。除了一般統(tǒng)計模型方法，楊志明、賈立新和呂龍梅還將心理等值的技術(shù)運(yùn)用到增值評價中，從而更好地對閱讀能力進(jìn)行評價[10]。 王光秋在四維綠色評價體系中引入了增值評價[11]。

可以看到，增值評價的研究與應(yīng)用都在不斷豐富，在應(yīng)用的學(xué)段上，既有義務(wù)教育階段的，也有高中、高等教育階段的；在運(yùn)用的模型上，既有概要分析、一元回歸分析、多元回歸分析，也有多水平分析模型；在評價維度上，既有基于學(xué)業(yè)的一元增值評價，也有包括學(xué)業(yè)、品德、身心健康等的多元評價。

然而，在基層（區(qū)、縣）實(shí)際應(yīng)用中，在對學(xué)校學(xué)業(yè)成績增值情況進(jìn)行評價時，由于學(xué)生轉(zhuǎn)學(xué)、回生源地參加中、高考等原因?qū)е聟^(qū)域、學(xué)校層面的入口出口數(shù)據(jù)不完整，在不能把全區(qū)（縣）所有的學(xué)生都納入建模樣本時，用構(gòu)建后的模型進(jìn)行成績預(yù)測的可靠性如何，每個學(xué)校運(yùn)用該模型進(jìn)行成績預(yù)測的誤差如何？研究表明，當(dāng)缺失值的比例超過60%時，數(shù)據(jù)完全失去了可利用的價值[12]。 在對學(xué)校的學(xué)業(yè)成績進(jìn)行預(yù)測時，缺失比例達(dá)到多少會對學(xué)校最后的增值排名產(chǎn)生影響？ 在不同的樣本量下，上述情況又會有何不同呢？區(qū)域內(nèi)學(xué)校水平分布是否會對學(xué)校增值產(chǎn)生影響？

本研究使用線性回歸模型來構(gòu)建學(xué)生入學(xué)成績和畢業(yè)成績的關(guān)系，以學(xué)校為單位，用入學(xué)成績來預(yù)測其畢業(yè)成績，將預(yù)期值與實(shí)際畢業(yè)成績相減得到每個學(xué)校的增量，如圖1 所示。線性回歸分析包括一元線性回歸分析和多元線性回歸分析等，它是一個因變量與一個或多個自變量之間的線性關(guān)系常用的統(tǒng)計方法，這一方法是估計觀測值與期望值之間殘差值的標(biāo)準(zhǔn)統(tǒng)計技術(shù)[13]。 在基層（區(qū)、縣）評價機(jī)構(gòu)或教學(xué)一線使用時，一元線性回歸模型原理通俗易懂，更容易被理解、接受，且區(qū)（縣）層面樣本量相對市、省級小，缺失數(shù)據(jù)對其影響更大，故本研究選用一元線性回歸模型作為研究載體。

圖1 學(xué)校增值情況線性回歸模型

二、模擬研究

1.研究目的

本研究擬通過設(shè)定不同的缺失比例，比較不同樣本量大小和學(xué)生入學(xué)成績是否存在差異等因素對學(xué)校增值效能排名的影響。

2.研究方法

本研究為4×3×2 的混合設(shè)計，缺失比例設(shè)置4個水平：5%、10%、30%、60%， 樣本量設(shè)置3 個水平：2000 人、5000 人、10000 人， 學(xué)校設(shè)置兩個水平：均衡（即不同學(xué)校學(xué)生成績隨機(jī)生成）、不均衡（即不同學(xué)校學(xué)生入學(xué)成績按從小到大排序生成）。其中，學(xué)校水平差異為被試內(nèi)變量，缺失比例、樣本量為被試間變量，學(xué)校數(shù)量固定為20 所。

本研究為模擬研究，通過mvrnorm 函數(shù)生成服從多元正態(tài)分布的兩列數(shù)據(jù)，兩列數(shù)據(jù)的相關(guān)系數(shù)r 為0.9，均值為70，標(biāo)準(zhǔn)差為15，并在此數(shù)據(jù)的基礎(chǔ)上隨機(jī)缺失1000 次。

3.評價指標(biāo)

結(jié)果分析指標(biāo)包括學(xué)校排名變化總量、排名變化量/校、整體回歸系數(shù)的ABS、SD 值。完整的數(shù)據(jù)集和缺失的數(shù)據(jù)集里每個學(xué)校的增值量均可計算，根據(jù)增量每個學(xué)校會獲得一個名次，排名變化總量為所有學(xué)校在完整、缺失兩種情況下相差名次的總和； 排名變化量/校指排名變化總量與發(fā)生排名變化的學(xué)校數(shù)量之比， 上述兩個指標(biāo)均為隨機(jī)缺失1000 次結(jié)果的均值；整體回歸系數(shù)的ABS、SD 值計算公式如下（以A 系數(shù)為例），N 為1000 次：

三、研究結(jié)果

1.缺失比例與樣本量對學(xué)校排名的影響

表1 和表2 分別呈現(xiàn)了不同學(xué)校水平分布下，缺失比例和樣本人數(shù)對學(xué)校增值排名的影響。從表1 可以看出，在學(xué)校水平均衡時，缺失比例與樣本量均對學(xué)校排名變化有影響。當(dāng)缺失比例從5%增加到60%時，學(xué)校排名變化總量從2 個名次上升到6 個名次，平均每所學(xué)校的排名變化從0.63 個上升到1.40 個名次，均在1 個名次左右。在不同的缺失比例下，隨著樣本量的增加，學(xué)校排名變化總量和每所學(xué)校排名變化量均呈現(xiàn)下降的趨勢。

表1 缺失比例與樣本量對學(xué)校排名的影響（學(xué)校水平均衡）

從表2 可以看出，當(dāng)學(xué)校水平不均衡時，隨著缺失比例的增加，學(xué)校排名變化總量和每所學(xué)校排名變化量仍呈遞增的趨勢。當(dāng)缺失比例從5%增加到60%時， 學(xué)校排名變化總量從5 名增加到12名，且每所學(xué)校排名變化均量從1 名增加到2 名；但樣本量的影響不太明顯。 相比學(xué)生入學(xué)成績無差異，此時排名變化總量和每所學(xué)校排名變化量有所增加。

表2 缺失比例與樣本量對學(xué)校排名的影響（學(xué)校水平不均衡）

2.缺失比例與樣本量對回歸系數(shù)的影響

表3 和表4 分別呈現(xiàn)了不同學(xué)校水平分布下，缺失比例和樣本人數(shù)對回歸系數(shù)返真性、穩(wěn)健性的影響。從表3 可以看出，隨著缺失比例增加，在學(xué)校水平均衡時，回歸方程的A 和B 值在ABS 和SD 指標(biāo)上呈現(xiàn)出遞增的趨勢，A 值的ABS 值從0.0008增加到0.0091，SD 值從0.0006 增加到0.0071；隨著樣本量增加，A、B 值的ABS 和SD 指標(biāo)呈現(xiàn)出遞減的趨勢。

從表4 可以看出，當(dāng)學(xué)校水平不均衡時，隨著缺失比例和樣本量的改變，A 和B 系數(shù)的ABS 和SD 指標(biāo)的大小與學(xué)校水平均衡時相差不大， 且呈現(xiàn)出與學(xué)校水平均衡時相同的變化趨勢。

表3 缺失比例與樣本量對回歸方程的影響（學(xué)校水平均衡）

表4 缺失比例與樣本量對回歸方程的影響（學(xué)校水平不均衡）

四、討論

1.缺失比例對學(xué)校增值的影響

在學(xué)校水平均衡時，隨著缺失比例的增加，學(xué)校增值評價排名的誤差也逐漸增加。缺失比例的增加會使得可獲得的數(shù)據(jù)信息減少，從而使得回歸線越來越偏離真實(shí)回歸線。在學(xué)校水平均衡時，隨著缺失比例的增加，學(xué)校平均名次變化維持在1 名左右，但學(xué)校排名變化總量呈現(xiàn)遞增的趨勢。當(dāng)缺失比例為5%時，學(xué)校排名變化總量為2 名左右，當(dāng)缺失比例上升到10%時， 學(xué)校排名變化總量變化不大。 若區(qū)域內(nèi)學(xué)校水平相差不大， 且缺失比例在5%、10%左右時，可考慮繼續(xù)使用增值評價。 當(dāng)缺失比例繼續(xù)上升到30%、60%時， 學(xué)校排名變化總量上升到4 名、6 名左右，誤差相對來說增大。

在學(xué)校水平不均衡時，學(xué)校增值的誤差相對學(xué)校水平均衡時增加。 但就回歸系數(shù)而言，在某一固定缺失比例下，學(xué)校水平是否均衡對于整體的回歸系數(shù)影響不大。 這可能是因?yàn)樵趯W(xué)校水平均衡時，每個學(xué)校都是總體的一個代表性樣本，學(xué)?；貧w系數(shù)與整體回歸系數(shù)差異較小； 而學(xué)校水平不均衡時，每個學(xué)校學(xué)生成績分布較為集中，學(xué)校回歸系數(shù)與整體回歸系數(shù)差異較大，故在學(xué)校水平不均衡時，學(xué)校增值誤差相對較大。隨著缺失比例的增加，平均每校名次變化和學(xué)校排名變化總量也呈現(xiàn)出遞增的趨勢。當(dāng)缺失比例為5%時，學(xué)校排名變化總量為5 名左右，平均每校名次變化為1 名；當(dāng)缺失比例為10%時，學(xué)校排名變化總量變化不大，為6名，平均每校名次變化仍為1 名。 若區(qū)域內(nèi)學(xué)校水平相差較大，且缺失比例在5%、10%左右時，可根據(jù)區(qū)域?qū)嶋H情況來判斷是否繼續(xù)使用增值評價。當(dāng)缺失比例繼續(xù)上升為30%、60%時， 學(xué)校名次變化總量和平均每校名次變化量增加較多，學(xué)校名次變化總量分別為9 名、12 名，平均每校名次變化均為2 名左右。

2.樣本量對學(xué)校增值的影響

隨著樣本量的增加，學(xué)校增值評價排名的誤差呈遞減的趨勢，但這種趨勢在學(xué)校水平不均衡時并不明顯?？傮w來講，樣本量對學(xué)校增值評價排名有一定的影響，因?yàn)樵谙嗤笔П壤拢瑢W(xué)生數(shù)量的增加會使得計算獲得的信息增加， 但這種影響較小。如當(dāng)學(xué)校水平均衡、缺失比例為5%時，當(dāng)樣本量從2000 增加到10000， 學(xué)校排名變化總量從2.48 名下降到1.52 名， 但仍然維持在2 名左右，學(xué)校排名變化/校從0.77 名下降到0.63 名； 缺失比例為10%時， 學(xué)校排名變化總量從2.55 名下降到2.32 名， 誤差量沒有像缺失比例那樣發(fā)生質(zhì)的變化。

五、結(jié)語

總而言之，樣本量、缺失比例、學(xué)校水平分布均會對最終學(xué)校的增值情況產(chǎn)生影響。學(xué)校水平不均衡時，相同條件下，誤差會大于學(xué)校水平均衡時的情況。樣本量在2000-10000 之間時，不同的樣本量影響不大。 區(qū)域缺失比例在5%、10%左右時，結(jié)果如上所示，相對來說誤差不大，尚可接受，但各區(qū)域需按照本區(qū)域的實(shí)際情況與誤差情況接受度，來做出相應(yīng)的判斷和決定。