張麗

對教育質量進行綜合評價涉及到兩個關鍵問題，一是評價什么，二是怎么評價。怎么評價直接指向了測評工具的研發(fā)。測評工具的科學性、可信性、有效性決定了我們收集的數(shù)據(jù)是否能反映測評對象的真實情況，因此，測評工具的研發(fā)是整個教育質量評價過程中至關重要的一環(huán)。

常用測評工具

目前國際上教育質量評價項目中測評工具主要有學業(yè)成就測驗和量表、問卷工具。在我國，《教育部關于推進中小學教育質量綜合評價改革的意見》（教基二[2013]2號文件）明確指出，“主要通過測試和問卷調查等方法進行評價，輔之以必要的現(xiàn)場觀察、

個別訪談、資料查閱等?！逼渲袑W業(yè)成就測驗一般以課程內容為基礎，測查學生在接受一段時間的課程學習后達到的效果。學業(yè)成就測驗的實施是為了了解學生學習后所達到的水平，對學生學習的長短板有明確的認識。

量表是對事物特質用不同的規(guī)則分配數(shù)字等級，從而實現(xiàn)定量化測量的測評工具，后期進行數(shù)據(jù)分析。問卷也是對人的行為和態(tài)度、背景信息進行測量，沒有量表那么嚴格的規(guī)范，不一定是選擇某個等級分數(shù)，選項的設計和作答要求更加多樣化，后期通過選項百分比統(tǒng)計、選項比率的差異分析等進行數(shù)據(jù)分析。

學業(yè)成就測驗和量表、問卷工具在教育質量綜合評價的運用中，主要是測查學生學習、心理、行為等特征，確定學生在這些特質上達到的水平。鑒于三者的區(qū)別，對于中小學教育質量綜合評價指標框架中涉及的五大內容20個關鍵指標，不同的指標適用不同的測評工具（具體見左表）。區(qū)別于傳統(tǒng)的學科考試類測驗，為了實現(xiàn)對教育質量的診斷功能，學業(yè)成就測驗和量表、問卷工具一般是配套研發(fā)、施測、分析。

測評工具的研發(fā)流程

教育質量綜合評價測評工具的研發(fā)有一套標準化的流程，每個環(huán)節(jié)都會影響到其他環(huán)節(jié)，標準化的命題流程是為了保證工具的質量，只有各個環(huán)節(jié)都操作規(guī)范，才能從整體上確保測評工具的可信性和有效性。測評工具的一般研發(fā)流程如下表。

一是學業(yè)成就測驗。其一，確定測驗框架。依據(jù)《國家義務教育質量監(jiān)測方案》（國教督辦[2015]4號）中對監(jiān)測內容的要求“測查學生掌握知識、技能的程度和分析解決問題的能力”，在這種新要求下，對學生學業(yè)成就的測評將涉及到學生的知識、技能、能力三個方面。對于不同學科的測評，知識維度需要依據(jù)學科課程標準，根據(jù)標準中的課程目標與內容確定考查的知識點；技能維度將運用布魯姆教育目標分類學中的認知向度，界定不同認知水平，如識記、理解、應用等；能力維度則將運用多元智能理論，界定語言、數(shù)理邏輯、空間、人際等多種能力。因此，對學生學業(yè)成就的測評不再是二維的，而應該是三維的，傳統(tǒng)上用于測驗框架制定的雙向細目表將被多向細目表所取代。在多向細目表中，將要考查的知識、技能、能力編制成列聯(lián)表，并規(guī)定好各項目的比例。

其次，編寫測驗題目、組成題本。根據(jù)多向細目表，確定好不同內容和認識水平對應的題目類型，利用收集到的資料（如閱讀的文本材料、圖片等）編寫各類型的具體題目。目前，為了較好地覆蓋課程內容，并且避免學生作答過多題目，要將編寫的題目組合成多個題本，學生只需要完成一個題本，通過矩陣抽樣技術實現(xiàn)對學生作答不同題目但分數(shù)可比的目標。

其三，審讀與模擬測試。題本編制好后，邀請學科專家、教研員、教師對多向細目表、題本進行審讀，考查題本測查的內容與測評目標的一致性，題目的具體內容是否適合測評對象、表達上可否優(yōu)化等，根據(jù)審讀的意見對題目進行初步修改。之后選取有代表性的學生進行測評，記錄學生作答的時間、疑問等信息，并可在學生作答完畢后進一步訪談，了解學生作答的思路和適合性。

其四，修訂與標準化。對模擬測試收集到的數(shù)據(jù)進行分析，明確各題目的難度、區(qū)分度，結合觀察和訪談收集到的信息，對題目進行篩選和修改，最終形成正式題本。標準化實施還需規(guī)定測驗實施的過程（如指導語、對學生疑問的解答等）、評分標準。

二是量表、問卷。其一，確定量表、問卷編制的目的和框架。量表、問卷編制的目的應與教育質量綜合評價的目的契合，目的的確定是內容選取的基礎，要明確量表、問卷的用途和實施的對象。根據(jù)具體目的，建立量表、問卷編制的對應框架?？蚣苤械膬热萃枰獜某橄蟾拍畹骄唧w可操作的測量點的層層具體化。將抽象的心理行為特質可操作化定義非常重要，其準確性和科學性直接決定著是否可檢測到目標特質。面對一個抽象的心理行為特質，一般需要查閱相關文獻，建構其理論結構，再結合教育教學實際情況，選取有代表性的測評點。

其二，編制題目。在確定的量表、問卷框架基礎上，對應各個測評點，選取具體的行為、態(tài)度、事實，編制成各個題目。對于不同內容的測評，在題目類型、表達方式、作答方式上都會不同。如對學生公民素養(yǎng)的測評，最后量表、問卷的題目可能會指向學生面對某一情境具體的態(tài)度、行為等，而不是直接讓學生選擇自己的素養(yǎng)水平。針對學生綜合素質的評價，在編制題目時，要特別避免編寫帶有傾向性或者能顯而易見做出選擇的題目。此外，量表、問卷編制中還涉及到指導語的編寫，指導語既要讓測評對象明白在測評什么，不會對其造成不良影響，不要有所顧忌，同時也要提醒對方按照實際情況作答，保證答案的真實性。

其三，模擬測試。通過模擬測試，可以了解到學生作答的時間、學生在作答過程中的疑問、題目表達是否產(chǎn)生歧義、指導語是否明晰等等。同時模擬測試收集到數(shù)據(jù)仍然可以統(tǒng)計分析出題目選項分布是否合理、信效度是否達標。

其四，修訂并形成正式量表、問卷。針對模擬測試后發(fā)現(xiàn)的問題，對量表、問卷題目進行修訂，可能會刪除個別題目、修改題干表述、修改題目選項，特別要注意題目選項之間存在重疊的情況，最終形成正式的量表、問卷。同樣，量表、問卷也需要編寫相應的操作手冊。

三點思考

測評工具的編制需要多學科專家協(xié)作。在編制教育質量綜合評價測評工具時，特別是學生學業(yè)成就測驗的編制，既需要對學科教學非常了解的學科專家，又需要掌握測評理論和技術的測量專家。學科專家需要負責測驗多向細目表的建構、題目的命制和修改、相關材料的收集，而測量專家需要設計題本的安排、處理數(shù)據(jù)、分析測驗的質量、規(guī)范測驗的標準化實施流程。

測評工具的編制需要測量新技術的介入。目前，在國際大型教育測評項目中，科學先進的測量技術已經(jīng)得到了很好的運用。如矩陣抽樣技術，將編制的題目分派到不同題本中，學生只需要完成其中一個題本，仍然可以完整反應學生學業(yè)水平。項目反應理論也越來越多的運用到對工具質量的分析中。這些測量技術有效提高了測評結果的科學性、準確性和時效性。

測評工具的編制需要和數(shù)據(jù)分析相結合。在研發(fā)測評工具時，還需要思考將進行哪些數(shù)據(jù)分析，希望得到什么樣的結果等問題。有些題目只是需要呈現(xiàn)各個選項的百分比，有些題目需要針對不同人群進行方差分析，有些題目需要合成一個指數(shù)以便做進一步的分析等等。不同的數(shù)據(jù)分析需求會影響到題目設計的類型。