張春雷

NAEP計算機交互式測評的目標定位與試題特點分析

張春雷

美國國家教育進展評價（NAEP）采用計算機交互式任務來測評學生科學成就，其測評目標主要定位在測量高階思維能力，如學生科學探究能力和科學論證能力等。NAEP任務設計的一般模式包括明確問題或任務、提出預期或假設、設計和模擬實驗、根據(jù)實驗數(shù)據(jù)得出結論、選擇恰當?shù)臄?shù)據(jù)作為證據(jù)進行科學論證五部分。NAEP的特點是試題圍繞一個中心話題進行設計，由易到難階梯式排列，問題情境設計新穎，注重對學生作答過程的引導以及學生原有概念的診斷。NAEP計算機交互式任務的目標定位與試題特點對于我們開發(fā)基于計算機的科學教育測評具有借鑒意義。

科學教育測評；科學探究與實踐；NAEP；計算機交互式任務

隨著互聯(lián)網(wǎng)的發(fā)展和計算機的普及，計算機測評已經(jīng)成為現(xiàn)代教育測評發(fā)展的一個重要方向。計算機化考試也成為當今測評發(fā)展的大趨勢，為越來越多有國際影響力的測評項目所采用。如美國國家教育進展評價（National Assessment of Educa?tional Progress，NAEP）就采用計算機交互式任務（Interactive Computer Task，ICT）以更好地測評學生的科學成就，其計算機交互式任務也非常具有代表性。本文以NAEP在2009年發(fā)布的計算機交互式任務為例，對其測評目標定位與試題特色進行分析，希望有助于明確我國未來計算機測評的發(fā)展方向，以及開發(fā)高質(zhì)量的計算機交互試題。

1 NAEP計算機交互式測評的目標定位

NAEP是美國非常有影響力的教育評估項目，素有美國“國家教育報告卡”之稱。它最早起源于20世紀六七十年代，是美國唯一的針對多學科、多年齡段而設計的長期教育評估項目。2009年NAEP除了常規(guī)的紙筆試題之外，還采用兩種新型試題來測查學生在科學實踐中應用科學知識的能力，也就是實作評價和計算機交互式測評。實作評價為學生展現(xiàn)科學探究方案設計以及科學實踐能力提供了機會，同時也能更好地檢測學生應用科學知識解決真實世界情境中復雜問題的能力。計算機交互式測評則需要學生在計算模擬環(huán)境下解決科學問題，常常是在模擬自然或?qū)嶒炇噎h(huán)境下，學生需要運用一系列科學探究技能才能完成，但又擺脫了實作評價任務的一些局限，比如安全性、時間和經(jīng)濟成本等限制。

計算機測評的優(yōu)勢不僅在于經(jīng)濟、方便、快捷，還在于可以利用計算機模擬、仿真技術實現(xiàn)近似于真實情境下的科學實踐測評，其條件可控性以及基于數(shù)據(jù)的認知診斷能力優(yōu)勢明顯。對于大規(guī)?？荚嚩?，基于矩陣取樣和自適應考試技術，計算機測評可以實現(xiàn)用更少的題目、更短的時間對學生學業(yè)成就進行更準確的評估。此外，在信息呈現(xiàn)上，計算機測評也具有很強的交互性，可以實現(xiàn)個性化的信息呈現(xiàn)。紙筆測驗中的信息呈現(xiàn)往往是線性的、靜態(tài)的、統(tǒng)一不變的，而計算機考試中的信息呈現(xiàn)則可以是非線性的、動態(tài)的、個性化的，計算機可以根據(jù)考生操作的不同而呈現(xiàn)不同的信息，由于每個考生的關注點和操作的不同，其讀取的信息也有很大的差異。

NAEP計算機交互式任務需要學生不僅能夠應用科學概念和原理解決探究的問題，還要能夠進行模擬的科學實踐活動，比如測量和收集科學證據(jù)、設計和開展模擬實驗、構建和修正科學模型等，這有助于更好地測查學生科學問題解決和科學探究等高階思維能力。那么，NAEP計算機交互式任務主要測查學生哪些方面的科學能力呢？從已發(fā)布的NAEP計算機交互式任務來看，其測查的科學探究技能主要包括：①基于研究問題提出假設；②設計實驗并操作實驗變量；③模擬實驗收集數(shù)據(jù)；④選擇數(shù)據(jù)進行解釋；⑤基于數(shù)據(jù)得出結論或進行科學論證。

2 NAEP計算機交互式任務案例及其一般模式

下面結合一個具體的NAEP計算機交互式任務進行分析。這個任務是圍繞植物生長而設計，主要研究的問題是植物需要多少陽光和肥料才生長得最好。因此，該任務的名稱為“神秘的植物”（Mys?tery Plants）,主要是針對小學4年級學生設計的，規(guī)定的作答時間為40分鐘。該任務主要分為4部分，分別是任務介紹（Introduction）、操作說明（Tutorial）、實驗準備（Getting Ready to Experiment）及探究任務（Inquiry Task）。每部分的內(nèi)容和功能介紹如下。

2.1 任務介紹

任務介紹是學生進入測評程序的第一個環(huán)節(jié)，它首先明確了活動要探究的主題——植物生長，并讓學生作出自己的猜想，即在怎樣的陽光條件和肥料條件下植物可以生長得最好，然后介紹探究任務的具體情境和操作細節(jié)。

2.2 操作說明

操作說明這一環(huán)節(jié)主要為任務操作提供文字說明和動畫演示。圖文并茂、動靜結合，使學生熟悉任務結構和相關的計算機操作。對于實驗模擬的演示過程是分步進行的，演示了每個按鈕以及操作的功能，從而促使學生更容易完成相應的計算機操作和模擬，進而順利完成作答。

2.3 實驗準備

在正式設計和開展實驗前，學生首先要能根據(jù)植株特征及相關數(shù)據(jù)判斷植物的生長狀態(tài)是否良好。因此，該任務“實驗準備”這個環(huán)節(jié)提供了健康植株和不健康植株的圖片以及相關數(shù)據(jù)，以便于學生通過觀察和數(shù)據(jù)比較，發(fā)現(xiàn)植物健康與否的判斷指標。其中有些指標有明顯差異，比如葉子的多少、花的多少，這些指標可以作為植物健康狀態(tài)指標。有些指標則沒有顯著差異，比如植株的顏色和高矮，這些指標就不能作為判斷植物健康狀態(tài)的指標。掌握了判斷標準之后，學生才正式進入后面的實驗探究任務。

2.4 探究任務

在該測試活動中，探究任務分為Part 1、Part 2、Part 3三部分。探究的問題分別是：①植物A需要多少光照長得最好；②植物B需要多少光照長得最好；③植物A需要多少肥料長得最好。在整個任務中，學生需要先提出假設，然后操作實驗變量設計和模擬實驗，收集證據(jù)檢驗自己的假設，并進行科學論證。比如Part 1給學生提供了長勢相同的6盆植物A，給定3種光照條件，學生可以拖拽花盆到指定的條件下，然后點擊“做實驗”（Do Experiment）按鈕模擬生長過程。植物生長過程模擬完成后，其生長結果會以數(shù)據(jù)表格和圖片兩種方式呈現(xiàn)，點擊“查看數(shù)據(jù)表”（View Data Table）按鈕就可以查看實驗數(shù)據(jù)表。

觀察數(shù)據(jù)表后，學生就可以基于實驗結果得出結論并進行科學論證，這部分在點擊“得出結論”（Draw Conclusions）按鈕后進行。

從NAEP發(fā)布的交互式任務來看，其任務設計的一般模式為：①明確問題或任務；②提出預期或假設；③設計和模擬實驗；④根據(jù)實驗數(shù)據(jù)得出結論；⑤選擇恰當?shù)臄?shù)據(jù)作為證據(jù)進行科學論證。在“神秘的植物”這一任務中，①和②主要在“任務介紹”這一環(huán)節(jié)進行，③、④、⑤則主要在“探究任務”中完成。題目作答也主要在點擊“得出結論”按鈕后進行，題型主要包括選擇題和簡答題，比如在選擇題中學生可以選擇基于實驗結果能夠得出的結論，而在簡答題中則需要學生對自己的結論給出支持性的證據(jù)。

3 NAEP計算機交互式任務試題特點

從NAEP在2009年發(fā)布的計算機交互式任務來看，其試題的設計特點包括：注重對學生操作和作答思路的引導；圍繞同一個話題設計和組織題目；注重試題難度梯度的合理設計；注重試題的反饋性和診斷功能。這些特點非常值得我們在計算機測評開發(fā)中學習和借鑒。

3.1 注重對學生操作和作答思路的引導

例如“神秘的植物”這個計算機交互任務特別注重對考生的引導，這種引導不僅包括程序操作的引導，還包括研究思路和作答過程的引導。操作上的引導有助于學生克服計算機操作上的障礙，而作答思路的引導則有助于學生循序漸進地完成整個作答過程，進而更有利于學生能力的全面展現(xiàn)。其程序操作的引導主要通過文字和動畫演示來實現(xiàn)，而作答思路的引導主要通過問題設計的內(nèi)在線索以及提綱信息來實現(xiàn)。

3.2 圍繞同一個話題設計和組織題目

NAEP計算機交互式任務采用了話題中心的問題設計模式。例如在“神秘的植物”這個交互式任務中，所有的題目都是圍繞植物生長這個話題組織和設計的。該話題又分為2個子問題，分別是植物生長的最適光照量和肥料量。學生熟悉和明確了研究問題后，就可以一直圍繞該問題情境和線索進行思考和探索，這些問題也是彼此密切關聯(lián)，一步一步引導學生的作答和科學探究。

3.3 注重試題難度梯度的合理設計

NAEP計算機交互式任務在問題的設置上，也具有較好的難度梯度。首先讓學生通過分析圖表來找出哪些指標可以判斷植物生長的狀況，接下來才讓學生設計實驗。即便在設計實驗的環(huán)節(jié)，也會給出提示，比如提供了3種光照條件，讓學生分配花盆。在后面植物B的實驗中，則進一步提高實驗設計難度，讓學生自己控制氮肥使用量，并確定花盆的數(shù)目。在學生選擇了實驗結論后，還進一步讓學生找出特定的證據(jù)來對自己的假說進行判斷并得出概括性的結論。整個任務中，題目的設置層層遞進、難度階梯式排布，更有利于學生完成作答。

3.4 注重試題的反饋性和診斷功能

NAEP計算機交互式任務還特別注重對學生原有知識和概念的收集。比如在“神秘的植物”這個任務測試中，任務開始就需要學生提出自己的假設，而不是為學生限定某一假設之后讓學生設計恰當?shù)膶嶒灐⑹占侠淼淖C據(jù)檢驗這個假設，并作出結論。這樣的設計可以使得試題具有很大的開放性，學生可能一開始提出的假設并不一定正確，但是通過實驗驗證，最后得出合理的認識。有的學生可能認為陽光越充足，植物會長得越好，這就是我們所謂的前科學概念。如果學生沒有能得到正確結論，那么其收集的前科學概念以及實驗操作過程也能幫助了解為什么沒有達成正確的原因。試題通過收集學生的前科學概念以及在計算機交互測試中學生概念轉(zhuǎn)變的情況，可以為相關教學提供有意義的反饋信息。從這樣的設計我們可以看出，測評的目的不僅在于考核，還在于診斷、反饋，進而以測促學。

4 未來計算機交互式測評的發(fā)展趨勢

從發(fā)展趨勢來看，計算機交互式測評正在向著情境化和智能化的方向發(fā)展。情境化是指計算機能夠呈現(xiàn)更為接近真實世界的問題情境以及工作情境，比如實驗情景的模擬，科學實踐環(huán)境的模擬等。隨著項目反應理論和自適應考試技術的發(fā)展，計算機交互式測評智能化特征越來越明顯，表現(xiàn)在計算機不僅可以動態(tài)化地呈現(xiàn)信息，而且還可以針對考生的操作和輸入作出策略性的反應，從而更準確地在最短的時間內(nèi)測量學生的發(fā)展。在自適應考試中，計算機系統(tǒng)根據(jù)學生作答情況，及時調(diào)整問題或問題組的難度，進而實現(xiàn)在最短的時間內(nèi)更精準地測查學生的能力。隨著語音識別技術的發(fā)展，智能輸入技術可以讓打字有障礙或打字速度慢的學生通過語音等方式進行輸入，從而更為人性化和高效。此外，計算機交互測試過程中也可以收集更多過程性數(shù)據(jù)，比如考生作答時間甚至考生目光焦點數(shù)據(jù)等[2]，通過后期的過程數(shù)據(jù)的挖掘和分析可以更好地評估考生的能力[3]。

我國計算機交互測評試題以及相關軟件開發(fā)還相對薄弱，相關基礎研究和開發(fā)工作亟待開展。對于這項工作我們要予以重視，積極推動中國教育測評現(xiàn)代化，促進科學教育測評形式的多樣化以及測評質(zhì)量、效率的提升。

[1]NAEP.NAEP：2009 Science Interactive Computer Tasks[EB/OL]. [2016-05-28].http://www.nationsreportcard.gov/science_2009/ict_ tasks.asp.

[2]CHEN S,SHE H,CHUANG M,et al.Eye movements predict stu?dents’s computer-based assessment performance of physics con?cepts in different presentation modalities[J].Computers&Educa?tion,2014（74）:61-72.

[3]OECD.Using Log-File Data to Understand What Drives Perfor?mance in PISA（Case Study）[R]//Computers and Learning:Making the Connection.OECD,2015.

Analysis of the Goal-setting and Design Features of NAEP Interactive Computer Tasks

ZHANG Chunlei

The National Assessment of Educational Progress（NAEP）uses interactive computer tasks to assess students’science achievements,its goals are mainly located in measuring higher-order thinking skills,such as students’scientific inquiry abilities and scientific reasoning abilities.The general pattern of the tasks consists of five components,including the introduction of the problem or task，making predictions or assumptions，designing and simulating the experiment，drawing conclusions based on experimental data and selecting appropriate data as proof for scientific reasoning and argument.The feature of NAEP is that the questions in a task are designed around a central topic with novel scenarios,arranged from easy to difficult.The tasks also provide students with friendly guidance to help students finish the whole process.They can also help diagnose students’prior conceptions.The goal-setting and design features of NAEP interactive computer tasks have important implications for the development of our computer-based assessment of science education in the future.

Science Education Assessment;Scientific Inquiry and Practice;NAEP;Interactive Computer Tasks

G405

A

1005-8427（2016）09-0024-4

（責任編輯：陳寧）

張春雷，男，華東師范大學生命科學學院，講師（上海 200241）