楊玉琴 熊新華 辛艷

摘要： 技術與工程是STEM教育的重要內容領域，美國國家教育進展評估（NAEP）于2014年首次在全國范圍內對8年級學生的技術與工程素養(yǎng)進行了測評。其試題編制以“領域”、“實踐”與“情境”的三維架構為理論依據(jù)，題型由基于場景的試題和獨立題組成，且大多是建構反應題。所有的任務皆通過計算機呈現(xiàn)且由學生在計算機上完成，有力保證了測量的信度與效度。

關鍵詞： 國家教育進展評估（NAEP）; 技術與工程素養(yǎng); 領域; 實踐; 場景題

文章編號： 10056629（2018）3001806 中圖分類號： G633.8 文獻標識碼： B

國家教育進展評估（National Assessment of Educational Progress，簡稱 NAEP）是美國最具權威的持續(xù)性中小學生學業(yè)成就評價系統(tǒng)，定期對閱讀、寫作、數(shù)學、科學、美國歷史、公民學以及地理等學科進行測評，了解4、 8、 12年級學生在這些領域中的學業(yè)成就水平現(xiàn)狀及發(fā)展趨勢，為美國國家教育政策的制定和改革提供有力依據(jù)[1]。進入21世紀，由于STEM（數(shù)學、技術、工程和數(shù)學）教育的興起，美國國家評估委員會于2008年發(fā)起和資助開發(fā)技術（T）和工程（E）素養(yǎng)國家評估框架，于2013年正式出臺了《2014NAEP技術與工程素養(yǎng)評估框架》（以下簡稱《框架》），并在2014年首次在全國范圍內抽選8年級學生進行技術與工程素養(yǎng)的測評，以提供數(shù)據(jù)促進技術與工程教育[2]。目前，我國STEM課程已經(jīng)入校，但其評價方式方法的合理性、科學性等問題仍需進一步的探索和回答[3]。美國NAEP技術與工程素養(yǎng)評估試題的開發(fā)經(jīng)驗具有重要借鑒價值。

1 試題編制的依據(jù)

2014NAEP技術與工程素養(yǎng)評估試題的編制以《框架》中對技術與工程素養(yǎng)內涵及其表現(xiàn)目標的界定為依據(jù)。《框架》將技術與工程素養(yǎng)界定為“理解、應用、操縱和評估技術的能力”。具體內容包括如表1所示的“領域”（Areas）和“實踐”（Practices）[4]。

如上，三個領域是評估的核心部分，每個領域又包含各自的二級主題。三個領域在評估目標中雖然分開說明，但并非分開學習或應用，而是相互重疊、相互作用。如，在解決“潔凈的水”“清潔能源”等議題時，不僅要理解技術與社會的相互關系，掌握技術系統(tǒng)和工程設計過程，還要能夠運用不同的信息和通信技術來研究問題和解決問題;三種實踐活動則是期望學生在解決技術與工程相關問題時展示思維和推理，即對技術與工程知識和技能的理解及運用。它們并不隸屬于哪一個領域，而是普遍性的、跨領域的，如，交流與合作既是理解技術對自然世界影響，也是設計一個現(xiàn)實問題的工程解決方法以及應用通信工具達到目標的重要技能?！犊蚣堋分芯唧w描述了三個領域的每個二級主題在4、8、12年級的評估目標，即學生應該知道什么和能做什么。如“設計與系統(tǒng)”領域下二級主題“工程設計”的8年級學生的評估目標是“學生應該知道： （1）工程設計是滿足人類需求的創(chuàng)造性、系統(tǒng)性和迭代性過程。包括陳述問題、產(chǎn)生想法、選擇最好的方法、制作和測試模式或原型以及重新設計等步驟。通常會有幾種可能的方法。（2）設計要求包括產(chǎn)品標準和限制條件等，可能包括時間、花費、材料等。設計通常需要在各種限制條件和設計要求之間進行權衡;學生能夠： （3）通過設計解決一個中等難度的問題，包括界定產(chǎn)品標準和限制條件，研究和產(chǎn)生想法，權衡各種可能的方法。（4）構建和測試一個模型，收集數(shù)據(jù)以證明其是否滿足要求。交流設計結果，并利用語言和可視化手段說明設計背后的原理。說明一個設計的優(yōu)勢以及可能的后果”。

“領域”知識的理解及運用依賴于“實踐”活動。《框架》給出了每個二級主題下某個特定內容目標的三種“實踐”任務樣例。如表2所示為8年級可用于“設計和系統(tǒng)”下的特定內容目標的“實踐”任務。這些樣例為設計試題的具體任務或問題提供了方向。

技術和工程素養(yǎng)不僅要求學生知道技術而且能識別他們身邊的技術，理解技術與社會互相影響的復雜關系，而且能運用技術原理和工具解決問題和實現(xiàn)目標。因此，評估要求將學生置于與現(xiàn)實需求相關的社會議題、工程設計目標以及學校和社區(qū)問題情境中來展示其技術和工程素養(yǎng)。如可用于技術和社會的情境為： 農(nóng)業(yè)和健康情境（如水作為一種緊缺的資源）、能源情境（如家庭使用的風力發(fā)電機）、電子通信情境（如個人通信設備）等;可用于“設計和系統(tǒng)”的情境為： 農(nóng)業(yè)和相關生物技術建筑技術、能源和電力技術、信息和通信技術、材料和制造、制藥技術、交通運輸技術等;可用于信息和通信技術為需要通過開發(fā)和運用技術來達到目標或解決問題的任何情境。

如此，“領域”、“實踐”和“情境”形成了NAEP技術與工程素養(yǎng)測量的三維架構。領域和實踐的相互作用構成了技術與工程素養(yǎng)的內涵，通過情境巧妙地把領域目標和實踐任務融合在一起，學生通過解決真實情境中的問題來展示對三個領域內容的理解以及三種實踐活動的應用，從而達到相應的評估目標。

2 題型設計

基于上述理論框架，NAEP技術與工程素養(yǎng)測評利用計算機技術，將學生置于豐富復雜的反映現(xiàn)實情境的場景中，通過與計算機模擬工具的互動以及對系統(tǒng)元素的操控來完成測量任務。與NAEP其他學科測量不同的是，所有問題情境和任務的呈現(xiàn)以及學生的答題行為都在計算機上進行。測試題由場景題（scenario-based assessment sets）和獨立題（discrete item sets）兩類題所組成，反應類型（response type）則包括傳統(tǒng)的選擇題（selected-response items）和建構反應題（constructed-response items）。建構反應題要求被試組織或建構一份答案，在考查學生的高層次能力上具有優(yōu)勢，答案有封閉性和開放性兩種。NAEP官網(wǎng)上公布了2014年8年級學生技術與工程素養(yǎng)測評的24道試題[5]。

2.1 場景題

場景題以反映社會生活、學術活動或校外生活的情境為背景，利用計算機技術如視頻、動畫、文本、數(shù)字或圖表等來呈現(xiàn)，并由此引入驅動性目標或者問題，利用故事線的方式逐步展開所要完成的任務或解決的問題。學生在真實的任務情境中利用計算機提供的工具解決系列問題。場景題由于其情境的真實性、任務的復雜性以及思維水平的高階性有助于提高整個測量工具的效度。

場景題都是建構反應題。根據(jù)完成任務所需的時間不同，場景題又分為長場景題（LCR）和短場景題（SCR），兩種題型在復雜程度和要求學生完成的任務和項目數(shù)上不一樣。長場景題一般測量10～15個表現(xiàn)，完成時間為25～30分鐘;短場景題一般測量5～10個表現(xiàn)，完成時間為15～20分鐘。場景包括兩種類型，一種類型的場景包括系統(tǒng)要素，依據(jù)特殊的情境，可能是一個工程系統(tǒng)，如灌溉系統(tǒng)或供水系統(tǒng)等。不管哪一種系統(tǒng)，都包括動態(tài)相聯(lián)的元素，以讓學生觀察到某個特殊元素的作用（如觀察當一個閥門打開時供水系統(tǒng)會發(fā)生什么）或者元素之間的相互作用（如改變系統(tǒng)中的某個參數(shù)，或移動系統(tǒng)中的某個部分，觀察由此帶來的系統(tǒng)狀態(tài)的變化）;第二種類型的場景是展示一個總的目標或問題，學生需要通過不同的相關任務來達到目標或解決問題。如例1所示。

例1 場景題示例——第21題

總目標： 幫助史密斯博物館制作在線展示，以讓中學生了解19世紀末期芝加哥水污染問題的產(chǎn)生和解決過程。

步驟1： 了解水污染問題的原因。學生通過視頻（如圖1）查閱19世紀末期生活在芝加哥的埃德娜的日記和信件，了解水污染問題的原因，并制作事件的因果關系圖（如圖2： 污染劇增、工業(yè)增長、鐵路發(fā)展、河水污染之間的因果關系）。

步驟2： 產(chǎn)生解決問題的想法。學生首先觀看一個污染物從芝加哥河流入密歇根湖的影片（如圖3），然后閱讀4種不同的解決水污染問題的觀點陳述，將不同的觀點與適合的利益相關者（商人、工程師、地區(qū)決策者以及農(nóng)場主）匹配起來（如圖4）。

步驟3： 設計解決問題的方法。學生通過編輯視頻展示水污染問題的工程設計解決方案（如圖5）。

步驟4： 推理背后的設計原理。學生需要解釋為什么芝加哥選擇建一個運河以改變河流的流動方向而不是其他解決方案。為此，學生評價當時的四個領導人的陳述，并選擇有助于解釋決定的陳述（如圖6）。

步驟5： 評估解決方案的后果。學生評估亞洲鯉魚泛濫信息，解釋運河建設和鯉魚入侵的關系（如圖7）。

步驟6： 確定展覽的主要思想。學生選擇表達技術與社會的關系的最佳語句（如圖8）。

上述試題，學生在19世紀芝加哥水污染問題這一場景中，通過6個相關任務的完成，展示其因果關系的推理技能，對社會和技術的相互關系的理解，并利用技術編輯污水問題解決工程設計方案，分析設計步驟或診斷故障，用證據(jù)來解釋水污染問題解決后未曾預料到的環(huán)境后果等。

在NAEP工程與素養(yǎng)測試題中，場景的選擇要求盡可能地利用學生熟悉的生活情境，任務必須是與真實世界的問題和情境相關的。在場景中，學生需要從計算機所提供的工具包中選擇工具在解決問題時應用。如，要求學生選擇和操作一個制圖工具，或電子表工具，或網(wǎng)頁制作工具，或某個模擬工具等。根據(jù)不同的場景任務選擇利用不同的工具。命題人員在設計提供的工具時，需要決定工具的哪種元素對于場景中活動是必須的，工具的哪個特征是學生將要使用的，而不必提供或者模擬工具的所有特征。如，只要提供電子表工具的某些功能學生就可以處理從系統(tǒng)中獲得的數(shù)據(jù)并制作表格，或者選擇將之轉換成圖形（如直線圖、柱形圖或扁狀圖），而沒有必要提供工具表的其他功能，否則反而會分散學生的注意力，產(chǎn)生測量的“噪音”。在與計算機系統(tǒng)的互動中，學生也會被要求使用工具尋找相關資源、與他人交流方案、決定或結果（如發(fā)送信息給一個虛擬的團隊成員），或者在最后要呈現(xiàn)他們的成果（如制作一個展示的幻燈片）等。通過學生對復雜的真實場景中多項任務或項目的反應來評估學生的表現(xiàn)，很大程度上保證了技術與工程素養(yǎng)測量的真實性和有效性，因此這種題型的使用有助于保證測量的效度。

2.2 獨立題

獨立題組一般由10～15個獨立的項目所組成，可以是選擇題或短的建構反應題，要求在25分鐘之內完成。獨立題雖然也包含著情境要素，但是不屬于任何一個復雜情境中的某個部分，或者與另一個題目有關。每個獨立題都會提供相應的題干材料，包含足夠的信息以回答問題。

獨立題雖短，但都包含著情境、領域和實踐三要素。由于獨立題互相之間沒有依賴性，有助于增加整個測量的內容和長度，以提高測量的信度。獨立題的反應類型包括選擇題（如例2所示）和短的建構反應題（如例3所示）。

例2 獨立題示例——第6題

根據(jù)圖表所示，循環(huán)利用過程所產(chǎn)生的一個重要結果是什么？在下面的4個選項中選擇1個，正確的答案是： 。

A 回收導致人們消費更多的原材料。

B 回收直接刺激消費者對回收產(chǎn)品的需求。

C 回收提供了發(fā)現(xiàn)原材料新來源的動力。

D 回收使得利用更少原材料就能制成產(chǎn)品。

該題以材料的循環(huán)利用過程（從原材料、廠家、產(chǎn)品、消費者到廢棄物回收處理的過程）為情境，考查學生對技術是什么及技術可以用來做什么等相關知識的理解，認識技術過程對社會的積極影響。學生在解題過程中需要讀懂表示技術過程的流程圖，分析系統(tǒng)過程中各要素之間的相互作用，從而能夠預測技術使用的結果。

例3 獨立題示例——第18題

你與項目小組一起研究一種叫做“ByeByeCold”的感冒藥的可能利弊。你的團隊成員Tammi搜索了網(wǎng)頁，找到了以下信息：

Tammi認為網(wǎng)頁是研究關于“ByeByeCold”利弊的主要信息來源，但其他成員并不同意。解釋為什么該網(wǎng)頁的信息并不可靠，給出一個理由支持你的答案。

該題以小組合作研究一種感冒藥的利弊為情境，以生產(chǎn)廠家網(wǎng)頁上所提供的諸如該感冒藥的治愈率、與其他感冒藥的比較，以及藥廠代言人的言論等信息為內容，考查學生利用信息工具和技能來解決真實情境中的問題從而實現(xiàn)既定目標，要求學生對信息來源進行批判性思考。

3 測試題平衡設計

測試題分為長場景題（L）、短場景題（S）及獨立題（D）等不同模塊，一個學生若完成所有的測驗模塊約需5個小時。為了保證測量在實施上的可行性，NAEP規(guī)定的測量時間一般都是60min，因此，測試題需要對測試內容、題型及所需時間進行適當?shù)钠胶庠O計。在時間設計上，從不同模塊中分別抽選不同的題型進行組合，形成不同組塊，如L—S—S、 D—S—L、 S—D—D—S、 L—D—S等，這些組塊分別由不同的學生完成，每個學生完成一個組塊所需時間大約60分鐘，這樣既保證了所有的測量內容都有學生完成，又不需延長測量所需的時間。

8年級的測評在內容領域稍偏重“設計與系統(tǒng)”（占40%），“技術與社會”及“信息與通信技術”分別占25%、 35%;而在實踐層面，則偏重于“理解技術原理”（占40%）及“制定方案實現(xiàn)目標”（占40%），這與“交流與合作”（占20%）能力不易通過測試題考查相關。由于各年級學生的心理和認知發(fā)展及教育經(jīng)驗的不同，三個領域的比例也不相同，《框架》規(guī)定“技術與社會”、“設計與系統(tǒng)”以及“信息與通信技術”在4年級測試中的比例為25%、 30%、 45%， 12年級的比例則為30%、 35%、 35%。在題型分布上，場景題高達80%，通過與計算機虛擬情境的相互作用能夠在較廣的范圍內充分測量學生的實踐表現(xiàn)。20%獨立題的存在增加了所能測量的知識和技能內容。而在反應類型上，建構反應題的比例（60%）高于選擇題（40%），因為場景題更需要學生去創(chuàng)造答案而非在既定的答案中選擇，有利于考查學生的高層次思維能力。

4 啟示

NAEP各學科評估框架的開發(fā)皆建立在國家課程標準或各州課程標準的基礎上，將內容標準轉化為可測量的表現(xiàn)標準，再根據(jù)表現(xiàn)標準開發(fā)試題以形成測量工具。為了應對21世紀公民技術與工程素養(yǎng)的需求，美國國家評估委員會于2008年成立了包括學校、工程、教育、21世紀技能、網(wǎng)絡，企業(yè)、科學教育、一般教育、教育評估等不同領域專家的指導委員會，共同開發(fā)評估框架。在框架中界定了技術與工程素養(yǎng)的內容領域和實踐活動，以及不同年級的評估目標，構建了領域、實踐和情境有機結合的三維框架，使得試題的編制有據(jù)可依。無論是場景題還是獨立題的編制皆涵蓋了內容、實踐和情境三要素，聚焦于評估普遍運用的比較穩(wěn)定的知識和技能基礎。試題與框架之間的一致性有力地保證了試題質量。場景題在2014評估中比例高達80%，而且建構反應題的比例也高達60%，凸顯了對學生高級思維能力與復雜認知活動的評價。固然這些變革給試題開發(fā)、閱卷評分等帶來一些挑戰(zhàn)，但由于場景題及建構反應題在考察學生思維過程及認知水平上的作用，這一變革無疑也是有益的，將對教學起著良好的導向作用。

技術與工程已成為21世紀社會不可或缺的元素，技術與工程素養(yǎng)應該與閱讀、數(shù)學和科學等素養(yǎng)齊頭并進，成為學校重要培養(yǎng)目標。教育評價歷來對教育改革起著重要的促進作用，技術與工程教育的推進需要評價數(shù)據(jù)的支持。2014年NAEP第一次對技術與工程素養(yǎng)進行測評，其測試題的編制遵循嚴格的開發(fā)程序，借助有效的技術手段，保證了試題的有效性和可靠性，體現(xiàn)了較高的科學性和專業(yè)化水平，對于我國相應領域評價工具的開發(fā)具有重要的借鑒意義。

參考文獻：

[1]劉在花.美國2010全國教育進展評估述評[J].外國教育研究， 2012，（7）： 95～102.

[2]楊玉琴.美國NAEP技術與工程素養(yǎng)評估述評[J].外國教育研究， 2017，（8）： 22～35.

[3]教育部教育管理信息中心，北京師范大學等.中國STEAM教育發(fā)展報告[EB/OL].{2015[4]NAGB.Technology and Engineering Literacy Framework for the 2014 National Assessment of Educational Progress [EB/OL]. [ 20170713]. https：//www.nagb.org/content/nagb/assets/documents/publications/frameworks/technology/2014-technology-framework.pdf.0426}. http：//www.jiemodui.com/N/67772.html.

[5]NAEP. Examples of the discrete questions[EB/OL] . [20170715].http：//nces.ed.gov/NationsReportCard/nqt/Search.