摘 要：圍繞復雜工程問題培養(yǎng)學生能力是當前專業(yè)建設的著力點。針對能力培養(yǎng)中的過程控制與評價方面的問題，本文以計算機專業(yè)在線訓練為基礎，描述了一種多回路多周期的過程控制模型和多維度多層次的評價指標體系，旨在服務于以可控方式達成能力培養(yǎng)目標。本文介紹的技術途徑對計算機大類專業(yè)具有一定普適性。

關鍵詞：一流專業(yè);在線訓練;能力培養(yǎng);過程控制;評價體系

我國高等教育當前正處于從以規(guī)模擴張為主的外延式發(fā)展轉向以質量提高為主的內(nèi)涵式發(fā)展的轉型中，為進一步加快建設高水平本科教育，教育部于2019年4月啟動了一流專業(yè)建設工作[1]。在專業(yè)建設和人才培養(yǎng)的方法學上，工程教育專業(yè)認證（以下簡稱“專業(yè)認證”）發(fā)揮了重要作用。特別是新版《工程教育認證標準》對于如何培養(yǎng)學生能力制定了細致規(guī)范[2]：

首先通過定義7個外部特征及其具備要求來界定了復雜工程問題，然后又在12條畢業(yè)要求明確了8條畢業(yè)要求與解決復雜工程問題強相關?？梢?，專業(yè)認證明確強調(diào)“本科工程教育的基本定位是培養(yǎng)學生解決復雜工程問題的能力”[3]。顯然，任何一個專業(yè)的任務都是培養(yǎng)出合格的學生，因此一流專業(yè)所培養(yǎng)的學生應該具備更強的解決復雜工程問題的能力。

但從已知范圍來看，基于復雜工程問題培養(yǎng)學生能力尚未在教學中取得普遍成效。從課程教學體系的角度來看，目前絕大多數(shù)課程建設主要聚焦在知識體系和實驗體系上，而過程控制與評價體系建設則是普遍性短板。這兩者的缺失使得很多課程未能在教學過程中建立起健全的形成性培養(yǎng)體系[4]，這不僅導致能力培養(yǎng)目標難以實現(xiàn)，還使得教師難以合理解釋教學設計、學習行為、能力形成三者間的作用關系，進而難以科學合理地進行教學設計迭代與

優(yōu)化。

隨著在線教學的發(fā)展與應用，近年來越來越多的計算機類專業(yè)逐步將課程訓練體系（如作業(yè)、實驗等）從線下遷移到線上。除具有7x24小時實踐學習服務、豐富的學習資料與及時的教學指導等傳統(tǒng)線下訓練模式難以具備的優(yōu)勢外，在線訓練（如在線作業(yè)、在線實驗等）還使得更精細的過程控制與更精確的量化評價成為可能，為以可控方式達成能力培養(yǎng)目標奠定了基礎。本文介紹了基于在線訓練開展能力培養(yǎng)的過程控制模型和評價指標體系，并以相關課程為案例簡要說明實施成效。

一、能力培養(yǎng)中的問題

為了培養(yǎng)學生能力，教師必須在理論教學外安排足夠體量和難度的實踐訓練。由于復雜工程問題的固有特性，因此從培養(yǎng)學生解決復雜工程問題能力的角度出發(fā)，目前大量專業(yè)已經(jīng)呈現(xiàn)出從單一大作業(yè)模式向系列化訓練體系轉變的趨勢。良好設計與有效實施的訓練體系不僅有助于形成性培養(yǎng)，而且有助于改善形成性評價。傳統(tǒng)上，學生在線下以作業(yè)或實驗為單元完成訓練，這就帶來了如下問題。

1.能力培養(yǎng)過程的精確控制問題

學生在訓練過程中必然存在大量問題，包括知識的理解、工具的使用、學習的材料、實施的操作、交流的熱點、投入的時間等。理想狀態(tài)下，這些信息均應及時反饋給教師，以便教師及時做出相關響應。

由于學生在線下完成訓練，這使得教師難以參與訓練過程。從過程控制角度，受控對象的顆粒度相對過大。顯然，教師僅通過分析作業(yè)和實驗成績是難以發(fā)現(xiàn)上述過程中的具體問題，也就難以實施針對性的指導。

2.能力培養(yǎng)效果的量化分析問題

由于學生能力形成效果分析僅依賴于各訓練單元的少量終結性的結果數(shù)據(jù)而缺乏大量細粒度的過程數(shù)據(jù)（例如學習時長、提交頻次等），必然意味著相應的數(shù)據(jù)不足以對學生的能力形成效果進行客觀而細致的評價。

這進而使得教師在解釋教學設計、學習行為與能力形成三者間的作用關系時缺乏科學可信的證據(jù)，易導致評價結論出現(xiàn)偏差甚至錯誤。特別是在教師提高教學要求與加大學習壓力時，還容易引發(fā)大量師生矛盾。

3.能力培養(yǎng)體系的迭代改進問題

任何一個訓練體系都必然經(jīng)歷從不完善到完善、從不合理到合理、從舊內(nèi)容到新內(nèi)容的改進過程。這一過程原本應該成為專業(yè)認證核心理念“持續(xù)改進”的最佳實踐。

但因缺乏細粒度的過程控制和過程數(shù)據(jù)，學生能力形成性評價相對粗糙，教師難以及時準確地發(fā)現(xiàn)問題，從而導致教學設計改進不僅過于依賴主觀經(jīng)驗而且迭代周期過長。這在很大程度上制約了教學設計的創(chuàng)新與優(yōu)化，有時會導致做出的教學設計是不合理甚至失敗的。

二、工作基礎

繼2007年提出并實施“系統(tǒng)能力”培養(yǎng)后[5]，

北京航空航天大學計算機科學與技術專業(yè)（以下簡稱“本專業(yè)”）后續(xù)又配套進行了實踐教學體系改革，制訂了“任何人在任何時間、任何地點均能開展實驗學習”工作目標，確立了“在線實驗平臺、在線實驗體系、在線實驗指標體系、在線實驗過程控制”四位一體建設思路，歷時近10年建設了虛實融合的軟硬件綜合在線實驗平臺及較為完善的專業(yè)必修課在線實驗體系，依托在線實驗開展培養(yǎng)學生解決復雜工程問題能力的大量工作，部分成果已應用到國內(nèi)100余所高校。該項工作基本歷程如圖1所示。

利用在線實驗平臺，全周期細粒度的學生訓練全過程數(shù)據(jù)被記錄下來，師生與生生間交互方式變得更豐富與及時，教師不再僅限于對訓練過程的宏觀組織與管理，而是可以對訓練過程實施細粒度的階段劃分、組織與管理。由于訓練過程被劃分為多個更細粒度的階段，自然就能針對這些訓練階段制訂更精細的評價指標。學生的訓練過程產(chǎn)生了豐富的過程性數(shù)據(jù)。通過運用數(shù)據(jù)挖掘、大數(shù)據(jù)分析等方法，教師能夠對豐富的過程數(shù)據(jù)進行科學計算，從而就能更合理地量化評價能力形成效果，并將前階段的量化評估結果反饋至下階段，能力的形成性培養(yǎng)與評價也因此就具有了機制保障。

為更好滿足能力形成性培養(yǎng)要求，本專業(yè)經(jīng)過多年建設，逐步建設了相關課程的層次化實驗體系、多回路多周期的過程控制機制與多維度層次化的評價指標體系，從而為精確量化評價與可控方式達成能力培養(yǎng)目標奠定了堅實基礎。

三、多回路多周期過程控制機制

能力培養(yǎng)過程控制的關鍵在于將能力形成效果作為反饋，對課程教學活動進行控制優(yōu)化。本文基于控制理論提出了一種多回路、多周期的能力培養(yǎng)過程控制模型，包括課程輸入、教學活動過程、行為觀測與能力形成分析、控制與決策、多回路反饋5部分，如圖2所示。

圖2 能力培養(yǎng)的過程控制模型

教學大綱與訓練計劃等內(nèi)容是模型的基礎輸入。教師必須在課程開始前確定訓練體系的內(nèi)容、次序、要求、期望等具體信息。該部分內(nèi)容不僅制導后續(xù)一系列教學活動的展開，同時也作為期望值與課程反饋相比較。

教學活動過程是本控制模型的受控對象，其由授課活動、發(fā)布作業(yè)訓練、開展訓練、作業(yè)評測和作業(yè)結果分析這5個前后銜接的周期性教學活動組成。

行為觀測與能力形成分析包括學習行為狀態(tài)觀測和能力形成分析兩部分。前者基于教學活動提供的觀測點來收集學習行為數(shù)據(jù)，后者應用量化分析方法計算能力形成效果。

控制與決策是教學改進優(yōu)化的中樞，其綜合利用能力訓練的期望值、學習過程行為數(shù)據(jù)、能力形成效果等決定對何種教學活動進行何種調(diào)整優(yōu)化，從而實現(xiàn)對各教學活動進行及時的調(diào)節(jié)與控制。同時，結合數(shù)據(jù)挖掘、預測分析等技術，對教學大綱、課程間銜接等給出調(diào)整和修訂建議，實現(xiàn)對整個教學過程的多層次全過程控制。

該過程控制模型包含3個反饋回路。其中，課程內(nèi)反饋回路為該課程訓練體系各任務間提供反饋通道，使得教師能夠在本輪教學周期內(nèi)及時調(diào)整任務。課程輪次反饋回路為同一門課程的不同教學輪次之間提供反饋通道，使得教師能夠以學期為顆粒度優(yōu)化后續(xù)授課輪次。課程間反饋回路為不同課程間提供反饋通道，使得相關課程教師能夠從課程群角度優(yōu)化銜接與支撐。

四、多維度層次化評價指標體系

為從微觀角度量化評價能力訓練效果，本文結合在線訓練的不同階段特點與需求制訂了一個較為通用的評價指標體系，如圖3所示。該指標體系包含訓練參與度、訓練完成度和完成質量3個一級指標，且各一級指標又包含若干二級指標。

（1）訓練參與度。該指標主要用于度量學生參與訓練的程度，包括系統(tǒng)訪問次數(shù)、指導材料學習情況、預習情況、小測驗完成情況、討論參與等二級指標。

（2）訓練完成度。該指標主要用于度量學生完成訓練內(nèi)容的程度，包括提交物的有效性、技術要求完成度和報告完成度等二級指標。

（3）完成質量。該指標主要用于考查學生在訓練體系各層次的完成質量，其二級指標一般因課程而異。一般來說，學生必須完成基礎性任務后才被認為達到合格線。

由于不同課程訓練內(nèi)容、方式及要求有所差別，因此不同課程的二級指標的數(shù)量及含義也會有所不同。以訓練參與度指標下的系統(tǒng)訪問次數(shù)指標為例，該二級指標在計算機網(wǎng)絡在線實驗中體現(xiàn)為預約設備次數(shù)，而在操作系統(tǒng)在線實驗中則體現(xiàn)為對模板文件的訪問次數(shù)。

五、課程案例

本文工作成果已應用于多門專業(yè)必修課的教學實踐，取得較好效果。下面以“面向對象設計與構造”課程為例，概要介紹本文方法應用成效。該課程面向大二學生，開課時間為春季學期，共64個學時，每年上課人數(shù)達300余人。

1.訓練體系

該課程教學設計與國內(nèi)多數(shù)大學相關課程具有顯著區(qū)別，強調(diào)通過系統(tǒng)性的訓練來達成復雜軟件能力培養(yǎng)的教學目標[6]。訓練體系包括4個單元，相應主題分別為層次化設計、線程安全設計、規(guī)格化設計和模型化設計。每個單元由3次迭代式的項目作業(yè)、2次小型作業(yè)、2次研討和1次單元總結作業(yè)構成。表1為2019年的具體訓練體系。

每單元的3次項目作業(yè)圍繞實際工程問題或應用主題，形成增量式迭代訓練，強化正確性、安全性、魯棒性、平衡性、可維護性等設計思想。學生在每次項目作業(yè)中均要完成需求理解、架構設計、代碼設計、代碼測試、bug修復任務。小型作業(yè)是項目作業(yè)的技術臺階，一方面幫助學生理解知識點和方法，另一方面通過補全代碼、在給定代碼中找bug等小型訓練鞏固項目作業(yè)所需用到的重要技術。這種設計使得項目作業(yè)的訓練目標與效果更為聚焦，也使得學生們能清晰理解項目作業(yè)的技術路徑。

本課程非常重視測試技術的學習與實踐，構建了4種進階式評測模式。弱測定位于最基本的程序功能測試;中測增加了一些邊界和異常相關測試;強測進一步考慮復雜功能場景和性能要求，其結果決定能否進入互測。互測以匿名方式將多名學生構成一個互測組，每位同學分別測試組內(nèi)所有其他人的代碼。上述工作均在自主開發(fā)的分布式可調(diào)度自動化評測系統(tǒng)支撐下開展。

從表1可以看出，訓練體系的代碼規(guī)模從300行開始在迭代中穩(wěn)步增長，直至課程結束時具備一周內(nèi)完成2000行左右的高質量代碼的能力。在每次項目作業(yè)迭代中，同學們需要對上一次項目迭代中發(fā)現(xiàn)的bug進行修復，從而盡可能確保本次迭代的質量。

2.作業(yè)級過程控制

為確保訓練任務完成度和完成質量，本課程對圖2中的訓練過程控制機制進行了針對性的細化，建立了如圖4所示的作業(yè)級過程控制模型。

在線平臺自動實施的控制主要包括：截止時間控制，即超過規(guī)定時限關閉提交通道;抄襲控制，即對所有學生的代碼進行全組合相似性檢查，并由人工進行復查;有效性檢測要求在可編譯、可運行和基本功能正確三方面確認作業(yè)的有效性，無效作業(yè)不能進入下一環(huán)節(jié);平衡性控制根據(jù)強測分數(shù)按三個級別自動將能力相仿的同學放在同一級別，并進行隨機分組;測試控制通過雙盲機制以及必要的公共測試以防止惡意測試并確?；y的有序性和公平性，引導學生關注代碼質量本身;在提交修復bug的代碼后，系統(tǒng)會自動對代碼進行差異分析并選擇相應的測試用例來重新進行測試，確保修復的有效性。

上述流程化、規(guī)范化的過程控制機制把傳統(tǒng)黑箱式的訓練過程改造為若干可控制且可觀測的細分階段，教師從而可以及時了解作業(yè)各階段的完成情況（如耗時和問題等）。

3.評價指標體系與量化分析

過程控制的反饋與控制均需要及時而有效的學生學習行為數(shù)據(jù)為基礎。在線教學平臺收集了豐富的、多維度的包括學生學習行為在內(nèi)的學習過程數(shù)據(jù)，如表2所示。不難發(fā)現(xiàn)，這些數(shù)據(jù)之間具有緊密的關聯(lián)關系，同時這些數(shù)據(jù)可以直接追溯到作業(yè)的訓練任務的具體要求（如需要實現(xiàn)的功能數(shù)、設計要求、性能要求、覆蓋的知識點數(shù)量等）。

教學團隊通過量化分析上述細粒度學生學習過程數(shù)據(jù)，重點研究了：持續(xù)追蹤學生的能力形成過程[7]，從而獲得能力形成的規(guī)律性認識;對不同類別學生的能力形成效果和學習行為進行差異分析，基于二者之間的關聯(lián)關系來預測能力形成效果[8]。

4.可追溯的復雜軟件能力評價

學生的總成績評定由以下4類細分成績綜合而來。① 項目作業(yè)成績：按照強測、互測、bug修復三種任務的得分進行綜合得到成績。② 小

型作業(yè)成績：按照完成度和完成質量綜合評分得到成績。③ 博客成績：每個單元結束后對所學所練的心得體會的博客作業(yè)，人工考核內(nèi)容總結完成情況、總結細致程度、總結深度和博客排版質量等。④ 研討成績：每個單元中包含2次學生總結與經(jīng)驗分享的研討課，考核點包括分享報告的次數(shù)、質量、所提問題等。

將學生在相應類別的累次成績進行累計后就得到了該類別的成績，再進行各類別的綜合就得到了該學生的課程總成績。不難看出，課程成績評定的本質就是能力形成效果的評價。

以系統(tǒng)性的訓練體系為基礎，利用在線平臺構建了細粒度的訓練過程控制機制和量化評價體系，教師能夠即時獲得學生訓練完成情況和質量數(shù)據(jù)并據(jù)此及時采取控制措施，學生能夠即時獲得反饋并據(jù)此實施自主性的質量控制。這就是一種可追溯的綜合評價方法，即以可量化、可追溯、可優(yōu)化的方式來觀察和評價能力培養(yǎng)目標完成狀況。

參考文獻：

[1]教育部. 教育部辦公廳關于實施一流本科專業(yè)建設“雙萬計劃”的通知[Z]. 2019.

[2]中國工程教育認證協(xié)會. 工程教育認證標準[Z]. 2017.

[3]蔣宗禮. 本科工程教育：聚焦學生解決復雜工程問題能力的培養(yǎng)[J]. 中國大學教學，2016（11）：27-30，84.

[4]王昕紅. 美國工程教育專業(yè)認證研究[M]. 西安：西安交通大學出版社，2011.

[5]高小鵬. 計算機專業(yè)系統(tǒng)能力培養(yǎng)的技術途徑[J]. 中國大學教學，2014（8）：53-57，34.

[6]吳際，孫青，榮文戈，等. 能力培養(yǎng)目標驅動的軟件開發(fā)類課程實踐教學方法研究[J].中國大學教學，2018（10）：37-43.

[7] SUN QING， WU JI， LIU KAIQI. How Are Students Programming Skills Developed： An Empirical Study in an Object-Oriented Course[J]. Proceedings of 2019 ACM Turing Celebration Conference – China， 2019.

[8] SUN QING， WU JI， RONG WENGE， et al. Formative Assessment of Programming Language Learning Based on Peer Code Review： Implementation and Experience Report[J]. Tsinghua Science and Technology， Vol.24， No.4， 2019.

[責任編輯：余大品]