張云峰，王維維，汪松鶴

（國防科技大學(xué) 電子對抗學(xué)院，安徽 合肥 230037）

0 引言

OBE（Outcome Based Education）教育模式現(xiàn)已成為國內(nèi)外眾多高校普遍認可的工程教育模式，國內(nèi)又將其稱為基于學(xué)習(xí)產(chǎn)出的教育模式、成果導(dǎo)向教育模式等。OBE教育模式已廣泛應(yīng)用于人才培養(yǎng)和課程建設(shè)。OBE教育模式是以實際產(chǎn)出為核心的教育理念，如何評價學(xué)生已取得的學(xué)習(xí)成果，即如何進行教學(xué)質(zhì)量評估是OBE教育模式強調(diào)解決的問題［1-5］。

教學(xué)效果評估作為院校教學(xué)工作的重要部分，評估的目的是為了及時掌握學(xué)生的學(xué)習(xí)情況并發(fā)現(xiàn)問題。通過原因分析，改進教學(xué)方法、調(diào)整實訓(xùn)內(nèi)容、優(yōu)化教學(xué)設(shè)計，進而提高教學(xué)質(zhì)量。根據(jù)不同的教學(xué)對象與課程特點，教學(xué)評估的方法有很多。為了探索有效的教學(xué)評估方法，學(xué)者們有的在模型算法上進行深入研究，有的在評估系統(tǒng)設(shè)計與實現(xiàn)上開展工作。教學(xué)效果評估需要設(shè)計評估指標(biāo)以及評估權(quán)值，然后運用相關(guān)算法進行評估［6-7］。目前研究的指標(biāo)大多為通用指標(biāo)，不能完全支持程序類課程評估。為了克服傳統(tǒng)評估系統(tǒng)數(shù)據(jù)冗余度高、工作量大、操作繁瑣等不足，人們開發(fā)了各類教學(xué)質(zhì)量評估系統(tǒng)［8-9］，但這類系統(tǒng)傾向于進行全面分析，缺少對課程及學(xué)生學(xué)習(xí)過程的分析。隨著數(shù)字化教學(xué)技術(shù)的快速發(fā)展，涌現(xiàn)出一系列在線實踐教學(xué)工具和平臺，各平臺都有學(xué)習(xí)評估功能，但在課程教學(xué)效果評估方面都有需要改進的地方［10］。本文根據(jù)程序設(shè)計類課程特點，在通用評估指標(biāo)基礎(chǔ)上，提出針對程序設(shè)計課程的專用評估指標(biāo)，設(shè)計了用于統(tǒng)計分析的數(shù)據(jù)表結(jié)構(gòu)，開展了評估數(shù)據(jù)的分析，實現(xiàn)了教學(xué)效果評估從定性評估向定量評估轉(zhuǎn)變；利用EduCoder平臺自動實現(xiàn)評估數(shù)據(jù)的收集、處理及應(yīng)用，提高了評估效率。

1 程序設(shè)計類課程教學(xué)目標(biāo)及課程特點

程序設(shè)計類課程的教學(xué)目標(biāo)是學(xué)生在掌握程序設(shè)計語言基本語法的基礎(chǔ)上，能夠熟練使用程序設(shè)計語言進行軟件開發(fā)，具有一定的解決實際問題的能力。程序設(shè)計類課程通過介紹基本編程語言、數(shù)據(jù)結(jié)構(gòu)和算法，進一步提高學(xué)生的數(shù)據(jù)思維能力，從而設(shè)計出高質(zhì)量的程序［11］。

程序設(shè)計類課程是實踐性非常強的課程，實踐是學(xué)好課程的關(guān)鍵。與一些偏重理論的課程相比，程序設(shè)計動手實踐的過程強調(diào)學(xué)生“思行并重”［12］。學(xué)生只有通過經(jīng)常性地上機實踐，才能掌握編程方法，熟悉調(diào)試技術(shù)，最終提高解決實際問題的能力。

為了提高程序設(shè)計類課程的教學(xué)質(zhì)量，學(xué)者們對教學(xué)模式、教學(xué)內(nèi)容以及教學(xué)方式等方面的改革進行了深入研究［13-15］。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，線上線下混合式教學(xué)模式已被廣泛采用，如MOOC［16］、雨課堂［17-18］及各類在線實訓(xùn)平臺現(xiàn)已普遍應(yīng)用于教學(xué)過程中，程序設(shè)計類課程的講授、測試及評估方法發(fā)生了巨大變化。

2 程序類課程教學(xué)效果評估指標(biāo)及評估方法

2.1 評估指標(biāo)

常見的教學(xué)效果評估指標(biāo)包括出勤率，以及作業(yè)的完成率、正確率、重復(fù)率、上交及時性與測試情況。但由于課程教學(xué)目標(biāo)及課程特點不同，不同課程的評估內(nèi)容有一定區(qū)別。

程序設(shè)計類課程除關(guān)心學(xué)生對基本語法的掌握情況外，更關(guān)注學(xué)生獨立編寫程序的能力。程序類課程教學(xué)效果評估指標(biāo)主要包括學(xué)生作業(yè)完成情況、程序開發(fā)能力、學(xué)習(xí)態(tài)度等方面。作業(yè)完成情況包括作業(yè)上交及時性、正確率、重復(fù)率和完成時間；程序開發(fā)能力包括調(diào)試方法掌握情況以及解決復(fù)雜問題的能力；學(xué)習(xí)態(tài)度情況包括課堂活躍度、作業(yè)雷同情況以及附加作業(yè)完成情況。評估指標(biāo)還包括測試情況以及定期的問卷調(diào)查結(jié)果。評估指標(biāo)如圖1所示。

Fig.1 Evaluation indicators圖1 評估指標(biāo)

2.2 評估方法

為了實現(xiàn)及時、準(zhǔn)確、分類記錄評估數(shù)據(jù)，方便評估數(shù)據(jù)管理，根據(jù)確定的評估指標(biāo)建立相關(guān)二維表，主要包括作業(yè)情況記錄表、學(xué)習(xí)態(tài)度記錄表和測試成績記錄表。其中，作業(yè)情況記錄表用于記錄平時作業(yè)完成情況，主要字段包括學(xué)號、課程編號、教師編號、作業(yè)編號、正確率、是否雷同、雷同關(guān)系（相關(guān)同學(xué)信息）、作業(yè)提交時間、作業(yè)截止時間、作業(yè)提交及時性、備注（用于對作業(yè)總結(jié)），表結(jié)構(gòu)見表1；學(xué)習(xí)態(tài)度記錄表用于記錄學(xué)生一個時間段的課堂活躍度、是否有抄襲情況以及學(xué)習(xí)主動性，主要字段包括學(xué)號、課程編號、教師編號、活躍度、作業(yè)雷同情況、附加作業(yè)完成情況、統(tǒng)計起始時間、統(tǒng)計結(jié)束時間，表結(jié)構(gòu)見表2；測試成績記錄表用于統(tǒng)計單元或階段測試情況，主要字段包括學(xué)號、課程編號、教師編號、測試名稱、測試時間、成績、分析報告，表結(jié)構(gòu)見表3。將3個基本信息表數(shù)據(jù)進行匯總，基本就能反映學(xué)生的學(xué)習(xí)情況，同時配合問卷調(diào)查等其他活動，能夠作為了解學(xué)生情況、教學(xué)情況以及改進教學(xué)的依據(jù)。為了降低數(shù)據(jù)冗余度，還需設(shè)計學(xué)生基本信息表、課程信息表及教師信息表，表結(jié)構(gòu)在此不再進行贅述。

Table 1 Assignment record表1 作業(yè)情況記錄

Table 2 Learning attitude record表2 學(xué)習(xí)態(tài)度記錄

Table 3 Test performance record表3 測試成績記錄

教師通過定期分析記錄表中的學(xué)生學(xué)習(xí)情況信息，有利于及時發(fā)現(xiàn)問題，從而及時改進教學(xué)，促進教學(xué)質(zhì)量提升。通過記錄表的形式，實現(xiàn)了教學(xué)效果評估從定性評估向定量評估轉(zhuǎn)變。

隨著學(xué)生人數(shù)以及學(xué)習(xí)任務(wù)的增加，手工進行記錄維護效率低、易出錯。因此，開發(fā)相應(yīng)的數(shù)據(jù)維護系統(tǒng)或采用成熟的平臺是解決此問題的最佳途徑。

3 基于EduCoder的教學(xué)效果評估

3.1 EduCoder平臺概述

Trustie-EduCoder（Trustworthy software tools and integration environment）是指一個有600多所大學(xué)參與共建共享的智能學(xué)習(xí)平臺，支持全技術(shù)棧的實驗和實訓(xùn)教學(xué)。其中包含各高?？赏扑]給本校學(xué)生學(xué)習(xí)的各種教學(xué)資源，實現(xiàn)了實踐教學(xué)的課程軟件化、過程游戲化、環(huán)境生產(chǎn)化和測評全?；?9］。

EduCoder能夠有效支持課堂教學(xué)與實踐教學(xué)的一體化運行，教師完成平臺注冊后，可在平臺中創(chuàng)建“教學(xué)課堂”，開展各種常規(guī)教學(xué)活動。教師可以將實踐項目發(fā)送到課堂，學(xué)生開始在線學(xué)習(xí)和實戰(zhàn)。教學(xué)課堂能夠有效支持課件資料管理、視頻直播、作業(yè)考試、分班簽到、統(tǒng)計報告、實踐任務(wù)等功能。教師可以通過邀請碼邀請學(xué)生加入班課，提供課件和視頻資源，布置普通作業(yè)、分組作業(yè)。該平臺最大的特色是能布置實訓(xùn)作業(yè)，讓學(xué)生在平臺上直接練習(xí)闖關(guān)，同時還可生成在線試卷進行測試，并將結(jié)果直接反饋到平臺。平臺還支持問卷調(diào)查和討論。

3.2 基于EduCoder的教學(xué)效果評估

下面以本校開設(shè)的大學(xué)計算機基礎(chǔ)課程在EduCoder上的應(yīng)用為例，介紹基于EduCoder的教學(xué)效果評估方法。大學(xué)計算機基礎(chǔ)課程是面向一年級學(xué)生開設(shè)的一門公共基礎(chǔ)課程，從使用計算機、理解計算機系統(tǒng)和計算思維3個方面培養(yǎng)學(xué)生的計算機基礎(chǔ)能力。大學(xué)計算機基礎(chǔ)課程屬于程序設(shè)計類課程，是以Python編程為中心，在學(xué)習(xí)計算機信息編碼、計算機組成、操作系統(tǒng)、計算機網(wǎng)絡(luò)、數(shù)據(jù)庫技術(shù)、多媒體技術(shù)等計算機基礎(chǔ)知識的過程中，Python編程貫穿課程學(xué)習(xí)的每個部分。學(xué)生的練習(xí)、作業(yè)、測試都是在EduCoder平臺上完成的。

為實現(xiàn)有效的教學(xué)效果評估，可以利用EduCoder的統(tǒng)計功能以及問卷、測試功能開展評估。EduCoder的統(tǒng)計功能不僅能夠統(tǒng)計授課班級學(xué)生的實訓(xùn)完成情況以及在班級的排名情況，而且能夠觀察每位學(xué)生的學(xué)習(xí)情況。通過EduCode的“學(xué)生成績統(tǒng)計”能夠看到截至統(tǒng)計時間，所有學(xué)生的整體排名情況，如圖2所示。通過“課堂活躍度”可觀察學(xué)生的課堂活躍度，如圖3所示。從圖2和圖3可以看出，成績好的前5名學(xué)生，其課堂活躍度也排名靠前，說明課堂活躍度與學(xué)生成績有一定關(guān)聯(lián)。

Fig.2 Academic ranking圖2 學(xué)習(xí)成績排名

Fig.3 Class activity ranking圖3 課堂活躍度排名

通過學(xué)生的個人實訓(xùn)完成情況，能夠分析學(xué)生的學(xué)習(xí)態(tài)度和程序開發(fā)能力。圖4為兩名學(xué)生的實訓(xùn)完成情況，從圖中可以看到，這兩位學(xué)生的學(xué)習(xí)態(tài)度都很端正，不僅能完成必做作業(yè)，而且能夠完成選做作業(yè)；同時通過對測評次數(shù)的分析，第一位學(xué)生的評測次數(shù)多于第二位學(xué)生，反映第一位學(xué)生基于平臺進行程序調(diào)試，由于平臺沒有debug等調(diào)試功能，只能通過試錯及添加print語句進行調(diào)試，導(dǎo)致測評次數(shù)較多。雖然第一位學(xué)生的實訓(xùn)總分高于第二位學(xué)生，但第二位學(xué)生應(yīng)該不是基于平臺進行程序調(diào)試的，而是運用線下開發(fā)工具進行調(diào)試的。所以從兩圖的比較可以看出，第二位學(xué)生調(diào)試程序的技巧方面應(yīng)該優(yōu)于第一位學(xué)生。

Fig.4 Practical training of students圖4 學(xué)生實訓(xùn)情況

利用EduCoder平臺還能記錄學(xué)生在作業(yè)上花費的時間，作業(yè)時間可作為判斷作業(yè)難度及作業(yè)強度的依據(jù)，提示教師是否需對作業(yè)內(nèi)容進行適當(dāng)?shù)卣{(diào)整。圖5為一次實訓(xùn)作業(yè)學(xué)生所用時間，從圖中可以看到，本次實訓(xùn)共8道題目，該學(xué)生共花費了接近85min，而此同學(xué)課堂活躍度排名較靠前，反映了此次作業(yè)量偏大，教師可以適當(dāng)調(diào)整作業(yè)量。

Fig.5 Statistics of students' single homework圖5 學(xué)生單次作業(yè)統(tǒng)計情況

通過以上介紹，可以看到Educoder對于分析學(xué)生學(xué)習(xí)訓(xùn)練情況、評估學(xué)習(xí)效果可提供一定幫助，不僅有利于學(xué)生進行課程實踐，而且有利于教師及時掌握學(xué)生學(xué)習(xí)情況。除上面運用的效果統(tǒng)計分析功能外，平臺還有問卷調(diào)查、測試等功能，這些都可以作為評估教學(xué)效果、調(diào)整教學(xué)實施過程的依據(jù)。

3.3 EduCoder改進意見

EduCoder作為教學(xué)實踐及評估工具，為進行教學(xué)效果評估提供了便利條件，如進一步完善，將在教學(xué)效果評估方面發(fā)揮更大作用。存在的主要問題及建議如下：

（1）學(xué)生學(xué)習(xí)信息不夠完善，匯總統(tǒng)計數(shù)據(jù)量偏少。教師在匯總信息中只能看到綜合排名及總評成績，要觀察具體情況，需進入個人情況分析及實訓(xùn)情況分析界面進行人工統(tǒng)計，建議調(diào)整數(shù)據(jù)展示方式。

（2）操作步驟不夠簡潔，需進一步優(yōu)化，方便匯總統(tǒng)計。

（3）缺少調(diào)試過程的日志管理，不便于教師發(fā)現(xiàn)學(xué)生程序設(shè)計學(xué)習(xí)中的共性和難點問題。學(xué)生程序調(diào)試的過程數(shù)據(jù)對于教師的教學(xué)工作開展至關(guān)重要，教師需要根據(jù)學(xué)生調(diào)試中暴露出的問題開展針對性輔導(dǎo)、講解以及組織相應(yīng)訓(xùn)練，如能提供調(diào)試過程日志，將提高評估的準(zhǔn)確性和針對性。

（4）評分規(guī)則調(diào)整功能有限，降低了數(shù)據(jù)的實用性。增加評分規(guī)則的可調(diào)節(jié)性，有利于提高數(shù)據(jù)利用率。

4 結(jié)語

教學(xué)效果評估是教師的主要工作，可行的評估方法、優(yōu)化的評估模型、方便的評估工具，有助于對教學(xué)效果進行科學(xué)評價，從而提高教學(xué)質(zhì)量。本文提出的針對程序設(shè)計類課程的評估指標(biāo)對于此類課程的過程評估具有一定參考價值。由于教學(xué)目標(biāo)不同，評估方法也有所區(qū)別。隨著對教學(xué)評估的深入研究以及軟件平臺功能的不斷完善，使得精準(zhǔn)評估成為可能。教師只有在教學(xué)中采用好的評估方法，熟練運用評估工具，時刻關(guān)注教學(xué)效果，及時調(diào)整教學(xué)進程，才能真正提高教學(xué)質(zhì)量。