馬文俊 黃楠 蔣運(yùn)承 詹捷宇

摘要：針對(duì)當(dāng)前大學(xué)課程的教學(xué)評(píng)估在對(duì)學(xué)生綜合成績(jī)?cè)u(píng)估時(shí)存在的三個(gè)問(wèn)題：（1）過(guò)于強(qiáng)調(diào)期末的成績(jī)，而忽略了學(xué)生的其他評(píng)估指標(biāo)，如學(xué)科基礎(chǔ)、進(jìn)步程度等;（2）無(wú)法處理課堂表現(xiàn)缺失或課后作業(yè)和實(shí)驗(yàn)設(shè)計(jì)的成績(jī)的不確定性;（3）缺乏對(duì)學(xué)生進(jìn)步程度的評(píng)估手段。針對(duì)以上問(wèn)題，面向計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)，提出了基于DS/AHP模型的多屬性綜合評(píng)估體系，分別從多因素融合、不確定數(shù)據(jù)處理、進(jìn)步程度的指標(biāo)衡量三個(gè)角度闡述了如何結(jié)合多個(gè)方面對(duì)學(xué)生的學(xué)習(xí)狀態(tài)進(jìn)行綜合分析，從而達(dá)到提高學(xué)生學(xué)習(xí)積極性和合理評(píng)估學(xué)生的學(xué)習(xí)狀況的目的。

關(guān)鍵詞：學(xué)生綜合成績(jī)?cè)u(píng)估;DS/AHP模型;教學(xué)評(píng)估

中圖分類號(hào)：G642.0? ? ?文獻(xiàn)標(biāo)志碼：A? ? ?文章編號(hào)：1674-9324（2019）39-0001-04

如何科學(xué)合理地綜合評(píng)估學(xué)生的學(xué)習(xí)狀況以激發(fā)學(xué)生的學(xué)習(xí)興趣，實(shí)現(xiàn)個(gè)性化培養(yǎng)，促進(jìn)學(xué)生的全面發(fā)展，一直以來(lái)都是教學(xué)實(shí)踐的重點(diǎn)。然而，現(xiàn)有的學(xué)生綜合成績(jī)?cè)u(píng)估方案，主要是以學(xué)生的考試成績(jī)?yōu)楹诵?，利用平均?jī)點(diǎn)來(lái)評(píng)估學(xué)生的學(xué)習(xí)表現(xiàn)。[1]因此，在實(shí)際的教學(xué)課程中，現(xiàn)有的學(xué)生綜合成績(jī)?cè)u(píng)估方案存在如下的問(wèn)題：（1）過(guò)于強(qiáng)調(diào)學(xué)生的考試成績(jī)，沒(méi)有從多個(gè)方面綜合評(píng)估學(xué)生的學(xué)習(xí)能力。（2）在大班教學(xué)中，由于學(xué)生數(shù)量過(guò)多、老師精力有限和實(shí)驗(yàn)設(shè)計(jì)多人共同完成等原因，部分學(xué)生的課堂表現(xiàn)、作業(yè)情況、實(shí)驗(yàn)設(shè)計(jì)主要依賴?yán)蠋煹闹饔^判斷，缺乏客觀標(biāo)準(zhǔn)，從而容易導(dǎo)致師生矛盾。（3）缺乏對(duì)個(gè)體學(xué)生基礎(chǔ)條件差異的現(xiàn)實(shí)以及學(xué)生在學(xué)習(xí)過(guò)程中所付出的努力程度等的有效評(píng)估，很難對(duì)基礎(chǔ)較差和吸收能力慢的學(xué)生起到促進(jìn)作用。為此，我們將引入DS/AHP模型，給出進(jìn)步程度的指標(biāo)衡量方法，利用多準(zhǔn)則決策理論對(duì)多個(gè)評(píng)估指標(biāo)（如學(xué)科基礎(chǔ)、進(jìn)步程度、平時(shí)成績(jī)、期末成績(jī)等）進(jìn)行綜合分析，構(gòu)建學(xué)生綜合成績(jī)?cè)u(píng)估體系，從而達(dá)到全面評(píng)估學(xué)生學(xué)習(xí)狀況、增強(qiáng)學(xué)生學(xué)習(xí)效果和推動(dòng)學(xué)生個(gè)性化發(fā)展的目標(biāo)。在本文中，我們以計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)的學(xué)生綜合成績(jī)?cè)u(píng)估為例，考慮如何構(gòu)建基于DS/AHP模型的學(xué)生綜合成績(jī)?cè)u(píng)估體系。

一、基于教育數(shù)據(jù)的DS/AHP模型構(gòu)建

DS/AHP方法是Beynon等人[2]利用D-S證據(jù)理論[3]結(jié)合進(jìn)AHP層次分析方法[4]，用于解決不確定信息下的多準(zhǔn)則決策問(wèn)題。具體而言，利用DS/AHP模型，決策者需要做兩組知識(shí)判定：各準(zhǔn)則的權(quán)重和給定準(zhǔn)則下決策者對(duì)某組抉擇的偏好程度。然后，基于這兩組知識(shí)判定，決策者將利用以下步驟對(duì)各抉擇進(jìn)行排序：

確定決策目標(biāo)，相關(guān)準(zhǔn)則集合，備選抉擇全集θ和層次分析圖;

對(duì)于每一個(gè)準(zhǔn)則，根據(jù)評(píng)估比較，賦予某些抉擇集一個(gè)正數(shù)值，即相對(duì)排序值;

基于權(quán)重判斷賦予各準(zhǔn)則相應(yīng)權(quán)重值ω，其中ω∈（0，1];

對(duì)于每一個(gè)準(zhǔn)則，根據(jù)下列公式賦予某一給定抉擇集的mass函數(shù)：

利用Dempster組合規(guī)則去結(jié)合每個(gè)準(zhǔn)則下的mass函數(shù)并獲取最終抉擇評(píng)估;其中，對(duì)于n個(gè)mass函數(shù)結(jié)合，其規(guī)則為

當(dāng)需要決策排序時(shí)，可利用可傳遞信度模型（TBM）[5]將mass函數(shù)轉(zhuǎn)換成pignistic概率（BetP）。其中pignistic概率分布公式如下：

其中，|A|表示抉擇集合A所包含的元素?cái)?shù)量。

根據(jù)DS/AHP模型的相關(guān)介紹，我們對(duì)當(dāng)前的學(xué)生綜合成績(jī)?cè)u(píng)估體系從以下兩個(gè)方面進(jìn)行優(yōu)化：多因素教學(xué)評(píng)估及不確定信息處理，進(jìn)步程度的指標(biāo)衡量。

二、多因素教學(xué)評(píng)估及不確定信息處理

在教學(xué)中，評(píng)價(jià)一個(gè)學(xué)生的綜合成績(jī)往往需要結(jié)合多個(gè)方面的因素考慮。同時(shí)，不同因素對(duì)其學(xué)習(xí)狀態(tài)的評(píng)估比重亦有所不同。正因如此，我們需要考慮多層次的多因素教學(xué)評(píng)估，更合理地衡量學(xué)生的學(xué)習(xí)狀態(tài)。

此外，對(duì)于某些因素而言，我們并不一定能夠得到每個(gè)學(xué)生的評(píng)估數(shù)據(jù)，這時(shí)候，我們需要考慮缺失信息的處理問(wèn)題。例如，在一個(gè)人數(shù)龐大的班級(jí)中，課堂表現(xiàn)往往是通過(guò)點(diǎn)名和課堂提問(wèn)相結(jié)合，在有限的上課次數(shù)中，老師不可能做到把每個(gè)同學(xué)的名字點(diǎn)到，更不可能提問(wèn)到每一個(gè)學(xué)生。因此，學(xué)生的上課表現(xiàn)就存在了部分信息缺失。傳統(tǒng)做法往往結(jié)合學(xué)生的期末考試或作業(yè)表現(xiàn)權(quán)衡學(xué)生的課堂表現(xiàn)，然而這幾者并不存在相關(guān)性，很可能一個(gè)學(xué)生期末考得很好，但是平時(shí)作業(yè)都不完成，上課表現(xiàn)很差，還缺勤。因此，傳統(tǒng)做法存在很大的主觀性。又例如對(duì)于大班教學(xué)，由于工作量等原因，對(duì)于學(xué)生作業(yè)情況不可能每次都仔細(xì)分析，對(duì)于部分作業(yè)可能僅僅檢查其完成程度，因此，也會(huì)存在信息缺失問(wèn)題。

針對(duì)以上兩個(gè)問(wèn)題，利用DS/AHP模型可以很好地解決。這里，以數(shù)據(jù)結(jié)構(gòu)這一門(mén)課程作為案例進(jìn)行說(shuō)明。

1.顯然，該課程的決策目標(biāo)是對(duì)學(xué)生的綜合成績(jī)進(jìn)行排序，相關(guān)準(zhǔn)則包括課堂表現(xiàn)、作業(yè)情況、學(xué)習(xí)基礎(chǔ)、進(jìn)步程度、實(shí)驗(yàn)設(shè)計(jì)和期末成績(jī)，抉擇全集假定為4個(gè)學(xué)生θ={A，B，C，D}。同時(shí)，假定同學(xué)A的課堂表現(xiàn)不確定;B的作業(yè)表現(xiàn)不清楚;D的考勤情況有所缺失;B和D的實(shí)驗(yàn)設(shè)計(jì)是一起做的;C是轉(zhuǎn)專業(yè)過(guò)來(lái)的，因此進(jìn)步程度無(wú)法確定。根據(jù)以上信息，可以構(gòu)建層次分析圖如下所示：

2.對(duì)于每一個(gè)準(zhǔn)則，根據(jù)各抉擇集的表現(xiàn)情況如表1所示（其中，“-”表示數(shù)據(jù)缺失，而對(duì)于學(xué)習(xí)基礎(chǔ)和進(jìn)步程度的具體評(píng)估方法將在第3章節(jié)提及），利用以下公式把賦值映射到標(biāo)準(zhǔn)標(biāo)度[1，6]區(qū)間上，即相對(duì)排序值：

相對(duì)排序值=標(biāo)準(zhǔn)標(biāo)度最低值+（標(biāo)準(zhǔn)標(biāo)度最高值與標(biāo)準(zhǔn)標(biāo)度最低值之差）*（給定抉擇表現(xiàn)-最低表現(xiàn)值）/（最高表現(xiàn)值與最低表現(xiàn)值之差） （5）

例如，對(duì)于課堂表現(xiàn)中，假定進(jìn)步程度的最低表現(xiàn)值為1，最高表現(xiàn)值為6，其他各準(zhǔn)則最低表現(xiàn)值為60，那么，學(xué)生B的相對(duì)排序值為1+（6-1）*（75-60）/（100-60）=2.875。同理，可得各準(zhǔn)則下各抉擇集的相對(duì)排序值如表2所示。

3.基于權(quán)重判斷賦予各準(zhǔn)則相應(yīng)權(quán)重值ω。顯然，期末考試和實(shí)驗(yàn)設(shè)計(jì)相對(duì)比較重要，同時(shí)我們要需要充分考慮學(xué)生的平時(shí)表現(xiàn)。此外，進(jìn)步程度在很大程度上反映了學(xué)生的學(xué)習(xí)能力，因此也需要側(cè)重考慮。至于考勤情況，則略微考慮。

根據(jù)以上原則，可以賦予各準(zhǔn)則權(quán)重值如表3所示。這里需要注意的是，區(qū)別于傳統(tǒng)DS/AHP模型，我們?cè)试S權(quán)重之和不等于1。而這預(yù)定是基于以下原因：（1）在DS/AHP模型里，各準(zhǔn)則的評(píng)估融合是基于Dempster組合規(guī)則，因此，權(quán)重之和不等于1并不影響最終結(jié)果。（2）權(quán)重之和不等于1更有利于數(shù)據(jù)的動(dòng)態(tài)更新，這意味著新的準(zhǔn)則加入并不需要改變?cè)杏?jì)算結(jié)果。

4.對(duì)于每一準(zhǔn)則，根據(jù)mass函數(shù)的計(jì)算公式可得表4。

5.利用Dempster組合規(guī)則去結(jié)合每個(gè)準(zhǔn)則的mass函數(shù)并獲取最終評(píng)估如下所示：

m（{A}）=0.197，m（{B}）=0.189，m（{C}）=0.326，m（{D}）=0.274，

m（{B，D}）=0.009，m（{Θ}）=0.005。

6.利用可傳遞信度模型（TBM）將mass函數(shù)轉(zhuǎn)換成pignistic概率（BetP）如下所示：

BetP（A）=0.198;BetP（B）=0.195;BetP（C）=0.327;BetP（D）=0.28。

根據(jù)以上模型，可以得出各學(xué)生在數(shù)據(jù)結(jié)構(gòu)課程的排名如下所示：

C>D>A>B。

即C在數(shù)據(jù)結(jié)構(gòu)課程中的綜合表現(xiàn)最好，D次之，A再次之，B最差。

顯然，從以上案例分析可以發(fā)現(xiàn)DS/AHP能有效地處理學(xué)生評(píng)估中所碰到的多因素融合、缺失數(shù)據(jù)處理、共同成績(jī)處理等問(wèn)題。

三、進(jìn)步程度的指標(biāo)衡量

在上一章節(jié)的案例分析里，我們提出了一個(gè)在當(dāng)前學(xué)生評(píng)估系統(tǒng)里很少涉及的因素——進(jìn)步程度。顯然，同樣的學(xué)科成績(jī)，對(duì)于不同學(xué)生而言，其付出的努力程度肯定有差異。就拿計(jì)算機(jī)專業(yè)來(lái)說(shuō)，城市地區(qū)的學(xué)生可能基本在初高中就接觸了編程，而農(nóng)村的學(xué)生可能連電腦的接觸時(shí)間也不多。類似的，轉(zhuǎn)專業(yè)的或者來(lái)自教育資源不足地區(qū)的同學(xué)有可能在剛接觸新專業(yè)相關(guān)課程時(shí)要比一般同學(xué)更吃力一點(diǎn)，這時(shí)候，忽略他們自身的進(jìn)步程度，很容易導(dǎo)致這些學(xué)生產(chǎn)生自我懷疑：“我這么努力了，為什么還學(xué)不好？”從而產(chǎn)生厭學(xué)情緒。

因此，如果單單考慮考試成績(jī)而忽略學(xué)生在學(xué)習(xí)過(guò)程中所付出的努力程度和自身學(xué)習(xí)水平的提高，很難對(duì)基礎(chǔ)較差和吸收能力慢的學(xué)生起到促進(jìn)作用。所以，我們建議在學(xué)生綜合成績(jī)?cè)u(píng)估里引入進(jìn)步程度這一指標(biāo)作為衡量因素之一。在本章節(jié)，我們將給出進(jìn)步程度的衡量方案。

首先，進(jìn)步程度的衡量依賴于老師對(duì)學(xué)生學(xué)習(xí)基礎(chǔ)的了解。因此，一般而言，對(duì)于進(jìn)步程度衡量可以通過(guò)與這門(mén)學(xué)科對(duì)應(yīng)的子學(xué)科，也就是基礎(chǔ)學(xué)科的考試成績(jī)，進(jìn)行對(duì)照（對(duì)于大一的相關(guān)課程，我們可以進(jìn)一步考慮學(xué)生的高考相關(guān)成績(jī)作為推算）。例如，某學(xué)生在人工智能學(xué)科的進(jìn)步程度，依賴于它的兩門(mén)基礎(chǔ)學(xué)科：離散數(shù)學(xué)和概率論。顯然，根據(jù)這兩門(mén)學(xué)科與人工智能基礎(chǔ)相關(guān)情況，我們可以設(shè)定對(duì)應(yīng)的權(quán)重。例如，離散數(shù)學(xué)所占權(quán)重為0.7，概率論為0.3。類似的，離散數(shù)學(xué)和概率論作為人工智能的基礎(chǔ)學(xué)科，在教學(xué)安排上必然是先于人工智能課程的開(kāi)設(shè)，對(duì)于上過(guò)的學(xué)生而言，易得其在這兩門(mén)基礎(chǔ)學(xué)科的期末分?jǐn)?shù)。根據(jù)以上相關(guān)因素，我們可以給出進(jìn)步值的一般公式，如下所示：

例如，A學(xué)生離散數(shù)學(xué)的期末分?jǐn)?shù)為80，概率論的期末分?jǐn)?shù)為70。而人工智能的期末考試為90分，那么根據(jù)上述權(quán)重，易得其進(jìn)步值為■=13。顯然，該進(jìn)步值的衡量允許部分子學(xué)科的期末成績(jī)未知。例如，如果某門(mén)學(xué)科的進(jìn)步值衡量與某門(mén)選修課有關(guān)，但某學(xué)生沒(méi)有選取這門(mén)選修課，那么在進(jìn)步值計(jì)算中，該學(xué)生的進(jìn)步值并不會(huì)因此而降低。此外，如果所有子學(xué)科的期末成績(jī)未知，那么，進(jìn)步值就是缺失的。而這點(diǎn)，顯然也是DS/AHP模型所允許的。另外，我們還需要利用公式（5）把賦值映射到標(biāo)準(zhǔn)標(biāo)度[1，6]區(qū)間上，獲取進(jìn)步值的相對(duì)排序值。在上述A同學(xué)的例子中，假定最高進(jìn)步值為40，最低進(jìn)步值為0，可得A學(xué)生的進(jìn)步值的相對(duì)排序值為1+（6-1）×（13-0）/（40-0）=2.625，

但是只是用進(jìn)步值的相對(duì)排序值衡量學(xué)生的進(jìn)步程度是不夠的。例如，一名學(xué)生從60進(jìn)步到75分和另一名學(xué)生從90分進(jìn)步到100分，如果只是用進(jìn)步值的相對(duì)排序值來(lái)比較，前一名學(xué)生進(jìn)步程度更高。但是高分段的學(xué)生進(jìn)步空間是小于低分段學(xué)生的，同時(shí)比起低分段，高分段獲取相同數(shù)值所付出的努力是更大的，因此，我們需要根據(jù)高級(jí)學(xué)科的分?jǐn)?shù)引入轉(zhuǎn)換標(biāo)度的概念，更好地衡量學(xué)生的進(jìn)步程度，即

進(jìn)步程度=進(jìn)步值的相對(duì)排序值×轉(zhuǎn)換標(biāo)度（7）

下面，我們給出一種轉(zhuǎn)換標(biāo)度，以更好地衡量學(xué)生的進(jìn)步程度，如下所示：

轉(zhuǎn)換標(biāo)度=0.5+max{（分?jǐn)?shù)-60）/40×0.5，0}（8）

根據(jù)公式（8），我們可以發(fā)現(xiàn)，高級(jí)學(xué)科考試成績(jī)?cè)礁撸滢D(zhuǎn)換標(biāo)度越高，這也有助于進(jìn)一步鼓勵(lì)學(xué)生獲取更好的期末考試成績(jī)。在上述A同學(xué)例子里，人工智能期末考試得90分對(duì)應(yīng)的標(biāo)度為0.875，因此，A同學(xué)的進(jìn)步程度為2.3。

四、結(jié)語(yǔ)

本文針對(duì)現(xiàn)有的學(xué)生綜合成績(jī)?cè)u(píng)估體系所存在的缺陷：（1）過(guò)于強(qiáng)調(diào)期末的成績(jī)，而忽略了學(xué)生的其他評(píng)估指標(biāo)，如學(xué)科基礎(chǔ)、進(jìn)步程度等;（2）無(wú)法處理課堂表現(xiàn)缺失、作業(yè)情況和實(shí)驗(yàn)設(shè)計(jì)的成績(jī)不確定性等問(wèn)題;（3）缺乏對(duì)學(xué)生進(jìn)步程度的評(píng)估手段，利用DS/AHP模型和新提出的進(jìn)步程度衡量標(biāo)準(zhǔn)，給出了新的學(xué)生綜合成績(jī)?cè)u(píng)估體系。該體系分別從多因素融合、不確定數(shù)據(jù)處理、進(jìn)步程度的指標(biāo)衡量三個(gè)角度闡述了如何結(jié)合多個(gè)方面對(duì)學(xué)生的學(xué)習(xí)狀態(tài)進(jìn)行綜合分析，從而達(dá)到提高學(xué)生學(xué)習(xí)積極性和合理評(píng)估學(xué)生的學(xué)習(xí)狀況的目的。在未來(lái)工作中，我們一方面需要關(guān)注學(xué)生對(duì)該體系的使用反饋，記錄該體系下學(xué)生的反應(yīng)和實(shí)際的評(píng)估效果，并總結(jié)經(jīng)驗(yàn)進(jìn)一步對(duì)該體系進(jìn)行改善，另一方面對(duì)體系所涉及的算法進(jìn)行優(yōu)化，提高該算法在大規(guī)模的實(shí)際應(yīng)用中的效率。

參考文獻(xiàn)：

[1]劉豐林，曾山，孟三愛(ài)，等.大學(xué)生綜合素質(zhì)模糊評(píng)價(jià)體系研究[J].學(xué)校黨建與思想教育，2014，（12）：90-92.

[2]Beynon M，Curry B，Morgan P.The Dempster-Shafer theory of evidence：an alternative approach to multicriteria decision modelling[J].Omega，2000，28（1）：37-50.

[3]Shafer G.A mathematical theory of evidence[M].Princeton University Press，1976.

[4]Saaty，T.L.The Analytical Hierarchy Process[M].McGraw-Hill，1980.

[5]Smets，P.The transferable belief model[J].Artificial Intelligence，1994，66（2）：191-234.

A Student Comprehensive Performance Evaluation System Based on DS/AHP Model

—Taking Consider the Subject of Computer Science as an Example

MA Wen-jun，HUANG Nan，JIANG Yun-cheng，ZHAN Jie-yu

（School of Computer Science，South China Normal University，Guangzhou，Guangdong 510631，China）

Abstract：In this paper，we focused on three issues about the high school student comprehensive performance evaluation that cannot address by the traditional method.（1）They will give too much attention to the final grades，while ignoring other assessment factors of students，such as subject foundation，the effect of hard working，and so on.（2）They cannot handle the situation that the lack of class performance or the uncertainty of the homework scores and experiments design scores.（3）They cannot evaluate the effect of hard working of the students.In order to address these issues，in this paper，by considering the subject of computer science as an example，we propose a multiple attributes comprehensive evaluation system based on DS/AHP mode.In this system，we discuss how to combine different factors to evaluate the students' performance by three aspects.Finally，we show that such system proposed in this paper indeed can improve the student performance in class and give a reasonable way to evaluate the study situation of the students.

Key words：student performance evaluation system;DS/AHP method;teaching evaluation