趙功義

研究背景

當前，計算機對單選題、多選、判斷、填空等客觀題的自動化批改應用已相當成熟。但對于自動化批改主觀題，還停留在深入研究階段，主要在人工智能，計算機對人的自然語言理解以及模式識別方面，沒有獲得突破。所以主觀題的大批量批改還主要依靠人工。而人工批改存在批改速度慢，教師由于疲勞出現(xiàn)判斷力下降，容易產生人為因素導致的分數偏差。用計算機智能化批改，效率高、公平性好、準確性強。特別適用于大批量的試卷批改，所以，研究對主觀試題的自動化智能批改具有非常廣泛的現(xiàn)實意義。

國內外研究自動化批改主觀題的現(xiàn)狀和存在的問題

國外對于自動化批改主觀題的研究，早于國內。由于英語語言的格式和規(guī)范性好，所以批改英文主觀試題的技術比較成熟。中文語言的表達較為復雜，靈活性強，字與字之間無明顯分割，從國內一些大學及中科院最新的研究成果看，漢語主觀題的自動化批改技術還不成熟，僅能判讀有限領域的簡答題，名詞解釋等類試題，且均需大量輸入數據，先建立詞庫、語料庫及答案、得分權值等，使用操作繁瑣，勞動強度大，不易普及應用。

研究的思路和方法

鑒于現(xiàn)狀，筆者進行過多次反復研究對比，采用了一套比較簡捷實用的方法，以解決主觀題自動化批改簡便實用，易于掌握的問題。主要方法如下：

1.脫離開銷龐大的詞庫、詞典，知識庫、語料庫。在實際中用于中，詞庫不一定及時包含新詞或變意詞，另外，中文詞義的歧義性也使得詞庫中的詞不能完整表達詞的真意。

2.對擬題者輸入參考答案時要求不能太高，應容易理解、掌握且方便。

3.通過對詞序的分析，能準確理解短語和整句語義。

4.近義詞與關鍵詞的貼近度計算，簡化為由擬題人員根據題意及“或”關系詞的貼近度，設置批改時的貼近度系數。

5.所有的考題要點均為關鍵詞，也是得分點。一般主要把得分點放在實詞上，如：名詞、動詞（系動詞除外）、形容詞等，一般不包括虛詞，一般句子的必要部分必須為關鍵詞，否定詞必須為關鍵詞。

主要研究成果

1.試卷界面的設置

軟件系統(tǒng)的設計目標是答題狀態(tài)界面與紙質界面相同，答案與原題保存在一個試卷文件中，既利于管理查閱，更便于答題者在答題時熟悉試題界面盡早進入答題狀態(tài)。

每一小題以一對英文括號成為一試題，在括號內答題者可任意書寫（一般不超過300字符），括號外被鎖定。擬題時該試題的答案應直接書寫在該括號內，當生成試題后，該括號內為空即成為試題，等待答題者填寫。在回答客觀試題時，用鼠標單擊字符，然后在括號內的任意位置單擊鼠標釋放字符。

2.系統(tǒng)進行了綠色設計

改進了廣域網絡考試必須建立網站進行考試的弊端，不用投入資金和維護人員，不用軟件安裝，僅利用現(xiàn)有互聯(lián)網就可完成考試和加密試卷的傳送過程，系統(tǒng)也能滿足在局域網中，一門或多門課程的同時隨機考試。

3.用“或”關系詞補充關鍵詞的近義表達

（1）關鍵詞“或”關系詞的表達方法。在簡答題中，以關鍵詞為得分點，關鍵詞即是考點也是整句不可或缺的詞，它們之間用#號分割,如句子：

“軸承所承受載荷的大小，方向和性質是選擇軸承類型的主要依據?！贝司淙绻豢紤]多種表達方式的標準答案是(#軸承#承受載荷#大小#方向#性質#是#選擇#軸承#主要#依據#)。

假若用上面的標準答案來批改考生的答題，會出現(xiàn)許多考生得分不公的問題。因為，上面的“承受載荷”考生可用“承載”詞代替，“選擇”可用“選用、選取”等近義詞代替。學生用近義詞寫出答案，應該獲得一定的分值，而不應無分。

若考慮到學生的多種可能表達寫法，用“或”關系詞（近義詞）的表達，則上句標準答案為：

(#軸承#承受或承擔或承載#載荷或負荷#大小方向或方向大小#性質#是或作為#選則或選取或選定或選用#軸承#主要或重要#依據#)。

上例中根據中文的近義詞，用“或”字表達考生填寫文字可能出現(xiàn)的多種情況，使考生獲得應得分。分析中文詞典可知，一個字詞的“或”關系近義詞一般不會超過四個，在各門專業(yè)領域能達到有四個近義關系詞的更少。

在這里，要注意的是關鍵詞之間盡可能連詞表達。比如：“水下自動機器人”可表達為：

（#水下自動或自動水下#機器人#）。但不能表達為(#水下或自動#自動或水下#機器人#)，否則，當答題者回答是：“水下水下機器人”時，批改的結果也會得分，但顯然不能得全分。避免此種情況發(fā)生的辦法是要設定批改程序有詞序要求（在軟件批改菜單中設定）。

（2）關鍵詞、近義詞的分值計算。系統(tǒng)采用每一個試題分值由程序自動平均分配到該試題答案中的每一個關鍵詞上。

對于關鍵詞中有“或”關系表達的近義詞情況，在軟件設計的批改功能中，采用設置貼近度系數的方法獲得各近義詞的分值，按“或”關系詞的遠近程度，設四個分值系數，最大值為1，最小值為0值，1表示按均分原值賦值，0表示不給近義詞賦分值，0.8表示按原分值的80%賦給該近義詞分值。并設計了對于有、無詞序要求的開關值。貼近度系數設置有如下兩種：

①無詞序要求，不按詞序要求，只要答對關鍵詞、近義詞，就可得分，貼近度系數：1，0.8，0.6，0.4，0。②有詞序要求，只有依詞序順序答對，才能得全部分或部分分值，貼近度系數：1，0.8，0.6，0.4，1。以上的系數值可根據詞的近義情況重新設定其值。兩個詞的相似程度，用貼近度系數來衡量，系數越大，表示兩個詞越近義，得分越高。設某題分值為f,答案中共有n個關鍵詞，每個關鍵詞分值為f/n，并存“或”關系詞，該題的總得分值為Z，則 Z=∑（f/n）﹢∑(f/n)×0.8﹢∑(f/n)×0.6﹢∑(f/n)×0.4，若該試題沒有“或”關系詞，則 Z=∑（f/n）。

4.并列填空的填答處理方法

在擬題試卷中用一對符號“^”，通過程序自動辨別有、無順序要求的并列填空。如：某題中有五個空需要填答，且不管填寫順序。則生成試題后的卷面表達為^(),(),(),(),()^。程序暫設最多可辨認8個并列填空。對于簡答題也用此法處理各答題要點無先后順序要求的情況。

如：^(#xxx或 xxxxx#xxx或 xxxx或 xxxx或 xxx#xxxx或xxxxxxx#)

(#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#)

(#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#)^

基于“或”關系詞覆蓋的自動化批改主觀題軟件的使用效果

軟件系統(tǒng)通過在機械、電氣、經濟、政治、教師繼續(xù)教育等課程教學考試中的應用，取得了比較好的效果，用戶認為使用方便，易于掌握，批改準確，實用高效，能夠解決簡答題的自動化批改問題。

[1] 劉瑞新,李樹東,萬朝陽.visual basic程序設計教程[J].電子工業(yè)出版社,2000,8.

[2] 孟愛國,卜勝賢,李鷹,甘文.一種網絡考試系統(tǒng)中主觀題自動化評分的算法設計與實踐[J].計算機與數字工程,2005,7(33).