王書湖　劉華章

摘 要：客觀評價學(xué)員的實際操作水平，在分析裝備操作的特點之后，結(jié)合序列匹配方法、模糊邏輯思想及最短編輯距離算法，設(shè)計裝備操作考核自動評分算法，實現(xiàn)對學(xué)員操作過程的自動評分。應(yīng)用表明，該算法符合裝備操作考核的要求，能夠反映出學(xué)員的實際操作水平。

關(guān)鍵詞：序列匹配；模糊邏輯；最短編輯距離；自動評分

中圖分類號：TP301 文獻(xiàn)標(biāo)識碼：A

1 引 言

對操作者的實際操作水平進(jìn)行考核是實踐教學(xué)的一個重要環(huán)節(jié)，但由于裝備操作具有操作內(nèi)容多，操作流程復(fù)雜，操作有效性及熟練度難以檢驗等特點，傳統(tǒng)上往往依靠考核者全程觀察操作者的操作過程，進(jìn)行一對一的考核，這種考核方式實施代價高，可操作性差，并且評價結(jié)果完全依賴考核者的主觀印象，難以做到客觀、公正、全面[1]。

隨著信息技術(shù)的飛速發(fā)展，計算機(jī)輔助測評逐步在教育領(lǐng)域得到了應(yīng)用[2]，然而目前的計算機(jī)輔助測評系統(tǒng)在選擇、判斷等客觀題或計算機(jī)操作技能等自動測試方面支持良好[3，4]，但對裝備操作考核評估的支持還很不夠，這是因為對裝備操作考核并不能簡單采用某一種或幾種標(biāo)準(zhǔn)答案進(jìn)行評定，系統(tǒng)需要對操作者的操作速度、操作流程等各方面因素進(jìn)行綜合評估。這些因素都具有不確定性，難以給出精確的評估指標(biāo)。為解決上述問題，本文在研究分析了裝備操作特點后，針對這類操作特性，提出了基于操作序列匹配與模糊邏輯評判的自動評測算法，對操作者的操作過程進(jìn)行考核評估，取得了良好效果[5]。

2 操作考核自動評測模型

對操作者的操作進(jìn)行評測，首先需要獲得操作者操作的相關(guān)信息，之后再對相關(guān)操作進(jìn)行標(biāo)準(zhǔn)化處理，最后利用自動評測算法對操作進(jìn)行評分，系統(tǒng)模型如圖1所示。

圖1 操作考核自動評測模型

在操作信息中所要關(guān)注的是操作對象及其屬性、操作完成時間、操作所達(dá)到的狀態(tài)。為方便標(biāo)準(zhǔn)化處理及后續(xù)的自動評測，在此利用事件來表示考生的操作序列，用四元組E（O，N，T，S）來描述相關(guān)的操作信息，其中O表示操作對象，N表示操作對象的屬性， T表示操作結(jié)束時間，S表示操作所達(dá)到的狀態(tài)[7]。

3 算法設(shè)計

針對操作訓(xùn)練的實際操作特點，采用重要度、相似度、時間度和成功度四個評估因子對操作過程進(jìn)行模糊邏輯評分，評分時首先需要確定標(biāo)準(zhǔn)操作序列，在具體操作中可能存在多種正確的操作序列，因此標(biāo)準(zhǔn)操作序列可能存在多個，為此在進(jìn)行評分時首先對操作序列進(jìn)行預(yù)處理，再逐一與標(biāo)準(zhǔn)操作進(jìn)行比對，采用分步評分、累加求和的方式計算總分[5]。

3.1 標(biāo)準(zhǔn)操作序列預(yù)處理

對標(biāo)準(zhǔn)操作序列依據(jù)各操作步驟間的聯(lián)系進(jìn)行分組，即聯(lián)系緊密度高、難以分割的一組序列分為一組，對于相對獨立的操作則獨自成為一組，每一組作為一個評價得分點，依據(jù)所確立的評價指標(biāo)對各評價組進(jìn)行模糊評分。對實際操作序列按照子序列嚴(yán)格匹配的模式依次判斷各評價點的操作是否正確，若匹配成功則標(biāo)志位accurate置為true，否則置為

3.2 四種評估因子

1.重要度

在裝備操作過程中，某些錯誤的操作可能會對系統(tǒng)設(shè)備造成損害或?qū)е螺^為嚴(yán)重的后果，因此這些操作是極為重要的，在操作過程中必須嚴(yán)格落實。未嚴(yán)格遵守這些操作不僅不能得分，還要進(jìn)行相應(yīng)的扣分。為此用重要度表示某操作的重要程度，用Ii表示，共分為10個等級，取值范圍為[0，10]，每個等級的取值間隔為1。此指標(biāo)是唯一的扣分指標(biāo)，對不符合規(guī)定的操作進(jìn)行扣分。

2.相似度

相似度又可稱為操作序列符合度，即實際操作序列與標(biāo)準(zhǔn)序列的符合度。具體操作時利用子序列匹配算法將預(yù)處理后的標(biāo)準(zhǔn)操作序列與實際操作序列進(jìn)行匹配。匹配成功則該組的標(biāo)志位accurate置為true，其相似度Pi=1，否則置標(biāo)志位accurate為flase，Pi=0。匹配不成功則說明該操作未完成，則依據(jù)相應(yīng)的重要度加權(quán)進(jìn)行扣分處理。

3.時間度

對每一組操作序列，系統(tǒng)均預(yù)先設(shè)定一個參考操作時間TSi，并以實際操作時間TCi與該值的比作為時間度 Ti的函數(shù)輸入評價值[9]。

定義xi=TCiTSi，則Ti=f（xi），xi為自變量，其取值為（0，+∞），Ti的函數(shù)曲線圖如圖2所示，在參考操作時間內(nèi)的操作設(shè)其權(quán)重為1。操作時間越長得分越低，則其時間度的權(quán)重越低，由于大部分操作號手操作的操作時間集中在1至2倍的參考操作時間內(nèi)，為便于拉開操作成績，則此時的曲線斜率較大。對4倍參考操作時間以上的操作不在進(jìn)行區(qū)分，統(tǒng)一將權(quán)重設(shè)為0.2。

圖2 時間度Ti的函數(shù)曲線圖

4.成功度

在實際操作中，存在多種正確的操作序列，某步操作的結(jié)果可能會對后續(xù)操作的結(jié)果造成影響，一步不達(dá)標(biāo)的操作可能導(dǎo)致后續(xù)相關(guān)的操作都不達(dá)標(biāo)，因此不能簡單的以操作結(jié)果是否合格來進(jìn)行評價，為此采用成功度這一評價因子來衡量操作人員的操作效果，即用該操作實際達(dá)到的狀態(tài)集與該操作應(yīng)達(dá)到的狀態(tài)集進(jìn)行匹配，完全匹配則成功度Si為1，并將某操作實際達(dá)到的狀態(tài)集個數(shù)與應(yīng)該達(dá)到的狀態(tài)集個數(shù)間的比值定義為Fi。當(dāng)匹配度少于20%時便不做區(qū)分，將其成功度統(tǒng)一設(shè)為0.2，這主要是考慮雖未達(dá)到預(yù)期的操作效果，但仍然完成了該步操作，也應(yīng)獲得一定的分值。成功度Si定義為：

Si= Fi，F(xiàn)i≥0.2 0.2，F(xiàn)i<0.2

操作序列由于具有多樣性和復(fù)雜性，在具體評分時對相關(guān)性高的進(jìn)行了預(yù)先分組，但仍存在一些相關(guān)程度不高的操作序列，對于這些操作序列的評分主要依據(jù)成功度與最短編輯距離來評分。

3.3 最短編輯距離的計算

在實際的操作過程中，有可能存在誤操作或多次操作的情況，比如一個波段開關(guān)存在多個檔位，在具體操作時可能會存在多次來回波動才停在正確的檔位上，為此就要比較實際操作序列與標(biāo)準(zhǔn)操作序列的差別。對所存在的誤操作及多次操作進(jìn)行扣分處理，在此引入字符串的編輯距離算法，編輯距離是指將原字符串轉(zhuǎn)換到目標(biāo)字符串所需的最少的插入、刪除和替換的數(shù)目。利用該算法求出實際操作序列變換為標(biāo)準(zhǔn)操作序列所需要的最少次數(shù)，并用該指標(biāo)評價實際操作中的誤操作及多次操作情況[11，12]。endprint

求兩個字符串間的編輯距離實際是一個求最優(yōu)解的過程，可以采用動態(tài)規(guī)劃的思想來計算。將實際操作序列字符串記為T[1，N]，標(biāo)準(zhǔn)操作序列記為S[1，M]，將T到S的編輯距離記為D（S，T），并定義D[i，j]=D[S[1，i]，T[1，j]]。對單個字符的定義為：

對于某裝備的操作共有9步，依據(jù)該裝備的操作特點，制定了如表1所示的標(biāo)準(zhǔn)操作序列，采用該算法對表2所示的操作序列進(jìn)行評分，結(jié)果如表3所示。在計算得出各評價組的得分后，通過進(jìn)一步的計算可以得出實際操作序列與標(biāo)準(zhǔn)操作序列間的最短編輯距離為2，則該操作的最終得分為17.68+11.52-3+27.6-2=51.8。

4 結(jié) 語

利用裝備操作考核自動評測算法可以有效的評價操作者的裝備操作水平，在具體操作時，首先要提取操作者的操作信息并對其進(jìn)行標(biāo)準(zhǔn)化處理，然后再依照算法進(jìn)行評分。標(biāo)準(zhǔn)序列及評分標(biāo)準(zhǔn)需要依據(jù)實際情況預(yù)先確定，這也有利于發(fā)揮人的主觀能動性，使得算法更具普適性。

參考文獻(xiàn)

[1] BRIAN E，Clauser，Polina Harik，Stephen G. Clyman. The Generalizability of Scores for a Performance Assessment Scored with a ComputerAutomated Scoring System[J].Journal of Educational Measurement， 2005，37（3）：20-26.

[2] 張冰.自動閱卷系統(tǒng)的研究[D].成都：西華大學(xué)，2008

[3] Temur Kutsia. Context Sequence Matching for XML[J]. Electronic Notes in Theoretical Computer Science， 2006，157 （2）：47-65.

[4] 宗德才.操作題自動評分系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)工程與設(shè)計，2010，31（5）：1156-1160.

[5] 郭培，高俊雄，王耘波.基于序列匹配的自動評分算法設(shè)計[J].計算機(jī)應(yīng)用，2011，12：78-80.

[6] CLAUSER B E，HARIK P，CLYMAN S G，The generalizability of scores for a performance assessment scored with a computerautomated scoring system[J]. Journal of Educational Measurement， 2000，（37）：245-261.

[7] ROCKWOOD A L， CROCKETT D K， OLIPHANT J R， et al. Sequence alignment by crosscorrelation[J]. Journal of Biomolecular Techniques，2005，16（4）：453-458.

[8] 張靜，李凡長.動態(tài)模糊機(jī)器學(xué)習(xí)模型及驗證[J].計算機(jī)應(yīng)用，2006，26（9）：2044-2046.

[9] ARORA S，BHATTACHARJEE D，NASIPURI M，BASU D K，KUNDU M.Recognition of Non-Compound Handwritten Devnagari Characters using a Combination of MLP and Minimum Edit Distance[J]. International Journal of Computer Science and Security，2010，4（1）：107-112.

[10]馮乃勤，申向東，徐久成，等.模糊推理中沖突消解的一種新方法[J].計算機(jī)工程，2002，28（9）：75-76.

[11]喻高瞻，彭宏，胡勁松，等. 時間序列的相似性的分層查詢[J]. 計算機(jī)工程與應(yīng)用，2006，45（23）：152-153.

[12]王樹西，吳政學(xué).改進(jìn)的Dijkstra最短路徑算法及其應(yīng)用研究[J].計算機(jī)科學(xué)，2012，39（5）：223-228.endprint