趙天齊 ZHAO Tian-qi

（北京建筑大學(xué)，北京 100097）

0 引言

隨著當(dāng)今信息化時代的來臨，社會各領(lǐng)域都在積極探索互聯(lián)網(wǎng)信息化的創(chuàng)新發(fā)展之路，希望以此來突破傳統(tǒng)工作模式的束縛，實現(xiàn)新時期的新發(fā)展。根據(jù)國務(wù)院對國家行政管理部門“放、管、服”的指示精神，具體到考試工作領(lǐng)域而言，傳統(tǒng)的紙筆考試形式正在依托計算機信息技術(shù)和電子掃描技術(shù)，逐步轉(zhuǎn)變?yōu)樯蠙C考試、試點開啟智能化評分閱卷等趨勢，這將進一步減少人為失誤而導(dǎo)致的評卷失誤，提高評閱卷的準(zhǔn)確性和工作效率。

當(dāng)前，考試領(lǐng)域內(nèi)的智能化閱卷系統(tǒng)主要由參與方、數(shù)據(jù)、設(shè)備、環(huán)境這四個要素所構(gòu)成，這四個要素之間彼此聯(lián)系，相互影響，只有在這四個要素的共同作用下，才能順利地實施智能化閱卷。但目前，智能化閱卷系統(tǒng)還并不完善，現(xiàn)實中存在一系列阻礙智能化閱卷系統(tǒng)實施的困難與挑戰(zhàn)。本文具體分析推動考試領(lǐng)域智能化閱卷系統(tǒng)實施所遇到的問題，并提出相對應(yīng)的解決方案。

1 智能化閱卷系統(tǒng)的國內(nèi)外研究現(xiàn)狀

1.1 國外智能閱卷現(xiàn)狀

智能化閱卷研究在國外興起較早，最早可以追溯到二十世紀(jì)六十年代，美國率先開始了對自動評分系統(tǒng)的研發(fā)，主要是源于美國寫作測試逐漸增多，學(xué)生的作文數(shù)量激增，大大增加了教師評分的工作量，導(dǎo)致作文無法及時批改。而且人工評分耗時、耗錢，評分者還存在固有的主觀性。因此，不得不通過技術(shù)措施解決這一難題，開發(fā)作文自動評分系統(tǒng)。隨著計算語言學(xué)技術(shù)的發(fā)展，作文自動評分技術(shù)不光解決了學(xué)校批改作文的部分負擔(dān)，也帶來了技術(shù)的發(fā)展和競爭，并隨之出現(xiàn)了一些自動評判系統(tǒng)應(yīng)用于學(xué)生作文批改。如: Project Essay Grade （PEG） 系統(tǒng)、Electronic Essay Rater（E-Rater）系統(tǒng)、Conceptual Rater（C-Rater）系統(tǒng)、Intelligent Essay Assessor（IEA）系統(tǒng)，其中應(yīng)用較廣泛的為Electronic Essay Rater（E-Rater）系統(tǒng)。

E-Rater 系統(tǒng)是由美國教育考試中心的Jill Burstein領(lǐng)導(dǎo)開發(fā)的使用NLP 技術(shù)的在線寫作系統(tǒng)，并且已經(jīng)被美國國家考試中心于2005年開始應(yīng)用于TOEFL 的考試中。但是E-Rater 是僅從寫作風(fēng)格、修辭等角度來判斷寫作水平，不進行文章內(nèi)容理解，因此無法判斷寫作內(nèi)容是否符合要求。所以該系統(tǒng)只能輔助判斷寫作水平，并不能單獨完成作文的評判，這極大地限制了系統(tǒng)的推廣。

1.2 國內(nèi)智能閱卷現(xiàn)狀

目前，部分考試已經(jīng)開始了智能化閱卷的研究。我國的很多認證考試、等級考試和一些高校的部分課程考試都開發(fā)了相應(yīng)的考試系統(tǒng)，最廣泛應(yīng)用的就是計算機等級考試系統(tǒng)，GRE 外語上機考試系統(tǒng)等。

我國目前開展智能閱卷研究的主要有以下三種考試類型：①選拔類考試，人工智能閱卷全程質(zhì)量監(jiān)測。如部分省高考、中考、公務(wù)員類的申論考試等，題型主要是選擇題、論述題、簡答題、填空題、作文、數(shù)學(xué)應(yīng)用題等。②職業(yè)資格類考試，人工智能提供評分數(shù)據(jù)作為參考，如：消防工程師考試、中級會計師考試等，題型主要是選擇題、論述題、簡答題等。③在線模擬考試，人工智能閱卷為在線模擬考試平臺的學(xué)生試卷打分，如在線模擬考試，英語周報、翻譯平臺等，題型主要是音頻類語音題等。

由傳統(tǒng)的人工閱卷轉(zhuǎn)型至智能化閱卷，既可以降低閱卷成本，又避免了人工閱卷的主觀意識，還提高考試的公正性。智能化閱卷由于數(shù)據(jù)精確準(zhǔn)、信息量、處理速度快，在很大程度上提高了閱卷速度，減少從試題命制到成績生成的流程，減少了流程中人的參與次數(shù)，提高閱卷保密安全性。

目前，國內(nèi)各種考試評閱系統(tǒng)對客觀題的評閱技術(shù)已經(jīng)非常完善，而對主觀題和操作題而言，評閱時一般還是采用人工評閱的方式，并沒有真正實現(xiàn)機考、閱一體化。因此，需要及時地找到問題并提出針對性的解決方案，才能有效地推進考試領(lǐng)域智能化閱卷系統(tǒng)的實施應(yīng)用。

2 智能化閱卷系統(tǒng)的組成要素

考試領(lǐng)域內(nèi)的智能化閱卷系統(tǒng)主要由參與方、數(shù)據(jù)、設(shè)備、環(huán)境這四個要素所構(gòu)成（如圖1 所示）。參與方指的是考試閱卷過程中的各階段主要參與者，包括了考生、試卷掃描人員、試卷評卷人員；設(shè)備指閱卷時所用到的必要設(shè)備，包括了掃描設(shè)備和閱卷設(shè)備；數(shù)據(jù)是該系統(tǒng)所需要的基礎(chǔ)信息數(shù)據(jù)和所呈現(xiàn)的最后結(jié)果信息數(shù)據(jù)，包括了考生數(shù)據(jù)、客觀題數(shù)據(jù)、主觀題數(shù)據(jù)、通過率等數(shù)據(jù)；環(huán)境則是指該系統(tǒng)所處的現(xiàn)實背景環(huán)境，各地區(qū)的實際環(huán)境各不相同，包括了自然環(huán)境與社會環(huán)境。

圖1 智能化閱卷系統(tǒng)組成要素

智能化閱卷系統(tǒng)的四個要素彼此之間相互影響，互相作用。首先由所有考生作答考試內(nèi)容，經(jīng)匯總后由掃描人員用特定的掃描設(shè)備，將考生作答的試題答案掃描進計算機中，形成電子數(shù)據(jù)，存儲在閱卷系統(tǒng)中。其次，評卷專家登錄評卷設(shè)備，對上傳至系統(tǒng)中的主觀題進行評分，客觀題則由系統(tǒng)根據(jù)設(shè)定好的答案順序，自動評分。最后，系統(tǒng)將評閱完成的客觀題數(shù)據(jù)與主觀題數(shù)據(jù)進行匯總，形成本次考試的最終數(shù)據(jù)信息，可顯示本次考試報名人數(shù)、實考人數(shù)、缺考人數(shù)、通過人數(shù)等信息，并計算出本次考試的通過率，再反饋給相關(guān)考試部門，考試部門根據(jù)數(shù)據(jù)結(jié)果進行再分析，做好為下一次考試的研判工作。以上涉及的各階段內(nèi)容都是發(fā)生在不同的實際環(huán)境中的，受自然環(huán)境和社會環(huán)境影響。自然環(huán)境包括了地震、暴雨等極端天氣影響，可能導(dǎo)致閱卷場所丟失數(shù)據(jù)，造成人員傷亡等情況。社會環(huán)境是指在政策、制度等方面的內(nèi)容，教育政策和考試制度的變化會直接影響考試的設(shè)計和評分標(biāo)準(zhǔn)。政府的教育政策以及教育部門的規(guī)定會對考試題目和評分標(biāo)準(zhǔn)產(chǎn)生重要影響。

3 智能化閱卷系統(tǒng)的現(xiàn)存問題

3.1 現(xiàn)有文獻顯示的智能化閱卷現(xiàn)存缺點

通過梳理相關(guān)文獻，與傳統(tǒng)的人工閱卷模式相比，智能化閱卷雖然具有效率更高、安全性更強、評判尺度一致等諸多優(yōu)點，但是仍存在不少現(xiàn)實困難。

3.1.1 前期研發(fā)成本較高

開發(fā)智能化閱卷系統(tǒng)需要使用復(fù)雜的自然語言處理、機器學(xué)習(xí)和人工智能等技術(shù)，這些技術(shù)需要高水平的專業(yè)知識和大量的研發(fā)投入。研發(fā)團隊需要投入大量時間和精力來設(shè)計和實現(xiàn)能夠準(zhǔn)確評估學(xué)生答案的算法和模型。為了訓(xùn)練智能化閱卷系統(tǒng)，需要大量的人工標(biāo)注數(shù)據(jù)以及學(xué)生答案的樣本數(shù)據(jù)。數(shù)據(jù)的采集、清洗和標(biāo)注工作需要投入大量人力和時間成本。

3.1.2 文本轉(zhuǎn)化率不可控

紙筆考試需先進行文本轉(zhuǎn)換，每個人書寫漢字的字體不統(tǒng)一，存在字體大小不等、字體傾斜、連筆等現(xiàn)象，導(dǎo)致文本轉(zhuǎn)換準(zhǔn)確率受到一定程度的影響。

3.1.3 考試內(nèi)容受評分技術(shù)的影響有所限制。

涉及文字論述題型時，就需要對作答的科學(xué)性以及邏輯性進行判別。例如專業(yè)名詞存在同義詞、部分工作順序變化也是正確答案等情況，智能化閱卷計算模型還需要通過實踐檢驗和調(diào)試。目前尚處于研發(fā)階段，主要用于輔助人工閱卷階段。

3.2 ISM 模型分析

3.2.1 ISM 模型定義

ISM 模型是解釋結(jié)構(gòu)模型的簡稱，是美國沃菲爾德教授在1973年所開發(fā)的一種模型。解釋結(jié)構(gòu)模型化（ISM）技術(shù)是通過尋找系統(tǒng)構(gòu)成要素、定義要素間關(guān)聯(lián)的意義、給出要素間以二元關(guān)系為基礎(chǔ)的具體關(guān)系，將其整理成圖、矩陣等較為直觀且易于理解的形式，最終逐步建立起復(fù)雜系統(tǒng)的結(jié)構(gòu)模型。

ISM 模型常用于分析解釋現(xiàn)實復(fù)雜的系統(tǒng)問題，目前已廣泛地應(yīng)用于認識和處理各類社會經(jīng)濟系統(tǒng)的問題。

3.2.2 確定組成要素

在ISM 分析中，首先需要列舉出影響智能化閱卷系統(tǒng)實施的影響因素。通過查閱相關(guān)文獻，歸納總結(jié)出了7個關(guān)鍵影響因素，并用S1-S7 分別與之一一對應(yīng)，具體的對應(yīng)情況如表1 所示。

表1 影響智能化閱卷系統(tǒng)實施的因素

3.2.3 判定二元關(guān)系

在判定要素之間的關(guān)系時，需要用到方格圖來表示元素的相互關(guān)系。在方格圖中，可以直觀地看出各要素之間的二元關(guān)系，其中V 表示方格圖中的行（或上位）要素直接影響到列（或下位要素），A 表示列要素對行要素有直接影響，X 表示行列兩要素相互影響，具有強連接關(guān)系。圖2為影響智能化閱卷系統(tǒng)實施的要素方格圖。

圖2 影響智能化閱卷系統(tǒng)實施的要素方格圖

3.2.4 建立矩陣

在得到了影響智能化閱卷系統(tǒng)實施的要素方格圖之后，再加上反映自身關(guān)系的單位矩陣，就可以建立起可達矩陣?？蛇_矩陣反映了系統(tǒng)各要素間的直接或間接關(guān)系，影響智能化閱卷系統(tǒng)實施的可達矩陣如表2 所示。

表2 可達矩陣

根據(jù)要素級位劃分的思想，在具有強連接關(guān)系的要素（S1 與S6）中去除S6（即去除可達矩陣中“6”所對應(yīng)的行和列），可得到縮減矩陣（如表3 所示）。

表3 縮減矩陣

按照縮減矩陣中每行“1”元素的多少，由少到多順次排列，調(diào)整矩陣的行和列，進行層次化處理后得到一個新的矩陣，從矩陣的左上角到右下角，依次分解出最大階數(shù)的單位矩陣，并加注方框。每個方框表示一個層次。如表4所示，可見，該系統(tǒng)中的要素分為4 個層次，S5、S7 屬于第一層次、S4 屬于第二層次、S3 為第三層次、S1、S2 為第四層次。

表4 層次化處理

3.2.5 多級遞階有向圖

根據(jù)層次化處理后的縮減矩陣，可以繪制多級遞階有向圖，能更直觀地表示該模型的層次和結(jié)構(gòu)，如圖3 所示。影響智能化閱卷系統(tǒng)實施的原因的多級遞階有向圖共分為4 個層級，節(jié)點表示系統(tǒng)構(gòu)成要素，有向弧表示要素之間的二元關(guān)系，其中S1 與S6 屬于強連接關(guān)系，兩者同處于同一層級，其他層級與縮減矩陣層次化處理后的層級一致。

圖3 多級有向階梯圖

3.2.6 解釋結(jié)構(gòu)模型

在繪制出多級遞階有向圖后，根據(jù)S1-S7 各元素之間的對應(yīng)關(guān)系，可以構(gòu)建出解釋結(jié)構(gòu)模型，如圖4 所示。

圖4 ISM 模型圖

通過使用ISM 模型進行分析可知，若想進一步推進智能化閱卷系統(tǒng)的實施，就需要額外關(guān)注以下幾個方面：

從長期性和根本上來說，推進智能化閱卷系統(tǒng)的實施取決于這個閱卷系統(tǒng)的基礎(chǔ)數(shù)據(jù)（S6）、閱卷人員的專業(yè)背景知識（S1）和閱卷缺勤率（S2）的共同作用。第一，智能化閱卷系統(tǒng)需要大量的基礎(chǔ)數(shù)據(jù)來訓(xùn)練模型，以提高閱卷的準(zhǔn)確性和效率。這些基礎(chǔ)數(shù)據(jù)包括試卷內(nèi)容、答案、評分標(biāo)準(zhǔn)等。如果基礎(chǔ)數(shù)據(jù)不準(zhǔn)確或不完整，將影響閱卷系統(tǒng)的性能和可靠性。第二，閱卷人員的專業(yè)背景知識對閱卷結(jié)果的質(zhì)量和準(zhǔn)確性至關(guān)重要。如果閱卷人員缺乏相關(guān)的專業(yè)背景知識，將難以對試卷內(nèi)容進行準(zhǔn)確理解和評估，導(dǎo)致影響閱卷結(jié)果。第三，閱卷缺勤率是指閱卷人員實際參與閱卷工作的比例。如果閱卷缺勤率過高，將導(dǎo)致閱卷工作無法順利進行，影響閱卷效率和質(zhì)量。

從間接來說，閱卷所用的專業(yè)設(shè)備和閱卷專家的講解培訓(xùn)水平是間接影響智能化閱卷系統(tǒng)進一步推進的原因。如果閱卷所用的設(shè)備性能不穩(wěn)定或存在缺陷，將直接影響閱卷的準(zhǔn)確性和效率。如果閱卷專家能熟練清晰地講解試卷的評分標(biāo)準(zhǔn)，將有助于快速地培訓(xùn)出一批閱卷人員，使所有閱卷人員清晰準(zhǔn)確地了解試題采分點，有助于提高閱卷效率和準(zhǔn)確性。

從短期和直接性來說，閱卷場所的環(huán)境情況（S5），閱卷系統(tǒng)的資金投入水平（S7）是推動智能化閱卷系統(tǒng)進一步實施的因素。第一，閱卷場所的環(huán)境情況對閱卷效率和質(zhì)量有著直接的影響。一個寬敞、明亮、舒適的閱卷環(huán)境可以讓閱卷人員更加專注和高效地工作，從而提高閱卷效率和質(zhì)量。相反，如果閱卷場所環(huán)境惡劣，如噪音、光線不足等，將會影響閱卷人員的專注度和工作效率，從而影響閱卷結(jié)果。第二，閱卷系統(tǒng)的資金投入水平也是推動智能化閱卷系統(tǒng)進一步實施的重要因素。智能化閱卷系統(tǒng)的研發(fā)和實施需要大量的資金投入，包括硬件設(shè)備、軟件開發(fā)、人員培訓(xùn)等方面的費用。如果資金投入不足，將無法保證智能化閱卷系統(tǒng)的穩(wěn)定性和可靠性，進而影響閱卷工作的順利進行。

4 推進智能化閱卷系統(tǒng)的對策建議

4.1 霍爾三維模型

霍爾三維模型是一種系統(tǒng)工程方法論，這種方法可以直觀地展示出系統(tǒng)工程各項工作內(nèi)容的時間維、邏輯維、知識維這三維結(jié)構(gòu)圖。本文通過霍爾三維模型，展開研究智能化閱卷系統(tǒng)的三維邏輯，在三種維度上對如何推進智能化閱卷系統(tǒng)進行進一步分析。

如圖5 所示，構(gòu)建了智能化閱卷系統(tǒng)的霍爾三維模型圖。根據(jù)知識維、邏輯維、時間維三種不同邏輯，分別羅列出了該系統(tǒng)不同維度的組成要素。通過分析該模型，找出并優(yōu)化可能對推進智能化閱卷系統(tǒng)進一步實施的因素。

圖5 霍爾三維模型圖

知識維指的是系統(tǒng)中所涉及的知識、信息和數(shù)據(jù)。這包括系統(tǒng)設(shè)計中所需的專業(yè)知識、技術(shù)資料、規(guī)范標(biāo)準(zhǔn)、歷史數(shù)據(jù)等。知識維關(guān)注的是系統(tǒng)所涉及的信息和知識的獲取、管理和應(yīng)用。該模型下的知識維包括了保密安全教育知識、閱卷人員相關(guān)學(xué)科背景知識和所涉及考試閱卷人員的保密教育知識等內(nèi)容。

邏輯維通常指的是系統(tǒng)工程中所涉及的邏輯結(jié)構(gòu)、功能關(guān)系、流程設(shè)計等方面。包括了系統(tǒng)各個模塊之間的邏輯關(guān)系等內(nèi)容。

邏輯維中共分成六個階段：第一步，接收基礎(chǔ)數(shù)據(jù)。是指接收經(jīng)過保密處理的考生編碼和考生作答信息，進行數(shù)據(jù)檢驗和核查。

第二步，接收人工閱卷數(shù)據(jù)。指接收部分由人工產(chǎn)生的閱卷數(shù)據(jù)，進行數(shù)據(jù)校驗。

第三步，進行樣本選擇和模型訓(xùn)練。從產(chǎn)生人工閱卷的樣本中抽取訓(xùn)練樣本，抽選的樣本按不同分數(shù)段抽取有代表性的樣本進行多模型訓(xùn)練，在驗證集上進行模型優(yōu)選。

第四步，開展智能化閱卷。利用優(yōu)選的模型對考生作答內(nèi)容進行評分，形成智能化閱卷評分數(shù)據(jù)。

第五步，提交復(fù)合卷，將智能化閱卷評分數(shù)據(jù)反饋至專家組進行復(fù)審。

最后一步，進行統(tǒng)計分析。即對全部考生數(shù)據(jù)的智能化閱卷評分數(shù)據(jù)、人工閱卷數(shù)據(jù)進行綜合分析，形成智能化閱卷報告。

時間維通常指的是系統(tǒng)工程中與時間相關(guān)的各種內(nèi)容，包括時間約束、時序邏輯、時序行為等。這包括系統(tǒng)的時間性能要求、實時性需求、事件發(fā)生順序等。時間維關(guān)注的是系統(tǒng)在時間維度上的特性和要求。在該時間維模型中，按照時間進程劃分成八個階段，每一個階段都可以看作是下一個階段的準(zhǔn)備工作。整個工作流的核心是第七階段，即正式評閱階段，這也是保證閱卷質(zhì)量的重點階段。

4.2 對策建議

通過查詢國內(nèi)外相關(guān)文獻，并針對推進智能化閱卷系統(tǒng)的實施因素構(gòu)建了ISM 模型和霍爾三維模型圖，本文提出了對推進智能化閱卷系統(tǒng)有效實施的部分對策。

4.2.1 加大技術(shù)系統(tǒng)的投資建設(shè)

通過ISM 模型可知，閱卷系統(tǒng)的資金投入水平是推動智能化閱卷系統(tǒng)進一步實施的直接因素。智能化閱卷系統(tǒng)需要投入大量資金進行技術(shù)研發(fā)和購置相關(guān)設(shè)備和軟件。這包括用于自然語言處理、機器學(xué)習(xí)、圖像識別等方面的技術(shù)開發(fā)和購買高性能計算設(shè)備、服務(wù)器等硬件設(shè)備。資金投入的充足與否直接影響到系統(tǒng)的技術(shù)水平和性能。同時，智能化閱卷系統(tǒng)需要專業(yè)的技術(shù)人才進行系統(tǒng)的開發(fā)、維護和優(yōu)化。資金投入可以用于人才的培訓(xùn)和引進，以及保障人才的穩(wěn)定性和持續(xù)的技術(shù)支持。

4.2.2 加強培訓(xùn)閱卷人員相關(guān)專業(yè)知識水平

根據(jù)霍爾三維模型可知，在時間維的邏輯下，正式評閱階段是保證閱卷質(zhì)量的重點階段。在正式評閱卷時，閱卷人員的缺勤率、專業(yè)知識水平?jīng)Q定了本次閱卷的效率與質(zhì)量，具備相關(guān)專業(yè)知識的閱卷人員可以更準(zhǔn)確地理解評分標(biāo)準(zhǔn)，避免主觀評分的偏差，從而提高閱卷的一致性和公正性。高質(zhì)量的人工評閱基礎(chǔ)數(shù)據(jù)有利于智能化閱卷系統(tǒng)的進一步學(xué)習(xí)。同時通過培訓(xùn)，閱卷人員能夠更好地理解智能化閱卷系統(tǒng)的工作原理和技術(shù)特點，從而更好地配合系統(tǒng)進行工作。

4.2.3 增加對閱卷設(shè)備和閱卷環(huán)境的重視程度

根據(jù)ISM 模型的相關(guān)結(jié)論可知，閱卷所用的專業(yè)設(shè)備和閱卷專家的講解培訓(xùn)水平是間接影響智能化閱卷系統(tǒng)進一步推進的原因。良好的設(shè)備和環(huán)境能夠提高系統(tǒng)的運行效率，能夠提供穩(wěn)定的工作條件和良好的數(shù)據(jù)輸入，有利于智能化閱卷系統(tǒng)的準(zhǔn)確性和穩(wěn)定性，可以縮短閱卷時間，提高工作效率，減輕閱卷人員的工作負擔(dān)。關(guān)注閱卷設(shè)備和環(huán)境有助于提升閱卷工作的舒適度和安全性，改善閱卷人員的工作環(huán)境，提高工作積極性和工作效率。

5 結(jié)語

本文首先研究梳理了智能化閱卷系統(tǒng)的國內(nèi)外研究現(xiàn)狀，再列舉出了智能化閱卷系統(tǒng)的組成要素，理清了各要素之間的相互關(guān)系與共同作用情況。在分析推動智能化閱卷系統(tǒng)實施所遇到的困難時，使用了ISM 模型進行研究分析，并得到了相應(yīng)結(jié)論。通過使用霍爾三維模型，將該系統(tǒng)的時間維、知識維、邏輯維進行細分梳理，最后結(jié)合ISM 模型和霍爾三維模型，試圖找出所遇困難的解決對策。本文以系統(tǒng)工程的知識邏輯框架為指導(dǎo)，為改善實際工作中所遇到的問題提供了解決思路。