季天凱　朱軒　周漢清

摘要：目前，主觀題自動(dòng)化閱卷的準(zhǔn)確度是智能閱卷系統(tǒng)能否有效的關(guān)鍵要素，通過提出雙向匹配向量空間算法，使用盤古分詞組件進(jìn)行文本預(yù)處理，利用算法中的雙向匹配和向量空間計(jì)算關(guān)鍵詞匹配和文本相似度，實(shí)現(xiàn)主觀題自動(dòng)閱卷的評(píng)分功能，并通過C#.NET語言開發(fā)智能閱卷系統(tǒng)。通過系統(tǒng)實(shí)驗(yàn)結(jié)果證明，該算法下的自動(dòng)閱卷與人工閱卷的結(jié)果誤差率較小，具有良好的應(yīng)用前景。

關(guān)鍵詞：中文分詞;雙向匹配;向量空間;相似度計(jì)算

中圖分類號(hào)：TP18? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）12-0079-03

Abstract： Currently， the accuracy of automatic marking of subjective questions is the key factor for the effectiveness of intelligent marking system， by proposes a bidirectional matching space algorithm， use Pangu word segmentation for text preprocessing， use keyword bidirectional matching and vector space model to calculate keyword matching and text similarity， and C#. Net design marking system. Experimental results show that the result of automatic marking under the guidance of this algorithm is less different from that of manual marking， and has a good application prospect.

Key words： Chinese word segmentation; bidirectional matching; vector space; similarity computation

1 背景

智能閱卷是指通過計(jì)算機(jī)對(duì)學(xué)生作答的試題答案進(jìn)行自動(dòng)閱卷[1]，減少閱卷工作量，提高評(píng)卷的公平性和效率。目前，智能閱卷是在線考試領(lǐng)域研究的前沿技術(shù)之一[2]?，F(xiàn)階段，針對(duì)客觀題的智能閱卷已經(jīng)得到了廣泛的應(yīng)用，例如計(jì)算機(jī)等級(jí)考試、GRE考試以及會(huì)計(jì)電算化考試等[3]，然而由于主觀題評(píng)閱涉及分詞技術(shù)與關(guān)鍵詞匹配技術(shù)等，這使得主觀題評(píng)閱成為智能閱卷中的技術(shù)難點(diǎn)。近年來，隨著對(duì)自然語言處理理論研究的深入，已經(jīng)提出了一些相對(duì)較為成熟的主觀題算法，但是在系統(tǒng)實(shí)現(xiàn)和具體應(yīng)用上面仍然很少[4]。本文主要利用基于雙向匹配的中文分詞技術(shù)和向量空間的文本相似度技術(shù)，通過中文分詞技術(shù)將答案切分成不同的詞語，再經(jīng)過雙向關(guān)鍵字匹配，獲取關(guān)鍵詞得分點(diǎn);并通過向量空間，計(jì)算答案與標(biāo)準(zhǔn)文本的貼近度，完成主觀題答案的自動(dòng)評(píng)閱，實(shí)現(xiàn)在線考試的智能閱卷功能，并利用實(shí)驗(yàn)結(jié)果驗(yàn)證智能閱卷的可靠性。

2 雙向匹配向量空間算法原理

本系統(tǒng)中主觀題部分的評(píng)閱采用雙向匹配向量空間算法實(shí)現(xiàn)，算法流程如圖1所示。

算法主要包含關(guān)鍵詞匹配計(jì)算方法，語義相似度計(jì)算方法以及綜合相似度融合算法。其中，關(guān)鍵詞匹配度可以通過關(guān)鍵詞雙向匹配進(jìn)行計(jì)算，而語義貼近度可以通過向量空間進(jìn)行量化，答案文本綜合相似度則通過關(guān)鍵詞匹配度與語義相似度兩維度進(jìn)行融合，最終得出對(duì)主觀題的智能閱卷得分。

2.1 關(guān)鍵詞雙向匹配

關(guān)鍵詞雙向匹配即通過正向匹配和反向匹配相結(jié)合的方式，把學(xué)生答案中的關(guān)鍵詞依次和標(biāo)準(zhǔn)答案中的關(guān)鍵詞進(jìn)行比較，當(dāng)匹配一致時(shí)將字符字?jǐn)?shù)進(jìn)行累加，最后將正向匹配和反向匹配中匹配字符數(shù)值大的一項(xiàng)與標(biāo)準(zhǔn)答案中的關(guān)鍵詞字符數(shù)進(jìn)行相除，得出的比值即為學(xué)生答案與標(biāo)準(zhǔn)答案關(guān)鍵詞的匹配程度。例如設(shè)[A0]為考生的答案，[?（T，A0）]為關(guān)鍵詞匹配的比值。雙向匹配的具體公式為：

在公式1中，[Ti]和[Tj]分別為關(guān)鍵詞在正向和反向匹配中匹配成功的字符數(shù);[Ui]為標(biāo)準(zhǔn)答案中關(guān)鍵詞的字符數(shù)，[?Ti，A0]為考生答案與標(biāo)準(zhǔn)答案某關(guān)鍵詞匹配字符的比值;在公式2中，[S0]是題目的分值，[U]是標(biāo)準(zhǔn)答案中關(guān)鍵詞的個(gè)數(shù)，[T]為關(guān)鍵詞匹配的最終得分。

2.2 中文分詞技術(shù)

在主觀題智能閱卷中，中文分詞的作用十分重要，它可以將中文語句中的詞匯，按照一定的規(guī)則進(jìn)行切分，形成一個(gè)一個(gè)單獨(dú)的詞語。而由計(jì)算機(jī)自動(dòng)識(shí)別文本中的詞，實(shí)現(xiàn)切分處理過程的技術(shù)就是中文分詞技術(shù)[5]。例如中文“中國的首都是北京”，分詞結(jié)果是“中國＼的＼首都＼是＼北京”。在分詞時(shí)，分詞的結(jié)果受到語義、句法等因素影響。

目前，中文分詞技術(shù)已經(jīng)比較成熟，網(wǎng)絡(luò)上出現(xiàn)很多開源的分詞軟件，例如盤古分詞、IKAnalyzer、Phpanalysis、Paoding等[6]。本文的中文分詞技術(shù)采用的是開源的盤古分詞組件，它是目前能夠?qū)χ形恼Z句進(jìn)行準(zhǔn)確切詞的工具之一。例如，利用盤古分詞對(duì)中文“操作系統(tǒng)是管理計(jì)算機(jī)硬件與軟件資源的計(jì)算機(jī)程序。”進(jìn)行分詞，最終的結(jié)果為“操作系統(tǒng)＼是＼管理＼計(jì)算機(jī)硬件＼與＼軟件＼資源＼的＼計(jì)算機(jī)＼程序”。

2.3 向量空間

在向量空間模型中，文本以向量的形式進(jìn)行表示，通過把文本轉(zhuǎn)化為對(duì)向量空間的相似度運(yùn)算計(jì)算文本相似度。向量空間相似度的計(jì)算可以用內(nèi)積、夾角余弦、Jaccard相似度和Dice系數(shù)等方法來計(jì)算[7]。

本文采用夾角余弦方法計(jì)算文本相似度，當(dāng)向量間的夾角越接近于0°，即夾角余弦值越接近于1，表示兩個(gè)向量越相似，即文本間的相似程度越高。計(jì)算公式為：

在公式3中，其中[A]和[U]表示兩個(gè)向量，代表考生答案和標(biāo)準(zhǔn)答案，[Ai]和[Ui] 分別表示兩個(gè)向量中的各個(gè)元素。

2.4 相似度融合

在得到答案文本基于關(guān)鍵詞的匹配得分以及基于語義結(jié)構(gòu)的相似程度后，采用統(tǒng)計(jì)回歸的方法將兩個(gè)維度的相似度以最優(yōu)的權(quán)重融合為答案文本的最終綜合相似度。本文將關(guān)鍵詞匹配與語義相似度定義為自變量，將考生答案得分與題目滿分值定義為因變量，定義的主觀題評(píng)分公式為：

在公式4中，[S]為考生答案最終得分;[S0]為題目滿分值;[T]為關(guān)鍵詞匹配得分值;[SimilarityA，U]為考生答案與標(biāo)準(zhǔn)答案間的相似度;[α]和[β]分別為匹配關(guān)鍵詞和文本相似度的權(quán)重，滿足[α+β=1]，權(quán)重可以根據(jù)實(shí)際需求自行調(diào)整。

3 智能閱卷系統(tǒng)設(shè)計(jì)

本文中基于雙向匹配向量空間算法設(shè)計(jì)的智能閱卷系統(tǒng)框架主要包括三個(gè)重要模塊，分別為定義模塊、處理模塊和響應(yīng)模塊，如圖2所示。

定義模塊由試題內(nèi)容、試題分值、標(biāo)準(zhǔn)答案、權(quán)重分配和考生答案構(gòu)成，值得注意的是，在定義主觀題閱卷權(quán)重時(shí)，需要分別設(shè)置關(guān)鍵詞和相似度的權(quán)重，并保證兩者權(quán)重之和為1。主觀題設(shè)置界面如圖3所示。

處理模塊由中文分詞組件、關(guān)鍵詞抽取、關(guān)鍵詞雙向匹配和詞語相似度計(jì)算構(gòu)成，通過盤古分詞組件對(duì)中文語句進(jìn)行切詞，濾除與分詞無關(guān)的干擾項(xiàng)，通過雙向匹配和夾角余弦算法對(duì)關(guān)鍵詞匹配和文本相似度進(jìn)行計(jì)算。

在響應(yīng)模塊，通過對(duì)關(guān)鍵詞雙向匹配和文本相似度兩個(gè)維度的融合計(jì)算，量化并確定題目的最終得分。另外，系統(tǒng)中還加入了人工評(píng)閱的功能，對(duì)主觀題自動(dòng)評(píng)閱的得分進(jìn)行修正和完善，從而保證系統(tǒng)得分的準(zhǔn)確性。閱卷效果如圖4所示。

4 實(shí)驗(yàn)結(jié)果及分析

在完成基于雙向匹配向量空間算法設(shè)計(jì)的智能閱卷系統(tǒng)后，為了驗(yàn)證算法的可用性，選取了50名考生的試卷進(jìn)行測(cè)試，由于每份試卷有4道主觀類型的題目，在測(cè)試時(shí)，先利用中文分詞、關(guān)鍵詞匹配和夾角余弦相似度計(jì)算，進(jìn)行系統(tǒng)閱卷，然后再進(jìn)行人工閱卷，最后比較兩者的誤差率，測(cè)試結(jié)果如表1所示。其中，誤差率=|人工閱卷得分-系統(tǒng)閱卷得分|/滿分，誤差率越小表示系統(tǒng)閱卷結(jié)果可靠性越高。

另外，隨機(jī)選取其中第二題的閱卷記錄，利用折線圖的方式更加直觀的展示人工閱卷和系統(tǒng)閱卷之間的評(píng)分差異性，如圖5所示。

通過表1和圖5可以發(fā)現(xiàn)，雙向匹配向量空間算法指導(dǎo)下的系統(tǒng)閱卷雖然與人工閱卷在評(píng)分上不完全一致，但是誤差率基本控制在20%之內(nèi)，說明該算法的結(jié)果是比較合理的。

5 結(jié)束語

本文詳細(xì)分析了雙向匹配向量空間算法的具體應(yīng)用，在該算法中首先采用雙向匹配對(duì)關(guān)鍵詞的匹配程度進(jìn)行度量、再通過向量空間量化文本間的相似度，最后通過對(duì)兩個(gè)維度的相似度融合，計(jì)算出考生答案與主觀題答案最終貼近程度。經(jīng)過系統(tǒng)的仿真實(shí)驗(yàn)結(jié)果表明，雙向匹配向量空間算法指導(dǎo)下的自動(dòng)閱卷與人工閱卷之間的誤差率較小，在智能閱卷系統(tǒng)領(lǐng)域中具有良好的應(yīng)用前景和推廣價(jià)值。

參考文獻(xiàn)：

[1] 張帥.基于孿生神經(jīng)網(wǎng)絡(luò)的主觀題自動(dòng)閱卷評(píng)分技術(shù)[J].現(xiàn)代計(jì)算機(jī)，2020（5）：23-25.

[2] 李紀(jì)扣，韓建宇，王嫄.基于相似度融合算法的主觀題自動(dòng)閱卷機(jī)制[J].天津科技大學(xué)學(xué)報(bào)，2019，34（1）：76-80.

[3] 張翠翠，周國祥，俞磊，等.基于MVC的試卷生成及主觀題判卷算法研究[J].系統(tǒng)仿真學(xué)報(bào)，2020，32（1）：105-112.

[4] 陳賢武，劉道波.基于語句相似度的主觀試題自動(dòng)閱卷模型研究[J].武漢大學(xué)學(xué)報(bào)（工學(xué)版），2018，51（7）：654-658.

[5] 馮光，喬丹丹，常靜怡.基于分詞匹配的主觀題自動(dòng)評(píng)閱技術(shù)研究[J].計(jì)算機(jī)與現(xiàn)代化，2013（3）：212-214，219.

[6] 宋雪亞，王傳安.基于中文分詞的主觀題自動(dòng)評(píng)分算法研究[J].河北北方學(xué)院學(xué)報(bào)（自然科學(xué)版），2017，33（9）：7-11.

[7] 秦學(xué)勇.基于相似度計(jì)算的主觀題閱卷系統(tǒng)設(shè)計(jì)[J].安徽建筑工業(yè)學(xué)院學(xué)報(bào)（自然科學(xué)版），2010，18（4）：77-80.

【通聯(lián)編輯：謝媛媛】