季峰

摘? 要： 為了提高試題個(gè)性化推薦系統(tǒng)對(duì)語(yǔ)法試題推薦的有效性，定義了韓語(yǔ)語(yǔ)法點(diǎn)矩陣、得分模型、潛在學(xué)習(xí)特征向量等，建立了學(xué)習(xí)態(tài)勢(shì)算法，設(shè)計(jì)了試題智能推薦的整體框架。該系統(tǒng)以學(xué)習(xí)者的態(tài)勢(shì)計(jì)算為基礎(chǔ)，對(duì)學(xué)習(xí)者語(yǔ)法學(xué)習(xí)能力估算，再進(jìn)行試題推薦。通過(guò)兩組學(xué)習(xí)者對(duì)比，根據(jù)系統(tǒng)的平均使用時(shí)間、成績(jī)提高率、答卷正確率和試題推薦精準(zhǔn)率等指標(biāo)進(jìn)行評(píng)估，結(jié)果顯示，該推薦系統(tǒng)對(duì)學(xué)習(xí)者有顯著的助學(xué)效果。

關(guān)鍵詞： 試題; 推薦系統(tǒng); 語(yǔ)法; 學(xué)習(xí)態(tài)勢(shì); 框架

中圖分類號(hào)：TP399? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2021）12-10-04

Abstract： In order to improve the effectiveness of the personalized test question recommendation system for grammar test question recommendation， Korean grammar point matrix， score model and potential learning feature vector are defined， the learning situation algorithm is established， and the overall framework of test question intelligent recommendation is designed. On the basis of learners' situation calculation， the system estimates learners' grammar learning ability， and then recommends test questions. Through the comparison between the two groups of learners， the evaluation is carried out according to the indicators such as the average use time of the system， the improvement rate of scores， the correct rate of answers and the accuracy rate of test question recommendation. The results show that the recommendation system has a significant help learning effect on learners.

Key words： test question; recommendation system; grammar; learning situation; framework

0 引言

全球知識(shí)一體化的教育框架下出現(xiàn)了很多語(yǔ)言類教育的創(chuàng)新，努力構(gòu)建高沉浸感的語(yǔ)境，在語(yǔ)言類學(xué)習(xí)系統(tǒng)中，面對(duì)等級(jí)考試中的大量語(yǔ)法測(cè)試題，如何快速的提高語(yǔ)言水平，精準(zhǔn)練習(xí)和消除冗余訓(xùn)練成為焦點(diǎn)，如何打破眾多語(yǔ)言教育專家認(rèn)為語(yǔ)法學(xué)習(xí)中需要要反復(fù)練習(xí)的經(jīng)驗(yàn)思維，成為重要的課題，盡量減少練習(xí)周期掌握語(yǔ)法點(diǎn)顯得尤為重要。

1 相關(guān)工作

國(guó)內(nèi)外有不少團(tuán)隊(duì)致力于試題推薦領(lǐng)域的研究，王超等基于DINA模型提取個(gè)性化學(xué)習(xí)能力向量[1]，建立多維離散認(rèn)知模型，將試題推薦應(yīng)用在幾何學(xué)習(xí)中。趙泉通過(guò)計(jì)算知識(shí)點(diǎn)權(quán)重[2]結(jié)合課程需求建立推薦算法。朱天宇等基于協(xié)同過(guò)濾和認(rèn)知診斷的推薦方法[3]，引入個(gè)性化因子提高推薦精度。陳達(dá)基于內(nèi)容相似度的最近鄰方法[4]，分別建立了基于內(nèi)容和協(xié)同過(guò)濾的推薦系統(tǒng)。萬(wàn)永權(quán)等提出了基于反饋的自適應(yīng)試題推薦方法[5]，通過(guò)評(píng)價(jià)個(gè)體學(xué)習(xí)能力和試題特性，避免了試題屬性中的偏差。魏偉等提出了基于語(yǔ)義關(guān)聯(lián)規(guī)則的知識(shí)點(diǎn)標(biāo)注試題推薦方法[6]，在數(shù)學(xué)和歷史中性能表現(xiàn)良好。Fang L等通過(guò)計(jì)算查詢問(wèn)題與數(shù)據(jù)庫(kù)問(wèn)題之間的相似度[7]來(lái)推薦法結(jié)構(gòu)相似的試題，在基于Web的英語(yǔ)語(yǔ)法學(xué)習(xí)推薦系統(tǒng)中有很好的表現(xiàn)。Ince E Y基于學(xué)生行為構(gòu)建了自適應(yīng)試題推薦系統(tǒng)[8]，基于學(xué)習(xí)者的問(wèn)題系統(tǒng)創(chuàng)建出主題測(cè)試。Manna R等基于問(wèn)題過(guò)濾和相似度構(gòu)建了菜譜試題推薦系統(tǒng)[9]，研究拓展到學(xué)科類的問(wèn)答推薦系統(tǒng)中?；趦?nèi)容推薦和協(xié)同過(guò)濾[10]推薦在語(yǔ)言類領(lǐng)域存在不足，本研究對(duì)學(xué)習(xí)者的態(tài)勢(shì)進(jìn)行計(jì)算，結(jié)合潛在學(xué)習(xí)特征等因子進(jìn)行融合推薦，同時(shí)考慮個(gè)體對(duì)系統(tǒng)的喜愛(ài)程度和對(duì)語(yǔ)法點(diǎn)的掌握程度等因子，該系統(tǒng)在韓語(yǔ)語(yǔ)法學(xué)習(xí)中有明顯的有效性。

2 相關(guān)概念

2.1 定義

定義1 語(yǔ)法學(xué)習(xí)者是一個(gè)集合用gl表示，gl={gl1，gl2…gli…glm}。測(cè)試題T，T={t1，t2…tj…tn}。答卷為R，R=[rmn]m×n，rmn∈[0，30]，當(dāng)rmn等于0時(shí)，表示答錯(cuò)，當(dāng)rmn不小于0時(shí)，表示得分。定義得分率Prmn，Prmn=rmn/ri，ri為所選試題的總分值。

定義2 測(cè)試題與韓國(guó)語(yǔ)語(yǔ)法點(diǎn)的關(guān)聯(lián)矩陣定義為K，基于Topik考綱進(jìn)行標(biāo)注，K=[knk]n×k ，當(dāng)knk=0，表示k不是n的子集，當(dāng)knk=1，表示k是n的子集。

定義3 語(yǔ)法點(diǎn)得分分配用sk表示，定義ski=ri/Nk，Nk代表測(cè)試題中語(yǔ)法點(diǎn)數(shù)目，通過(guò)計(jì)算得到語(yǔ)法點(diǎn)的得分分配矩陣sk[ski]。

定義4 gli語(yǔ)法點(diǎn)吸收數(shù)量等級(jí)用kpl表示，設(shè)某語(yǔ)法點(diǎn)的測(cè)試得分為αi，αi值為sk與rmn相乘，再用100除以i得到權(quán)值，權(quán)值和αi相乘，kpl為多次語(yǔ)法知識(shí)點(diǎn)測(cè)試結(jié)果的累加。

定義5 語(yǔ)法學(xué)習(xí)者的態(tài)勢(shì)用gls表示，得分能力AQ，語(yǔ)法點(diǎn)試題的練習(xí)次數(shù)為NK，語(yǔ)法測(cè)試題完成的平均時(shí)間為AT，gls={AQ，NK，AT }，系統(tǒng)不區(qū)分正確題和錯(cuò)題。在i次測(cè)試中，AQ={Agl，1，Agl，n}，當(dāng)Agl，1=1時(shí)，表示gli對(duì)知識(shí)點(diǎn)1的得分能力，當(dāng)Agl，1=0時(shí)，代表gl對(duì)知識(shí)點(diǎn)1沒(méi)有得分能力。NK是關(guān)于同一語(yǔ)法點(diǎn)演練數(shù)的數(shù)組，Nsk=[Nski]。AT是gl語(yǔ)法測(cè)試時(shí)長(zhǎng)，At=（tt1+tt2+tt3+…+ttn）/n。

定義6 學(xué)習(xí)者的潛在學(xué)習(xí)特征向量Mgl，假設(shè)學(xué)習(xí)者gli對(duì)語(yǔ)法測(cè)試題tj未作答，那么計(jì)算出gli對(duì)tj的潛在作答系數(shù)?時(shí)，首先計(jì)算kpl/n，接著代入公式⑵得到?，當(dāng)?取1表示其對(duì)試題的潛在得分為真，?取0表示學(xué)習(xí)者對(duì)試題的潛在得分為假。

定義7 系統(tǒng)中的語(yǔ)法測(cè)試題包含一個(gè)或多個(gè)語(yǔ)法點(diǎn)，那么我們?cè)O(shè)測(cè)試題T中有n個(gè)語(yǔ)法點(diǎn)，第i題的分值為Fi，根據(jù)公式⑷，計(jì)算語(yǔ)法測(cè)試題與語(yǔ)法點(diǎn)的關(guān)系強(qiáng)度RS。

2.2 學(xué)習(xí)態(tài)勢(shì)計(jì)算

系統(tǒng)中的態(tài)勢(shì)計(jì)算，首先根據(jù)定義1構(gòu)建R=[rmn]m×n，再根據(jù)定義2描述關(guān)聯(lián)矩陣，設(shè)答錯(cuò)試題的概率st，表示學(xué)習(xí)者答錯(cuò)試題t的概率，gt表示kpl接近0時(shí)，表示未掌握知識(shí)點(diǎn)時(shí)答對(duì)試題t的概率。kpl漸近1時(shí)，代表已經(jīng)掌握此語(yǔ)法點(diǎn)。利用⑸計(jì)算學(xué)習(xí)態(tài)勢(shì)，同時(shí)考慮了多種形態(tài)，引入kpl、gls、Mgl等與學(xué)習(xí)者自身學(xué)習(xí)有很強(qiáng)關(guān)聯(lián)的因素。

通過(guò)學(xué)習(xí)態(tài)勢(shì)gls和潛在的學(xué)習(xí)特征向量的計(jì)算，得到kpl的概率，按照公式（6-7）算出學(xué)習(xí)個(gè)體的語(yǔ)法點(diǎn)的掌握技能度，也就是語(yǔ)法點(diǎn)學(xué)習(xí)者的學(xué)習(xí)能力。

將實(shí)際答卷和預(yù)測(cè)答卷ARglt作差，差的絕對(duì)值超過(guò)1，表示測(cè)試者完成的語(yǔ)法測(cè)試題和目標(biāo)語(yǔ)法點(diǎn)關(guān)聯(lián)強(qiáng)度弱，差的絕對(duì)值不大于1，表示測(cè)試答卷情況正常。根據(jù)gl的潛在作答系數(shù)?，得到潛在特征向量，推薦時(shí)避開(kāi)Topik中的冷試題和學(xué)習(xí)者偏好試題，答對(duì)試題Tj的概率作為試題Tj對(duì)于學(xué)習(xí)者的難度D。限定推薦語(yǔ)法測(cè)試題的難度區(qū)間[d1，d2]，難度系數(shù)根據(jù)學(xué)習(xí)者對(duì)應(yīng)Topik考試等級(jí)設(shè)定。

2.3 推薦框架

圖1中是韓國(guó)語(yǔ)語(yǔ)法試題推薦系統(tǒng)（Korean Grammar Question Recommendation System，KGQRS）的核心模塊，包括學(xué)習(xí)者測(cè)試題庫(kù)中記錄了試題的難度、試題和語(yǔ)法的關(guān)聯(lián)度等屬性，練習(xí)庫(kù)中包括學(xué)習(xí)者的個(gè)性化學(xué)習(xí)的態(tài)勢(shì)，包括得分能力、知識(shí)點(diǎn)的測(cè)試數(shù)目和平均測(cè)試時(shí)間等屬性?；跍y(cè)試題庫(kù)和練習(xí)庫(kù)確定學(xué)習(xí)者的知識(shí)點(diǎn)吸收能力、得分預(yù)測(cè)和難度等級(jí)等，配合通用設(shè)置中的難度等級(jí)等屬性，協(xié)同試題庫(kù)進(jìn)行合理的試題推薦。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)描述

推薦系統(tǒng)中包括韓國(guó)語(yǔ)等級(jí)考試TopikⅠ（TopikⅠ包括一級(jí)和二級(jí)，TopikⅡ包括三級(jí)至六級(jí)）98個(gè)語(yǔ)法點(diǎn)，每個(gè)語(yǔ)法映射例句15個(gè)，測(cè)試題基于例句對(duì)語(yǔ)法點(diǎn)進(jìn)行了留空處理，學(xué)習(xí)者通過(guò)例句演練后再進(jìn)行語(yǔ)法測(cè)試。甲乙兩組學(xué)習(xí)者來(lái)源于兩個(gè)韓語(yǔ)培訓(xùn)機(jī)構(gòu)，歷時(shí)六個(gè)月的學(xué)習(xí)，兩組人員母語(yǔ)為中文，韓語(yǔ)水平零基礎(chǔ)，其中甲組來(lái)自同一機(jī)構(gòu)的21名學(xué)生，全程參與系統(tǒng)測(cè)試和數(shù)據(jù)收集。乙組的30人來(lái)自另一個(gè)機(jī)構(gòu)，只在第二階段的學(xué)習(xí)中使用系統(tǒng)。數(shù)據(jù)集中還包括兩組人者的年齡、學(xué)歷、KGQRS的使用時(shí)間、考核成績(jī)等。

3.2 評(píng)價(jià)指標(biāo)

學(xué)習(xí)者使用系統(tǒng)的平均時(shí)間用AUT表示。為確保實(shí)驗(yàn)數(shù)據(jù)的客觀性，教師面授時(shí)系統(tǒng)的基礎(chǔ)使用時(shí)長(zhǎng)為5分鐘，甲組全程參與系統(tǒng)，乙組在第二階段使用系統(tǒng)，通過(guò)后臺(tái)數(shù)據(jù)計(jì)算出學(xué)習(xí)者的單獨(dú)使用本系統(tǒng)的平均時(shí)間，用式子⑻計(jì)算。

成績(jī)提高率用SIR表示，兩個(gè)階段中有三次測(cè)評(píng)，設(shè)一個(gè)月為一個(gè)測(cè)試周期，設(shè)Ti為第i次的測(cè)試得分，則第i+1次測(cè)驗(yàn)得分對(duì)第i次來(lái)說(shuō)的提高率為SIR。當(dāng)SIR<0時(shí)，表示成績(jī)下降，當(dāng)SIR>0時(shí)，表示成績(jī)上升，用式子⑼計(jì)算。

答卷正確率用CRA表示，反應(yīng)知識(shí)點(diǎn)的掌握情況和試題難度，對(duì)于個(gè)體學(xué)習(xí)而言，答卷正確率隨著學(xué)習(xí)者的kpl和gls的提高跟著綜合提高，得分率表現(xiàn)出偏差過(guò)大，說(shuō)明試題中所涉及的語(yǔ)法點(diǎn)難度等級(jí)高或者試題難度偏高，文中針對(duì)知識(shí)點(diǎn)定義答對(duì)Tright，總分Ttotal， 則CRA=Tright/Ttotal，Tright和Ttotal都是按照測(cè)試的人次來(lái)計(jì)算。

試題推薦精準(zhǔn)率用RA表示，我們定義測(cè)試時(shí)間為保證學(xué)習(xí)者可以完成答題的時(shí)間，且學(xué)習(xí)者的kpl不為null，那么答對(duì)的試題記錄的數(shù)目為TAn，未答的試題記錄數(shù)目為Tun，則精準(zhǔn)率RA=TAn/ （TAn+Tun）。

3.3 結(jié)果分析

實(shí)驗(yàn)數(shù)據(jù)分為兩個(gè)階段。第一階段中甲組使用KGQRS，乙組不使用。第二階段中甲乙量組均使用KGQRS。兩組使用的學(xué)習(xí)材料、內(nèi)容和進(jìn)度都是一致的。

圖2中曲線為甲組兩階段中使用系統(tǒng)的月平均時(shí)間，基于公式⑻，得到第一階段為17.93小時(shí)，第二階段為20.22小時(shí)，提高了12.8%，在線時(shí)長(zhǎng)是評(píng)價(jià)用戶粘性的重要指標(biāo)，結(jié)果顯示學(xué)習(xí)者對(duì)KGQRS有依賴性，也是學(xué)習(xí)者利用系統(tǒng)表現(xiàn)出的積極性，它是系統(tǒng)有效性檢測(cè)指標(biāo)之一。乙組在第二階段中的月平均使用時(shí)長(zhǎng)為21.40小時(shí)，超過(guò)了同階段甲組時(shí)間，原因是第一階段乙組沒(méi)有使用系統(tǒng)，二階段中激起了使用系統(tǒng)的積極性。從兩組的月平均使用時(shí)間可以說(shuō)明KGQRS對(duì)學(xué)習(xí)者是有明顯正向推動(dòng)作用的。

圖3中的T1—T6分別代表了甲組21位成員在一二階段的六次測(cè)試結(jié)果，從曲線分布來(lái)看，分?jǐn)?shù)的絕對(duì)差值不大且趨向平穩(wěn)，第一階段平均成績(jī)?yōu)?6.24，第二階段平均成績(jī)?yōu)?9.89，第二階段提高了4.23%的原因?yàn)閷W(xué)習(xí)者對(duì)KGQRS的適應(yīng)程度和對(duì)韓國(guó)語(yǔ)語(yǔ)法學(xué)習(xí)的適應(yīng)性的提高，說(shuō)明系統(tǒng)能激發(fā)了學(xué)習(xí)者的興趣，促進(jìn)成績(jī)穩(wěn)步提升。

圖4中的T1-T6分別代表乙組30位成員在一二階段的六次測(cè)試的成績(jī)，六條曲線顯示，第二階段中使用了KGQRS，成績(jī)得到了明顯的提高。第一階段乙組的平均成績(jī)?yōu)?1.51，第二階段乙組平均成績(jī)?yōu)?4.75，SIR為18.5%，說(shuō)明KGQRS對(duì)學(xué)習(xí)者在語(yǔ)法學(xué)習(xí)時(shí)的有效性。甲組平均成績(jī)比乙組高出20.6%，說(shuō)明使用系統(tǒng)的有效性。

答卷正確率的評(píng)估以98個(gè)語(yǔ)法點(diǎn)為主線，計(jì)算每道題的CRA，CRA<70%的有43題，定義為較難題，例如“??、 ??、 ??、 ??”等詞在不同情境下的變形題。CRA>95%的有49題，定義為簡(jiǎn)單題，例如“???、???、??、???”等詞語(yǔ)的語(yǔ)法正確應(yīng)用。以上兩類題占整個(gè)語(yǔ)法題庫(kù)的6.3%處在合理的范圍內(nèi)，從答卷的正確率來(lái)看，系統(tǒng)推薦符合學(xué)習(xí)者的學(xué)習(xí)目標(biāo)和要求。

試題推薦精準(zhǔn)率通過(guò)RA=TAn /（TAn+Tun）計(jì)算，RA在5%以內(nèi)的37題，占題庫(kù)的2.51%，說(shuō)明這類試題推薦誤差較大，總體推薦精準(zhǔn)率達(dá)到97.49%，說(shuō)明系統(tǒng)推薦精準(zhǔn)率很高。

4 結(jié)論

本研究基于語(yǔ)法點(diǎn)矩陣、得分模型、潛在學(xué)習(xí)向量和學(xué)習(xí)態(tài)勢(shì)構(gòu)建KGQRS。從兩組實(shí)驗(yàn)來(lái)看，系統(tǒng)的推薦是有效的，下一步將深入健全評(píng)估指標(biāo)，結(jié)合學(xué)習(xí)者屬性進(jìn)行態(tài)勢(shì)分析，例如學(xué)歷背景、年齡和學(xué)習(xí)動(dòng)機(jī)等因素，需進(jìn)一步擴(kuò)大實(shí)驗(yàn)樣本數(shù)和周期，更客觀的對(duì)系統(tǒng)做效用評(píng)價(jià)，將系統(tǒng)調(diào)整到最佳狀態(tài)。

參考文獻(xiàn)（References）：

[1] 王超，劉淇，陳恩紅.面向大規(guī)模認(rèn)知診斷的DINA模型快速計(jì)算方法研究[J].電子學(xué)報(bào)，2018.423（5）：26-34

[2] 趙泉.大數(shù)據(jù)背景下的智能課程推薦系統(tǒng)研究[J].信息與電腦（理論版），2019.427（9）：107-109，112

[3] 朱天宇，黃振亞，陳恩紅.基于認(rèn)知診斷的個(gè)性化試題推薦方法[J].計(jì)算機(jī)學(xué)報(bào)，2017.1：178-193

[4] 陳達(dá).基于深度學(xué)習(xí)的推薦系統(tǒng)研究[D].北京郵電大學(xué)，2015.

[5] 萬(wàn)永權(quán)，燕彩蓉，朱明等.反饋式個(gè)性化試題推薦方法[J].計(jì)算機(jī)應(yīng)用與軟件，2018.35（7）：81-84，90

[6] 魏偉，郭崇慧，邢小宇.基于語(yǔ)義關(guān)聯(lián)規(guī)則的試題知識(shí)點(diǎn)標(biāo)注及試題推薦[J].現(xiàn)代圖書(shū)情報(bào)技術(shù)，2020.4（2）：182-191

[7] Fang L， Tuan L A， Hui S C，et al. Personalized questionrecommendation for English grammar learning[J].Expert Systems，2018：e12244.1-e12244.15

[8] Ince E Y.Adaptive Question Recommendation System Based on Student Achievement[J]. International Journal of Trend In Scientific Research and Development，2019.1（4）：1034-1037

[9] Manna R， Das D，Gelbukh A.Question-Answering and Recommendation System on Cooking Recipes[J]. Computaciony Sistemas，2021.25（1）：896-902

[10] 蔣昌猛.基于知識(shí)點(diǎn)的個(gè)性化習(xí)題推薦研究[D]. 西北大學(xué)，2017.