(1.泉州師范學院 數(shù)學與計算機科學學院,福建 泉州 362000;2.福建省大數(shù)據(jù)管理新技術(shù)與知識工程重點實驗室,福建 泉州 362000;3.智能計算與信息處理福建省高等學校重點實驗室,福建 泉州 362000)

0 引言

現(xiàn)有教學系統(tǒng)提供的教學資源、練習或作業(yè)幾乎都是靜態(tài)的,所有的學習者下載同樣的教學資源,完成同樣的練習及作業(yè),教學系統(tǒng)無法對不同學生的學習情況及知識掌握情況做出區(qū)分.但教學系統(tǒng)中也存在著大量的學習者學習行為,如點擊行為、瀏覽行為,還包括作業(yè)、練習、考試等完成情況.此外,部分智能教學系統(tǒng)甚至可以記錄詳細的學生解題過程行為,在這樣具有海量行為日志的環(huán)境中,新型的智能教學系統(tǒng)應能自動識別出學習者的學習特點及學習傾向,跟蹤學習者的學習情況,對學習者的知識點掌握程度進行實時評估,從而能夠調(diào)整學習者的學習策略,向?qū)W習者推送薄弱知識點的教學資源、例題、作業(yè)及練習等,甚至是制訂個性化學習路徑.因此,根據(jù)學生的解題過程對其學習行為進行預測及評估就顯得尤為重要.但在對學生解題過程行為進行分析時,首先題目之間具有較為復雜的相互關(guān)系;其次,對于同一類題目,不同的學習者可能使用不同的知識點并采用不同的方法來解答,再加上不同學習者對所使用知識點的掌握情況不同,這樣就構(gòu)成了一個具有高度不確定性的復雜系統(tǒng).在這樣的一個復雜系統(tǒng)中,必須采用一種能有效開展復雜系統(tǒng)分析的新方法,而貝葉斯網(wǎng)絡作為人工智能領(lǐng)域中不確定知識表達與推理的方法之一,在故障診斷[1，2]、態(tài)勢估計[3，4]、醫(yī)學診斷[5]、風險評估[6]、目標識別[7]、推薦系統(tǒng)[8]等領(lǐng)域均得到了廣泛應用.利用貝葉斯網(wǎng)絡來評估及預測學習者的解題過程行為具有以下幾個優(yōu)點:首先,可以通過樣本數(shù)據(jù)學習來構(gòu)建貝葉斯網(wǎng)絡結(jié)構(gòu),避免了主觀性;其次,能通過貝葉斯網(wǎng)絡的網(wǎng)絡結(jié)構(gòu)清晰地表達解題過程之間的因果關(guān)系;最后,貝葉斯網(wǎng)絡具有學習能力,可以根據(jù)學習者的解題情況高效地更新網(wǎng)絡中的概率信息,實現(xiàn)對實習者學習情況的實時跟蹤.因此,本文采用貝葉斯網(wǎng)絡方法,首先根據(jù)己有的學習者解題過程行為為每一類題目構(gòu)建貝葉斯網(wǎng)絡,在此基礎(chǔ)上,將具有關(guān)聯(lián)關(guān)系的貝葉斯網(wǎng)絡合并,構(gòu)建鏈式貝葉斯網(wǎng)絡,旨在對學習者的學習行為進行評估及預測.

1 貝葉斯網(wǎng)絡

貝葉斯網(wǎng)絡是一組隨機變量u={X1,X2,…,Xn}上概率分布的圖形表示[9],它由兩部分構(gòu)成:

1)有向無環(huán)圖(Directed Acyclic Graph,DAG),即貝葉斯網(wǎng)絡結(jié)構(gòu),圖的節(jié)點對應了隨機變量,而連接節(jié)點的有向邊則表示父節(jié)點對子節(jié)點的直接影響;

2)每個節(jié)點都關(guān)聯(lián)著一個條件概率分布(conditional probability distribution,CPD),這可以表示該節(jié)點與其所有父節(jié)點之間的相互關(guān)系.假若該節(jié)點沒有父節(jié)點,則條件概率分布轉(zhuǎn)化為邊緣分布.所有節(jié)點的條件概率分布可以用P(Xi|Pai(Xi))來表示,其中Pai(Xi)表示有向無環(huán)圖中結(jié)點Xi的父結(jié)點集合.因此,X的聯(lián)合概率分布可以表示為:

貝葉斯網(wǎng)絡學習包括結(jié)構(gòu)學習和參數(shù)學習,結(jié)構(gòu)學習是指網(wǎng)絡結(jié)構(gòu)的構(gòu)建,而參數(shù)學習是指在網(wǎng)絡結(jié)構(gòu)己知的情況下,計算出每個節(jié)點的條件概率表.無論是結(jié)構(gòu)學習和參數(shù)學習均可以采用基于專家經(jīng)驗的學習方法和基于數(shù)據(jù)的學習方法.基于專家經(jīng)驗的網(wǎng)絡結(jié)構(gòu)學習和參數(shù)學習分別是指專家根據(jù)先驗知識中的因果關(guān)系來確定貝葉斯網(wǎng)絡結(jié)構(gòu)及每個節(jié)點的條件概率.然而,在對復雜系統(tǒng)進行分析時,單純利用專家經(jīng)驗構(gòu)建貝葉斯網(wǎng)絡模型存在著工作量大、結(jié)果帶有專家主觀傾向等缺點,因此現(xiàn)多采用基于數(shù)據(jù)的學習方法.基于數(shù)據(jù)的學習是指從己有的客觀觀測數(shù)據(jù)中學習出貝葉斯網(wǎng)絡,這同樣包括網(wǎng)絡結(jié)構(gòu)學習和參數(shù)學習.基于數(shù)據(jù)的貝葉斯網(wǎng)絡結(jié)構(gòu)學習是指通過分析數(shù)據(jù)找到和樣本數(shù)據(jù)集匹配度最好的貝葉斯網(wǎng)絡結(jié)構(gòu).而基于數(shù)據(jù)的參數(shù)學習是指網(wǎng)絡結(jié)構(gòu)己知時,給定樣本數(shù)據(jù)集,通過學習樣本來計算出每個節(jié)點的概率分布表,從而確定網(wǎng)絡參數(shù).

2 基于貝葉斯網(wǎng)絡的學習者學習行為評估模型的建立

本文主要研究學習者對數(shù)學方程求解的貝葉斯網(wǎng)絡構(gòu)建.數(shù)學方程求解具有若干基本方法,如去分母、去括號、移項、合并項、化系數(shù)等.雖然不同的學習者面對同一形式數(shù)學方程時可能采用不同的求解方法,但是在解法有限的情況下貝葉斯網(wǎng)絡的網(wǎng)絡結(jié)構(gòu)和參數(shù)學習是可以根據(jù)專家知識來完成的.但在參數(shù)學習方面就需要專家具有豐富的教學經(jīng)驗,并且還需要對全體學習者的知識點掌握情況有充分了解.然而,采用基于專家經(jīng)驗的參數(shù)學習存在以下兩個缺點:1)隨著學習的持續(xù)進行,學習者的知識點掌握情況會發(fā)生變化,這就需要專家根據(jù)學習者學習情況的變化對貝葉斯網(wǎng)絡參數(shù)進行實時調(diào)整;2)隨著樣本量的持續(xù)增加,可能存在一些專家主觀未能注意到的關(guān)系或情況.基于以上兩點考慮,假若采用基于專家經(jīng)驗的方法來構(gòu)建貝葉斯網(wǎng)絡及參數(shù)學習則需要很大的工作量,且構(gòu)建出來的貝葉斯網(wǎng)絡可能帶有專家的主觀傾向性,甚至可能會遺漏到一些專家沒能注意到的情況.因此本文采用基于數(shù)據(jù)的方法來構(gòu)建貝葉斯網(wǎng)絡并進行參數(shù)學習.本文主要關(guān)注根據(jù)學習者的解題過程來預測后續(xù)解題行為,首先根據(jù)學習者的解題過程來構(gòu)建貝葉斯網(wǎng)絡,然后為網(wǎng)絡中的每個節(jié)點計算條件概率表.

假設(shè)己有解題日志如下,共包含2個學生的對同一類題目P1的解題過程,表格中編號的第1位數(shù)表示學生編號,第二位數(shù)表示該生解題過程的步驟編號.第一個步驟為要解的數(shù)學方程,后續(xù)幾行是學生的解題過程,過程中的若干步驟根據(jù)學生的解題方法對應了一個知識點.采用如下步驟構(gòu)建貝葉斯網(wǎng)絡:

1)如下表所示,對于P1類型的題目,教學系統(tǒng)會生成不同的常數(shù)、系數(shù)及方程變量名,因此首先應該對步驟中的方程進行規(guī)范,規(guī)范后的步驟如表中第3列所示.

2)對比表1中的兩組解題步驟,前3步兩位學習者應用了同樣的知識點來解題.但是,從第4步開始,編號為2的學習者應用了與編號為1的學習者不同的知識點來解題,因而產(chǎn)生了兩組不一樣解題過程.而且,觀察編號1.5和2.5的規(guī)范步驟,兩個規(guī)范步驟中的方程是一樣的,但是兩位學習者面對同樣的方程應用的知識點卻不一樣.因此要構(gòu)建的貝葉斯網(wǎng)絡中的節(jié)點信息不應該只包含規(guī)范步驟信息,還應該包含學生所應用的知識點.根據(jù)表1信息所構(gòu)建的貝葉斯網(wǎng)絡如圖1所示.

表1 2個學習者對P1類方程的解題步驟

圖1 單一題目的貝葉斯網(wǎng)絡結(jié)構(gòu)

網(wǎng)絡中共有9個節(jié)點,分別標記為1～9.節(jié)點信息包含有規(guī)范好的步驟及學習者解當前方程所應用到的知識點,其中節(jié)點6和9只是計算,并沒有關(guān)聯(lián)到系統(tǒng)中預設(shè)的知識點.根據(jù)表1,編號為1的學生采用的解題過程為:1，2，3，4，5，6,編號為2的學生采用的解題過程為:1，2，3，7，8，6，9.

接下來,從文中所使用數(shù)據(jù)集中提取出采用了同樣兩種解題方法的34組解題過程對如上圖貝葉斯網(wǎng)絡進行參數(shù)學習,可得到以下條件概率參數(shù)表,其中1表示正確,0表示錯誤,-1表示不使用該節(jié)點.

表2 條件概率參數(shù)表

節(jié)點2節(jié)點1 不使用正確錯誤 正確00.560 錯誤00.440

節(jié)點3節(jié)點2 不使用正確錯誤 正確010.93 錯誤000.07 不使用000

節(jié)點4節(jié)點3 不使用正確錯誤 正確00.580 錯誤00.060 不使用00.361

節(jié)點5節(jié)點4 不使用正確錯誤 正確011 錯誤000 不使用100

節(jié)點7節(jié)點3不使用正確錯誤 正確00.331 錯誤00.030 不使用00.630

節(jié)點7節(jié)點3不使用正確錯誤 正確00.831 錯誤00.160 不使用100

節(jié)點9節(jié)點6不使用正確錯誤 正確00.551 錯誤000 不使用00.450

節(jié)點5節(jié)點8節(jié)點6不使用正確錯誤 不使用正確00.910.09 不使用錯誤010 不使用不使用00.50.5 正確正確00.50.5 正確錯誤00.50.5 正確不使用010 錯誤正確000 錯誤錯誤000 錯誤不使用000

例1:假設(shè)己知有學習者解題過程如下:1(正確)->2(正確)->3(正確)->7(正確),現(xiàn)要預測節(jié)點8的狀態(tài),采用條件概率表計算后,節(jié)點8不使用、錯誤、正確的概率分別為0、0.17、0.83,因此本例中貝葉斯網(wǎng)絡的預測結(jié)果為正確.

例2:假設(shè)己知有學習者解題過程如下:1(正確)->2(正確)->3(正確)->4(正確)->5(正確),現(xiàn)要預測節(jié)點8的狀態(tài),但節(jié)點7狀態(tài)未知,采用條件概率表計算后,節(jié)點8不使用、錯誤、正確的概率分別為0.64、0.06、0.3.因此本例中貝葉斯網(wǎng)絡的預測結(jié)果為不使用.從圖1可知,該生解題過程采用的是左側(cè)路徑,與節(jié)點8無因果關(guān)系,這與貝葉斯網(wǎng)絡的預測結(jié)果一致.

然而,以上方法存在的缺點是對于每一個題目只提取出該題目下所有解題過程來訓練一個貝葉斯網(wǎng)絡.此外,在實際教學過程中數(shù)學方程題目的復雜度是隨著教學過程的深入而逐漸遞增的,再復雜的數(shù)學方程終會被變形或化簡到簡單的形式.如表1中方程ax+bx+c=d經(jīng)過若干解題步驟后終會被化簡為ax=b的形式.另外,如前所述,對于同一類題目,不同學習者可能采用不同的方法來解答,大部分學習者可能采用常規(guī)方法來解方程,但小部分學習者可能采用特殊的方法解答并且也能得到正確的結(jié)果,在這樣的情況下,采用特殊方法的所構(gòu)成的路徑會由于訓練數(shù)據(jù)偏少而導致對應節(jié)點上的條件概率非常小.基于以上考慮,如果根據(jù)以上方法來構(gòu)建貝葉斯網(wǎng)絡,學習者可能會因為采用了特殊的解題方法而導致預測正確率下降.因此本文提出第二種方法,即鏈式貝葉斯網(wǎng)絡模型,以題目為單位,先為簡單形式的題目構(gòu)建貝葉斯網(wǎng)絡,對于復雜形式的題目進行貝葉斯網(wǎng)絡構(gòu)建時,依次檢測新節(jié)點方程是否已經(jīng)對應有貝葉斯網(wǎng)絡,如果已有,則不再將新節(jié)點添加到貝葉斯網(wǎng)絡中,而是直接指向己有的貝葉斯網(wǎng)絡.例如,為一般形式為ax+bx+c=d的題目構(gòu)建貝葉斯網(wǎng)絡時,假若學習者已經(jīng)經(jīng)過若干步驟化簡到ax=b形式,不再繼續(xù)為該網(wǎng)絡繼續(xù)構(gòu)建后續(xù)路徑,而是直接采用己有的一般形式為ax=b的題目的貝葉斯網(wǎng)絡進行預測.

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

實驗所采用的是KDD Cup 2010所提供的智能教學輔導系統(tǒng)2005-2006年的學生交互記錄日志.該數(shù)據(jù)集記錄了學生在系統(tǒng)中解答題目的過程行為日志信息.系統(tǒng)中的題目主要是解數(shù)學方程,題目按單元及章節(jié)的結(jié)構(gòu)進行劃分,每個題目均隸屬于某單元下的某章節(jié).學生在系統(tǒng)中選擇性的答題,即并非每個學生都會解答所有題目.系統(tǒng)將學生方程求解過程中的每一次解方程操作(如移項、合并同類項、系數(shù)化等)或其他系統(tǒng)操作記錄為一條日志記錄,每條日志記錄包含有學生編號、題目、當前方程、學生解當前方程所使用的知識點、是否正確、題目從屬結(jié)構(gòu)、題目查看次數(shù)、步驟開始時間、正確事務持續(xù)時間、錯誤事務持續(xù)時間、步驟結(jié)束時間、正確次數(shù)、錯誤次數(shù)、查看提示次數(shù)等19個特征.

3.2 實驗過程及結(jié)果分析

本文提取數(shù)據(jù)集中包含了規(guī)范化步驟為ax+bx+c=d的所有解題過程,并且僅研究每組解題過程中規(guī)范化步驟為ax+bx+c=d及之后的所有解題過程.由于數(shù)據(jù)集中還包含了非解方程的系統(tǒng)操作記錄,去掉這些與解方程無關(guān)的系統(tǒng)操作記錄、部分解題組數(shù)過少的解題過程后,涉及到的題目包括EG46，EG46A，EG47，EG47A等,合計共18 494條解題記錄,其中包含3213組解題過程.根據(jù)每個題目的組數(shù),分別隨機提取其中20%作為測試集,80%作為訓練集.其中測試集以每組解題過程的最后一條記錄為測試對象,由于并非每個測試對象的規(guī)范化步驟和知識點所構(gòu)成的結(jié)點都存在于貝葉斯網(wǎng)絡中,因此需要把這些解題過程去掉,得到最終的測試集為535組.

表3 兩種方法的實驗結(jié)果

如表1所示,實驗數(shù)據(jù)集中每條日志記錄中包含有當前解題步驟的方程,其中的變量名、系數(shù)和常數(shù)均由系統(tǒng)隨機生成,因此首先需要對數(shù)據(jù)集中每條日志記錄中的方程進行規(guī)范;接著采用本文第3小節(jié)中的方法,對于每一個題目,根據(jù)訓練集中每個學生的解題過程進行貝葉斯網(wǎng)絡結(jié)構(gòu)的構(gòu)建;第三,根據(jù)學生的解題步驟的三種狀態(tài):正確、錯誤及不使用構(gòu)建參數(shù)學習數(shù)據(jù)集,接著采用最大似然估計法為已經(jīng)構(gòu)建好的貝葉斯網(wǎng)絡進行參數(shù)學習,得出最終的條件概率表;最后,對測試集中每組學生解題過程的最后一條記錄采用貝葉斯網(wǎng)絡進行預測.在以上實驗過程中還需要注意以下問題:在網(wǎng)絡結(jié)構(gòu)構(gòu)建過程中會遇到小部分學生解題未完成時發(fā)現(xiàn)做錯,在同一次解答過程中產(chǎn)生多次返回重做的路徑,這會在網(wǎng)絡構(gòu)建過程中產(chǎn)生環(huán)路.對于這樣的情況,需要對每組解題路徑進行檢測并刪除掉會產(chǎn)生環(huán)路的路徑

接下來采用兩種方法分別進行實驗.首先采用單一題目貝葉斯網(wǎng)絡(S-BN)的方法,對于每個題目均構(gòu)建一個貝葉斯網(wǎng)絡,只采用該題目的訓練集進行訓練,再使用該題目的測試集進行測試;其次,采用鏈式貝葉斯網(wǎng)絡(L-BN)的方法,由于數(shù)據(jù)集中EG53A題目對應的方程即為ax+bx+c=d形式,因此僅采用EG53A的訓練集構(gòu)建并訓練出一個貝葉斯網(wǎng)絡,再使用上述同樣的所有題目的測試集進行測試,對于每個題目采用兩種方法分別得到的正確率如表3所示.

從實驗結(jié)果來看,除了作為L-BN訓練集的題目EG53A及記錄數(shù)太少的題目EG60上正確率相等以外,在其余題目上,L-BN所得到的正確率均優(yōu)于S-BN.首先觀察S-BN的實驗結(jié)果,正確率波動較大,主要分布在55%～100%之間.部分題目正確率較高的原因是絕大部分學生都選用了同樣的方法來解題,這使得訓練數(shù)據(jù)解法較為單一,因此能得到較高的正確率.而部分題目正確率明顯偏低的原因正如前所述,同一題目有多種解法,在這些題目上所有學生并沒有采用較為單一的解法,而是分散使用了多種不同的解法,這導致了小部分解法的訓練數(shù)據(jù)偏少,因此導致計算出來的正確率下降.而L-BN只采用EG53A題目的解題記錄作為訓練集,相當于對于訓練數(shù)據(jù)偏少的部分解法加入足夠多的訓練數(shù)據(jù),因此大部分題目上得到的正確率均有明顯提升.此外,從訓練集情況來看,S-BN的訓練數(shù)據(jù)總和有一萬余條,且為每個題目都訓練了獨立的貝葉斯網(wǎng)絡,而L-BN的訓練數(shù)據(jù)只有2 030條,只訓練了一個貝葉斯網(wǎng)絡,卻幾乎在所有題目上都得到了優(yōu)于S-BN的正確率.這不僅解決了部分解題方法訓練數(shù)據(jù)過少導致正確率低下的問題,而且明顯減少了網(wǎng)絡結(jié)構(gòu)構(gòu)建時間和參數(shù)學習的訓練時間.

4 結(jié)束語

本文主要對教學系統(tǒng)上的學生解數(shù)學方程的過程行為進行評估及預測,首先提出基于單一題目的貝葉斯網(wǎng)絡模型,分析了該方法存在的不足之處,并在此基礎(chǔ)上,提出鏈式的貝葉斯網(wǎng)絡模型,最后通過實驗驗證兩種方法的有效性.實驗表明,比起單一題目的貝葉斯網(wǎng)絡,鏈式貝葉斯網(wǎng)絡在網(wǎng)絡構(gòu)建時間、訓練時間及正確率方面都有顯著性的提升.