郎 波，樊一娜

(北京師范大學(xué)珠海分校，廣東 珠海 519087)

0 引 言

隨著信息技術(shù)的發(fā)展，結(jié)合大數(shù)據(jù)和人工智能技術(shù)，在線學(xué)習(xí)方式成為一種越來越重要的學(xué)習(xí)方式，這種學(xué)習(xí)方式由于不受時(shí)間、地點(diǎn)的限制，并且為教師和學(xué)生提供了更多靈活的互動(dòng)方式。在《國家中長(zhǎng)期改革和發(fā)展規(guī)劃綱要(2010-2020年)》和《教育信息化十年發(fā)展規(guī)劃(2011-2020)年》中都對(duì)學(xué)習(xí)的個(gè)性化和教學(xué)的多樣化提出了要求。與傳統(tǒng)的教學(xué)方式相比，新型的在線學(xué)習(xí)方式有利于學(xué)習(xí)者綜合各個(gè)孤立的知識(shí)點(diǎn)，從而形成完整的知識(shí)網(wǎng)絡(luò)。這種學(xué)習(xí)方式重點(diǎn)突出了學(xué)習(xí)者的個(gè)性特點(diǎn)，例如，學(xué)習(xí)者在初期學(xué)習(xí)的時(shí)候?qū)W(xué)習(xí)時(shí)間、學(xué)習(xí)內(nèi)容、學(xué)習(xí)類型和與老師的交流方式有著明顯清晰的需求，隨著學(xué)習(xí)的深入，學(xué)習(xí)者也需要對(duì)自己學(xué)習(xí)之后能力水平的評(píng)估，學(xué)習(xí)前和學(xué)習(xí)后的差距，后續(xù)相關(guān)知識(shí)的跟蹤學(xué)習(xí)等方面也慢慢產(chǎn)生出了自己的需求，但是這種需求是比較模糊，難以量化的[1]。個(gè)性化學(xué)習(xí)雖能簡(jiǎn)化學(xué)習(xí)者的成本和運(yùn)作方式，但對(duì)個(gè)性化學(xué)習(xí)教學(xué)效果評(píng)價(jià)目前卻缺少合適的手段[2]，尤其是個(gè)性化學(xué)習(xí)所表現(xiàn)出來的一些獨(dú)有特征，例如：開始學(xué)習(xí)前學(xué)習(xí)者對(duì)自己具有的知識(shí)結(jié)構(gòu)和范圍的認(rèn)知，通過一段時(shí)間學(xué)習(xí)后應(yīng)該需要彌補(bǔ)的知識(shí)盲點(diǎn)、學(xué)習(xí)結(jié)束后學(xué)習(xí)能力的提升及偏好等。如果對(duì)這些個(gè)性化學(xué)習(xí)的特征把握不準(zhǔn)，那么就很難實(shí)現(xiàn)真正意義上的因材施教。此外，如果用傳統(tǒng)的人工力量去分析每一個(gè)學(xué)習(xí)者的活動(dòng)，則無法面對(duì)學(xué)習(xí)平臺(tái)上每時(shí)每刻產(chǎn)生的浩如煙海的數(shù)據(jù)。而利用信息化手段，由機(jī)器來分析用戶學(xué)習(xí)行為產(chǎn)生的大數(shù)據(jù)，保留關(guān)鍵有效特征，從而產(chǎn)生完整而準(zhǔn)確的個(gè)性化評(píng)價(jià)。

針對(duì)這一核心問題，不少研究人員從各個(gè)方面進(jìn)行了深入研究。例如，針對(duì)學(xué)習(xí)平臺(tái)上產(chǎn)生的海量大數(shù)據(jù)，文獻(xiàn)[3-4]利用Hadoop技術(shù)進(jìn)行海量學(xué)習(xí)數(shù)據(jù)的匯聚、存儲(chǔ)和獲??；文獻(xiàn)[5]通過記錄學(xué)習(xí)者在線學(xué)習(xí)的行為、記錄、習(xí)慣偏好等活動(dòng)，形成多維的立體戶數(shù)據(jù)模型來量化個(gè)性化學(xué)習(xí)過程中學(xué)習(xí)者的行為模式，從而提供有針對(duì)性的個(gè)性化服務(wù)；文獻(xiàn)[6]利用梯度下降的方法對(duì)數(shù)據(jù)進(jìn)行綜合，得到相關(guān)數(shù)據(jù)模型進(jìn)行學(xué)動(dòng)評(píng)估；文獻(xiàn)[7]提出了在智能導(dǎo)學(xué)環(huán)境下個(gè)性化學(xué)習(xí)模型的建立及其應(yīng)用效能的評(píng)價(jià)的方法；文獻(xiàn)[8]設(shè)計(jì)了基于數(shù)字化學(xué)習(xí)環(huán)境下的學(xué)習(xí)者數(shù)據(jù)肖像模型，并在此基礎(chǔ)上對(duì)個(gè)性化學(xué)習(xí)的內(nèi)涵和特征進(jìn)行分析；文獻(xiàn)[9]分析了在線學(xué)習(xí)路徑和資源對(duì)學(xué)習(xí)者使用在線系統(tǒng)的影響，提出學(xué)習(xí)者的能力層次對(duì)在線系統(tǒng)使用的影響是比較顯著的。無論哪種方法，評(píng)價(jià)的核心在于對(duì)學(xué)習(xí)者在學(xué)習(xí)過程中產(chǎn)生的數(shù)據(jù)如何進(jìn)行有效分類，并通過合適的方式對(duì)描述學(xué)習(xí)者行為的多維數(shù)據(jù)特征進(jìn)行有效降維，既能夠保證數(shù)據(jù)特征的唯一代表性，又能夠保證系統(tǒng)平臺(tái)能夠以最小的計(jì)算代價(jià)實(shí)現(xiàn)計(jì)算。而如何提高分類的精度并且有效地利用分類結(jié)果對(duì)后續(xù)處理提供幫助，深度神經(jīng)網(wǎng)絡(luò)在這方面的表現(xiàn)非常顯著，目前幾乎在所有有關(guān)分類的問題領(lǐng)域，神經(jīng)網(wǎng)絡(luò)都有不俗的表現(xiàn)[10-13]。

鑒于深度神經(jīng)網(wǎng)絡(luò)在特征訓(xùn)練方面的優(yōu)勢(shì)，文中提出了一種基于深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方法。首先對(duì)學(xué)習(xí)者產(chǎn)生的原始學(xué)習(xí)數(shù)據(jù)特征向量進(jìn)行自動(dòng)聚類，然后利用深度學(xué)習(xí)網(wǎng)絡(luò)DNN對(duì)多維數(shù)據(jù)向量特征進(jìn)行降維清洗，以保證評(píng)價(jià)數(shù)據(jù)的真實(shí)有效性和實(shí)時(shí)性，最后通過相關(guān)的實(shí)驗(yàn)數(shù)據(jù)對(duì)這種個(gè)性化評(píng)價(jià)行為的有效性進(jìn)行驗(yàn)證。

1 深度神經(jīng)網(wǎng)絡(luò)評(píng)價(jià)模型

1.1 基于多維數(shù)據(jù)向量的有效聚類方法

根據(jù)布魯姆理論，人類的認(rèn)知思維分為記憶、理解、應(yīng)用、分析、評(píng)價(jià)和創(chuàng)造這六個(gè)層次，所以對(duì)于在線學(xué)習(xí)行為數(shù)據(jù)特征的抽象采取兩個(gè)層次，第一層是low level特征，它主要包括登錄時(shí)間、學(xué)習(xí)時(shí)間、學(xué)習(xí)次數(shù)、選擇的知識(shí)點(diǎn)、討論次數(shù)、提問次數(shù)、回答問題次數(shù)、解決疑問次數(shù)、完成測(cè)驗(yàn)的時(shí)間、完成測(cè)驗(yàn)的成功率、作業(yè)得分等，用Ulow={x1,x2,…,xn}表示。第二層是high level特征，主要包括作業(yè)完成程度、作業(yè)完成的準(zhǔn)確率、學(xué)習(xí)問題提出的質(zhì)量、回答問題的質(zhì)量、解決問題的方案質(zhì)量等，用Uhigh={y1,y2,…,yn}表示。每個(gè)樣本又可進(jìn)一步劃分為多維特征，例如xi=(xi1,xi2,…,xin)，yi=(yi1,yi2,…,yin)，其中每一個(gè)分量代表學(xué)習(xí)活動(dòng)的一種特性，如登錄次數(shù)、學(xué)習(xí)時(shí)間等。

獲得多維數(shù)據(jù)之后，就可以利用聚類算法來對(duì)需要的數(shù)據(jù)特征進(jìn)行劃分，具體算法如圖1所示。

圖1 學(xué)習(xí)數(shù)據(jù)特征的聚類流程

1.2 聚類數(shù)據(jù)的特征提取方式

聚類數(shù)據(jù)的特征提取采取基于DNN的隱馬爾可夫模型[14-15]，它是一個(gè)包含多個(gè)隱層的前向神經(jīng)網(wǎng)絡(luò)，輸入層表示聚類數(shù)據(jù)的底層特征，輸出層表示降維之后的典型特征，在隱層中每個(gè)節(jié)點(diǎn)的非線性激活函數(shù)采用sigmod，每個(gè)節(jié)點(diǎn)的非線性輸出值為：

(1)

DNN訓(xùn)練參數(shù)通過BP網(wǎng)絡(luò)傳播算法進(jìn)行迭代訓(xùn)練獲得，如式2所示：

(2)

初始網(wǎng)絡(luò)參數(shù)通過RBM受限玻爾茲曼機(jī)進(jìn)行初始化，如式3所示：

(3)

文中采用深度神經(jīng)網(wǎng)絡(luò)建模單元為基本單位，如圖2所示，每個(gè)多維特征拆分為三個(gè)HMM狀態(tài)，所有多維特征HMM狀態(tài)與DNN輸出層的各個(gè)節(jié)點(diǎn)一一對(duì)應(yīng)。實(shí)驗(yàn)中采用8維的特征作為輸入，采用5個(gè)隱層，每個(gè)隱層是1 024個(gè)節(jié)點(diǎn)。

圖2 用于特征識(shí)別的深度神經(jīng)網(wǎng)絡(luò)

如圖2所示，深度神經(jīng)網(wǎng)絡(luò)的輸入是學(xué)習(xí)活動(dòng)數(shù)據(jù)，輸出對(duì)應(yīng)降維后進(jìn)行清洗之后的關(guān)鍵典型特征，通過神經(jīng)網(wǎng)絡(luò)的分層處理之后增強(qiáng)特征的區(qū)分度，一些區(qū)分度比較差不利用突出學(xué)習(xí)者特點(diǎn)的特征量被隱層處理，這樣可以保證最后提取出來的特征在大幅降低維數(shù)的同時(shí)保持最大的區(qū)分度。深度神經(jīng)網(wǎng)絡(luò)各隱層節(jié)點(diǎn)的激活與否主要由節(jié)點(diǎn)的輸出值確定，為了使特征分布更加近似于高斯分布，文中采用隱層輸出值取平均值，以使得特征輸出接近高斯分布，如圖3所示。

圖3 深度神經(jīng)網(wǎng)絡(luò)隱層多維度向量平均輸出

(4)

其中，hi,L為第i個(gè)特征在第L層上的非線性輸出矢量，將每一個(gè)隱層特征求取均值作為該特征的網(wǎng)絡(luò)特征，如式5所示：

(5)

為了得到隱層均值特征中的有效特征分量，利用式6得到最終降維之后的有效特征。

E=Hi,t-F

(6)

2 實(shí)驗(yàn)分析

實(shí)驗(yàn)以國內(nèi)某著名視頻教學(xué)網(wǎng)站為測(cè)試平臺(tái)，對(duì)900個(gè)學(xué)生在平臺(tái)上的學(xué)習(xí)活動(dòng)記錄進(jìn)行對(duì)照分析。首先按照學(xué)習(xí)能力層次將實(shí)驗(yàn)樣本劃分為初級(jí)、中級(jí)、高級(jí)三個(gè)組別，每個(gè)組別包括300個(gè)學(xué)生對(duì)5門在線課程的某個(gè)知識(shí)點(diǎn)在一個(gè)月內(nèi)的學(xué)習(xí)活動(dòng)記錄。原始特征向量為32維，能夠從各個(gè)方面對(duì)參與測(cè)試的學(xué)習(xí)者在學(xué)習(xí)態(tài)度、效率、過程等方面進(jìn)行全面的評(píng)估。每個(gè)測(cè)試組隨機(jī)選取80個(gè)學(xué)習(xí)者作為有標(biāo)記樣本，再根據(jù)樣本的學(xué)習(xí)應(yīng)用能力將其分為六個(gè)不同層次。首先對(duì)每個(gè)組進(jìn)行聚類，設(shè)置K的值為6。從每個(gè)聚類數(shù)據(jù)中抽取30個(gè)樣本組成30×6=180個(gè)樣本的測(cè)試集。訓(xùn)練完成后測(cè)試集中的180個(gè)樣本再由深度神經(jīng)網(wǎng)絡(luò)處理降維得到典型特征，獲取評(píng)價(jià)結(jié)果。與此同時(shí)，這180個(gè)樣本也由人工完成評(píng)價(jià)，以此作為學(xué)習(xí)評(píng)價(jià)的誤差依據(jù)。經(jīng)過聚類之后的結(jié)果如圖4所示。

從圖4可以看出，不同課程的知識(shí)點(diǎn)對(duì)于不同層次的學(xué)習(xí)者基本上都是呈現(xiàn)正態(tài)分布的模式，不論學(xué)習(xí)者的能力程度如何，對(duì)于課程的知識(shí)點(diǎn)的掌握基本都符合同樣的原則。由于各門課程的難度系數(shù)不一樣，所以不同的課程也表現(xiàn)出不同的區(qū)分度，例如，可以發(fā)現(xiàn)中級(jí)組和高級(jí)組的分布狀態(tài)和樣式基本上一致，而初級(jí)組的分布情況則和其他兩組有明顯的區(qū)別。這說明對(duì)于現(xiàn)有測(cè)試的五門課程來說，入門程度的高低對(duì)于學(xué)習(xí)者后期學(xué)習(xí)行為的建立還是具有一定的影響。

圖5表示對(duì)于學(xué)習(xí)每門課程在不同組別的表現(xiàn)曲線，主要表示不同課程知識(shí)點(diǎn)學(xué)習(xí)的聚類結(jié)果。從圖(a)看出，由于《web技術(shù)基礎(chǔ)》課程對(duì)學(xué)習(xí)者的前導(dǎo)知識(shí)要求并不是很高，知識(shí)點(diǎn)簡(jiǎn)單，因此初級(jí)組都超過了中級(jí)組和高級(jí)組，這可能和學(xué)習(xí)者學(xué)習(xí)的心態(tài)有關(guān)。圖(b)和圖(c)這兩門課程對(duì)前導(dǎo)知識(shí)的要求較高，需要具備一定的計(jì)算機(jī)和數(shù)學(xué)基礎(chǔ)，所以可以發(fā)現(xiàn)高級(jí)組的學(xué)生對(duì)于知識(shí)點(diǎn)的把握明顯優(yōu)于其他兩組。而圖(d)和圖(e)由于都是程序設(shè)計(jì)類課程，學(xué)習(xí)的知識(shí)點(diǎn)大同小異，難度相當(dāng)，所以表現(xiàn)的曲線也是基本相似，但是很明顯能夠看出初級(jí)組對(duì)于知識(shí)點(diǎn)的掌握與其他兩組相比還是有不小的差距?？梢钥闯?，高級(jí)組樣本的學(xué)習(xí)能力和行為明顯高于中級(jí)組和初級(jí)組，這和學(xué)習(xí)者前期的學(xué)習(xí)經(jīng)歷、知識(shí)積累、學(xué)習(xí)習(xí)慣、理解能力等方面都有關(guān)系，這也說明學(xué)習(xí)能力的高低是一個(gè)循序漸進(jìn)的培養(yǎng)過程。

為了進(jìn)一步衡量本實(shí)驗(yàn)評(píng)價(jià)方法的準(zhǔn)確性，引入了人工專家評(píng)審的方法與機(jī)器學(xué)習(xí)評(píng)價(jià)的方法進(jìn)行對(duì)比。選取本專業(yè)有經(jīng)驗(yàn)的教師對(duì)每門課程的知識(shí)點(diǎn)依照不同層次的組別進(jìn)行評(píng)價(jià)，人工評(píng)價(jià)方法的主要依據(jù)仍然沿用傳統(tǒng)的方法，例如：上課考勤率、作業(yè)完成率、完成質(zhì)量、測(cè)試成績(jī)、項(xiàng)目能力等容易量化的指標(biāo)，為保證統(tǒng)計(jì)公平，設(shè)定所有的人工專家都具有一樣的權(quán)重。統(tǒng)計(jì)分析的結(jié)果如圖6所示。從圖中可以看出，高級(jí)組由于學(xué)習(xí)背景和能力的優(yōu)勢(shì)，曲線略微與其他級(jí)別組和人工組有所變化，而初級(jí)組和中級(jí)組與人工評(píng)審得到的曲線高度一致，說明機(jī)器學(xué)習(xí)評(píng)價(jià)的方法能夠真實(shí)反映人類對(duì)學(xué)習(xí)效果的評(píng)價(jià)標(biāo)準(zhǔn)。

圖6 人工專家評(píng)價(jià)與機(jī)器統(tǒng)計(jì)評(píng)價(jià)的結(jié)果對(duì)比

3 結(jié)束語

信息技術(shù)的發(fā)展必然會(huì)帶來傳統(tǒng)學(xué)習(xí)方式根本性的變化，如何有效利用網(wǎng)絡(luò)在線學(xué)習(xí)平臺(tái)產(chǎn)生的海量數(shù)據(jù)，對(duì)學(xué)習(xí)用戶產(chǎn)生個(gè)性化的準(zhǔn)確學(xué)習(xí)行為評(píng)價(jià)，讓學(xué)習(xí)者更好地了解自己的學(xué)習(xí)狀態(tài)和行為狀態(tài)，真正實(shí)現(xiàn)學(xué)習(xí)方式的“有的放矢”和“因材施教”。文中使用機(jī)器學(xué)習(xí)的方式對(duì)網(wǎng)絡(luò)平臺(tái)產(chǎn)生的用戶數(shù)據(jù)進(jìn)行特征分類，再通過深度神經(jīng)網(wǎng)絡(luò)對(duì)特征數(shù)據(jù)進(jìn)行降維后提取典型特征，這樣既可以降低訓(xùn)練的計(jì)算代價(jià)，又能夠保證進(jìn)行訓(xùn)練的特征最能夠體現(xiàn)學(xué)習(xí)者個(gè)性學(xué)習(xí)的特點(diǎn)。從實(shí)驗(yàn)結(jié)果來看，機(jī)器學(xué)習(xí)得到的評(píng)價(jià)結(jié)果與人工專家評(píng)審得到的評(píng)價(jià)結(jié)果基本一致，這說明在數(shù)據(jù)量保證的前提下，機(jī)器評(píng)價(jià)可以替代人工評(píng)價(jià)，而且機(jī)器評(píng)價(jià)更具有客觀性、對(duì)比性。但是從目前最新的研究結(jié)果來看，深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練中會(huì)出現(xiàn)梯度不穩(wěn)定的現(xiàn)象，這種現(xiàn)象的存在會(huì)影響到神經(jīng)網(wǎng)絡(luò)性能的表現(xiàn)[16]。下一步的研究可以考慮引進(jìn)不同的學(xué)習(xí)方式來對(duì)學(xué)習(xí)數(shù)據(jù)進(jìn)行分析，以期得到更加普適的個(gè)性化學(xué)習(xí)評(píng)價(jià)方式。