陶槊 魏東東 陳濱 王強志

收稿日期：2022-05-20

基金項目：安徽省教育廳繼續(xù)教育教學改革項目（2021jxjy054）；安徽省高校教學實訓基地項目（2021jyxm1532）

作者簡介：陶槊（1974—），男，碩士，副教授，從事信息安全與數(shù)據挖掘研究.Email：1287982006@qq.com

通信作者：魏東東（1990—），男，講師，從事云計算與電子商務研究.Email：604487312@qq.com

摘要：依托在線教育的大數(shù)據技術，建立一套改進的在線教育評價指標體系.根據該系統(tǒng)特點，利用智慧校園信息系統(tǒng)后臺，獲取主客觀評價數(shù)據并加以整合與處理.通過基于改進的復合梯度算法計算最優(yōu)權重，處理評分數(shù)據，以獲得能反映實際教學水平的綜合成績.實驗結果表明，該算法是有效的.

關鍵詞：在線教育;梯度算法;大數(shù)據;復合權值

中圖分類號：G434

文獻標志碼：A

0引言

在線教育評價是一項綜合性工程，需要對教育性質與能力的總體說明，也需要質量體系的內容界定與指標衡量.因此，對在線教育的研究必須先建立一套科學的教育評價系統(tǒng)與標準規(guī)范，明晰考評指標，然后通過有效方法提升考評效果.

目前，在此方面主流的評價模式［1-2］有歐盟遠程教育大學聯(lián)合會（European association for distance teaching universities，EADTU）頒布的卓越標準（Excellence）和美國在線學習聯(lián)盟推出的網絡教學實踐評價指標體系（quality course teaching and instructional practice scorecards，QCTIP）［3］等.我國還沒有體系化的遠程教育評價系統(tǒng)應用實例，對評價系統(tǒng)的研究也主要局限于分類統(tǒng)計、特征分析、模式匹配及神經網絡等領域［4］.本研究著重將在線教育特征指標化，并采集整理支持指標的信息數(shù)據，轉換成對應的初始評價數(shù)據，然后探討復合算法，對評價數(shù)據進行綜合運算，求得綜合評價結果，并根據作者所在高校5年來的在線教育成果進行對比，驗證了采集數(shù)據與算法的正確性與功效性.

1在線課堂評價系統(tǒng)的建立

1.1評價指標的確定

進行課程網絡教學評價工作前，必須明晰在線課堂的內容與特征要素，然后根據網絡技術特點，按專家知識指導和教育主管部門工作要求，設定在線教育關聯(lián)考核指標，并需要保證全部指標的概括性與指向性，避免過多元素的組合，影響最后評價成績的合理性，特別是要防范教學評價的重復性及不一致性.根據這一原則，參照文獻［5-6］提出的一系列考核規(guī)范，仿照境況/輸入/過程/成果模型（context/input/process/product，CIPP）［7］，建立本研究的遠程“在線教育”3級評價指標系統(tǒng).在線教學評價指標系統(tǒng)部分結構如圖1所示.

1.2評價系統(tǒng)的建立

根據評價系統(tǒng)結構與特點，以專業(yè)與教學的實施過程開展該評價系統(tǒng)的建設與研究.該評價系統(tǒng)的具體開發(fā)過程如下：1）對條件、專業(yè)、課程及成果的各項條目進行分解，與上述建立的3級指標系統(tǒng)相對應，對教育教學活動產生的各類數(shù)據進行指標化定義.2）考評要素制定與選?。簩h程教學、智慧課堂系統(tǒng)及智慧校園網絡信息系統(tǒng)等各平臺進行整合，選取教學評價有關的信息，關聯(lián)對應的數(shù)據接口.3）智慧校園網絡信息系統(tǒng)與大數(shù)據分析算法的選用：評估內容的設計；評價系統(tǒng)的管理數(shù)據選擇；指標數(shù)據的制備、采樣、抽取、清洗與轉換等；評價內容、流程及模型的建立.4）評價系統(tǒng)平臺的設計：大數(shù)據平臺的多次再整合；不斷重復步驟2匹配指標元素；教學效果評估模型與算法的設計；優(yōu)化評估模型、處理流程與關聯(lián)數(shù)據等.5）測試與驗證：計算、驗證、調整參數(shù)及再計算；如不符合預期，則回到步驟3重新調整算法、權重及數(shù)據等，最后總體測試；每步重復多次，直到輸出穩(wěn)定并符合預期.6）可視化界面設計、標準定制與規(guī)范化應用及評價效果的完善.

2評價數(shù)據的處理

2.1獲取途徑

傳統(tǒng)的專家考核系統(tǒng)與問卷抽樣調查存在主觀偏差、手段單一且反饋滯后等問題，因此需要通過更廣泛的數(shù)據來保證評價的準確性與客觀性，而直接的權值統(tǒng)計會造成定性評價的缺失，無法有效表達在線課堂的多樣性.本研究利用作者所在高校的課堂教學分析系統(tǒng)、平臺監(jiān)測系統(tǒng)及智能點播等系統(tǒng)累計的大數(shù)據便利，按照在線教育指標要求，選擇采集相關數(shù)據，然后清洗整合，轉換對應的評分數(shù)據.其中，指標所需評價數(shù)據的獲取形式如表1所示.

從表1可知，通過各個信息平臺獲得的數(shù)據有些可以直接經轉換后作為評分代入到指標運算中，而有些則以互評及問卷調查的形式獲取相關評分.

由于智慧高校平臺分散各處且接口龐雜多樣，這就要用到第3方開源平臺如spark或hadoop大數(shù)據分布管理系統(tǒng)實現(xiàn)對各個指標數(shù)據源進行統(tǒng)一收集與管理，再向上傳給評價系統(tǒng)預處理軟件，進行分值計算.

2.2數(shù)據的標準化

設第1級指標系統(tǒng)集P={P1，…，PI}，第2級指標系統(tǒng)集Pi={Pi1，…，PiJ}，i{1，…，4}，j{1，2，…，J}，JZ+，則從各平臺接口獲得初始得分s′ij：

s′ij=1K∑Kk=1wijk∑Xx=1sxijk（1）

式中，wijk為第k項初級評分權重，wij={wij1，...，wijK}，且wij=∑Kk=1wijk=1;評分量xX，KZ+，XZ+.對應i級m個指標n個評分有矩陣S=（sij）m×n.

鑒于評價源數(shù)據來自各個平臺，為了去量綱化，在評分計算前，必須先對sxij進行標準化處理.根據不同評估目的，選擇不同的標準化模式，以2到3級評分為例，如果作為高校間評比需要，采用優(yōu)選指標（見式（2））以體現(xiàn)課程結構合理性與教學能力.若作為教學問題方面的研究，則使用差選指標（見式（3））.

s*′ij=sij－min（si）max（si）－min（si）（2）

s*ij=max（si）－sijmax（si）－min（si）（3）

于是第i項平均值*i=1J∑Jj=1x*ij，標準差σi=1J－1（∑Jj=1（s*ij－*i）2，統(tǒng)一量綱后的評分為：

sij=s*ij－*iσi（4）

Pi內每個指標會有m個評分（m{1，2，…，M}，MZ+），于是得到評分矩陣Si：

Si=s1i1s2i1…smi1s1i2s2i2…smi2s1ijs2ij…smij（5）

同時指標權重wij=∑Kk=1wijk，wi=∑Jj=1wij，W=∑6i=1wi=1，ij=1M∑Mm=1smij，則Pi的指標得分為，

si=∑Jj=1ijwij（6）

3賦權算法

各級指標Pi權值的確定是保證遠程教學評價準確與客觀性的基礎.賦權算法［8-9］有多種，典型的有層次評估法與遺傳神經網絡算法，但各有優(yōu)劣，前者減少了主觀判斷的隨意性，但精度不高，后者更能反映指標評價系統(tǒng)的實際結果，但計算和訓練過程多且操作復雜.本研究以改進動態(tài)層次評估法（dynamic analytic hierarchy process，DAHP）和相關性指標權重確定法（criteria importance through intercriteria correlation，CRITIC）為基礎，這樣既能充分利用智慧高校平臺的評價大數(shù)據，又兼顧遠程教育特有的專業(yè)要求，同時弱化各種算法的不足.

3.1改進DAHP算法

針對從各個信息平臺取得的課程評價與問卷調查及打分者主觀評價存在的心理偏差，本研究采用DAHP算法來解決打分者的主觀不確定性.DAHP算法針對粒子群（評價目標）變化時，對粒子進化（多目標的變化）進行度量，因而算法需要自適應更新相關聯(lián)的指標權重和學習因子，以實時應對評分的不確定性［10］.同時，對DAHP進行改進，使用Saaty5標度表求指標間綜合性級別，并用敏感因子根據指標層與判斷層間的重要關系確定最終得分.設調查評分等級分為5個區(qū)間，由低到高分別是差、較差、一般、較好與好，則成績定義的集合為Y={y1，y2，y3，y4，y5}，對應元素y的取值區(qū)間為yl=（0～0.2|0.2～0.4|0.4～0.6|0.6～0.8|0.8～1）.對相關指標Pi進行比較，成績區(qū)間Pia、Pib∈yl，且a≤b，且a，b{1，2，…，M}，l{1，2，…，5}，于是2級i指標a，b間關系［11］：

flab=0，重要性PbPa且Pb、Pa同區(qū)間1，重要性Pb>Pa （7）

于是M個評分的Pab相互比較時，對應指標序列有關聯(lián)映射f：F（f）←S，即Si的關聯(lián)度為F（fi），得到一致性判斷矩陣：

Fli=fl11…fl1MflM1…flMM（8）

令alm=∑Mn=1flmn，且m，n{1，2，…，M}，得到一致性判斷矩陣Ai=（al）M，于是有判斷式：

ei=∏Mm=1（∑Mn=1（Aim－Ain）2λM+1）（9）

式中，敏感因子λ=（0，1，2，3）.根據綜合權值區(qū)間決定，組成判斷矩陣Eij=（eij）I×J，得權值：

w′i=Iei/∑Ii=1ei（10）

3.2CRITIC賦權算法

教學評價指標的定量成績具有可比性，但限于教學對象、培養(yǎng)目的、課程結構與輔助條件的影響，也存在著各指標強度不一致與衡量標準沖突等方面的問題，所以需要通過客觀賦權法來控制指標間的數(shù)量差異性與內容關聯(lián)性.為應對大數(shù)據網絡評價動態(tài)性，本研究采用的是CRITIC算法，即用指標間的對比強度和不一致性來處理評分大小.設評分樣本處理后，消除了隨機異常，則Pij指標的相關系數(shù)rmijk［12］：

rmijk=（J－1）∑Mm=1（smij－mi）∑Mk=1（smik－mi）（∑Jj=1（s*ij－*i）2）（∑Jj=1（s*ik－*i）2）（11）

Rij=∑Jk=1（1－rijk）（12）

式中，j，k{1，2，…，J}，得到指標i的信息量：

Cij=1M∑Mm=1smij∑Jj=1（1－Rij）（13）

于是得到2級指標客觀權重：

wij=Cij∑Jj=1Cij（14）

4最優(yōu)權值組合

4.1復合算法

通過2種或多種算法獲得初始權重后，要保證評價的有效性，還需要以最優(yōu)的wi組合，力求實現(xiàn)評分的客觀性和綜合性.其中，經典直接的方法是計算wi和各對應初始權值的Euclidean距離，如式（15）所示：

D（wi）=∑Ii=1（wi－w′i）2+∑Ii=1（wi－w"i）2（15）

當存在min（D（wi））≥0時，wi與各初始權值的差異最小，即獲得最優(yōu)wi集.設D（w）連續(xù)可微，且D（w）為凸函數(shù)，則可以采用交替向乘子算法（alternative direction method of multipliers，ADMM）計算wi值［13］.ADMM作為增廣拉格朗日算法（augmented Lagrange multiplier algorithm，ALM）的改進，好處在于，增加2次懲罰參數(shù)強化約束，將全局最優(yōu)解轉換為局部最優(yōu)解計算，同時用對偶交替計算的方式，迭代更新實現(xiàn)收斂，因此在求最優(yōu)解方面獲得了廣泛應用.

根據ADMM算法求約束條件下最優(yōu)解wi：

minw1，w2，…，wi，zD（wi）+g（z），x∈RI，z∈RI′s.t.wi=z，i=（1，2，…，I） （16）

式中，z為全局變量，z∈RI.RI為指標系數(shù)I取值范圍.于是，通過交替迭代的方式求解局部變量wi，在某個收斂區(qū)間獲得最優(yōu)解.根據ADMM算法將上式轉換為：

Lρ（wi，z，λ）=∑Ii=1D（wi）+g（z）+

ρ2∑Ii=1‖wi－z‖22+∑Ii=1λT（wi－z）（17）

式中，Lρ為Lagrange乘子，λ為對偶變量，ρ為懲罰參數(shù)，同時∑Ii=1wi=1.經線性約束項轉換，用ALM乘子轉換［12］得到式（18）：

Lρ （wi ，z，μ） = ∑Ii = 1D（wi ） + g（z） + ρ2∑Ii = 1‖wi -zi ?+ μ‖22（18）

式中，μ為對偶可調量，據此實現(xiàn)局部變量wi的交替更新.

大數(shù)據環(huán)境下對原算法改進，即采用分項計算wi，獲取最優(yōu)權值.因評價數(shù)量m［1，M］，MZ+，smi是第i項指標第m個評分，且函數(shù)連續(xù)可微，則根據Moreau Decomposition［14］梯度下降轉化法，且在式（18）的約束下，取λ=1/2，令μ為交替變量，D（wi）=ρ∑Mm=1max1－smiwi，0，g（z）=（1/2）‖z‖22，于是獲得迭代過程如下：

wk + 1i = argminwi D（wi ） + ρ2‖wi -zk + μki‖22zk + 1 = argminzg（z） + ρ2∑Ii‖wi -zk + μki‖22

μk + 1i = μki + wk + 1i-zk + 1（19）

眾所周知，正常評分應呈正態(tài)分布，因此本研究ADMM懲罰系數(shù)ρ使用正態(tài)函數(shù)，得到系數(shù)公式：

s′i=1MJ∑Mm=1∑Jj=1smij（20）

ρ=12πσexp（－（s′i－′）22σ2）（21）

式中，s′i為第i項評分均值，σ為標準差，評分數(shù)量為m［1，M］，且MZ+，3級指標j［1，J］，且JZ+.

4.2改進算法過程

判斷收斂條件為迭代變量k→∞、原始變量rk及對偶變量sk→0，于是原始誤差εpri和對偶誤差εdual［15］如下：

εpri=ρεabs+εrelmax{‖wki‖2，‖zk‖2，0}εdual=Iεabs+εrel∑kj=1‖wki－zk‖2 （22）

‖rk‖2=∑Ii=1‖wki－‖2‖sk‖2=Iρ∑Ii=1‖wki－wk－1‖2 （23）

式中，I為指標維度，w為wi均值.為了能快速收斂，精度只需要≤0.01，因此，令絕對誤差εabs=0.001，εrel=0.01.根據式（22）及式（23），得出最小求權算法如下：

input：I，ρ，εabs，εrel，Kiterationfor i=1→I do{Initial（Kiteration，z0=0.5，μ0i=0，wi0=1）;

k=1;do{d=Diseulidean（wki，wi′，wi″）;//歐氏距離wki=argmin_x（w*，wk1i，zk1，μk1i，d）;

zk=argmin_z（wki，zk1，μk1i）;

μki=Update（μk1i，wki，zk）;//元值更新

Compute（‖rk‖2，‖sk‖2，εdualk）;

k++；

}while（‖rk‖2>（ρεabs+εrel/2） or ‖sk‖2>εdualk） and （k<=Kiteration）;

//約束條件下wi*理想最優(yōu)時∑kj=1‖wki－zk‖2=1/2}

5實驗與分析

5.1算法收斂性

對ADMM算法改進，簡化誤差判斷，優(yōu)選懲罰參數(shù)ρ，因此首先需要測試算法的收斂性，以保證改進算法的可靠性.根據式（22）及式（23），‖rk‖2與‖sk‖2隨著k→∞迭代而逐漸收斂，則整個函數(shù)有解.因對參數(shù)采取近似處理，直接求證收斂性很困難，所以通過對‖rk‖2、‖sk‖2及wi-w*變化進行逐一測試.對連續(xù)凸函數(shù)D（wi），設εabs=0.001且εrel=0.01，式（19）中ρ與I線性變化不會影響整個迭代趨勢，則設ρ=1/2，Imax=7，于是分別獲得圖2與圖3.

從圖2和圖3可知，迭代后，殘差‖rk‖2（k≥33）與‖sk‖2（k≥39）分別收斂到誤差區(qū)間.隨著k不斷增加，誤差區(qū)間趨于穩(wěn)定，而‖rk‖2與‖sk‖2將進一步收斂，則表明該算法可以控制指標優(yōu)化的精度，具備可用性.

5.2算法效率

研究在不同算法下最優(yōu)值|wi-w*|的獲取情況，以檢驗算法能力.給定L（wi，λ，σ）初值，參照文獻［16］優(yōu)化梯度下降算法，求各指標wi′與wi″的組合值wi.設λ0i=0.01，μ0i=0.5，則針對大數(shù)據懲罰參數(shù)ρ的結果不同，分別檢驗不同算法的迭代情況，如圖4（A）～圖4（C）所示.

隨著k迭代次數(shù)的增加，wi→w*，通過實驗與圖4可知：1）ADMM算法比ALM算法更快速收斂；2）在給定的ε誤差區(qū)間內，改進ADMM算法優(yōu)于文獻［16-17］ADMM算法；3）大數(shù)據評分越分散，收斂越慢，甚至可能最終難以收斂；4）針對本研究算法，懲罰參數(shù)ρ越高則收斂越快，但當ρ很大時將造成收斂震蕩，從而影響收斂.總之，2種改進ADMM算法雖然具有相似的算法效率，但本研究的算法的優(yōu)點是對初值不敏感且懲罰系數(shù)ρ由評分方差計算獲得，由于大數(shù)據環(huán)境下需要經常變換評分規(guī)則的場景，因此，本研究的算法更適于作為綜合評價的解決方案.

5.3綜合評價分析

本研究用該復合權值算法對作者所在高校5年來遠程在線教育系統(tǒng)進行評價，通過各信息系統(tǒng)后臺評價數(shù)據計算評價指標權值，如表2所示.

此5年的1級優(yōu)化權值與綜合權值評分情況，如圖5所示.

最終獲得每年的直接累計成績與權值成績對比，如表3所示.

從表2、表3和圖5可知：1）通過算法對權值的控制能自主體現(xiàn)每年實際教學能力的細節(jié)變化；2）5年來雖然教學整體評價值都獲得提升，但通過權值變化發(fā)現(xiàn)，內容設置與過程控制是影響整個教學水平的核心因素，為接下來的教學規(guī)劃調整提供了可靠依據；3）隨著時間變化，輔助支持中基建與信息資源對教學效果的提升作用在逐年遞減，意味著單純的教學條件改善并不與教學水平的提高成正比；4）從權值分布看，客觀權重的變化更能影響整個教學評價效果，表明在信息平臺的評價選項設定上可以根據參與者偏好對客觀評價指標實施調整與再計算.

總之，通過各項實驗表明該復合梯度優(yōu)化算法對遠程在線教育評價具有實際指導作用，這不僅驗證了5年來的實際教學情況，也幫助教學中發(fā)現(xiàn)某些被忽略的環(huán)節(jié).

6結語

目前，各高校都在積極制定遠程繼續(xù)教育評價指標系統(tǒng)，并研發(fā)配套的統(tǒng)計算法.本研究通過建立3級考核指標系統(tǒng)，依靠高校的大數(shù)據信息平臺獲得評價數(shù)據，探討組合動態(tài)模糊評價與CRITIC算法，并結合改進ADMM算法求解最優(yōu)的指標權值，獲取綜合評價成績.實驗與實踐表明，該評價系統(tǒng)可以真實全面體現(xiàn)高校繼續(xù)教育實際教學狀況，能直觀顯示在線教學過程中存在的細節(jié)問題.同時，該評價系統(tǒng)能減少人為干預，提高了評價的便捷性與客觀性，被證明是一種適應智慧高校環(huán)境下高效的自主教學評價系統(tǒng).未來的研究是通過不斷改進評價算法效率及提高評估準確性來幫助各成人高校簡化遠程在線教學的評價過程.

參考文獻：

［1］Iouliia S.Projectbased learning and evaluation in an online digital design course［J］.Electronics，2021，10（6）：646-646.

［2］Lyu W，Ding X，Salam A Z.Research on timeliness evaluation model of online teaching based on intelligent learning［J］.Int J Cont Eng Educ Life Long Learn，2021，31（2）：27-29.

［3］孫丹宇.遠程教育質量評價指標體系研究［D］.保定：河北大學，2020.

［4］楊曉焱.現(xiàn)代遠程教育網絡教學評價指標體系的構建研究［J］.職業(yè)教育研究，2018，6（6）：16-19.

［5］教育部職業(yè)教育與成人教育司.職業(yè)教育國家教學標準體系［EB/OL］.（2021-03-19）［2022-05-01］.http：//www.moe.gov.cn/s78/A07/zcs_ztzl/2017_zt06/.

［6］河南省教育廳.河南省教育廳關于開展高等學歷繼續(xù)教育教學評估（2021—2025年）的通知［EB/OL］.（2021-09-04）［2022-05-01］.https：//jyt.henan.gov.cn/2021/09-14/2312415.html.

［7］唐業(yè)喜，伍招妃，袁媛.基于CIPP模型的高校網絡思政教育成效評價體系構建與解析［J］.高教論壇，2021，1（1）：54-57.

［8］Chang S J，Hsu C I，Lin T.Using FAHP and CBR to evaluate the intention of adoption of internet banking service：the example of web ATM［J］.J Intell Fuzzy Syst，2020，39（3）：2869-2879.

［9］馬亞龍，邵秋峰，孫明，等.評估理論和方法及其軍事應用［M］.北京：國防工業(yè)出版社，2013.

［10］Dariusz F，Przemysaw J.An expert fuzzy system for management of railroad bridges in use［J］.Autom Constr，2019，106（10）：1056-1061.

［11］夏立榮，李潤學，劉啟玉，等.基于動態(tài)層次分析的自適應多目標粒子群優(yōu)化算法及其應用［J］.控制與決策，2015，30（2）：215-221.

［12］Rau A K，Mat K M，Rizal H，et al.A modified CRITIC method to estimate the objective weights of decision criteria［J］.Symmetry，2021，13（6）：973-973.

［13］Banert S，Bof R I，Csetnek E R.Fixing and extending some recent results on the ADMM algorithm［J］.Numer Algor，2020，86（5）：1-23.

［14］Jourani A，Vilches M.Moreautosida regularization of statedependent sweeping processes with nonregular sets［J］.J Opt Theor Appl，2017，173（1）：91-116.

［15］Boyd S，Parikh N，Chu E，et al.Distributed optimization and statistical learning via the alternating direction method of multipliers［J］.Found Trends Mach Learn，2010，3（1）：19-21.

［16］王慧慧.分布式交替方向乘子法研究［D］.南京：南京大學，2017.

［17］Wang C，Li C，Wang J.A modified augmented Lagrange multiplier algorithm for Toeplitz matrix completion［J］.Adv ?Computat Math，2016，42（5）：1209-1224.

（實習編輯：黃愛明）