李 軍 成 利

（武漢船舶職業(yè)技術學院，湖北武漢 430050）

我國是貿(mào)易大國，也是航運大國，航運業(yè)承擔著我國對外貿(mào)易90%的運輸量和國內(nèi)貿(mào)易50%的運輸量[1]。在推動航運業(yè)可持續(xù)發(fā)展進程中，航運人才是重要力量，航海職業(yè)教育是不可缺少的重要環(huán)節(jié)。當前我國有近54萬高級船員服務于國內(nèi)外船東，在船船員的職業(yè)培訓一直是航運界關注的話題，如何提高培訓質(zhì)量，滿足船員個性化學習要求，是航海類職業(yè)院校近年來思考的重要課題，MOOC 的發(fā)展為解決此類問題提供了契機，航海職業(yè)院校紛紛開發(fā)建設MOOC，但大量重復建設的MOOC 存在同質(zhì)化、低質(zhì)化現(xiàn)象。為保證MOOC 質(zhì)量，建立合適的MOOC 質(zhì)量評價體系，構建科學合理的評價模型，幫助提高MOOC 質(zhì)量顯得尤為重要。

1 MOOC質(zhì)量評價文獻綜述

經(jīng)過文獻檢索，發(fā)現(xiàn)現(xiàn)有MOOC 質(zhì)量評價都是在網(wǎng)絡課程、精品課程質(zhì)量評價的基礎上發(fā)展起來的，主要有實驗法、觀察法、分析法和指標體系評價法等，指標體系評價法客觀性好、容易操作，近年來已成為眾多學者研究的對象。部分學者在運用指標體系評價法時，注重評價指標體系的構建，陳永平[2]構建了傳統(tǒng)教學、MOOC與SPOC相結合的教學質(zhì)量評價指標體系；部分學者不僅注重評價指標體系的構建，還確立各層指標權重，童小素等[3]借鑒網(wǎng)絡課程評價標準，綜合各方面因素建立MOOC 質(zhì)量評估指標體系，并應用層次分析法確立指標權重；張巖等[4]構建了層次分明、結構清晰的MOOC 質(zhì)量評價體系，并用Matlab 軟件計算各個指標權重；部分學者不滿足上述研究，引入模糊綜合評價數(shù)學模型對指標體系展開評價，李加軍等[5]學者構建了3 層結構的MOOC 質(zhì)量評價指標體系，利用層次分析法確定各層指標權重，應用模糊綜合評估模型對MOOC 質(zhì)量進行綜合評估；趙馨蕊等[6]建立了大學物理MOOC 質(zhì)量評估指標體系，并用模糊綜合評價法對3 所大學的大學物理MOOC 進行綜合評判；還有部分學者借鑒了工程領域的綜合評價方法，建立起多種類型的綜合評價模型，姚凱[7]應用層次分析法構建MOOC質(zhì)量評價指標體系，并用Vague集的相似度量法建立了評價模型；岳進等[8]設計多層次的MOOC適切性評估指標體系，以區(qū)間數(shù)理論為基礎采用群決策法建立了MOOC適切性評估模型。

綜上所述，學者們在運用指標體系評價法時，普遍先建立評估指標體系，然后用層次分析法計算指標權重，再應用各種類型的綜合評價模型進行評價，得出一個量化評價結果，但是研究的深度仍然不足。當對兩個指標衡量重要性時，層次分析法并沒有考慮專家在知識、閱歷及經(jīng)驗上的差異，專家賦值過于絕對，忽視了指標權重和指標值的不確定性因素，影響評價結果的科學性、合理性。

鑒于此，本研究引入模糊數(shù)學理論改進層次分析法，運用三角模糊層次法TEAHP 確定指標權重，相較于層次分析法不僅充分考慮了專家賦值的模糊性，還省略了判斷矩陣一致性檢驗程序，促使群決策法具有良好的容錯性，如此評價的結果才更為科學、合理。

2 MOOC質(zhì)量評價指標體系的構建

構建科學、合理的評價指標體系是開展MOOC 質(zhì)量評價的基礎，評估指標的遴選和構建除了需要考慮教育部頒布的《網(wǎng)絡課程評價規(guī)范（CELTS-22）》，還需借鑒國內(nèi)外學者對MOOC質(zhì)量研究的優(yōu)秀成果。陳永平等[2]學者將“課程設計”、“課程運用”、“課程教學”“課程學習”和“課程管理”作為一級指標，下設20 個二級指標，一級指標的設置僅考慮了“教”的維度；童小素等[3]將“課程內(nèi)容”、“教學設計”“學習支持”列為一級指標，下設26個二級指標，二級指標過多，評價時容易丟失指標信息；李加軍等[5]將“教學評價”、“教學過程”、“導航設計”“課程內(nèi)容”作為一級指標，下設16 個二級指標，從“教”與“平臺”兩個維度設置一級指標，缺少“學”的維度，指標設置不甚全面；趙馨蕊等[6]將“教學隊伍”、“教學目標”、“教學方法”、“教學內(nèi)容”“教學活動”、“教學評價”作為一級指標，下設16 個二級指標，一級指標較多并且僅以“教”的維度設置，指標設置不合理；姚凱[7]將“課程內(nèi)容”、“界面設計”、“課程管理”、“教學設計”、“媒體技術”作為一級指標，下設23 個二級指標，二級指標較多，結構不合理；岳進[8]等將教學內(nèi)容、教學方式、評價方式和技術手段作為一級指標，下設20 個二級指標，一級指標設置沒有考慮學生學習感受。

綜上，以上學者以不同視角構建的MOOC 質(zhì)量評價指標體系，具有極大地參考價值，但是也存在評價指標層次不清晰、結構不合理、覆蓋不全面、重視“教”、忽略學習體驗和平臺設計、沒有考慮專業(yè)特點等問題。為此，為提高航海類專業(yè)MOOC質(zhì)量，經(jīng)過咨詢MOOC 開發(fā)專家和比較現(xiàn)有評價指標優(yōu)缺點，構建一套航海類專業(yè)MOOC 質(zhì)量評價體系，如圖1所示。

圖1 航海類專業(yè)MOOC質(zhì)量評估指標體系

該指標體系從教師、學生和平臺三個維度對MOOC 質(zhì)量進行評價，遴選的指標充分考慮了學校屬性、專業(yè)特點和學生的學習體驗，該指標體系按照指標屬性不同，具有三層結構特征，分別由3個一級指標、11個二級指標和29個三級指標組成。

對MOOC進行質(zhì)量評價，需要確定評價等級，本研究將MOOC 質(zhì)量優(yōu)劣劃分為5 個等級，分別為優(yōu)秀、良好、中等、及格和待提高，對應評價集為Z=｛Z1，Z2，Z3，Z2，Z5｝。為了適于三角模糊層次分析法和群決策的MOOC質(zhì)量評價模型，需對評價等級進行量化處理，“優(yōu)秀”、“良好”、“中等”、“及格”和“待提高”對應的量化區(qū)間分別為：[100，90]、（90-80]、（80-70]、（70-60]和（60-0]。

3 基于TFAHP確定指標權重

MOOC 質(zhì)量評價指標體系為多維度、多層次體系，并且各級評價指標都屬于定性指標。傳統(tǒng)的層次分析法確定指標權重時，沒有考慮專家在知識、閱歷和經(jīng)驗上的差異，過于絕對，認為因素之間相對重要性只有一種情況。本研究引入模糊數(shù)學理論改進層次分析法，運用三角模糊層次分析法（TFAHP）計算指標權重，相較于層次分析法（AHP）更加充分考慮了專家賦值的模糊性，有效彌補了傳統(tǒng)的AHP在模糊決策上的缺陷。

3.1 三角模糊數(shù)和TFAHP的基本原理

由于三角模糊數(shù)能夠有效地表達難以用精確數(shù)值描述的信息，因此，在解決不確定多屬性決策和不確定性評價問題時，三角模糊數(shù)應用廣泛。設M為實數(shù)域R上的一個模糊數(shù)，當M的隸屬函數(shù)（從R到[0,1]上的連續(xù)映射）滿足

那么M就是一個三角模糊數(shù)，即為M=[l,m,u],其中l(wèi) 為下限值，m為中值，u為上限值。因為層次分析法無法計算模糊型評價指標的權重，因此，在層次分析法的基礎上逐漸演化成三角模糊層次分析法（TFAHP），兩者基本原理類似，主要區(qū)別為TFAHP 用三角模糊數(shù)代替實數(shù)構造判斷矩陣，以三角模糊數(shù)運算法則計算權重，計算結果用三角模糊數(shù)形式呈現(xiàn)，最后，轉(zhuǎn)換為實數(shù)權重。

步驟1：邀請MOOC開發(fā)專家對k層n個指標進行兩兩比較，并用三角模糊數(shù)賦值，當專家給出模糊判斷后，就可構建模糊判斷矩陣:，其中和uij分別為三角模糊數(shù)的悲觀值、可能值和樂觀值，多名專家的模糊評判結果可以運用三角模糊數(shù)運算法則求平均值作為綜合三角模糊數(shù)。

步驟2：依據(jù)三角模糊數(shù)定理：

其中i，j=1,2,3…n，計算第k層第i個指標的綜合模糊權重，同理也可以求出同一層第j個指標的綜合模糊權重。

步驟3：依據(jù)三角模糊數(shù)定理：

步驟4：根據(jù)三角模糊數(shù)定理：

將三角模糊數(shù)權重轉(zhuǎn)化為實數(shù)權重，最后歸一化處理得到第k層指標權重Wk。

3.2 評價指標權重的確定

依據(jù)上述介紹的TFAHP 計算指標權重的方法。首先在廣泛征求MOOC開發(fā)專家基礎上構建MOOC 質(zhì)量一級評價指標三角模糊數(shù)判斷矩陣，如表1所示。

表1 一級評價指標三角模糊數(shù)判斷矩陣

接著運用三角模糊數(shù)運算法則求平均值得綜合三角模糊數(shù)判斷矩陣，然后根據(jù)公式（2）求出一級指標綜合三角模糊數(shù)權重，再依據(jù)公式（3）（4）求得一級指標實數(shù)權重WU=（0.25,0.60,0.15）。同理可以得到二級指標實數(shù)權重和三級指標實數(shù)權重，如表2所示。

表2 各級指標實數(shù)權重

4 基于TFAHP和群決策的MOOC質(zhì)量評價模型

前面構建了MOOC 質(zhì)量評價的多屬性、多層次指標體系，應用TFAHP計算出三級指標的三角模糊數(shù)權重和實數(shù)權重，下面將三角模糊數(shù)、AHP和群決策理論相結合，構建基于TFAHP和群決策的MOOC質(zhì)量評價模型，具體步驟如下：

步驟1：在廣泛征求MOOC 開發(fā)專家基礎上，構建MOOC質(zhì)量評價指標體系。

步驟2：依據(jù)TFAHP 方法及步驟構造評價指標三角模糊數(shù)判斷矩陣，依次計算MOOC 質(zhì)量評價指標體系中的k 層指標三角模糊數(shù)權重和實數(shù)權重Wk。

步驟3：邀請y名由MOOC開發(fā)專家和學生組成的評價團隊，然后請評價團隊根據(jù)評語集對k 層的第i 個指標進行評價，如果有x名專家認為第i個指標屬于評語等級Zh，則其隸屬于評語等級Zh的隸屬度為：，其中i=1,2,3…n，h=1,2,3…5，如此可以求得第k層所有指標隸屬度，再歸一化處理就可以建立第k層模糊評判矩陣。

步驟4：求出k層全部指標的權重Wk和建立起k層模糊評判矩陣Rk后，根據(jù)矩陣的乘法運算法則Sk=Wk?Rk就可計算k 層指標評價結果，逐層向上計算直到最終結果S。

5 實例驗證

下面以某高職在超星平臺建設的某專業(yè)課程為例，實例驗證基于三角模糊層次分析和群決策的MOOC評價模型的科學性、合理性和實用性。

邀請MOOC 開發(fā)專家和學習該MOOC 的學生代表組成100 人的評價委員會。首先對第三級指標相對于評價集的符合性進行定性評價，然后依據(jù)MOOC質(zhì)量評價模型的步驟3，用群決策的方法將定性評價轉(zhuǎn)化成隸屬度，再歸一化處理即可建立第三級指標模糊評價矩陣。如表3所示：

表3 三級指標模糊評價矩陣

根據(jù)MOOC質(zhì)量評價模型步驟4，在求得三級指標實數(shù)權重和建立三級指標模糊評價矩陣的基礎上，用矩陣乘法運算計算出評價結果，三級指標評價結果如下：

三級指標評價結果也是二級指標隸屬度，同理可以求得二級指標評價結果，如下：

6 分析評價結果

最終評價結果量化值為：Su?D'=77.9，對應“中等”等級，完全符合實際情況，該課程在2021年度學校組織的評審中榮獲校級精品在線開放課程，但是距離省級精品在線開放課程有一定差距，距離國家精品在線開放課程有很大差距。

同理，除了對最終評價結果進行量化分析外，還需要對各級指標評價結果進行量化分析，方便建設者準確地了解MOOC 建設的優(yōu)點和不足，從而發(fā)揚優(yōu)點改進不足，提高MOOC 建設質(zhì)量。其它各級指標評價結果量化值及評價等級，如表4所示。

表4 各級指標評價結果量化值及評價等級

由表4 可知，“新穎性”指標量化值為“72.26”評價等級為“中等”，其原因在于課程內(nèi)容陳舊，與現(xiàn)代化的智能柴油機脫節(jié)，不能體現(xiàn)近幾年船舶智能柴油機的科研成就；“主持人”量化得分“77.39”評價等級為“中等”，其原因在于主持人為非雙師型教師，雖然學歷較高，但是碩士研究生畢業(yè)后一直在學校任教，未曾到航運企業(yè)實習，實踐經(jīng)驗不足，另外主持人為講師職稱，在本專業(yè)科研能力方面略顯不足；“教學方法”得分“73.48”，究其原因，在于課程團隊教師在授課時較少采用項目驅(qū)動教學法，多采用傳統(tǒng)授課法，傳統(tǒng)教學法已經(jīng)無法激勵學生學習興趣；“教學內(nèi)容”得分“72.81”，主要原因在于教學內(nèi)容中缺乏航海文化元素，缺乏利用文化育人，培養(yǎng)學生人文素養(yǎng)的環(huán)節(jié)；“學習任務”量化得分“76.22”，被評為“中等”，其原因在于教師安排的學習任務較單一，除了課后作業(yè)、視頻瀏覽外，缺乏輔助材料的學習，單元測試也缺乏；“生生協(xié)作”評分“76.37”，評級“中等”，其原因在于教師授課內(nèi)容理論偏多，較少安排實驗環(huán)節(jié)，學生缺少互相協(xié)作操作大型船舶設備的機會；“學情反饋”得分“78.99”，評級“中等”，課程團隊在超星平臺建設課程，雖然平臺能自動計算作業(yè)、測試完成率、及格率，包括每道題正誤率，但是課程團隊較少審閱這些數(shù)據(jù)，不能及時反饋學情，無法形成正反饋；“存在感”得分“72.76”，得分較低，究其原因主要在于學生在學習圈存在感較低，一方面學生缺乏學習主動性，交流的主動性，另一方面教師跟學生交流溝通較少，導致學生存在感低；“滿意度”得分“76.67”，評級為中等，表明仍有一部分學生學完后對課程不甚滿意，需要課程團隊后期與學生加強溝通，了解原因查找不足；“深層次思考”得分較低“70.76”分，主要在于課程服務的對象為在職船員，普遍缺乏深度學習能力，缺乏知識遷移能力，因此該項目得分較低，后期需加強學員學習能力培養(yǎng)；“解決現(xiàn)實問題能力”評分“70.86”，得分較低，在于學員在成長過程中，家長著重文化學習，缺乏生活體驗，導致學員專業(yè)知識不能與日常生活中需要解決的問題結合在一起；“學習導航”得分“76.89”，評級“中等”，在于超星學習通平臺為新開發(fā)的網(wǎng)絡學習平臺，雖然基本功能齊全，但是在菜單布置、導航設計方面還有不符合人機工程學的地方；“顏色搭配”得分較低“70.67”，究其原因在于超星學習通網(wǎng)頁設計方面不注重顏色搭配、畫面沉悶，不符合視覺習慣，學習者長期學習會感覺視覺疲勞；“特色功能”得分最低“66.46”，評級及格，雖然超星學習通平臺基本功能健全，能滿足教師開發(fā)課程及學員在線學習基本需求，但是與國外主流網(wǎng)絡學習平臺比較，仍然缺乏“個人學習空間、學習痕跡追蹤、筆記功能”等特色功能，雖然具備防作弊功能，但是使用效果不佳，需要后期完善。

7 結語

MOOC 質(zhì)量評價是促進MOOC 質(zhì)量提高的重要手段，本研究針對MOOC 質(zhì)量評價指標所具有的多屬性、多層次、不確定性和模糊性特點。首先采用三角模糊數(shù)和層次分析法相結合的方法計算出MOOC質(zhì)量評價指標的三角模糊數(shù)權重和實數(shù)權重，解決了以往層次分析法計算指標權重模糊性不足的缺陷，然后提出運用群決策的方法計算指標隸屬度，構建模糊評價矩陣，最后構建了基于三角模糊層次分析法和群決策法的MOOC質(zhì)量評價模型。實例驗證了MOOC質(zhì)量評價模型的科學性、合理性和可操縱性，為解決類似的多屬性、多層次、不確定評價問題提供了一個新的思路和方法，也為提高航海類專業(yè)MOOC建設質(zhì)量提供理論依據(jù)。