陳耀禮 唐萬梅

摘 要：構建學生在線考試滿意度模型，分析變量對滿意度影響程度，進而提出改進策略，對提升在線考試的質量有著重要的理論意義和現(xiàn)實意義。本研究以重慶某高校300名學生為研究對象，通過發(fā)送調查問卷的方式收集數(shù)據(jù)，使用SPSS和AMOS軟件統(tǒng)計分析數(shù)據(jù)，然后使用結構方程模型進行路徑分析。統(tǒng)計分析結果顯示：高校學生在線考試總體滿意度一般。結構方程模型路徑分析結果顯示：潛在變量“考試壞境”對總體滿意度影響最大，潛在變量“試卷管理”對總體滿意度影響最小。跟蹤調查發(fā)現(xiàn)，針對各潛在變量下因素負荷量較大的測量變量提出相應建議及改進措施，可有效提升學生在線考試滿意度。

關鍵詞：在線考試;滿意度;結構方程模型

中圖分類號：G4 文獻標志碼：A 文章編號：2096-0069（2019）02-0034-06

收稿日期：2018-11-20

基金項目：重慶市教育規(guī)劃重點項目（2017-GX-116）;重慶師范大學研究生科研創(chuàng)新項目（NYKC17022）;重慶師范大學教改項目（XYJG16005、201625）

作者簡介：陳耀禮（1995— ），男，重慶人，重慶師范大學碩士研究生，主要研究方向為學習分析、教育信息化;唐萬梅（1965— ），女，重慶人，重慶師范大學教授，博士，主要研究方向為機器學習、在線教育、翻轉課堂等。

引言

考試作為各類人才選拔和檢測知識水平的一種重要手段，是目前檢測知識和考核人才的重要、高效方式[1]。在高校課程考核中，考試可以客觀評價考生的素質水平、考試狀態(tài)和教師的教育水平、教育質量。傳統(tǒng)考試通常以紙筆為工具，隨著教育信息化的不斷推進，以計算機和網絡為主要平臺的在線考試逐漸成為主流[2][3]。在線考試在試卷管理、考試管理、試題評閱、考試結果分析等方面比傳統(tǒng)筆試更具優(yōu)勢，因此目前在各大高校各大學科中得以廣泛應用[4]。

目前，基于在線考試的研究更多側重于推進與應用，對在線考試滿意度影響因素的研究較為缺乏。結構方程模型整合了因素分析和路徑分析兩種分析方法，在建立邏輯關系的基礎上解決了抽象概念即潛變量的問題，通常被教育學者用來進行教育管理因素分析[5][6][7]。利用結構方程模型法研究高校學生在線考試滿意度與潛在影響因素間的關系，對推動在線考試和高校教育信息化的發(fā)展有著積極意義。

一、研究方法

（一）用戶滿意度調查法

用戶滿意度調查法[8]，是指通過量化、評級或口頭調查等方法來調查用戶對產品或服務的滿意程度的方法，以獲取用戶對該產品或者服務的看法，從而提升產品質量和改進服務水平。通常來說，用戶滿意度是用戶在購買某種商品或享受某種服務時，對商品或服務所體現(xiàn)出的價值與用戶期望價值的一種實際心理反差[9]。本文在在線考試滿意度研究過程中引入用戶滿意度調查法，在構建在線考試滿意度模型后，設計在線考試滿意度調查問卷，對學生用戶進行滿意度調查，以了解學生對在線考試的綜合滿意程度。

（二）結構方程模型法

結構方程模型[10]是利用變量的協(xié)方差矩陣來分析變量間關系的一種方法，一個完整的結構方程模型應包含潛在變量、測量變量與誤差變量[11]。結構方程模型通常采用極大似然估計法對模型進行參數(shù)估計，分析模型的參數(shù)估計結果可獲得自變量對因變量的直接影響效果、間接影響效果或總影響效果。[12]結構方程模型方法需事先建立概念模型，大致過程為，首先對無法直接測量關系的變量間建立關系模型，然后根據(jù)模型關系，推測并找出可測量的觀察變量。結構方程模型建構要經過模型設定、模型檢驗和模型修正等幾個步驟[13]，本文使用結構方程模型法，旨在得出各潛在變量及測量變量對在線考試總體滿意度的影響程度。

二、測量與分析

（一）構建假設模型

本研究以福內利（Fornell）[14]提出的影響用戶滿意度因素為理論指導，結合在線考試出題、考試、閱卷等方面的特點，構建以學生用戶滿意度為主的在線考試滿意度評價指標體系，并以“試卷管理”“考試環(huán)境”“試題安排”“考試公平”和“考試便捷”作為潛在變量的類別參數(shù)（依次用A、B、C、D、E代替），每個潛在變量下設置多個測量變量（依次用A1-A5、B1-B4、C1-C4、D1-D4、E1-E4代替），構建出SEM假設模型，如圖1所示。

（二）問卷內容

本研究針對重慶某高校計算機學院316名學生進行了問卷調查，共發(fā)放問卷316份，回收有效問卷300份，回收率為95%。問卷指標分值設置采用李克特量表（Likert Scale）[15]五點計分法，在線考試滿意度評價指標體系如表1所示。

（三）問卷信度、效度分析

將有效問卷中各個測量指標評價數(shù)據(jù)導入SPSS和AMOS軟件進行信度、效度分析。

信度分析如表2所示。潛在變量的克朗巴哈α系數(shù)（Cronbach’s Alpha，簡稱CA）在0.838～0.902之間，總量表的信度系數(shù)為0.919，表示調查問卷具有較高的信度。

效度分析如表3所示。對問卷數(shù)據(jù)進行KMO值和Bartlett球形檢驗，結果顯示顯著性P值為0.000（P<0.001），通過Bartlett球形檢驗，KMO值=0.894>0.70，表示樣本數(shù)據(jù)效度良好，適合進行因子分析。

根據(jù)標準化回歸系數(shù)和誤差變異量可以計算潛變量的組合信度（Composite Reliability，簡稱CR），組合信度可作為檢驗潛在變量的信度指標。[16]平均方差提取量（Average Variance Extracted，簡稱AVE）可直接顯示被潛在變量所解釋的變異量有多少來自測量誤差，AVE值越大，相對測量誤差就越小。[17]一般判別標準是要大于0.5。AVE值在0.6016～0.6529之間，說明測量變量對潛在變量的解釋性較好。

（四）問卷結果分析

對“你對目前的在線考試總體上滿意嗎？（題項符號F1）”一題進行統(tǒng)計，統(tǒng)計結果如圖2所示。分析問卷初期統(tǒng)計結果，學生用戶對在線考試滿意度評價均值為3.47（滿分為5），滿意程度一般，因此有必要繼續(xù)采取結構方程模型分析法，得出各變量對總體滿意度的影響程度及影響力大小，進而針對影響力較大的變量提出改進措施，以提升在線考試總體滿意度。

（五）模型檢驗與修正

以“試卷管理（A）”為潛在變量，A1、A2、A3、A4、A5、A6為觀察變量，在AMOS軟件中設計并分析測量模型A，如圖3所示。結果顯示：模型路徑系數(shù)均大于0.5，但顯著性系數(shù)P=0.000<0.05、自由度卡方比值=5.724>3、AGFI=0.865<0.9、RMSEA=0.126>0.08，未達適配指標的臨界值，該測量模型需要進行模型修正。同理，在AMOS軟件中分別將“考試環(huán)境（B）”“試題安排（C）”“考試公平（D）”“考試便捷（E）”作為潛在變量，對應以B1-B4、C1-C4、D1-D4、E1-E4作為觀察變量設計測量模型B、測量模型C、測量模型D、測量模型E。

修正假設模型A：觀察AMOS Output中的Modification Indices（修正指標）發(fā)zz現(xiàn)假設模型A中測量變量A1的測量誤差e1同測量變量A6的測量誤差e6間存在共變關系，測量變量A5的測量誤差e5同測量變量A6的測量誤差e6也存在共變關系。為降低卡方值，改善各個適配指標值以達模型適配，可添加一個雙向箭頭來釋放測量誤差間共變關系，或刪除某一測量變量及其誤差[18]。模型A修改后如圖4所示，各適配指標均達適配標準，表示模型契合度良好。以此標準，分別檢驗和修正假設模型B、假設模型C、假設模型D、假設模型E。

當假設模型A、B、C、D、E均達到適配標準后，設計滿意度假設模型F如圖5所示。導入數(shù)據(jù)后發(fā)現(xiàn)模型某些適配指標低于臨界值，經模型修正后，模型能夠收斂識別，如圖6所示，因此可根據(jù)模型路徑系數(shù)和Output Text（AMOS輸出文檔）中相關適配指標系數(shù)得出結論[19]。

（六）影響因素分析

觀察圖6，五個潛在變量與滿意度變量路徑上的值是指變量轉化為標準分數(shù)后計算得出標準化路徑系數(shù)[20]，從直接效應來看，“考試環(huán)境（B）”對在線考試滿意度影響最大，“試卷管理（A）”對在線考試滿意度影響最小，影響能力第二到第四的分別是“試題安排（C）”“考試便捷（E）”“考試公平（D）”。

本模型中，表示測量變量對潛在變量的貢獻率和影響力越大，因素負荷量值介于0.50～0.95之間最優(yōu)。[21]

按照潛在變量影響力大小順序來看，潛在變量“考試環(huán)境（B）”的測量變量中，因素負荷量大于0.8的有B2（校園考場的硬件環(huán)境）=0.91，B3（考試平臺的操作與實用環(huán)境）=0.86;潛在變量“試題安排（C）”的測量變量中，因素負荷量大于0.8的有C3（簡答、論述類主觀題數(shù)量）=0.87，C4（選擇、判斷類客觀題數(shù)量）=0.97;潛在變量“考試便捷（E）”的測量變量中，因素負荷量大于0.8的有E2（考試設備不限，可自行選擇）=0.80，E4（考試場地不限，可自行選擇）=0.90;潛在變量“考試公平（D）”的測量變量中，因素負荷量大于0.8的有D2（集中統(tǒng)一考試）=0.81，D3（考試采用局域網）=0.90;潛在變量“試卷管理（A）”的測量變量中，因素負荷量大于0.8的有A2（隨機組卷）=0.89，A3（客觀題電腦自動評閱，主觀題教師手動評閱）=0.85。

此外，潛在變量“考試公平（D）”與“考試便捷（E）”間系數(shù)為0.81，表示兩潛在變量間存在相關性，其原因是在線考試的便捷性很大程度上會影響在線考試的公平性，如考試場地不受限制，在便捷的同時可能會出現(xiàn)作弊現(xiàn)象，影響考試公平。潛在變量“試卷管理（A）”與“考試環(huán)境（B）”間、e4與e5、e10與e11等誤差變量間也存在一定相關性，在提出改進策略時需兼顧考慮。

三、改進與反饋

（一）改進策略

按潛在變量影響力大小順序，依次對每個潛在變量下因素負荷量大于0.8的測量指標提出改進策略，并對改進策略進行問卷回訪，檢驗改進策略能否提升學生在線考試總體滿意度。

（1）考試環(huán)境方面：考試環(huán)境的改進主要分為考場環(huán)境和考試平臺環(huán)境。一是考場的硬件設施需要改善。經調查發(fā)現(xiàn)，高校機房設施多為老舊電腦，學生體驗感較差，建議高校及時更新“老舊壞”設備。二是考試平臺操作性、實用性需要提高?？荚嚻脚_作為在線考試最重要的一環(huán)，除了要易于操作，還要便于學習，甚至可以打造成集作業(yè)、復習、練習、測驗、考試于一體的綜合學習平臺。

（2）試題安排方面：試題安排的改進主要考慮題型設置是否合理。一是考慮到學生信息素養(yǎng)能力（如打字速度）存在差異，因此簡答、論述等主觀題數(shù)量不宜設置過多。此外，如果主觀題數(shù)量過多，容易出現(xiàn)錯別字，增加學生抵觸情緒。二是在線考試題型應更多傾向或轉化為選擇、判斷類客觀題型，如計算題可轉化為選擇或填空題，計算題需要煩瑣的計算公式和步驟，在線操作不方便，學生仍需在草稿紙上計算，導致在線考試的價值無法全部體現(xiàn)。

（3）考試便捷方面：考試便捷性的改進主要體現(xiàn)在如何選擇考試時間、考試場地和考試設備。一是考試設備不限，可自行選擇。在線考試設備的不限制，會直接影響考試場地的選擇，如使用手機、平板電腦等移動設備進行在線考試，意味著隨時隨地都可進行考試，極大地提升了在線考試的便捷性。二是考試場地不限，可自行選擇?？荚噲龅氐牟幌拗拼蚱屏丝荚嚤仨毥y(tǒng)一考場的傳統(tǒng)，能節(jié)省部分資源，但如何提高考試公平性仍待解決，因此目前便捷性的改進更適合平時測驗和課后作業(yè)等非正式考試。

（4）考試公平方面：考試公平性的改進主要體現(xiàn)在如何有效控制作弊現(xiàn)象。一是仍需集中統(tǒng)一考試。雖然在線考試提供了隨時隨地參加考試的可能，但涉及期末考試或其他重要考試時仍需統(tǒng)一時間和場地，這樣既便于管理，又能有效抑制作弊，保證考試公平。二是考試可采用無互聯(lián)網連接的局域網，學生登錄學生端，在同一網絡下考試，教師登錄教師端，實時監(jiān)控與提醒。

（5）試卷管理方面：試卷管理的改進主要分為出題和評閱兩方面。出題方面，可采用隨機組卷，在保證題型相同時題目不同，類似A、B卷，或在保證題目相同時題目順序不同。評閱方面，為提高試卷評閱的準確性，客觀題由電腦自動評閱，主觀題由教師手動評閱。

（二）效果反饋

在對提出的五方面進行策略改進后，對同一批受訪對象中兩個班級的學生進行跟蹤問卷調查，問卷設置仍采用李克特量表五點計分法，問卷發(fā)放116份，回收有效問卷107份，問卷指標體系如表4所示。

對問卷數(shù)據(jù)進行統(tǒng)計，統(tǒng)計結果如圖7所示，和提出改進策略前總體滿意度相比，提出改進策略后，總體滿意度平均分值為4.4，較之前的3.47有顯著提升。

四、結論

本研究在理論與數(shù)據(jù)的支持下，構建了基于高校學生用戶的在線考試滿意度結構方程模型，針對模型分析所得出的結論，分別從考試環(huán)境、試題安排、考試便捷、考試公平、試卷管理方面提出了五大改進策略，在提出改進策略后的跟蹤調研中發(fā)現(xiàn)，以上五個方面的改進策略能有效促進在線考試的優(yōu)化升級，提高在線考試的效益水平，提升學生在線考試的綜合滿意度。

參考文獻

[1]譚紅春，金力，高潔.通用在線考試系統(tǒng)的開發(fā)與設計[J].齊魯工業(yè)大學學報（自然科學版），2016，30（5）：51-54.

[2]GUO P，YU H F，YAO Q.The Research and Application of Online Examination and Monitoring System[C]//IEEE Inter-national Symposium on It in Medicine and Education.IEEE，?2011：497-502.

[3]ULLAH A，XIAO H，LILLEY M.Profile Based Student Authen-tication in Online Examination[C]//International Conference? ?on Information Society.IEEE，2012：109-113.

[4]厲浩，何建敏，佘明.高校招生考試滿意度的測度模型與實證分析[J].統(tǒng)計與決策，2015，（18）：109-113.

[5]陳巧云.基于結構方程模型的高校教育信息化學生評價研究[J].電化教育研究，2016，（8）：78-85.

[6]楊文正，熊才平，丁繼紅，等.教育信息資源質量滿意度影響因素及機制研究：基于296份中學教師調查問卷的結構方程模型分析[J].中國電化教育，2014，（5）：104-112.

[7]方旭，崔向平，楊改學.慕課學習支持服務滿意度研究：基于結構方程模型的視角[J].開放教育研究，2016，22（5）：76-85.

[8]朱俊亞.用戶滿意度影響因素研究：基于產品創(chuàng)新的視角[D].成都：西南交通大學，2017.

[9]WIRTZ J，LEE M C.An Examination of the Quality and Con-text-Specific Applicability of Commonly Used Customer Satis-faction Measures[J].Journal of Service Research （S1094-6705），2003，5（4）：345-355.

[10]吳明隆.結構方程模型[M].重慶：重慶大學出版社，2012.

[11]程開明.結構方程模型的特點及應用[J].統(tǒng)計與決策，2006，（10）：22-25.

[12]榮泰生.AMOS與研究方法[M].重慶：重慶大學出版社，2009.

[13]KLINE R B.Principles and Practice of Structural Equation Modeling[J].Journal of the American Statistical Association（S0162-1459），2011，（12）：101.

[14]Fornell Claes.A National Customer Satisfaction Barometer：The Swedish Experience[J].Journal of Marketing （S0022-2429），1992，56（1）：6-21.

[15]JAMIESON S.Likert Scale：How to （ab）Use Them[J].Medical Education（S0308-0110），2005，38（12）：1217-1218.

[16]張虎，田茂峰.信度分析在調查問卷設計中的應用[J].統(tǒng)計與決策，2007，23（21）：25-27.

[17]OHBA M.Software Reliability Analysis Models[J].IBM Journal of Research and Development（S0018-8646），1984，28（4）：428-443.

[18]吳明隆.結構方程模型：AMOS的操作與應用[M].重慶：重慶大學出版社，2009.

[19]邱皓政，林碧芳.結構方程模型的原理與應用[M].北京：中國輕工業(yè)出版社，2009.

[20][21]溫忠麟，侯杰泰，馬什赫伯特.結構方程模型檢驗：擬合指數(shù)與卡方準則[J].心理學報，2004，36（2）：186-194.

（責任編輯 喬磊）

Abstract： Constructing students’online test satisfaction model，analyzing the influence of variables on satisfaction，and then proposing improvement strategies have important theoretical and practical significance for improving the quality of online exams. In this study，300 students from a university in Chongqing were selected as research subjects.Data were collected by sending questionnaires; statistical data were analyzed using SPSS and AMOS software，and then path analysis was performed using structural equation modeling.The results of statistical analysis show that the overall satisfaction of college students’online exams is moderate.The results of structural equation model path analysis show that the potential variable“test environment”has the greatest impact on overall satisfaction， and the potential variable“test paper management”has the least impact on overall satisfaction.The follow-up survey found that the corresponding recommendations and improvement measures for the measurement variables with large load factors under various potential variables can effectively improve students’online test satisfaction.

Key words： online test;satisfaction;structural equation modeling