俞婉琦　吳夢吟　李秀央

摘要：目的：構建研究生學位論文質量評價指標體系，改進現(xiàn)有評價標準。方法：邀請12名相關領域專家作為調查對象，應用Delphi法對初步構建的研究生學位論文質量評價指標體系進行3輪咨詢，利用層次分析法確定指標權重并建立綜合評價模型，同時采用秩和比綜合評價法進行實測評價以分析指標體系的科學性。指標體系的信度評價采用Cronbach α系數(shù)，效度評價采用探索性因子分析方法。數(shù)據(jù)分析采用IBM SPSS 20.0統(tǒng)計軟件，以P≤0.05為具有統(tǒng)計學意義。結果：本研究構建了由9個一級指標和52個二級指標構成的指標體系。指標體系整體內部一致性信度高（Cronbach α=0.902），探索性因子分析共提取6個因子，分別命名為“文字表述”、“研究方法”、“資料分析”、“寫作規(guī)范”、“文獻綜述”、“選題”，累計貢獻率為50.32%。該指標體系的實測評價結果與秩和比綜合評價法結果呈正相關（r=0.942，P<0.05）；秩和比綜合評價法回歸方程為R？譓R=0.100+0.080×Probit，根據(jù)Probit值將實測對象分為優(yōu)秀、良好、及格和不及格四檔。結論：本研究建立的指標體系專家認可程度高，整體信度較好，結構效度尚不理想，且與傳統(tǒng)的秩和比綜合評價法結果一致性高，說明該指標體系整體上科學、合理、有效，具有應用價值。

關鍵詞：學位論文；質量評價；層次分析法；綜合評價

中圖分類號：G642.477 文獻標志碼：A 文章編號：1674-9324（2018）35-0037-05

研究生學位論文（Graduate Degree Thesis）是高等學校或研究機構的研究生為取得學位，在導師指導下完成的科學研究、科學實驗成果的書面報告。其作為連接理論和實踐的紐帶[1]，是研究生就學期間最重要的一項任務，它不僅匯聚了研究生對所學知識的理解和運用，更反映了研究生的工作實踐能力和科研技術水平，是衡量高校研究生培養(yǎng)水平最重要的標志[2]。因此，如何科學、客觀地評價研究生的學位論文質量至關重要。目前國內高?，F(xiàn)行的學位論文質量評價方法存在評價指標粗略、評分標準模糊、受評審專家主觀因素影響較大等問題[3-5]，急需一套客觀、科學、全面的指標體系和評價方法。本研究在深入了解研究生學位論文的特點及內涵的基礎上，運用Delphi法、層次分析法及秩和比法建立學位論文質量評價的指標體系和綜合評價模型，為研究生學位論文質量評價提供標準和測量工具。

一、對象與方法

1.對象。根據(jù)Delphi法開展研究，邀請符合以下條件的12名相關領域的專家作為調查對象。

（1）從事高等教育或科研工作10年及以上。

（2）中級技術職稱及以上，碩士學歷及以上。

（3）對本研究積極性較高，愿意參加2—3輪專家咨詢。

（4）愿意支持研究生學位論文質量評價研究，能夠從不同視角提供意見及建議。

2.方法。

（1）指標篩選。本研究在2016年3—10月期間采用Delphi法對達到入選標準的專家進行三輪問卷調查，調查采用面呈及電子郵件的形式進行。專家資訊問卷采用李克特5點量表的形式，5分為“絕對必要”，4分為“必要”，3分為“無所謂”，2分為“不必要”，1分為“絕對不必要”。專家意見的集中和離散程度通過專家打分的滿分頻率（K）、算術均數(shù)■、標準差（s）、變異系數(shù)（CV）進行評價。對指標按如下規(guī)定進行篩選：①滿分頻率K≥50%，認為該指標必要程度高，可保留。②某項指標得分的算術均數(shù)■≥4，認為必要程度高；3≤■<4，結合滿分頻率和變異系數(shù)判斷是否剔除；■<3，剔除該指標。③某項指標變異系數(shù)CV≤0.25，認為專家意見一致性較好；CV>0.25時結合滿分頻率和算術均數(shù)判斷是否剔除該指標。

（2）權重確定。本研究利用層次分析法（Analytic Hierarchy Process，簡稱AHP）確定指標權重，采用1—9Saaty標度，根據(jù)Delphi法得出的專家對各指標的重要性賦值均數(shù)進行兩兩比較（見表1）。假設Zij、Zik分別為某一層次中任意兩個指標的重要性分值，根據(jù)兩者的差值確定Saaty標度的規(guī)定如下：若0.25≥Zij-Zik，Zij與Zik同樣重要，Saaty標度取1；若0.25

根據(jù)上述規(guī)則，構造各層指標的判斷矩陣，確定指標權重，并檢驗其邏輯一致性。

（3）實測評價。本研究以2008—2015學年的研究生學位論文作為實測對象。其中，國內碩博論文通過浙江大學圖書館購買的中國知網(wǎng)（CNKI）數(shù)據(jù)庫進行檢索，國外研究生學位論文通過OADT國際碩博學位論文發(fā)現(xiàn)系統(tǒng)獲得。

樣本含量計算公式如下：n=■×deff （1）

式中π=50%，α=0.05，允許誤差δ=10%π，復雜抽樣的隨機效應deff=1.5。

本研究采用分層隨機抽樣法，國內研究生學位論文根據(jù)研究生的學科、導師職稱、學位名稱、出版時間進行分層隨機抽樣；國外研究生學位論文按研究生的學位名稱和出版時間進行分層。

（4）統(tǒng)計方法。采用Epidata3.1建立研究生學位論文實測評價數(shù)據(jù)庫。計量資料如服從正態(tài)分布，以x±s表示，否則M（QR）表示，計數(shù)資料用頻數(shù)、率和（或）構成比表示。專家咨詢采用Delphi法，確定權重采用層次分析法（AHP），綜合評價采用秩和比法（RSR），調查表的信度檢驗采用Cronbachα系數(shù)，效度評價采用探索性因子分析方法。層次分析法計算指標權重采用YAAHP10.5軟件，數(shù)據(jù)統(tǒng)計采用IBM SPSS Statistics 20.0統(tǒng)計分析軟件，以P<0.05為差異有統(tǒng)計學意義。

（5）質量控制。數(shù)據(jù)采取雙錄入，所有評閱文章均由作者按統(tǒng)一的調查表進行評閱，并由另一作者復核，如兩者評閱結果不同則由項目小組進行討論決定。

二、結果

1.咨詢結果可靠性分析。

（1）專家的基本情況。本研究共邀請了12位專家進行問卷咨詢，其中男性10名，女性2名，平均年齡（51.0±8.4）歲，均滿足中級職稱以上、與相關專業(yè)領域相關等基本要求。專家的主要領域是衛(wèi)生統(tǒng)計學（33.3%）、流行病學（25.0%）、勞動衛(wèi)生學、社會科學、全球定位系統(tǒng)、預防醫(yī)學、中醫(yī)學。在教學科研單位工作的有11人，占91.7%；醫(yī)療機構1人，占8.3%。各專家對于研究生學位論文的質量評價的熟悉程度均較高。

（2）專家的積極系數(shù)。專家積極系數(shù)以問卷回收率表示。第一輪函詢發(fā)放問卷12份，回收有效問卷12份，有效回收率為100%；第二輪函詢發(fā)放問卷12份，回收有效問卷12份，有效回收率為100%；第三輪函詢發(fā)放問卷12份，回收有效問卷12份，有效回收率為100%。

（3）專家意見協(xié)調程度。專家意見協(xié)調程度以肯德爾系數(shù)表示。三輪專家咨詢的專家評分協(xié)調系數(shù)如表3所示。三輪咨詢的專家協(xié)調系數(shù)依次為0.313（χ2=326.366，P<0.01）、0.192（χ2=154.318，P<0.01）、0.267（χ2=151.224，P<0.01），均具有統(tǒng)計學意義。

2.指標體系及權重確定。

（1）指標篩選。第一輪專家咨詢問卷包括9個一級指標、88個二級指標，以本輪專家咨詢打分結果為基礎，結合專家對指標所提的意見，共剔除了20個指標，調整1個指標，得到新的指標體系，共包括9個一級指標和68個二級指標，并以此為依據(jù)制定第二輪專家咨詢表。結合第二輪專家咨詢結果，共剔除3個重復指標和1個必要程度低的指標，得到由9個一級指標和64個二級指標組成，并以此為依據(jù)制定第三輪專家咨詢表。第三輪專家咨詢后剔除5個必要程度低的指標，合并6個重復指標，剔除2個重復指標，將一級指標“文獻綜述”整體調至一級指標“討論”之后、一級指標“其他注意問題”之前，使評分順序與閱讀順序相符，同時修改部分指標表述方式，使語義一致。最終得到由9個一級指標、52個二級指標構成的研究生學位論文質量評價指標體系。

（2）權重確定。根據(jù)專家對各指標的重要性賦值均數(shù)構建判斷矩陣，計算各級指標權重及組合權重，最終指標體系的權重設置、指標評分標準見表4。其中，各級指標判斷矩陣的一致性比例CR均小于0.1。

3.實測評價。

（1）指標體系信度。本研究共抽取642份研究生學位論文進行實測評價，指標體系整體Cronbach α系數(shù)為0.902，各一級指標的信度見表5。

（2）指標體系效度。為判斷觀測變量是否適合做因子分析，首先進行適當性檢驗，結果顯示KMO=

0.825，Bartlett球形檢驗P<0.001，表明指標間存在公共因子，適合進行因子分析。采用最大方差正交旋轉法分析結構效度，以特征根值λ>1的標準提取因子，共提取6個因子，累計貢獻率為50.32%，見表6。

（3）秩和比法評價結果。將642篇實測論文按52個指標得分由低到高分別排秩，計算得到無量綱統(tǒng)計量秩和比（Rank Sum Ratio，RSR），根據(jù)RSR由高到低將實測論文進行排序。計算得到回歸方程：R？譓R=

0.100+0.080×Probit，方程決定系數(shù)R2=0.953，F(xiàn)=

13090.709，P<0.001。根據(jù)回歸方程將實測對象進行分檔，Probit>6.50為優(yōu)秀，5.00

（4）綜合評價結果相關性分析。綜合以上兩種綜合評價模型結果，本研究制定的研究生學位論文質量綜合評價模型與秩和比法的排序結果不完全一致，但將兩種方法得到的排序結果進行相關性分析，得到綜合評價模型與秩和比法的相關系數(shù)r=0.942，P<0.05，可以認為兩種方法的排序結果呈正相關。

三、討論

1.指標體系的科學性。本研究構建了一套由9個一級指標和52個二級指標構成的研究生學位論文評價體系，其理論框架、形成過程、指標篩選和權重配比均具有一定的科學性。首先，本研究以研究生學位論文質量要求、寫作規(guī)范為導向，以研究生學位論文的構成要素為基礎，從科研設計的原則和要素的角度出發(fā)，構建了一套條目較為細致、評價標準相對客觀的指標體系，與以往的研究有較大的不同[6-8]。其次，本研究先后采用了文獻研究法、Delphi法和層次分析法建立指標體系和綜合模型，并首次采用秩和比法對研究生學位論文進行了質量評價，這些方法均較為成熟，所得結果可靠。最后，指標篩選和權重計算結果顯示，本研究在進行研究生學位論文質量評價時對論文的創(chuàng)新性和科研設計兩方面的重視程度較高，這一結果與部分已有的研究相契合[9-11]。此外，本研究通過實測評價，利用科學的方法對指標體系的信度和效度進行了分析，這一部分內容僅在極少部分研究中有所報道[12]。本研究所構建的指標體系整體具有極好的內部信度，但部分一級指標下屬子指標內部信度較弱。究其原因，可能是由于本研究所制定的指標體系是以研究生學位論文的一般結構為基礎，因此每個一級指標下所包含的子測度之間并不同質，但整體指標體系主要從選題、研究方法、資料分析、文字表達、寫作規(guī)范、綜述等角度出發(fā)設置，因此產生了上述結果。而在效度方面，雖然提取出的因子符合理論構想，但其對結果的解釋度并不高，且少數(shù)指標與公共因子的從屬關系難以解釋，因此指標仍有增刪和修改的空間。除此之外，本研究同時還利用秩和比綜合評價法抽取的論文樣本進行實測評價，所得結果與本研究構建的模型評價結果相關性較強，可以認為本指標體系的權重設置較為合理，而該方法在國內研究生學位論文質量評價的研究中尚未見報道。

2.指標體系的可行性。在對現(xiàn)有學位論文質量評價的研究中，根據(jù)研究對象范圍的不同，大致可分為兩種類型：一種是面向所有學科的學位論文，這些研究大多僅設立了粗略的指標和模糊的評分標準[13]；另一種則是針對某些學科或專業(yè)所制定的指標，能夠最大程度地貼合該專業(yè)的特點及需求，但其適用范圍較小，且在不同學科之間無法進行橫向比較[14]。本研究結果與上述兩種類型的評價體系均有所不同，研究者力圖以客觀、細致的指標去評價所有學科的學位論文，使其評價結果盡可能標準、科學，并且能在不同學科之間相互比較。本體系中的大部分指標均能夠適用于各個學科，使用時只需逐條計分即可，操作性較強。但由于本研究是從科研設計和統(tǒng)計學的角度出發(fā)，而部分學科（例如人文和經管的部分學位論文）并不涉及科研，因而少數(shù)指標（例如“具體說明所使用統(tǒng)計分析方法”、“給出描述性統(tǒng)計指標”等）對其不適用，仍需要修改和完善。

3.進一步研究計劃。為了進一步加強該體系的科學性和適用性，擬定進一步研究計劃如下：首先，針對某些指標適用范圍有限的問題，可考慮邀請更多學科的專家進行討論，進一步對指標進行篩選和修正。其次，該指標體系中仍有部分指標的評分標準較為模糊，可通過咨詢專家意見對各個指標的評分進行量化處理，強調評分的客觀性和可操作性，加強不同評審專家評審結果的可比性。最后，根據(jù)指標體系研制研究生學位論文質量管理評價系統(tǒng)，該系統(tǒng)依托于計算機技術，可實現(xiàn)研究生學位論文評審、管理等相關功能，提高學位論文質量管理的工作效率。

參考文獻：

[1]Rowley J.Slack F.What is the Future for Undergraduate Dissertations？[J].Education and training，2004，46（4）：176-181.

[2]姚秀穎，李秀兵，陸根書，吳宏春. 研究生學位論文質量影響因素研究[J].學位與研究生教育，2008，（1）：2-6.

[3]劉穎，孫火斤，吳振一.博士學位論文評估的實踐與思考[J].學位與研究生教育，2000，（4）：26-29.

[4]王戰(zhàn)軍.學位與研究生教育評估技術與實踐[M].北京：高等教育出版社，2000：28-45.

[5]雷亞萍.研究生學位論文的模糊綜合評價方法[J].西安科技學院學報，2003，（9）：331-334.

[6]楊培濤，譚駿珊，王帥，蘇慧.碩士學位論文質量評價模型構建研究[J].中南林業(yè)科技大學學報（社會科學版），2012，（06）：217-220.

[7]蒲利春，冉秦翠.研究生學位論文質量評估的量化系統(tǒng)研究[J].上海教育評估研究，2016，（03）：56-59.

[8]管祎，夏品奇.博士學位論文評價體系的統(tǒng)計分析與合理制定[J].學位與研究生教育，2010，（05）：29-32.

[9]孔范龍，李悅，曲麗麗，郗敏，吳健敏，張清磊.專業(yè)學位研究生學位論文質量體系研究——以環(huán)境工程專業(yè)為例[J].高師理科學刊，2013，（03）：113-116.

[10]李曼菁，段萬春.基于AHP和模糊綜合評價的工程碩士學位論文質量評估[J].中國市場，2011，（09）：125-127，132.

[11]程姍姍，趙秋利，仰曙芬，李永泉，賀長治，孔繁瑩，馬江平，劉爽，王艷秋.護理學碩士研究生學位論文評價指標體系的構建[J].護理學雜志，2016，（01）：10-13.

[12]肖華茵.基于結構方程模型的碩士學位論文質量評價——以江西省高校為例[J].教育學術月刊，2016，（04）：55-60.

[13]李霞.基于AHP的法學碩士學位論文綜合評價方法及應用[J].價值工程，2012，（04）：212-214.

[14]林予松，樊波，齊鑫焱.工程碩士論文評價體系關鍵問題研究——以鄭州大學為例[J].河南教育（高教），2014，（02）：52-54.