曾志嶸　師璐　陳敏生

摘要：在對大學第三方評價進行綜合研究和比較分析的基礎上，提出大學第三方指數(shù)的概念構想，通過指數(shù)理論建立計算模型與規(guī)則對入選的大學第三方評價信息進行整合和運算，構建了大學第三方指數(shù)。大學第三方指數(shù)用以綜合反映多個大學第三方評價同時作用于一所大學的情況，為總體分析大學在第三方評價中的狀態(tài)與趨勢提供了一個新的角度和方法。通過多角度地挖掘與分析數(shù)據(jù)，大學第三方指數(shù)的綜合指數(shù)、專項指數(shù)可以用于計算生成大學發(fā)展競爭力報告、基于區(qū)域內(nèi)大學表現(xiàn)的高等教育競爭力報告等，為大學改革發(fā)展規(guī)劃、區(qū)域高等教育發(fā)展戰(zhàn)略等提供第三方評價的大數(shù)據(jù)分析和比較。

關鍵詞：大學排名;大學第三方指數(shù);構建;應用

高校的辦學水平與發(fā)展狀態(tài)，是高等教育質量的風向標。隨著高等教育步入大眾化階段，政府、社會、行業(yè)、學生、家長、同行等利益相關方對其高度關注，因此迫切需要有更加全面、客觀、精準的信息來評價和判別高等教育發(fā)展水平?！秶抑虚L期教育改革和發(fā)展規(guī)劃綱要（2010-2020年）》中提出，“鼓勵專門機構和社會中介機構對高等學校學科、專業(yè)、課程等水平和質量進行評估”[1]。在高等教育評估的大環(huán)境下，不斷創(chuàng)新和完善第三方評價的方法、方式，通過第三方組織和機構來評估高校的辦學質量、發(fā)展趨勢和競爭力，為利益相關方提供更加全面、客觀和獨立的視角，是大學第三方評價研究的價值目標。

一、大學第三方指數(shù)的概念構想

當前，各類大學第三方評價不斷涌現(xiàn)，在實踐中不斷完善并取得了長足的發(fā)展。國內(nèi)外主要的、比較受重視的和關注度較高的第三方評價，主要是針對大學整體水平和關鍵領域而發(fā)布的各種類型的排行評價。國內(nèi)外第三方排名機構，都建立了各自的評價指標和數(shù)據(jù)庫，從不同的角度對大學進行評價[2][3]，使大學的辦學質量與水平越來越透明。第三方評價信息越來越受關注，為政府部門、社會各界、行業(yè)、學生及家長等提供了審視和了解大學發(fā)展狀況的一個相對中立的角度，在一定程度上成為了對大學進行分類定位、資源配置和重點建設的重要參考因素，成為了社會和行業(yè)遴選人才的重要參照，成為了家長和學生選擇學校的重要影響因素。然而，各類第三方評價主體都有其特定的價值取向，評價維度與評價方式各不相同，評價質量與評價結果各有所異;不同機構開展的第三方評價也存在著信息不對稱、不共享等問題，各個孤立的評價信息，形成了一個新的整體概念和整體局面缺乏現(xiàn)象，帶來了新的數(shù)據(jù)不對稱和評價信息碎片化問題，在一些時候，讓主管部門、大學和其它利益相關方一時難以判斷，有些大學的排名結果甚至在不同排行榜中呈現(xiàn)出“冰火”兩重天的現(xiàn)象，猶如在一個十字路口，同時出現(xiàn)眾多的指路牌。

隨著各類第三方評價的方法與結果越來越公開透明，第三方評價的原始信息也越來越具有較強的可獲得性，政府、高校和學術領域都希望并嘗試對第三方評價的綜合解讀與比較，呈現(xiàn)出對第三方評價結果進行整合和研究趨勢。目前，大多數(shù)研究主要以數(shù)據(jù)的直接描述和簡單比對分析為主，需要探索一個比較好的綜合比較方法。大學第三方指數(shù)研究課題組開展了相關的研究并取得積極的成效，課題組通過綜合分析第三方評價信息，建立了一套研究方法、計算模型和運算規(guī)則，嘗試將標準不一、內(nèi)容各異、權重不同的第三方評價數(shù)據(jù)進行整合和運算，形成一個能夠更加全面地、客觀地呈現(xiàn)大學的總體第三方評價狀態(tài)的指數(shù)，我們將其定義為大學第三方指數(shù)（Third-party University Ranking Indexes，簡稱TUI）。通過第三方指數(shù)的得分情況，能夠反映出大學獲得的第三方評價的總體信息和狀態(tài)，能夠減少單一評價信息的偏倚，能夠對大學的整體辦學水平與質量進行更為合理的第三方評價的綜合比較和分析。

二、大學第三方指數(shù)構建的價值目標

大學第三方指數(shù)構建的目的在于對各類第三方評價進行整合分析及綜合評價，而不是重新構建一套指標體系，其核心價值是反映多個大學第三方評價同時作用于一所大學的情況，并嘗試使評價的維度和內(nèi)涵更加契合大學的社會職能與大學使命、符合國內(nèi)外高等教育發(fā)展的新趨勢，更加客觀、全面、合理地幫助利益相關方在眾多的第三方評價中進行綜合判斷與解讀。

（一）大學第三方指數(shù)致力于客觀反映當前大學第三方評價的總體趨勢

當前，各個第三方機構的評價對象各不相同、評價角度各有側重、評價質量參差不齊、評價結果各不相同，信息發(fā)布的時間、空間、形式具有多樣化和分散性等特點?？傮w上包括“對大學綜合發(fā)展實力的排名評價”“對大學科研能力、學科水平、教學質量等專項領域的排名評價”。通過對當前大學第三方評價的綜合性、系統(tǒng)性研究，對各類第三方評價體系的價值取向、指標體系、評價趨勢和評價結果的比較研究，經(jīng)過前期的計算機模擬，創(chuàng)建了計算模型和方法，將入選的第三方評價信息進行整合和運算，計算出大學第三方指數(shù)得分，反映多個第三方評價同時作用于一所大學的狀態(tài)與趨勢。

（二）大學第三方指數(shù)內(nèi)涵設計致力于客觀反映大學社會職能和大學使命

以當前各類第三方評價的價值取向為參考基礎，研讀高等教育領域的相關政策以把握國內(nèi)高等教育的時代背景與緊迫任務，同時結合高校工作人員的態(tài)度傾向，在第三方指數(shù)內(nèi)容維度的設計中，整體上圍繞著大學的社會職能與基本使命，以及國內(nèi)外高等教育發(fā)展的新趨勢。根據(jù)大學社會職能和大學使命設定的內(nèi)容維度，對入選的大學排行榜評價指標及權重進行分揀與分配，計算相關的大學排名數(shù)據(jù)在第三方指數(shù)合成中的權重系數(shù)，反映出各類第三方評價對大學社會職能和大學使命的綜合評價結果。

（三）大學第三方指數(shù)的計算結果與呈現(xiàn)形式致力于對接“用戶”需求

為幫助利益相關方在眾多的第三方評價中進行綜合判斷與解讀，第三方指數(shù)的結果呈現(xiàn)形式與數(shù)據(jù)挖掘運用是需要研究和探討的關鍵點。本研究立足于高校、政府、社會、行業(yè)、學生及家長等不同用戶群體的需求，嘗試全方位、多角度地發(fā)布第三方指數(shù)的計算結果，并對大學第三方指數(shù)的計算結果進行挖掘，用于綜合分析大學的發(fā)展狀態(tài)和競爭水平、綜合分析大學發(fā)展水平對區(qū)域高等教育競爭力的貢獻度等等。在此基礎上，形成對大學改革發(fā)展規(guī)劃、區(qū)域高等教育發(fā)展戰(zhàn)略進行第三方評價的大數(shù)據(jù)分析報告和政策評價報告，從不同角度滿足不同用戶的需求。

三、中國內(nèi)地高校第三方指數(shù)的構建與運用

從世界范圍來看，大學第三方評價主要包含認證、排行、評議三類模式。[4]國外對大學第三方評價的研究集中在認證和排行方面;在我國，“大學第三方評價”的出現(xiàn)及系統(tǒng)性研究起步較晚，對大學或高等教育的第三方評價主要表現(xiàn)為“一枝獨秀”的大學排名方式。大學第三方指數(shù)模型的構建是建立在對大學第三方評價綜合研究的基礎上，評價對象涵蓋了中國大學，評價結果以量化形式呈現(xiàn)。

（一）中國內(nèi)地高校第三方指數(shù)構建的方法學依據(jù)

指數(shù)理論為中國內(nèi)地高校第三方指數(shù)的構建提供方法學依據(jù)。對相關文獻資料進行研讀可知，指數(shù)是出于特定目的來選取若干具有代表性的指標，使用恰當?shù)姆椒▽⑵浜铣梢粋€顯現(xiàn)復雜社會現(xiàn)象在不同時間或空間變化情況的相對數(shù)。指數(shù)化研究最初在經(jīng)濟領域中萌芽[5]，目前不僅廣泛應用于金融投資、貿(mào)易經(jīng)濟、人類社會學、教育學等社會經(jīng)濟活動領域，而且也日益成為臨床醫(yī)學、氣象學、化學、農(nóng)業(yè)科學、數(shù)理統(tǒng)計學等自然科學領域的重要研究工具。指數(shù)的構建基于多種數(shù)理統(tǒng)計方法，需要根據(jù)研究目標在每一步選擇合適的方法。中國內(nèi)地高校第三方指數(shù)的構建參考指數(shù)編制的一般步驟，包括確定大學第三方評價綜合研究的主題，設立中國內(nèi)地高校第三方指數(shù)的評價內(nèi)容，確立中國內(nèi)地高校第三方指數(shù)內(nèi)容維度的權重，采集大學第三方評價數(shù)據(jù)，進行數(shù)據(jù)預處理，計算中國內(nèi)地高校第三方指數(shù)，評估與檢驗中國內(nèi)地高校第三方指數(shù)，形成中國內(nèi)地高校第三方指數(shù)分析報告等環(huán)節(jié)。

通過系統(tǒng)篩選與回顧高教領域的“指數(shù)”文獻發(fā)現(xiàn)，相關研究分別采用指數(shù)方法從不同角度探索高校的競爭力和發(fā)展水平：部分文獻以高校的辦學性質為劃分，通過建立評價體系對民辦高校、省屬高校的發(fā)展實力進行探究[6];也有一些文獻從方法模型角度，基于灰色系統(tǒng)理論、數(shù)據(jù)包絡分析法等建立高校的競爭力指數(shù)，并選取樣本高校進行實證分析[7];還有一些文獻對高校的發(fā)展領域進行劃分，從科學研究、學科建設等視角建立高校競爭力指數(shù)，并探索高校競爭力水平的提升路徑[8]?，F(xiàn)有文獻對高校競爭力指數(shù)相關問題的研究在理論和方法上不斷完善、在深度和層次上不斷拔高，為中國內(nèi)地高校第三方指數(shù)的構建提供了豐富的經(jīng)驗借鑒。

（二）中國內(nèi)地高校第三方指數(shù)內(nèi)容維度的設立

在綜合分析當前的大學第三方評價框架體系的基礎上，構建一個能夠客觀描述和比較各個大學第三方認可度的指數(shù)模型，將提供一個新的角度和方法，更加綜合、客觀地評測各個大學、不同類型高等教育和地區(qū)高等教育競爭力水平。中國內(nèi)地高校第三方指數(shù)內(nèi)容維度的設計綜合考慮大學第三方評價體系的價值取向、國內(nèi)高等教育的政策環(huán)境和實證調查結果。

1.立足第三方評價機構的關注點

通過分析國內(nèi)外排名機構發(fā)布的大學排行榜評價指標體系，發(fā)現(xiàn)當前各類排名涵蓋的評價領域圍繞著大學的基本職能和社會使命展開，并反映著國內(nèi)外高等教育的發(fā)展趨勢，主要包括：人才培養(yǎng)、科學研究、學科專業(yè)、社會影響、師資質量、國際化、服務社會等;其中科學研究、人才培養(yǎng)、學科專業(yè)、社會影響是第三方評價較為集中的領域。第三方指數(shù)構建的過程中，所納入的評價內(nèi)容主要來自于上述領域。

2.把握政府行政部門對高等教育質量的關注點

通過解讀2015年國務院印發(fā)的《統(tǒng)籌推進世界一流大學和一流學科建設總體方案》[9]可知，“建設一流師資隊伍”“培養(yǎng)拔尖創(chuàng)新人才”“提升科學研究水平”“傳承創(chuàng)新優(yōu)秀文化”“著力推進成果轉化”是重點建設任務。上述5項任務除了第4項外，其余4項均是可以量化的關鍵詞，在當前的各類大學第三方評價中有所體現(xiàn)，這些指標在構建大學第三方指數(shù)的內(nèi)容維度時得到充分反映。

3.參考高校工作人員對第三方評價的關注點

借助學術交流會議現(xiàn)場開展大學第三方評價相關調查的活動宣傳，對作為利益相關方的高校工作人員進行問卷調查。通過網(wǎng)絡調查平臺問卷星收集數(shù)據(jù)，調查結果顯示，人才培養(yǎng)、學科專業(yè)、社會影響和社會服務、學術科研、師資隊伍等是高校工作人員主要關注的排名領域。

通過上述研究和思考，最終在中國內(nèi)地高校第三方指數(shù)的模型架構中納入了各利益相關方都較為關注的人才培養(yǎng)、學科專業(yè)、社會服務和影響、科學研究、師資質量等，基于重新設定的這5個評價維度，經(jīng)過總結提煉、頭腦風暴、專家咨詢對各類大學綜合性排行榜指標和專項大學排行榜進行分揀與分配（見圖1和表1）。

（三）中國內(nèi)地高校第三方指數(shù)評價內(nèi)容的權重確立

1.中國內(nèi)地高校第三方綜合指數(shù)評價維度的權重確立

對相關的各類大學綜合性排行榜的指標權重與評價結果進行分析，并建立計算模型、運算方法與計分規(guī)則。當前的國內(nèi)外大學第三方評價總體上圍繞高等教育的人才培養(yǎng)、科學研究、社會服務三大職能展開，綜合性大學排名的評價體系中，往往將學科專業(yè)、教師隊伍等相關指標列入科學研究或人才培養(yǎng)領域的下設指標中。大學第三方綜合指數(shù)的計算模型中，根據(jù)所參考排行榜的評價內(nèi)容，以各個排行榜評價體系中人才培養(yǎng)、科學研究、社會服務和影響等相關指標的權重系數(shù)為基礎，綜合考慮所參考排行榜在3個評價領域的價值取向與權重設置趨勢，重新分配并計算各個大學排行榜在3個評價領域的加權平均權重值，加和計算各評價領域的權重值后得出各個綜合性排行榜的總權重系數(shù)，第三方綜合指數(shù)由相關的綜合性評價數(shù)據(jù)加權運算后進行標準化與線性處理得出（見表2）。

其中，T表示第三方指數(shù)的計算結果，Wi為第i項綜合性排名數(shù)據(jù)的權重系數(shù)，Xi為標準化處理后的第i項排名數(shù)據(jù)。

2.中國內(nèi)地高校第三方專項指數(shù)評價維度的權重確立

根據(jù)各個專項大學排行榜的評價內(nèi)容與評價結果，對相關的各個專項大學排行榜進行評價領域的劃分，建立計算模型、運算方法與計分規(guī)則。在對所參考的第三方專項評價數(shù)據(jù)進行分類后，采用主成分分析法計算得出各個專項排行榜的權重系數(shù)，加權計算專項排行榜的評價結果后進行標準化與線性處理得出大學第三方專項指數(shù)，包括人才培養(yǎng)第三方指數(shù)、科學研究第三方指數(shù)、學科建設第三方指數(shù)、教師隊伍第三方指數(shù)、大學社會服務和影響第三方指數(shù)（見表3）。

其中，S表示第三方專項指數(shù)的計算結果，Mi為第i項專項排名數(shù)據(jù)的權重系數(shù)，Yi為標準化處理后的第i項專項排名數(shù)據(jù)。

（四）中國內(nèi)地高校第三方指數(shù)的測算

1.大學第三方評價數(shù)據(jù)的采集

在教育部官方網(wǎng)站上，通過全國教育事業(yè)發(fā)展統(tǒng)計公報、高等教育統(tǒng)計數(shù)據(jù)等資料，篩選出31個?。▍^(qū)、市）普通高等院校的相關信息。在國內(nèi)外各類大學排名的發(fā)布網(wǎng)站上，分別采集2017年、2018年的4個面向國內(nèi)大學的第三方綜合評價數(shù)據(jù)、8個面向國際大學的第三方綜合評價數(shù)據(jù)和27個第三方專項評價數(shù)據(jù)。建立大學第三方評價數(shù)據(jù)庫，匯總各類排行榜的評價數(shù)據(jù)，將出現(xiàn)在所參考的各個排名中的大學作為第三方指數(shù)的評價對象，研究其在各種大學第三方評價共同作用下的結果。2017、2018年入選標準主要是教育部批準的具有招生資格的普通本科院校，不含軍事類高校和港澳臺地區(qū)高校。

2.數(shù)據(jù)清洗

為了保障所采集數(shù)據(jù)的質量，設置規(guī)范化的流程對相關數(shù)據(jù)進行清洗、整理等處理。部分大學或是未被列入排行榜的評價對象、或是排名信息未被公布而在個別排行榜中的評價數(shù)據(jù)存在缺失，為了全面地展現(xiàn)各個大學的發(fā)展水平，需要盡可能合理地填補這些大學在排行評價中的缺失值。以所采集排行榜中均有數(shù)據(jù)記錄的評價大學為樣本，根據(jù)原始數(shù)據(jù)的缺失模式來構造具有相同缺失率的數(shù)據(jù)集，分別用不同的插補方法對缺失數(shù)據(jù)進行處理，以此比較評估不同插補方法的效果。對于達到排名的評價標準而在個別排行結果中出現(xiàn)數(shù)據(jù)缺失的大學，根據(jù)插補效果最終選定多重插補法對這些大學的缺失數(shù)據(jù)進行填補。

3.數(shù)據(jù)標準化處理

由于不同排行榜對大學的評價方法不同、評價指標的計量單位不一致，各項指標數(shù)據(jù)之間的性質、量綱不統(tǒng)一，評價結果之間不具有可比性。在指數(shù)計算前，對各類大學排行榜的評價結果進行“極差標準化”處理，解決不同質指標數(shù)據(jù)的同質化問題，其數(shù)學公式為：

其中，Xj表示第j項評價數(shù)據(jù)的數(shù)值，Xj為第j項評價數(shù)據(jù)標準化后的結果;正向指標即越大越優(yōu)型指標，負向指標即越小越優(yōu)型指標，針對不同趨勢化的評價數(shù)據(jù)采用相應的公式進行處理，結果分布于0～1之間。為便于計算，本文將預處理后的排名數(shù)據(jù)統(tǒng)一乘以100，取值范圍在0～100之間。

4.中國內(nèi)地高校第三方指數(shù)的計算結果及運用

通過采集信息、建立大學第三方評價數(shù)據(jù)庫、進行數(shù)據(jù)預處理等環(huán)節(jié)，對相關的大學第三方評價數(shù)據(jù)進行加權運算，計算出2017年與2018年的大學第三方指數(shù)，2017年與2018年大學第三方指數(shù)的研究計算對象分別涵蓋了中國內(nèi)地31個省份的856所大學、866所大學，并根據(jù)計算結果形成中國內(nèi)地大學的第三方綜合指數(shù)、人才培養(yǎng)指數(shù)、科學研究指數(shù)、學科建設指數(shù)、師資隊伍指數(shù)、社會服務和影響指數(shù);入選大學中，理工類大學的數(shù)量最多，綜合類大學和師范類大學的數(shù)量分別位居第2和第3，政法類大學和體育類大學的數(shù)量相對較少。

在中國內(nèi)地高校第三方指數(shù)計算結果的基礎上，建立基于大學第三方指數(shù)的中國內(nèi)地一流大學和中國內(nèi)地高水平大學遴選標準，2017年48所大學入選中國內(nèi)地一流大學、85所大學入選中國內(nèi)地高水平大學，2018年50所大學入選中國內(nèi)地一流大學、87所大學入選中國內(nèi)地高水平大學;根據(jù)國內(nèi)大學教學學科的實踐，對評價大學進行類型劃分，分析了11大類院校的高等教育第三方綜合指數(shù)總分值競爭力及大學分類第三方綜合指數(shù)得分;按照行政區(qū)屬對評價大學進行劃分，分析了東北、華北、華東、中南、西南、西北等6大區(qū)域普通高等教育第三方綜合指數(shù)競爭力，以及內(nèi)地31個省（區(qū)、市）普通高等教育第三方綜合指數(shù)競爭力，以此了解基于區(qū)域內(nèi)高校第三方指數(shù)得分的區(qū)域普通高等教育競爭力水平。具體結果由南方+客戶端的南方號——“南方教育指數(shù)”[10]連續(xù)發(fā)布（見表4和圖2）。

四、結語

中國內(nèi)地高校第三方指數(shù)的構建和基于該指數(shù)的數(shù)據(jù)挖掘運用，為研究大學第三方評價提供了一種新視角。也為利益相關方能夠更加客觀、綜合、全面解讀各種第三方評價共同作用于同一所大學的結果，減少由單一排行榜評價帶來的偏倚，提供了一個新的方式和方法。中國內(nèi)地高校第三方指數(shù)的研究在信息的利用、數(shù)據(jù)的清洗、指數(shù)模型的設計、數(shù)據(jù)的挖掘等方面仍有許多研究需要深入。另外，限于篇幅，對第三方指數(shù)排名與其它相關大學排名進行的比較與檢驗評估，以及對第三方指數(shù)展開縱向時間上的對比等結果未在本文中闡述。在未來的研究中，我們將進一步完善大學第三方指數(shù)的評價模型、拓展第三方指數(shù)的評價對象和豐富第三方指數(shù)的應用。

參考文獻：

[1]中華人民共和國教育部.國家中長期教育改革和發(fā)展規(guī)劃綱要（2010-2020年）[EB/OL].（2010-07-29）[2019-06-01].http：//old.moe.gov.cn/publicfiles/ business/htmlfiles/moe/info_list/201407/xxgk_171904.html？authkey=gwbux.

[2]高飛.全球大學排名：主要類型與發(fā)展趨向[J].高教探索，2015（9）：27-31.

[3]楊天平，任永燦.國內(nèi)外大學評價指標體系的發(fā)展趨勢[J].高教發(fā)展與評估，2014（5）：1-11.

[4]陸啟越，余小波，大學社會評價：模式劃分及特點分析[J].湖南師范大學教育科學學報，2014（1）：105-108.

[5]楊立軍，何祥玲.大學生發(fā)展指數(shù)：概念、架構與關鍵技術[J].高教探索，2018（2）：109-114.

[6]呂元.陜西省民辦高校發(fā)展評價與分析研究[J].統(tǒng)計與信息論壇，2015（3）：108-112.

[7]郭春燕，韓丹.基于灰色系統(tǒng)理論和模糊數(shù)學的高校軟實力評價[J].統(tǒng)計與決策，2015（15）：90-93.

[8]豐國政.基于ESI數(shù)據(jù)庫的廣東重點建設高?？蒲懈偁幜τ嬃糠治鯷J].高教探索，2016（3）：41-45.

[9]國務院關于印發(fā)統(tǒng)籌推進世界一流大學和一流學科建設總體方案的通知[EB/OL].（2015-10-24）[2015-11-05].http：//www.moe.edu.cn/jyb_xxgk/moe_1777/moe_1778/201511/t20151105_217823.html.

[10]南方+客戶端——“南方教育指數(shù)”.中國內(nèi)地大學第三方評價綜合研究報告[EB/OL].（2018-01-21）[2018-01-22].https：//static.nfapp.southcn.com/content/201801/21/c922569.html.

（責任編輯 鐘嘉儀）