田虎偉，王艷麗，王雪燕

（1.河南科技大學(xué)高等教育與區(qū)域經(jīng)濟(jì)發(fā)展研究中心，河南洛陽(yáng)471023；2.河南科技大學(xué)管理學(xué)院，河南洛陽(yáng)471023；3.河南科技大學(xué)高等教育研究所，河南洛陽(yáng)471023）

政府評(píng)估、質(zhì)量認(rèn)證和社會(huì)組織對(duì)大學(xué)的排名是我國(guó)高等教育外部質(zhì)量評(píng)估體系的重要組成部分。2017年9月21日，在教育部、財(cái)政部、國(guó)家發(fā)展改革委公布了世界一流大學(xué)和一流學(xué)科（簡(jiǎn)稱(chēng)“雙一流”）建設(shè)高校及建設(shè)學(xué)科名單之后，有關(guān)負(fù)責(zé)人明確表示，在“雙一流”建設(shè)高校及建設(shè)學(xué)科的認(rèn)定遴選程序中，依托專(zhuān)家委員會(huì)，確定采用的國(guó)內(nèi)國(guó)際評(píng)價(jià)有：（1）國(guó)內(nèi)第三方評(píng)價(jià)，包括人才培養(yǎng)類(lèi)、學(xué)科水平類(lèi)、貢獻(xiàn)獎(jiǎng)勵(lì)類(lèi)、政策導(dǎo)向類(lèi)等四類(lèi)；（2）高校認(rèn)可度較高、客觀性較強(qiáng)的國(guó)際第三方學(xué)科評(píng)價(jià)[1]。這既是對(duì)國(guó)內(nèi)外相關(guān)高等教育第三方評(píng)價(jià)的認(rèn)可，也凸顯了國(guó)內(nèi)一些社會(huì)組織和個(gè)人主導(dǎo)的大學(xué)排行榜在排名方法的科學(xué)性、規(guī)范性和排名結(jié)果的有效性等方面的不足。

雖然目前國(guó)內(nèi)已有不少文獻(xiàn)對(duì)中國(guó)多個(gè)大學(xué)排名進(jìn)行了研究，但主要集中在對(duì)排名指標(biāo)體系和算法等方面的研討。例如：《論“中國(guó)大學(xué)評(píng)價(jià)”的科學(xué)性、合理性及公正性》[2]，《中國(guó)大學(xué)綜合排名指標(biāo)體系比較研究》[3]，《基于公信力視角的大學(xué)排名研究——對(duì)〈2010中國(guó)大學(xué)評(píng)價(jià)〉指標(biāo)體系及算法的質(zhì)疑》[4]，《我國(guó)大學(xué)排名評(píng)價(jià)體系的分析與思考——以中國(guó)校友會(huì)網(wǎng)大學(xué)排名為例》[5]，《大學(xué)綜合評(píng)價(jià)的統(tǒng)計(jì)研究》[6]，《大學(xué)社會(huì)評(píng)價(jià)中的符號(hào)資本研究》[7]。很少有針對(duì)大學(xué)排行榜排名方法特別是排名規(guī)范進(jìn)行的系統(tǒng)研究。

為此，本文選取國(guó)內(nèi)排名持續(xù)時(shí)間較長(zhǎng)或社會(huì)影響較大、特色較為鮮明的四個(gè)中國(guó)大學(xué)綜合實(shí)力排行榜，從國(guó)際大學(xué)排名的基本規(guī)范即國(guó)際高等教育機(jī)構(gòu)排名柏林原則（以下簡(jiǎn)稱(chēng)柏林原則）的角度，對(duì)其排名方法進(jìn)行定量比較分析，并據(jù)此提出相關(guān)建議。研究的目的在于幫助中國(guó)大學(xué)排名者（機(jī)構(gòu)）認(rèn)識(shí)自身在排名方法方面存在的局限性和不足，希冀其不斷改進(jìn)排名方法，提升排名質(zhì)量，以便更好地服務(wù)考生、政府、高校和社會(huì)等。

一、高等教育機(jī)構(gòu)排名的柏林原則

自1983年《美國(guó)新聞與世界報(bào)道》（U.S News&World Report）首次發(fā)布大學(xué)排名以來(lái)，泰晤士報(bào)世界大學(xué)排名（Times Higher Education Rankings），QS世界大學(xué)排名（QS World University Rankings）等相繼出現(xiàn)。截至目前，國(guó)際上凡是高等教育規(guī)模較大的國(guó)家大多有大學(xué)排名。大學(xué)排名已發(fā)展成為由多機(jī)構(gòu)參與、服務(wù)于多個(gè)目的的多個(gè)排名體系共存的局面。

為了規(guī)范大學(xué)排名機(jī)構(gòu)的行為，聯(lián)合國(guó)教科文組織、歐洲高等教育研究中心和華盛頓高等教育政策研究所組成的大學(xué)排名國(guó)際專(zhuān)家組（IREG）于2006年在柏林召開(kāi)的會(huì)議上，討論通過(guò)了一系列高等教育排名的質(zhì)量標(biāo)準(zhǔn)和操作范例，即“高等教育機(jī)構(gòu)排名的柏林原則”。柏林原則合計(jì)16項(xiàng)，從排名的目的、指標(biāo)設(shè)計(jì)與權(quán)重、數(shù)據(jù)收集與處理和結(jié)果公布等四個(gè)方面做出了規(guī)范，以作為對(duì)高等教育機(jī)構(gòu)進(jìn)行排名需遵守的共同準(zhǔn)則，為大學(xué)排名的制作和發(fā)布提供了指南[6，8]。本課題組認(rèn)為，柏林原則的四個(gè)方面相互聯(lián)系、互為支持，構(gòu)成了一個(gè)排名規(guī)范的有機(jī)整體。方法是實(shí)現(xiàn)目的的手段和方式，方法總是與目的相連，因而該原則首先突出了排名目的的規(guī)范；其次，方法理所應(yīng)當(dāng)包括指標(biāo)體系設(shè)計(jì)、數(shù)據(jù)采集與處理、結(jié)果發(fā)布的方式等方面的要求。正因?yàn)榘亓衷瓌t在邏輯方面的嚴(yán)密性和對(duì)實(shí)踐的指導(dǎo)意義，柏林原則目前已經(jīng)成為越來(lái)越多的國(guó)際大學(xué)排名機(jī)構(gòu)的基本評(píng)價(jià)準(zhǔn)則。它對(duì)中國(guó)大學(xué)綜合實(shí)力排行榜也具有借鑒意義，同時(shí)也為社會(huì)公眾、政府和高校理性認(rèn)識(shí)、評(píng)價(jià)國(guó)內(nèi)大學(xué)排名提供了一個(gè)國(guó)際觀察視角。

二、基于柏林原則的中國(guó)大學(xué)綜合實(shí)力排行榜比較分析

（一）研究方法

1.研究對(duì)象

以武書(shū)連的“中國(guó)大學(xué)綜合實(shí)力排名”（以下簡(jiǎn)稱(chēng)武書(shū)連榜）、艾瑞深中國(guó)校友會(huì)網(wǎng)的“校友會(huì)中國(guó)大學(xué)排行榜”（以下簡(jiǎn)稱(chēng)校友會(huì)榜）、邱均平的“中國(guó)大學(xué)及學(xué)科專(zhuān)業(yè)評(píng)價(jià)報(bào)告”①（以下簡(jiǎn)稱(chēng)邱均平榜）、上海軟科教育信息咨詢有限公司的“中國(guó)最好大學(xué)排名”（以下簡(jiǎn)稱(chēng)軟科榜）等四大排行榜發(fā)布的相關(guān)排名方法文本為比較分析對(duì)象。具體材料的主要來(lái)源有：

（1）武書(shū)連等發(fā)表的論文《2010中國(guó)大學(xué)評(píng)價(jià)》[9]、武書(shū)連出版的《挑大學(xué)選專(zhuān)業(yè)——2017高考志愿填報(bào)指南》[10]、《挑大學(xué)選專(zhuān)業(yè)——2018高考志愿填報(bào)指南》[11]等。

（2）趙德國(guó)、蔡言厚、黨亞茹出版的《2017中國(guó)大學(xué)評(píng)價(jià)研究報(bào)告——中國(guó)高考志愿填報(bào)指南》[12]1-10和《2018中國(guó)大學(xué)評(píng)價(jià)研究報(bào)告——中國(guó)高考志愿填報(bào)指南》[13]1-20等。

（3）邱均平的《從高校科研競(jìng)爭(zhēng)力評(píng)價(jià)向綜合評(píng)價(jià)的發(fā)展——關(guān)于“中國(guó)高校綜合競(jìng)爭(zhēng)力評(píng)價(jià)”的說(shuō)明》[14]，邱均平等編著的《2017-2018中國(guó)大學(xué)及學(xué)科專(zhuān)業(yè)評(píng)價(jià)報(bào)告》[15]Ⅰ-Ⅲ，中國(guó)科學(xué)評(píng)價(jià)研究中心網(wǎng)站發(fā)布的《2017年中國(guó)大學(xué)綜合競(jìng)爭(zhēng)力評(píng)價(jià)指標(biāo)體系（本科院校）》[16]等。

（4）最好大學(xué)網(wǎng)的《軟科中國(guó)最好大學(xué)排名2017-排名方法》[17]、《“中國(guó)最好大學(xué)排名”的特點(diǎn)》[18]等。

2.等級(jí)設(shè)定與分析方法

以柏林原則16項(xiàng)為基準(zhǔn)，參照五級(jí)等距量表設(shè)置五個(gè)等級(jí)的吻合度（A為非常吻合，B為比較吻合，C為一般，D為比較不吻合，E為非常不吻合），對(duì)四大中國(guó)大學(xué)綜合實(shí)力排行榜的排名方法資料進(jìn)行逐項(xiàng)對(duì)照、分析比較，給予量化等級(jí)吻合度評(píng)價(jià)和定性分析。

（二）結(jié)果與分析

四大中國(guó)大學(xué)綜合實(shí)力排行榜排名方法與高等教育機(jī)構(gòu)排名柏林原則的吻合度見(jiàn)表1。

由表1可知，首先，從總體上看四大中國(guó)大學(xué)綜合實(shí)力排行榜均沒(méi)有獲得E級(jí)。這說(shuō)明中國(guó)四大榜單在排名方法上均無(wú)與柏林原則完全不吻合的情況。其次，從各榜單獲得A級(jí)、D級(jí)的數(shù)量來(lái)看，武書(shū)連榜獲4A、3D，校友會(huì)榜獲3A、2D，邱均平榜獲2A、3D，軟科榜獲4A、3D。這說(shuō)明各排行榜排名方法與柏林原則總體上有較大差距，但也各有優(yōu)勢(shì)和不足。以下把四大中國(guó)大學(xué)綜合實(shí)力排行榜與柏林原則的吻合度評(píng)價(jià)為A級(jí)的選項(xiàng)視作優(yōu)點(diǎn)，評(píng)價(jià)為D級(jí)的選項(xiàng)視作缺點(diǎn)，并按照順序逐項(xiàng)說(shuō)明評(píng)判依據(jù)。評(píng)價(jià)為B級(jí)、C級(jí)的選項(xiàng)視作一般，暫不做評(píng)析。

1.武書(shū)連榜

優(yōu)點(diǎn)：第2、第4、第9、第11項(xiàng)吻合度高。（1）在《挑大學(xué)選專(zhuān)業(yè)——2018高考志愿填報(bào)指南》的第一章中明確說(shuō)明了“怎樣利用大學(xué)排行榜填報(bào)志愿”，并首次把758所高校劃分了六個(gè)層次，給出了“2018中國(guó)大學(xué)按層次報(bào)考順序”，更進(jìn)一步明確其目標(biāo)群體是考生和考生家長(zhǎng)。（2）該榜單制作人在《2010中國(guó)大學(xué)評(píng)價(jià)》一文中對(duì)排名的指標(biāo)體系及每個(gè)指標(biāo)的意義和采用的時(shí)間范圍都進(jìn)行了詳細(xì)的說(shuō)明。（3）該榜單的一級(jí)指標(biāo)有人才培養(yǎng)和科學(xué)研究?jī)刹糠?，其?quán)重分配是根據(jù)大學(xué)人才培養(yǎng)投入人力和科學(xué)研究投入人力在總投入人力中所占的比重計(jì)算而來(lái)的，每項(xiàng)三級(jí)指標(biāo)也有具體的權(quán)重和賦值。該榜單指標(biāo)體系長(zhǎng)期保持相對(duì)穩(wěn)定狀態(tài)。（4）該榜單采用的數(shù)據(jù)來(lái)源于教育部、科技部等權(quán)威機(jī)構(gòu)公開(kāi)發(fā)布的數(shù)據(jù)，并在《加州理工學(xué)院在中國(guó)能排第幾名？——復(fù)中國(guó)科學(xué)技術(shù)大學(xué)大學(xué)評(píng)價(jià)課題組》[19]一文中對(duì)每項(xiàng)數(shù)據(jù)的采集方法進(jìn)行了說(shuō)明。

缺點(diǎn)：第3、第14、第16項(xiàng)吻合度較低。（1）該排名對(duì)高等教育機(jī)構(gòu)的多樣性和不同使命與目標(biāo)等方面的認(rèn)識(shí)上不到位，使用統(tǒng)一指標(biāo)體系、統(tǒng)一權(quán)重對(duì)不同層次、類(lèi)別的本科院校統(tǒng)一排名，沒(méi)有分類(lèi)型、分層次的高校排名。（2）該排名很少通過(guò)組建研究團(tuán)隊(duì)、召開(kāi)咨詢會(huì)等體制性措施增強(qiáng)排名的可靠性；團(tuán)隊(duì)成員不公開(kāi)，具體數(shù)量未知，也很少參與學(xué)術(shù)界的活動(dòng)，發(fā)布結(jié)果的時(shí)候說(shuō)明不夠詳細(xì)。（3）該排名很少對(duì)其排名的不足和改進(jìn)進(jìn)行公開(kāi)說(shuō)明，尤其是最近幾年，該排名對(duì)個(gè)別指標(biāo)進(jìn)行了微調(diào)，但迄今未見(jiàn)發(fā)布相關(guān)調(diào)整信息。

2.校友會(huì)榜單

優(yōu)點(diǎn)：第2、第3、第4項(xiàng)吻合度高。（1）在該排名發(fā)布的《2017中國(guó)大學(xué)評(píng)價(jià)研究報(bào)告——中國(guó)高考志愿填報(bào)指南》中，明確界定其目標(biāo)群體為考生和家長(zhǎng)。（2）該排名將中國(guó)大學(xué)分為研究型大學(xué)、專(zhuān)業(yè)型大學(xué)、應(yīng)用型大學(xué)和技術(shù)型大學(xué)等四種類(lèi)型，并按投資體制區(qū)分出獨(dú)立學(xué)院和民辦大學(xué)等，進(jìn)行分類(lèi)排名，考慮了高等教育機(jī)構(gòu)的多樣性和它們不同的使命和目標(biāo)。（3）該排名數(shù)據(jù)來(lái)源范圍明確、含義清晰，且能將不同渠道、不同立場(chǎng)的數(shù)據(jù)組合起來(lái)，組成對(duì)被排名院校更全面的評(píng)價(jià)[6]。

缺點(diǎn)：第7、第16項(xiàng)吻合度較低。（1）該排名指標(biāo)的恰當(dāng)性和有效性欠佳。該榜單2017年采用四級(jí)評(píng)價(jià)指標(biāo)體系：“一級(jí)指標(biāo)由人才培養(yǎng)、科學(xué)研究和社會(huì)服務(wù)三大指標(biāo)構(gòu)成。二級(jí)指標(biāo)由教育教學(xué)、學(xué)科建設(shè)、師資隊(duì)伍、學(xué)術(shù)科研、社會(huì)影響、國(guó)際影響等指標(biāo)構(gòu)成。三級(jí)指標(biāo)由教育教學(xué)、學(xué)科專(zhuān)業(yè)、杰出師資、科研成果、科研基地、科研項(xiàng)目、辦學(xué)層次、社會(huì)聲譽(yù)、國(guó)際影響等核心指標(biāo)構(gòu)成。四級(jí)指標(biāo)由教學(xué)水平、創(chuàng)新創(chuàng)業(yè)教育、德育、杰出校友、星級(jí)學(xué)科、星級(jí)專(zhuān)業(yè)、杰出師資、高端科研成果等核心辦學(xué)質(zhì)量指標(biāo)構(gòu)成，涵蓋的指標(biāo)觀測(cè)點(diǎn)有280多項(xiàng)?！盵12]3應(yīng)該肯定的是該排行榜指標(biāo)體系較為全面，涵蓋大學(xué)的三大職能，涉及大學(xué)的投入、產(chǎn)出等眾多方面，但其中不少指標(biāo)比較高端，如杰出校友中的“世界各國(guó)的國(guó)家元首”“諾貝爾獎(jiǎng)獲得者”“國(guó)際排名”等指標(biāo)對(duì)于一般本科院校難以達(dá)到，沒(méi)有普遍性，恰當(dāng)性較差。同時(shí)，在2018年高端科研成果中新增了大量“美國(guó)工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會(huì)杰出貢獻(xiàn)獎(jiǎng)、國(guó)際氣象組織（IMO）獎(jiǎng)等獎(jiǎng)項(xiàng)，其恰當(dāng)性更差[13]18。（2）該排名指標(biāo)體系中的“評(píng)價(jià)指標(biāo)參數(shù)”即采分點(diǎn)達(dá)280多項(xiàng)，但缺少對(duì)采分點(diǎn)特別是新增采分點(diǎn)的賦值信息，個(gè)別采分點(diǎn)的準(zhǔn)確性沒(méi)有保障[13]4-5。

3.邱均平榜

優(yōu)點(diǎn)：第3、第14項(xiàng)吻合度高。（1）該排名將普通本科院校按照重點(diǎn)大學(xué)、一般大學(xué)和民辦本科院校三類(lèi)進(jìn)行分類(lèi)排行。（2）能夠通過(guò)組建研究團(tuán)隊(duì)，召開(kāi)咨詢會(huì)和年度發(fā)布會(huì)等方式吸收合理化建議。

缺點(diǎn)：第2、第15、第16項(xiàng)吻合度較低。（1）排名目的和目標(biāo)群體過(guò)多?！盀檎芾聿块T(mén)的宏觀管理和決策提供定量依據(jù)，為各高校準(zhǔn)確定位、發(fā)揮比較優(yōu)勢(shì)、明確改革方向提供翔實(shí)的參考，為廣大考生選擇適合自己的大學(xué)和專(zhuān)業(yè)提供報(bào)考指南?！盵15]5-10（2）排名信息提供不完整，例如絕大部分年度排名的指標(biāo)權(quán)重、指標(biāo)賦值、原始數(shù)據(jù)等信息在紙質(zhì)版中未見(jiàn)公布，機(jī)構(gòu)網(wǎng)站公布的相關(guān)信息也不完整。（3）該排名在消除或降低原始數(shù)據(jù)中的誤差，告知機(jī)構(gòu)和公眾排名中曾犯過(guò)的錯(cuò)誤等方面存在不足。

4.軟科榜

優(yōu)點(diǎn)：第1、第6、第11、第12項(xiàng)吻合度高。（1）排名完全從社會(huì)、市場(chǎng)、同行的角度對(duì)大學(xué)進(jìn)行評(píng)價(jià)。該排名共使用9項(xiàng)指標(biāo)，其中“新生高考成績(jī)”反映了學(xué)生和家長(zhǎng)對(duì)大學(xué)人才培養(yǎng)聲譽(yù)和能力的認(rèn)可程度，“畢業(yè)生就業(yè)率”反映了社會(huì)對(duì)大學(xué)人才培養(yǎng)成果的接受程度，科學(xué)研究方面的“論文數(shù)量”“論文質(zhì)量”“高被引論文”“高被引學(xué)者”四項(xiàng)指標(biāo)體現(xiàn)了國(guó)際學(xué)術(shù)共同體（通過(guò)審稿和引用行為）對(duì)大學(xué)科研工作成果和影響力的意見(jiàn)，服務(wù)社會(huì)方面的“企業(yè)科研經(jīng)費(fèi)”和“技術(shù)轉(zhuǎn)讓收入”兩項(xiàng)指標(biāo)反映了企業(yè)對(duì)于大學(xué)技術(shù)創(chuàng)新能力和貢獻(xiàn)的真實(shí)判斷，國(guó)際化方面的“留學(xué)生比例”體現(xiàn)了來(lái)華留學(xué)生對(duì)大學(xué)國(guó)際聲譽(yù)和國(guó)際化教育環(huán)境的印象和選擇[18]。（2）該排名在其網(wǎng)站上發(fā)布的《軟科中國(guó)最好大學(xué)排名-2015排名方法》《軟科中國(guó)最好大學(xué)排名2017-排名方法》中說(shuō)明了每個(gè)排名指標(biāo)的統(tǒng)計(jì)方法和數(shù)據(jù)來(lái)源。（3）該排名在其網(wǎng)站中不但說(shuō)明了每個(gè)排名指標(biāo)的統(tǒng)計(jì)方法和數(shù)據(jù)來(lái)源，且每年都公開(kāi)了每項(xiàng)指標(biāo)的原始數(shù)據(jù)。這是其他榜單所沒(méi)有做到的。（4）該排名從教育部高考招生信息發(fā)布平臺(tái)——陽(yáng)光高考網(wǎng)、各高校發(fā)布的年度畢業(yè)生就業(yè)質(zhì)量報(bào)告、Scopus數(shù)據(jù)庫(kù)等收集相應(yīng)數(shù)據(jù)，數(shù)據(jù)經(jīng)過(guò)層層審核且口徑一致。

缺點(diǎn)：第5、第7、第9項(xiàng)吻合度較低。（1）該排名對(duì)院校所處教育體系的語(yǔ)言的、文化的、經(jīng)濟(jì)的以及歷史的背景沒(méi)有給予考慮。例如，生源質(zhì)量和學(xué)生國(guó)際化指標(biāo)與區(qū)域經(jīng)濟(jì)文化發(fā)展水平和被評(píng)院校的學(xué)科結(jié)構(gòu)等因素有關(guān)，對(duì)于經(jīng)濟(jì)欠發(fā)達(dá)地區(qū)、以農(nóng)林地礦類(lèi)為主的院校明顯不公平。（2）該排名指標(biāo)的恰當(dāng)性和有效性欠佳?！爸袊?guó)最好大學(xué)排名”應(yīng)該是人才培養(yǎng)、科學(xué)研究、社會(huì)服務(wù)、國(guó)際影響力等均俱佳的大學(xué)排名；然而，其指標(biāo)體系不但指標(biāo)數(shù)量偏少（2015-2017年為9個(gè)二級(jí)指標(biāo)，2018年為10個(gè)二級(jí)指標(biāo)），而且結(jié)構(gòu)不合理，質(zhì)量不高，指標(biāo)的恰當(dāng)性欠佳。例如，在其人才培養(yǎng)質(zhì)量一級(jí)指標(biāo)下的二級(jí)指標(biāo)設(shè)置中，僅僅設(shè)置生源質(zhì)量、培養(yǎng)結(jié)果2個(gè)二級(jí)指標(biāo)（2018年又新增一個(gè)社會(huì)聲譽(yù)二級(jí)指標(biāo)），這樣的指標(biāo)體系設(shè)置難以突出大部分以人才培養(yǎng)為主高校的職能。在科學(xué)研究一級(jí)指標(biāo)下，二級(jí)指標(biāo)僅僅使用論文數(shù)量、質(zhì)量、高被引論文和高被引學(xué)者作為衡量大學(xué)科學(xué)研究水平的指標(biāo)。眾所周知，大學(xué)的科學(xué)研究成果包括但不限于學(xué)術(shù)論文，僅僅使用學(xué)術(shù)論文相關(guān)指標(biāo)，只對(duì)理科院校有利，難以反映工程技術(shù)類(lèi)等應(yīng)用性學(xué)科院校的真實(shí)科研水平。在指標(biāo)的有效性方面，人才培養(yǎng)、社會(huì)服務(wù)、國(guó)際化等下屬的二級(jí)指標(biāo)僅選用1年的數(shù)據(jù)，科學(xué)研究下屬的二級(jí)指標(biāo)僅使用5年的數(shù)據(jù)，周期太短，不足以支撐其研究結(jié)論，導(dǎo)致的結(jié)果是同一院校在不同年度的名次波動(dòng)較大。（3）該排名的指標(biāo)體系及權(quán)重分配變動(dòng)過(guò)于頻繁。該排名指標(biāo)體系在2015-2018年間就經(jīng)歷兩次變化。例如，該榜單2015年初次發(fā)布排行榜時(shí)的指標(biāo)體系共有3個(gè)一級(jí)指標(biāo)和9個(gè)二級(jí)指標(biāo)。2017年和2018年該排名指標(biāo)體系變化情況分別是：刪除“服務(wù)社會(huì)”一級(jí)指標(biāo)下的“產(chǎn)學(xué)研合作（校企合作論文）”，且把“服務(wù)社會(huì)”占比由15%降至10%，同時(shí)新增第四個(gè)一級(jí)指標(biāo)“國(guó)際化（5%）”；在“人才培養(yǎng)”一級(jí)指標(biāo)下新增了“社會(huì)聲譽(yù)”二級(jí)指標(biāo)，比重為5%，同時(shí)把“培養(yǎng)結(jié)果”權(quán)重由15%降低至10%。

三、問(wèn)題與建議

由上述比較分析結(jié)果可知，在總計(jì)64項(xiàng)評(píng)級(jí)項(xiàng)目中，四大排行榜僅僅得到了13個(gè)A級(jí)評(píng)價(jià)，占到總計(jì)64個(gè)A級(jí)的20.3%。從各個(gè)排行榜的具體情況上看，武書(shū)連榜和軟科榜各獲得4個(gè)A級(jí)、3個(gè)D級(jí)，較優(yōu)；校友會(huì)榜獲得3個(gè)A級(jí)、2個(gè)D級(jí)，居中；邱均平榜獲得2個(gè)A級(jí)、3個(gè)D級(jí)，較差。這說(shuō)明四大排行榜雖然各有優(yōu)勢(shì)和不足，但其排名方法的規(guī)范性與柏林原則所要求的排名規(guī)范相比還有很大的差距。為此，基于柏林原則的要求和上述分析，為促進(jìn)中國(guó)大學(xué)綜合實(shí)力排名的科學(xué)化、規(guī)范化，特對(duì)排名機(jī)構(gòu)提出如下建議。

（一）參照柏林原則，改進(jìn)排名方法，提高排名的規(guī)范性

我國(guó)四大榜單的制作者應(yīng)以16條（項(xiàng)）柏林原則為基準(zhǔn)，逐項(xiàng)對(duì)照，肯定成績(jī)，查找差距，采取一切可能措施，努力改進(jìn)排名方法。

1.排名目的

從總體上看，四大中國(guó)大學(xué)綜合實(shí)力排行榜在排名目的板塊上與柏林原則吻合度較高，在總評(píng)級(jí)13個(gè)A中占據(jù)7個(gè)A，但在各排行榜之間存在較大差異，其中校友會(huì)榜獲得3個(gè)A，武書(shū)連榜2個(gè)A，邱均平榜和軟科榜各1個(gè)A。但其存在的共同問(wèn)題是，排名對(duì)被排名院校所處教育體系的語(yǔ)言的、文化的、經(jīng)濟(jì)的以及歷史的背景等考慮不夠（武書(shū)連榜、校友會(huì)榜和邱均平榜均為C級(jí)，軟科榜為D級(jí)），特別是軟科榜中的生源質(zhì)量和學(xué)生國(guó)際化指標(biāo)對(duì)于經(jīng)濟(jì)欠發(fā)達(dá)地區(qū)、農(nóng)林地礦類(lèi)為主的院校明顯不公平。因?yàn)檫@兩個(gè)指標(biāo)均屬于投入指標(biāo)而非產(chǎn)出指標(biāo)，高考生報(bào)考院校的實(shí)踐證明，院校所處區(qū)域的經(jīng)濟(jì)發(fā)達(dá)程度和院校專(zhuān)業(yè)設(shè)置是考生選報(bào)院校的重要因素，且生源質(zhì)量高和留學(xué)生數(shù)量多并不能代表院校培養(yǎng)人才質(zhì)量就必然高。為此，建議四大榜單制作者應(yīng)適度考慮被排名院校所處的經(jīng)濟(jì)環(huán)境和院校類(lèi)型等因素，通過(guò)指標(biāo)權(quán)重調(diào)整、個(gè)別指標(biāo)適度補(bǔ)償?shù)确绞郊右越鉀Q。

2.指標(biāo)設(shè)計(jì)與權(quán)重

在指標(biāo)設(shè)計(jì)與權(quán)重方面，武書(shū)連榜的總體表現(xiàn)較好，特別是其權(quán)重分配非常明確且保持穩(wěn)定與柏林原則的吻合度高，軟科榜在排名方法的清楚透明方面吻合度高；但是校友會(huì)榜、軟科榜在個(gè)別指標(biāo)的恰當(dāng)性、有效性方面與柏林原則的吻合度欠佳。為此本課題組提出的具體建議如下：

校友會(huì)榜：指標(biāo)設(shè)計(jì)應(yīng)保持中國(guó)大學(xué)校友成就排名的特色，適度刪減一些過(guò)于高端的指標(biāo)和采集難度較大的一些指標(biāo)，并對(duì)所有采分點(diǎn)明確賦值。邱均平榜：應(yīng)明晰評(píng)價(jià)指標(biāo)體系權(quán)重，突出綜合實(shí)力排行榜主題。軟科榜：“中國(guó)最好大學(xué)排名”可能源于《美國(guó)新聞與世界報(bào)道》每年發(fā)布的“最佳學(xué)府排行榜”（Best Colleges rankings），不一定符合中國(guó)人的認(rèn)知邏輯和認(rèn)知心理。“沒(méi)有最好，只有更好”。該排行榜似乎應(yīng)更名為“軟科中國(guó)大學(xué)綜合競(jìng)爭(zhēng)力排名”更準(zhǔn)確一些；同時(shí)適度增加人才培養(yǎng)、科學(xué)研究和社會(huì)服務(wù)下屬的二級(jí)指標(biāo)，國(guó)際化指標(biāo)在目前情況下應(yīng)暫緩列入或降低其權(quán)重。

3.數(shù)據(jù)收集與處理

在數(shù)據(jù)收集與處理方面，軟科榜在數(shù)據(jù)采集的科學(xué)性和數(shù)據(jù)的可核實(shí)方面表現(xiàn)優(yōu)異，數(shù)據(jù)采集和處理整體比較規(guī)范；武書(shū)連榜數(shù)據(jù)的可核實(shí)性強(qiáng)，但團(tuán)隊(duì)成員少，使用組織方法和組織措施來(lái)保證排名質(zhì)量措施少。為此，建議中國(guó)大學(xué)綜合實(shí)力排名機(jī)構(gòu)要采用成立咨詢委員會(huì)、監(jiān)督委員會(huì)甚至邀請(qǐng)國(guó)際排名專(zhuān)家參與等體制性的措施來(lái)增強(qiáng)排名的可靠性。

4.結(jié)果公布

在結(jié)果公布方面，中國(guó)四大綜合實(shí)力排行榜整體表現(xiàn)欠佳。在排名制作信息提供方面，武書(shū)連榜僅有紙質(zhì)報(bào)告公布排名過(guò)程的有限信息和結(jié)果，無(wú)網(wǎng)站信息發(fā)布；邱均平榜有紙質(zhì)報(bào)告和網(wǎng)站信息發(fā)布，但不完整、不系統(tǒng)；校友會(huì)榜有紙質(zhì)報(bào)告和網(wǎng)站信息發(fā)布大量信息，但采分點(diǎn)指標(biāo)賦值不透明；軟科榜有紙質(zhì)版報(bào)告，在網(wǎng)站有較為完整的信息發(fā)布，但未認(rèn)識(shí)到自己排名邏輯和內(nèi)容上的局限性。在消除或降低原始數(shù)據(jù)中的誤差和告知各自排名曾經(jīng)犯過(guò)的錯(cuò)誤方面，四大綜合實(shí)力排行榜的制作者均無(wú)行動(dòng)。本課題組的建議：一、四大綜合實(shí)力排行榜均應(yīng)在各自發(fā)布的年度報(bào)告或網(wǎng)站中公布有關(guān)排名制作的所有信息，包括排名方法、指標(biāo)體系和新增指標(biāo)及其權(quán)重或賦值的變化情況、依據(jù)等；二、要敢于承認(rèn)各自排名中存在的不足和曾經(jīng)所犯過(guò)的錯(cuò)誤。

（二）使用《IREG排名審計(jì)手冊(cè)》開(kāi)展自我審計(jì)，有條件者可申請(qǐng)排名審計(jì)

1．《IREG排名審計(jì)手冊(cè)》

2009年10月，在IREG的基礎(chǔ)上創(chuàng)建了IREG學(xué)術(shù)排名和卓越協(xié)會(huì)（IREG Observatory on Academic Ranking and Excellence）[20]。為提高排名的透明度、提高排名的整體質(zhì)量，以及為排名用戶提供識(shí)別可信賴(lài)排名的工具，2011年IREG協(xié)會(huì)執(zhí)行委員會(huì)基于柏林原則，制定了IREG排名審計(jì)的標(biāo)準(zhǔn)，并發(fā)布了《IREG排名審計(jì)手冊(cè)》?！禝REG排名審計(jì)手冊(cè)》的功能是指導(dǎo)排名組織如何在IREG排名審計(jì)的所有階段匯總和提供所要求的信息和其他證據(jù)，為IREG秘書(shū)處和審計(jì)團(tuán)隊(duì)的成員準(zhǔn)備和執(zhí)行審計(jì)過(guò)程的所有階段（信息收集、團(tuán)隊(duì)訪問(wèn)和撰寫(xiě)報(bào)告）服務(wù)。

2.IREG排名審計(jì)標(biāo)準(zhǔn)及一般評(píng)估規(guī)則

（1）IREG排名審計(jì)標(biāo)準(zhǔn)

IREG排名審計(jì)標(biāo)準(zhǔn)涉及排名的五個(gè)維度：第一，其目的的定義，目標(biāo)群體及其基本方法；第二，其方法的各個(gè)方面，包括指標(biāo)的選擇，數(shù)據(jù)收集方法和指標(biāo)的計(jì)算；第三，出版物并介紹他們的結(jié)果；第四，排名和排名組織的透明度和響應(yīng)性；第五，在排名中內(nèi)部質(zhì)量保障流程和工具的各個(gè)方面。其中許多標(biāo)準(zhǔn)都涉及柏林原則，但又補(bǔ)充了自2006年柏林原則出版以來(lái)關(guān)于排名組織的出版物和結(jié)果的陳述、透明度與反應(yīng)能力、質(zhì)量保證等方面的最新討論成果，因而一些新標(biāo)準(zhǔn)與柏林原則無(wú)直接關(guān)系。

（2）一般評(píng)估規(guī)則

在審核過(guò)程中，評(píng)估小組根據(jù)該標(biāo)準(zhǔn)的完成程度對(duì)每個(gè)指標(biāo)進(jìn)行評(píng)分。審核評(píng)分分為6個(gè)等級(jí)：不夠/不存在（Not sufficient/not existing）-1分；邊緣應(yīng)用（Marginally applied）-2分；足夠（Adequate）-3分；好（Good）-4分；強(qiáng)（Strong）-5分；杰出（Distinguished）-6分。由于并非所有標(biāo)準(zhǔn)都具有相同的相關(guān)性，標(biāo)準(zhǔn)被分為權(quán)重為2的核心標(biāo)準(zhǔn)和權(quán)重為1的常規(guī)標(biāo)準(zhǔn)。因此，每個(gè)常規(guī)標(biāo)準(zhǔn)的最高分為6，每個(gè)核心標(biāo)準(zhǔn)的最高分?jǐn)?shù)為12。根據(jù)標(biāo)準(zhǔn)的歸屬（10個(gè)核心和10個(gè)常規(guī)標(biāo)準(zhǔn)），總分最高為180。

3.IREG排名審計(jì)的申請(qǐng)條件及步驟

（1）申請(qǐng)條件

符合IREG排名審計(jì)的國(guó)家和國(guó)際排名：過(guò)去四年中至少發(fā)布過(guò)兩次，最后一個(gè)版本不應(yīng)超過(guò)兩年。

（2）申請(qǐng)步驟

第一，排名組織的審計(jì)排名申請(qǐng)書(shū)和相應(yīng)數(shù)據(jù)表與硬盤(pán)拷貝發(fā)送至IREG協(xié)會(huì)總裁。

第二，執(zhí)行委員會(huì)在四周內(nèi)決定是否接受審計(jì)申請(qǐng)并通知排名組織。

第三，排名組織須在收到執(zhí)行委員會(huì)同意審計(jì)的決定后，在兩周內(nèi)支付審計(jì)費(fèi)用。

第四，執(zhí)行委員會(huì)任命一個(gè)審計(jì)小組，由三至五名具有高等教育專(zhuān)業(yè)經(jīng)驗(yàn)的獨(dú)立國(guó)際專(zhuān)家組成；審計(jì)過(guò)程由審計(jì)協(xié)調(diào)員協(xié)調(diào)。

第五，排名組織按照《IREG排名審計(jì)手冊(cè)》中的說(shuō)明準(zhǔn)備詳細(xì)的自我報(bào)告（用英文），并在審計(jì)開(kāi)始后兩個(gè)月內(nèi)發(fā)送給IREG協(xié)會(huì)秘書(shū)處。

審計(jì)過(guò)程的后續(xù)步驟遵循《IREG排名審計(jì)手冊(cè)》規(guī)定的程序。

4.排名組織的自評(píng)報(bào)告

排名組織編制自評(píng)報(bào)告是審計(jì)過(guò)程的重要組成部分，也是審計(jì)小組在形成關(guān)于審計(jì)決策的報(bào)告和建議時(shí)將采用的主要證據(jù)。自評(píng)報(bào)告必須按照規(guī)定的格式撰寫(xiě)，內(nèi)容包括：有關(guān)排名活動(dòng)的先前記錄的信息；排名的目的和主要目標(biāo)群體的概述；區(qū)域覆蓋范圍；詳細(xì)說(shuō)明方法；排名內(nèi)部質(zhì)量保障的描述工具；排名的公布和使用概要和關(guān)于排名對(duì)個(gè)人（例如學(xué)生）、機(jī)構(gòu)和高等教育系統(tǒng)的影響的可用信息。該報(bào)告連同附件和其他文件應(yīng)以電子版方式發(fā)送給IREG秘書(shū)處，并以電子版和紙質(zhì)版（雙面打印版）發(fā)送給審計(jì)小組成員和IREG排名協(xié)調(diào)員。

由此可見(jiàn)，IREG排名審計(jì)是IREG學(xué)術(shù)排名和卓越協(xié)會(huì)為促使大學(xué)排名組織和個(gè)人提高排名整體質(zhì)量的一項(xiàng)重要措施，也是其提供的一項(xiàng)專(zhuān)業(yè)服務(wù)項(xiàng)目。IREG排名審計(jì)需要大學(xué)排名組織根據(jù)《IREG排名審計(jì)手冊(cè)》的要求自愿申請(qǐng)并提交自評(píng)報(bào)告，由該協(xié)會(huì)執(zhí)行委員會(huì)及其審計(jì)小組按照IREG排名審計(jì)標(biāo)準(zhǔn)及評(píng)估方法，經(jīng)過(guò)相應(yīng)的許多流程，歷時(shí)12個(gè)月以上才能完成。其中，特別是審計(jì)標(biāo)準(zhǔn)中涉及排名組織對(duì)參與排名的高等教育機(jī)構(gòu)做出回應(yīng)的情況，排名組織將質(zhì)量保障措施應(yīng)用于排名過(guò)程本身的情況，審計(jì)標(biāo)準(zhǔn)記錄質(zhì)量保障的內(nèi)部流程、為提高排名可信度的所采取組織措施等情況，只有排名組織自身清楚且主動(dòng)提供并給予后續(xù)配合，才能開(kāi)展排名審計(jì)評(píng)估。大學(xué)排名研究者作為一個(gè)局外人，無(wú)法獲得上述資料。因此，本課題組只能從柏林原則的角度進(jìn)行實(shí)證研究。

本研究存在的不足和尚待進(jìn)一步研究問(wèn)題：一是由于篇幅所限，對(duì)評(píng)級(jí)依據(jù)特別是B級(jí)、C級(jí)的評(píng)級(jí)依據(jù)沒(méi)有逐一對(duì)照列舉說(shuō)明；二是對(duì)四大排行榜的個(gè)別建議特別是操作層面的建議可能有不妥當(dāng)之處；三是對(duì)于《IREG排名審計(jì)手冊(cè)》的研究需要進(jìn)一步深入。

注釋

①由于“中國(guó)大學(xué)及學(xué)科專(zhuān)業(yè)評(píng)價(jià)報(bào)告”發(fā)布的榜單多達(dá)617個(gè)，例如中國(guó)一流大學(xué)競(jìng)爭(zhēng)力排行榜、中國(guó)重點(diǎn)大學(xué)競(jìng)爭(zhēng)力排行榜、中國(guó)一般大學(xué)競(jìng)爭(zhēng)力排行榜、中國(guó)本科院校競(jìng)爭(zhēng)力總排行榜，中國(guó)民辦本科院校競(jìng)爭(zhēng)力排行榜等，為了保證不同榜單之間評(píng)價(jià)對(duì)象的一致性和可比性，本文主要抽取其中的“中國(guó)本科院校競(jìng)爭(zhēng)力總排行榜”（含重點(diǎn)大學(xué)、一般大學(xué)和民辦本科院校）為例。