吳林娟

(1.南京大學(xué) 政府管理學(xué)院，江蘇 南京 210023;2.南京工程學(xué)院 學(xué)報編輯部，江蘇 南京 211167)

一、研究背景

我國自20世紀(jì)90年代以來，以總被引頻次、兩年影響因子等量化指標(biāo)作為期刊排序依據(jù)的量化評價體系一直在我國期刊評價中占主導(dǎo)地位。目前人文社會科學(xué)學(xué)術(shù)期刊的評價體系以定量居多，盡管在學(xué)科分類、評價指標(biāo)、權(quán)重設(shè)計、統(tǒng)計源選取等方面各有不同，但均倚重于以引文為主導(dǎo)的影響力評價。人文社會科學(xué)與自然科學(xué)在研究對象、研究方法、成果產(chǎn)出方式、文獻(xiàn)引用主要來源等方面都存在不同，實際上人文社會科學(xué)學(xué)術(shù)期刊的評價更多元、更復(fù)雜。定量評價雖然可以增進(jìn)期刊評價的客觀公正性，但不能等同于在專業(yè)領(lǐng)域?qū)W術(shù)同行的肯定，忽略了對學(xué)術(shù)期刊論文內(nèi)容質(zhì)量的有效評估，而且容易掩埋學(xué)術(shù)期刊本身的歷史傳統(tǒng)、學(xué)術(shù)史地位、學(xué)科背景和風(fēng)格特色等個性內(nèi)容，在推動學(xué)術(shù)創(chuàng)新、引領(lǐng)學(xué)術(shù)風(fēng)氣建設(shè)上的作用較弱，尤其是對于一些“小眾”學(xué)科的人文社會科學(xué)學(xué)術(shù)期刊更是如此。而堅守初心、引領(lǐng)創(chuàng)新以弘揚中國特色，建設(shè)高品質(zhì)的學(xué)術(shù)期刊，展示高水平研究成果，正是習(xí)近平總書記于2021年5月9日在給《文史哲》編輯部全體編輯人員回信中對哲學(xué)社會科學(xué)期刊提出的殷切期望[1]。

近幾年，隨著國家對學(xué)術(shù)評價的重視，中央及各部委發(fā)出的一系列文件進(jìn)一步對評價要求、原則等進(jìn)行了明確。2018年11月7日，教育部辦公廳發(fā)布關(guān)于開展清理“唯論文、唯帽子、唯職稱、唯學(xué)歷、唯獎項”專項行動的通知，要求“健全立德樹人落實機(jī)制，扭轉(zhuǎn)不科學(xué)的教育評價導(dǎo)向，推行代表作評價制度，注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)、影響”[2]。2021年5月18日，中共中央宣傳部、教育部、科技部在《關(guān)于推動學(xué)術(shù)期刊繁榮發(fā)展的意見》的通知中明確要求，要“改進(jìn)完善學(xué)術(shù)期刊評價體系，以內(nèi)容質(zhì)量評價為中心，堅持分類評價和多元評價，完善同行評價、定性評價，防止過度使用基于‘影響因子’等指標(biāo)的定量評價方法評價學(xué)術(shù)期刊特別是哲學(xué)社會科學(xué)期刊”[3]。

因此，在期刊評價中，如何“破五唯”，如破除“單一量化指標(biāo)造成學(xué)術(shù)成果重量輕質(zhì)，粗制濫造，浪費科研資源”[4]等危害，引導(dǎo)期刊在恪守學(xué)術(shù)規(guī)范的基礎(chǔ)上，校準(zhǔn)辦刊方向，提高發(fā)文質(zhì)量，創(chuàng)新學(xué)術(shù)范式，積極策劃選題，加強特色欄目建設(shè)，探索擴(kuò)大期刊學(xué)術(shù)傳播力和社會影響力的新辦法，增強期刊的國際影響力和話語權(quán)，成為高品質(zhì)、具有國際影響力的學(xué)術(shù)期刊，關(guān)系到建設(shè)具有中國特色、中國風(fēng)格、中國氣派的哲學(xué)社會科學(xué)的核心命題[5-6]。

目前，國外如科厄[7]、凱特琳[8]、奈德霍夫[9]等一些學(xué)者早就進(jìn)行了基于專家調(diào)查的同行評議的學(xué)術(shù)期刊評價研究[10]。國內(nèi)大部分文獻(xiàn)研究都是對定量指標(biāo)評價體系，或者是以定量為主定性為輔、二者相結(jié)合的評價研究，涉及人文社會科學(xué)學(xué)術(shù)期刊指標(biāo)定性研究的文獻(xiàn)相對較少。葉繼元教授曾以法學(xué)期刊質(zhì)量為例論證學(xué)術(shù)期刊質(zhì)量評價的多元性和復(fù)雜性，“以期刊學(xué)術(shù)質(zhì)量和特色為評價重點，突出期刊的內(nèi)容評價和效用評價，兼及形式評價[11]。他在對圖書館學(xué)期刊對構(gòu)建基于同行專家的以內(nèi)容、價值為導(dǎo)向的質(zhì)量“全評價”體系分析框架進(jìn)行應(yīng)用性評價時，對能夠更好地反映“影響”“價值”“效用”等質(zhì)量的指標(biāo)進(jìn)行了精心設(shè)計[12]。張積玉認(rèn)為，應(yīng)突出學(xué)術(shù)期刊的定性內(nèi)容評價，這是由人文社科期刊內(nèi)容上的學(xué)術(shù)性、功能上的既出成果又出人才、效果上的重在社會效益以及學(xué)術(shù)影響力的持久性等特點決定的[13]。中國社會科學(xué)評價中心目前已經(jīng)利用“中國人文社會科學(xué)期刊綜合評價指標(biāo)體系”從吸引力、管理能力和影響力三個層次對期刊進(jìn)行評價，評選出我國人文社會科學(xué)領(lǐng)域的頂級、權(quán)威、核心和擴(kuò)展期刊733種[14]。潘涌、郭雅蓮認(rèn)為，“學(xué)術(shù)成果的核心元素體現(xiàn)在成果本身的思維內(nèi)涵、學(xué)理品質(zhì)、創(chuàng)新程度、積極影響”[15]。蔣重躍認(rèn)為，對期刊的評價與評價論文的學(xué)術(shù)含量不同，涉及刊物定位、欄目設(shè)計、選題策劃、稿源組織、制度建設(shè)、流程安排等諸多方面評價[16]。劉宇依據(jù)社會空間和資本理論構(gòu)建了期刊學(xué)術(shù)地位影響因素模型，并通過問卷調(diào)查對模型進(jìn)行了實證分析，強調(diào)學(xué)科、主題、編校質(zhì)量、審稿制度、期刊欄目、關(guān)注度等對期刊學(xué)術(shù)地位的重要性[17]。張洋等通過對傳統(tǒng)期刊評價方法、指標(biāo)與體系的分析研究及總結(jié)，針對當(dāng)前的新型網(wǎng)絡(luò)環(huán)境特性，引入網(wǎng)絡(luò)數(shù)據(jù)作為評價數(shù)據(jù)源，結(jié)合傳統(tǒng)指標(biāo)與新型網(wǎng)絡(luò)計量指標(biāo)，構(gòu)建了一個將定性、定量指標(biāo)相結(jié)合的電子期刊評價體系并進(jìn)行了實證研究[18]。高宏利等根據(jù)高校科研評估體系構(gòu)建的原則,從5個維度來評估高?？蒲兴?并對5個維度中的19個反映高校科研水平的相關(guān)要素進(jìn)行了實證研究[19]。

結(jié)合已有研究及落實中央治理“五唯”及建設(shè)高品質(zhì)學(xué)術(shù)期刊精神，根據(jù)人文社會科學(xué)學(xué)科的特點，筆者認(rèn)為應(yīng)該由學(xué)科專家(大同行、小同行)、期刊編輯、期刊管理者、期刊評價專家等多元評價主體來進(jìn)行評價，引入反映人們對評價客體的看法、期望值和滿意度等定性指標(biāo)，重點對期刊內(nèi)容質(zhì)量進(jìn)行評價，扭轉(zhuǎn)“重量輕質(zhì)”局面，使學(xué)術(shù)標(biāo)準(zhǔn)不被簡單等同于影響因子、轉(zhuǎn)載率、引用率，而更注重學(xué)術(shù)觀點、方法創(chuàng)新及學(xué)術(shù)風(fēng)氣引領(lǐng)。本文力圖構(gòu)建適用于人文社會科學(xué)學(xué)術(shù)期刊的突出期刊創(chuàng)新質(zhì)量、學(xué)術(shù)特色、服務(wù)貢獻(xiàn)、重視價值引領(lǐng)等內(nèi)容和效用的評價體系，這與“破五唯”要求有內(nèi)在的聯(lián)系[20-21]。

二、評價體系構(gòu)建

(一)指標(biāo)篩選結(jié)果及其描述

通過文獻(xiàn)資料分析和專家訪談咨詢，本文確定了18個定性指標(biāo)。指標(biāo)體系共分為學(xué)術(shù)創(chuàng)新、特色風(fēng)格、學(xué)術(shù)聲譽、學(xué)風(fēng)建設(shè)、功能影響五類一級指標(biāo)，評價指標(biāo)體系如圖1所示。

圖1 基于專家視角的人文社會科學(xué)學(xué)術(shù)期刊質(zhì)量評價指標(biāo)體系

1.學(xué)術(shù)創(chuàng)新

學(xué)術(shù)質(zhì)量的評價主要是指對評價對象的實質(zhì)內(nèi)容進(jìn)行精細(xì)的評價,其核心是對創(chuàng)新能力的評價。目前對人文社科期刊來說，關(guān)于創(chuàng)新力的評價大多為定性指標(biāo),主要通過同行專家的審讀來直接測度[22]。事實上，學(xué)術(shù)期刊是刊發(fā)學(xué)術(shù)論文的載體，所刊發(fā)論文的學(xué)術(shù)創(chuàng)新水平對期刊有決定性影響。論文原創(chuàng)思想、學(xué)術(shù)價值、創(chuàng)新度才是期刊質(zhì)量評價真正應(yīng)該關(guān)注的，“創(chuàng)新”才是期刊評價的導(dǎo)向。學(xué)術(shù)創(chuàng)新指標(biāo)包括原創(chuàng)思想度、學(xué)術(shù)價值、難易程度、選題策劃新穎度四項。

(1)原創(chuàng)思想度。期刊原創(chuàng)思想度是期刊論文質(zhì)量相對于目前學(xué)術(shù)界關(guān)于該論題的新穎度，是相對于已有知識和信息而言的。創(chuàng)新性是衡量學(xué)術(shù)論文有無發(fā)表價值的最根本的標(biāo)準(zhǔn)。學(xué)術(shù)研究是一項探索性活動，創(chuàng)新性是學(xué)術(shù)論文的生命。原創(chuàng)思想度高的學(xué)術(shù)論文更能反映出作者對學(xué)術(shù)問題研究的獨到理解、新的觀點、結(jié)果和結(jié)論，當(dāng)然其創(chuàng)新程度可大可小。

(2)學(xué)術(shù)價值。學(xué)術(shù)價值是指論文的研究成果對某一學(xué)科領(lǐng)域理論研究方面的貢獻(xiàn)。學(xué)術(shù)期刊中學(xué)術(shù)價值即知識被利用和擴(kuò)張的程度和范圍，是精神價值與物質(zhì)價值的統(tǒng)一。它是人類探索世界的結(jié)晶，表明人把握客觀世界以及主觀世界能力達(dá)到的水平。文章的原創(chuàng)性是學(xué)術(shù)價值的主要體現(xiàn)，表現(xiàn)為是否具有問題意識、新的研究方法和論證資料，以及論證是否科學(xué)等。無論是什么層次的期刊都不乏高質(zhì)量的研究成果，因而具有各不相同的學(xué)術(shù)價值。

(3)難易程度。難易程度主要考察期刊論文研究復(fù)雜程度、投入勞動，涉及深度、努力程度、工作量。如論題復(fù)雜度，有多少理論難點，實證研究的難易度、資料難度，資料獲取處理的難易程度等，還包括投入的勞動是否嚴(yán)謹(jǐn)、扎實，完成研究的時間、配合的人員數(shù)量及其科研水平等。

(4)選題策劃新穎度。期刊選題策劃和創(chuàng)新能力也影響著期刊的創(chuàng)新。善于策劃出具有雙重效益的、新穎、好的重大選題，才能使刊物內(nèi)容始終聚焦于本學(xué)科領(lǐng)域前沿，反映學(xué)科發(fā)展的新成果、新理論、新形勢，才能使期刊具有強大的生命力。

2.特色風(fēng)格

期刊的特色是自身特有的可以清晰區(qū)別于其他期刊的最鮮明的內(nèi)涵和外在，是在長期的辦刊過程中形成、彰顯出來的個性和風(fēng)格。期刊特色風(fēng)格包括期刊內(nèi)容上的特色以及裝幀設(shè)計和印制等形式上的特色。這里主要強調(diào)期刊在內(nèi)容上的特色和價值，包括理論探討、學(xué)科熱點前沿、原典爬梳、學(xué)術(shù)批評與爭鳴四項指標(biāo)。

(1)理論探討。理論是構(gòu)成學(xué)科的基礎(chǔ)，有些期刊的特色即是側(cè)重理論探討，以高屋建瓴的理論指導(dǎo)與精當(dāng)?shù)霓k刊方法，給讀者提供更好的理論成果。理論引導(dǎo)能發(fā)揮正確導(dǎo)向作用，沒有理論探討的研究是沒有靈魂的。

(2)學(xué)科熱點前沿。期刊必須跟蹤國際國內(nèi)學(xué)科前沿與熱點問題研究，才能提升整體研究和問題研究水平。跟蹤相關(guān)學(xué)科最新研究熱點和難點，適時策劃稿件，進(jìn)而形成自己期刊的特色，既有益于引導(dǎo)學(xué)科發(fā)展方向，又能提升期刊的學(xué)術(shù)質(zhì)量。

(3)原典爬梳。很多人文社會科學(xué)傳統(tǒng)學(xué)科“注重對原典的爬梳，較少對當(dāng)下研究成果的引用,而新興學(xué)科更加注重對刊布于學(xué)術(shù)期刊最新研究成果的綜述和引用”[23]。因此，研究中國文化和思想“返歸原典”的信念是非常重要的，必須從自己的文化中爬梳出現(xiàn)代語言和概念。對原典的爬梳與詮釋利于汲取思想的精華，重現(xiàn)原典的原貌與風(fēng)采。

(4)學(xué)術(shù)批評與爭鳴。學(xué)術(shù)觀點不僅需要頌揚，同樣需要真誠、嚴(yán)肅的學(xué)術(shù)批評和爭鳴。學(xué)術(shù)是在批評與爭鳴之中發(fā)展的。不同的學(xué)術(shù)思想需要被尊重，因此需要進(jìn)行健康的學(xué)術(shù)爭鳴、批評。很多問題在學(xué)界的學(xué)術(shù)批評和爭鳴之后，偏向可以得到糾正，很多思想也因為得到了同行認(rèn)可而成為真理。

3.學(xué)術(shù)聲譽

聲譽是指聲望和名譽，是一個難以量化又綜合性極強的對學(xué)術(shù)“質(zhì)量”的評價。期刊聲譽更多的是一種主觀判斷，難以量化。期刊聲譽是期刊學(xué)術(shù)水平和社會聲譽、期刊整體質(zhì)量和社會認(rèn)可度、為社會發(fā)展所作貢獻(xiàn)等多方面的總括，是學(xué)術(shù)共同體在推進(jìn)期刊發(fā)展，發(fā)揮期刊功能上做出的貢獻(xiàn)給予的承認(rèn)與尊重[24]。聲譽是一個長期指標(biāo)，要想建立或改變聲譽，需要很長時間持續(xù)不斷的努力，期刊某一方面的不良行為會影響到整個聲譽。在期刊領(lǐng)域尚缺乏對聲譽這種主觀色彩很濃的指標(biāo)進(jìn)行評價的環(huán)境，但它能夠更本質(zhì)、準(zhǔn)確地反映期刊的質(zhì)量和地位。

(1)論文與服務(wù)質(zhì)量。從整體的角度考察，學(xué)術(shù)期刊質(zhì)量應(yīng)是論文質(zhì)量和服務(wù)質(zhì)量的辯證統(tǒng)一。論文與服務(wù)質(zhì)量與期刊聲譽呈正相關(guān)性。擁有良好論文與服務(wù)質(zhì)量的期刊才有可能獲得作者和讀者的信任和贊譽。

(2)學(xué)科貢獻(xiàn)度。任何一門學(xué)科的發(fā)展與成熟都離不開研究者的努力，學(xué)科的歷史正是由這些研究者的成果累積而成。期刊作為刊載學(xué)術(shù)研究成果的重要平臺，對于促進(jìn)學(xué)科發(fā)展貢獻(xiàn)著自己的力量。

(3)管理質(zhì)量。管理就是合理組織生產(chǎn)力和維護(hù)生產(chǎn)關(guān)系，為達(dá)到一定的目的而進(jìn)行的有效活動。期刊管理質(zhì)量指期刊管理者是否按照科學(xué)的規(guī)律，合理、嚴(yán)密地進(jìn)行管理，最有效地用好人力、物力、財力，發(fā)揮編輯團(tuán)隊的優(yōu)勢。

4.學(xué)風(fēng)建設(shè)

當(dāng)前，雖然有很多學(xué)者兢兢業(yè)業(yè)致力于科研成果的產(chǎn)出，但學(xué)術(shù)不端和學(xué)風(fēng)不正現(xiàn)象也很嚴(yán)重。而以定量指標(biāo)為主的評價體系無法體現(xiàn)學(xué)風(fēng)情況，在面對學(xué)術(shù)失范和學(xué)風(fēng)不正等現(xiàn)狀時，評價體系應(yīng)在整飭期刊學(xué)術(shù)風(fēng)氣方面有所擔(dān)當(dāng)。一個健全而成熟的學(xué)術(shù)評價體系，必須有自己的立場。對學(xué)風(fēng)問題的評價，應(yīng)更多借助專家評議這樣的定性評價方式。學(xué)風(fēng)建設(shè)指標(biāo)主要包括價值導(dǎo)向、理論聯(lián)系實際、反學(xué)術(shù)不端、評審制度四項二級指標(biāo)。

(1)價值導(dǎo)向。引導(dǎo)學(xué)者樹立承擔(dān)意識，承擔(dān)學(xué)風(fēng)建設(shè)責(zé)任，規(guī)范自己的學(xué)術(shù)作風(fēng)。因此，人文社會科學(xué)期刊要能夠在價值導(dǎo)向上引導(dǎo)學(xué)者樹立正確的學(xué)風(fēng)觀念，從而規(guī)范期刊的整體形象、聲譽和質(zhì)量。

(2)理論聯(lián)系實際。理論聯(lián)系實際是指理論應(yīng)接受實踐檢驗，實事求是，一切從實際出發(fā)。學(xué)術(shù)期刊是否堅持理論聯(lián)系實際，是能否辦好學(xué)術(shù)期刊的一個重要方面。

(3)反學(xué)術(shù)不端?！皩W(xué)術(shù)不端是指未能遵守學(xué)術(shù)規(guī)范，違反了學(xué)術(shù)共同體公認(rèn)的行為準(zhǔn)則的行為”[25]。學(xué)術(shù)不端主要表現(xiàn)在，“成果內(nèi)容上抄襲剽竊、編造數(shù)據(jù)事實、侵占他人成果，在作者署名上不反映作者真實情況和實際貢獻(xiàn)”[26]。目前，學(xué)界在科研誠信和學(xué)術(shù)風(fēng)氣上出現(xiàn)的浮躁學(xué)風(fēng)，滋長了學(xué)術(shù)不端行為，嚴(yán)重?fù)p害學(xué)界的聲譽，阻礙科學(xué)進(jìn)步。因此，學(xué)術(shù)期刊作為把握“不端成果”是否得以刊登的媒介必須在“反學(xué)術(shù)不端”上有所作為。

(4)評審制度。評審制度不夠嚴(yán)苛使得依靠人情、疏通關(guān)系、繳納金錢就可以發(fā)表論文的情況變得尋常。學(xué)術(shù)期刊執(zhí)行稿件刊登準(zhǔn)則、同行評審制度和專家匿名評審制度的嚴(yán)格程度直接影響科研成果評判的獨立性和學(xué)術(shù)風(fēng)氣。

5.功能影響

本文功能影響指標(biāo)包括了解學(xué)科新成果、獲取知識、指導(dǎo)學(xué)習(xí)或工作三項指標(biāo)。

(1)了解學(xué)科新成果。創(chuàng)新是社會經(jīng)濟(jì)發(fā)展的動力。科研成果是知識創(chuàng)新的結(jié)果，科研成果發(fā)表和傳播是學(xué)術(shù)期刊的重要功能。學(xué)術(shù)期刊在對論文進(jìn)行遴選、發(fā)表和傳播的過程中，對具體的創(chuàng)新活動發(fā)揮著直接的導(dǎo)向作用。

(2)獲取知識。人文社會科學(xué)學(xué)術(shù)期刊的功能主要體現(xiàn)在對人文社科領(lǐng)域知識的傳播和評價上，傳播學(xué)術(shù)成果、引導(dǎo)學(xué)術(shù)發(fā)展方向、規(guī)范學(xué)術(shù)風(fēng)尚等。學(xué)術(shù)期刊是讀者直接獲取知識信息最有效的渠道。

(3)指導(dǎo)學(xué)習(xí)或工作。人文社會科學(xué)學(xué)術(shù)期刊凝結(jié)了作者與編輯的智慧，是人文社會科學(xué)流通領(lǐng)域的核心。每種期刊都有值得他人學(xué)習(xí)、借鑒的地方。學(xué)術(shù)共同體的學(xué)習(xí)和科研大多依托于學(xué)術(shù)期刊的指導(dǎo)。

(二)評價方法

基于專家視角的期刊內(nèi)容與效用評價體系的構(gòu)建按照以下步驟進(jìn)行：第一，遴選期刊作為評價對象；第二，依據(jù)評價指標(biāo)體系，確定相應(yīng)的指標(biāo)權(quán)重、方法與原則以及結(jié)果；第三，通過發(fā)放調(diào)查問卷，專家按照問卷填答要求對期刊分級打分評價。打分結(jié)果作為評價期刊基本質(zhì)量的依據(jù)；第四，結(jié)合評價指標(biāo)體系和確定的對應(yīng)指標(biāo)權(quán)重，利用屬性數(shù)學(xué)理論最終確定評價結(jié)果。具體評價思路為：首先根據(jù)專家分級打分結(jié)果，構(gòu)建期刊的指標(biāo)層，以各指標(biāo)的單指標(biāo)統(tǒng)計屬性，測度評價矩陣(矩陣的行向量為該期刊相應(yīng)指標(biāo)的單指標(biāo)統(tǒng)計屬性測度)，結(jié)合措施層的指標(biāo)權(quán)重可得準(zhǔn)則層的多指標(biāo)統(tǒng)計屬性，測度綜合評價矩陣，依據(jù)準(zhǔn)則層的指標(biāo)權(quán)重，計算出目標(biāo)層的綜合評價矩陣；其次對單指標(biāo)和多指標(biāo)進(jìn)行屬性識別，識別準(zhǔn)則采用置信度準(zhǔn)則(確定級別)或評分準(zhǔn)則(確定綜合得分)；最后可得期刊質(zhì)量的專家評價結(jié)果。

三、實證研究

(一)研究樣本和專家人選的選取

作為文學(xué)生產(chǎn)機(jī)制一環(huán)的文學(xué)期刊，是作家、研究者發(fā)表文章、交流觀點，以及文學(xué)思潮或文學(xué)流派交流的陣地和沖鋒號。它不僅體現(xiàn)了編者的意志，也相對完整地呈現(xiàn)了作者對文學(xué)的觀點。其讀者群固定且有明晰的風(fēng)格和自己的目標(biāo)。因此，文學(xué)期刊的質(zhì)量對文學(xué)生態(tài)化的發(fā)展有直接影響。南京大學(xué)CSSCI(2019—2020)來源期刊目錄收錄中國文學(xué)學(xué)術(shù)期刊18種,《中文核心期刊要目總覽》(2017版)收錄28種，《中國人文社會科學(xué)核心期刊要覽(CASS)》(2013版)收錄15種，武漢大學(xué)中國科學(xué)評價研究中心(RCCSE)(2017—2018)收錄15種。本研究剔除刊載文學(xué)作品為主的創(chuàng)作型期刊，選取具有正式連續(xù)出版物號(CN)中國文學(xué)學(xué)術(shù)期刊20種作為實證對象，利用上文構(gòu)建的評價體系，重點就其內(nèi)容、價值和意義進(jìn)行質(zhì)量評價。

南京大學(xué)評價專家葉繼元教授2010年提出的包含評價目的、評價主體、評價客體、評價標(biāo)準(zhǔn)及指標(biāo)、評價方法和評價制度六大要素的“全評價”分析框架認(rèn)為，評價目的是龍頭，它制約評價主體、評價標(biāo)準(zhǔn)等的有效選擇。本文的評價目的是對文學(xué)期刊質(zhì)量的全面評價，因此最可靠的是同行專家的主導(dǎo)評價，評價主體是專家，經(jīng)遴選確定為以下四類：第一類為中國文學(xué)期刊權(quán)威或優(yōu)秀期刊的編委和編輯；第二類為高校文學(xué)院副高職稱以上的教師；第三類為期刊評價專家；第四類為中國文學(xué)權(quán)威期刊高產(chǎn)作者。所涉地區(qū)包括北京、南京、深圳、山西、內(nèi)蒙古、甘肅、福建等省市。專家調(diào)查方式為訪談、電話、郵寄、電子郵件發(fā)送問卷。同時，考慮調(diào)查的復(fù)雜性，為了提高專家評價的可操作性，筆者自主設(shè)計了集成20種期刊在一個界面的“啟動宏”，點擊嵌入的“評價”按鈕即可彈出相應(yīng)評價指標(biāo)的excel文檔(圖2)。調(diào)查時間為期1個月，共對90位專家發(fā)放問卷，回收56份有效問卷。

圖2 基于專家視角的學(xué)術(shù)期刊質(zhì)量評價調(diào)查

同行專家評價在選擇合適的專家上至關(guān)重要。同行專家分為大同行和小同行，對內(nèi)容質(zhì)量的評價方面小同行的評價更精準(zhǔn)。本次評價目的是對學(xué)科分類中的文學(xué)這一期刊類別進(jìn)行質(zhì)量評價，在專家的選擇上考慮了評價主體的多元性和文學(xué)期刊各類專家的數(shù)量，但實際上文學(xué)領(lǐng)域之間及二級學(xué)科之間的跨度較大，因基于同行專家期刊內(nèi)容質(zhì)量的評價實踐還處于探索階段，在本次實際調(diào)查中所選同行專家對20種期刊設(shè)置的有關(guān)內(nèi)容質(zhì)量指標(biāo)均進(jìn)行了全面評價，可能存在部分專家因?qū)τ行┢诳牟皇煜ぴ斐刹糠衷u價的盲目問題，但相對于純粹的文獻(xiàn)計量評價和以文獻(xiàn)計量為主、專家評價為輔的評價則更為細(xì)致，有利于反映各學(xué)術(shù)期刊的定位、功能與特色。為保證數(shù)據(jù)的最大可信度，在后續(xù)研究中，問卷調(diào)查的設(shè)計將允許被調(diào)查者(同行專家)對未閱讀過、不熟悉、不了解的期刊和內(nèi)容不填寫，進(jìn)行匿名調(diào)查，并考慮同行專家的學(xué)術(shù)機(jī)構(gòu)、地域分布、研究方向等因素增加問卷調(diào)查發(fā)放量，提高回收率。同時，在學(xué)科專家的選擇上將進(jìn)一步考慮其學(xué)術(shù)造詣、人品、誠信度、活躍度等進(jìn)行慎重選擇，進(jìn)一步考慮調(diào)整文學(xué)期刊的屬性，調(diào)整不同學(xué)科方向?qū)＜业谋壤?，以保證同行專家評價的公正性。

(二)確定評價指標(biāo)權(quán)重

1.確定方法與過程

因評價指標(biāo)重要程度各有差異，面對復(fù)雜決策問題，可用每個指標(biāo)的權(quán)重系數(shù)來反映指標(biāo)的重要性。本文利用層次分析法(簡稱AHP)進(jìn)行指標(biāo)權(quán)重的確定，即把復(fù)雜問題分解為目標(biāo)層、準(zhǔn)則層、指標(biāo)層，據(jù)此按照一定標(biāo)度將主觀定性判斷量化，進(jìn)而進(jìn)行分析與決策。其基本步驟包括建立層次結(jié)構(gòu)模型，構(gòu)造判斷矩陣并進(jìn)行一致性檢驗，最終確定層次指標(biāo)權(quán)重。

首先設(shè)計調(diào)查表，邀請包括中國文學(xué)類權(quán)威期刊的資深編委、優(yōu)秀作者及高校學(xué)科帶頭人在內(nèi)的10位權(quán)威專家采用9分制法對同級指標(biāo)進(jìn)行兩兩對比。其次，利用Expert Choice 11.5 軟件將專家打分的判斷矩陣進(jìn)行數(shù)據(jù)處理(包括權(quán)重的計算和一致性檢驗)，最終指標(biāo)權(quán)重以10位權(quán)威專家所計算權(quán)重的均值為準(zhǔn)。所得評價指標(biāo)權(quán)重見表1。

2.指標(biāo)權(quán)重結(jié)果分析

從表1可見，一級指標(biāo)權(quán)重分別為0.263、0.196、0.280、0.165、0.097，被調(diào)查專家普遍認(rèn)為期刊質(zhì)量評價中學(xué)術(shù)聲譽最重要，期刊學(xué)術(shù)創(chuàng)新為其次，然后是特色風(fēng)格、學(xué)風(fēng)問題和功能影響。可以看出，期刊學(xué)術(shù)聲譽的重要性得到專家的普遍認(rèn)同。學(xué)術(shù)創(chuàng)新權(quán)重占26.3%說明它對學(xué)術(shù)期刊質(zhì)量的影響不容小覷。二級指標(biāo)權(quán)重分配見圖3。

圖3 二級指標(biāo)權(quán)重情況

表1 基于專家視角的期刊質(zhì)量評價指標(biāo)權(quán)重

期刊學(xué)術(shù)創(chuàng)新共有4個指標(biāo)，從調(diào)查結(jié)果可以看到，期刊學(xué)術(shù)價值和原創(chuàng)思想程度指標(biāo)重要性的認(rèn)同度較高，選題策劃新穎度和難易程度權(quán)重相對較小。四個權(quán)重最終取平均值后的結(jié)果為：原創(chuàng)思想度0.313，學(xué)術(shù)價值0.347，難易程度0.119，選題策劃新穎度0.221。

特色風(fēng)格共有4個指標(biāo)，得到的權(quán)重分別是理論引導(dǎo)0.199，學(xué)科熱點前沿0.400，原典爬梳0.139，學(xué)術(shù)批評與爭鳴0.263。被調(diào)查者認(rèn)為學(xué)科熱點前沿最為重要，遠(yuǎn)高于其他三個指標(biāo)。另外，學(xué)術(shù)批評與爭鳴占26.3%權(quán)重，說明其重要程度也不容忽視。而理論引導(dǎo)和原典爬梳權(quán)重相對較低。

在學(xué)術(shù)聲譽中，論文與服務(wù)質(zhì)量權(quán)重占42.1%，說明對于學(xué)術(shù)聲譽來說，論文與服務(wù)質(zhì)量是最重要的影響因素。另外，學(xué)科貢獻(xiàn)度權(quán)重為0.376，說明其在學(xué)術(shù)聲譽評價中也具有重要價值。而管理質(zhì)量0.202的權(quán)重也被認(rèn)為是重要的指標(biāo)。

在學(xué)風(fēng)問題中，評審制度權(quán)重0.337為最大，而價值導(dǎo)向0.228，理論聯(lián)系實際0.209，學(xué)術(shù)不端0.225，它們的權(quán)重比較接近，其重要性都不可忽視。

期刊功能影響3個指標(biāo)的權(quán)重分別為0.555、0.228和0.217。了解學(xué)科新成果在期刊功能影響中有著顯著權(quán)重比例，獲取知識、指導(dǎo)學(xué)習(xí)或工作兩項指標(biāo)相對較弱且權(quán)重值接近。

(三)評價過程的數(shù)學(xué)計算

基于專家視角的人文社會科學(xué)學(xué)術(shù)期刊質(zhì)量評價數(shù)據(jù)，最終根據(jù)專家對學(xué)術(shù)創(chuàng)新、學(xué)術(shù)聲譽、特色風(fēng)格、學(xué)風(fēng)問題、功能影響五方面綜合評價的結(jié)果，揭示20種文學(xué)期刊的質(zhì)量情況。

屬性測度一般根據(jù)具體問題結(jié)合實際情況、實驗數(shù)據(jù)以及專家經(jīng)驗，借助一定的數(shù)學(xué)處理方法給出。利用屬性測度函數(shù)給出屬性測度是一種常見的方法。在定性評價中，通常需要多名專家一起對同一個研究對象進(jìn)行評價。這就需要引入屬性統(tǒng)計和統(tǒng)計屬性測度的概念。相對于其他綜合評價而言，屬性綜合評價有許多獨特的優(yōu)勢，特別是在有序集的綜合評價中，屬性綜合評價保留了更多的信息，可以以屬性測度(評價結(jié)果向量)的形式展現(xiàn)，評價更加真實、細(xì)致。本文通過對專家評價數(shù)據(jù)的統(tǒng)計匯總，計算出每種期刊的各級指標(biāo)屬性測度。首先依據(jù)屬性數(shù)學(xué)理論單指標(biāo)屬性測度函數(shù)，計算出各期刊的二級指標(biāo)(單指標(biāo))屬性測度和統(tǒng)計屬性測度，其次結(jié)合各級指標(biāo)權(quán)重，依次加權(quán)計算出每種期刊的準(zhǔn)則層與目標(biāo)層的統(tǒng)計屬性測度。

準(zhǔn)則層(一級指標(biāo))統(tǒng)計屬性測度的計算公式為 Tk=∑ukjTkj，這里Tkj為二級指標(biāo)(單指標(biāo))統(tǒng)計屬性測度，ukj為對應(yīng)的二級指標(biāo)權(quán)重。目標(biāo)層的統(tǒng)計屬性測度的計算公式為S=∑ukTk=(S1,S2,S3,S4,S5)，這里Tk為一級指標(biāo)(多指標(biāo))統(tǒng)計屬性測度，uk為對應(yīng)的一級指標(biāo)權(quán)重， Si分別對應(yīng)于評價集中的5個等級：非常低、低、一般、高、非常高。另外，量化評價結(jié)果(綜合得分)可通過公式F=∑flSl計算，這里Sl為目標(biāo)層統(tǒng)計屬性測度的第l個分量，fl為對應(yīng)的指定分值。一般計算過程可取fl= l，也就是5個等級指定的分值分別為1分至5分，1分最低，5分最高(出于習(xí)慣的考慮，也可把評價結(jié)果得分換算成十分制或百分制)。

(四)評價結(jié)果分析

通過數(shù)據(jù)統(tǒng)計，20種樣本期刊質(zhì)量等級排序見表2，一級指標(biāo)分?jǐn)?shù)如表3所示。

表2 基于專家視角的20種文學(xué)期刊綜合評價結(jié)果

表3 樣本期刊一級指標(biāo)得分

根據(jù)同行專家評價情況，綜合單項評價結(jié)果，最終將20種期刊分成3個層次：第一層次2種；第二層次12種；第三層次6種(圖4)。

圖4 基于專家視角的20種文學(xué)期刊分層聚類圖

第一個層次的《文學(xué)遺產(chǎn)》《文學(xué)評論》的期刊質(zhì)量被認(rèn)為居于同類期刊前兩位，也是20種被調(diào)查期刊中獲得“優(yōu)秀”的2種期刊，是超過4.6分僅有的2種期刊。

第二個層次的期刊有《中國現(xiàn)代文學(xué)研究叢刊》《文藝?yán)碚撗芯俊贰都t樓夢研究》《中國比較文學(xué)》等12種。值得一提的是，《中國現(xiàn)代文學(xué)研究叢刊》和《文藝?yán)碚撗芯俊冯m然同樣屬于“良好”等級的刊物，但是他們的得分僅次于“優(yōu)秀”的《文學(xué)遺產(chǎn)》《文學(xué)評論》，在學(xué)術(shù)創(chuàng)新、學(xué)術(shù)聲譽和學(xué)風(fēng)問題方面都有很好的表現(xiàn)。在此層次中，排在最末位的是《小說評論》，其在各指標(biāo)中也有很好的表現(xiàn)，但相對其他更優(yōu)秀的同類期刊而言經(jīng)過各種指標(biāo)評價被認(rèn)為在“良好”等級中處于相對較差的地位。

第三層次為《新文學(xué)史料》《魯迅研究月刊》《南方文壇》《當(dāng)代文壇》《中國文學(xué)研究》《現(xiàn)代中文學(xué)刊》6種期刊，其排名偏后的主要原因是在“原創(chuàng)思想度”“學(xué)術(shù)價值”“難易程度”“選題策劃新穎度”“理論引導(dǎo)”“學(xué)科熱點前沿”“學(xué)科貢獻(xiàn)度”“理論聯(lián)系實際”“反學(xué)術(shù)不端”“了解學(xué)科新成果”“指導(dǎo)學(xué)習(xí)或工作”等指標(biāo)中的得分相對較少，說明這個層次的期刊在這些質(zhì)量指標(biāo)上有待提高。

另外，將本文同行專家的評價結(jié)果與南京大學(xué)(CSSCI)、北京大學(xué)《中文核心期刊要目總覽》(簡稱《要目總覽》)、武漢大學(xué)(RCCSE)、中國社會科學(xué)院的核心期刊來源期刊評價(簡稱《要覽》)等以文獻(xiàn)計量法為主，輔以專家法的評價體系中(參考目前公布的最新版本)共同收錄的期刊評價結(jié)果對比發(fā)現(xiàn)，本文的評價結(jié)果與這幾種代表性評價體系的評價結(jié)果有相同也有不同(表4)。

由表4可知，此次專家評價的20種文學(xué)期刊大多進(jìn)入了四大評價體系中，但最大的不同主要體現(xiàn)在評價結(jié)果的排序上?！段膶W(xué)遺產(chǎn)》《文學(xué)評論》《文藝?yán)碚撗芯俊菲毡楸煌袑＜艺J(rèn)同為質(zhì)量較高的期刊，但在本研究中的排名與四大評價體系的排名有細(xì)微差別；其他期刊都有不同程度的升降。原因在于四大評價體系主要以引文指標(biāo)作為文獻(xiàn)計量學(xué)重要指標(biāo)對期刊進(jìn)行評價，難以反映期刊創(chuàng)新能力、風(fēng)格特色、學(xué)術(shù)聲譽等情況。比如根據(jù)本文評價結(jié)果排在第五位的《紅樓夢學(xué)刊》，在其他以文獻(xiàn)計量學(xué)為主的評價體系中均排名靠后，因為量化指標(biāo)雖具有合理性，但一些承載中國特色的研究成果的獨特價值和學(xué)術(shù)內(nèi)容的創(chuàng)新無法通過這些指標(biāo)反映。尤其對2009年才正式更名《現(xiàn)代中文學(xué)刊》這樣找準(zhǔn)定位開始發(fā)展的期刊，純粹從定量指標(biāo)來評價往往不能準(zhǔn)確評價其真實水平，而專家評價顯示了更多優(yōu)勢。

表4 20種文學(xué)期刊質(zhì)量評價與CSSCI、《中文核心期刊要目總覽》等對比分析

四、結(jié)語

目前，國內(nèi)學(xué)界在期刊評價定性和定量相結(jié)合評價方面雖然形成了共識，但實際上仍然以定量為主，很多評價結(jié)果都是根據(jù)文獻(xiàn)計量指標(biāo)值的大小進(jìn)行排序。在常用的定性和定量加權(quán)計算的時候，將二者結(jié)合在一起計算存在的問題是常常使得最后的結(jié)果仍然是定量評價起了主要作用。這樣的期刊評價體系在準(zhǔn)確有效地反映同行專家對期刊的評價意見方面體現(xiàn)不夠。

本文為人文社會科學(xué)學(xué)術(shù)期刊構(gòu)建了基于專家視角注重期刊內(nèi)容和效用的質(zhì)量評價體系，并進(jìn)行了實證研究。該評價體系重點是對期刊進(jìn)行本質(zhì)的內(nèi)容評價，突出專家評價，內(nèi)容和效用評價不與定量指標(biāo)混合在一起。評價指標(biāo)的設(shè)置注重人文社會科學(xué)學(xué)科特點和指標(biāo)對期刊質(zhì)量的導(dǎo)引，突出重點又兼顧一般并進(jìn)行了簡化，降低了指標(biāo)獲取的難度，同時又保障了評價體系的科學(xué)性。當(dāng)前，克服學(xué)術(shù)評價中過分量化的傾向仍然是一個復(fù)雜、艱難和長期的過程，專家評價也因“人情”“主觀”等的“異化”存在一定的局限性，為克服局限，首先應(yīng)在評價時明確評價目的，對精細(xì)復(fù)雜的內(nèi)容評價選擇精英同行進(jìn)行評價；其次，動態(tài)完善同行或小同行專家?guī)?，在專家?guī)熘羞x擇兩組或幾組最適合的同行專家，回避利益相關(guān)者后對評價客體進(jìn)行評價；再次，建立并完善同行專家評價監(jiān)督機(jī)制，設(shè)定監(jiān)督條款和規(guī)則，使同行專家遵守評價規(guī)則實事求是地進(jìn)行評價，對評價不端行為設(shè)定相應(yīng)條款加以約束，建立相關(guān)制度以保障同行評價的公正。如葉繼元教授認(rèn)為，“今后要建立元評價(對評審專家評價的再評價)和公示、反饋、申訴、仲裁等制度，以使得評價失誤降到最小”[12]。同時，根據(jù)不同的評價目的，適當(dāng)?shù)挠嬃恐笜?biāo)仍然是需要的，它可以與定性指標(biāo)相互印證實現(xiàn)互補，而重點突出對期刊內(nèi)容的專家評價。本文構(gòu)建的評價體系對完善現(xiàn)有期刊評價體系、揭示期刊的評價結(jié)構(gòu)提供了新思路，對了解學(xué)界研究者對本學(xué)科期刊的學(xué)術(shù)認(rèn)同具有參考作用。