張艷麗+蔡繼輝

【摘要】對人文社會科學類學術(shù)圖書的評價因其學科及成果形式的多樣性、差異性造成評價對象具有較強的復雜性，從而受到國內(nèi)外學界的廣泛關(guān)注。本文以社會科學文獻出版社應(yīng)用性研究成果皮書的內(nèi)容評價為案例，對皮書的評價指標、評價方法進行分析，提出可依據(jù)學術(shù)圖書的表現(xiàn)形式進行分類評價、對專家的信度進行實證評估、學術(shù)出版社可作為第三方評價機構(gòu)等建議。

【關(guān)鍵詞】學術(shù)圖書；學術(shù)評價；同行評議；皮書；應(yīng)用性研究成果

【作者單位】張艷麗，社會科學文獻出版社；蔡繼輝，社會科學文獻出版社。

對人文社會科學類學術(shù)圖書的質(zhì)量進行評價一直是國家行政主管部門、出版機構(gòu)以及學者關(guān)注的焦點，采用完善的學術(shù)圖書質(zhì)量評價指標、方法和流程，對人文社會科學類學術(shù)圖書的學術(shù)價值進行綜合評判，對提升學術(shù)成果的影響力、促進學術(shù)繁榮、推動學術(shù)研究的健康發(fā)展具有重要作用。根據(jù)學術(shù)圖書的功能，人文社會科學類學術(shù)圖書可以分為基礎(chǔ)性研究和應(yīng)用性研究兩類。

社會科學文獻出版社出版的系列研究成果皮書是典型的人文社會科學領(lǐng)域的應(yīng)用性研究成果。在新的時代下，皮書被賦予了新的功能定位。目前，我國出版的人文社會科學類學術(shù)圖書總量在逐年增加，但總體水平不高幾乎是公認的事實[1]。在此大環(huán)境下，社會科學文獻出版社通過對皮書評價指標、評價方法和評價程序的實踐，對我國人文社會科學領(lǐng)域應(yīng)用性研究成果評價進行了積極的探索。

皮書評價從2009年開始，參評皮書的數(shù)量逐年遞增，在這個過程中，社會科學文獻出版社對皮書的評價工作不斷摸索，得到了課題組和社會各界的認可。目前，皮書評價已經(jīng)成為某些科研機構(gòu)進行資助與人員考核的重要標準。

一、人文社會科學類學術(shù)圖書評價方法綜述

1.國外人文社會科學類學術(shù)圖書評價方法綜述

同行評議法是國外對人文社會科學類圖書廣泛采用的評價方法，在17世紀中葉英國皇家學會刊物的創(chuàng)刊時期開始使用，隨即在其他國家的出版社也得到了廣泛的應(yīng)用。牛津、劍橋等大學出版社都有一套匿名評審、同行評議的規(guī)范流程對圖書的準入進行評價。

同行評議本是國外一種被普遍采用，并獲得廣泛認可的方法，但在實際操作中，往往因為多種原因?qū)е逻^多的人為干擾使評審失去公允，很難保證評價的客觀性。因此，國外人文社會科學界普遍呼吁更為客觀的評價標準?？茖W計量學是19世紀60年代開始興起的，普賴斯在其發(fā)表的學術(shù)專著中首次提出“引文分析”，學術(shù)圖書評價也逐漸開始采用引文評價。隨著引文評價被廣泛采用，學者對引文評價提出了質(zhì)疑，Mohammadi和Thelwall認為引文評價受讀者人數(shù)的影響[2]。

同行評議存在結(jié)果差異大、缺乏公平性等問題，引文評價在全面判定一個學術(shù)成果的品質(zhì)時也存在一定的局限。因此，國外一些學者認為可以采用引文評價與同行評議相結(jié)合的評價方式。Kousha和Thelwall對人文社會科學類的圖書評價進行了專業(yè)性的研究，認為可以采用引文指標和通常的學術(shù)評價指標同時對人文社會科學類圖書進行評價[3]。Kayvan等強調(diào)了引文評價方式可以為同行評議提供更多的參考信息[4]。

2.國內(nèi)人文社會科學類學術(shù)圖書評價方法綜述

國內(nèi)人文社會科學類成果評價的發(fā)展，經(jīng)歷了從較為單一的同行評議到同行評議與文獻計量分析相互補充的綜合評價演變過程。20世紀80年代，同行評議機制被正式引入國內(nèi)，此后，同行評議被大量應(yīng)用到人文社會科學成果的評價中，國內(nèi)一些著名的圖書評獎，如中國出版政府獎的“圖書獎”、“五個一工程”獎的“一部好書”獎、中華優(yōu)秀出版物獎的“圖書獎”均采用了同行評議的方式。

我國自20世紀80年代引入引文分析并開始用于期刊評價，隨后引文評價期刊的方式逐漸被引入對學術(shù)圖書的評價中[5]。蘇新寧等運用引文分析對中國人文社會科學圖書的學術(shù)影響力進行了分析[6]。

國內(nèi)學者認為，不論是引文分析還是同行評議，均不能夠客觀、公正地對學術(shù)圖書進行評價[7]，引文分析與同行評議的有效結(jié)合才是最佳的評價方式。劉建輝認為，對學術(shù)成果評價的方法可以采用多種方式，既要完善引文分析法的應(yīng)用，又要鞏固同行專家評價方法的主體地位[8]。在面對復雜的評價對象和評價問題時，既需要定性評價，又需要定量評價，因此綜合評價成為科學評價的首要選擇。

二、皮書作為智庫報告在當下中國被賦予新的功能定位

1.皮書的起源與發(fā)展

皮書最早是以白皮書的形式出現(xiàn)在18世紀的英國，而皮書作為一種出版形態(tài)，最早是由社會科學文獻出版社社長、中國社會學會秘書長謝壽光提出并踐行的，是從該社出版的藍皮書、黃皮書、綠皮書綜合演化而來的，由一系列權(quán)威研究報告組成。1991年，國內(nèi)經(jīng)濟藍皮書作為正式出版物公開出版發(fā)行[9]。隨著皮書在國際、國內(nèi)影響力的日益增大，皮書這一稱謂在社會上得到廣泛流傳，分為藍皮書、綠皮書、黃皮書系列，內(nèi)容涉及經(jīng)濟、社會、文化、行業(yè)、國際問題、地方發(fā)展等多個領(lǐng)域。

2.新時代賦予皮書新的功能定位

智庫是國家軟實力的重要組成部分，隨著社會形勢的演變，智庫在政府決策、引導理論、傳遞中國話語等方面發(fā)揮著重要的作用。皮書作為一種專題性研究報告，以定期連續(xù)發(fā)布的方式，通過媒體的話語轉(zhuǎn)換和傳播引導社會輿論，引起決策者的關(guān)注和吸納，最終影響決策，基本上涵蓋了智庫的主要功能和作用方式。目前，皮書研創(chuàng)出版已經(jīng)成為中國特色新型智庫建設(shè)的重要抓手和智庫成果重要的發(fā)布平臺。

三、皮書發(fā)展回顧及評價作用凸顯

1.皮書發(fā)展回顧

1996年11月，社會科學文獻出版社出版了第一本經(jīng)濟藍皮書，即《1997年：中國經(jīng)濟形勢分析與預測》。近20年來，皮書的社會知名度不斷提升，皮書的種類也不斷增加，從原來的幾種發(fā)展到目前的300余種。目前，皮書系列不僅發(fā)展成為社會科學文獻出版社的核心品牌，更是中國社會科學界的知名品牌。

2.皮書評價的作用愈發(fā)凸顯

隨著皮書作為社會科學研究成果權(quán)威出版平臺地位的凸顯，越來越多的科研團隊加入皮書的研創(chuàng)與編撰。皮書是應(yīng)用對策類研究報告中影響力比較大、出版數(shù)量比較多的年度性研究報告。然而，皮書并非一般的應(yīng)用型研究成果，它對時效性、前沿性、實證性的要求很高，這種出版周期短的特點對研創(chuàng)團隊提出了更高的要求。隨著出版周期逐漸縮短，少數(shù)皮書的學術(shù)圖書質(zhì)量逐漸出現(xiàn)了一系列的問題，包括內(nèi)容質(zhì)量不高、主題與上年重復、學術(shù)規(guī)范有待加強、重復率過高等，有價值的研究報告所占比重不斷下降。皮書存在的質(zhì)量問題，也是大背景下人文社會科學類學術(shù)圖書存在的普遍問題，對皮書進行評價對提升皮書質(zhì)量具有重要的促進作用。

鑒于大環(huán)境下人文社會科學類學術(shù)圖書的學術(shù)質(zhì)量以及皮書的出版狀況，對皮書內(nèi)容質(zhì)量進行系統(tǒng)評價的作用進一步凸顯。皮書評價工作自2008年開始，至今已連續(xù)開展了10年。為了更加專業(yè)、持續(xù)地對皮書進行評價，社會科學文獻出版社于2009年成立了皮書評價研究中心，于2014年更名為皮書研究院。皮書評價得分及排名在2008年“第九次全國皮書工作會議”上首次發(fā)布以來，參評的皮書數(shù)量逐年遞增，截至2015年，皮書參評數(shù)量達308種。一方面，皮書評價通過找出問題供課題組參考，為下一年度的皮書研創(chuàng)提供改進思路；另一方面，皮書的評價結(jié)果得到了廣泛的應(yīng)用。目前，不僅皮書評價是皮書能否進入中國社會科學院創(chuàng)新工程的關(guān)鍵指標，皮書分級資助的最主要標準也是皮書評獎與淘汰的重要衡量依據(jù)。

四、評價指標的演變發(fā)展

皮書的評價指標體系從最初的設(shè)立，到經(jīng)過多年的摸索和修正，目前已經(jīng)形成一套比較完整的評價指標體系。如圖1所示。

五、皮書內(nèi)容評價的特點

一個成熟的評價體系不是理論思辨的結(jié)果，而是在實踐互動中逐漸摸索、修正形成的。社會科學文獻出版社的皮書評價正是在多年不斷對人文社會科學類應(yīng)用性研究成果評價的探索中形成一套比較完善的指標體系。

1.依據(jù)皮書特點分類設(shè)置皮書的評價指標

在皮書內(nèi)容評價指標的設(shè)置中，依據(jù)皮書學科領(lǐng)域的特征進行了分類設(shè)置。皮書按照學科領(lǐng)域分為經(jīng)濟、社會政法、文化傳媒、行業(yè)、地方發(fā)展、國際問題等類別，依據(jù)皮書的不同類別，在指標設(shè)置時也有所差異。例如，對原創(chuàng)性指標的設(shè)置在地方發(fā)展類皮書中進行了弱化，對實證性指標在國際問題類皮書中進行了弱化。

自2015年起，皮書的評價做了兩個方面的調(diào)整：第一，考慮不同的學科特點，加分項部分設(shè)置了評價評級、社會調(diào)查以及模型分析與預測三項內(nèi)容；第二，將科學計量方法引入皮書的評價中（科學計量包括多種指標，其中引文是最常用的一種），計算引文量的前提是在時間上有一定的積累，評價的是當年度的皮書，采用引文的方式顯然不夠合理，因此采用皮書數(shù)據(jù)庫的下載率作為科學計量的指標。同行評議能充分發(fā)揮專家的特長和優(yōu)勢，文獻計量則給專家評議的主觀判斷提供了客觀數(shù)據(jù)參考，皮書的內(nèi)容評價將同行評議與文獻計量進行了比較好的結(jié)合。

2.依據(jù)皮書的特色更加注重同行評議的細節(jié)設(shè)計

皮書的主觀評價指標采用同行評議的方式完成，在現(xiàn)實中很容易失去公正性和客觀性，且評審結(jié)果不易被量化和比較。因此，對評價皮書的同行專家，社會科學文獻出版社更加注意細節(jié)設(shè)計，具體包括：第一，成立皮書學術(shù)評審委員會保證同行專家的延續(xù)性。在組織專家對皮書內(nèi)容進行評價的同時，針對皮書具有連續(xù)性的特征，自2010年起，設(shè)立了皮書學術(shù)評審委員會，每兩年一屆，這樣確保同行專家對皮書的研創(chuàng)特點比較熟悉；第二，依據(jù)專家的學科進行分組評價，保證評價的專業(yè)性；第三，同行評議專家包括相關(guān)學科學者、學術(shù)期刊資深編輯、資深媒體人等，不同領(lǐng)域的專家對皮書的認知、掌握的信息量不同，對皮書的評價視角亦不同，保證了評價結(jié)果的客觀性。

六、皮書評價實踐中對人文社會科學類學術(shù)圖書評價的思考

1.學術(shù)圖書按照表現(xiàn)形式進行分類評價

對圖書進行分類的《中國圖書館圖書分類法》是我國目前通用的圖書分類工具，主要是依據(jù)學科的內(nèi)容對圖書進行劃分，但此種分法并不適合對人文社會科學類學術(shù)圖書的評價。評介人文社會科學類學術(shù)圖書，建議依據(jù)表現(xiàn)形式對其進行劃分。任全娥將人文社會科學研究成果分為論文類、研究報告類和著作類，并依據(jù)不同類型的研究成果設(shè)計了評價指標[10]。葉繼元按照成果形式對學術(shù)圖書進行了劃分，包括學術(shù)著作、學術(shù)專著、學術(shù)論文匯編/論文集、某學科百科全書等工具書和學術(shù)隨筆等[11]。

2.對專家的信度可進行實證評估

同行評議容易受到各種非學術(shù)因素的影響，進而影響評價信度。卜衛(wèi)等認為評估者的信度包括整體信度和評委個人信度。其中評估者整體信度可以采用肯德爾系數(shù)來估計，測試評委的態(tài)度是否一致。對評委個人信度分析方法比較多，包括計算同質(zhì)性系數(shù)、相關(guān)系數(shù)、建立回歸方程以及因子分析法[12]。皮書評價不僅對評價指標進行不斷的完善，在多年的探索中，對同行專家的評價方式、評價流程也在不斷摸索和改進，以期能夠提升同行專家的評價信度。從實證的角度對同行專家的信度進行評價，也是今后努力的方向。

3.出版社作為第三方評價機構(gòu)更具客觀性

皮書評價結(jié)果目前得到了課題組普遍的認可，一些課題組把評價結(jié)果作為當年度考核的依據(jù)，也有課題組對社會科學文獻出版社的皮書評價指標和方法進行適當調(diào)整，運用到本單位的科研評價中。在目前的學術(shù)評價中，中介機構(gòu)作為專業(yè)的獨立評價機構(gòu)，其最大的優(yōu)勢在于專業(yè)性和獨立性，而學術(shù)出版機構(gòu)更具有第三方評價機構(gòu)的特征：第一，數(shù)據(jù)資源基礎(chǔ)。在學術(shù)產(chǎn)品生產(chǎn)過程中，學術(shù)出版機構(gòu)積累了大量的內(nèi)容資源，這些數(shù)據(jù)構(gòu)成了學術(shù)出版機構(gòu)建立學術(shù)評價體系的基礎(chǔ)資源；第二，學術(shù)出版機構(gòu)是學術(shù)作品加工者（編輯）的組織者，創(chuàng)作者、消費者和加工者的集合使得出版機構(gòu)擁有了堅實的同行專家基礎(chǔ)。

[1] 謝壽光.中國學術(shù)出版：現(xiàn)狀、問題與機遇[J].出版發(fā)行研究，2013（5）.

[2] Mohammadi E.， Thelwall M. Mendeley readership altmetrics for the social sciences and humanities： research evaluation and knowledge flows[J]. Journal Of The Association For Information Science And Technology，2014（8）.

[3] Kousha K.，Thelwall M. The web impact of open-accesssocial science research[J]. Library and Information Science Research，2007（4）.

[4] Kayvan K.， Mike T.，Somayeh R. Assessing the citation impact of books： The role of Google Books， Google Scholar， and Scopus[J]. Journal of the American Society for Information Science and Technology， 2011（11）.

[5] 邱均平，王菲菲.社會科學研究成果綜合評價方法研究[J] .重慶大學學報（社會科學版），2010（1）.

[6] 蘇新寧等.中國人文社會科學圖書學術(shù)影響力報告[M] .北京：中國社會科學出版社，2011.

[7] 葉繼元，袁曦臨.中國學術(shù)評價的反思與展望[J].中國社會科學評價，2015（1）.

[8] 劉建輝.社會科學學術(shù)成果評價方法探析[J] .湖南大學學報（社會科學版）（3）.

[9] 蔡繼輝，張靜鷗.皮書2012：價值與評價望[J] .中國圖書評論，2013（2）.

[10] 任全娥.文社會科學研究成果評價指標體系研究[J] .大學圖書館學報，2009（5）.

[11] 葉繼元 .學術(shù)圖書、學術(shù)著作、學術(shù)專著概念辨析[J] .中國圖書館學報，2016（1）.

[12] 卜衛(wèi)，周海宏，劉曉紅.社會科學成果價值評估[M] .北京：社會科學文獻出版社，1998.