近年來，在各類型的高等院校中，數(shù)字文獻(xiàn)資源的經(jīng)費(fèi)投入均有大幅度增加，甚至超過了紙質(zhì)文獻(xiàn)資源[1]。因此，有必要對圖書館購置的電子資源進(jìn)行綜合評估，并基于客觀數(shù)據(jù)和事實(shí)，對各種電子資源質(zhì)量的優(yōu)劣進(jìn)行橫向比較，以判斷它們在用戶文獻(xiàn)利用方面發(fā)揮的價值。綜合評價結(jié)果，可為電子資源的新增、續(xù)訂、停訂等工作提供決策支持，使圖書館在經(jīng)費(fèi)有限的情況下，采購到更符合用戶需求的高質(zhì)量資源，提高文獻(xiàn)資源建設(shè)經(jīng)費(fèi)的使用效益。

對于電子資源的綜合評價，目前國內(nèi)外均有較多研究，但這些研究更多是集中在理論研究層面，包括對評價方法的討論、評價指標(biāo)體系與評價模型的建立等[2-3]，實(shí)證分析和案例研究僅見少量報道[4-5]。首都醫(yī)科大學(xué)圖書館(以下簡稱“我館”)于2015年運(yùn)用層次分析、德爾菲法等方法，結(jié)合醫(yī)學(xué)院校的實(shí)際情況，建立了一套適用于醫(yī)學(xué)院校圖書館的電子期刊評價指標(biāo)體系[6]。

本文在前期工作的基礎(chǔ)上，對4種醫(yī)學(xué)外文電子期刊數(shù)據(jù)庫進(jìn)行了試評價，就醫(yī)學(xué)電子資源的評價標(biāo)準(zhǔn)與評價方法與業(yè)內(nèi)同行進(jìn)行了探討。

1 研究方法

1.1 評價對象的確立

選取4種醫(yī)學(xué)外文全文電子期刊數(shù)據(jù)庫作為研究樣本。因為評價內(nèi)容涉及價格等信息，為避免造成商業(yè)信息泄露，分別采用A、K、P、W數(shù)據(jù)庫進(jìn)行指代。

A數(shù)據(jù)庫作為醫(yī)學(xué)學(xué)協(xié)會出版物的代表；K數(shù)據(jù)庫的內(nèi)容來自一家專注于出版醫(yī)學(xué)內(nèi)容的中小型出版社；P數(shù)據(jù)庫為集成型電子資源，收錄內(nèi)容來自多家出版社的醫(yī)學(xué)類電子期刊；W數(shù)據(jù)庫則為收錄多學(xué)科學(xué)術(shù)期刊的商業(yè)數(shù)據(jù)庫，本文僅對其醫(yī)學(xué)及生命科學(xué)學(xué)科進(jìn)行評價。4種數(shù)據(jù)庫覆蓋了當(dāng)前電子期刊幾種主要的出版與銷售模式，具有良好的代表性。

1.2 評價指標(biāo)類別及數(shù)據(jù)來源

本研究采用的評價指標(biāo)體系由數(shù)字資源內(nèi)容及數(shù)字資源使用情況、經(jīng)濟(jì)性、檢索系統(tǒng)功能和相關(guān)服務(wù)等5個1級指標(biāo)、11個2級指標(biāo)和28個3級指標(biāo)構(gòu)成。根據(jù)各評價指標(biāo)的性質(zhì)，不同指標(biāo)的數(shù)據(jù)來源及評分方式有所不同，將這些指標(biāo)大致分為定量型和定性型兩類。

定量型包括收錄全文電子期刊的種數(shù)和數(shù)據(jù)庫的登錄次數(shù)與檢索次數(shù)、價格等信息，數(shù)據(jù)主要來自DRAA(高校圖書館數(shù)字資源采購聯(lián)盟)出具的數(shù)據(jù)庫評估報告、數(shù)據(jù)庫商提供的信息及我館的實(shí)際使用數(shù)據(jù)等。

其中定性型變量又可分為以下兩類。

第一類為定序型變量，即變量值具有等級或程度上的差別，但這種差別往往來自人的主觀感知，難以用某種具體的尺度直接測量其數(shù)值的大小，如數(shù)據(jù)庫檢索系統(tǒng)功能的強(qiáng)弱，檢索結(jié)果分析、處理能力的高低等。對于該類指標(biāo)，選取5名具備豐富檢索經(jīng)驗的圖書館員，根據(jù)實(shí)際工作中的體驗進(jìn)行打分獲得。打分方式采用5級量表的形式，用1-5分分別代表非常不滿意、比較不滿意、一般、比較滿意、非常滿意，隨后計算5份打分結(jié)果的均值。為了避免打分的盲目性、隨意性，首先登錄各待評價數(shù)據(jù)庫網(wǎng)站，收集基本信息，并結(jié)合數(shù)據(jù)庫商提供的基本介紹材料，對檢索途徑、檢索技術(shù)、輸出結(jié)果多樣化以及檢索結(jié)果分析等4項指標(biāo)來進(jìn)行客觀事實(shí)的填寫，以供打分人員參考，具體信息見表1。

表1 定序型指標(biāo)基本信息

第二類定性型變量稱為名義型變量，其特點(diǎn)是變量值只有若干有限取值。本文涉及的變量均有兩個可能的取值，即有或無、是或否，如是否包括附屬醫(yī)院IP，是否支持漫游訪問等信息。對于這種0-1型變量，則根據(jù)實(shí)際情況直接對其進(jìn)行打分，分值分別為0分或1分。

全部28個評價指標(biāo)的名稱、分類及原始數(shù)值參見表2。

另外，按照各評價指標(biāo)的經(jīng)濟(jì)性，又可將其劃分為效益型指標(biāo)(數(shù)值越大越好)和成本型指標(biāo)(數(shù)值越小越好)。對于成本型指標(biāo)，需要與效益型指標(biāo)進(jìn)行區(qū)別處理，反向賦值。

表2 4個數(shù)據(jù)庫指標(biāo)的名稱、類別及原始數(shù)值

1.3 數(shù)據(jù)填寫過程中應(yīng)注意的問題

一是數(shù)據(jù)庫收錄內(nèi)容。在統(tǒng)計收錄期刊的種數(shù)時，應(yīng)注意排除OA期刊；對于集成型資源，還應(yīng)分析該庫與其他數(shù)據(jù)庫收錄期刊的重復(fù)情況。

二是數(shù)據(jù)庫價格。在計算數(shù)據(jù)庫價格時，應(yīng)將捆綁紙本刊的價格涵蓋在內(nèi)，一并計入成本。

三是用戶幫助與培訓(xùn)指標(biāo)。收集了2014-2016年首都醫(yī)科大學(xué)圖書館舉辦的全部講座與培訓(xùn)的信息。在4種數(shù)據(jù)庫中，僅W數(shù)據(jù)庫曾于2016年到館進(jìn)行1次培訓(xùn)。但在實(shí)際工作中，各數(shù)據(jù)庫商對于用戶培訓(xùn)的要求是積極配合，這對他們的產(chǎn)品也是一次很好的宣傳機(jī)會。由于全文期刊型數(shù)據(jù)庫總體上較簡便易用，檢索界面比較友好，無需每年安排培訓(xùn)。對此，打分的過程中應(yīng)予以適當(dāng)考慮。

1.4 評價指標(biāo)樣本數(shù)據(jù)的處理

1.4.1 空值的處理

在評價過程中有5個評價指標(biāo)數(shù)值有缺失。造成空值的原因，一是指標(biāo)對評價對象不適用，如C22(是否提供試用統(tǒng)計)項，適用于訂購前對試用數(shù)據(jù)庫的評價、比較，而本次測評的對象均為已訂購數(shù)據(jù)庫，因而不適用。二是數(shù)據(jù)無法獲得，如C7、C8、C9、C13項，涉及數(shù)據(jù)庫的用量統(tǒng)計。有些數(shù)據(jù)庫商能夠提供相對完備的統(tǒng)計數(shù)據(jù)，有些只提供全文下載量等基本信息。對于這些缺失值，在實(shí)際操作中作了刪除處理。為了避免因刪除指標(biāo)導(dǎo)致的評價指標(biāo)體系整體權(quán)重發(fā)生變化，采用的方式是參考一級指標(biāo)及二級指標(biāo)的權(quán)重，將同類目下的相應(yīng)指標(biāo)按比例放大。如C13(單次檢索成本)項有缺失，則參考二級指標(biāo)B7(數(shù)字資源使用成本)項，將該項的權(quán)重0.0751均賦予C14(全文利用成本)項。在刪除5項有空值的指標(biāo)后，再對剩余的23項指標(biāo)進(jìn)行進(jìn)一步計算和處理。

1.4.2 電子期刊評價指標(biāo)原始數(shù)據(jù)的無量綱化

我館構(gòu)建的評價指標(biāo)體系在確定各項指標(biāo)及權(quán)重后，采用百分制的方式，依據(jù)各指標(biāo)的權(quán)重進(jìn)行賦值。百分制賦值的優(yōu)點(diǎn)在于簡便、清晰，易于理解。但在實(shí)際操作的過程中，發(fā)現(xiàn)存在一些現(xiàn)實(shí)問題。首先是對各項指標(biāo)權(quán)重的小數(shù)部分進(jìn)行四舍五入，以得到整數(shù)。但當(dāng)權(quán)重系數(shù)值較小時，小數(shù)部分的取舍會造成取值相對原始數(shù)值的較大比例的變化。另外一個重要的問題是在打分開始前，制定一個科學(xué)合理的打分標(biāo)準(zhǔn)是困難的，各數(shù)據(jù)庫的評分結(jié)果將會隨著打分標(biāo)準(zhǔn)的不同而發(fā)生變化；在打分的過程中，根據(jù)各項指標(biāo)不同的原始數(shù)值賦予其不同的分值，操作起來也是模糊的，難以避免主觀隨意性。

本文采用數(shù)學(xué)轉(zhuǎn)換的方式，對原始數(shù)據(jù)進(jìn)行無量綱化處理。這是因為三級指標(biāo)之間是不同質(zhì)的，各個指標(biāo)的內(nèi)涵和量綱也不完全相同，不便將其數(shù)值直接進(jìn)行加和、比較。因而，有必要進(jìn)行標(biāo)準(zhǔn)的轉(zhuǎn)換，去除原始數(shù)據(jù)的量綱，這是對多指標(biāo)的復(fù)雜對象進(jìn)行綜合評價的一個必要的步驟和環(huán)節(jié)。結(jié)合課題的實(shí)際情況，采取“差極化”的方法，將上述定量型指標(biāo)和定序型指標(biāo)的客觀數(shù)據(jù)xi轉(zhuǎn)換為[0,1]范圍內(nèi)的數(shù)值yi。

對于效益型指標(biāo)和成本型指標(biāo)，二者的處理方式有所不同，見公式1和公式2。

最后，用ωi代表指標(biāo)權(quán)重，運(yùn)用公式3，計算出4個數(shù)據(jù)庫的最終得分Z(見表3)。

表3 4種數(shù)據(jù)庫的無量綱化值及綜合得分

2 結(jié)果與分析

由計算結(jié)果可知，4種數(shù)據(jù)庫的綜合得分排名為W>A>K>P。其中W數(shù)據(jù)庫得分最高，績效最好；K數(shù)據(jù)庫和P數(shù)據(jù)庫得分接近，K數(shù)據(jù)庫略高。通過對樣本數(shù)據(jù)庫各分項指標(biāo)的加權(quán)得分進(jìn)行橫向比較，可以得知各個數(shù)據(jù)庫在每項指標(biāo)中的優(yōu)勢和不足之處。

2.1 W數(shù)據(jù)庫

W數(shù)據(jù)庫的綜合績效得分為0.8465分，排名第一。其優(yōu)勢在于收錄期刊的整體學(xué)術(shù)水平較高，且數(shù)量較大。由C3(收錄內(nèi)容)及C4(SCI/EI比重)兩項指標(biāo)可知，該數(shù)據(jù)庫收錄的生物醫(yī)學(xué)類期刊中有455種被SCI/EI收錄，因而獲得了最高的全文下載量。其2016年全年達(dá)到了9.75萬篇，是下載量排名第二的K數(shù)據(jù)庫的8.6倍。此外，W數(shù)據(jù)庫還獲得了最低的全文利用成本。由于C10(全文下載量)和C14(全文利用成本)的權(quán)重較高(0.3314)，使W數(shù)據(jù)庫最終得分領(lǐng)先。W數(shù)據(jù)庫突出的缺點(diǎn)在于其具有對檢索結(jié)果進(jìn)行分析的功能，缺乏基本的檢索結(jié)果分面篩選功能，使用戶在大量檢索結(jié)果面前無法快速篩選自己想要的內(nèi)容，造成極大的不便和困擾。

2.2 A數(shù)據(jù)庫

A數(shù)據(jù)庫的綜合績效得分為0.5395分，排名第二。雖然該庫只收錄了10種全文期刊，但每種期刊的學(xué)術(shù)質(zhì)量均非常高，全部被SCI/EI所收錄。A數(shù)據(jù)庫的年度全文下載總量為10 993篇，與收錄84份期刊的K數(shù)據(jù)庫相近。根據(jù)全文下載量，可以計算出平均每份期刊的年下載量達(dá)到了1 099篇，是W數(shù)據(jù)庫的5.6倍，說明A數(shù)據(jù)庫也在一定程度上滿足了用戶需求。

2.3 K數(shù)據(jù)庫

K數(shù)據(jù)庫的績效得分為0.3945分。原因是K數(shù)據(jù)庫的檢索界面不夠友好，且檢索功能整體較弱，在檢索界面、檢索途徑、檢索技術(shù)、檢索結(jié)果輸出多樣化等方面，用戶滿意度均很低，從而拉低了分值。

2.4 P數(shù)據(jù)庫

P數(shù)據(jù)庫是集成型資源，在所評價的4個數(shù)據(jù)庫中，收錄的醫(yī)學(xué)全文電子期刊的種數(shù)最高，為3 055種。其不足之處在于，很多期刊都存在時滯，且內(nèi)容更新不夠及時，無法提供最新的文獻(xiàn)，對于時效性要求很高的醫(yī)學(xué)文獻(xiàn)而言，是一個較大的問題。該庫全年總下載量最低，僅有2 400余篇，且單篇下載成本最高，使績效得分最低，僅為0.3236分。

3 討論

3.1 評價結(jié)果對資源建設(shè)工作的指導(dǎo)性作用

對電子資源進(jìn)行系統(tǒng)性的綜合評價，可以為圖書館數(shù)字文獻(xiàn)資源建設(shè)提供數(shù)據(jù)支撐。從研究結(jié)果可知，W數(shù)據(jù)庫整體表現(xiàn)較好，在采購方案沒有大幅變動的情況下，可以維持續(xù)訂；A數(shù)據(jù)庫評分中等，可以密切關(guān)注；K數(shù)據(jù)庫和P數(shù)據(jù)庫績效評分均較低，但對這兩個數(shù)據(jù)庫又需要區(qū)別對待。K數(shù)據(jù)庫主要是在檢索系統(tǒng)方面存在不足，需要反饋給數(shù)據(jù)庫商，敦促其重視用戶體驗，積極升級檢索功能；P數(shù)據(jù)庫的主要問題是用量較低，使用成本較高。筆者查閱了DRAA集團(tuán)的使用統(tǒng)計，發(fā)現(xiàn)在18家參團(tuán)用戶中，2015年的集團(tuán)年平均全文下載量為1.6萬篇，單篇下載成本平均為5.32元，說明P數(shù)據(jù)庫整體而言對用戶是有幫助的，不宜直接停訂，還需加大宣傳推廣的力度，促進(jìn)讀者對該數(shù)據(jù)庫的認(rèn)識和使用，從而降低使用成本，提高使用效益。若經(jīng)過一個合同期的宣傳，該數(shù)據(jù)庫的利用率仍然較低，則可以考慮不再續(xù)訂。

3.2 評價指標(biāo)體系的有效性

筆者采用DRAA集團(tuán)組織的2016年度用戶滿意度調(diào)查結(jié)果作為參照，該調(diào)查共設(shè)置4項一級指標(biāo)，包括數(shù)據(jù)庫內(nèi)容與質(zhì)量、數(shù)據(jù)庫商服務(wù)、購買價格及方式、檢索系統(tǒng)平臺，以及13項二級指標(biāo)。匯總用戶對于A、K、P、W這4個數(shù)據(jù)庫的打分結(jié)果，發(fā)現(xiàn)在涉及的13項二級指標(biāo)中，W數(shù)據(jù)庫有11項指標(biāo)獲得了最高的滿意度，2項得到了次高滿意度的評價。這與本次測評的結(jié)果或可進(jìn)行相互的驗證，從一定程度上說明，評價指標(biāo)體系的指標(biāo)選取和權(quán)重設(shè)置是合理、可行的。

3.3 評價指標(biāo)體系的可操作性

在28項三級指標(biāo)中，有23項獲得了完整的數(shù)據(jù)，說明選取的指標(biāo)在數(shù)據(jù)的可獲得性方面，整體表現(xiàn)較好。各項指標(biāo)內(nèi)涵清晰，并實(shí)現(xiàn)了盡可能的量化，使填寫簡便易行，便于數(shù)據(jù)庫間的橫向比較。

在存在空值的5個指標(biāo)中，4個與數(shù)據(jù)庫的用量有關(guān)，包括登錄次數(shù)、檢索次數(shù)、題錄下載篇數(shù)、單次檢索成本等。為此，筆者調(diào)查了22個生物醫(yī)學(xué)及相關(guān)學(xué)科的外文全文數(shù)據(jù)庫能夠提供的用量統(tǒng)計情況，調(diào)查結(jié)果顯示，在22個數(shù)據(jù)庫中，只有全文下載量這一指標(biāo)是每個數(shù)據(jù)庫都能提供的，能夠提供登錄次數(shù)、檢索次數(shù)、題錄下載篇數(shù)的數(shù)據(jù)庫分別為6個(27%)、15個(68%)和7個(32%)。為避免在今后的評測工作中出現(xiàn)大量的空值，可以保留檢索次數(shù)和全文下載篇數(shù)兩個指標(biāo)，刪除登錄次數(shù)和題錄下載篇數(shù)這2個指標(biāo)。

4 結(jié)語

對訂購的各類型數(shù)字資源進(jìn)行系統(tǒng)性的服務(wù)績效評估，是圖書館需要長期開展的一項常規(guī)工作。評估的結(jié)果是圖書館合理分配采購經(jīng)費(fèi)，對電子資源的新增、續(xù)訂、停訂進(jìn)行科學(xué)決策的客觀依據(jù)。作為評價工具的評價指標(biāo)體系的科學(xué)性、合理性及可操作性，無疑會對評測結(jié)果起到至關(guān)重要的作用。一個理想的評價工具的建立不是一蹴而就的，必須經(jīng)過實(shí)踐的檢驗，并根據(jù)評價對象的變化而調(diào)整，使之不斷完善，具有更好的實(shí)用性。