朱艷華 胡良霖 黎建輝

（中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100190）

科技數(shù)據(jù)應(yīng)用效果評(píng)估模型初探

朱艷華 胡良霖 黎建輝

（中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心，北京 100190）

在調(diào)研國(guó)內(nèi)外數(shù)據(jù)資源共享評(píng)價(jià)方法和機(jī)制的基礎(chǔ)上，分析確定科技數(shù)據(jù)應(yīng)用效果評(píng)估指標(biāo)的基本原則和核心要素，構(gòu)建數(shù)據(jù)應(yīng)用效果評(píng)估模型，并在地學(xué)、生物和空間等領(lǐng)域選擇代表性的數(shù)據(jù)庫進(jìn)行示范驗(yàn)證。

科學(xué)數(shù)據(jù)應(yīng)用；數(shù)據(jù)共享服務(wù)；應(yīng)用評(píng)估；服務(wù)成效；評(píng)價(jià)模型

目前，國(guó)外的科技評(píng)估已經(jīng)形成了較為成熟的理論框架體系，科技評(píng)估在一些發(fā)達(dá)國(guó)家已成為制度化、經(jīng)常性的工作行為，并建立了科技評(píng)估支持系統(tǒng)。美國(guó)國(guó)會(huì)通過《政府績(jī)效與結(jié)果法案》以立法的形式對(duì)績(jī)效評(píng)估進(jìn)行管理，還開發(fā)專門的績(jī)效評(píng)價(jià)系統(tǒng)（PART），應(yīng)用于政府的預(yù)算編制[1]。英國(guó)政府有一套完善的科研績(jī)效評(píng)估體系，力求通過績(jī)效評(píng)估保證科技投資滿足國(guó)家的戰(zhàn)略需求，并通過綜合開支審查（CSR）保證科技投資物有所值[2]。澳大利亞研究理事會(huì)（ARC）依據(jù)《就業(yè)、教育與培訓(xùn)法》成立，制定了卓越性、集中性、靈活性、戰(zhàn)略性、伙伴關(guān)系、橋梁作用、績(jī)效管理等7項(xiàng)指導(dǎo)原則[3]。歐盟提出通用績(jī)效評(píng)估框架（CAF）[4]。我國(guó)科技部共享工程采用“平臺(tái)認(rèn)定”和“服務(wù)績(jī)效考核”的工作模式，發(fā)布了國(guó)家科技基礎(chǔ)條件平臺(tái)認(rèn)定和運(yùn)行服務(wù)績(jī)效考核指標(biāo)[5]。各平臺(tái)分中心依據(jù)《國(guó)家科技基礎(chǔ)條件平臺(tái)認(rèn)定指標(biāo)》和《國(guó)家科技基礎(chǔ)條件平臺(tái)運(yùn)行服務(wù)績(jī)效考核指標(biāo)》，制定適合本分中心的認(rèn)定指標(biāo)和績(jī)效考核指標(biāo)。

本研究則是通過對(duì)國(guó)內(nèi)外數(shù)據(jù)資源共享評(píng)價(jià)方法和機(jī)制的調(diào)研[6]，提出了評(píng)估科技數(shù)據(jù)應(yīng)用效果的模型，并進(jìn)行了示范驗(yàn)證。

1 評(píng)估指標(biāo)的基本原則

影響科技數(shù)據(jù)共享應(yīng)用效果的因素很多，客觀全面地選取參評(píng)指標(biāo)是評(píng)估工作的難點(diǎn)和重點(diǎn)。在確定評(píng)估指標(biāo)之前，本研究認(rèn)為評(píng)估指標(biāo)的制定需遵照系統(tǒng)高效、量化為主、靈活適用和漸進(jìn)完善等原則。

（1）系統(tǒng)高效原則。為客觀評(píng)估數(shù)據(jù)應(yīng)用效果，需要系統(tǒng)地考察影響科技數(shù)據(jù)服務(wù)效果的相關(guān)要素，同時(shí)在選取具體評(píng)估指標(biāo)時(shí)保證該指標(biāo)在定量分析中容易被測(cè)度或在專家定性評(píng)估中易于專家理解。在不影響評(píng)估效果的前提下，盡可能地簡(jiǎn)化指標(biāo)與程序，降低評(píng)價(jià)成本，減小因評(píng)價(jià)指標(biāo)和流程紛繁復(fù)雜而可能造成的系統(tǒng)誤差[7]。

（2）量化為主原則。對(duì)于客觀反映數(shù)據(jù)資源和訪問情況的指標(biāo)，應(yīng)該強(qiáng)調(diào)以軟件工具自動(dòng)采集和統(tǒng)計(jì)分析為主；對(duì)于涉及數(shù)據(jù)服務(wù)功能、支撐科研和用戶反饋等指標(biāo)，要避免過于強(qiáng)調(diào)客觀性和定量性而導(dǎo)致的評(píng)估結(jié)果偏頗，需要邀請(qǐng)領(lǐng)域?qū)＜?，給予合理的評(píng)價(jià)[8]。本研究采用定量與定性相結(jié)合的評(píng)估方法，以量化指標(biāo)為主，盡量減少人為主觀因素的影響。

（3）靈活適用原則。不同的評(píng)估單位對(duì)要評(píng)測(cè)數(shù)據(jù)庫考核的重點(diǎn)不同，因此制定的評(píng)估指標(biāo)需要具有靈活性和適用性，參評(píng)單位可以根據(jù)各自的需求，選取和細(xì)化其中的部分指標(biāo)，組成適應(yīng)自己特色的評(píng)價(jià)指標(biāo)體系。

（4）漸進(jìn)完善原則。評(píng)估指標(biāo)體系是一個(gè)開放和擴(kuò)展的系統(tǒng)，要根據(jù)實(shí)際情況做出調(diào)整和更新。比如，隨著用戶對(duì)數(shù)據(jù)服務(wù)的要求不斷提高，數(shù)據(jù)服務(wù)向多元化、集成化和主動(dòng)式的專業(yè)服務(wù)方向發(fā)展。數(shù)據(jù)庫應(yīng)用效果評(píng)估必然要順應(yīng)這種趨勢(shì)，擴(kuò)展評(píng)價(jià)內(nèi)容，增加特色軟件工具開發(fā)等評(píng)估指標(biāo)。

2 評(píng)估指標(biāo)體系內(nèi)容

根據(jù)科技數(shù)據(jù)的特點(diǎn)，結(jié)合已有研究成果，本研究提出科技數(shù)據(jù)服務(wù)效果評(píng)價(jià)四要素，即數(shù)據(jù)資源、在線系統(tǒng)、運(yùn)行維護(hù)和服務(wù)成效。其中，數(shù)據(jù)資源是共享服務(wù)的基礎(chǔ)，在線系統(tǒng)是共享服務(wù)的支撐，運(yùn)行維護(hù)是共享服務(wù)的保障，服務(wù)成效是共享服務(wù)的結(jié)果。

數(shù)據(jù)資源是共享服務(wù)的基礎(chǔ)，科技數(shù)據(jù)建設(shè)是一個(gè)長(zhǎng)期積累的過程，尤其對(duì)于那些反映客觀世界發(fā)展規(guī)律的數(shù)據(jù)，長(zhǎng)期收集整理具有更大的分析、研究和利用價(jià)值。而專業(yè)水平高、覆蓋區(qū)域大、數(shù)量積累多的資源是開展數(shù)據(jù)服務(wù)的前提條件；在數(shù)據(jù)的收集、整理和加工過程中，規(guī)范的操作、科學(xué)的分析和合理的資源建設(shè)指導(dǎo)是保證數(shù)據(jù)質(zhì)量的重要手段。

在線系統(tǒng)是共享服務(wù)的支撐，以在線形式發(fā)布和提供服務(wù)是數(shù)據(jù)共享最重要的實(shí)現(xiàn)方式?？萍紨?shù)據(jù)共享包括數(shù)據(jù)的匯集、發(fā)布、傳輸、應(yīng)用和可視化等多個(gè)方面，涉及面廣、學(xué)科性強(qiáng)、數(shù)據(jù)用戶需求多樣，需要專業(yè)服務(wù)人員針對(duì)使用者特殊要求提供深層次個(gè)性化服務(wù)。

運(yùn)行維護(hù)是共享服務(wù)的保障，保證數(shù)據(jù)庫建設(shè)和服務(wù)可持續(xù)性發(fā)展。一個(gè)有效運(yùn)行的服務(wù)體系需要具有保障平臺(tái)日常運(yùn)行服務(wù)的專門管理機(jī)構(gòu)，實(shí)行人財(cái)物相對(duì)獨(dú)立的管理機(jī)制，制定保障運(yùn)行服務(wù)的管理制度體系以及一支穩(wěn)定的人才隊(duì)伍，設(shè)立運(yùn)行服務(wù)專職崗位。

服務(wù)成效是共享服務(wù)的結(jié)果，反映數(shù)據(jù)服務(wù)的綜合效益，也是檢驗(yàn)數(shù)據(jù)庫實(shí)際服務(wù)效果的關(guān)鍵要素。對(duì)于資源開放共享的評(píng)價(jià)，盡管資源管理者和建設(shè)者可以成為評(píng)價(jià)主體，但基于資源共享的本質(zhì)分析可知，用戶才是資源開放共享評(píng)價(jià)最重要的主體[9]?；谟脩粢暯?，找尋客觀評(píng)價(jià)數(shù)據(jù)服務(wù)的新方法和新視角是評(píng)價(jià)數(shù)據(jù)應(yīng)用效果的重要內(nèi)容。

本研究最終確定的科技數(shù)據(jù)應(yīng)用效果評(píng)估指標(biāo)體系包括4個(gè)一級(jí)指標(biāo)和14個(gè)二級(jí)指標(biāo)。其中，二級(jí)指標(biāo)又分為核心二級(jí)指標(biāo)和非核心二級(jí)指標(biāo)，核心二級(jí)指標(biāo)是必選指標(biāo)，評(píng)估單位結(jié)合自身情況，將其細(xì)化成三級(jí)考核指標(biāo)；非核心指標(biāo)是可選指標(biāo)，評(píng)估單位自行決定是否采用以及采用后如何細(xì)化。

（1）數(shù)據(jù)資源

數(shù)據(jù)資源一級(jí)指標(biāo)包括數(shù)據(jù)量、標(biāo)準(zhǔn)規(guī)范、可持續(xù)性、整合模式等4個(gè)二級(jí)指標(biāo)。其中，數(shù)據(jù)量、標(biāo)準(zhǔn)規(guī)范、可持續(xù)性是核心指標(biāo)，整合模式是非核心指標(biāo)。數(shù)據(jù)量指標(biāo)重點(diǎn)考核科技數(shù)據(jù)庫收集和整合本領(lǐng)域或本區(qū)域具有代表性的數(shù)據(jù)資源；資源量（包括記錄數(shù)/文件數(shù)和數(shù)據(jù)容量）在本領(lǐng)域同類資源中具有較高的覆蓋范圍。標(biāo)準(zhǔn)規(guī)范指標(biāo)重點(diǎn)考核科技數(shù)據(jù)庫采用學(xué)科領(lǐng)域公認(rèn)的國(guó)際標(biāo)準(zhǔn)、國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)等內(nèi)容標(biāo)準(zhǔn)或技術(shù)規(guī)范?？沙掷m(xù)性指標(biāo)重點(diǎn)考核科技數(shù)據(jù)庫建立符合自身特點(diǎn)的可持續(xù)發(fā)展機(jī)制和數(shù)據(jù)共享制度；數(shù)據(jù)資源更新情況。整合模式指標(biāo)考核科技數(shù)據(jù)庫參與數(shù)據(jù)庫整合項(xiàng)目，組織數(shù)據(jù)資源整體發(fā)展規(guī)劃和整合共建實(shí)施方案，建立成熟的適合本領(lǐng)域特點(diǎn)的資源整合模式。

（2）在線系統(tǒng)

在線系統(tǒng)一級(jí)指標(biāo)共包括在線系統(tǒng)、軟件工具等2個(gè)二級(jí)指標(biāo)。其中，在線服務(wù)是核心指標(biāo)，軟件工具是非核心指標(biāo)。在線服務(wù)指標(biāo)重點(diǎn)考核科技數(shù)據(jù)庫提供數(shù)據(jù)資源在線服務(wù)能力，實(shí)現(xiàn)數(shù)據(jù)查詢、下載等數(shù)據(jù)共享應(yīng)用的基本功能；保證欄目更新頻率；提供開放的數(shù)據(jù)訪問接口。軟件工具指標(biāo)考核科技數(shù)據(jù)庫主動(dòng)開發(fā)的特色支撐軟件工具，并通過在線服務(wù)系統(tǒng)進(jìn)行發(fā)布和實(shí)現(xiàn)共享，滿足科研人員的特殊需求。

（3）運(yùn)行維護(hù)

運(yùn)行維護(hù)一級(jí)指標(biāo)包括支撐保障、運(yùn)行時(shí)間等2個(gè)二級(jí)指標(biāo)。其中，支撐保障是核心指標(biāo)；運(yùn)行時(shí)間是非核心指標(biāo)。支撐保障指標(biāo)重點(diǎn)考核科技數(shù)據(jù)庫是否擁有能夠高效完成使命的員工隊(duì)伍，建立穩(wěn)定的科技數(shù)據(jù)服務(wù)支持團(tuán)隊(duì)，設(shè)立專職的數(shù)據(jù)服務(wù)支撐崗位；制定有效的管理規(guī)章制度。運(yùn)行時(shí)間指標(biāo)考核科技數(shù)據(jù)庫具備數(shù)據(jù)存儲(chǔ)和網(wǎng)站運(yùn)行條件，數(shù)據(jù)庫服務(wù)運(yùn)行穩(wěn)定和正常，具有7×24小時(shí)不間斷運(yùn)行能力，年平均服務(wù)中斷時(shí)間累計(jì)不超過設(shè)置的天數(shù)。

（4）服務(wù)成效

服務(wù)成效一級(jí)指標(biāo)包括訪問量、用戶量、支撐科研、應(yīng)用案例、服務(wù)推廣、用戶反饋等6個(gè)二級(jí)指標(biāo)。其中，訪問量、用戶量、支撐科研和應(yīng)用案例是核心指標(biāo)；服務(wù)推廣和用戶反饋是非核心指標(biāo)。訪問量指標(biāo)重點(diǎn)考核普通用戶訪問科技數(shù)據(jù)庫數(shù)量，包括每年數(shù)據(jù)訪問量和下載量，是客觀反應(yīng)數(shù)據(jù)庫共享應(yīng)用效果的基礎(chǔ)指標(biāo)。用戶量指標(biāo)重點(diǎn)考核科技數(shù)據(jù)庫實(shí)際服務(wù)用戶的范圍及數(shù)量，即采集真正訪問數(shù)據(jù)庫記錄的國(guó)內(nèi)外用戶數(shù)量。支撐科研指標(biāo)重點(diǎn)考核科技數(shù)據(jù)庫支撐科學(xué)研究和技術(shù)創(chuàng)新的貢獻(xiàn)。應(yīng)用案例指標(biāo)重點(diǎn)考核科技數(shù)據(jù)庫產(chǎn)生支持國(guó)家重大研究課題、企業(yè)自主創(chuàng)新和研發(fā)、國(guó)家宏觀決策、經(jīng)濟(jì)社會(huì)發(fā)展、提升民眾科學(xué)素養(yǎng)、國(guó)際同行使用等典型應(yīng)用。服務(wù)推廣指標(biāo)考核科技數(shù)據(jù)庫推廣平臺(tái)開展用戶培訓(xùn)、用戶會(huì)議（包括國(guó)際會(huì)議）、在線響應(yīng)用戶提問等與數(shù)據(jù)庫用戶相關(guān)的活動(dòng)。用戶反饋指標(biāo)考核科技數(shù)據(jù)服務(wù)對(duì)象滿意程度調(diào)查結(jié)果，包括服務(wù)效果、服務(wù)及時(shí)性、有效性和服務(wù)態(tài)度等。

3 評(píng)估模型

本研究提出了評(píng)估科技數(shù)據(jù)應(yīng)用效果的模型。該評(píng)估模型包括賦予每個(gè)一級(jí)指標(biāo)適合的權(quán)重，賦予二級(jí)指標(biāo)參考權(quán)重范圍。在實(shí)施評(píng)估過程中，被評(píng)價(jià)單位根據(jù)指標(biāo)完成情況，獲得分值，并按照各指標(biāo)在整個(gè)評(píng)估指標(biāo)體重中所占的權(quán)重，計(jì)算總分。具體評(píng)價(jià)指標(biāo)說明和指標(biāo)權(quán)重范圍見表1。

表1 科技數(shù)據(jù)應(yīng)用效果評(píng)估指標(biāo)和評(píng)估內(nèi)容

科技數(shù)據(jù)應(yīng)用效果評(píng)估指標(biāo)體系由4個(gè)一級(jí)指標(biāo)組成，其中數(shù)據(jù)資源一級(jí)指標(biāo)權(quán)重為40%，在線系統(tǒng)一級(jí)指標(biāo)權(quán)重為20%，運(yùn)行維護(hù)一級(jí)指標(biāo)權(quán)重為10%，服務(wù)成效一級(jí)指標(biāo)權(quán)重為30%。每個(gè)二級(jí)指標(biāo)的權(quán)重范圍可以由評(píng)估單位自行調(diào)整，其權(quán)重之和不能大于100%。

數(shù)據(jù)資源指標(biāo)權(quán)重是40%，其中，數(shù)據(jù)量、標(biāo)準(zhǔn)規(guī)范和可持續(xù)發(fā)展是核心二級(jí)指標(biāo)，最低權(quán)重都是10%；整合模式是非核心二級(jí)指標(biāo)，最高權(quán)重為10%。如果評(píng)估機(jī)構(gòu)不采用整合模式非核心指標(biāo)，那么該指標(biāo)的權(quán)重為0，其原有10%的權(quán)重就可以分配給3個(gè)核心指標(biāo)，具體每個(gè)指標(biāo)分配多少，也由評(píng)估單位自行決定，但所有二級(jí)指標(biāo)權(quán)重之和不能超過40%。因此，數(shù)據(jù)量、標(biāo)準(zhǔn)規(guī)范、可持續(xù)和整合模式二級(jí)指標(biāo)的參考權(quán)重范圍分別為：10%～20%、10%～20%、10%～20%和0～10%。

在線系統(tǒng)指標(biāo)權(quán)重是20%，其中，在線服務(wù)為核心二級(jí)指標(biāo)，最低權(quán)重是15%；軟件工具是非核心二級(jí)指標(biāo)，最高權(quán)重為5%。如果評(píng)估機(jī)構(gòu)不采用軟件工具非核心指標(biāo)，那么該指標(biāo)權(quán)重為0，其原有5%的權(quán)重就可以分配給在線服務(wù)核心指標(biāo)。因此，在線服務(wù)二級(jí)指標(biāo)的參考權(quán)重范圍15%～20%，軟件工具二級(jí)指標(biāo)的參考權(quán)重范圍為：0%～5%。

運(yùn)行維護(hù)指標(biāo)權(quán)重是10%，其中，支撐保障為核心二級(jí)指標(biāo)，最低權(quán)重是5%；運(yùn)行時(shí)間是非核心二級(jí)指標(biāo)，最高權(quán)重為5%。如果評(píng)估機(jī)構(gòu)不采用運(yùn)行時(shí)間非核心指標(biāo)，那么該指標(biāo)的權(quán)重為0，其原有5%的權(quán)重就可以分配給支撐保障核心指標(biāo)。因此，支撐保障二級(jí)指標(biāo)的參考權(quán)重范圍是5%～10%，運(yùn)行時(shí)間二級(jí)指標(biāo)的參考權(quán)重范圍為：0%～5%。

服務(wù)成效指標(biāo)權(quán)重是30%，其中，訪問量、用戶量、支撐科研和應(yīng)用案例為核心二級(jí)指標(biāo)，最低權(quán)重都是5%；服務(wù)推廣和用戶反饋是非核心二級(jí)指標(biāo)，最高權(quán)重都為5%。如果評(píng)估機(jī)構(gòu)不采用服務(wù)推廣和用戶反饋這兩個(gè)非核心指標(biāo)，那么它們的權(quán)重為0，其原有10%的權(quán)重就可以分配給訪問量、用戶量、支撐科研和應(yīng)用案例4個(gè)核心指標(biāo)。因此，訪問量、用戶量、支撐科研、應(yīng)用案例、服務(wù)推廣和用戶反饋二級(jí)指標(biāo)的參考權(quán)重范圍分別為：5%～10%、5%～10%、5%～10%、5%～10%、0～5%和0～5%。

4 示范應(yīng)用

現(xiàn)將體系中的二級(jí)指標(biāo)細(xì)化成三級(jí)指標(biāo)，并對(duì)每個(gè)三級(jí)指標(biāo)賦予不同的權(quán)重；同時(shí)開發(fā)“科技數(shù)據(jù)服務(wù)效果評(píng)測(cè)系統(tǒng)”對(duì)申請(qǐng)中國(guó)科學(xué)院“十二五”科技數(shù)據(jù)資源整合與共享工程資助的專業(yè)數(shù)據(jù)庫實(shí)施評(píng)估。評(píng)價(jià)系統(tǒng)中的所有指標(biāo)可以劃分為定量指標(biāo)和定性指標(biāo)兩大類。其中，定量指標(biāo)通過系統(tǒng)工具自動(dòng)采集數(shù)據(jù)，并根據(jù)評(píng)分標(biāo)準(zhǔn)計(jì)算得分；定性指標(biāo)由領(lǐng)域?qū)＜腋鶕?jù)被評(píng)價(jià)單位提交的說明材料，進(jìn)行在線評(píng)審打分；綜合得分將作為該參評(píng)數(shù)據(jù)庫的最終得分。具體來講，中科院科技數(shù)據(jù)庫項(xiàng)目評(píng)價(jià)指標(biāo)體系包括4個(gè)一級(jí)指標(biāo)、12個(gè)二級(jí)指標(biāo)和18個(gè)三級(jí)指標(biāo)，其中包括11個(gè)定量指標(biāo)，7個(gè)定性指標(biāo)（表1中有星號(hào)標(biāo)記的指標(biāo)），詳見表1。

在地學(xué)、生物和空間等領(lǐng)域選擇有代表性的科學(xué)數(shù)據(jù)庫進(jìn)行示范評(píng)估驗(yàn)證，邀請(qǐng)相關(guān)專家根據(jù)服務(wù)效果評(píng)測(cè)表對(duì)參評(píng)數(shù)據(jù)庫打分評(píng)價(jià)。每張?jiān)u測(cè)表中的定量指標(biāo)已經(jīng)由系統(tǒng)工具自動(dòng)采集該數(shù)據(jù)庫2012年的一系列數(shù)據(jù)，根據(jù)評(píng)分標(biāo)準(zhǔn)計(jì)算得分；定性指標(biāo)是通過專家對(duì)評(píng)測(cè)數(shù)據(jù)庫的學(xué)科背景和服務(wù)特點(diǎn)的了解、數(shù)據(jù)庫服務(wù)在線系統(tǒng)實(shí)際運(yùn)行情況以及該數(shù)據(jù)庫提交的參評(píng)材料進(jìn)行打分和評(píng)價(jià)，每個(gè)指標(biāo)的分值范圍是0～100分。具體評(píng)分結(jié)果見表2。參評(píng)數(shù)據(jù)庫用A庫、B庫、C庫標(biāo)識(shí)，其中B庫-1、B庫-2表示B數(shù)據(jù)庫有兩位專家參評(píng)，表中帶星號(hào)的指標(biāo)是定性指標(biāo)。

評(píng)測(cè)結(jié)果顯示，針對(duì)同一個(gè)數(shù)據(jù)庫兩位專家多數(shù)觀點(diǎn)較統(tǒng)一，打分相差不大，只有個(gè)別指標(biāo)存在分歧，評(píng)價(jià)指標(biāo)體系的制定和應(yīng)用基礎(chǔ)滿足最初目的和導(dǎo)向要求，具有較強(qiáng)的可行性和可操作性。但對(duì)評(píng)估結(jié)果分析的過程中也發(fā)現(xiàn)了一些問題，需要對(duì)指標(biāo)體系中的權(quán)重和評(píng)分標(biāo)準(zhǔn)進(jìn)行適度調(diào)整。

定性指標(biāo)方面：（1）某些定性指標(biāo)得分偏高。如“人才和制度”指標(biāo)，該指標(biāo)重點(diǎn)評(píng)估參評(píng)數(shù)據(jù)庫人才隊(duì)伍建設(shè)和管理制度制訂情況。兩個(gè)參評(píng)數(shù)據(jù)庫在沒有提交規(guī)章制度說明和文檔的情況下，仍然分別得到90分和80分。（2）某些參評(píng)數(shù)據(jù)庫的定性指標(biāo)得分偏高，不同評(píng)審專家之間打分標(biāo)準(zhǔn)存在差距。如B參評(píng)數(shù)據(jù)庫“在線服務(wù)功能”指標(biāo)得到滿分100分，該指標(biāo)重點(diǎn)評(píng)估參評(píng)庫提供數(shù)據(jù)資源在線服務(wù)的能力，該庫的在線服務(wù)系統(tǒng)顯然還有提升和進(jìn)步的空間。再如“質(zhì)量規(guī)范和控制措施”指標(biāo)，B庫在沒有提供質(zhì)量規(guī)范和措施文檔的情況下，依然得到85分。針對(duì)這些問題，本研究考慮為每個(gè)指標(biāo)制定翔實(shí)的評(píng)分標(biāo)準(zhǔn)，適當(dāng)引導(dǎo)評(píng)審專家的打分分值，做到打分有理有據(jù)，盡量減少人為主觀因素的影響。

定量指標(biāo)方面：（1）定量指標(biāo)得分普遍不高。分析原因可能在于計(jì)算評(píng)分標(biāo)準(zhǔn)過于嚴(yán)苛。以“記錄數(shù)”指標(biāo)為例，評(píng)分計(jì)算公式=100×10%×50%×權(quán)重+100×10%×50%×（新增記錄數(shù)/當(dāng)年記錄數(shù)）×權(quán)重，公式中的權(quán)重由當(dāng)年該數(shù)據(jù)庫的記錄數(shù)在所有參評(píng)數(shù)據(jù)庫中的排名確定。該指標(biāo)得分包括基礎(chǔ)分?jǐn)?shù)和新增分?jǐn)?shù)，兩部分分?jǐn)?shù)各占50%。一個(gè)參評(píng)數(shù)據(jù)庫要在記錄數(shù)指標(biāo)上獲得高分，而只有在所有參評(píng)庫中的記錄數(shù)排名靠前，才能得到較高的基礎(chǔ)分；同時(shí)該數(shù)據(jù)庫的記錄數(shù)與自身前一年相比要有較高的增長(zhǎng)，才能保證有新增分?jǐn)?shù)。根據(jù)指標(biāo)試用情況，本研究將考慮適當(dāng)降低基礎(chǔ)分和新增分所占的比例。（2）定量指標(biāo)存在空值情況。目前針對(duì)某些定量指標(biāo)，評(píng)測(cè)系統(tǒng)還缺少自動(dòng)采集這些數(shù)值的軟件工具。如“用戶量”指標(biāo)（表2中該指標(biāo)的分值是大致的估算），需要開發(fā)并部署探針工具統(tǒng)計(jì)真正訪問數(shù)據(jù)庫記錄的國(guó)內(nèi)外用戶數(shù)量，計(jì)算指標(biāo)得分。

表1 評(píng)價(jià)指標(biāo)體系和評(píng)價(jià)模型應(yīng)用示范

表2 示范參評(píng)數(shù)據(jù)庫評(píng)分結(jié)果

5 結(jié)語

本研究通過對(duì)國(guó)內(nèi)外數(shù)據(jù)資源共享評(píng)價(jià)方法和機(jī)制的調(diào)研[6]，結(jié)合信息技術(shù)最新發(fā)展，立足當(dāng)前面向未來逐步確定科技數(shù)據(jù)共享服務(wù)效益評(píng)估指標(biāo)的選取原則，在取舍和豐富通用量化指標(biāo)的基礎(chǔ)上探索新的定量定性指標(biāo)，提出科技數(shù)據(jù)應(yīng)用效果評(píng)估指標(biāo)體系，建立計(jì)算科技數(shù)據(jù)應(yīng)用指數(shù)的加權(quán)評(píng)估模型和方法。最后結(jié)合中國(guó)科學(xué)院數(shù)據(jù)庫項(xiàng)目的具體要求以及已開發(fā)的軟件工具，細(xì)化各項(xiàng)指標(biāo)，制定了面向科學(xué)數(shù)據(jù)庫實(shí)施層面的指標(biāo)體系和評(píng)價(jià)，并在地學(xué)、生物和空間等領(lǐng)域選擇有代表性的數(shù)據(jù)庫進(jìn)行示范應(yīng)用驗(yàn)證。

本研究提出了確定評(píng)估指標(biāo)需要考慮的4個(gè)基本原則，以及評(píng)估指標(biāo)體系內(nèi)容和評(píng)價(jià)指數(shù)模型，并結(jié)合中科院科技數(shù)據(jù)共享服務(wù)的現(xiàn)狀和特點(diǎn)，設(shè)計(jì)出適合中國(guó)科學(xué)院“十二五”科技數(shù)據(jù)資源整合與共享工程的專業(yè)數(shù)據(jù)服務(wù)效果評(píng)價(jià)實(shí)施性評(píng)價(jià)指標(biāo)方案，最后選取地學(xué)、生物和空間等領(lǐng)域的代表性數(shù)據(jù)庫，邀請(qǐng)相關(guān)專家進(jìn)行示范測(cè)評(píng)。

在實(shí)際評(píng)測(cè)過程中，本研究發(fā)現(xiàn)存在諸如針對(duì)某些定性指標(biāo)專家打分偏高，針對(duì)某些定量指標(biāo)缺乏特定工具軟件采集數(shù)值等問題。下一步本研究將考慮制定詳細(xì)的定性指標(biāo)打分標(biāo)準(zhǔn)供專家參考，開發(fā)針對(duì)特定定量指標(biāo)的工具軟件，完善評(píng)估指標(biāo)體系和評(píng)價(jià)模型。

[1]National Science Foundation. National Science Foundation’s GPRA Strategic Plan for Finical Years 1997 -2003[R]. 1997.

[2]Research Councils UK (RCUK). Research Councils UK’s Updated Position Statement on Access to Research Outputs[EB/OL]. [2013-03-05]. http://www. rcuk.ac.uk/access/Pages/Accessibility.aspx.

[3]Department of Education, Training and Youth A ffairs. Know ledge and Innovation: A Statement on Research and Research Training[EB/OL]. [2013-04-05]. http:// www.detya.gov.au/archive/highered/whitepaper,1999.

[4]CAF-Common Assessment Framew ork[EB/OL]. [2014-01-05]. http://www.eipa.eu/en/topic/show/&tid =191.

[5]科技部.國(guó)家科技基礎(chǔ)條件平臺(tái)運(yùn)行服務(wù)績(jī)效考核指標(biāo)[EB/OL].[2013-04-15].http://www.most.gov.cn/ fggw/zfw j/zfw j2011/201108/t20110805_88853.htm.

[6]朱艷華,孫黎然,胡良霖,等.科技數(shù)據(jù)管理與共享服務(wù)效果評(píng)價(jià)研究探索[J].中國(guó)科技資源導(dǎo)刊,2013,45 (4):12-17.

[7]趙偉,張新民,彭潔,等.網(wǎng)絡(luò)環(huán)境下科技資源開放共享評(píng)價(jià)指標(biāo)體系的構(gòu)建[J].中國(guó)科技資源導(dǎo)刊,2013, 45(3):7-13.

[8]董誠(chéng),黃鼎成.國(guó)家科學(xué)數(shù)據(jù)機(jī)構(gòu)績(jī)效評(píng)估的理論支持和基本思路[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2008(10): 43-46.

[9]彭潔,趙偉,屈寶強(qiáng).基于用戶視角的科技資源開放共享評(píng)價(jià)理論模型研究[J].中國(guó)科技資源導(dǎo)刊,2013,45 (2):1-5.

[10]劉潤(rùn)達(dá),褚文博,諸云強(qiáng).國(guó)家科技基礎(chǔ)條件平臺(tái)運(yùn)行服務(wù)階段關(guān)鍵問題探析[J].現(xiàn)代情報(bào),2012,32(11):51-53.

Establishing on Evaluation Index System and Exponential M odel of Scienti fi c Data App lication Effectiveness

Zhu Yanhua, Hu Lianglin, Li Jianhui
(Computer Network Information Center of CAS, Beijing 100190)

This paper analyzed the four basic principles of the scienti fi c data sharing service and application e ff ectiveness evaluation. Four core elements: resource development, online service, operation and maintenance and service effectiveness were proposed and refined into fourteen secondary indexes. At the same time, a weighted evaluation model and method was established to calculate the application e ff ectiveness of science and technology data. Combining with the actual situation of science and technology resources sharing application of the Chinese Academy of Sciences, we designed the enforceable evaluation scheme for its scienti fi c database project and tested and veri fi ed in earth science, biology, space and other fi elds. In the future, we look forward to promoting and guiding data sharing application mechanism and effectiveness evaluation of the Chinese Academy of Sciences.

scientific data application, data sharing service, application evaluation, service effectiveness, evaluation model

G35

A

10.3772/j.issn.1674-1544.2014.02.002

朱艷華（1982- ），女，中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心工程師，碩士，主要研究方向：數(shù)據(jù)庫技術(shù)與標(biāo)準(zhǔn)規(guī)范，數(shù)據(jù)應(yīng)用服務(wù)。胡良霖（1973- ），男，高級(jí)工程師，主要研究方向：數(shù)據(jù)庫技術(shù)與標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)質(zhì)量與數(shù)據(jù)服務(wù)。黎建輝（1973- ），男，正研級(jí)高級(jí)工程師，博士，主要研究方向：海量數(shù)據(jù)處理。

2014年1月24日。