劉曉娟，趙卓婧，宋婉姿

（北京師范大學(xué)政府管理學(xué)院，北京 100875）

Altmetrics在學(xué)術(shù)評價中的可用性研究綜述*

劉曉娟，趙卓婧，宋婉姿

（北京師范大學(xué)政府管理學(xué)院，北京 100875）

Altmetrics的出現(xiàn)為學(xué)術(shù)評價工作的變革提供新思路，然而由于多種因素，其在學(xué)術(shù)評價中的可用性仍存在質(zhì)疑。國內(nèi)外諸多科研人員針對此問題展開探索，主要包括Altmetrics指標(biāo)的覆蓋率、對文獻(xiàn)價值的反映能力、基于Altmetrics指標(biāo)的評價體系、標(biāo)準(zhǔn)化和可用性影響因素。在對相關(guān)研究充分調(diào)研分析的基礎(chǔ)上，提出現(xiàn)有研究在構(gòu)建Altmetrics理論體系和用戶使用動機(jī)方面還比較欠缺，以期為該領(lǐng)域進(jìn)一步發(fā)展提出建議和指導(dǎo)。

替代計(jì)量學(xué)；學(xué)術(shù)評價；可用性

1 引言

2010年，Priem等發(fā)表Altmetrics聯(lián)合宣言，正式提出Altmetrics，并指出“Altmetrics是一種新型計(jì)量學(xué)的創(chuàng)造與研究，主要基于社交網(wǎng)絡(luò)對學(xué)術(shù)研究的分析和傳播”[1]。Altmetrics的出現(xiàn)為學(xué)術(shù)評價工作提供了新思路，科研人員希望其能夠協(xié)助解決當(dāng)前學(xué)術(shù)評價中存在的問題，認(rèn)為其具有可對論文以外的其他學(xué)術(shù)成果進(jìn)行評價，所測度的影響力可從學(xué)術(shù)影響力擴(kuò)展至社會影響力，閱讀、下載、轉(zhuǎn)發(fā)等軌跡數(shù)據(jù)較單一的引文數(shù)據(jù)具有更加全面評價結(jié)果和更具時效性的優(yōu)點(diǎn)。同時，“Altmetric.com”“ImpactStory”等工具在實(shí)踐中也逐漸得到不斷推廣和應(yīng)用。然而，作為一種新興的計(jì)量方法，Altmetrics的研究尚處于探索階段，其可靠性、操作性和適用性仍存在爭議。如Man認(rèn)為基于網(wǎng)絡(luò)的指標(biāo)容易通過重復(fù)注冊等方法進(jìn)行虛構(gòu)，對Altmetrics的價值提出質(zhì)疑[2]；Brown以“喜歡”指標(biāo)為例，指出因每一個“喜歡”標(biāo)記所處的語境不同，因此數(shù)據(jù)集間的比較沒有實(shí)際意義[3]。

由此可見，Altmetrics蘊(yùn)含巨大價值的同時，也存在諸多阻礙其實(shí)際應(yīng)用的現(xiàn)實(shí)問題。在這種情況下，對Altmetrics進(jìn)行準(zhǔn)確界定、有效性驗(yàn)證、適用性分析等成為科研人員的關(guān)注點(diǎn)。2014年10月，英國薩塞克斯大學(xué)召開主題為“In Metrics We Trust?”的研討會，對Altmetrics的價值、潛在作用和研究評估中無意識的不當(dāng)操作結(jié)果進(jìn)行討論[4]。此外，NISO執(zhí)行董事Carpenter表示，“如果Altmetrics要突破目前的測試和概念驗(yàn)證階段，學(xué)界須將注意力集中在給出一套公認(rèn)的定義、計(jì)算方法和數(shù)據(jù)共享實(shí)踐上。組織和科研人員若想利用各種指標(biāo)，應(yīng)充分理解并確保對指標(biāo)含義的統(tǒng)一認(rèn)識，并提供準(zhǔn)確衡量的有效方法”[5]。

基于以上背景，本文對當(dāng)前關(guān)于Altmetrics可用性的研究進(jìn)行梳理，從現(xiàn)有研究中進(jìn)一步明確Altmetrics的可用性，以及Altmetrics指標(biāo)可用性的影響因素，為Altmetrics的廣泛應(yīng)用提供支撐。

2 Altmetrics指標(biāo)的覆蓋率

指標(biāo)的覆蓋率，即指標(biāo)值非0的文獻(xiàn)在總文獻(xiàn)中所占的比例，是指標(biāo)能否被廣泛使用的關(guān)鍵所在。文獻(xiàn)引用受相關(guān)標(biāo)準(zhǔn)和規(guī)范的約束，這在一定程度上保證被引量的覆蓋率。相較于被引量，Altmetrics指標(biāo)的來源廣泛、約束少，平臺的普及程度不一，不同類型的指標(biāo)可能在覆蓋率上存在較大差異，大部分指標(biāo)的覆蓋率偏低。Altmetrics的概念及集成工具的出現(xiàn)距今不到8年，社交媒體和在線學(xué)術(shù)交流于近十年才獲得迅速發(fā)展，因此Altmetrics指標(biāo)的普及程度、對舊文獻(xiàn)的關(guān)注程度、指標(biāo)數(shù)值的積累程度都存在一定的不足。

多項(xiàng)研究發(fā)現(xiàn)除Mendeley平臺閱讀量外，其他指標(biāo)的覆蓋率都相對較低，且文獻(xiàn)出版時間和所屬學(xué)科會導(dǎo)致覆蓋率的差異。如近期出版的文獻(xiàn)具有更高的覆蓋率，生命科學(xué)與生物醫(yī)學(xué)、人文社會科學(xué)類的文獻(xiàn)覆蓋率略高于其他學(xué)科。Hammarfelt基于人文社會科學(xué)的文獻(xiàn)研究發(fā)現(xiàn)，Mendeley閱讀量的覆蓋率最高，其次為Twitter，學(xué)術(shù)博客引用量、Facebook提及量、微博提及量等其他指標(biāo)的覆蓋率較低[6]。Haustein發(fā)現(xiàn)在文獻(xiàn)計(jì)量學(xué)領(lǐng)域，同屬于在線學(xué)術(shù)交流平臺閱讀量的Mendeley指標(biāo)的覆蓋率明顯高于CiteULike和Connotea[7]。Alperin針對拉丁美洲國家的文獻(xiàn)進(jìn)行分析，發(fā)現(xiàn)很多指標(biāo)的覆蓋率都非常低，只有Mendeley、Twitter和Facebook指標(biāo)的覆蓋率超過2%[8]。

3 Altmetrics指標(biāo)對文獻(xiàn)價值的反映能力

本文將指標(biāo)對文獻(xiàn)價值的反映能力稱為指標(biāo)的價值效度，代表該指標(biāo)在評價文獻(xiàn)價值時所具備的有效性。目前，部分學(xué)者認(rèn)為Altmetrics更多地反映學(xué)術(shù)成果的可見度、受歡迎程度、網(wǎng)絡(luò)傳播能力，這些學(xué)者指出在社交媒體上受到歡迎并不代表文獻(xiàn)的學(xué)術(shù)價值高。大量基于數(shù)據(jù)集角度對Altmetrics指標(biāo)價值進(jìn)行的實(shí)證分析包括指標(biāo)與被引量的相關(guān)關(guān)系、指標(biāo)對未來被引量的預(yù)測能力及指標(biāo)數(shù)據(jù)的積累動機(jī)?？傮w上看，現(xiàn)有研究普遍認(rèn)為Mendeley閱讀量、維基百科等學(xué)術(shù)網(wǎng)站的引用數(shù)據(jù)能夠在一定程度上反映文獻(xiàn)的學(xué)術(shù)價值，但Twitter等大眾媒體上的提及量則更傾向于反映文獻(xiàn)的社會影響力。

3.1 Altmetrics指標(biāo)與被引量的相關(guān)性

被引量方法目前在Altmetrics的相關(guān)研究中應(yīng)用最廣泛。若Altmetrics指標(biāo)與被引量有相關(guān)關(guān)系，則說明其可以在一定程度上反映文獻(xiàn)的學(xué)術(shù)價值。

Mohammadi[9]、Knight[10]、Zahedi[11]、宋麗萍[12]、Peters[13]、Rosenkrantz[14]等基于不同數(shù)據(jù)集均得出Mendeley閱讀量和被引量存在中度相關(guān)關(guān)系；Thelwall等發(fā)現(xiàn)Mendeley閱讀量指標(biāo)在計(jì)算期刊影響力方面，其結(jié)果比被引量更穩(wěn)定[15]；Schl?gl等發(fā)現(xiàn)文獻(xiàn)的ScienceDirect下載量、Mendeley閱讀量和Scopus被引量三者間彼此存在中度相關(guān)關(guān)系，并證明文獻(xiàn)閱讀量和使用數(shù)據(jù)均能反映文獻(xiàn)的學(xué)術(shù)價值[16]；Waltman等發(fā)現(xiàn)F1000平臺上的推薦量與被引量存在弱相關(guān)關(guān)系[17]； Bornmann[18]、Haustein等[19]發(fā)現(xiàn)Twitter提及量與被引量接近無相關(guān)關(guān)系，甚至呈現(xiàn)負(fù)相關(guān)性。

Alhoori等發(fā)現(xiàn)Altmetrics指標(biāo)對35個國家的科研評價提供了一定的支持，并將Twitter提及量、主流媒體提及量、Facebook提及量等5個Altmetrics指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)比較，發(fā)現(xiàn)在國家層面上，Altmetrics指標(biāo)總量與出版量、被引量、h指數(shù)、GERD值（研發(fā)支出總量）均有明顯相關(guān)關(guān)系[20]。

3.2 Altmetrics指標(biāo)對被引量的預(yù)測性

Thelwall認(rèn)為如果Altmetrics指標(biāo)能夠預(yù)測被引量，則表示該指標(biāo)具有一定的學(xué)術(shù)價值[21]。Altmetrics指標(biāo)通常能夠及時地反映文獻(xiàn)價值，將文獻(xiàn)早期的Altmetrics分值（Altmetric Attention Score）與后期的被引量進(jìn)行相關(guān)性分析或回歸分析，可以探究Altmetrics指標(biāo)對被引量的預(yù)測作用。2006年，Brody等發(fā)現(xiàn)較短時間內(nèi)的使用數(shù)據(jù)能在一定程度上預(yù)測被引量[22]；Shema等發(fā)現(xiàn)在學(xué)術(shù)博客中被提及的文獻(xiàn)，未來能獲得更多的被引量[23]；Eysenbach發(fā)現(xiàn)文獻(xiàn)在Twitter平臺上的提及量可以解釋部分被引量，且通過3天的推文提及值可預(yù)測高被引文獻(xiàn)[24]；Peoples等使用廣義線性回歸模型分析發(fā)現(xiàn)Twitter提及量對被引量的預(yù)測作用強(qiáng)于近五年的期刊影響因子[25]。

3.3 Altmetrics指標(biāo)的數(shù)據(jù)產(chǎn)生動機(jī)

Altmetrics指標(biāo)數(shù)據(jù)的產(chǎn)生動機(jī)會對指標(biāo)的價值效度造成直接影響，只有了解在社交媒體等數(shù)據(jù)開放存取空間中的目的，明確科研活動軌跡的主要產(chǎn)生群體，才能更加準(zhǔn)確地評斷Altmetrics指標(biāo)對科研評價的作用。部分現(xiàn)有研究試圖通過表面的指標(biāo)數(shù)據(jù)，分析指標(biāo)數(shù)值背后的增長動機(jī)。這類研究一般借鑒文本挖掘的分析思路，從語義層面探究Altmetrics指標(biāo)的價值。Jamali等針對社會科學(xué)博客上期刊論文的被引用動機(jī)進(jìn)行分析，發(fā)現(xiàn)很多博文對文獻(xiàn)的引用動機(jī)是出于對相關(guān)話題感興趣，想要利用該文獻(xiàn)來支撐個人觀點(diǎn)，并認(rèn)為這種引用動機(jī)所帶來的引用量能夠體現(xiàn)文獻(xiàn)的價值[26]；Thelwall等發(fā)現(xiàn)大部分推文主要闡述文獻(xiàn)的表征信息，沒有對文獻(xiàn)的內(nèi)容進(jìn)行解釋，并且提及量主要是由于自動轉(zhuǎn)發(fā)引起的，所以該研究認(rèn)為此種數(shù)據(jù)的產(chǎn)生幾乎無法反映文獻(xiàn)的學(xué)術(shù)價值[27]；Na也針對推文的引用動機(jī)進(jìn)行研究，其基于推文文本的分析發(fā)現(xiàn)，大部分推文并沒有傳達(dá)對于科研文獻(xiàn)的深入批判性思考和討論，不能直接反映文獻(xiàn)的學(xué)術(shù)價值，但是推文對一些有趣的研究能夠起到推薦傳播的作用[28]。

4 基于Altmetrics指標(biāo)的評價體系

Altmetrics指標(biāo)種類較多，有些指標(biāo)的數(shù)據(jù)來源類似，從而導(dǎo)致不同指標(biāo)在反映文獻(xiàn)價值方面可能存在交叉重合，具有相似的維度，目前相關(guān)研究主要使用主成分分析、相關(guān)性分析等方法，基于實(shí)際數(shù)據(jù)集探討具體指標(biāo)價值效度的重合。劉春麗利用PLOS ALM數(shù)據(jù)，對20個Altmetrics指標(biāo)進(jìn)行分類和聚類分析，發(fā)現(xiàn)異類指標(biāo)間的指標(biāo)在價值上具有交叉性，而同類指標(biāo)內(nèi)的指標(biāo)在價值上具有重復(fù)性[29]。劉曉娟等基于PLOS ALM平臺上的動態(tài)數(shù)據(jù)集，對各類Altmetrics指標(biāo)進(jìn)行相關(guān)性分析以探究各項(xiàng)指標(biāo)價值的重合程度，結(jié)果發(fā)現(xiàn)Altmetrics指標(biāo)間的重合普遍存在，其中使用數(shù)據(jù)、在線學(xué)術(shù)交流閱讀量類別內(nèi)指標(biāo)的重合最明顯[30]。Bollen等通過對39個學(xué)術(shù)影響力計(jì)量指標(biāo)進(jìn)行主成分分析，將指標(biāo)最終歸結(jié)到兩個維度，即是否及時、學(xué)術(shù)價值或受歡迎程度[31]。Ortega也對多個Altmetrics指標(biāo)進(jìn)行了相關(guān)性分析和主成分分析，并從指標(biāo)性質(zhì)上對指標(biāo)價值的重合做解釋[32]。

在對指標(biāo)價值效度的傾向和重合性分析的基礎(chǔ)上，有研究嘗試將Altmetrics指標(biāo)歸類，構(gòu)建基于Altmetrics指標(biāo)的評價體系。目前應(yīng)用較廣泛的是Altmetric.com，其通過對各指標(biāo)定義權(quán)重進(jìn)而計(jì)算學(xué)術(shù)成果的Altmetrics分值，定義了一種多指標(biāo)的綜合使用方式。Haustein等提出應(yīng)從獲取、評價、應(yīng)用三個層次構(gòu)建基于Altmetrics的評價體系[33]。王賢文等分析不同類型Altmetrics指標(biāo)對文獻(xiàn)價值評價的時效性差異，提出結(jié)合各指標(biāo)的作用時間，構(gòu)建一個連續(xù)、動態(tài)和復(fù)合的單篇論文評價體系，對科學(xué)論文進(jìn)行全面實(shí)時的價值評估[34]。但也有學(xué)者反對將各指標(biāo)整合，如Holmberg認(rèn)為Altmetrics指標(biāo)數(shù)據(jù)來源廣泛，能夠從不同角度反映學(xué)術(shù)成果的影響力，這種多樣性是Altmetrics的優(yōu)勢，若將各指標(biāo)整合，則會消除這種優(yōu)勢[35]。

5 Altmetrics指標(biāo)的標(biāo)準(zhǔn)化

對于不同學(xué)科或出版時間的文獻(xiàn)，Altmetrics指標(biāo)的數(shù)據(jù)可能有所差異。Bornmann對Altmetrics各項(xiàng)指標(biāo)分析后，提出若要將其作為學(xué)術(shù)評價方式，必須解決標(biāo)準(zhǔn)化問題[36]。目前，相關(guān)研究主要集中在對Twitter和Mendeley指標(biāo)的跨學(xué)科及跨時間標(biāo)準(zhǔn)化方面。

在學(xué)科標(biāo)準(zhǔn)化方面，一些科研人員借鑒引文的標(biāo)準(zhǔn)化方法。Bornmann等從期刊層面提出對Twitter指標(biāo)進(jìn)行標(biāo)準(zhǔn)化，認(rèn)為該方法適用于覆蓋率較低的指標(biāo)標(biāo)準(zhǔn)化，并選用80%以上的發(fā)表文獻(xiàn)被推文覆蓋的期刊，將期刊文獻(xiàn)推文提及量的排名進(jìn)行標(biāo)準(zhǔn)化后，映射到[0，100]，得到期刊的TP值，TP值越大說明受Twitter指標(biāo)關(guān)注程度越高，并且該研究通過實(shí)證檢驗(yàn)發(fā)現(xiàn)TP指標(biāo)可被用于生物健康學(xué)、生命和地球科學(xué)、計(jì)算機(jī)科學(xué)、物理學(xué)、工程學(xué)等多個學(xué)科[37]。Haunschild等將學(xué)科內(nèi)指標(biāo)均值設(shè)為分母對Mendeley閱讀量進(jìn)行標(biāo)準(zhǔn)化，并提出MNRS指標(biāo)[38]。

指標(biāo)值基于文獻(xiàn)年齡標(biāo)準(zhǔn)化方面的研究較少，主要由于Altmetrics指標(biāo)對于文獻(xiàn)年齡的關(guān)注從以年為基礎(chǔ)轉(zhuǎn)變?yōu)橐栽?、天為基礎(chǔ)，而且不同指標(biāo)的積累周期存在差異。如Twitter提及量一般只需要1個月，而Mendeley閱讀量的積累則需要長達(dá)幾年的時間，目前指標(biāo)的積累周期仍需實(shí)證調(diào)研。Thelwall等提出消除出版時間對文獻(xiàn)的影響，以同時期同期刊中2篇文獻(xiàn)的均值作為參照對象，觀察消除時間影響后被引量與Altmetrics指標(biāo)值的相關(guān)關(guān)系，發(fā)現(xiàn)兩者關(guān)系會隨時間的推移而消除或逆轉(zhuǎn)[39]。Watson對比單篇文獻(xiàn)的被引量和下載量，并按文獻(xiàn)年齡對其標(biāo)準(zhǔn)化，發(fā)現(xiàn)二者的相關(guān)系數(shù)在標(biāo)準(zhǔn)化前后分別為0.74和0.62[40]。

6 Altmetrics指標(biāo)可用性的影響因素

對Altmetrics指標(biāo)進(jìn)行實(shí)證分析時，考慮學(xué)科、文獻(xiàn)年齡等因素可能所帶來的影響，有助于深入理解Altmetrics指標(biāo)的特點(diǎn)，為其應(yīng)用提供具體參考。

6.1 學(xué)科

一些研究已經(jīng)注意到Altmetrics指標(biāo)在不同學(xué)科上的差異。Costas等研究證實(shí)社交媒體指標(biāo)在科學(xué)出版物中不常見且密度較低，而在人文社會科學(xué)與醫(yī)藥生命科學(xué)有較好表現(xiàn)[41]；Holmberg等對10個學(xué)科科研人員的Twitter使用行為進(jìn)行分析，發(fā)現(xiàn)生物化學(xué)、天體物理學(xué)、化學(xué)信息學(xué)和數(shù)字人文學(xué)的科研人員多利用Twitter進(jìn)行學(xué)術(shù)交流，而經(jīng)濟(jì)學(xué)、社會學(xué)、歷史學(xué)等的科研人員則處于邊緣狀態(tài)[42]；Waltman等證實(shí)Mendeley為使用最廣泛的社交媒體平臺，該平臺不同學(xué)科中文獻(xiàn)覆蓋率的差異類似于傳統(tǒng)引文數(shù)據(jù)庫，而Twitter平臺側(cè)重于醫(yī)藥學(xué)和社會科學(xué)，其他指標(biāo)平臺（如學(xué)術(shù)博客、Facebook等）更側(cè)重于交叉學(xué)科[17]；Bornmann等分析發(fā)現(xiàn)Mendeley平臺上人文社會科學(xué)的研究成果在學(xué)術(shù)表現(xiàn)方面具有多面性，出版渠道趨于多樣化，相較于傳統(tǒng)指標(biāo)能夠更加全面地反映學(xué)術(shù)成果的影響力[43]；Barthel等研究表明社會科學(xué)在Twitter上更容易受到關(guān)注，在所有學(xué)科中普遍存在引用指標(biāo)與瀏覽指標(biāo)的相關(guān)性高于引用指標(biāo)與分享數(shù)、評論數(shù)、喜愛量、讀者量、群組量等Web 2.0指標(biāo)的相關(guān)性特征[44]。

6.2 文獻(xiàn)年齡

一般而言，Altmetrics指標(biāo)更偏向于新文獻(xiàn)，但也因指標(biāo)來源平臺的性質(zhì)而存在差異。在線學(xué)術(shù)交流平臺閱讀量、學(xué)術(shù)分享網(wǎng)站等指標(biāo)積累需要一定周期，而大眾社交平臺提及量則在短時間內(nèi)能夠獲得快速增長，更傾向于關(guān)注新出版文獻(xiàn)。

Maflahi等認(rèn)為Mendeley閱讀量需要積累的過程，因此，Mendeley可以用來計(jì)量舊文獻(xiàn)的影響力，并且對于新文獻(xiàn)而言，未來閱讀量可能還有較大的增長幅度[45]；Wang等對Web of Science平臺上文獻(xiàn)的使用數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)使用數(shù)據(jù)偏向于新發(fā)表文獻(xiàn)，且對于舊文獻(xiàn)而言，被引量高則更容易被使用[46]；Cronin等分析發(fā)現(xiàn)Twitter平臺上熱點(diǎn)論文的推送和轉(zhuǎn)發(fā)始終呈病毒式增長[47]；郭飛等研究發(fā)現(xiàn)熱點(diǎn)論文在Twitter上的傳播一般在10—30天達(dá)到峰值[48]；余厚強(qiáng)等對文獻(xiàn)在新浪微博提及量指標(biāo)進(jìn)行特征和規(guī)律分析，發(fā)現(xiàn)指標(biāo)覆蓋率極低，且偏向于新文獻(xiàn)[49]。

6.3 開放獲取

也有研究表明開放獲取論文比非開放獲取論文容易產(chǎn)生高指標(biāo)量值。Alhoori等證實(shí)了開放獲取文獻(xiàn)的Altmetrics指標(biāo)與被引量的相關(guān)性高于非開放獲取文獻(xiàn)[50]；葛夢蕊等發(fā)現(xiàn)開放獲取與Altmetrics指標(biāo)的關(guān)系會隨著文獻(xiàn)出版時間的推移而逐漸減弱[51]；Wang等對《自然》中文獻(xiàn)的使用數(shù)據(jù)積累過程進(jìn)行分析發(fā)現(xiàn)，讀者對于開放獲取文獻(xiàn)的關(guān)注力更持久[52]；此外，Wang分析了期刊在使用數(shù)據(jù)及社交媒體提及數(shù)據(jù)上的差異，發(fā)現(xiàn)開放獲取期刊的文獻(xiàn)在下載量上具有較大優(yōu)勢，且這種優(yōu)勢會持續(xù)、穩(wěn)定地保持一段時間[53]；Mounce對Altmetrics在開放獲取論文的評價中給予高度肯定，認(rèn)為開放獲取論文影響力的形成與拓展依賴于論文本身，而非期刊的聲譽(yù)和高影響因子，Altmetrics可作為大型開放獲取期刊遴選論文的過濾機(jī)制[54]。

6.4 數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量是Altmetrics指標(biāo)數(shù)據(jù)可用性的基礎(chǔ)。NISO的Altmetrics委員會在工作第一階段便重點(diǎn)討論數(shù)據(jù)質(zhì)量問題，并于2015年成立專門的Altmetrics數(shù)據(jù)質(zhì)量工作組，為數(shù)據(jù)的收集、加工整理、傳播和再利用提供指導(dǎo)。NISO認(rèn)為Altmetrics的數(shù)據(jù)質(zhì)量主要在一致性、可復(fù)用性、正確性三個方面存在問題[55]。

Priem等通過對PLOS ALM上2萬多篇論文的Altmetrics數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量存在問題，并認(rèn)為這些問題主要是因網(wǎng)絡(luò)服務(wù)的快速變化而引起的[56]；劉曉娟等基于PLOS ALM數(shù)據(jù)集的研究發(fā)現(xiàn)，在線交流平臺閱讀量指標(biāo)的穩(wěn)定性較好，而社交媒體提及量指標(biāo)的穩(wěn)定性普遍較差，對文獻(xiàn)的關(guān)注持續(xù)度不足[30]；Bornman認(rèn)為目前很多Altmetrics的相關(guān)網(wǎng)站和機(jī)構(gòu)均為商業(yè)化，其利益關(guān)系可能會引起指標(biāo)值偏差，而在線出版物通常存在不同版本，在使用Altmetrics指標(biāo)對這些研究成果計(jì)量時會產(chǎn)生模糊度和冗余度，對評價結(jié)果的有效性和可信度造成不同程度的干擾[57]。

6.5 用戶群體

Altmetrics數(shù)據(jù)并不是單純的數(shù)字。與引用行為類似，每個Altmetrics指標(biāo)的每一次數(shù)值變化都隱含著某種行為動機(jī)，代表用戶群體對該學(xué)術(shù)成果的態(tài)度，有助于進(jìn)一步確定指標(biāo)數(shù)據(jù)的價值。一般認(rèn)為社交媒體平臺的受眾多為年輕群體，學(xué)術(shù)博客網(wǎng)站、在線交流平臺等主要面向科研人員。

Mohammadi等分析Mendeley平臺上用戶群體的學(xué)科及學(xué)歷信息，認(rèn)為Mendeley閱讀量能夠體現(xiàn)文獻(xiàn)對于非創(chuàng)作用戶的教育價值[58]；Ortega對不同學(xué)術(shù)類網(wǎng)站進(jìn)行分析發(fā)現(xiàn)，Academic.edu平臺中人文社會科學(xué)的學(xué)者較多，ResearchGate平臺中生物學(xué)者占比最大，從交流行為上看，人文社會科學(xué)、自然資源領(lǐng)域的科研人員互動頻繁，而生物學(xué)領(lǐng)域的學(xué)者們較為被動[59]；其在另一篇文獻(xiàn)中指出，Twitter中作者的粉絲會帶動推文的轉(zhuǎn)發(fā)，使得文獻(xiàn)的Twitter指標(biāo)高于非Twitter用戶作者，粉絲的數(shù)量會間接影響文獻(xiàn)的被引量[60]。

6.6 國家

在線學(xué)術(shù)交流以及社交媒體平臺在全球范圍內(nèi)呈現(xiàn)不均衡的發(fā)展趨勢，其中發(fā)達(dá)國家有諸多優(yōu)勢[61]，如DOI等技術(shù)的普及，或某些平臺在不同國家的流行度和可用性。要關(guān)注Altmetrics能為發(fā)展中國家研究成果的評價帶來怎樣的積極影響，盡可能地削減阻礙科學(xué)交流的因素，避免兩極分化。Alperin的調(diào)研顯示，很多發(fā)展中國家的文獻(xiàn)并非英文文獻(xiàn)，或者對于文獻(xiàn)并沒有統(tǒng)一的標(biāo)識DOI[62]；Araújo等以巴西的圖書情報(bào)類期刊為研究對象，結(jié)果表明大部分科學(xué)產(chǎn)出未被國際性數(shù)據(jù)庫收錄，意味著DOI的默認(rèn)缺失，同時也減少了這些論文獲得Altmetrics數(shù)據(jù)的機(jī)會[63]。

6.7 學(xué)術(shù)政策

國家層面的學(xué)術(shù)政策可能會對Altmetrics指標(biāo)的使用帶來影響。如英國建立卓越科研框架，基于同行評議、案例研究和指標(biāo)對高校進(jìn)行評價，并選用5個Altmetrics指標(biāo)；意大利的AIHD項(xiàng)目以參加人文信息與數(shù)字文化協(xié)會的意大利學(xué)者為研究對象，構(gòu)建人文學(xué)科數(shù)字出版物傳統(tǒng)評價機(jī)制的補(bǔ)充性模型和方法，有助于推動Altmetrics的應(yīng)用[64]；美國國家科學(xué)基金會考慮將Altmetrics納入科研評價中，并在學(xué)者聲譽(yù)考評中引入視頻、報(bào)告等新型學(xué)術(shù)成果類型；美國細(xì)胞生物學(xué)會提出DORA宣言，建議在科研評估中充分利用在線出版和在線學(xué)術(shù)交流的優(yōu)勢[65]；2014年，歐洲科學(xué)及指標(biāo)設(shè)計(jì)和開發(fā)者網(wǎng)絡(luò)會議重點(diǎn)討論科技指標(biāo)的社會學(xué)特征，及逐漸增加的指標(biāo)數(shù)據(jù)可獲得性，并從各維度對Altmetrics指標(biāo)進(jìn)行評測[66]。這些政府項(xiàng)目或?qū)W術(shù)活動均肯定了Altmetrics，在一定程度上推動了Altmetrics的應(yīng)用。

7 總結(jié)

綜上所述，大部分研究主要是針對一個或多個Altmetrics指標(biāo)，采取一系列數(shù)理統(tǒng)計(jì)方法，基于數(shù)據(jù)分析進(jìn)行實(shí)證研究，分析視角在一定程度上借鑒引文的前期研究。（1）從指標(biāo)覆蓋率來看，目前Mendeley平臺的覆蓋率相對較高，其他指標(biāo)的覆蓋率較低。（2）從指標(biāo)對文獻(xiàn)價值的反映能力來看，多個研究探討Altmetrics指標(biāo)與被引量的相關(guān)性。如發(fā)現(xiàn)Mendeley的閱讀量與被引量呈弱相關(guān)；也有學(xué)者將Altmetric得分與被引量進(jìn)行相關(guān)性分析或回歸分析，來探討Altmetrics指標(biāo)對被引量的可預(yù)測性。（3）在基于Altmetrics指標(biāo)的評價體系方面，目前主要采用主成分分析和相關(guān)性分析來探討多個指標(biāo)效度的重合，并嘗試通過指標(biāo)分類以進(jìn)一步構(gòu)建基于Altmetrics指標(biāo)的評價體系。（4）關(guān)于Altmetrics指標(biāo)的標(biāo)準(zhǔn)化，相關(guān)研究主要集中在對Twitter和Mendeley指標(biāo)的跨學(xué)科及跨時間的標(biāo)準(zhǔn)化方面。（5）從Altmetrics指標(biāo)可用性的影響因素來看，不同平臺側(cè)重的學(xué)科不同，Altmetrics指標(biāo)更偏向于新文獻(xiàn)，開放獲取論文比非開放獲取論文容易產(chǎn)生更高的指標(biāo)量值，不同平臺上指標(biāo)數(shù)據(jù)的質(zhì)量也不同，同時發(fā)現(xiàn)社交媒體平臺的受眾多為年輕群體，學(xué)術(shù)博客網(wǎng)站、在線交流平臺等主要面向科研人員，不同國家在語種、技術(shù)方法方面的差別會影響Altmetrics的可用性，學(xué)術(shù)政策的出臺會促進(jìn)Altmetrics的發(fā)展。

Altmetrics的研究已經(jīng)取得一系列成果，但也存在一些不足。

（1）目前很多研究主要依據(jù)指標(biāo)數(shù)據(jù)的實(shí)證分析，而缺乏理論研究。僅靠數(shù)據(jù)驅(qū)動，而缺乏系統(tǒng)的理論支撐是Altmetrics指標(biāo)面臨的主要問題，同時也會阻礙該領(lǐng)域的長期發(fā)展。根據(jù)本文的調(diào)研發(fā)現(xiàn)，目前只有Haustein嘗試引入引文理論（規(guī)范理論、社會構(gòu)建理論和概念符號理論）和社會理論（社會資本、注意力經(jīng)濟(jì)和印象管理）來解釋社交媒體上的各種行為和現(xiàn)象，這可以認(rèn)為是構(gòu)建理論體系的嘗試[67]。

（2）對于Altmetrics數(shù)據(jù)的本質(zhì)和產(chǎn)生機(jī)制缺乏深入探索。引文評價中存在的引用動機(jī)問題，在Altmetrics中依然存在，只有深入挖掘數(shù)據(jù)產(chǎn)生的具體對話語境，了解數(shù)據(jù)背后的真相，才能在評價科研影響力和質(zhì)量上作出相對正確的判斷[68]。這其中最重要及最基本的，即為發(fā)現(xiàn)不同類型的用戶出于何種目的在社交媒體上留下科研活動軌跡。然而社交媒體平臺及其用戶群體是全新和多樣的，其對科研產(chǎn)出操作行為的情境和使用動機(jī)都是不明確的。一方面，可以抓取軌跡數(shù)據(jù)深入分析數(shù)據(jù)制造者的特征，例如地理分布、職業(yè)狀態(tài)和人口統(tǒng)計(jì)特征等；另一方面，需要通過用戶調(diào)查訪談了解用戶的意圖，獲得更深層次、更準(zhǔn)確的數(shù)據(jù)。這些數(shù)據(jù)將有助于理解和解釋各種社交媒體事件，并驗(yàn)證它們在科研評價中的有效性。

Altmetrics指標(biāo)的產(chǎn)生機(jī)制導(dǎo)致其面臨很多質(zhì)疑和不可回避的問題，但其價值也很明顯。網(wǎng)絡(luò)出版的普及和在線社交媒體的盛行，確保Altmetrics存在的必要性，也為其發(fā)展提供廣闊空間。多種類型的Altmetrics指標(biāo)不僅能夠反映文獻(xiàn)發(fā)表初期的網(wǎng)絡(luò)環(huán)境影響力，而且反映其在不同生命階段的影響力，而這種影響力是傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)所無法體現(xiàn)的。總之，應(yīng)充分認(rèn)識和利用Altmetrics的優(yōu)勢，正視和解決Altmetrics目前的問題，不斷探索各項(xiàng)指標(biāo)的適用能力，明確多項(xiàng)指標(biāo)對于文獻(xiàn)價值反映上的重合及偏重，推動指標(biāo)的標(biāo)準(zhǔn)化，構(gòu)建Altmetrics指標(biāo)的綜合使用體系。

[1]PRIEM J,TARABORELLI D,GROTH P,et al.Altmetrics:a manifesto [EB/OL].[2017-07-10].http://altmetrics.org/manifesto.

[2]MAN K C.Altmetrics:too soon for use in assessment[J].Nature,2013,494(7436):176.

[3]BROWN M.Is Almetrics an acceptable replacement for citation counts and the impact factor?[J].Serials Librarian,2014,67(1):27-30.

[4]In metrics we trust?Prospects &pitfalls of new research metrics[EB/OL].[2017-8-10].http://www.sussex.ac.uk/spru/newsandevents/2014h/conferences/metricsworkshop.

[5]Why a NISO effort to standardize Altmetrics?[EB/OL].[2017-07-10].https://svpow.com/2013/06/22/why-a-niso-effort-to-standardisealtmetrics/.

[6]HAMMARFELT B.Using Altmetrics for assessing research impact in the humanities[J].Scientometrics,2014,101(2):1419-1430.

[7]HAUSTEIN S,PETERS IBAR-ILAN J,et al.Coverage and adoption of Altmetrics sources in the bibliometric community[J].Scientometrics,2014,101(2):1145-1163.

[8]ALPERIN J P.Geographic variation in social media metrics:an analysis of Latin American journal articles[J].Aslib Journal of Information Management,2015,67(3):289-304.

[9]MOHAMMADI E,THELAWALL M.Mendeley readership Altmetrics for the social sciences and humanities:research evaluation and knowledge fl ows[J].Journal of the Association for Information Science &Technology,2014,65(8):1627-1638.

[10]KNIGHT S R.Social media and online attention as an early measure of the impact of research in solid organ transplantation[J].Transplantation,2014,98(5):490.

[11]ZAHEDI Z,COSTAS R,WOUTERS P.How well developed are altmetrics?A cross-disciplinary analysis of the presence of ‘a(chǎn)lternativemetrics’ in scientific publications[J].Scientometrics,2014,101(2):1491-1513.

[12]宋麗萍,王建芳,王樹義.科學(xué)評價視角下F1000、Mendeley與傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)的比較[J].中國圖書館學(xué)報(bào),2014(4):48-54.

[13]PETERS I,KRAKER P,LEX E,et al.Research data explored:an extended analysis of citations and altmetrics[J].Scientometrics,2016,107(2):723-744.

[14]ROSENKRANTZ A B,AYOOLA A,SINGH K,et al.Alternative metrics (“Altmetrics”) for assessing article impact in popular general radiology journals[J].Academic Radiology,2017,24(7):891-897.

[15]THELWALL M,FAIRCLOUGH R.Geometric journal impact factors correcting for individual highly cited articles[J].Journal of Informetrics,2015,9(2):263-272.

[16]SCHL?GL C,GORRAIZ J,GUMPENBERGER C,et al.A comparison of citations,downloads and readership data for an information systems journal[J].Research Trends,2014(37):14-18.

[17]WALTMAN L,COSTAS R.F1000 recommendations as a potential new data source for research evaluation:a comparison with citations[J].Journal of the Association for Information Science and Technology,2014,65(3):433-445.

[18]BORNMANN L.Alternative metrics in scientometrics:a metaanalysis of research into three altmetrics[J].Scientometrics,2014,103(3):1123-1144.

[19]HAUSTEIN S,PETERS I,SUGIMOTO C R,et al.Tweeting biomedicine:an analysis of tweets and citations in the biomedical literature[J].Journal of the Association for Information Science and Technology,2014,65(4):656-669.

[20]ALHOORI H,FURUTA R,TABCT M,et al.Altmetrics for country-level research assessment[M]//The Emergence of digital libraries-research and practices.[S.1.]:Springer International Publishing,2014:59-64.

[21]THELWALL M.A brief history of altmetrics[J].Research Trends,2014(37):3-4.

[22]BRODY T,HARNAD S,CARR L.Earlier web usage statistics as predictors of later citation impact[J].Journal of the American Society for Information Science and Technology,2006,57(8):1060-1072.

[23]SHEMA H,BAR-ILAN J,THELWALL M.Do blog citations correlate with a higher number of future citations? Research blogs as a potential source for alternative metrics[J].Journal of the Association for Information Science and Technology,2014,65(5):1018-1027.

[24]EYSENBACH G.Correction:can tweets predict citations?Metrics of social impact based on twitter and correlation with traditional metrics of scientific impact[J].Journal of Medical Internet Research,2011,13(4):e123.

[25]PEOPLES B K,MIDWAY S R,SACKETT D,et al.Twitter predicts citation rates of ecological research[J].PloS One,2016,11(11):e0166570.

[26]JAMALI H R,MAHMOOD.Citing journal articles in social sciences blogs[J].Iranian Journal of Information Processing Mana gement,2015,30(3):853-873.

[27]THELWALL M,TSOU A,WEINGART S,et al.Tweeting links to academic articles[J].Cybermetrics:International Journal of Sciento metrics,Informetrics and Bibliometrics,2013(17):1-8.

[28]NA J C.User motivations for tweeting research articles:a content analysis approach[M]//Digital libraries:providing quality information.[S.1.]:Springer International Publishing,2015:197-208.

[29]劉春麗.基于PLOS API的論文影響力選擇性計(jì)量指標(biāo)研究[J].圖書情報(bào)工作,2013(7):89-95.

[30]劉曉娟,宋婉姿.基于PLOS ALM的Altmetrics指標(biāo)可用性分析[J].圖書情報(bào)工作,2016(4):93-101.

[31]BOLLEN J,DE SOMPEL V H,HAGBERG A,et al.A principal component analysis of 39 scientific impact measures[J].PloS One,2009,4(6):e6022.

[32]ORTEGA J L.Relationship between altmetric and bibliometric indicators across academic social sites:the case of CSIC’s members[J].Journal of Informetrics,2015,9(1):39-49.

[33]HAUSTEIN S,BOWMAN T D,COSTAS R.Interpreting “altmetrics”:viewing acts on social media through the lens of citation and social theories[J].Eprint Arxiv,2015.

[34]王賢文,方志超,王虹茵.連續(xù)、動態(tài)和復(fù)合的單篇論文評價體系構(gòu)建研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2015(8):37-48.

[35]HOLMBERG K.Classifying Altmetrics by level of impact[C]//ISSI.[S.1.]:[s.n.],2015.

[36]BORNMANN L.Validity of altmetrics data for measuring societal impact:a study using data from Altmetric and F1000 prime[J].Journal of Informetrics,2014,8(4):935-950.

[37]BORNMANN L,HAUNSCHILD R.How to normalize twitter counts?A first attempt based on journals in the twitter index[J].Scientometrics,2016,107(3):1405-1422.

[38]HAUNSCHILD R,BORNMANN L.Normalization of Mendeleymendeley reader counts for impact assessment[J].Journal of Informetrics,2016,10(1):62-73.

[39]THELWALL M,HAUSTEIN S,LARIVIèRE V,et al.Do Altmetrics work?Twitter and ten other social web services[J].Plos One 2013,8(5):e64841.

[40]WATSON A B.Comparing citations and downloads for individual articles at the Journal of Vision[J].Journal of Vision,2009,9(4):1-4.

[41]COSTAS R,ZAHEDI Z,WOUTERS P.Do “Altmetrics” correlate with citations? Extensive comparison of Altmetric indicators with citations from a multidisciplinary perspective[J].Journal of the Association for Information Science and Technology,2015,66(10):2003-2019.

[42]HOLMBERG K,THELWALL M.Disciplinary differences in twitter scholarly communication[J].Scientometrics,2014,101(2):1027-1042.

[43]BORNMANN L,HAUNSCHILD R.Overlay maps based on Mendeley data:the use of altmetrics for readership networks[J].Journal of the Association for Information Science &Technology,2016,67(12):3064-3072.

[44]BARTHEL S,T?NNIES S,K?HNCKE B,et al.What does twitter measure?Influence of diverse user groups in Altmetrics[C]//Proceedings of the 15th ACM/IEEE-CS Joint Conference on Digital Libraries.[S.1.]:ACM,2015:119-128.

[45]MAFLAHI N,THELWALL M.When are readership counts as useful as citation counts?Scopus versus Mendeley for LIS journals[J].Journal of the Association for Information Science and Technology,2016,67(1):191-199.

[46]WANG X,FANG Z,SUN X.Usage patterns of scholarly articles on Web of Science:a study on Web of Science usage count[J].Scientometrics,2016,109(2):917-926.

[47]CRONIN B,SUGIMOTO C R.Beyond bibliometrics:harnessing multidimensional indicators of scholarly impact[M].[s.1.]:MIT Press,2014.

[48]郭飛,游濱,薛婧媛.Altmetrics熱點(diǎn)論文傳播特性及影響力分析[J].圖書情報(bào)工作,2016,60(15):86-93.

[49]余厚強(qiáng),邱均平.新浪微博替代計(jì)量指標(biāo)特征分析[J].中國圖書館學(xué)報(bào),2016,42(4):20-36.

[50]ALHOORI H,RAY CHOUDHURY S,KANAN T,et al.On the relationship between open access and Altmetrics[C]//iConference 2015 Proceedings.[S.1.]:[s.n.],2015.

[51]葛夢蕊,何開煦.替代計(jì)量學(xué)與OA資源的相關(guān)性研究[J].圖書情報(bào)知識,2016(5):84-92.

[52]WANG X,MAO W,XU S,et al.Usage history of scientific literature:nature metrics and metrics of nature publications[J].Scientometrics,2014,98(3):1923-1933.

[53]WANG X,LIU C,MAO W,et al.The open access advantage considering citation,article usage and social media attention[J].Scientometrics,2015,103(2):555-564.

[54]MOUNCE R.Open access and Altmetrics:distinct but complementary[J].Bulletin of the American Society for Information Science and Technology,2013,39(4):14-17.

[55]NISO.Outputs of the NISO Alternative assessment metrics project[EB/OL].[2017-07-14].http://www.niso.org/apps/group_public/download.php/17090/NISO%20RP-25-2016%20 Outputs%20of%20the%20NISO%20Alternative%20Assessment% 20Project.pdf.

[56]PRIEM J,PIWOWAR H A,HEMMINGER B M.Altmetrics in the wild:Using social media to explore scholarly impact[EB/OL].[2017-07-10].https://arxiv.org/html/1203.4745v1.

[57]BORNMANN L.Do Altmetrics point to the broader impact of research?An overview of benefits and disadvantages of Altmetrics[J].Journal of Informetrics,2014,8(4):895-903.

[58]MOHAMMADI E,THELWALL M,HAUSTEIN S,et al.Who reads research articles?An Altmetrics analysis of Mendeley user categories[J].Journal of the Association for Information Science and Technology,2015,66(9):1832-1846.

[59]ORTEGA J L.Disciplinary differences in the use of academic social networking sites[J].Online Information Review,2015,39(4):520-536.

[60]ORTEGA J L.To be or not to be on twitter,and its relationship with the tweeting and citation of research papers[J].Scientometrics,2016,109(2):1353-1364.

[61]MOED H F.Altmetrics as traces of the computerization of the research process[EB/OL].[2017-07-10].https://arxiv.org/ftp/arxiv/papers/1510/1510.05131.pdf.

[62]ALPERIN J P.Geographic variation in social media metrics:an analysis of Latin American journal articles[J].Aslib Journal of Information Management,2015,67(3):289-304.

[63]ARAúJO R F,MURAKAMI T R M,DE LARA J L,et al.Does the Global South Have Altmetrics?Analyzing a Brazilian LIS Journal[C]//ISSI.[S.1.]:[s.n],2015.

[64]TAMMARO A M.Altmetrics in the humanities:perceptions of Italian scholars[C]//Libraries in the Digital Age (LIDA) Proceedings.[S.1.]:[s.n.],2014.

[65]American society for cell biology.San Francisco declaration on research assessment[EB/OL].[2017-07-14].http://www.ascb.org/files/SFDeclarationFINAL.pdf.

[66]HICKS D,WOTERS P,WALTMAN L,et al.The Leiden Manifesto for research metrics[J].Nature,2015,520(7548):429-431.

[67]HAUSTEIN S.Grand challenges in Altmetrics:heterogeneity,data quality and dependencies[J].Scientometrics,2016,108(1):413-423.

[68]劉春麗.altmetrics:從理論假說、術(shù)語提出到內(nèi)涵的重新界定[J].圖書情報(bào)工作,2015,59(6):82-89.

Abstract:The emergence of Altmetrics puts forward new ideas for the change of academic evaluation work.However,due to various factors,its’ usability in academic evaluation is still questioned.Many researchers had explored this issue,including the coverage of altmetrics indicators,the ability to re fl ect the value of papers,the construction of the academic evaluation system,the standardization of altmetrics indicators and the in fl uence factors of usability.According to the abundant related studies,we pointed out that the research on construction of Altmetrics’ theoretical system and user motivation are still lacking,in order to make suggestion and guidance for its usage and further development.

Keywords:Altmetrics;Academic Evaluation;Usability

Review of the Usability of Altmetrics in Academic Evaluation

LIU XiaoJuan,ZHAO ZhuoJing,SONG WanZi
(School of Government,Beijing Normal University,Beijing 100875,China)

G250

10.3772/j.issn.1673-2286.2017.08.006

* 本研究得到ISTIC-EBSCO文獻(xiàn)大數(shù)據(jù)發(fā)現(xiàn)服務(wù)聯(lián)合實(shí)驗(yàn)室基金項(xiàng)目“Altmetrics在學(xué)術(shù)評價中的可用性研究——以社交媒體網(wǎng)絡(luò)類指標(biāo)為例”資助。

劉曉娟，女，1980年生，博士，教授，研究方向：科學(xué)計(jì)量學(xué)、數(shù)字資源管理，E-mail：lxj_2007@bnu.edu.cn。

趙卓婧，女，1995年生，碩士研究生，研究方向：科學(xué)計(jì)量學(xué)，E-mail：15510491012@163.com。

宋婉姿，女，1991年生，碩士研究生，研究方向：科學(xué)計(jì)量學(xué)，E-mail：201321230060@mail.bnu.edu.cn。

2017-07-15）