馬坤

〔摘 要〕為了提高文獻錄入效率和準確率，減少錄入文獻的人工審核，提出一種基于DOI和論文數(shù)據(jù)庫的在線文獻元數(shù)據(jù)獲取方法，設計DOI解析代理集成異構的DOI注冊代理機構的服務接口，通過RoadRunner算法實現(xiàn)基于論文數(shù)據(jù)庫詳情頁的文獻元數(shù)據(jù)抽取。最后實現(xiàn)在線文獻元數(shù)據(jù)智能錄入系統(tǒng)，驗證上述方法的有效性和實用性。

〔關鍵詞〕數(shù)字對象標識符；論文數(shù)據(jù)庫；Web信息抽?。痪W(wǎng)頁聚類

為了改善文獻錄入方式，自動驗證錄入文獻歸屬，本文結合DOI與論文數(shù)據(jù)庫，提出了一種新穎的在線文獻元數(shù)據(jù)智能獲取方法。

1 相關工作

目前，國內(nèi)外在線文獻管理系統(tǒng)中文獻獲取與錄入方法主要有文獻題錄直接導入、基于DOI的文獻題錄導入、基于論文數(shù)據(jù)庫網(wǎng)頁的題錄抓取和論文文件題錄抓取等方式[1]。

1.1 文獻題錄直接導入

文獻題錄導入方法是指文獻管理工具從論文數(shù)據(jù)庫導入文獻各項元數(shù)據(jù)（作者、題目、來源、卷期號、起始頁碼、摘要等）[1]。該方法一般需要手工從論文數(shù)據(jù)庫將文獻題錄導出，然后再進行導入。目前部分文獻管理工具已經(jīng)實現(xiàn)文獻題錄的直接導入，自動檢測論文數(shù)據(jù)庫題錄格式（EndNote Citation File、Research Information Systems Citation File和BibTex等），無需人工參與。但是，該方法需要論文數(shù)據(jù)庫出版系統(tǒng)提供規(guī)范置標的題錄可讀輸出以及相應的API，不同出版系統(tǒng)API又具有異構性，缺乏一個可以共同遵循的標準。

1.2 基于DOI的文獻題錄導入

DOI是一組由數(shù)字、字母或其他符號組成的文獻標識符，已經(jīng)在2012年5月正式被批準成為ISO國際標準[2]，覆蓋大多數(shù)研究領域，具有永久性、惟一性、可解析和互操作性等特征。DOI解析提供了一種由永久惟一的DOI鏈接到文獻元數(shù)據(jù)和包含文獻元數(shù)據(jù)的網(wǎng)頁的符合國際標準化的映射方式[3]。以國外DOI的注冊代理機構之一的Cross Ref為例，截止到2012年10月26日，注冊DOI數(shù)量超過5 679萬個[4]。在國內(nèi)，DOI在數(shù)字資源的應用雖剛剛起步，但也成為一種必然趨勢[5]。據(jù)International DOI Foundation（IDF）統(tǒng)計，中文DOI的DOI注冊數(shù)量已居全球第二位[6]。截止到2012年10月8日，中文DOI注冊總量達到195萬，期刊DOI注冊數(shù)量193萬[6]。

DOI注冊代理機構為用戶提供了游客式或注冊式的DOI解析服務，并提供了靈活的API接口。例如，國外DOI注冊代理機構Cross Ref為用戶提供了文本查詢、OpenURL和HTTP等查詢方式[7]；國內(nèi)DOI注冊代理機構在ChinaDOI.cn網(wǎng)站上為個人用戶提供免費的DOI鏈接解析服務[8]。除此之外，其它DOI注冊代理機構，如臺灣華藝數(shù)位、歐洲mEDRA，也為用戶提供了類似的DOI查詢接口。DOI普及度以及DOI的查詢接口的存在，為在線文獻管理系統(tǒng)文獻獲取和文獻錄入創(chuàng)造了前提條件?；贒OI查詢接口獲取文獻元數(shù)據(jù)的實踐研究在國內(nèi)外還剛剛起步，目前支持基于DOI文獻題錄導入的在線文獻管理系統(tǒng)主要有EndNote Web、新科學[9]等。

1.3 基于論文數(shù)據(jù)庫出版系統(tǒng)網(wǎng)頁的題錄抓取

包含文獻元數(shù)據(jù)的網(wǎng)頁通常由后臺結構化的論文數(shù)據(jù)庫數(shù)據(jù)與前臺半結構化的網(wǎng)頁模板合并而成。從論文數(shù)據(jù)庫出版系統(tǒng)詳情頁中提取文獻元數(shù)據(jù)的問題則轉(zhuǎn)換為半結構化網(wǎng)頁的目標數(shù)據(jù)抽取問題。

近年來，研究人員和互聯(lián)網(wǎng)公司開始著手研究網(wǎng)頁信息抽取問題。研究者根據(jù)Web數(shù)據(jù)抽取方法的自動化程度，將Web數(shù)據(jù)抽取方法劃分為手工構造和半自動構造數(shù)據(jù)抽取方法[10]。手工方法是通過觀察網(wǎng)頁源碼，由編程人員找出一些模式，再根據(jù)模式編寫相應的抽取程序獲取目標數(shù)據(jù)；半自動包裝器歸納方法是有監(jiān)督學習方法，該方法通過從手工標注的網(wǎng)頁中集中學習一組抽取規(guī)則，然后利用這些規(guī)則從具有類似格式的網(wǎng)頁中抽取目標數(shù)據(jù)項。這類方法雖然成功率較高，但是仍需要人工干預。

現(xiàn)有的國內(nèi)外主流文獻管理工具（例如EndNote Web、RefWorks、Zotero、Mendeley等）中的抽取器采用網(wǎng)頁題錄抓取，抽取器插件需要進行升級或調(diào)整，才能適應改版或調(diào)整風格后的論文數(shù)據(jù)庫出版系統(tǒng)文獻元數(shù)據(jù)抽取[1]。

論文文件題錄抓取是指直接從排版后的論文文件抓取文獻題錄[1]，其原理為解析符合常見出版系統(tǒng)模板的論文源文件（Microsoft Word或LaTeX Style Files）或非圖形模式的可打印文件（Portable Document Format或PostScript），從中提取文獻元數(shù)據(jù)。由于論文模板并不統(tǒng)一，該方法文獻元數(shù)據(jù)提取失敗率較高，仍需人工干預，更適合作為文獻錄入的輔助工具。該方法可進一步優(yōu)化，若從文件中提取到論文DOI，可以同時采用基于DOI的文獻題錄導入方法作為補充，提高文獻元數(shù)據(jù)提取成功率。目前支持論文文件題錄抓取的在線文獻管理系統(tǒng)主要有EndNote、Zotero、Mendeley等。

2 文獻元數(shù)據(jù)獲取方法

2.1 基于DOI的文獻信息獲取方法的研究

基于DOI的文獻信息獲取方法的步驟如下，如圖1所示。

①判斷待查詢文獻DOI是否已經(jīng)在本地DOI文獻元數(shù)據(jù)庫內(nèi)，若存在，則直接從本地庫中取出文獻元數(shù)據(jù)返回。

②若待查詢DOI不在本地DOI數(shù)據(jù)庫，DOI解析代理模塊采用權值輪詢調(diào)度算法，將查詢請求按照負載均衡原則分發(fā)到不同DOI注冊代理機構提供的查詢接口。DOI解析代理以異構的DOI注冊代理機構的查詢接口為基礎，提供支持負載均衡的統(tǒng)一查詢服務。

③若從注冊代理接口可以查詢到文獻元數(shù)據(jù)，則將文獻元數(shù)據(jù)返回，將DOI與文獻元數(shù)據(jù)的映射關系存入到本地DOI數(shù)據(jù)庫。

④若從注冊代理接口查詢不到文獻元數(shù)據(jù)，則表明有可能DOI與文獻元數(shù)據(jù)的映射關系還未及時同步到查詢接口。此時，嘗試從DOI單一解析或DOI多重解析的論文數(shù)據(jù)庫詳情頁抽取文獻元數(shù)據(jù)，具體的方法參見方案第二部分。

2.2 基于論文數(shù)據(jù)庫出版系統(tǒng)的文獻信息獲取方法的研究 包含文獻元數(shù)據(jù)的論文數(shù)據(jù)庫頁面是一個數(shù)據(jù)詳情頁，從詳情頁提取文獻元數(shù)據(jù)的問題轉(zhuǎn)化為一個Web數(shù)據(jù)抽取的基本問題。基于論文數(shù)據(jù)庫的文獻信息獲取方法的步驟如下，如圖2所示。

①檢測論文數(shù)據(jù)庫詳情頁是否存在模板，若存在，按照詳情頁模板直接從論文數(shù)據(jù)庫頁面中抽取文獻元數(shù)據(jù)。

②若論文數(shù)據(jù)庫詳情頁沒有模板，對詳情頁進行預處理。使用開源Java JTidy工具庫[11]對網(wǎng)頁中的HTML標簽進行清理，轉(zhuǎn)化為標準的XHTML頁面。

③將該詳情頁放入待識別頁面隊列。對待識別頁面隊列的大量頁面，按照層次聚類算法[12]進行聚類。若得到每個類別頁面（即同模板網(wǎng)頁集）數(shù)量達到閾值，轉(zhuǎn)步驟④；若同模板網(wǎng)頁集數(shù)量達不到閾值，則一定時間后進行重試，若重試次數(shù)超過閾值，轉(zhuǎn)步驟⑥。

④采用Roadrunner算法[13]尋找同模板網(wǎng)頁集的相似點和不同點，在此過程中生成一個沒有析取項的正則表達式表示的頁面模板，作為Web數(shù)據(jù)抽取的包裝器，實現(xiàn)了無監(jiān)督自動數(shù)據(jù)抽取。若Roadrunner算法成功提取出模板，將得到的頁面模板存入論文數(shù)據(jù)庫模板庫，將抽取到的文獻元數(shù)據(jù)返回；若Roadrunner算法提取模板失敗，則等待一定時間后重試，若重試次數(shù)超過閾值，轉(zhuǎn)步驟⑥。圖1 基于DOI的文獻信息獲取方法流程圖

⑤按照模板抽取論文數(shù)據(jù)庫詳情頁文獻元數(shù)據(jù)，結束算法。

⑥手工方式標注論文數(shù)據(jù)庫詳情頁面模板，并將模板存入論文數(shù)據(jù)庫模板庫。

3 文獻元數(shù)據(jù)獲取實現(xiàn)

3.1 技術架構

根據(jù)用戶需求，系統(tǒng)采用云端/終端體系架構，如圖3所示。用戶文獻智能錄入的終端支持傳統(tǒng)的PC或者移動終端（智能手機、平板電腦、筆記本、電子閱讀器等）等多種展現(xiàn)方式，在終端錄入DOI或者論文數(shù)據(jù)庫的URL，通過云端中的相應服務接口獲取到文獻元數(shù)據(jù)，并在用戶界面上顯示；而云端是提供租用服務的文獻智能獲取服務接口以及DOI解析器、Web數(shù)據(jù)抽取器的業(yè)務實現(xiàn)。系統(tǒng)業(yè)務邏輯位于云端，通過相應的服務接口為不同類型的終端租戶提供服務。

3.2 關鍵技術實現(xiàn)

3.2.1 方案選擇器實現(xiàn)

DOI注冊代理機構提供了文獻DOI的模糊查詢，以此可以判斷文獻是否存在DOI。例如，Cross Ref為個人用戶提供了根據(jù)文獻標題等元數(shù)據(jù)查詢文獻DOI的開放接口。

查詢接口URL http：∥api.labs.crossref.org/search？q=<文獻標題等元數(shù)據(jù)>

從返回頁面中可以提取出該文獻的DOI，進而通過DOI解析器獲取文獻元數(shù)據(jù)；若提取失敗則說明該文獻沒有DOI，進而從通過論文數(shù)據(jù)庫詳情頁抽取文獻元數(shù)據(jù)。

3.2.2 DOI解析器的實現(xiàn)

①DOI解析代理圖2 基于論文數(shù)據(jù)庫的文獻信息獲取方法流程圖

圖3 系統(tǒng)架構

由于文獻元數(shù)據(jù)分散在不同的DOI注冊代理機構，設計的DOI解析代理，一方面按照DOI歸屬（由DOI前綴確定）將請求分散到各自注冊代理的解析服務接口。另一方面，DOI解析代理還按照負載均衡原則，分擔請求壓力，將DOI查詢請求分散到不同的鏡像服務器。

②DOI查詢接口

以DOI注冊代理機構Cross Ref提供的查詢接口為例。Cross Ref為個人用戶提供了開放URL查詢接口，通過一組帶有相關參數(shù)HTTP Get請求可以同時獲取到多個DOI的文獻元數(shù)據(jù)。具體Get請求的參數(shù)格式如下：

查詢接口URL http：∥api.labs.crossref.org/.xml

其中為待查詢文獻的DOI。通過Java jsoup[14]解析器，完成查詢結果XML文件解析，提取出文獻元數(shù)據(jù)。

而中文DOI注冊代理，則提供了基于OpenURL的DOI查詢服務，接口如下：

http：∥www.chinadoi.cn/openurl.do？pid=wf：wf&id=doi：&noredirect=

DOI解析代理負責將異構的各注冊機構DOI解析服務集成在一起。

3.2.3 論文數(shù)據(jù)庫文獻元數(shù)據(jù)抽取器實現(xiàn)

論文數(shù)據(jù)庫詳情頁XHTML頁面可以表示為一個文檔對象模型（標簽樹），即DOM（Document Object Model）樹[15]。論文數(shù)據(jù)庫詳情頁集合聚類轉(zhuǎn)變?yōu)闃撕灅涞木垲?。對于標簽樹聚類，傳統(tǒng)的層次聚類方法[11]能實現(xiàn)比較好的結果。為了描述層次聚類算法，首先給出樹編輯距離概念。

標簽樹A與標簽樹B的樹編輯距離[16]為將標簽樹A變換為標簽樹B所需要的最小操作成本，操作集包括節(jié)點替換、刪除和插入。解標簽樹編輯距離的問題也就是尋找兩棵樹的最小代價映射。設兩棵樹A與B之間的映射為M。在M包含的數(shù)據(jù)對（i， j）中i，j分別表示標簽樹A和標簽樹B的節(jié)點元素，令S表示i和j不相同的數(shù)據(jù)對數(shù)量，即需要替換的標簽；D表示A中沒有出現(xiàn)卻在M中的節(jié)點，即需要刪除的標簽；I表示B中沒有出現(xiàn)卻在M中的節(jié)點，即需要插入的標簽。則標簽樹編輯距離D（A，B）=S*p+D*q+I*r，其中p、q、r分別表示替換、刪除和插入權值。

本文使用自下而上的合并聚類方法進行聚類，聚類過程從樹狀圖最底層開始，每一次通過合并最相似（距離最近）的聚類來形成上一層聚類。整個過程當全部數(shù)據(jù)點都合并到一個聚類（根節(jié)點聚類）時停止，得到各類同模板網(wǎng)頁集?；跇渚庉嬀嚯x的合并層次聚類算法描述如下：

將待聚類的N個網(wǎng)頁分別標號0，1，…，n-1，D=[d（i，j）]表示N*N的樹編輯距離矩陣，記L（k）表示第k個類所處的層次，類r與類s距離記為d[（r），（s）]。

（1）初始化共有N個類，每個類由一個網(wǎng)頁標簽樹構成。令m=0，L（m）=0；

（2）在D中尋找最小距離d[（r），（s）]=min（d[（i），（j）]）；

（3）將兩個類r與s合并為新類（r，s），令m=m+1，L（m）=d[（r），（s）]；

（4）更新距離矩陣D，將表示類r與s的行列刪除，同時加入表示新類（r，s）的行和列，同時定義新類（r，s）與舊類k的距離為d[（k），（r，s）]=min（d[（k），（r）]，d[（k），（s）]）；

（5）反復步驟2-4，直到所有網(wǎng)頁標簽樹合并成一個類為止。

經(jīng)上述聚類算法后，論文數(shù)據(jù)庫詳情頁分成了多簇，對于得到的每類同模板網(wǎng)頁集執(zhí)行Roadrunner算法[12]生成一個正則表達式作為網(wǎng)頁模板。具體算法如下：

在同模板網(wǎng)頁集中隨機取一張網(wǎng)頁作為正則表達式表示的模板W；W通過順序與其余每個網(wǎng)頁pi的HTML匹配而被提純。算法通過通過深度遍歷標簽樹尋找模板W和網(wǎng)頁標簽樹pi的失配來泛化模板W。一個失配發(fā)生在pi的一些標簽與模板語法不匹配的時候，存在以下兩種失配：

（1）文本元素失配，表示為文獻數(shù)據(jù)域或數(shù)據(jù)項；

（2）標簽元素失配，表示為可選數(shù)據(jù)項；或者是一個迭代器（重復出現(xiàn)的模式列表）。在這種情況，一個失配發(fā)生在一個重復出現(xiàn)的模式的開頭以及一個列表的結尾。找到失配為止的最后標志并從包裝器和網(wǎng)頁pi中通過向前搜索識別一些候選的重復模式。隨后它比較這些候選模式和網(wǎng)頁pi上方部分確認。

3.2.4 云端服務租用接口實現(xiàn)

服務接口實現(xiàn)采用二進制Web服務協(xié)議Hessian[17]用于數(shù)據(jù)傳輸。云端服務器提供DOI解析器和論文數(shù)據(jù)庫抽取器服務租用接口IService，如表1。其中doiExtract為根據(jù)DOI獲取單個或批量DOI的文獻元數(shù)據(jù)接口，而paperExtract為根據(jù)論文數(shù)據(jù)庫URL獲取單個或批量DOI的文獻元數(shù)據(jù)接口。表1 服務層DOI解析器和論文數(shù)據(jù)庫文獻元數(shù)據(jù)

抽取器租用服務接口IService

服務接口參 數(shù)返回值doiExtractdoi：String文獻元數(shù)據(jù)MetaLiteraturedoiExtractdois：List文獻元數(shù)據(jù)集合ListpaperExtracturl：String文獻元數(shù)據(jù)MetaLiteraturepaperExtracturls：Lisr文獻元數(shù)據(jù)集合List4 實驗與應用效果分析

本文實驗環(huán)境為：CPU為2*28GHz，內(nèi)存8G，100M網(wǎng)絡出口帶寬。首先，對DOI解析器進行測試。由于DOI解析器的結果來自DOI注冊代理機構查詢接口，該接口的數(shù)據(jù)又來自DOI官方注冊庫。因此，在網(wǎng)絡暢通情況下，通過DOI獲取文獻元數(shù)據(jù)查準率趨近100%。由于DOI解析代理采用負載均衡，該方法可以有效的分擔查詢壓力。該方法成功用于濟南大學研究生導師遴選系統(tǒng)中導師論文成果的錄入，大大提高文獻錄入的效率和準確率。通過DOI方式錄入的文獻，通過匹配獲取到的文獻元數(shù)據(jù)作者和單位信息，實現(xiàn)錄入文獻的自動審核。

其次，對論文數(shù)據(jù)庫文獻元數(shù)據(jù)抽取器進行測試。首先選用ACM、Elsevier Science Direct、Wiley InterScience、Springer Link、IEEE Xplore、CiteSeerX、中國知網(wǎng)、萬方數(shù)據(jù)8個常用論文數(shù)據(jù)庫，各從每類數(shù)據(jù)庫隨機選取50張論文詳情頁，對詳情頁XHTML源碼進行清理預處理。然后將上述400個URL打亂順序，測試自動學習網(wǎng)頁模板的能力。經(jīng)測試，基于標簽樹編輯距離的層次聚類算法準確得到8個分類，符合實際情況，這主要是因為不同模板論文數(shù)據(jù)庫詳情頁標簽樹差別較大的原因。使用Roadrunner算法對每類同模板網(wǎng)頁集計算網(wǎng)頁模板，其查準率和查全率如表2。系統(tǒng)檢測到論文數(shù)據(jù)庫網(wǎng)站改版后（即模板發(fā)生變化），根據(jù)已有的論文數(shù)據(jù)庫詳情頁分類，會自動重新計算其網(wǎng)頁模板，真正實現(xiàn)零干預。表2 RoadRunner算法8個論文數(shù)據(jù)庫文獻元數(shù)據(jù)抽取實驗結果

論文數(shù)據(jù)庫查準率%查全率%ACM855899Elsevier Science Direct795773Wiley InterScience857844Springer Link824863IEEE Xplore693751CiteSeerX892883中國知網(wǎng)756783萬方數(shù)據(jù)882867平 均819833

RoadRunner算法認為網(wǎng)頁是由標簽和字符串組成，當字符串中又含有標簽的時候，查準率和查全率明顯降低。IEEE Xplore正式因為這個原因，查準率和查全率較低。對于該類論文數(shù)據(jù)庫進一步可以借助人工標注模板規(guī)則，來輔助提高查準率和查全率。

最后，終端客戶端增加了移動支持，原型系統(tǒng)文獻錄入界面如圖4。通過智能移動終端，用戶可以選用通過輸入DOI或者論文數(shù)據(jù)庫URL方式獲取文獻元數(shù)據(jù)。

圖4 同時支持智能移動終端的原型系統(tǒng)文獻智能錄入界面

5 結 語

DOI解析提供了一種由永久惟一DOI標識符到文獻元數(shù)據(jù)的符合國際標準的映射方式，研究并實現(xiàn)根據(jù)DOI自動獲取文獻元數(shù)據(jù)的方法，可大大提高文獻錄入的效率和準確率。對于沒有DOI的文獻，從論文數(shù)據(jù)庫出版系統(tǒng)詳情頁自動抽取文獻元數(shù)據(jù)是另一種文獻智能錄入方法，作為DOI文獻錄入方式的補充，該研究對Web數(shù)據(jù)抽取方法的研究有著重要的推動意義。本文研究并實現(xiàn)基于DOI和論文數(shù)據(jù)庫的在線文獻元數(shù)據(jù)智能獲取方法可以用于文獻智能錄入，該方法可以與已有的科研成果管理系統(tǒng)進行結合，實現(xiàn)論文成果的自動審核。

參考文獻

[1]趙飛.常用文獻管理軟件功能比較[J].現(xiàn)代圖書情報技術，2012，28（3）：67-72.

[2]International DOI Foundation，ISO 26324：2012，Information and documentation—Digital object identifier system[S].Switzerland：International Organization for Standardization，2012.

[3]谷琦.數(shù)字對象惟一標識DOI的應用研究[J].現(xiàn)代情報，2009，29（5）：73-76.

[4]CrossRef.CrossRef Indicators[EB/OL].http：∥www.crossref.org/01company/crossrefindicators.html，2012-10-26.

[5]徐健.Handle System在中文DOI系統(tǒng)中的應用[J].現(xiàn)代圖書情報技術，2008，24（9）：16-20.

[6]中國科學技術信息研究所.中文DOI注冊統(tǒng)計信息表[EB/OL].http：∥www.chinadoi.cn/portal/Doisum.htm，2012-10-08.

[7]CrossRef.CrossRef Query Services[EB/OL].http：∥www.crossref.org/requestaccount，2012-10-26.

[8]中國科學技術信息研究所.DOI自動化接口[EB/OL].http：∥www.chinadoi.cn/portal/newsAction！help.action？type=4，2012-10-26.

[9]錢俊斌.一種基于互聯(lián)網(wǎng)Web20平臺構建的在線文獻管理系統(tǒng)：中國，CN2010105111873[P].2011-03-16.

[10]Chang Chia-Hui，Kayed Mohammed，Girgis Moheb Ramzy，Shaalan Khaled.A Survey of Web Information Extraction Systems[J].IEEE Transactions on Knowledge and Data Engineering，2006，18（10）：1411-1428.

[11]Dave Raggett，Andy Quick.Java HTML Tidy Project[EB/OL].http：∥jtidy.sourceforge.net，2009-12-01.

[12]Bing Liu，Web Data Mining：Exploring Hyperlinks，Contents，and Usage Data[M].New York：Springer，2011：147-150.

[13]Valter Crescenzi，Giansalvatore Mecca，Paolo Merialdo.RoadRunner：Towards Automatic Data Extraction from Large Web Sites[C].Proceedings of the 27th International Conference on Very Large Databases，2001：109-118.

[14]Jonathan Hedley，jsoup：Java HTML Parser[EB/OL].http：∥jsoup.org，2012-09-23.

[15]W3C.Document Object Model（DOM）[EB/OL].http：∥www.w3.org/DOM，2009-01-06.

[16]Stanley MSelkow.The tree-to-tree editing problem[J].Information Processing Letters，1977，6（6）：184-186.

[17]Daniel Gredler.Java Remoting：Protocol Benchmarks[EB/OL].http：∥daniel.gredler.net/2008/01/07/java-remoting-protocol-benchmarks，2012-10-26.

（本文責任編輯：馬 卓）