王莉，梁冰

（中國科學(xué)技術(shù)信息研究所，北京 100038）

NSTL智能檢索平臺的擴(kuò)展檢索效果測評與分析*

王莉，梁冰

（中國科學(xué)技術(shù)信息研究所，北京 100038）

本測評采用Pooling技術(shù)，旨在考察NSTL智能檢索平臺的擴(kuò)展檢索效果。實(shí)驗(yàn)表明，基于STKOS的概念擴(kuò)展檢索能夠有效地提高檢索召回率，與此同時也導(dǎo)致整體檢索準(zhǔn)確率下降。實(shí)驗(yàn)結(jié)果中，擴(kuò)展檢索在MAP和P@10兩個指標(biāo)上的表現(xiàn)均優(yōu)于NSTL現(xiàn)有生產(chǎn)平臺，表明該功能能夠給用戶帶來更好的檢索體驗(yàn)。

NSTL；智能檢索平臺；擴(kuò)展檢索；測評

1　引言

NSTL智能檢索平臺是國家十二五科技支撐計劃課題“信息資源自動處理、智能檢索與STKOS應(yīng)用服務(wù)集成”的重要成果產(chǎn)出，重點(diǎn)解決自動標(biāo)引、知識網(wǎng)絡(luò)構(gòu)建、多維索引、自動聚類、個性化服務(wù)等關(guān)鍵技術(shù)在復(fù)雜應(yīng)用下融會貫通的問題，通過超級科技詞表（以下簡稱STKOS）的支撐，深入揭示NSTL海量外文科技文獻(xiàn)資源，建立知識網(wǎng)絡(luò)，為科技創(chuàng)新主體提供高效便捷的知識服務(wù)和科研文獻(xiàn)信息支撐環(huán)境。為了了解NSTL智能檢索平臺的檢索效果，考察其是否達(dá)到課題預(yù)期目標(biāo)，課題組分別設(shè)計了針對自動標(biāo)引和擴(kuò)展檢索兩大核心功能的測試，本文僅介紹擴(kuò)展檢索部分的測試工作。

為了測試擴(kuò)展檢索的效果，課題組設(shè)計了針對NSTL生產(chǎn)平臺和NSTL智能檢索平臺兩大系統(tǒng)核心搜索引擎的檢索效果對比測評實(shí)驗(yàn)。本文首先簡要介紹NSTL智能檢索平臺的原理，進(jìn)而敘述本次測評的過程，并針對測評結(jié)果對NSTL智能搜索引擎的擴(kuò)展檢索表現(xiàn)進(jìn)行分析。

2　NSTL智能檢索平臺的原理

傳統(tǒng)文獻(xiàn)檢索主要通過查詢請求與文獻(xiàn)特征之間的簡單匹配來獲得查詢結(jié)果。這種簡單的字符串匹配方式不可避免地存在表達(dá)一致性問題，一方面無法捕獲用戶的真實(shí)意圖，另一方面也無法滿足用戶在其知識不完整的情景下的文獻(xiàn)檢索需求。面對傳統(tǒng)文獻(xiàn)檢索存在的諸多缺陷［1］，NSTL智能檢索平臺主要從改善檢索效果與增強(qiáng)用戶體驗(yàn)兩個方面提出解決方案，如圖1所示。

圖1　NSTL智能檢索平臺的基本原理

改善檢索效果的具體方法是：利用STKOS對文獻(xiàn)資源進(jìn)行語義標(biāo)注，建立基于概念的文獻(xiàn)索引，同時在用戶檢索過程中，借助STKOS及其他語料（如系統(tǒng)運(yùn)行過程中積累起來的有效的歷史檢索詞）分析用戶輸入的檢索條件，通過人機(jī)交互的方式獲得準(zhǔn)確的信息需求。通過分析“文獻(xiàn)的語義”和“用戶信息需求的語義”，將查詢過程自然地轉(zhuǎn)換為具有語義關(guān)系的概念的匹配過程。這是NSTL智能檢索平臺的核心搜索引擎部分完成的工作，是“智能檢索”的基礎(chǔ)，其中，查詢分析由擴(kuò)展檢索實(shí)現(xiàn)（實(shí)時），文獻(xiàn)分析由自動標(biāo)引實(shí)現(xiàn)（預(yù)處理）。本次測評分析的主要對象是核心搜索引擎的擴(kuò)展檢索部分。增強(qiáng)用戶體驗(yàn)是建立在搜索基礎(chǔ)之上的應(yīng)用和服務(wù)，主要包括檢索結(jié)果的分面與可視化呈現(xiàn)、以關(guān)系發(fā)現(xiàn)為核心的探索式檢索應(yīng)用、以及個性化推薦，這部分內(nèi)容不在本次測評范圍內(nèi)。

3　實(shí)驗(yàn)設(shè)計［2-3］

3.1基本思想

本次測評的基本思想是采用Pooling［4］為大型文獻(xiàn)集構(gòu)建相關(guān)集合，分別考察NSTL生產(chǎn)平臺的核心搜索引擎（簡稱NSTL）和NSTL智能檢索平臺的擴(kuò)展檢索（簡稱NSTL+）在檢準(zhǔn)和檢全兩個方面的表現(xiàn)。

首先，不同檢索系統(tǒng)性能的可比較是建立在統(tǒng)一的數(shù)據(jù)集合和統(tǒng)一的測試方法基礎(chǔ)之上的。本次測評選擇NSTL生產(chǎn)平臺作為對比，一方面因?yàn)镹STL智能檢索平臺的外文期刊文獻(xiàn)數(shù)據(jù)和外文會議文獻(xiàn)數(shù)據(jù)來源于NSTL生產(chǎn)平臺，數(shù)據(jù)源一致；另一方面，課題預(yù)期目標(biāo)是對改進(jìn)NSTL現(xiàn)有生產(chǎn)平臺的檢索效果，將二者做對比測評更有針對性。

其次，NSTL生產(chǎn)平臺和NSTL智能檢索平臺均表現(xiàn)為完整應(yīng)用，需要將各自核心搜索引擎部分剝離出來進(jìn)行測試，而不是直接在用戶頁面上進(jìn)行檢索。從查詢主題的輸入到檢索結(jié)果的輸出完全由搜索引擎完成，沒有人工干預(yù)。因此，經(jīng)過剝離的NSTL+不具備NSTL智能檢索平臺提供的人機(jī)交互方式調(diào)整檢索條件的功能，同時NSTL+將NSTL智能檢索平臺原有的擴(kuò)展查詢提示，改為自動擴(kuò)展1-5個查詢詞，與原始查詢詞以“或”的方式自動生成新的查詢條件進(jìn)行檢索，封裝成一個完整的擴(kuò)展檢索引擎。

因?yàn)橛布脚_的差異，本次測評僅關(guān)注準(zhǔn)確率和召回率，而不記錄檢索速度。

3.2實(shí)驗(yàn)過程

實(shí)驗(yàn)包括準(zhǔn)備查詢條件、構(gòu)建測試集、測評3個基本步驟。

（1）查詢條件

本次測評查詢條件并沒有從NSTL平臺的用戶歷史查詢中選取，主要原因是歷史查詢數(shù)據(jù)量大，且質(zhì)量良莠不齊，在短時間內(nèi)很難篩選出有代表性且有普遍意義的查詢條件；而且這些在平臺使用過程中積累起來的查詢條件僅僅以“字符串”的形式存在，沒有更多關(guān)于其內(nèi)涵的說明，不利于后期人工判斷檢索結(jié)果的相關(guān)性。因此，課題組從TREC國際檢索大會歷年題目中篩選出50個主題構(gòu)成查詢條件集合。

TREC查詢主題［5］示例如下：

TREC查詢主題篩選的基本原則是，用＜title＞內(nèi)容直接在NSTL中檢索至少能夠命中1篇文獻(xiàn)。這一原則確保能夠獲得有效測試集，同時篩選過程中并不檢查STKOS是否覆蓋查詢主題，一定程度上兼顧了有限樣本中盡可能的普遍意義。

為了便于后期的測評分析，對篩選出的主題全部重新編號，形如“S01”、“S02”……“S50”。采用＜title＞內(nèi)容作為查詢詞執(zhí)行全字段搜索。原主題中的描述信息＜desc＞并不參與檢索過程，而是為人工判斷檢索命中文獻(xiàn)與查詢主題之間是否相關(guān)提供參考。

（2）測試集

分別針對NSTL和NSTL+，用50個查詢條件依次檢索期刊論文和會議論文，每次查詢選取前20篇命中文獻(xiàn)（記錄以下關(guān)鍵信息：查詢編號、文獻(xiàn)唯一標(biāo)示符、題名、作者、關(guān)鍵詞、摘要、分類號、出處、文獻(xiàn)在檢索結(jié)果集中的排序），共計4000篇文獻(xiàn)，經(jīng)過查重合并處理之后得到3901篇文獻(xiàn)，作為本次測試文獻(xiàn)集（Pooling）。

人工對測試集中每篇文獻(xiàn)進(jìn)行檢索相關(guān)性判斷，采用二元評判，只關(guān)心相關(guān)或不相關(guān)，如果文獻(xiàn)和查詢主題相關(guān)，則賦值1；如果不相關(guān)則賦值0。

（3）評價指標(biāo)

本次測評考察NSTL和NSTL+的Recall、R-Precision、MAP和P@10四個評價指標(biāo)。

對于單個查詢主題i（i=1..50），檢索結(jié)果圖示如下：

其中，A：檢索到的、相關(guān)的文獻(xiàn)數(shù)量；B：檢索到的、不相關(guān)的文獻(xiàn)數(shù)量；C：未檢索到的、但卻相關(guān)的文獻(xiàn)數(shù)量；D：未檢索到的、同時也不相關(guān)的文獻(xiàn)數(shù)量。

圖2　檢索結(jié)果圖示［6］

召回率是最基本的評測指標(biāo)，通過檢索出的相關(guān)文獻(xiàn)數(shù)和集合中所有的相關(guān)文獻(xiàn)數(shù)的比率，衡量檢索系統(tǒng)的查全情況。一般來說，召回率和準(zhǔn)確率沒有必然聯(lián)系，但是在實(shí)際應(yīng)用中，兩者相互制約，當(dāng)一個檢索系統(tǒng)通過命中更多結(jié)果來查到更多相關(guān)信息，同時也會查到更多不相關(guān)信息，導(dǎo)致召回率提高，而準(zhǔn)確率降低。

對于多個查詢而言，召回率是所有查詢召回率的均值。

單個查詢的R-準(zhǔn)確率是檢索出R篇文獻(xiàn)時的準(zhǔn)確率，R是當(dāng)前查詢返回的文獻(xiàn)總數(shù)，即A+B。多個查詢的R-準(zhǔn)確率是所有單個查詢的R-準(zhǔn)確率的均值。

R-準(zhǔn)確率可用于快速比較兩個檢索算法的性能。用RPA和RPB分別表示使用檢索算法A和檢索算法B執(zhí)行查詢時得到的R-查準(zhǔn)率，它們之間的差值記作：RPA-B=RPA-RPB。如果RPA-B=0，則表明兩個算法性能相同；如果RPA-B＞0，則表明A算法具有較好的性能；如果RPA-B＜0，則表明B算法有較好的性能。

平均準(zhǔn)確率進(jìn)一步考慮檢索出的相關(guān)文獻(xiàn)的排序情況，檢索結(jié)果列表中相關(guān)文獻(xiàn)越靠前，MAP值就可能越高；如果檢索結(jié)果列表中沒有相關(guān)文獻(xiàn)，則MAP值為0。

多個查詢的平均準(zhǔn)確率是所有單個查詢的MAP值的均值。

NSTL生產(chǎn)平臺和NSTL智能檢索平臺均默認(rèn)檢索結(jié)果頁面每頁顯示10篇文獻(xiàn)，因此采用P@N方法計算查詢結(jié)果中前10篇文獻(xiàn)的準(zhǔn)確率。多個查詢的P@10是所有單個查詢的P@10的均值。

4　評測結(jié)果及分析

實(shí)驗(yàn)輸出結(jié)果如表1所示。

表1　文獻(xiàn)檢索測評結(jié)果

從整體檢索效果來看，NSTL+召回率較NSTL有所提高，R-準(zhǔn)確率則有所下降。與此同時，NSTL+在MAP和P@10兩個指標(biāo)上的表現(xiàn)均優(yōu)于NSTL。

課題組對每個查詢主題和對應(yīng)的檢索結(jié)果，結(jié)合NSTL+對查詢主題的擴(kuò)展（擴(kuò)展詞相關(guān)、擴(kuò)展詞無關(guān)）進(jìn)行分析，旨在對NSTL+的四個評價指標(biāo)給出合理的解釋。

（1）召回率的提高與基于STKOS的概念擴(kuò)展有直接關(guān)系。

圖3　50個查詢主題下NSTL和NSTL+召回率對比

對50個查詢及其結(jié)果進(jìn)行分析，其中34個查詢召回率有所提升，16個查詢召回率有所下降，總體表現(xiàn)為小幅上升。所有召回率上升的查詢主題都經(jīng)過擴(kuò)展得到1-5個相關(guān)擴(kuò)展詞，其中上升幅度較大的擴(kuò)展效果尤為突出，例如S40、S17、S42等。這種擴(kuò)展突出表現(xiàn)為兩個方面，一是通過“原始查詢詞-相關(guān)術(shù)語-規(guī)范概念”的路徑從STKOS中獲得更多詞或短語。這些詞或短語和查詢主題非常接近，一般在同一個范疇類目下，是原始查詢詞的不同表現(xiàn)形式，并且根據(jù)可推薦的擴(kuò)展詞數(shù)量動態(tài)縮小原始查詢詞的內(nèi)涵（下位詞），或適當(dāng)擴(kuò)大原始查詢詞的外延（上位詞）。例如S40 “weather hazards and extremes”，通過STKOS擴(kuò)展得到“weather hazards”、“weather-related hazards”和“climatic hazards”3個短語，都與原始查詢詞含義非常接近，擴(kuò)展前（NSTL）命中相關(guān)文獻(xiàn)1篇，擴(kuò)展后（NSTL+）命中文獻(xiàn)直線上升為20篇，且均為相關(guān)文獻(xiàn)。擴(kuò)展的另一個突出表現(xiàn)是有效地拓寬了檢索結(jié)果的學(xué)科覆蓋范圍。例如S17“Emergency and disaster preparedness assistance”，通過STKOS擴(kuò)展得到“Emergency preparedness”，“Emergence planning, preparedness, and response program”，“Disaster preparedness”，“Disaster Readiness”和“US Emergency preparedness act”5個短語，與原始查詢詞含義接近。尤其是擴(kuò)展得到的“Emergence planning, preparedness, and response program”具有重要的檢索意義。擴(kuò)展前（NSTL）檢索結(jié)果集中在醫(yī)藥衛(wèi)生和工業(yè)技術(shù)兩個類目下，工業(yè)技術(shù)下只涉及一般工業(yè)技術(shù)和自動化技術(shù)、計算機(jī)技術(shù)兩個子類；擴(kuò)展后（NSTL+）檢索結(jié)果中增加了環(huán)境科學(xué)、安全科學(xué)類目下的文獻(xiàn)（包括環(huán)境污染及其防治，廢物處理與綜合利用，環(huán)境質(zhì)量評價與監(jiān)測），工業(yè)技術(shù)類也擴(kuò)展了石油、天然氣工業(yè)，水利工程，原子能技術(shù)。

在本次實(shí)驗(yàn)中有16個查詢NSTL+召回率下降，其中5個查詢經(jīng)擴(kuò)展得到的詞完全無關(guān)，其他11個查詢，每個查詢的擴(kuò)展詞有的相關(guān)，有的無關(guān)。擴(kuò)展詞不相關(guān)的情況，對召回率沒有貢獻(xiàn)，這是合理的。擴(kuò)展詞相關(guān)的情況下，召回率也表現(xiàn)為下降，這可能是與文獻(xiàn)集合的覆蓋度有關(guān)，例如，雖然得到1個相關(guān)擴(kuò)展詞，但是該詞在現(xiàn)有文獻(xiàn)集合中沒有查到符合的文獻(xiàn)，自然不能提高召回率。當(dāng)然，這只是一個假設(shè)，在當(dāng)前測試集規(guī)模下無法進(jìn)行驗(yàn)證。在本次實(shí)驗(yàn)中，這種局部表現(xiàn)出的召回率下降與擴(kuò)展功能之間無明顯關(guān)系。

（2）R-準(zhǔn)確率的下降與基于STKOS的概念擴(kuò)展有關(guān)，且局部影響較大。

圖4　50個查詢主題下NSTL和NSTL+R-準(zhǔn)確率對比

對50個查詢及其結(jié)果進(jìn)行分析，其中21個查詢R-準(zhǔn)確率下降，2個查詢R-準(zhǔn)確率不變，27個查詢R-準(zhǔn)確率上升，總體表現(xiàn)為小幅下降。所有R-準(zhǔn)確率下降的查詢都經(jīng)過擴(kuò)展得到1-5個無關(guān)擴(kuò)展詞，整體表現(xiàn)為無關(guān)擴(kuò)展詞越多，R-準(zhǔn)確率下降越明顯。例如S01“affirmative action”，通過STKOS概念擴(kuò)展得到“action”，“biochemical action”，“solvent action”，“shear action”。其中，“action”將原始查詢詞的外延拓展得過寬，已經(jīng)沒有檢索意義；另外3個擴(kuò)展詞則和原始查詢詞完全無關(guān)，導(dǎo)致R-準(zhǔn)確率直線下降。

在27個R-準(zhǔn)確率上升的查詢中有17個查詢每個均得到3-5個有檢索意義的相關(guān)擴(kuò)展詞，其他10個查詢的每個查詢的擴(kuò)展詞有的相關(guān)，有的無關(guān)。在本次實(shí)驗(yàn)中，這種局部表現(xiàn)出的R-準(zhǔn)確率上升與擴(kuò)展功能之間無明顯關(guān)系。

（3）MAP值的提高與基于STKOS的概念擴(kuò)展有關(guān)。

圖5　50個查詢主題下NSTL和NSTL+MAP值對比

對50個查詢及其結(jié)果進(jìn)行分析，其中33個查詢MAP值上升，所有MAP值上升的查詢都經(jīng)過擴(kuò)展得到1-5個相關(guān)擴(kuò)展詞，整體表現(xiàn)為相關(guān)擴(kuò)展詞越多，MAP值上升越明顯。例如前文中列舉的查詢S40，擴(kuò)展效果較好，MAP值從原來的0.125迅速攀升到0.883159。

17個MAP值下降的查詢中有5個查詢經(jīng)擴(kuò)展得到的詞完全無關(guān)，其他12個查詢的每個查詢的擴(kuò)展詞有的相關(guān)，有的無關(guān)。在本次試驗(yàn)中，這種局部表現(xiàn)出的MAP值下降與擴(kuò)展功能之間無明顯關(guān)系。

（4）P@10的提高與基于STKOS的概念擴(kuò)展有關(guān)。

對50個查詢及其結(jié)果進(jìn)行分析，其中31個查詢P@10值上升，所有P@10值上升的查詢都經(jīng)過擴(kuò)展得到1-5個相關(guān)擴(kuò)展詞，但是相關(guān)擴(kuò)展詞的數(shù)量與P@10值上升幅度之間沒有明顯關(guān)系。

19個P@10值下降的查詢中有5個查詢經(jīng)擴(kuò)展得到的詞完全無關(guān)，其他14個查詢的每個查詢的擴(kuò)展詞有的相關(guān)，有的無關(guān)。在本次實(shí)驗(yàn)中，局部表現(xiàn)出的P@10值下降與擴(kuò)展功能之間無明顯關(guān)系。

綜上所述，基于STKOS的概念擴(kuò)展能夠有效地提高檢索召回率，與此同時也導(dǎo)致整體檢索準(zhǔn)確率下降；而擴(kuò)展詞與原始查詢詞是否相關(guān)對四個測評指標(biāo)均有不同程度的影響。在本次實(shí)驗(yàn)條件下，無法進(jìn)一步分析得到這種相關(guān)性影響的規(guī)律。

圖6　50個查詢主題下NSTL和NSTL+P@10對比

5　結(jié)語

為了測試NSTL智能檢索平臺中擴(kuò)展檢索的效果，課題組采用Pooling技術(shù)，選擇Recall、R-Precision、MAP和P@10四個評價指標(biāo)，分別考察NSTL生產(chǎn)平臺的核心搜索引擎和NSTL智能檢索平臺的擴(kuò)展檢索功能的表現(xiàn)。實(shí)驗(yàn)表明，基于STKOS的概念擴(kuò)展檢索能夠有效地提高檢索召回率，與此同時也導(dǎo)致整體檢索準(zhǔn)確率下降。召回率與準(zhǔn)確率兩個指標(biāo)雖然沒有必然聯(lián)系，但是在實(shí)際應(yīng)用中存在相互制約的關(guān)系。在文獻(xiàn)檢索過程中，當(dāng)用戶的檢索需求不清晰，或者難以明確表達(dá)的時候，一般希望被檢索到的內(nèi)容越多越好，這是追求“召回率”；反之，當(dāng)用戶對自己的需求非常了解，能夠明確地用查詢條件表達(dá)出來，總是希望被檢索到的相關(guān)的內(nèi)容越多越好，不相關(guān)的內(nèi)容越少越好，這是追求“準(zhǔn)確率”。NSTL智能檢索平臺擴(kuò)展檢索功能在“檢全”和“檢準(zhǔn)”兩個方面的表現(xiàn)不能簡單地判斷為更好或更差，這是需要與用戶的具體場景相結(jié)合的。正因?yàn)檫@個原因，NSTL智能檢索平臺對擴(kuò)展檢索的處理采用的是“系統(tǒng)主動提示，用戶自主擴(kuò)展”的方法，NSTL+的自動擴(kuò)展模式只是為了測評需要而進(jìn)行的改造。

雖然用戶對“檢全”和“檢準(zhǔn)”的追求不同，但是對MAP和P@10的體驗(yàn)是相同的，MAP值越高表明檢索結(jié)果列表中相關(guān)文獻(xiàn)越靠前，P@10值越高表明用戶最關(guān)注的第一個檢索結(jié)果頁面包含的相關(guān)文獻(xiàn)越多。實(shí)驗(yàn)表明，NSTL智能檢索平臺擴(kuò)展檢索功能能夠給用戶帶來更好的檢索體驗(yàn)。

本次對比測評實(shí)驗(yàn)結(jié)果顯示，擴(kuò)展詞與原始查詢詞是否相關(guān)對四個測評指標(biāo)有影響，但是并沒有找出這種影響的規(guī)律。一方面需要擴(kuò)大測試數(shù)據(jù)集的規(guī)模，另一方面需要引入專家對擴(kuò)展詞與原始查詢詞的相關(guān)性進(jìn)行更細(xì)致的分析，不僅僅是相關(guān)與不相關(guān)二值判定，而應(yīng)該包括同義、上位、下位等更多的相關(guān)關(guān)系。這種細(xì)致的相關(guān)關(guān)系判斷分析，能夠幫助發(fā)現(xiàn)“如何擴(kuò)展才是更好的擴(kuò)展”，從而指導(dǎo)擴(kuò)展檢索功能的優(yōu)化。這也是課題組下一步要做的工作。

［1］ 王莉,梁冰,白海燕等.基于本體的科技文獻(xiàn)檢索框架與技術(shù)實(shí)現(xiàn)［J］.數(shù)字圖書館論壇, 2012（7）:37-44.

［2］ 張俊林,劉洋,孫樂等.2005年度863信息檢索評測方法研究和實(shí)施［J］.中文信息學(xué)報,2006,20（z1）:19-24.

［3］ 信息檢索評測技術(shù)［EB/OL］［2015-10-13］. http://baike.baidu.com/ view/10504202.htm.

［4］ 02信息檢索評價［EB/OL］［2015-10-13］. http://wenku.baidu.com/ link？url=x6YNro_I2fJEzxmR9Y1tGvORvWkrcuZmoOJFvrMTH0 LDYijqho542MHZhLplORAlh2aM97xzOCMuGlzG8jU6BorWISG -eSFwJ105urdPHmi.

［5］ Data-English Test Questions （Topics） Files List ［EB/OL］［2015-10-13］. http://trec.nist.gov/data/topics_eng/index.html.

［6］ 召回率［EB/OL］［2015-10-13］. http://baike.baidu.com/link？url=T6MJjE1J-z0gks7L2Ji39FqVpHJC7bVNy03TFF3NyBxSVANKPz_Mi-ZMoAEJj-0czf3gX7FR0HP-89zWYew9AYa.

Evaluation and Analysis of the Expand Retrieval of NSTL Intelligent Retrieval Platform

WANG Li, LIANG Bing
（Institute of Scientific & Technical Information of China, Beijing 100038, China）

The objective of this retrieval evaluation which uses Pooling technology is to investigate the effect of the expand retrieval of the NSTL intelligent retrieval platform. The results show that, the expand retrieval based on STKOS can effectively improve the recall, but also lead to the decrease of the precision. In the results, MAP and P@10 of the expand retrieval are better than those of NSTL's current platform. This shows that this function can boost users'e xperience.

NSTL； Intelligent Retrieval Platform； Expand Retrieval； Evaluation

G254

10.3772/j.issn.1673-2286.2015.11.005

王莉，女，碩士，中國科學(xué)技術(shù)信息研究所研究員，研究方向：數(shù)字圖書館，E-mail: wangli@istic.ac.cn。

梁冰，男，博士，中國科學(xué)技術(shù)信息研究所高級工程師，E-mail: liangb@istic.ac.cn。

2015-10-29）

* 本研究得到國家十二五科技支撐計劃課題“信息資源自動處理、智能檢索與STKOS應(yīng)用服務(wù)集成”（編號：2011BHA10B05）資助。