趙悅言 魏志鵬 周文杰，3 楊克虎

（1.西北師范大學商學院 甘肅蘭州 730070）

（2.蘭州大學基礎醫(yī)學院循證醫(yī)學中心 甘肅蘭州 730000）

（3.蘭州大學循證社會科學研究中心 甘肅蘭州 730000）

早在1955 年，美國學者Perry 和Kent 最先提出查全率和查準率的概念后，這兩個指標就一直被作為對信息檢索質量進行評價的重要指標。其中，查全率用來衡量在檢索中檢出相關文獻的能力，而查準率則用來衡量特定檢索結果拒絕不相關文獻的能力。Cooper 等將查全率定義為，通過搜索從數(shù)據(jù)庫中檢索到的相關記錄的敏感性比例（即檢索到的相關記錄數(shù)除以相關記錄的總數(shù)）；Bayliss 等在以公共衛(wèi)生主題方面進行系統(tǒng)評價時，認為盡可能全面的搜索代表著更高質量的檢索信息。在循證研究中，為展開高質量的系統(tǒng)評價（systematic review），研究者首先需要對文獻證據(jù)加以盡可能全面的檢索，以盡量減少各種偏倚的影響，同時盡量將搜索結果中的無關文獻排除出去。只有進行全面的檢索，才能最大程度控制檢索帶來的偏倚，研究證據(jù)融合的結果整合（research synthesis）與轉化才更令人信服。如果檢索質量很差，且存在發(fā)表偏倚等情況，那么系統(tǒng)評價的結果有可能會誤導錯誤結論。正因為如此，循證研究中的文獻證據(jù)檢索特別強調查全率。很多情況下，研究者甚至通過犧牲查準率以保障檢索的全面性。

文獻檢索是一個不斷迭代和探索的過程。檢索者需要權衡不同檢索方式的效率，并評估它們對檢索的查全率和查準率的實質性影響。調查文獻發(fā)現(xiàn)，在檢索領域，至今沒有發(fā)展出科學、客觀的標準來判斷特定文獻證據(jù)檢索是否已經(jīng)全面以便決定何時可以停止檢索。 雖然Chilcott 等曾提出，當在數(shù)據(jù)庫中添加一系列新檢索詞或改變檢索方式時不會產(chǎn)生新的相關文獻記錄，就應該停止檢索，但文獻檢索領域的研究者和實踐者幾乎沒有對Chilcott 的設想進行過正式的評估。目前，一些統(tǒng)計技術應用提高了將Chilcott的想法轉變?yōu)閷嶋H檢索質量評價的可能性，如重新捕捉技術和相對查全技術，這些技術通過進行多次檢索來對檢索質量做出判斷。Booth認為，文獻檢索的飽和狀態(tài)是指在檢索過程中能夠檢索到可用的大多數(shù)研究。 檢索的飽和度是循證研究中系統(tǒng)評價全面獲得穩(wěn)定、全面的原始研究證據(jù)的基本保障。

在本專題的前一篇論文中，已基于文獻檢索領域的相關研究，提出了飽和度和冗余度的概念，即飽和度是指檢索中不再有新文獻被納入的狀況，而冗余度是指檢索過程中檢索到不相關文獻的情況。 本研究旨在以全球最大的中文文獻數(shù)據(jù)庫CNKI 為研究樣本，構建窮盡檢索下的文獻飽和數(shù)據(jù)集，并就不同檢索方式對文獻證據(jù)的檢索質量做出評估。 本文為這一總體研究的第二部分，即以飽和度和冗余度為檢索質量評價指標展開實證檢驗。

1 數(shù)據(jù)集整體特征

為考察循證社會科學領域文獻檢索的質量，本研究以“社會認識論”為檢索詞，對CNKI 數(shù)據(jù)庫中所收錄的學術文獻進行多種途徑檢索后，再改變檢索方式進行文獻數(shù)據(jù)補充，直至不再有新的文獻被納入時，即達到了窮盡檢索的飽和狀態(tài)，構成本研究所需要的文獻數(shù)據(jù)集。 之所以選擇以“社會認識論”為檢索詞，是因為這一術語具有明顯的社會科學特征，且具有清晰的理論界定和研究邊界。 本文認為，基于對“社會認識論”的檢索而構建的數(shù)據(jù)集對社會科學領域的文獻信息檢索具有一定的代表性。

為了對檢索質量作出評價，在研究過程中，基于專家判斷，對總文獻數(shù)據(jù)集中1856 篇文獻與檢索主題的相關程度進行了權衡。最終判定，總文獻數(shù)據(jù)集中高度相關文獻占6%，中度相關文獻占14%，低度相關文獻占80%。

總文獻數(shù)據(jù)集中，圍繞“社會認識論”檢索獲得的文獻分布在五個學科領域（見圖1）。其中，分布領域最廣的是“哲學”“圖書情報”“數(shù)字圖書館”次之，“馬克思主義”和“中國政治與國際政治”緊隨其后，剩下的三分之一文獻分布于社會科學領域的其他方面，如管理學、心理學、教育學等。

圖1 文獻數(shù)據(jù)集的學科領域分布

2 文獻證據(jù)檢索的飽和度評價

2.1 單項元數(shù)據(jù)檢索的飽和度評價

2.1.1 純凈飽和度

所謂“純凈飽和度”，是指特定檢索的結果涵蓋整體數(shù)據(jù)集中高相關文獻的程度。 這一指標反映了特定檢索途徑是否能夠準確定位高度相關研究證據(jù)的能力。 對于單項檢索而言，飽和度的計算方法是：逐次對照主題、題名、關鍵詞、摘要、全文為檢索項時與總數(shù)據(jù)集中的高相關文獻的重合率，據(jù)此對各單項檢索的“純凈飽和度”進行排序（結果見表1）。

表1 單項元數(shù)據(jù)檢索的飽和度評價

由單項元數(shù)據(jù)檢索的飽和度評價表可見，就純凈飽和度這一指標而言，當檢索項為全文時，檢索結果數(shù)據(jù)量大，檢索出來的文獻純凈飽和度達77.67%，在單項檢索的純凈飽和度中最高。與之相反的是，單項檢索項為題名時，檢索到的文獻數(shù)據(jù)少，純凈飽和度在單項檢索方式中最低的（僅29.13%）。單項檢索項為關鍵詞和摘要時， 兩者的純凈飽和度非常接近。雖然檢索項為摘要時的純凈飽和度略高于關鍵詞單項檢索，但這種細微的差別并不一定具有實質性意義，因為檢索范圍的不同等諸多因素都可能導致這種差異。以主題展開單項檢索時，文獻檢索結果數(shù)量適中，檢索出來的文獻純凈飽和度也處于較高水平。顯然，在時間和資源有限的情況下，主題檢索更能夠達到高效率準確定位高度相關文獻證據(jù)的效果。

2.1.2 一般飽和度

所謂“一般飽和度”，是指特定檢索結果涵蓋整體數(shù)據(jù)集中中度及中度以上相關文獻（即中度相關文獻+高度相關文獻）的程度。 這一指標反映了特定檢索途徑是否能夠準確定位中度以上相關文獻證據(jù)的能力。其計算方法是：逐次對照主題、題名、關鍵詞、摘要、全文為檢索項時與總數(shù)據(jù)集中的中度及中度以上相關文獻的重合度，據(jù)此對各單項檢索的“一般飽和度”做出排序（見表1）。

從表1 中一般飽和度指標來看，依舊是基于全文的檢索一般飽和度最高。 主題、摘要、關鍵詞等單項檢索方式次之，篇名最低。顯然，搜索范圍越廣，搜索數(shù)量越多，相應的一般飽和度則會越高。

整體而言，純凈飽和度和一般飽和度這兩個指標都與文獻數(shù)量正相關。其中，檢索項為全文時的兩種飽和度均遠遠高于其他檢索方式，主題、摘要、關鍵詞等單項檢索方式次之，篇名最低。 需要注意的是，全文檢索時飽和度雖然高，但其檢索范圍廣，檢索結果數(shù)量龐大，因此其檢索效率并非最優(yōu)。 相對而言，主題檢索的文獻量適中，飽和度指標也相對較高。

2.2 匹配元數(shù)據(jù)檢索的飽和度評價

本研究的目標是，使用不同的邏輯運算符（or 或and）連接各檢索項，模擬研究人員在文獻證據(jù)檢索中可能遇到的所有組合檢索方式，以便對不同組合檢索的“純凈飽和度”和“一般飽和度”進行評價。 具體做法是：逐次對照主題、題名、關鍵詞、摘要和全文等檢索項的各種組合與總數(shù)據(jù)集中的高相關文獻的重合度以及總數(shù)據(jù)集中的中度及中度以上相關文獻的重合度，據(jù)此對各分項檢索的“純凈飽和度”和“一般飽和度”做出排序。

2.2.1 使用and 匹配元數(shù)據(jù)時的檢索飽和度評價

本文首先使用邏輯運算符and 連接主題、題名、關鍵詞、摘要和全文等檢索項，形成組合項檢索并進行分析，得出了各組合項的純凈飽和度和一般飽和度結果（見表2）。

表2 通過and 組合的檢索項飽和度評價

總體來看，組合檢索采用的都是and 求并集，因此檢索范圍比較聚焦，且組合項數(shù)量越多，檢索范圍越小，被檢出相關文獻量越少。由于窮盡檢索狀態(tài)的文獻數(shù)量（總文獻中所有相關文獻量）保持不變, 從而通過and 組合檢索出來的文獻飽和度相對于單項檢索就有所降低。 具體情況如下：

（1）就二項組合的飽和度指標而言，“主題and全文”這一組合項的純凈飽和度和一般飽和度在所有and 組合項中均最高，“摘要and 全文”組合檢索的飽和度次之。其中，二項組合檢索中只要包含題名這一檢索項時，純凈飽和度和一般飽和度都非常低，尤其是“題名and 摘要”組合檢索時各項飽和度指標都處于最低。 因此，如果要提高文獻證據(jù)檢索的飽和度，在使用二項組合檢索時，應盡量避免加入題名項進行檢索，而應優(yōu)先選擇“主題and 全文”這一組合。

（2）從三項組合的飽和度指標來看，“主題and 關鍵詞and 全文”這一組合項的純凈飽和度和一般飽和度在三項and 組合中最高， 而“題名and 關鍵詞and 摘要”的飽和度指標最低。

（3）從四項組合的飽和度指標來看，“主題and 關鍵詞and 摘要and 全文”這一組合項的飽和度指標最高，而其他包含題名的組合項檢索到的文獻數(shù)量都較少，飽和度從而也比較低。

（4）從四項組合的飽和度指標來看，用and 求五項組合的并集以后，查到的文獻量僅僅只有23 篇，雖然查準率達到了100%，但飽和度卻最低。

綜上所述，當使用and 連接檢索項進行組合檢索時，要提高其飽和度，需要選擇盡量少的檢索項（其中兩項為最佳），“主題and 全文” 這一組合檢索在飽和度指標上表現(xiàn)最好。同時，如果僅僅從飽和度的角度看，組合檢索中應該避免使用題名為檢索項進行and 組合檢索。

2.2.2 使用or 匹配元數(shù)據(jù)檢索時的飽和度評價

本文進面使用邏輯運算符or 連接主題、題名、關鍵詞、摘要和全文等檢索項，形成組合項檢索并進行分析，得出了各組合項的純凈飽和度和一般飽和度結果（見表3），具體分析如下：

表3 or 項組合項飽和度檢索效率

使用具有擴檢意義的邏輯符“或（or）”時，由于放寬了檢索條件，因此檢索范圍更廣，從而產(chǎn)生了與使用and 進行組合時正好相反的效果。 即，組合項越多，檢索范圍越大，被檢出相關文獻量越多，在窮盡檢索狀態(tài)的文獻數(shù)量保持不變的前提下，or 組合檢索所得到的文獻飽和度也就越高。

（1）就二項組合的飽和度指標而言，“主題or 全文”這一組合檢索無論是純凈飽和度還是一般飽和度都是最高的，“摘要or 全文”“關鍵詞or 全文”“題名or全文”次之，飽和度指標最低的是“題名or 關鍵詞”。由于排在前三位的檢索項均包含了全文檢索，因此，如果僅僅從文獻的飽和度指標的角度看，在使用二項組合的交集檢索時，加入全文檢索項有助于提高飽和度，其中，“主題or 全文”的檢索效果相對更好。

（2）三項組合的飽和度指標來看，“主題or 關鍵詞or 全文”“主題or 摘要or 全文”“主題or 題名or 全文”這三個組合檢索項的飽和度最高。其余組合檢索項飽和度相差不大，但“主題or 關鍵詞or 摘要”“主題or 題名or 摘要”“題名or 關鍵詞or 摘要”“主題or 題名or 關鍵詞” 這四個組合檢索項中由于不包含全文這一檢索項，因此在飽和度指標上表現(xiàn)偏低。

（3）從四項組合的飽和度指標來看，含有全文和主題檢索項的組合項在飽和度指標上表現(xiàn)最好，而組合項為“主題or 題名or 關鍵詞or 摘要”的飽和度最低。

（4）從五項組合的飽和度指標來看，由于組合項為最多，達到了最大的檢索范圍，同時也達到了最高的飽和度。

綜上所述，當使用or 進行交集式組合檢索時，要提高飽和度，就需要選擇盡量多的檢索項進行組合效果較好。 同時，使用組合式中包含全文檢索項時，飽和度指標的表現(xiàn)較好，主題次之，題名最差。

3 文獻證據(jù)檢索的冗余度評價

本研究中所提出的檢索“冗余度”，是指通過特定檢索途徑獲得的文獻在整體文獻數(shù)據(jù)集低相關文獻中所占的比重。 本文將冗余度的評價分為單項檢索的冗余度評價和組合檢索的冗余度評價。 具體做法是：先逐次對照主題、題名、關鍵詞、摘要、全文各單項為檢索項時與總數(shù)據(jù)集中的低相關文獻的重合度，得出單項檢索的冗余度指標。然后，對照主題、題名、關鍵詞、摘要和全文的各種組合為檢索項時與總數(shù)據(jù)集中的低度相關文獻的重合，得出各種組合檢索的冗余度指標。

3.1 單項元數(shù)據(jù)檢索的冗余度評價

從單項檢索的冗余度（見表4）來看，冗余度和檢索出來的文獻數(shù)量呈正相關。 即，搜索范圍越廣，搜索獲得的文獻數(shù)量越多，則冗余度也會越高。當檢索方式為全文時，文獻檢索的冗余度最高且遠遠超出其他檢索方式。 摘要、主題、關鍵詞等單項檢索方式次之，篇名的冗余度為零。

表4 單項元數(shù)據(jù)檢索的冗余度評價

分析表4 可知，全文作為檢索薦時由于檢索范圍廣，檢索所獲得的文獻數(shù)量大，這樣就會把一些不相關的文獻（噪聲）帶進來，從而大大提高了檢索冗余度。篇名的冗余度最低，但僅能檢索到高度相關文獻，從一定程度上犧牲了查全率。 據(jù)此可見，在檢索人員根據(jù)不同的檢索目的展開實際的文獻證據(jù)檢索時，需要對查全率和查準率加以權衡，要意識到強調一方面的需求則必須以降低另一方面的要求為代價。

3.2 匹配元數(shù)據(jù)檢索的冗余度評價

與飽和度檢驗的邏輯相類似，本文使用不同的邏輯運算符（or 或and）對檢索項加以組合，模擬在檢索中可能遇到的所有組合檢索方式，進而對不同組合檢索的冗余度進行評價。

3.2.1 使用邏輯運算符and 時的檢索冗余度評價

and 是一種用于交叉概念或限定關系的組配，可以縮小檢索范圍，提高檢索的專指性，因此用and 連接各檢索項時冗余度都較低。

就二項組合的冗余度結果而言（見表5），“摘要and 全文”為檢索項時冗余度相比較而言最高，“主題and 關鍵詞”“主題and 全文”“關鍵詞and 全文”等檢索項次之，其余組合的冗余度都為零。從三項組合的冗余指標來看，“主題and 關鍵詞and 全文” 冗余度最高， 但也僅有0.47%；“主題and 關鍵詞and 摘要”“主題and 摘要and 全文”次之，剩下的檢索項冗余度都為零。從四項和五項組合的各項冗余指標來看，使用and 不斷地縮小檢索范圍，導致除了檢索項“主題and 關鍵詞and 摘要and 全文”的冗余度為0.07%，剩下的檢索項冗余度都為零。

綜上所述，當使用and 連接檢索項進行組合檢索時，連接的檢索項的個數(shù)越多，冗余度就會越小，直至達到零。

3.2.2 使用邏輯運算符or 進行匹配時的檢索冗余度評價

當選擇具有擴檢意義的邏輯符“或（or）”，被檢出相關文獻量增大，而窮盡檢索狀態(tài)的文獻量保持不變，從而使飽和度的值增大，這樣的結果就是會把一些不相關的文獻（噪聲）帶進來，導致被檢出相關文獻中不相關文獻量值增大，從而提高冗余度（見表5）。

表5 匹配元數(shù)據(jù)檢索的冗余度評價

（1）就二項組合的冗余度指標而言，“主題or 全文”的冗余度最高（91.91%），“摘要or 全文”“關鍵詞or 全文”“題名or 全文”次之?！爸黝}or 摘要”“關鍵詞or 摘要”“主題or 關鍵詞”等檢索項冗余度依次遞減，基于“題名or 關鍵詞”為檢索項的冗余度最低。

（2）三項組合的冗余度結果來看，凡是三項組合檢索項中包含全文，冗余度都大大上升?！爸黝}or 關鍵詞or 摘要”“主題or 題名or 摘要”這兩組合項冗余度十分接近（2.76%和2.79%），基于“主題or 題名or 關鍵詞”的檢索項冗余度最低。

（3）從四項、五項組合得到的結果來看，除“主題or 題名or 關鍵詞or 摘要”的冗余度為2.76%，剩余的所有組合檢索項的冗余度都高于85%。

綜上所述，當使用or 連接檢索項進行組合檢索的冗余度評價時，只要檢索項中含全文，都會使檢索范圍變大，大大提高冗余度；另外在檢索中加入主題和摘要進行組合檢索時，得到的冗余度是除全文檢索外最高的，而在組合檢索中加入題名和關鍵詞兩項時，得到的冗余度最低。

總之，應用組合項進行檢索時，當選擇具有縮檢意義的邏輯符“與（and）”進行檢索時，“摘要and 全文”在組合項中冗余度最高（1.35%），“主題and 全文”次之（1.08%），剩下的組合項冗余度都低于百分之一或等于零。并且當使用and 連接的檢索項的個數(shù)越多，冗余度就會趨向于0。當使用具有擴檢意義的or連接檢索項時，只要檢索項中含全文，得到的冗余度都會非常高；要想降低冗余度，應盡量避免使用or連接全文這一檢索項，可以加入特定的檢索項進行組合檢索來降低冗余度，其中“主題or 摘要”和“題名or 關鍵詞”這兩項組合檢索可以有效的降低冗余度。

4 討論

4.1 飽和度與冗余度協(xié)同評價的必要性

如果放寬檢索條件以求得到較好飽和度時，冗余度也必然會上升；相反，當縮小檢索范圍以降低冗余度時，飽和度又必然不理想。在追求高度飽和度的同時，冗余度也會大大提升，耗費大量時間和精力，導致檢索的準確性下降；當追求低冗余度時，可能會遺漏相關內容，降低檢索的飽和度，導致檢索不全面。 因此，需要將飽和度和冗余度進行協(xié)同評價，在追求盡可能高的飽和度的同時，盡量選擇不那么高的冗余度，達到檢索全面性和相關性的最優(yōu)均衡。這樣的檢索可以為meta 分析、系統(tǒng)評價提供更加扎實的基礎，得到質量更高的證據(jù)并且避免發(fā)生偏倚。

4.2 基于飽和度與冗余度的證據(jù)檢索質量評價標準的建立

在進行單項檢索時，以主題這種方式進行檢索時，文獻檢索范圍適中，檢索出來的文獻純凈飽和度和一般飽和度都處于較好水平，冗余度也不是很高，總體處于查“全”的最優(yōu)狀態(tài)。 在時間和資源有限的情況下，基于主題的檢索效率較高，飽和度比較合理。

在進行組合項檢索時，當使用具有縮檢意義的邏輯與（and）時，需要選擇盡量少的檢索項，其中以兩項為最優(yōu)。同時，應優(yōu)先選擇飽和度指標表現(xiàn)最好且冗余度指標也不是很高的“主題and 全文”這一組合檢索項；其次，可以選擇“主題and 關鍵詞”這一組合項，同時避免使用題名為檢索項進行組合檢索。其原因是，使用題名進行檢索會使檢索范圍明顯聚焦，當再使用and 求并集時，檢索到的文獻會迅速減少，大大降低飽和度。當使用具有擴檢意義的邏輯或（or）時，當檢索項越多且包含全文檢索時，會將檢索范圍最大程度擴大，在達到飽和度最高的同時，卻導致冗余度異常的高。從飽和度和冗余度協(xié)同評價的角度來看，選擇“主題or 題名or 關鍵詞or 摘要”組合檢索最優(yōu)。

從飽和度與冗余度協(xié)同評價檢索效率來看，以上三項檢索效率相對較高。 其中，組合“主題or 題名or 關鍵詞or 摘要”檢索效率最高，單項檢索中主題檢索次之，組合檢索中“主題and 全文”檢索效率相對較低。

5 結論

本研究以傳統(tǒng)的查全率和查準率指標為基礎，提出了飽和度和冗余度這一對評價指標，并以CNKI為研究樣本，就不同檢索方式在文獻證據(jù)檢索的科學性方面的實際狀況作出了評估。 研究發(fā)現(xiàn):

（1）飽和度和冗余度這一指標都與檢索出來的文獻數(shù)量呈正相關。

（2）單項檢索時，全文的飽和度和冗余度都是最高；以篇名檢索時，飽和度和冗余度都是最低的；主題檢索效率最高。

（3）組合項效率時，使用檢索項or 比使用and 檢索在提高檢索結果的飽和度的同時也導致了更高的冗余度。當使用and 連接組合項時，檢索項“主題and全文”飽和度最高；使用and 以篇名連接組合項時，飽和度和冗余度都最低；選擇“主題and 關鍵詞”這一組合項最有效率。 當使用or 連接組合項時，只要組合檢索項中含全文或主題，飽和度和冗余度都是最高；“題名or 關鍵詞”飽和度和冗余度最低；“主題or 題名or 關鍵詞or 摘要”檢索效率最高。

本研究旨在從飽和度和冗余度協(xié)同的角度，對文獻證據(jù)檢索質量評價提供啟示。最優(yōu)化的檢索策略，無疑可以為meta 分析、系統(tǒng)評價提供更加扎實的基礎。顯然，只有原始研究的證據(jù)得到了全面檢索，基于此才能最大程度控制循證研究中基礎數(shù)據(jù)的偏差，從而得到質量更高的文獻證據(jù)。目前，本文所探索的飽和度和冗余度在不同檢索項目上的差別，為后續(xù)展開基于信度和敏感度進一步評價提供了前提。