李謀信

【摘要】信息檢索課實習效果評價問題已引起廣泛關注，如何客觀、公開、公正地對學生實習績效進行評測是一個難點。本文從評價量規(guī)的角度入手，對實習報告的結構內容進行重新設計，使各個項目具有客觀評價特征，并就實習報告不同模塊的特點提出了相應的判分方法。

【關鍵詞】信息檢索 文獻檢索 實習 實驗 考試成績 績效評價 量規(guī)

1.引言

信息檢索課在高校非圖書情報專業(yè)中被定位于信息素質課，選修專業(yè)覆蓋文、理、工、農、醫(yī)、藝術各個專業(yè)，開課對象從一年級新生到研究生，在一些學校成了公共選修課甚至專業(yè)選修課中的第一大課，關于信息檢索課的教學研究成果豐富。筆者選用維普中文期刊數(shù)據庫采用檢索表達式“標題或關鍵詞=（（信息檢索+文獻檢索+情報檢索+計算機檢索+文檢）*（課+教學）-題名=（簡介））-作者=（無）”查找與信息檢索課相關的論文，再采用檢索表達式“題名或關鍵詞=（(文獻檢索+信息檢索+計算機檢索+情報檢索+文檢)*課*(實習+實踐+上機) -題名=（簡介））-作者=（無）”查找與信息檢索課實習相關的論文，剔除不相關的文獻后將兩者數(shù)據進行對比，可以看到從手工檢索、聯(lián)機檢索、光盤檢索到網絡和電子文獻教學，研究內容隨著檢索條件的改善而轉移，對于信息檢索課的關注大致可以分成三個階段， 1995以前屬起步階段，1996-2000年是初盛階段，2001年以來呈蓬勃之勢，其間與實習有關的研究從2000年起開始則增多（見表1）。

2004年以后，關于信息檢索課學習效果評價的客觀、公正和全面的問題開始引起重視。(郭麗翔，鄭輝, 2004)認為“準確評定學生在課程結束時的學習成績，一直是這門課沒有很好解決的問題之一。雖然各學校都有自己的考核方法，但始終沒有建立一個相對客觀、比較統(tǒng)一的、能夠反映學生學習成績的考試系統(tǒng)和標準?！蔽恼陆ㄗh各高校圖書館協(xié)作，通過完善考試題庫的方法來解決成績評定標準化的問題，但沒有提到與卷面考試同等重要的實習報告、綜合報告成績評定的客觀性和標準化問題。(陳新顏, 2006)認為教師因材施教，學生自主學習，圖書館機檢條件和師生利用網絡工具雙向交流和實習報告的講評，是構建實習質量評價體系的四要素，開始關注實習效果的測評問題。(何鈞, 2006)認為單純以卷面考試或實習報告（包括綜述形式）作為期末成績主要依據都有問題。看到卷面考試作為測評的局限性，認為這種形式無法考查學生文獻檢索技能掌握的程度，以及運用檢索技能進行信息收集、整理與分析研究能力。同時認為單純以實習報告或綜述報告作為期末成績評定依據教師作業(yè)批改量太大，對教師專業(yè)知識要求高，沒有標準答案，成績評定缺乏客觀性。文章提出期末成績由卷面考試、實習報告和出勤率等綜合成績組成，降低實習報告和綜述的比重，以此降低主觀評定對總評成績的影響。(杜春光，楊廣林, 2007)首次提出了信息檢索課學習評價量規(guī)，包括信息獲取與文化、信息獲取、信息甄別、信息利用、信息道德與法律意識五個一級指標，但缺乏可操作性。作者也認為這一量規(guī)還需要進一步給出二級指標的權重，選擇合適的教學模型才可應用。(劉穎等, 2009)看到了實習成績評定方法對實習教學的重要性，將思路定位在實習環(huán)節(jié)多要素的主觀評價上，認為“如何利用多元化評定手段，如實習報告、平時上機、綜合實踐等方法體現(xiàn)該課程的實踐性值得研究。”(王玉香, 2010)也看到了單純以卷面考試或綜述報告作為期末總評成績的問題，提出將平時上機實習成績和上課表現(xiàn)也納入期末總評成績。為了提高對實習能力的考察的客觀性，文章提出將上機操作題和對編制檢索表達式方面的能力考察以客觀題的形式呈現(xiàn)，并納入標準化考試題庫。以這種形式考察信息檢索綜合能力的方法實際上已被許多學校采納。

綜上所述，信息檢索課實習效果評價問題已引起廣泛關注，也認識到這一問題的格式化、定量化評測標準的制定是非常困難的，因此所提方案均是避險而行，退而求其次的辦法，實際上并不能解決現(xiàn)有的問題。本文從評價量規(guī)的角度入手，對實習報告的內容進行重新設計，使各個項目本身具有客觀評價特征，并就實習報告不同模塊的特點給出了相應的判分方法。

2.信息檢索實驗量規(guī)設計

2.1量規(guī)概述

標準化考試引入中國教育界已有很多年，只是在以實踐為特征的信息檢索課中的應用時間較短。標準化的考試形式不利于學生創(chuàng)造力、批判性思維和想象力的發(fā)揮，這種測評手段也不能有效地判斷學生在小組合作項目、真實情景任務等復雜學習活動中的表現(xiàn)情況(何曄, 2008)。從教學的角度看，量規(guī)（Rubric）是對學生學習績效，包括學習過程中的行為、認知、態(tài)度和各種形式學習成果進行定性或定量評價的一套標準，特別適合于基于任務驅動、項目學習或問題求解的活動，這種學習績效評價所要求的評價方法不但要關注學習結果，更要關注學習過程。大多數(shù)量規(guī)在形式上是從多個維度劃分等級和規(guī)定評價準則的二維表(鐘志賢等, 2007)。

一個有實用價值的學習績效評價量規(guī)具有以下特點 (Jonassen, 1999)：

（1）與教學目標、教學特點、學生認知水平和學習環(huán)境特點相適應，提高評測的針對性，使訓練目標更為突出；

（2）包括含有重要的評測點，便于對學生學習態(tài)度、知識領會、能力達標有全面的考慮；

（3）評測點的權重設定與教學重點和重要性相一致。對實習過程中反映出來的誠信問題、態(tài)度問題、理解問題、效能問題、粗心問題、筆誤問題等應按問題的嚴重程度給出不同的權值，以利于強化問題意識，加強引導；

（4）評測項目應客觀明確，具有可操作性。主觀的、粗糙的指標既不公平也不利學生認識問題所在；

（5）評測點是評測項目細分的最小單元，不可再分。只有測評點是不可再分的考查項目，才能使問題具體化、也才能明確學生哪部分內容掌握了，哪部分還沒掌握。

（6）評測量規(guī)不僅是教師評價學生學習績效的依據，也是與學生溝通、發(fā)現(xiàn)教師教學中的問題的一個平臺，因此，量規(guī)不僅要便于教師理解，也要便于學生理解。

2.2關于信息檢索實習量規(guī)設計出發(fā)點的思考

一些作者在討論信息檢索實習環(huán)節(jié)的設計時，考慮了與畢業(yè)論文相結合(楊凝清等，2007)，與科研課題相結合(劉維慶，2004)，或者以畢業(yè)后的就業(yè)取向相結合(張會珍,2010)，其原因就在于，對于非圖書情報專業(yè)來說，信息檢索課是一門實用型課程，學習這門課的目的是為了提升個人的信息素質，而信息素質目標的實現(xiàn)要通過在工作生活中的運用來體現(xiàn)。因此，只有使信息能力的訓練環(huán)節(jié)基于真實情景，才有助于發(fā)現(xiàn)學生在卷面考試中不能發(fā)現(xiàn)的問題，評估學生的理解能力和操作能力，使學生在完成任務、解決問題的過程中進一步發(fā)展高級思維技能(何曄，2008)，提高學生分析問題與解決問題的能力(楊振冰，2010)。

信息檢索實習量規(guī)設計應遵循以下原則：

真實情境再現(xiàn)原則。真實情境包括與實際相符的操作界面、較長的數(shù)據年限、三種基本邏輯檢索功能和較多的條件限定。從訓練檢索能力的角度說，基于實際的網站或數(shù)據庫進行實習能與以后實際使用無縫對接；對于學生來說，基于實際網站或數(shù)據庫進行演示和講解也更生動、更容易理解。

客觀性原則。評測標準必須有明確的依據，這個依據可以是擬定的答案，也可以用學生自已填寫的其他項目相互驗證進行自我判斷。這兩種類型的評判依據都屬于標準答案。

可操作性原則?；诳陀^性原則的可操作性，要求評測結論能轉化為一個系數(shù)值，用于標識正確、部分錯誤、錯誤三種狀態(tài)。例如設系數(shù)為α，則三種狀態(tài)的權值分別為α1=1，α2=0.5，α3=0。當某一題的分值為S時，該題的得分為αS。

可驗證性原則。對于學生針對實驗題目，在自述檢索環(huán)境和檢索策略下得出的答案，應經得起重復檢索的驗證。這種驗證不僅能判斷檢索結果的相關度，更能考查學生的學習態(tài)度，反映學生是否具有誠實的品質。

2.3信息檢索實習量規(guī)的基本結構

就影響信息檢索學習績效的影響因素來看，有學校網絡和硬件等環(huán)境條件、學生內在的學習動力、教師的教學水平等，但這些因素相對來說是靜態(tài)的，同一時期每個學生面對的條件是均等的，可以排除在學習實習績效的評價要素之外，而學習過程和實習成果則可以綜合反映學生的知識儲備、理解能力、學習態(tài)度、發(fā)散性思維和創(chuàng)新能力，甚至人格特征。以檢索環(huán)節(jié)作為實驗績效評價對象，可以更全面的發(fā)現(xiàn)學生實習中存在的問題，從而使教師可以給出有針對性的整改建議，使學生可以明確自己在哪些內容上存在認識偏差，進而實質性地提高檢索能力。

所有檢索環(huán)節(jié)的行為都離不開三個要素：檢索行為的載體、過程和對象，它們分別可以用檢索環(huán)境、檢索策略和檢索結果三個維度來描述。以國外學術論文檢索實習為例，檢索環(huán)境、檢索策略和檢索結果評測量規(guī)設計如下（見表2）。

（1）檢索環(huán)境解析

檢索環(huán)境描述項進一步劃分為：數(shù)據庫、子數(shù)據庫和檢索窗口三項。我國購買的國外文獻型數(shù)據庫，使用時直接進入數(shù)據庫首頁，而不是進入網站首頁。因此將數(shù)據庫作為檢索環(huán)境中第一級描述的內容是合適的，可以框定最后記錄的檢索結果的范圍。有些大型數(shù)據庫真正供讀者使用的是子數(shù)據庫，讓學生聲明實習時所有的子數(shù)據庫可以進一步框定檢索結果的范圍。對于檢索窗口，實習時指定使用高級檢索窗口或結構式檢索窗口，用以對學生進行強制引導，使學生的數(shù)據庫的高級檢索功能有更深的認識。

（2）檢索策略解析

實習報告中記錄的檢索策略指產生了有效的命中文獻的檢索步驟，包括檢索入口、檢索式、各檢索式之間關系和各種條件限定。實習前就國外文獻數(shù)據庫的使用重點介紹了具有多個子庫、條件限定功能比較強的EBSCO數(shù)據庫，要求學生根據指定課題查找相關文獻，但允許學生自己決定選用哪個或哪些數(shù)據庫，因此檢索策略記錄的實習格式兼容了其他各種國外數(shù)據庫。

檢索策略是判定命中文獻相關性的重要依據，必須如實記錄。檢索表達式的形式是一行還是多行，構成檢索表達式的檢索詞是一個還是多個，均不作特別規(guī)定，但所述檢索詞應與所記錄命中文獻數(shù)和命中文獻高度相關。根據檢索詞、邏輯運算符和截詞符的使用，以及檢索精度的限定情況，可以看出學生對前期知識的吸收掌握程度，也能看出學生的誠實品質和學習態(tài)度。對檢索結果限定項的記錄則能看出學生對高級檢索功能的掌握程度。

（3）檢索結果解析

“檢索結果”的各元素中的某些項與檢索環(huán)境和檢索策略具有相互驗證作用，“檢索結果”的某些項之間也具有相互驗證的作用?！皺z索結果”中記錄的有些元素還具有一些特殊作用。例如，如果只查到一篇相關文獻（這種情況經常發(fā)生），如果學生能利用這篇文獻中記錄的“關鍵詞/主題詞”查找其他相關文獻，表明他已吸收了前期的課堂知識，不僅為自己的檢索節(jié)省了效率，學習績效也比較高?！霸奈姆N”的判斷需要在作為檢索結果的書目記錄中尋找相關特征，這種判斷有助于用戶決定是否要下載全文。母體文獻和出版發(fā)行時間的判斷對于用戶在國內索取印刷本的全文復印件是重要依據。母體文獻類型的判斷需要通過國際文獻編號和母體文獻名稱中的特征詞進行驗證，這項判斷對于強化學生對不同文獻類型作用的認識、擴展使用其他文摘型數(shù)據庫的能力有很大幫助。“檢索結果”中所有元素的設置都有各自的作用，大多數(shù)用于對學生學習績效的識別，少數(shù)則是一種干擾信息，例如“作者單位”就是對“文獻類型”的干擾信息，有些同學看到作者單位是中國就會誤認為原文是中文，這種干擾項的設置有利于學生加深對一些是似而非概念的認識。另外，檢索結果中的作者聯(lián)系方式對作者姓名、頁碼頁次對出版發(fā)行時間則形成一種錯誤誘導信息，可以測出學生對相關信息是否有正確理解，或者學習態(tài)度是否認真。表2是國外學術文獻數(shù)據庫實習績效評價元素列表。

2.4信息檢索實習量規(guī)評測等級設計的思考

當量規(guī)元素具有可計量、可比較、可驗證的特征時，制定客觀公正的實習績效評價標準就具有了可能性。為了使這種可能性轉化為可操作性，應做以下約定：

（1）確定評價等級劃分的總體思路。第一種方案是各維度的權值相等，檢索環(huán)境或檢索策略中的實質性錯誤不對其他維度的評分產生影響。第二種方案是檢索結果的評分建筑在檢索環(huán)境和檢索策略沒有實質性錯誤的基礎上，理由是當檢索環(huán)境和檢索策略有實質性錯誤時是得不出所列的檢索結果的，因此可判定這樣的檢索結果是杜撰的。

（2）簡化各項目的評價等級。各元素的評價等級只分成完全錯誤、部分錯誤和無錯誤三類，便于快速判斷。

（3）實習課題的參考信息要摘自一篇中文論文的英文標題、英文摘要和英文關鍵詞。這樣的設計的課題具有真實性，有豐富的啟發(fā)信息，在國外數(shù)據庫檢索時由于同一術語概念國內外表述的區(qū)別而增加了實習難點。

（4）按元素的不同特點采用匹配法或驗證法判斷正誤。

第一種情況是有標準答案的，例如選定數(shù)據庫后，其子數(shù)據庫、檢索窗口、檢索入口都是有標準答案的。這種有標準答案的元素采用匹配法判斷，即與標準答案完全匹配給予標定值的100%，與標準答案完全不匹配或沒有給出答案的給予0值，有筆誤或缺字的給予標定值的50%。

第二種情況是沒有標準答案，但可以通過特征信息或各元素間的相互驗證進行判定。例如，當母體文獻中出現(xiàn)“Journal”一詞時，或者國際文獻編號中選擇了“ISSN”時，母體文獻類型選擇“期刊”是正確的。又如“原文文種”中的詞若與題名中的詞匹配并且被包括在圓括號中，則“原文文種”項填寫是正確的，否則就是錯誤的。又如，檢索表達式中出現(xiàn)的詞若沒有在檢索結果相應的字段中出現(xiàn)應給予0值，超過一行檢索表達如果沒有聲明運算關系，則運算關系項給予0值。

3.進一步思考

信息檢索課是一門量大面廣的信息素質課，本研究的初始目的是通過格式化的實驗報告實現(xiàn)實習績效評價標準的公開、評價依據的客觀和評價結果的公平，最終目的是實現(xiàn)實習報告的計算機自動評測功能。因此，實習題目不僅必須要由教師給出，而且題目要有典型性和可分析性，要為學生提供參考信息或提示信息。對于實習題目教師要在國外數(shù)據庫試查，保證有適當?shù)拿形墨I數(shù)，以控制檢索難度。關于信息檢索課實驗量規(guī)實施方案的討論，國內文獻還未見記載，本文僅作拋磚引玉，希望能引起同行更多的討論。

參考文獻：

[1]郭麗翔 鄭輝. 信息檢索課網絡教學、考試系統(tǒng)的探索與實踐. 大學圖書館學報, 2004(4) : 41-37.

[2]陳新顏. 計算機檢索實習質量控制初探. 大連民族學院學報, 2006(3) : 84-86.

[3]何鈞. 信息檢索課課程成績評定的思考與研究. 圖書館雜志, 2006(10): 69-71.

[4]杜春光 楊廣林. 文獻檢索課教學效果評價指標的確定. 情報探索, 2007(8): 37-39.

[5]劉穎等. 我國文獻檢索課實習教學文獻研究現(xiàn)狀分析. 圖書館學刊, 2009(7): 13-16.

[6]王玉香. 論高校文獻檢索課考試模式的多元化. 圖書館學刊, 2010(5): 20-22.

[7]何曄. 運用量規(guī)評估學生業(yè)績. 湖南師范大學教育科學學報, 2008(1): 77-79.

[8]鐘志賢等. 量規(guī):一種現(xiàn)代教學評價的方法. 中國遠程教育, 2007(10上): 43-46.

[9]JonassenK，Peck & B. Wilson D.. Learning With Technology Constructivist Perspective. New Jersey, USA: Pentice Hall.Inc., 1999.

[10]楊凝清等. 提高研究生文獻檢索課實習效果的探索. 中華醫(yī)學圖書情報雜志, (2007(1): 50-52.

[11]劉維慶. 高校文獻檢索課科研專題實習的探索. 圖書館雜志, 2004(2): 64-65.

[12]張會珍. 服務高校學生職業(yè)發(fā)展的文檢課實用型檢索題庫研究. 圖書館雜志, 2010(11): 61-63.

[13]楊振冰 黃如花. 泛在知識環(huán)境下的信息檢索課教學. 圖書情報工作, 2010(4): 121-124.