孫玉偉 鞏禮男 蘇 軍

(山東師范大學(xué)圖書(shū)館，山東濟(jì)南 250014)

1 引言

出聲思考技術(shù)(Think Aloud,以下簡(jiǎn)稱TA)也稱為協(xié)議分析(Protocol Analysis)、口語(yǔ)報(bào)告法(Verbal Protocol)等，最早源于上世紀(jì)80年代的認(rèn)知心理學(xué)研究，是由古老的內(nèi)省(Introspection)方法發(fā)展演變而來(lái)[1]。是指在研究對(duì)象解決問(wèn)題的過(guò)程中，大聲將其正在進(jìn)行的行為和思考過(guò)程用口頭語(yǔ)言表述出來(lái)，同時(shí)用錄音機(jī)和視頻錄下全部口述和操作，并轉(zhuǎn)錄整理成文字材料，對(duì)口語(yǔ)記錄進(jìn)行分析的方法。TA在研究中有助于理解行動(dòng)或行為背后的思想，是一種模型化認(rèn)知過(guò)程的方法[2]，目前已經(jīng)在廣泛應(yīng)用在心理學(xué)[3]、教育學(xué)[4]、語(yǔ)言翻譯[5]以及臨床醫(yī)學(xué)決策[6]等領(lǐng)域。

上世紀(jì)90年代，TA開(kāi)始在圖情領(lǐng)域得到應(yīng)用，在圖情領(lǐng)域的重要期刊論文(如IP&M、L&ISR、JASIST期刊)以及博士論文[7]中均有應(yīng)用。比如在信息行為相關(guān)研究中，要找到合適的方式來(lái)了解用戶的潛在思想和認(rèn)知過(guò)程是非常必要的[8]，TA滿足了研究人員這一需求，不僅可以用于情感和認(rèn)知過(guò)程的探索，也可以用于基于知識(shí)的系統(tǒng)構(gòu)建[9]，這也是圖情領(lǐng)域認(rèn)知范式和建構(gòu)主義范式應(yīng)用的具體表現(xiàn)。TA的優(yōu)勢(shì)在于①信息容易收集；②使探索人們?cè)谌蝿?wù)表現(xiàn)中所經(jīng)歷的反應(yīng)、情感和問(wèn)題成為可能；③TA協(xié)議數(shù)據(jù)可以在給定時(shí)間內(nèi)讓我們觀察到認(rèn)知過(guò)程的序列步驟，而不是獲得一個(gè)過(guò)程重點(diǎn)的整體描述。

LISA數(shù)據(jù)庫(kù)顯示，圖情領(lǐng)域TA相關(guān)文獻(xiàn)共1700多篇，2000年以來(lái)的文獻(xiàn)占了1500多篇，近10年來(lái)處于持續(xù)增長(zhǎng)的態(tài)勢(shì)。經(jīng)過(guò)30多年發(fā)展應(yīng)用，仍是現(xiàn)階段圖情領(lǐng)域比較重要的數(shù)據(jù)收集方法之一。為了進(jìn)一步理解和完善TA技術(shù)在圖情領(lǐng)域的應(yīng)用，有必要對(duì)現(xiàn)有相關(guān)實(shí)證研究文獻(xiàn)進(jìn)行梳理分析，為其在圖情領(lǐng)域的深化應(yīng)用提供參考。

2 研究方法

本研究采用內(nèi)容分析法對(duì)1993年到2020年間的103篇利用TA進(jìn)行實(shí)證研究的期刊論文進(jìn)行梳理。內(nèi)容分析法是一種將定性素材轉(zhuǎn)換為定量數(shù)據(jù)的方法[10]，依據(jù)從文獻(xiàn)中獲得的直接信息編碼構(gòu)建合理類別，不強(qiáng)加先入為主的范疇或理論觀點(diǎn)[11]。本研究參照風(fēng)笑天《社會(huì)學(xué)研究方法》[12]和姜婷婷等人[13]關(guān)于內(nèi)容分析的步驟，具體操作如下：選定研究的分析單元、界定目標(biāo)總體的范圍、抽取樣本、根據(jù)實(shí)證研究的基本步驟構(gòu)建主要分析維度，然后基于文獻(xiàn)內(nèi)容本身提取類目并構(gòu)建編碼體系、閱讀原始文獻(xiàn)進(jìn)行人工編碼，最后進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析得出結(jié)果[14]。

2.1 數(shù)據(jù)來(lái)源

本研究以WOS(Web of Science核心合集)的SSCI子庫(kù)作為主要數(shù)據(jù)來(lái)源，檢索式為：主題=think aloud，篩選類別為“INFORMATION SCIENCE LIBRARY SCIENCE”，檢索時(shí)間為2020年10月18日，獲得檢索結(jié)果122條。通過(guò)瀏覽文獻(xiàn)的摘要以及全文，選擇利用TA技術(shù)作為數(shù)據(jù)收集方法的實(shí)證研究論文，刪除書(shū)評(píng)、綜述、方法介紹類等論文，得到了從1993到2020年間發(fā)表的實(shí)證論文103篇作為研究樣本。

2.2 分析框架

本研究依據(jù)所分析的原始文獻(xiàn)進(jìn)行類目構(gòu)建，設(shè)置了研究主題、研究目的、任務(wù)情境設(shè)計(jì)、數(shù)據(jù)收集、數(shù)據(jù)分析五個(gè)分析維度。之后通過(guò)對(duì)維度的具體內(nèi)容進(jìn)行標(biāo)記并參考相關(guān)文獻(xiàn)對(duì)維度進(jìn)行下一級(jí)類目的劃分，歸納出二、三、四級(jí)類目，如表1所示。

表1 TA技術(shù)的應(yīng)用分析框架

一級(jí)類目二級(jí)類目三級(jí)類目四級(jí)類目編碼任務(wù)情境設(shè)計(jì)TA協(xié)議類型并發(fā)口頭協(xié)議C28回顧口頭協(xié)議C29數(shù)據(jù)收集數(shù)據(jù)收集的有效性和可靠性有效性D1可靠性D2兩者均有D3兩者均無(wú)D4輔助數(shù)據(jù)收集方法訪談法E1問(wèn)卷調(diào)查法E2觀察法E3事務(wù)日志E4其他方法E5數(shù)據(jù)分析定性分析內(nèi)容分析F1扎根理論F2主題分析F3定量分析描述性統(tǒng)計(jì)分析F4方差分析F5回歸分析F6假設(shè)檢驗(yàn)F7

(1)研究主題：通過(guò)對(duì)文章摘要的閱讀，將TA相關(guān)文獻(xiàn)的研究主題分為信息行為研究和信息系統(tǒng)研究?jī)纱箢愖鳛槎?jí)類目，結(jié)合Wilson關(guān)于信息行為定義[15]和樣本文獻(xiàn)實(shí)際情況，將信息行為研究分為了信息源選擇、信息查詢和信息選擇與使用三部分。信息源選擇是指文章側(cè)重研究參與者對(duì)眾多信息源進(jìn)行對(duì)比、分析、鑒別后，篩選出適用信息源的過(guò)程[16]。信息查詢是指在發(fā)現(xiàn)問(wèn)題、解決問(wèn)題、主動(dòng)尋求信息[17]過(guò)程中的信息獲取行為。信息選擇與使用是指與參與者現(xiàn)有知識(shí)結(jié)構(gòu)的合成、同化以建立理解、或進(jìn)行相關(guān)性標(biāo)準(zhǔn)和維度評(píng)判的過(guò)程。信息系統(tǒng)研究依據(jù)信息系統(tǒng)構(gòu)建過(guò)程分為信息系統(tǒng)開(kāi)發(fā)、可用性測(cè)試、交互、評(píng)估四部分。其中，信息系統(tǒng)可用性測(cè)試借鑒ISO 9241-11中關(guān)于“可用性”的定義，即“在特定的使用環(huán)境下，特定的用戶可以在多大程度上有效、高效、滿意地使用產(chǎn)品來(lái)實(shí)現(xiàn)特定的目標(biāo)”[18]。信息系統(tǒng)交互是指研究用戶與信息系統(tǒng)如何互動(dòng)，以及交互中的思考、感知、行為和感覺(jué)。信息系統(tǒng)評(píng)估是對(duì)信息系統(tǒng)的建設(shè)過(guò)程和系統(tǒng)性能進(jìn)行全面估計(jì)、檢查、測(cè)試、分析和評(píng)審，以確定系統(tǒng)建設(shè)程度的過(guò)程。

(2)研究目的：TA研究的目的主要包括識(shí)別和理解參與者的信息行為和識(shí)別信息系統(tǒng)相關(guān)問(wèn)題兩大部分。Kuhlthau的經(jīng)典ISP模型認(rèn)為整個(gè)信息搜索過(guò)程是人類行為三個(gè)方面的整合，即情感、想法和行動(dòng)[19]。將這一觀點(diǎn)稍加擴(kuò)展，再結(jié)合樣本文獻(xiàn)的研究過(guò)程側(cè)重點(diǎn)，將其分為查詢、行為策略，認(rèn)知過(guò)程和情感過(guò)程三類。其中查詢、行為策略是指參與者在明確信息需求基礎(chǔ)上對(duì)整個(gè)檢索過(guò)程的規(guī)劃，包括分析檢索問(wèn)題、選擇檢索途徑、檢索式構(gòu)建、適應(yīng)性策略的提出等。認(rèn)知過(guò)程是探討參與者在執(zhí)行TA任務(wù)時(shí)參與者的思考、感知及其如何影響行動(dòng)的過(guò)程。情感過(guò)程是指關(guān)注參與者在交互時(shí)的感受、想法、情緒。在信息系統(tǒng)方面，主要目的是通過(guò)TA識(shí)別互動(dòng)和可用性問(wèn)題，幫助信息系統(tǒng)實(shí)現(xiàn)相應(yīng)功能優(yōu)化。

(3)任務(wù)情境設(shè)計(jì)：主要包括任務(wù)情境、是否進(jìn)行試點(diǎn)研究(Pilot Study)、任務(wù)、樣本選擇、觀察者參與程度、TA協(xié)議類型六個(gè)方面。任務(wù)情境是指承載TA行為的交互實(shí)體，包括桌面設(shè)備(如計(jì)算機(jī))、移動(dòng)設(shè)備(如手機(jī))、線下環(huán)境(如圖書(shū)館)；試點(diǎn)研究是對(duì)參與者進(jìn)行任務(wù)培訓(xùn)，檢查參與者提供解決方案的能力以確定其是否有資格參與研究的重要手段[20]，同時(shí)也可幫助研究人員測(cè)試編碼方案是否足以解決研究問(wèn)題和檢查任務(wù)設(shè)計(jì)的技術(shù)完備性[21]。

按照任務(wù)目標(biāo)將TA任務(wù)劃分為五種類型：搜索任務(wù)——關(guān)注參與者搜索過(guò)程(如檢索式的創(chuàng)建、選擇等)的任務(wù)；交互任務(wù)——側(cè)重于探討參與者與信息系統(tǒng)交互的過(guò)程；搜索、交互任務(wù)均有——與搜索系統(tǒng)發(fā)生交互，通過(guò)提交查詢式獲取信息以評(píng)測(cè)信息系統(tǒng)的過(guò)程[22]；評(píng)估任務(wù)——是指在信息系統(tǒng)開(kāi)發(fā)、實(shí)施完成或已推廣應(yīng)用的情況下，對(duì)系統(tǒng)的建設(shè)過(guò)程、應(yīng)用效果及未來(lái)適應(yīng)能力進(jìn)行綜合評(píng)估的任務(wù)；其他任務(wù)——無(wú)法劃分到以上四類的任務(wù)。樣本根據(jù)抽樣方法不同，分為便利抽樣、立意抽樣和分層抽樣；觀察者參與程度分為無(wú)參與、淺度參與(指觀察者在參與者沉默時(shí)提醒或參與者沮喪程度較高或任務(wù)難以進(jìn)行時(shí)給予提示的情況)、深度參與(允許觀察者與參與者互動(dòng)以澄清與信息或溝通事件相關(guān)的問(wèn)題)；TA協(xié)議類型遵循Ericsson和Simon的并發(fā)口頭協(xié)議和回顧口頭協(xié)議兩種類型的劃分[23]：并發(fā)口頭協(xié)議(CTA)——多依賴參與者的短期記憶，參與者在執(zhí)行任務(wù)的同時(shí)不斷地描述他們的想法而無(wú)需解釋原因[24]。回顧口頭協(xié)議(RTA)——在任務(wù)完成之后，參與者回憶其思考過(guò)程并口述出來(lái)。

(4)數(shù)據(jù)收集：包括TA數(shù)據(jù)收集的有效性和可靠性和輔助數(shù)據(jù)收集方法兩方面。數(shù)據(jù)收集的有效性和可靠性是兩個(gè)伴生的概念，他們決定了研究結(jié)果的說(shuō)服力，是研究方法設(shè)計(jì)和分析時(shí)考慮的重要因素。有效性指測(cè)量工具或測(cè)量手段能夠準(zhǔn)確測(cè)出所要測(cè)量的變量的程度，或能夠準(zhǔn)確、真實(shí)地度量事物屬性的程度?？煽啃灾覆扇⊥瑯拥姆椒▽?duì)同一對(duì)象重復(fù)進(jìn)行測(cè)量時(shí)，其所得結(jié)果相一致的程度，即測(cè)量結(jié)果的一致性或穩(wěn)定性[25]。

在TA實(shí)證研究文章中，研究者往往會(huì)將其他數(shù)據(jù)收集方法與TA法相結(jié)合來(lái)獲取更為豐富、全面的數(shù)據(jù)。主要方法有訪談、問(wèn)卷調(diào)查、觀察、事務(wù)日志、其他方法(日記法、焦點(diǎn)小組、眼動(dòng)追蹤)等。如結(jié)合半結(jié)構(gòu)化訪談?dòng)糜诔吻錞A過(guò)程中研究人員不理解的參與者的陳述和意見(jiàn)，建立參與者使用術(shù)語(yǔ)和過(guò)程之間的關(guān)系，及詳細(xì)闡述之前行為原因；結(jié)合問(wèn)卷調(diào)查用來(lái)采集參與者的人口統(tǒng)計(jì)學(xué)信息；結(jié)合觀察法用自己的感官和輔助工具去直接地、有針對(duì)性地了解正在發(fā)生、發(fā)展和變化著的現(xiàn)象[26]。

(5)數(shù)據(jù)分析：數(shù)據(jù)分析方法指的是TA數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)錄后的數(shù)據(jù)分析方法。本研究根據(jù)數(shù)據(jù)類型和分析過(guò)程的差異分為定性分析方法和定量分析方法。定性分析方法主要包括內(nèi)容分析、扎根理論和主題分析；定量分析方法包括描述性統(tǒng)計(jì)分析、方差分析、回歸分析、假設(shè)檢驗(yàn)等。

2.3 編碼的信度分析

根據(jù)本研究構(gòu)建的分析類目，由兩名研究人員分別對(duì)103篇文獻(xiàn)進(jìn)行編碼，然后對(duì)其中意見(jiàn)不一致的情況進(jìn)行討論協(xié)商，確定最終的編碼方案。編碼完成采用計(jì)算編碼一致性的霍斯提公式來(lái)衡量?jī)?nèi)容分析的信度[27]：編碼者間信度=2m/(m1+m2)。其中，m為一致的編碼數(shù)，m1、m2為兩位編碼員各自的編碼數(shù)。經(jīng)計(jì)算得兩位編碼者的一致性系數(shù)為0.92，達(dá)到了一致性的較好水平(0.9以上)。

3 結(jié)果

3.1 研究主題

經(jīng)分析可知，103篇TA實(shí)證研究文獻(xiàn)主要集中在信息行為和信息系統(tǒng)研究領(lǐng)域，信息行為研究占比略高于信息系統(tǒng)研究。其中，信息行為以信息選擇與使用(N=33，32.04%)和信息查詢研究(N=24，23.30%)為主；信息系統(tǒng)以交互策略(N=15，14.56%)和可用性測(cè)試研究(N=14，13.59%)以及信息系統(tǒng)評(píng)估(N=10,9.71%)研究為主。信息行為與信息系統(tǒng)研究研究主要用來(lái)針對(duì)學(xué)生或科研人員群體探索其在信息活動(dòng)中的認(rèn)知過(guò)程和信息系統(tǒng)交互及可用性測(cè)試，在信息系統(tǒng)交互方面還包括與特殊人群如盲人[28]自閉癥人群[29]交互過(guò)程中的尋求幫助情況以及相應(yīng)功能的測(cè)試。在可用性測(cè)試和評(píng)估方面，多采用實(shí)證方法如相關(guān)性反饋[30]、多次比較反饋[31]、與網(wǎng)站交互從有效性、易用性、滿意度三方面對(duì)信息系統(tǒng)進(jìn)行評(píng)估[32]。

3.2 研究目的

如圖1所示，信息行為和信息系統(tǒng)研究中對(duì)認(rèn)知過(guò)程的探索占到總文獻(xiàn)的一半以上(N=58，56.31%)，這也印證了信息行為和信息系統(tǒng)以用戶為中心的研究中認(rèn)知范式的主導(dǎo)地位。其次的研究目的是信息系統(tǒng)功能優(yōu)化(N=33，32.04%)，其中包含信息系統(tǒng)使用的可用性評(píng)估/測(cè)試研究等。另外，信息行為和信息系統(tǒng)中的信息查詢、行為策略(N=22，21.36%)也是較為重要的研究目的，而情感過(guò)程(N=11，10.68%)的探索較少涉及。

圖1 TA研究目的分布

3.3 任務(wù)情境設(shè)計(jì)

3.3.1 任務(wù)情境和試點(diǎn)研究

任務(wù)情境是由研究目的決定的。TA任務(wù)情境以桌面設(shè)備(比如計(jì)算機(jī)終端等設(shè)備，N=81,78.64%)為主，以移動(dòng)設(shè)備(如手機(jī)，N=14,13.59%)和線下環(huán)境(N=5,4.85%)為輔，還有少量研究沒(méi)有提及任務(wù)情境(N=3,2.91%)。任務(wù)情境多為參與者感到舒適、放松、安靜的環(huán)境，這樣可以使參與者集中在任務(wù)上，盡可能避免干擾。

在103篇實(shí)證研究文獻(xiàn)中，未進(jìn)行試點(diǎn)研究(Pilot Study)或培訓(xùn)的數(shù)量相對(duì)較多，占比63.11%(N=65)，進(jìn)行試點(diǎn)研究或培訓(xùn)的數(shù)量較少，占比36.89%(N=38)。對(duì)于參與者來(lái)說(shuō)，在正式研究之前進(jìn)行必要的培訓(xùn)進(jìn)行試點(diǎn)研究可以幫助他們更好的言語(yǔ)化表達(dá)，熟悉口語(yǔ)化的思維方式，使研究取得更好成效。

3.3.2 任務(wù)類型、任務(wù)數(shù)量和任務(wù)時(shí)限

在任務(wù)類型中，搜索任務(wù)占比最大(N=44，42.72%)，搜索任務(wù)與交互任務(wù)相結(jié)合方式占比11.65%(N=12)，由此可見(jiàn)，搜索任務(wù)常與TA結(jié)合通過(guò)交互式信息搜尋對(duì)參與者的認(rèn)知思維過(guò)程和情感進(jìn)行探索性研究，用以分析不同用戶群體的信息查詢、搜索及使用行為等；除了搜索任務(wù)和交互任務(wù)，評(píng)估任務(wù)占比27.18%(N=28)，主要對(duì)數(shù)字圖書(shū)館或一般信息系統(tǒng)的可用性問(wèn)題，也是TA任務(wù)的重要類型之一。

文獻(xiàn)任務(wù)數(shù)量方面，52.43%(N=54)的文獻(xiàn)任務(wù)數(shù)量大于1個(gè)，小于等于5個(gè)，僅有3.88%(N=4)的任務(wù)數(shù)量大于10個(gè)。由于TA任務(wù)的特殊性，43.69%(N=45)的研究文獻(xiàn)未規(guī)定任務(wù)時(shí)限。任務(wù)時(shí)限與任務(wù)的難易程度有較大關(guān)系。僅有15.53%(N=16)的文獻(xiàn)任務(wù)時(shí)限超過(guò)了60分鐘。

3.3.3 樣本選擇、觀察者干預(yù)程度與TA協(xié)議類型

樣本選擇類型方面，立意抽樣占比54.37%(N=56)，便利抽樣占比36.89%(N=38)，分層抽樣占比8.74%(N=9)。由此可見(jiàn)，TA方法多使用與研究需要相契合的立意抽樣，根據(jù)研究目的選擇具有典型性和多樣性的研究樣本，如在盲人的數(shù)字圖書(shū)館可用性研究中通過(guò)對(duì)樣本人群預(yù)調(diào)查設(shè)置實(shí)驗(yàn)組和對(duì)照組，嚴(yán)格控制兩組性別、視力情況等因素，對(duì)數(shù)字圖書(shū)館的幫助功能進(jìn)行測(cè)試[33]、在針對(duì)患者的結(jié)果報(bào)告數(shù)據(jù)可視化偏好研究中采用兩階段不同樣本納入標(biāo)準(zhǔn)，盡量實(shí)現(xiàn)受試人群的多樣化[34]。

研究主題和研究目的會(huì)影響樣本量大小的選擇。在TA實(shí)證研究中規(guī)模相差較大。樣本小于等于20人的占一半以上(N=58，56.31%)，在20人和50人之間的次之(N=39，37.9%)，大于50人的情況較少(N=4，3.88%)。由于TA整個(gè)過(guò)程(包括數(shù)據(jù)收集、數(shù)據(jù)整理和數(shù)據(jù)分析)相當(dāng)復(fù)雜且耗時(shí)，因此當(dāng)研究人員使用這種方法實(shí)施項(xiàng)目時(shí)，樣本量通常不會(huì)很大?，F(xiàn)有研究認(rèn)為一般情況下，樣本數(shù)量在10人到30人時(shí)，小樣本不會(huì)影響TA任務(wù)的準(zhǔn)確性[35]，如Selinda在信息檢索行為研究中發(fā)現(xiàn)，在數(shù)據(jù)收集進(jìn)行到20個(gè)人時(shí)，數(shù)據(jù)即可達(dá)到飽和[36]。而有的研究指出在采用TA分析可用性測(cè)試問(wèn)題時(shí)，只需要4-5個(gè)參與者就可以確定大約80%的可用性問(wèn)題[37]，原因一方面是TA在進(jìn)行每一個(gè)單獨(dú)會(huì)話時(shí)會(huì)產(chǎn)生豐富廣泛的數(shù)據(jù)，另一方面是可用性的研究主題決定的。

選取2017年6月～2018年6月院內(nèi)收治的患有心血管疾病的患者86例作為研究對(duì)象，將其隨機(jī)分為對(duì)照組與觀察組。其中，男54例，女32例，年齡55～86歲，平均（68.25±2.84）歲；高血壓28例，高脂血癥19例，心律失常22例，心肌梗塞17例。兩組患者一般資料對(duì)比，差異無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05）。

觀察者干預(yù)程度方面，多數(shù)任務(wù)是研究人員無(wú)參與，如消費(fèi)者行為研究[38]、信息檢索評(píng)估研究[39]等，淺度參與和深度參與數(shù)量相差不大，多集中于信息行為研究中的信息查詢與信息選擇與使用領(lǐng)域。

表2展示了本研究中TA協(xié)議類型分布情況。絕大多數(shù)研究(N=102，96.23%)采用了并發(fā)口頭協(xié)議的形式來(lái)獲取數(shù)據(jù)。并發(fā)口頭協(xié)議可以在沒(méi)有問(wèn)題導(dǎo)向偏差的情況下，把握參與者正在進(jìn)行信息處理的狀態(tài)，呈現(xiàn)實(shí)際想法。同時(shí)也可使研究人員發(fā)現(xiàn)參與者TA的持續(xù)時(shí)間，揭示潛在的信息處理模式[40]。相比之下，回顧口頭協(xié)議依賴于參與者的長(zhǎng)期記憶，給參與者提供了一種“最小阻力路徑”來(lái)描述其執(zhí)行任務(wù)的過(guò)程，參與者往往會(huì)較少提到任務(wù)過(guò)程中遇到的“死胡同”或錯(cuò)誤的方式[41]，完成任務(wù)和口頭報(bào)告之間的時(shí)間間隔會(huì)給收集的數(shù)據(jù)帶來(lái)大量主觀性解釋，這種主觀性可能會(huì)對(duì)收集的數(shù)據(jù)產(chǎn)生負(fù)面影響[42]，需在具體研究中仔細(xì)鑒別。

表2 TA協(xié)議類型分布

3.4 數(shù)據(jù)收集

3.4.1 數(shù)據(jù)收集的有效性和可靠性

表3展示了TA數(shù)據(jù)收集方法的有效性和可靠性分布。92.38%的研究中并未涉及到數(shù)據(jù)收集的有效性和可靠性問(wèn)題，僅有5篇文獻(xiàn)(N=6，5.71%)利用引用關(guān)鍵核心理論[43]、從專家處征求意見(jiàn)[44]、對(duì)樣本文獻(xiàn)進(jìn)行雙倍評(píng)分計(jì)算信度[45]的方式來(lái)保證有效性，有1篇文獻(xiàn)在保證有效性的基礎(chǔ)上，通過(guò)Test-retest再測(cè)信度保證數(shù)據(jù)的可靠性[46]。

表3 數(shù)據(jù)收集方法的有效性和可靠性分布

3.4.2 輔助數(shù)據(jù)收集方法

TA實(shí)證研究文獻(xiàn)使用最多的輔助數(shù)據(jù)收集方法是訪談法(N=57，55.34%)和問(wèn)卷調(diào)查法(N=47，45.63%)，并輔以事務(wù)日志(N=14，13.59%)和觀察法(N=14，13.59%)。訪談法和問(wèn)卷調(diào)查法旨在通過(guò)提出更適合文化、社會(huì)、語(yǔ)言的問(wèn)題來(lái)提高調(diào)查結(jié)果的準(zhǔn)確性[47]。事務(wù)日志的使用為TA協(xié)議和參與者伴隨動(dòng)作之間提供了一座橋梁，增加了研究人員對(duì)TA協(xié)議理解的可能性[48]。其他方法使用較少，具體包括眼動(dòng)追蹤[49]、焦點(diǎn)小組[50]、日記法[51]、民族日志[52]等，這些方法與TA結(jié)合一同捕捉任務(wù)過(guò)程中的話語(yǔ)、眼球運(yùn)動(dòng)、屏幕移動(dòng)以及任務(wù)后的任務(wù)難度及結(jié)果滿意度感知等[53]，實(shí)現(xiàn)多途徑最大化獲取數(shù)據(jù)，豐富了研究角度。

3.5 數(shù)據(jù)分析

在數(shù)據(jù)分析方面，大部分文獻(xiàn)同時(shí)使用了多種分析方法。整體來(lái)看，定性分析法的使用更為頻繁，其中內(nèi)容分析法是最常使用的分析方法(N=83，80.58%)，扎根理論次之(N=9，8.74%)。扎根理論是一種從數(shù)據(jù)出發(fā)，歸納核心概念和范疇構(gòu)建理論的方法。定量分析方法中描述性統(tǒng)計(jì)分析方法占比較高(N=20，19.42%)，常用來(lái)輔助進(jìn)行協(xié)議分析編碼類別統(tǒng)計(jì)。假設(shè)檢驗(yàn)占比較少(N=3,2.91%)，主要是在研究人員在探討樣本與樣本、各影響因素與情況之間有無(wú)顯著關(guān)系的情況下使用。

4 TA應(yīng)用的關(guān)鍵問(wèn)題

TA在信息行為和信息系統(tǒng)研究中的應(yīng)用使挖掘信息活動(dòng)過(guò)程中的認(rèn)知和價(jià)值評(píng)估特征等成為可能，表現(xiàn)出信息收集的易用性和及時(shí)性等特點(diǎn)，但現(xiàn)有研究在TA的任務(wù)情境設(shè)置(包括參與者認(rèn)知情況判斷、是否進(jìn)行試點(diǎn)研究、樣本選擇、數(shù)據(jù)收集有效性和可靠性、科研人員的角色)和數(shù)據(jù)分析解釋方法上仍較為模糊。

4.1 TA任務(wù)情境設(shè)置

4.1.1 任務(wù)說(shuō)明與試點(diǎn)研究

①在任務(wù)開(kāi)始之前要與參與者說(shuō)明研究目的,給予參與者充分的指示說(shuō)明。Stratman & Hamp-Lyons指出如果研究人員給參與者的指示不充分，研究人員在觀察期間的語(yǔ)言或非語(yǔ)言暗示可能導(dǎo)致不適當(dāng)?shù)恼Z(yǔ)言表達(dá)[54]。②任務(wù)設(shè)置要考慮參與者的認(rèn)知水平差異和任務(wù)難度，TA任務(wù)要嚴(yán)格評(píng)估參與者的認(rèn)知能力，在研究開(kāi)始前對(duì)每個(gè)參與者所處認(rèn)知階段進(jìn)行劃分，針對(duì)認(rèn)知差異，采用合適的引導(dǎo)策略，這樣既避免了“高認(rèn)知負(fù)荷”任務(wù)對(duì)參與者的表達(dá)的影響[55]，也避免了簡(jiǎn)單任務(wù)執(zhí)行中的自動(dòng)化問(wèn)題[56]。如Branch將參與者劃分為獲取(acquisition)、鞏固(consolidation)和磋商(consultation)三個(gè)階段[57]，在不同的階段采取不同的指示說(shuō)明和干預(yù)。在獲取階段的參與者大多通過(guò)觀察、模仿研究人員的指導(dǎo)，很少能同時(shí)做到完成任務(wù)和談?wù)撊蝿?wù)；在鞏固階段中參與者可以更加有計(jì)劃和提出問(wèn)題，表達(dá)變得更高效；在磋商階段的參與者可以在自己完成任務(wù)的情況下為其他人提供援助和與他人有效合作。③合理設(shè)置輔助數(shù)據(jù)收集方法。如在參與者進(jìn)行任務(wù)之前進(jìn)行問(wèn)卷調(diào)查，了解其年齡、性別、計(jì)算機(jī)技能、種族、專業(yè)能力、學(xué)習(xí)風(fēng)格等特征，盡量減少研究人員與參與者之間的文化差異，這將幫助參與者更好的理解任務(wù)本身。④在復(fù)雜的任務(wù)中，要設(shè)置必要的試點(diǎn)研究，試點(diǎn)研究或培訓(xùn)可以幫助研究人員限定與研究有關(guān)的分析范圍，保證任務(wù)過(guò)程的完備性[58]。

4.1.2 樣本的選擇與科研人員的角色(觀察者干預(yù)程度)

如前文所述，TA研究樣本一半以上集中在20人以下，部分研究集中在20-50人之間，這是由TA數(shù)據(jù)收集本身特征以及所要研究的主題決定的。TA收集到的數(shù)據(jù)內(nèi)容豐富，然而針對(duì)特定的研究主題如信息系統(tǒng)可用性研究則不需要太多的研究樣本，因此，在研究樣本的選擇上應(yīng)以數(shù)據(jù)是否飽和并達(dá)到研究目標(biāo)為準(zhǔn)則，根據(jù)研究問(wèn)題靈活選擇樣本數(shù)量。

對(duì)于在研究中科研人員是否可以干預(yù)TA進(jìn)程，不允許干預(yù)的立場(chǎng)是擔(dān)心人為干預(yù)會(huì)打斷參與者的思路，影響任務(wù)思維活動(dòng)的正常表達(dá)，先前使用自然主義觀察的研究要求科研人員與被觀察者保持社會(huì)可接受的距離，并要求觀察者不干涉參與者的任務(wù)或習(xí)慣，然而 Ericsson和Simon認(rèn)為人對(duì)于思想的口語(yǔ)化表達(dá)不會(huì)干擾正在進(jìn)行的認(rèn)知過(guò)程，也不會(huì)影響任務(wù)表現(xiàn)速度，除非參與者的口語(yǔ)表達(dá)被研究者干擾。TA在臨床問(wèn)題研究中，研究者常通過(guò)對(duì)參與者的刺激來(lái)實(shí)現(xiàn)對(duì)臨床環(huán)境的控制，進(jìn)行預(yù)選和預(yù)篩任務(wù)，更好實(shí)現(xiàn)任務(wù)情境設(shè)計(jì)與研究目的的適配[59]。TA在信息行為研究中則允許觀察者與參與者互動(dòng)，以澄清信息或事件相關(guān)的問(wèn)題[60]，從而深入地探索參與者的信息活動(dòng)行為特征[61]。因此，在實(shí)際操作中科研人員是否可以干預(yù)TA進(jìn)程還是要依據(jù)研究問(wèn)題和研究目的進(jìn)行選擇，在盡可能不干擾參與者思維表達(dá)的情況下選擇不干預(yù)、部分干預(yù)和深度干預(yù)，但如何達(dá)到一個(gè)平衡點(diǎn)還需要研究者的靈活掌握。

4.1.3 TA數(shù)據(jù)收集的有效性和可靠性

大多數(shù)的研究沒(méi)有直接提及TA數(shù)據(jù)收集的有效性和可靠性問(wèn)題， 這是因?yàn)門A數(shù)據(jù)收集難以像受控實(shí)驗(yàn)一樣進(jìn)行精確控制，數(shù)據(jù)收集多依靠參與者的口頭表達(dá)。Ericsson和Simon認(rèn)為針對(duì)數(shù)據(jù)收集的有效性問(wèn)題，建議使用多個(gè)數(shù)據(jù)源來(lái)進(jìn)行調(diào)節(jié)，利用并發(fā)口頭協(xié)議與回顧性口頭協(xié)議為數(shù)據(jù)收集過(guò)程提供兩個(gè)窗口[62]，在并發(fā)協(xié)議之后使用回顧性的提問(wèn)來(lái)對(duì)TA數(shù)據(jù)進(jìn)行補(bǔ)充。Fitzgerald在他的博士論文中對(duì)于如何規(guī)避TA的缺陷進(jìn)行了描述[63]，提出可以使用TA的思維語(yǔ)言、研究者對(duì)參與者的行為觀察、刺激回憶三種數(shù)據(jù)來(lái)源進(jìn)行三角互證，來(lái)驗(yàn)證TA數(shù)據(jù)收集是否存在問(wèn)題，當(dāng)表達(dá)的想法與行為不一致或者相互矛盾時(shí)，作者要求被試者立刻解釋行為或者通過(guò)后面的刺激回憶解釋行為。Fonteyn提出內(nèi)容效度指數(shù)(Content Validity Index，CVI)的概念來(lái)反映TA任務(wù)的相關(guān)性和真實(shí)性[64]，其中CVI是由專家小組通過(guò)對(duì)任務(wù)過(guò)程的綜合評(píng)估使用李克特量表獲得，同時(shí)專家小組的評(píng)論和建議也可以用來(lái)修正任務(wù)過(guò)程的不合理之處，進(jìn)一步增強(qiáng)有效性。

4.2 TA協(xié)議的分析解釋

4.2.1 TA協(xié)議的分析解釋

分析結(jié)果表明，TA的樣本量集中在50人以下，這就決定了TA協(xié)議分析選擇假設(shè)檢驗(yàn)的可能性比較小，這也從側(cè)面說(shuō)明TA的優(yōu)勢(shì)在于挖掘思維過(guò)程、認(rèn)知狀態(tài)，而不在于用定量分析驗(yàn)證假設(shè)。這是因?yàn)門A本身耗時(shí)耗力的特點(diǎn)，多數(shù)研究中的樣本量較小，這會(huì)對(duì)定量研究產(chǎn)生限制。在對(duì)協(xié)議數(shù)據(jù)的定量處理過(guò)程中，極有可能忽略參與者在任務(wù)表現(xiàn)中不同思維風(fēng)格的存在，低估了參與者之間的反應(yīng)差異，影響對(duì)認(rèn)知過(guò)程的深度研究[65]。而定性研究可以對(duì)思維深度、多樣性和復(fù)雜性進(jìn)行有效解釋。使用定性分析解釋之前需要闡明解釋角度、參與者的性質(zhì)和數(shù)據(jù)處理過(guò)程等問(wèn)題，若用定量分析則建議將每個(gè)TA參與者的任務(wù)解決過(guò)程視為小的、集中的案例研究，將重點(diǎn)放在捕捉思維特點(diǎn)及認(rèn)知過(guò)程上，闡明參與者的個(gè)性與差異性。

4.2.2 編碼分析的信度問(wèn)題

評(píng)估TA編碼分析的信度取決于整個(gè)研究中的客觀性和系統(tǒng)性策略。在保證獲取足夠完整的口頭報(bào)告之后才可進(jìn)入?yún)f(xié)議編碼分析階段。大多數(shù)研究使用了內(nèi)容分析法。因此，在編碼方案應(yīng)用之前，必須評(píng)估編碼方案和編碼過(guò)程，要求編碼方案完整、合理、明確。建議參考Fonteyn關(guān)于編碼分析的三個(gè)階段，即參考短語(yǔ)分析、斷言分析和編碼分析[66]。在參考短語(yǔ)分析階段篩選整理出轉(zhuǎn)錄協(xié)議中的名詞和名詞短語(yǔ)，并由研究人員給出定義；在斷言分析階段梳理各名詞短語(yǔ)在問(wèn)題解決過(guò)程中的關(guān)系鏈接，最后在協(xié)議分析階段為參與者問(wèn)題解決的全過(guò)程提供總體描述。在每一階段均由兩位以上對(duì)任務(wù)熟悉的研究者分別編碼，共同商量解決編碼不一致問(wèn)題，利用信度計(jì)算保證研究的客觀性。同時(shí)，邀請(qǐng)相關(guān)領(lǐng)域的專家對(duì)編碼概念的定義準(zhǔn)確性進(jìn)行評(píng)估，進(jìn)一步增強(qiáng)研究有效性。

5 結(jié)論

TA是一種有效的數(shù)據(jù)收集方法，能夠再現(xiàn)思維過(guò)程。本研究從TA應(yīng)用于實(shí)證研究的過(guò)程入手，基于內(nèi)容分析法對(duì)TA在圖情領(lǐng)域的研究主題、研究目的、任務(wù)情境設(shè)計(jì)、數(shù)據(jù)收集和數(shù)據(jù)分析等進(jìn)行了揭示。發(fā)現(xiàn)TA應(yīng)用的研究主題集中在信息行為和信息系統(tǒng)領(lǐng)域，這也是圖情研究的重要核心領(lǐng)域，對(duì)這兩個(gè)領(lǐng)域在以用戶為中心的研究范式下探索人們?nèi)绾嗡伎肌⒏兄畔⒒顒?dòng)的交互過(guò)程，揭示用戶在信息活動(dòng)中的策略、認(rèn)知和情感對(duì)用戶信息活動(dòng)的影響等，對(duì)解釋不同用戶群體的信息行為規(guī)律和信息系統(tǒng)交互特征以及系統(tǒng)可用性評(píng)估做了重要貢獻(xiàn)。TA的任務(wù)情境大多采用桌面設(shè)備；較少研究進(jìn)行了正式研究之前的試點(diǎn)研究；TA任務(wù)類型以搜索和交互任務(wù)為主；根據(jù)不同的研究目的觀察者以無(wú)參與為主，淺度參與和深度參與為輔；TA協(xié)議類型多采用并發(fā)口頭協(xié)議，多與訪談法、問(wèn)卷調(diào)查法結(jié)合進(jìn)行數(shù)據(jù)收集，樣本抽樣以立意抽樣和便利抽樣為主，數(shù)據(jù)分析多采用定性分析法。除此之外，TA的任務(wù)情境設(shè)計(jì)、數(shù)據(jù)收集過(guò)程控制(數(shù)據(jù)收集有效性、研究人員角色)以及協(xié)議分析解釋仍較為模糊，是進(jìn)行實(shí)證研究需要注意的關(guān)鍵問(wèn)題。本研究填補(bǔ)了TA在圖情領(lǐng)域特別是信息行為和信息系統(tǒng)領(lǐng)域的應(yīng)用框架分析的空白，可為TA在信息行為和信息系統(tǒng)領(lǐng)域的規(guī)范應(yīng)用提供參考。