盧萬譞， 梁瑋， 賈云得

(北京理工大學 計算機學院， 北京 100081)

?

用戶推薦對網絡搜索行為影響的眼動研究

盧萬譞， 梁瑋， 賈云得

(北京理工大學 計算機學院， 北京 100081)

為研究用戶推薦對網絡搜索行為的影響，將用戶推薦加入到搜索引擎結果頁面中，通過眼動跟蹤技術觀察被試在完成網絡搜索任務時行為的變化. 實驗結果顯示，加入用戶推薦對被試的搜索效率、注意力分布和點擊分布沒有顯著影響. 但反饋問卷顯示，多數(shù)被試認為用戶推薦有助于搜索，并且會在搜索中參考該信息. 分析發(fā)現(xiàn)，兩種結果矛盾的原因在于被試在搜索過程中常常會忽略用戶推薦，產生無意視盲(inattentional blindness)現(xiàn)象.

網絡搜索；用戶行為；眼動；用戶推薦

互聯(lián)網已經成為人們日常生活中主要的信息來源，在互聯(lián)網上獲取信息的主要途徑是網絡搜索，其主要工具是搜索引擎. 了解用戶如何與搜索引擎進行交互，不但能夠改進搜索引擎、提升用戶的搜索效率，而且能夠幫助設計者開發(fā)更為人性化的人機交互方式、提升用戶體驗. 因此，網絡搜索行為研究已經受到學術界和產業(yè)界的廣泛關注.

傳統(tǒng)的網絡搜索行為研究多采用日志分析、調查問卷、訪談和觀察法等方式[1-2]. 通過日志分析能夠得到查詢和點擊等行為數(shù)據，在一定程度上描繪出用戶與搜索引擎的交互過程. 但是，產生這些行為背后的信息處理過程卻無法得知. 雖然調查問卷、訪談和觀察法能夠從一定程度上解決這個問題，但是得到的數(shù)據過于主觀. 眼動儀的出現(xiàn)，很好的解決了這一問題. 眼動儀能夠記錄用戶在進行閱讀、瀏覽和搜索等視覺行為時的眼睛運動數(shù)據. 這些數(shù)據是實時的、過程式的，例如用戶的目光停留在何處、持續(xù)多長時間等等. 對這些數(shù)據進行分析，能夠清晰、客觀地再現(xiàn)用戶的視覺行為，反映出隱藏在這些行為背后的信息處理過程.

基于眼動技術的網絡搜索行為研究有許多，例如Kl?ckner等[3]對用戶瀏覽搜索結果策略的研究、美國康奈爾大學研究組[4-6]對用戶性別和任務類型等因素影響的研究、微軟研究院[7-9]對結果排名、摘要長度和廣告等因素的研究，以及Gonzlez-Caro和 Marcos[10]對不同搜索任務下用戶行為的研究等等. 這些研究具有的共同特點是：使用的搜索引擎結果頁面(search engine results page，SERP)只包含搜索欄、搜索結果和廣告等基本組成元素，搜索結果以列表的方式排列，所得到的結果是傳統(tǒng)搜索引擎的用戶行為. 近年來，網絡搜索已經發(fā)生了新的變化，例如新界面和新功能等等. 一些學者已經開始利用眼動技術研究這些變化對用戶行為的影響. Kammerer等[11-12]研究在SERP中加入搜索結果的來源和網格狀搜索結果排列對用戶行為的影響，發(fā)現(xiàn)：用戶更傾向于選擇門戶網站所提供的搜索結果；網格狀排列使用戶的注意力分布更為平均，能夠幫助用戶選擇相關性較高的搜索結果. Ostergren等[13]對三種圖像增強型搜索界面進行研究，發(fā)現(xiàn)采用非線性圖像型界面能夠顯著影響用戶行為，表現(xiàn)為用戶瀏覽搜索結果的總數(shù)和順序的不同. 谷歌[14-15]對SERP中加入的社會化標注的研究，發(fā)現(xiàn)大部分用戶并未注意到社會化標注，而通過突出社會化搜索的方式能夠從一定程度上提高用戶對該內容的注意. 目前，國內外還沒有針對用戶推薦對網絡搜索行為影響的眼動研究.

本文利用眼動技術研究新興的用戶推薦功能對網絡搜索行為的影響. 具體方法是將用戶推薦加入到SERP中、使用眼動儀記錄用戶在完成搜索任務時的行為數(shù)據，觀察被試行為的變化. 本文的主要貢獻有以下兩點：利用眼動技術、針對網絡搜索中新興的用戶推薦功能對用戶行為的影響進行研究；發(fā)現(xiàn)用戶在網絡搜索中會忽視用戶推薦，產生無意視盲[16]的現(xiàn)象.

1 眼動實驗

在搜索引擎結果頁面(SERP)中加入用戶對某些搜索結果的推薦數(shù)，利用眼動儀取得用戶在完成網絡搜索任務時的行為數(shù)據，通過統(tǒng)計分析比較用戶行為的差異. 下面描述被試、實驗設備、實驗設計和實驗過程.

1.1 被 試

本實驗有償招募被試60名，均來自同一所大學的不同專業(yè)、本科生和研究生，男女各30名，年齡為18～31歲(平均年齡23.9歲，標準差2.5歲)，視力正?；虺C正視力正常，沒有色盲等眼睛問題. 全部被試熟悉網絡搜索，并且平均每天至少進行一次搜索.

1.2 實驗設備

使用IE 6.0瀏覽器和瑞典Tobii公司生產的T120眼動儀. 該眼動儀自帶17英寸液晶顯示屏，采樣率為120 Hz，顯示分辨率設置為1 024×768. 實驗中采用9點校準法，與被試距離約60 cm. 包括任務完成時間、注視時間、注視次數(shù)、注視熱點圖和鼠標點擊等用戶行為數(shù)據的采集工作由眼動儀自帶的軟件Tobii Studio完成.

1.3 實驗設計

實驗要求被試完成特定的網絡搜索任務，共計20個. 其中1/2為導航類搜索任務，要求被試找到特定的網頁；另1/2為信息類搜索任務，要求被試找到特定的信息. 表1給出了實驗中使用的搜索任務. 選擇這些任務的原因在于：① 搜索內容在日常生活中較為常見，涉及多個領域，如科技、金融、飲食、歷史、旅游等；② 搜索引擎返回的結果中，最佳答案并不總出現(xiàn)在靠前的位置，即對信息位置因素進行了控制.

在實驗過程中，建立3種搜索環(huán)境：無推薦、被動推薦和主動推薦. 被試平均分成3組(每組20人，男女各半)，分別處于不同的搜索環(huán)境. 無推薦環(huán)境下使用不含用戶推薦的SERP；被動推薦環(huán)境下使用含有用戶推薦的SERP，但是在實驗開始之前不向被試說明用戶推薦的存在；主動推薦環(huán)境下使用含有用戶推薦的SERP，并且在實驗之前向被試說明用戶推薦的存在.

表1 實驗中使用的搜索任務

用戶推薦以(紅色)文字的形式出現(xiàn)，與搜索結果中的網址處于同一行，位于網址的右側. 為迎合網絡用語習慣，該信息以“網友推薦”的形式出現(xiàn)，如圖1所示. 緊跟用戶推薦之后的數(shù)字表示有多少用戶認為該搜索結果符合搜索目標. 這項數(shù)據是在實驗準備階段由11名實驗室成員投票決定的，因此用戶推薦的數(shù)值范圍為0～11，當推薦數(shù)為0時不顯示該項內容. 需要指出的是，采集用戶推薦信息所使用的方式是評價判斷(evaluative judgment)，即在打開搜索結果看到具體內容之后的評價，而不是僅靠SERP所提供的信息而得出的預測判斷(predictive judgment).

搜索結果由百度搜索引擎提供，因為被試對該搜索引擎的界面熟悉度更高. 實際上，有88%的被試報告說百度搜索引擎是他們的首選，而排在第二位的Google僅占10%. 為確保同組被試使用相同的網頁，全部網頁均為預先準備好的本地HTML文檔. 除去在SERP中加入用戶推薦之外，網頁的排版、內容等均沒有改動，與真實情況一致(有別于在一些研究[5-8]中將導航欄、相關搜索和廣告等內容去除).

1.4 實驗過程

實驗開始之前，需要根據被試個人情況對眼動儀進行校正，然后以文字的形式向被試介紹實驗內容. 無推薦環(huán)境和被動推薦環(huán)境下的文字介紹中沒有關于用戶推薦的內容，而主動推薦環(huán)境下的文字介紹中包含說明用戶推薦的內容. 在被試閱讀文字介紹之后會有一組練習，以便讓其熟悉實驗流程. 無推薦環(huán)境下的練習任務中不含有用戶推薦，而另外兩種環(huán)境下的練習任務則含有用戶推薦. 在練習之后會對眼動儀進行重新校正，然后開始正式實驗. 在完成20個實驗任務后，被試需要填寫一份反饋問卷，包括個人信息和對用戶推薦的看法(詳見2.1節(jié))，整個實驗過程約耗時30 min.

2 結果與討論

在分析實驗結果前，需要對3組被試之間是否存在顯著差異進行分析. 首先，3組被試的年齡沒有顯著差異，F(xiàn)(2，57)=1.72，p=0.19. 其次，被試使用搜索引擎的熟練程度沒有顯著差異，F(xiàn)(2，57)=1.33，p=0.27. 此外，3組被試人數(shù)相等，男女各半，來自不同專業(yè)(不會產生專業(yè)偏見). 因此，可以認為被試差異不會對實驗結果產生顯著影響.

2.1 實驗結果

在搜索引擎結果頁面(SERP)中加入用戶推薦，其目的在于幫助用戶完成搜索. 因此，在加入用戶推薦后，被試的搜索效率可能會發(fā)生變化. 為此，對3組被試、兩類不同任務的任務完成時間、注視時間和注視次數(shù)進行比較. 任務完成時間，是指被試完成一個搜索任務所花費的時間，從SERP呈現(xiàn)開始計算、到被試點擊某個搜索結果為止. 注視時間，是指被試在一個SERP上全部注視點持續(xù)時間的總和，而注視次數(shù)就是注視點的總個數(shù). 任務完成時間和注視時間越短、注視次數(shù)越少，被試的搜索效率越高.

表2給出了3組被試在兩類搜索任務下的搜索效率數(shù)據. 重復測量方差分析顯示：

① 3組之間沒有顯著差異：

F任務完成時間(2，57)=0.24，p=0.79；

F注視時間(2，57)=0.23，p=0.79；

F注視次數(shù)(2，57)=0.37，p=0.69.

也就是說，加入用戶推薦對被試的搜索效率沒有顯著影響.

② 不同搜索任務之間的任務完成時間和注視時間沒有顯著差異：

F任務完成時間(1，57)=3.86，p=0.054；

F注視時間(1，57)=3.65，p=0.06，

而導航類搜索任務的注視次數(shù)顯著少于信息類搜索任務的注視次數(shù)：

F注視次數(shù)(1，57)=5.03，p<0.05.

③ 搜索環(huán)境和搜索任務之間沒有交互作用：

F任務完成時間(2，57)=0.04，p=0.96；

F注視時間(2，57)=0.05，p=0.95；

F注視次數(shù)(2，57)=0.09，p=0.91.

圖2為被試的注視熱點圖示例，為單個任務20人數(shù)據的平均結果. 注視熱點圖能夠直觀顯示被試的注意力分布情況. 圖中以不同顏色表示關注程度的不同，紅色最高、黃色次之、綠色最少，沒有被關注的區(qū)域以透明顯示. 從圖中可以看出，被試在SERP上的注意力分布基本相同，沒有顯著的差異(其他實驗任務的注視熱點圖與圖2情況相似，不再一一列出). 也就是說，加入用戶推薦對被試的注意力分布沒有顯著的影響.

表2 搜索效率數(shù)據

之后，對3組被試的點擊分布按照如下方式進行比較：首先，將被試的點擊數(shù)據按照10個搜索結果與其他共11類進行統(tǒng)計，得到60個點擊分布數(shù)據(3組 × 20個任務，每個數(shù)據點是長度為11的特征向量). 其次，將同一任務的3個數(shù)據(分別表示3組被試的點擊分布)按照兩兩對比的方式進行相關性分析，得到其相關系數(shù)(無推薦與被動推薦、無推薦與主動推薦，以及被動推薦與主動推薦3類). 最后，分別計算這3類相關系數(shù)的平均值并做方差分析. 結果顯示，無推薦環(huán)境與被動推薦環(huán)境下被試點擊分布的平均相關系數(shù)為0.94，無推薦環(huán)境與主動推薦環(huán)境的平均相關系數(shù)為0.95，被動推薦環(huán)境與主動推薦環(huán)境的平均相關系數(shù)為0.95，3者之間沒有顯著差異，F(xiàn)(2，57)=0.15，p=0.86. 也就是說，加入用戶推薦對被試的點擊分布沒有顯著影響.

通過上述行為數(shù)據可以看到，在加入用戶推薦之后，被試的搜索效率、注意力分布和點擊分布都沒有顯著的變化，即加入用戶推薦對被試的網絡搜索行為沒有顯著的影響. 下面對被試在完成實驗之后填寫的反饋問卷進行分析，了解被試對用戶推薦的(主觀)看法.

在反饋問卷中被試需要回答“用戶推薦是否有用”、“是否會在搜索時參考用戶推薦”、“是否愿意向其他用戶推薦搜索結果”和“在什么樣的情況下需要用戶推薦”4個問題. 其中前3個為封閉式問題，最后一個為開放式問題. 經統(tǒng)計，90%的被試認為用戶推薦是有用的，并且90%的被試表示會在搜索時參考該信息. 此外，有82%的被試愿意向搜索引擎提供自己對結果的判斷共其他用戶參考.

在最后一個問題中(圖3)，排在第一位的是在“搜索不熟悉的內容”時需要用戶推薦，并列第二位的是“搜索結果太多”和“搜索結果太少”，第四位的是 “答案不確定(即答案不唯一)”，其他答案還有搜索“建議類內容”和“知識類內容”，以及諸如“購物”、“美食”和“電子產品”等等. 也就是說，被試需要用戶推薦的情形基本上可以概括為“搜索任務難度較大”或“搜索不常見的內容”.

通過以上反饋問卷可以看到，絕大多數(shù)被試認為用戶推薦是有助于搜索的，并且愿意在搜索過程中參考該信息. 那么，為什么在SERP中存在用戶推薦時(尤其是在主動推薦環(huán)境下，即被試明確知道用戶推薦的存在)被試的行為沒有顯著變化？為了研究這種“矛盾”現(xiàn)象，將SERP中用戶推薦所在的區(qū)域作為興趣區(qū)(area of interest， AOI)，統(tǒng)計落在該區(qū)域的注視時間和注視次數(shù)(圖4).

從圖中可以看到，在被動推薦環(huán)境下被試用于瀏覽用戶推薦區(qū)域的注視時間約為0.04 s、注視次數(shù)約為0.2次，分別占總注視時間的0.65%和總注視次數(shù)的0.83%；在主動推薦環(huán)境下被試用于瀏覽用戶推薦區(qū)域的注視時間約為0.07 s、注視次數(shù)約為0.3次，分別占總注視時間的1.04%和總注視次數(shù)的1.09%. 也就是說，無論是被動推薦還是主動推薦，被試都幾乎沒有關注于用戶推薦. 換言之，被試在完成網絡搜索任務時忽略了用戶推薦的存在，從而導致其行為數(shù)據沒有顯著的變化.

2.2 討 論

本實驗結果顯示，加入用戶推薦后被試的行為數(shù)據沒有顯著的變化，而在反饋問卷中絕大多數(shù)被試卻表示用戶推薦是有助于完成搜索任務的，并且被試會在搜索過程中參考該信息. 下面解釋這種“矛盾”現(xiàn)象.

在Muralidharan等[14]的研究中，被試需要完成一系列的網絡搜索任務. 在這些任務所使用的SERP中，有一些包含有社會化標注，即在搜索結果中顯示某人(朋友或名人)分享了該結果. 與本實驗中被動推薦環(huán)境相同，被試在實驗開始之前不知道社會化標注的存在. 結果顯示，僅有11%的被試表明在實驗過程中注意到該信息. 在本實驗中，對用戶推薦的忽視很可能也是由于相同的原因. 實際上，在本實驗中處于被動推薦環(huán)境下的被試在完成實驗后會在反饋問卷中被詢問是否注意到用戶推薦. 結果顯示，僅有5名被試表示注意到用戶推薦，占總人數(shù)的25%. 使用Fisher’s精確檢驗法(Fisher’s exact test)分析表明，Muralidharan等的結果與本實驗的結果沒有顯著差異(p=0.11). 也就是說，處于被動推薦環(huán)境下的被試由于沒有注意到SERP中存在用戶推薦，使得其行為沒有顯著的變化. 這種情形屬于心理學中的“無意視盲(inattentional blindness)[16]”，即被試集中注意力在某個任務或物體上的時候，對其他物體或事件沒有察覺的現(xiàn)象. 而在主動推薦環(huán)境下，雖然被試對該信息的關注程度有所上升(見圖4)，但是單因素方差分析顯示無顯著差異：

F注視時間(1，38)=0.89，p=0.35；

F注視次數(shù)(1，38)=1.07，p=0.31.

也就是說，被試在知道用戶推薦存在的前提下在完成搜索任務時依然忽視該信息. 一種可能的解釋是：雖然被試知道SERP中存在用戶推薦，但是其大部分精力放在比較搜索結果的相關性上，從而沒有更多的關注用戶推薦，也屬于無意視盲現(xiàn)象. 此外，本實驗所采用的是較為簡單、常見的搜索任務，而反饋問卷顯示被試需要用戶推薦信息的情形大多是在搜索任務難度較大或搜索內容不熟悉的時候. 因此，被試在簡單、常見的搜索任務中可能不需要參考用戶推薦信息就可以順利完成，導致在知道用戶推薦存在的前提下沒有對其過多的關注. 當搜索任務難度較大時(例如要搜索的內容沒有標準答案)，被試可能會更多的關注用戶推薦.

3 結 論

利用眼動技術，研究用戶推薦對網絡搜索行為的影響. 具體做法是將用戶推薦加入到SERP的搜索結果中，利用眼動儀記錄用戶在完成網絡搜索任務時的行為數(shù)據，觀察被試行為的變化. 結果顯示，雖然多數(shù)被試認為用戶推薦有助于搜索且在搜索過程中會參考該信息，但是其行為數(shù)據沒有顯著的變化. 產生這種現(xiàn)象的原因在于被試在搜索過程中忽視了用戶推薦，產生了無意視盲[16]的現(xiàn)象.

未來研究的工作包括：① 在實驗中引入更多種類的搜索任務(例如交易類搜索任務[17])，加大搜索任務難度，以及將用戶推薦以不同的形式(圖片、動畫等)和位置呈現(xiàn)；② 拓寬實驗覆蓋的人群范圍，例如老年人和文化程度較低的人群.

[1] Jansen B J， Pooch U. A review of web searching studies and a framework for future research[J]. Journal of the American Society for Information Science and Technology， 2001， 52(3): 235-246．

[2] Hsieh-Yee I. Research on web search behavior[J]. Library & Information Science Research， 2001， 23(2): 167-185．

[3] Kl?ckner K， Wirschum N， Jameson A. Depth-and breadth-first processing of search result lists[C]∥Proceedings of CHI’04 Extended Abstracts on Human Factors in Computing Systems. Vienna， Austria:[s.n.], 2004:1539-1539．

[4] Granka L A， Joachims T， Gay G. Eye-tracking analysis of user behavior in WWW search[C]∥Proceedings of the 27th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. Sheffield， South Yorkshire， UK:[s.n.]， 2004:478-479．

[5] Lorigo L， Pan B， Hembrooke H， et al. The influence of task and gender on search and evaluation behavior using Google[J]. Information Processing & Management， 2006，42(4):1123-1131．

[6] Lorigo L， Haridasan M， Brynjarsdóttir H， et al. Eye tracking and online search: lessons learned and challenges ahead[J]. Journal of the American Society for Information Science and Technology， 2008，59(7):1041-1052．

[7] Cutrell E， Guan Zhiwei. What are you looking for？ an eye-tracking study of information usage in web search[C]∥Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. San Jose， California， USA:[s.n.]， 2007:407-416.

[8] Guan Zhiwei， Cutrell E. An eye tracking study of the effect of target rank on web search[C]∥Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. San Jose， California， USA: [s.n.]， 2007:417-420．

[9] Buscher G， Dumais S T， Cutrell E. The good， the bad， and the random: an eye-tracking study of ad quality in web search[C]∥Proceedings of the 33rd International ACM SIGIR Conference on Research and Development in Information Retrieval. Geneva， Switzerland: [s.n.], 2010:42-49.

[11] Kammerer Y， Wollny E， Gerjets P， et al. How authority-related epistemological beliefs and salience of source information influence the evaluation of Web search results-an eye tracking study[C]∥Proceedings of the 31st annual Conference of the Cognitive Science Society. Amsterdam， Netherlands: [s.n.], 2009:2158-2163．

[12] Kammerer Y， Gerjets P. How the interface design influences users’ spontaneous trustworthiness evaluations of web search results: comparing a list and a grid interface[C]∥Proceedings of the 2010 Symposium on Eye-Tracking Research & Applications. Austin， Texas， USA: [s.n.]， 2010: 299-306．

[13] Ostergren M， Yu S， Efthimiadis E N. The value of visual elements in web search[C]∥Proceedings of the 33rd International ACM SIGIR Conference on Research and Development in Information Retrieval. Geneva， Switzerland: [s.n.], 2010:867-868．

[14] Muralidharan A， Gyongyi Z， Chi E H. Social annotations in web search[C]∥Proceedings of the 2012 ACM Annual Conference on Human Factors in Computing Systems. Austin， Texas， USA: [s.n.]， 2012:1085-1094．

[15] Fernquist J， Chi E H. Perception and understanding of social annotations in web search[C]∥Proceedings of the 22nd International Conference on World Wide Web. Rio de Janeiro， Brazil: [s.n.]， 2013:403-412．

[16] Mack A， Rock I. Inattentional blindness[M]. Cambridge， MA: MIT Press， 1998．

[17] Broder A. A taxonomy of web search[J]. ACM Sigir Forum， 2002，36(2):3-10．

(責任編輯：劉芳)

An Eye-Tracking Study of the Impact of User Recommendation on Web Search Behavior

LU Wan-xuan， LIANG Wei， JIA Yun-de

(School of Computer Science， Beijing Institute of Technology， Beijing 100081， China)

In order to investigate the impact of user recommendation on Web search behavior, the user recommendation was added to search engine results page (SERP) and observe the change of a participant behavior during Web search via eye-tracking technology. Experimental results show that the additional user recommendation does not significantly influence search efficiency, attention distribution, and click distribution. However, the participant feedbacks indicate that most of them consider user recommendation useful and refer to it during Web search. The reason of this contradiction is that participants ignore user recommendation during search process, which is inattentional blindness.

web search; user behavior; eye tracking; user recommendation

2014-01-23

國家自然科學基金廣東聯(lián)合基金重點項目(U1035004)；國家教育部高等學校博士學科點專項科研基金資助項目(20121101110035)

盧萬譞(1986—)，男，博士生，E-mail:luwanxuan@bit.edu.cn.

梁瑋(1979—)，女，副教授，E-mail:liangwei@bit.edu.cn.

TP 39

A

1001-0645(2016)05-0514-06

10.15918/j.tbit1001-0645.2016.05.014