郭昕

摘 要： 針對(duì)近年來(lái)在建立圖像質(zhì)量主觀評(píng)價(jià)過(guò)程中得到廣泛應(yīng)用的眼動(dòng)信號(hào)，提出一套基于眼動(dòng)儀采集的原始眼動(dòng)數(shù)據(jù)的可視化分析方法。實(shí)現(xiàn)從凝視點(diǎn)到注視點(diǎn)的I?VT濾波過(guò)程，設(shè)計(jì)并繪制單人注視點(diǎn)界面，生成并初步分析注視點(diǎn)疊加熱圖，為將眼動(dòng)信號(hào)更好地應(yīng)用于圖像質(zhì)量主觀評(píng)價(jià)，提供了創(chuàng)新性的分析與探究。

關(guān)鍵詞： 圖像質(zhì)量主觀評(píng)價(jià)； 眼動(dòng)儀； I?VT濾波器； 熱圖

中圖分類(lèi)號(hào)： TN919?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2015）12?0070?04

眼動(dòng)跟蹤是研究如何精確無(wú)干擾地追蹤人眼視覺(jué)過(guò)程的技術(shù)。該技術(shù)是一種人類(lèi)意識(shí)行為的特殊測(cè)量工具，也是一種未來(lái)人機(jī)接口的關(guān)鍵技術(shù)，因此受到了神經(jīng)認(rèn)知科學(xué)、心理學(xué)、工業(yè)工程、平面及立體視覺(jué)和計(jì)算機(jī)科學(xué)等眾多領(lǐng)域和交叉學(xué)科的廣泛關(guān)注。

圖像質(zhì)量評(píng)價(jià)是希望建立一種能夠與人眼主觀評(píng)價(jià)特性盡量符合的客觀質(zhì)量指標(biāo)，現(xiàn)在成熟的全參考、部分參考和無(wú)參考模型都是模擬人類(lèi)視覺(jué)機(jī)制對(duì)誤差信號(hào)的感知能力[1]。本文從全新的眼動(dòng)技術(shù)入手，直接從測(cè)試者的主觀評(píng)價(jià)行為中獲得其眼睛注視點(diǎn)序列，從而真實(shí)地反映視覺(jué)感知失真圖像的判斷過(guò)程，不僅具有很強(qiáng)的創(chuàng)新性，并且對(duì)視覺(jué)感知研究具有重要的研究意義。

1 主觀圖像質(zhì)量評(píng)價(jià)中的原始眼動(dòng)數(shù)據(jù)采集

1.1 測(cè)試環(huán)境

測(cè)試全部是在室內(nèi)進(jìn)行，室內(nèi)光照正常，采集眼動(dòng)信號(hào)的眼動(dòng)儀為T(mén)obii TX300[2]，搭配23寸顯示屏，長(zhǎng)寬比為16∶9，屏幕分辨率為1 920×1 080，采用的跟蹤技術(shù)為暗瞳孔法。

1.2 測(cè)試圖片

為了避免數(shù)據(jù)庫(kù)公布后出現(xiàn)版權(quán)問(wèn)題，本文采用圖片為從北京星聯(lián)圖客科技公司“微利圖片庫(kù)”購(gòu)買(mǎi)的110張彩色攝影圖片。這些原始圖片分辨率均為300 dpi，格式為“.jpg”，尺寸由1 650×2 482到5 120×3 413不等。圖片內(nèi)容包括近景、遠(yuǎn)景、景物、動(dòng)物、人等。

實(shí)驗(yàn)中選取30張?jiān)紙D，圖片序號(hào)次為：004，005，010，019，022，035，036，037，043，054，055，063，070，072，073，074，077，082，084，086，087，088，090，093，098，101，105，107，109，110。圖片的命名方式為“ipc圖片序號(hào)”。

退化圖片是在原始圖片的基礎(chǔ)上進(jìn)行退化處理得到的。實(shí)驗(yàn)選取6種退化方式，每種退化方式設(shè)有4個(gè)退化等級(jí)，共有900幅測(cè)試圖。其中6種退化方式分別為：awgn（加性高斯白噪聲），gb（高斯模糊），hfn（高頻噪聲），jp2k（JPEG2000壓縮），jpeg（JPEG壓縮），quantization（量化噪聲）[3]。

退化圖片按照“退化方式?退化等級(jí)?原始圖片名”的方法命名[4]。例如，名字為“ipc004”的原始圖片，進(jìn)行高斯模糊處理，退化等級(jí)是2，則退化圖片名為“gb?2?ipc004。這里把原始圖片的退化等級(jí)設(shè)為0。

1.3 測(cè)試結(jié)果與初步眼動(dòng)數(shù)據(jù)處理

本次測(cè)試參與人數(shù)共計(jì)49人，完成了90個(gè)test，實(shí)現(xiàn)了對(duì)900幅圖的兩次完整遍歷。一個(gè)test內(nèi)包含30幅圖，各幅圖的內(nèi)容、退化等級(jí)均不同。實(shí)驗(yàn)中眼動(dòng)數(shù)據(jù)的采樣成功率見(jiàn)表1。

表1 眼動(dòng)數(shù)據(jù)的采樣成功率

實(shí)驗(yàn)得到的眼動(dòng)數(shù)據(jù)通過(guò)Tobii Studio 2.0導(dǎo)出格式為“.xls” 的Microsoft Excel數(shù)據(jù)文件。每一個(gè)test對(duì)應(yīng)一個(gè)Excel文件，一共導(dǎo)出75個(gè)Excel文件。

對(duì)這75個(gè)Excel文件中的數(shù)據(jù)以圖片名為要素進(jìn)行整合，即將同一幅圖的數(shù)據(jù)放在一個(gè)新的Excel文件中，由此得到30個(gè)以圖片名為命名的Excel數(shù)據(jù)文件。

具體操作方法是將所有test的數(shù)據(jù)均導(dǎo)出到一個(gè)Excel文件，再利用Excel軟件自帶的數(shù)據(jù)篩選功能以圖片名為關(guān)鍵詞進(jìn)行篩選，30次篩選即可得到30個(gè)以圖片名為命名的Excel數(shù)據(jù)文件。這30個(gè)Excel文件包含的內(nèi)容有被測(cè)者姓名、圖片名、注視點(diǎn)序列號(hào)、凝視行為類(lèi)型、注視點(diǎn)x、y坐標(biāo)，凝視點(diǎn)x、y坐標(biāo)等。

2 I?VT濾波器的構(gòu)建

2.1 I?VT濾波器的基本原理

Gaze Point[5]在本文中譯為“凝視點(diǎn)”，它本身并沒(méi)有包含任何的生理學(xué)意義，只是一些由Tobii TX300眼動(dòng)儀的采樣得到的采樣點(diǎn)。所謂Tobii TX300眼動(dòng)儀采樣的得到的凝視點(diǎn)，即以[1300]采樣時(shí)間間隔得到的一系列沿時(shí)間軸分布的像素坐標(biāo)值。

Fixation Point本文中譯為“注視點(diǎn)”，它包含著實(shí)際的生理學(xué)意義，是對(duì)凝視點(diǎn)的坐標(biāo)值采用I?VT注視濾波器（或其他濾波器）進(jìn)行濾波后得到的。

I?VT濾波器的目的，即從采集到的凝視點(diǎn)中正確濾出注視點(diǎn)。它是基于眼球的角速度計(jì)算并按眼球的運(yùn)動(dòng)進(jìn)行數(shù)據(jù)處理，因此數(shù)據(jù)不受屏幕分辨率、屏幕尺寸和眼睛與刺激材料之間距離的影響，使得更多的數(shù)據(jù)能夠被正確地劃分為眼跳、注視點(diǎn)或未分類(lèi)的數(shù)據(jù)[6]。

I?VT濾波器經(jīng)過(guò)調(diào)節(jié)可更好地適應(yīng)特定的研究，通過(guò)對(duì)使用不同眼動(dòng)儀采集的記錄與對(duì)不同級(jí)別數(shù)據(jù)噪聲的補(bǔ)償來(lái)改善注視點(diǎn)分類(lèi)的能力。數(shù)據(jù)處理功能包括：

（1） 數(shù)據(jù)降噪功能：2種低通濾波器可選均衡的移動(dòng)平均線(xiàn)濾波器和移動(dòng)中位數(shù)濾波器。濾波后的結(jié)果數(shù)據(jù)會(huì)比原始數(shù)據(jù)更平滑地呈現(xiàn)出來(lái)，這樣可確保對(duì)噪聲等級(jí)較高的數(shù)據(jù)的注視點(diǎn)分類(lèi)的精確性；

（2） 數(shù)據(jù)插補(bǔ)功能可在有效數(shù)據(jù)丟失處填補(bǔ)數(shù)據(jù)；

（3） 在I?VT濾波器帶有移除短時(shí)注視點(diǎn)的功能，該功能允許將低于設(shè)置基準(zhǔn)值持續(xù)時(shí)間的注視點(diǎn)移除。

2.2 I?VT濾波器的實(shí)現(xiàn)

在Matlab中編程仿真實(shí)現(xiàn)該濾波器功能。首先導(dǎo)出單人單圖的原始采樣數(shù)據(jù)即凝視點(diǎn)數(shù)據(jù)。然后對(duì)濾波器算法的分析進(jìn)行程序編寫(xiě)，最后將編程計(jì)算得到的注視點(diǎn)與Tobii Studio中自帶的I?VT濾波器計(jì)算得到的注視點(diǎn)進(jìn)行比對(duì)，對(duì)編程結(jié)果進(jìn)行評(píng)估。

圖1選取本文前述的數(shù)據(jù)評(píng)價(jià)中的一幅典型的人物圖片（ipc036.bmp）展示其經(jīng)I?VT濾波器處理后的注視點(diǎn)分布結(jié)果。圖中的圓點(diǎn)代表經(jīng)濾波器濾波后產(chǎn)生的注視點(diǎn)分布，大小代表注視時(shí)長(zhǎng)，圈內(nèi)標(biāo)號(hào)代表注視順序。

3 基于單激勵(lì)主觀圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)的注視

點(diǎn)界面

3.1 注視點(diǎn)的原始數(shù)據(jù)處理

基于上文對(duì)凝視點(diǎn)的相關(guān)介紹，Tobii TX300眼動(dòng)儀采集以及通過(guò)Tobii Studio 2.0軟件導(dǎo)出的注視點(diǎn)的原始數(shù)據(jù)是一系列沿時(shí)間軸分布的像素坐標(biāo)。經(jīng)Excel初步數(shù)據(jù)處理后得到30個(gè)以圖片名為文件名的“.xls”文件，這些Excel文件中均包含的注視點(diǎn)x、y坐標(biāo)信息以及對(duì)應(yīng)測(cè)試者信息。現(xiàn)以某一退化類(lèi)型中某一退化等級(jí)的一張確定圖片為例，從Excel表格中篩選得到某位參與該圖片測(cè)試的測(cè)試者的注視點(diǎn)坐標(biāo)數(shù)據(jù)，作為后續(xù)注視點(diǎn)界面設(shè)計(jì)的數(shù)據(jù)。

3.2 注視點(diǎn)界面的算法實(shí)現(xiàn)

圖形用戶(hù)界面（Graphical User Interfaces，Matlab GUI）是由窗口、菜單、按鍵、光標(biāo)及按鈕等對(duì)象構(gòu)成的一個(gè)用戶(hù)界面[7]。

注視點(diǎn)界面設(shè)計(jì)的最終目標(biāo)是將已導(dǎo)出的單人單圖注視點(diǎn)坐標(biāo)數(shù)據(jù)可視化。本設(shè)計(jì)所要實(shí)現(xiàn)的具體功能是通過(guò)GUI界面直觀地展示單人單圖注視點(diǎn)x、y坐標(biāo)沿時(shí)間軸分布狀況。接下來(lái)綜合設(shè)計(jì)要求實(shí)現(xiàn)的各項(xiàng)功能，繪制草圖。然后制作靜態(tài)界面，依據(jù)設(shè)計(jì)草圖，在GUI中制作的靜態(tài)界面。最后編寫(xiě)界面中滑動(dòng)條、可編輯文本框、axes控件對(duì)應(yīng)的動(dòng)態(tài)功能函數(shù)。以實(shí)現(xiàn)從計(jì)算機(jī)中已有文件夾中讀入圖片，并通過(guò)鼠標(biāo)拖動(dòng)滑動(dòng)條控制相應(yīng)注視點(diǎn)數(shù)據(jù)的顯示。

圖2為編寫(xiě)的注視點(diǎn)界面，界面功能如下：

（1） “Add Picture”按鈕可用于添加一幅圖片；

（2） 鼠標(biāo)拖動(dòng)滑動(dòng)條可以控制注視點(diǎn)在圖上的顯示順序；

（3） 點(diǎn)的位置代表注視點(diǎn)的位置，點(diǎn)的大小代表注視時(shí)間長(zhǎng)短。注視時(shí)間長(zhǎng)，則對(duì)應(yīng)顯示點(diǎn)大，注視時(shí)間短，則對(duì)應(yīng)顯示點(diǎn)小。點(diǎn)內(nèi)標(biāo)號(hào)為點(diǎn)的序列號(hào)，即注視時(shí)間先后排序的順序。

4 基于單激勵(lì)主觀圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)的熱圖

分析

4.1 熱圖的基本原理

熱圖是一種直觀的展示主觀圖像質(zhì)量評(píng)估數(shù)據(jù)的方式。它通過(guò)使用不同的顏色來(lái)顯示參與測(cè)試者在圖像某些區(qū)域的注視時(shí)長(zhǎng)或注視數(shù)目。紅色代表時(shí)注視長(zhǎng)較長(zhǎng)或注視數(shù)目較多，綠色代表時(shí)注視長(zhǎng)較短或注視數(shù)目較少，在二者之間不同顏色對(duì)應(yīng)不同的注視時(shí)長(zhǎng)[8]。它實(shí)現(xiàn)了多人單圖注視信號(hào)的疊加，具有較強(qiáng)的統(tǒng)計(jì)意義與直觀性，為進(jìn)一步眼動(dòng)信號(hào)分析奠定基礎(chǔ)。

熱圖可分為以下3類(lèi)：統(tǒng)計(jì)熱圖（Count Heat Map）用于累計(jì)所有選定的記錄中的選定時(shí)間域內(nèi)的注視的個(gè)數(shù)，可判斷測(cè)試者們是否在測(cè)試圖片或網(wǎng)頁(yè)上注視到了不同的元素；絕對(duì)持續(xù)時(shí)間熱圖（Absolute Duration Heat Map）用于累計(jì)在一幅測(cè)試圖片不同位置的注視持續(xù)時(shí)間，可衡量對(duì)一幅圖中出現(xiàn)的不同元素的關(guān)注量以及認(rèn)知過(guò)程；相對(duì)持續(xù)時(shí)間熱圖（Relative Duration Heat Map）用于累計(jì)在一幅測(cè)試圖片不同位置的注視持續(xù)時(shí)間[9]。

4.2 熱圖生成算法

熱圖生成方法可分為以下幾步：

（1） 映射被測(cè)圖中的注視點(diǎn)。具體實(shí)現(xiàn)方法是通過(guò)遍歷所有選定記錄中的所有注視點(diǎn)，然后將有共同像素坐標(biāo)的注視點(diǎn)累加起來(lái)。選擇統(tǒng)計(jì)熱圖，就將相同位置的注視個(gè)數(shù)相加；選擇絕對(duì)持續(xù)時(shí)間熱圖，就將相同位置的注視持續(xù)時(shí)間相加；選擇相對(duì)持續(xù)時(shí)間熱圖，先將注視持續(xù)時(shí)間除以總觀察時(shí)間，然后再相加。

（2） 向所有的像素點(diǎn)賦予色彩值。色彩越偏暖色，所代表的值越大。

（3） 向注視點(diǎn)周?chē)囊欢ǚ秶鷥?nèi)的點(diǎn)均賦予色彩值，且距離注視點(diǎn)越遠(yuǎn)，色彩值越小，用高斯曲線(xiàn)來(lái)模擬。需要注意的是，函數(shù)半徑的默認(rèn)值是50個(gè)像素點(diǎn)，內(nèi)核共有100個(gè)像素點(diǎn)。50個(gè)像素點(diǎn)的選擇是基于被測(cè)者在距眼動(dòng)儀64 cm處觀察1 820×1 024分辨率的眼動(dòng)儀標(biāo)準(zhǔn)屏幕時(shí)優(yōu)化得到的。圖3為上述步驟的圖示化過(guò)程。

4.3 熱圖的實(shí)現(xiàn)結(jié)果及初步分析

基于上文闡述的熱圖生成原理，為了直觀展示一幅圖片上的所有被測(cè)者的注視點(diǎn)分布情況并對(duì)其分布進(jìn)行分析，對(duì)熱圖進(jìn)行編程實(shí)現(xiàn)。

圖4為本文前述的數(shù)據(jù)庫(kù)中的一幅典型的動(dòng)物圖片的原始圖片（ipc004.bmp）及其在不同退化方法下的相關(guān)熱圖，9幅圖分別為：原始圖片、標(biāo)記origin的圖片為ipc004.bmp在所有記錄上累計(jì)生成的熱圖、標(biāo)記All的圖片為ipc004.bmp在6種退化方式4個(gè)退化等級(jí)下產(chǎn)生的全部24幅退化圖片的所有記錄累計(jì)生成的熱圖、標(biāo)記awgn，hfn，gb，jp2k，jpeg，quan的圖片為ipc004.bmp分別在6種退化方法的4個(gè)退化等級(jí)記錄累計(jì)生成的熱圖。由圖4中標(biāo)記origin的熱圖可以看出，當(dāng)原始圖片中有明確目標(biāo)時(shí)，觀測(cè)者對(duì)原始圖的注視點(diǎn)的區(qū)域集中；沒(méi)有明確目標(biāo)時(shí)，不同觀測(cè)者的注視點(diǎn)相對(duì)分散。

圖4 動(dòng)物圖片及其在不同退化方法下的統(tǒng)計(jì)熱圖

由圖4中標(biāo)記All的熱圖可以看出，當(dāng)原始圖片進(jìn)行退化處理后，觀測(cè)者的注視區(qū)域相對(duì)標(biāo)記origin的熱圖總體范圍縮小，這表明原始圖片在退化處理的過(guò)程中圖像結(jié)構(gòu)遭到了破壞，從而某些區(qū)域沒(méi)有引起觀測(cè)者的注視；由圖4中標(biāo)記awgn與標(biāo)記jpeg的熱圖，可以發(fā)現(xiàn)，觀測(cè)者在前者的注視區(qū)域總面積比后者大。這表明awgn在退化處理時(shí)沒(méi)有損失原始圖像的結(jié)構(gòu)信息，而jpeg在退化處理時(shí)丟失了部分原始圖像的結(jié)構(gòu)信息，從而導(dǎo)致某些區(qū)域不再引起觀測(cè)者的關(guān)注。

由以上分析可得，在建立主觀數(shù)據(jù)庫(kù)的過(guò)程中采集測(cè)試者的同步眼動(dòng)數(shù)據(jù)，通過(guò)統(tǒng)計(jì)測(cè)試者在圖像質(zhì)量主觀感知中對(duì)測(cè)試圖片的注視點(diǎn)，注視時(shí)間等，可用于研究圖像質(zhì)量評(píng)價(jià)中HVS對(duì)圖片測(cè)試不同區(qū)域質(zhì)量的敏感程度[10]。

5 結(jié) 語(yǔ)

本文對(duì)圖像質(zhì)量主觀評(píng)價(jià)中的眼動(dòng)信號(hào)進(jìn)行了可視化的分析實(shí)踐工作。對(duì)主觀圖像質(zhì)量數(shù)據(jù)庫(kù)中的眼動(dòng)數(shù)據(jù)進(jìn)行了逐步深入的綜合處理，其中包括對(duì)I?VT濾波器的設(shè)計(jì)與編程實(shí)現(xiàn)、注視點(diǎn)界面的設(shè)計(jì)和編程實(shí)現(xiàn)以及熱圖的實(shí)現(xiàn)及初步分析。通過(guò)完成上述各項(xiàng)任務(wù)，篩選得到了具有生理意義的注視點(diǎn)坐標(biāo)數(shù)據(jù)，并集中客觀地展示了單人單圖眼動(dòng)信號(hào)的分布，以及多人單圖眼動(dòng)信號(hào)的疊加，使得實(shí)驗(yàn)采集到的眼動(dòng)數(shù)據(jù)可視化程度增強(qiáng)，為進(jìn)一步深入分析研究打下基礎(chǔ)。

參考文獻(xiàn)

[1] 高新波，路文.視覺(jué)信息質(zhì)量評(píng)價(jià)方法[M].西安：西安電子科技大學(xué)出版社，2010.

[2] Tobii. User manual： Tobii studio version 3.2 [EB/OL]. [2012?09?11]. http：//www.tobii.com.

[3] 習(xí)佳琳.圖像質(zhì)量感知主觀數(shù)據(jù)庫(kù)的開(kāi)發(fā)[D].西安：西安交通大學(xué)，2011.

[4] PONOMARENKO N， EGIAZARIAN K， ASTOLA J， et al. Color image database for evaluation of image quality metrics[J/OL]. [2011?02?27]. http：//WWW. wenku.baidu.com/link？u.

[5] LOPEZ Javier San Agustin. Off?the?shelf gaze interaction [D]. [S.l.]： [s.n.]， 2009.

[6] DUCHOWSKI A T. Eye tracking methodology： theory and practice [M]. German： Springer?Verlag， 2007.

[7] 陳垚光，毛濤濤，王正林，等.精通Matlab GUI設(shè)計(jì)[M].北京：電子工業(yè)出版社，2008.

[8] D.馬爾.視覺(jué)計(jì)算理論[M].姚正國(guó)，譯.北京：科學(xué)出版社，1988.

[9] 張敏.基于邊緣點(diǎn)位置的圖像質(zhì)量視覺(jué)感知模型[D].西安：西安交通大學(xué)，2010.

[10] DUCHOWSKI A T， VERTEGAAl R. Eye based interaction in graphical systems ： theory &practice [J/OL]. [2011?08?03]. wenku.baidu.com/link？u.