高智勇,馬 宏,賀良杰

(中南民族大學(xué) 生物醫(yī)學(xué)工程學(xué)院，武漢430074)

人類通常會(huì)選擇性地將注意力集中于自己感興趣的視覺(jué)區(qū)域，這種選擇性注意機(jī)制使得人類能夠快速處理大量的視覺(jué)信息.因此如果能用計(jì)算機(jī)模擬人類的這種視覺(jué)注意機(jī)制，將能夠有效地提高信息處理效率，在圖像處理的許多領(lǐng)域具有重要作用.視覺(jué)心理學(xué)研究表明，注意機(jī)制包括了兩個(gè)過(guò)程,即快速的自底向上的數(shù)據(jù)驅(qū)動(dòng)的過(guò)程和慢速的自頂向下的目標(biāo)驅(qū)動(dòng)的過(guò)程.相比之下，高層模型的建立較為復(fù)雜和困難，而用計(jì)算模型模擬自底向上的注意過(guò)程是相當(dāng)成功的并且極具應(yīng)用價(jià)值.

基于自底向上注意過(guò)程的顯著性檢測(cè)方法有很多.根據(jù)這些方法的計(jì)算范圍，可以將它們大致分為兩類：基于局部的方法和基于全局的方法.基于局部的方法通過(guò)計(jì)算局部差異來(lái)得到顯著性值，因此趨向于突出圖像中的邊緣信息與突變成分.相比之下，基于全局的方法則通過(guò)全局范圍的顯著性計(jì)算趨向于均勻地突出目標(biāo)區(qū)域.Zhai和Shah[7]定義了基于某個(gè)像素和其余像素顏色對(duì)比度的顯著性.Achanta等人提出了FT(頻率調(diào)諧)方法[3]，用某個(gè)像素的顏色和平滑過(guò)后的圖像的平均色的色差來(lái)直接定義此像素的顯著性值.Cheng等人[1]提出了基于區(qū)域顏色對(duì)比度的RC(區(qū)域?qū)Ρ榷?方法，以區(qū)域?yàn)閱挝辉谌址秶?jì)算顏色差異.Perazzi等人[2]提出了SF(顯著性濾波器)方法，以超像素塊為單位定義了兩種特征差異來(lái)計(jì)算顯著性.但是這些基于全局的方法忽視了空間信息或?qū)臻g信息的引入方式不合理，使得對(duì)于顯著性檢測(cè)十分重要的空間信息被丟失，極大地影響了檢測(cè)效果.同時(shí)相比于以像素為單位的計(jì)算方法，基于區(qū)域的計(jì)算方法更為高效且對(duì)背景影響的抑制作用更好.本文針對(duì)以上問(wèn)題進(jìn)行了相應(yīng)地改進(jìn)，取得了較好的結(jié)果.

1 算法概述

針對(duì)全局方法的不足與優(yōu)勢(shì)，我們提出了一種結(jié)合區(qū)域與全局特征的顯著性檢測(cè)方法.首先利用HC[1](直方圖對(duì)比度)方法快速計(jì)算每個(gè)像素的全局顯著性，接著引入高斯掩膜進(jìn)行顯著區(qū)域中心化處理，然后基于超像素分割得到的圖像塊進(jìn)行區(qū)域顯著性計(jì)算，最后對(duì)區(qū)域中每個(gè)像素進(jìn)行顯著性分配.通過(guò)此方法，一方面能夠保留像素的全局顯著信息，另一方面能結(jié)合其對(duì)應(yīng)的區(qū)域顯著信息.對(duì)于圖像中的顯著目標(biāo)來(lái)說(shuō)，既能較好地保留目標(biāo)的邊緣信息又能均勻地突出目標(biāo)整體.同時(shí)，我們基于灰度差異與空間坐標(biāo)計(jì)算顯著特征，與SF方法相比減少了計(jì)算復(fù)雜度.算法流程見(jiàn)圖1.

圖1 算法流程圖Fig.1 Algorithm flow chart

2 顯著性計(jì)算方法

2.1 全局顯著性計(jì)算

由于HC算法的檢測(cè)效果理想并且具有非常短的計(jì)算時(shí)間，所以用HC方法得到初步顯著圖.首先是建立圖像的顏色直方圖，基于顏色直方圖對(duì)顏色級(jí)數(shù)進(jìn)行量化和平滑以減少顏色級(jí)數(shù).最后在LAB顏色空間內(nèi)以像素的顏色與圖像中其它像素的顏色差異來(lái)定義此像素的顯著性.初步顯著圖計(jì)算公式見(jiàn)式(1)：

(1)

其中，D(cl,cj)是在LAB空間顏色cl與顏色cj的差異(LAB顏色空間內(nèi)的歐氏距離)，fj為顏色cj在圖像中的出現(xiàn)頻率，n為圖像的顏色級(jí)數(shù).初步顯著圖結(jié)果見(jiàn)圖2.

2.2 區(qū)域顯著性計(jì)算

2.2.1 顯著區(qū)域預(yù)處理

對(duì)初步顯著圖進(jìn)行閾值迭代操作，第一步，在[0,1]內(nèi)均勻取10個(gè)閾值依次對(duì)HC圖進(jìn)行二值化操作，得到相應(yīng)的二值圖；第二步，求出每個(gè)二值化圖像中目標(biāo)的中心位置，以這個(gè)位置為中心建立一個(gè)高斯掩模圖；第三步，將各高斯掩模圖進(jìn)行加權(quán)求和，權(quán)值為對(duì)應(yīng)二值化圖像的閾值；最后，由于人類傾向于將位于圖像中心位置的區(qū)域認(rèn)為是顯著性區(qū)域，所以我們以圖像的中心位置為中心建立一個(gè)高斯掩模圖并與第三步得到的結(jié)果相加得到高斯掩模圖像.最后，將HC圖與掩膜圖像相乘得到處理后的圖像.公式見(jiàn)式(2):

S′=G·Sh,

(2)

其中S′為顯著區(qū)域預(yù)處理結(jié)果，G為高斯掩模圖像，Sh為初步顯著圖，結(jié)果見(jiàn)圖2.

圖2 顯著性檢測(cè)各步驟效果圖Fig.2 Results of each step of our method

2.2.2 超像素分割

對(duì)圖像進(jìn)行超像素分割，就是將原圖像分割為灰度一致、分布均勻、形狀規(guī)則的小塊.基于這些小塊進(jìn)行顯著性計(jì)算既可以降低算法的時(shí)間復(fù)雜度，又可以消除初步顯著圖中的噪聲與不必要的細(xì)節(jié).我們基于簡(jiǎn)單采樣和聚類方法取得超像素.

首先，在圖像中均勻選取K個(gè)像素點(diǎn).然后，以K個(gè)點(diǎn)為中心進(jìn)行局部均值聚類.最后，聚類結(jié)束后將圖像中沒(méi)有分配類別的像素分配給與自身距離最近的中心點(diǎn).在進(jìn)行聚類時(shí)，我們將像素與聚類中心的距離定義為灰度差異與空間距離的加權(quán)和.引入空間距離是為了保證圖像塊的緊湊型與規(guī)則性.最后對(duì)每個(gè)類別中的像素計(jì)算平均灰度和平均坐標(biāo)作為對(duì)應(yīng)圖像塊的灰度值和空間坐標(biāo)，分割結(jié)果見(jiàn)圖2.

2.2.3 基于小塊的顯著性計(jì)算

接下來(lái)我們以圖像塊為單位計(jì)算獨(dú)特性與空間分布兩種特征以得到最后的顯著性檢測(cè)結(jié)果.獨(dú)特性與空間分布是由Perazzi等人[2]提出的兩種圖像特征，是定義于圖像塊的顏色與空間坐標(biāo)之上的兩種特征.對(duì)于我們的方法，兩種特征則是基于灰度與空間坐標(biāo)之上的.

獨(dú)特性：獨(dú)特性定義為小塊與其它圖像塊之間的灰度差異.考慮到圖像塊之間空間位置關(guān)系的不同，在計(jì)算小塊與其它小塊的灰度差時(shí)引入一個(gè)基于小塊之間空間距離的高斯權(quán)值，使得其它圖像塊對(duì)于當(dāng)前塊獨(dú)特性特征的貢獻(xiàn)受到兩者空間距離的影響.遠(yuǎn)的小塊貢獻(xiàn)較小，近的小塊貢獻(xiàn)較大.第i個(gè)小塊的獨(dú)特性Ui的定義見(jiàn)公式(3)：

(3)

其中，Ii為第i個(gè)小塊的灰度值，N為分割得到的圖像塊數(shù)目，w(pi,pj)為基于空間坐標(biāo)距離的高斯權(quán)重，定義見(jiàn)式(4)：

(4)

其中，pi為第i個(gè)小塊的空間坐標(biāo)，高斯權(quán)重的參數(shù)σp=122，Zi為規(guī)范化系數(shù).

空間分布：考慮到圖像中灰度的空間分布不同，對(duì)于一種灰度，更為緊湊的空間分布通常代表著更有可能屬于目標(biāo)區(qū)域，而更為分散的分布則代表更有可能屬于背景.因此，空間分布定義為小塊與其它圖像塊的空間差異，并用灰度差異設(shè)計(jì)高斯權(quán)重.第個(gè)小塊的空間分布Di的定義見(jiàn)公式(5)：

(5)

其中，w(Ii,Ij)為基于灰度差異的高斯權(quán)重，定義見(jiàn)式(6):

(6)

其中，μi為第i個(gè)圖像塊的鄰域塊的空間坐標(biāo)加權(quán)和，定義見(jiàn)公式(7)：

(7)

2.2.4 特征融合

在得到獨(dú)特性與空間分布兩個(gè)特征后需要將兩者結(jié)合起來(lái)得到最終顯著性值，由于空間分布所占比重較大所以將空間分布用指數(shù)函數(shù)表示，如公式(8)：

(8)

2.2.5 顯著性分配

得到各圖像塊的顯著性值之后，需要將顯著性值分配給個(gè)小塊內(nèi)的每個(gè)像素.但是將小塊的顯著性值直接賦值給所包含的像素會(huì)引入分割帶來(lái)的誤差.因此，我們定義像素的顯著性為它周圍小塊的顯著性的加權(quán)和.公式見(jiàn)式(9):

(9)

3 實(shí)驗(yàn)分析

所有試驗(yàn)均在ASD[3]測(cè)試集上進(jìn)行.ASD測(cè)試集是由MSRA測(cè)試集中選出的1000張自然圖像組成的測(cè)試集.Achanta等人[3]提出了對(duì)應(yīng)于ASD數(shù)據(jù)集的Groundtruth圖.硬件環(huán)境：AMD PhenomTMⅡ×4955 Processor 3.20GHz,3GB RAM.軟件環(huán)境：Win7旗艦版，Microsoft Visual Studio 2012 Utimate.

我們通過(guò)計(jì)算查準(zhǔn)率與查全率(precision，recall)來(lái)評(píng)估方法的性能.Achanta等人在文[3]中提出了對(duì)應(yīng)于Liu等人在文[5]中提出的包含1000幅圖的數(shù)據(jù)庫(kù)的Groundtruth圖.為了可靠的比較幾種顯著性檢測(cè)方法高亮化顯著性目標(biāo)的效果，參考文[3]的方法，得到相應(yīng)的ROC(受試者工作特征曲線)與PR(Precision-Recall)曲線并計(jì)算AUC(ROC曲線下面積)值.

3.1 本方法的性能測(cè)試

在進(jìn)行預(yù)處理時(shí)需要建立高斯掩模圖像，其中重要的是需要設(shè)置高斯函數(shù)的σ值.不同的σ值會(huì)影響高斯圖的范圍.由圖3可見(jiàn)，較大的σ值會(huì)減弱對(duì)背景的抑制效果，而較小的σ值則會(huì)抑制目標(biāo)區(qū)域.因此針對(duì)不同的σ值進(jìn)行顯著性檢測(cè)并將結(jié)果的AUC值進(jìn)行對(duì)比，結(jié)果見(jiàn)表1.

從左到右σ依次取50,100,150,300，實(shí)驗(yàn)發(fā)現(xiàn)σ=100時(shí)效果最好圖3 不同σ時(shí)顯著區(qū)域預(yù)處理結(jié)果圖Fig.3 Salient region preprocessing results with different σ

測(cè)試標(biāo)準(zhǔn)50100150300 AUC0.92820.96690.96650.9643

考慮到進(jìn)行超像素分割時(shí)，不同的超像素個(gè)數(shù)對(duì)顯著性檢測(cè)結(jié)果的影響，我們依次以不同超像素個(gè)數(shù)進(jìn)行測(cè)試，以AUC值作為對(duì)比指標(biāo)，結(jié)果見(jiàn)表2.

表2 不同超像素個(gè)數(shù)下檢測(cè)結(jié)果的AUC值對(duì)比

由表2可見(jiàn)，超像素個(gè)數(shù)對(duì)于顯著性檢測(cè)結(jié)果有一定的影響.較少的圖像塊個(gè)數(shù)可能導(dǎo)致目標(biāo)邊緣細(xì)節(jié)的丟失，較多的圖像塊一方面增加了計(jì)算時(shí)間另一方面又保留了過(guò)多冗余細(xì)節(jié)，影響最終結(jié)果.實(shí)驗(yàn)中發(fā)現(xiàn)，超像素個(gè)數(shù)為500個(gè)左右時(shí)檢測(cè)效果最好.

3.2 與其它方法的對(duì)比

由于本文方法是以HC方法為基礎(chǔ)的，F(xiàn)T方法則單純基于全局特性計(jì)算顯著性，而RC與SF方法同樣利用了區(qū)域特性計(jì)算顯著性，與我們的方法的設(shè)計(jì)思想相近.因此利用文[3]中的方法，將我們的結(jié)果與FT、HC、RC、SF幾個(gè)方法的結(jié)果進(jìn)行比較，并計(jì)算ROC和PR曲線.HC、RC、FT結(jié)果由文[1]提供，SF結(jié)果由文[2]提供.圖4為效果對(duì)比圖.

a) FT結(jié)果 b) HC結(jié)果c )RC結(jié)果 d) SF結(jié)果e)本文結(jié)果f) Groundtruth圖4 不同顯著性檢測(cè)方法結(jié)果Fig.4 Saliency detection results of different method

與HC、RC、SF方法的ROC曲線與PR曲線對(duì)比見(jiàn)圖5，左圖為PR曲線，右圖為ROC曲線.

從圖5的效果對(duì)比可以發(fā)現(xiàn)，我們的方法在ROC和PR曲線上效果最好.并且從圖4中可以較為明顯地看到，本文結(jié)果更為接近Groundtruth.

我們的方法思路與SF方法非常相近，但是性能效果要優(yōu)于SF方法.此外，由于只是對(duì)灰度圖像進(jìn)行兩種特征的計(jì)算，而且超像素方法更為簡(jiǎn)單耗時(shí)較少.因此在算法的執(zhí)行時(shí)間上要少于SF方法.得到一幅顯著圖的平均時(shí)間對(duì)比見(jiàn)表3.

表3 各方法執(zhí)行時(shí)間對(duì)比

圖5 不同方法的PR與ROC曲線對(duì)比Fig.5 PR and ROC curve comparison of different method

4 結(jié)語(yǔ)

基于自底向上，數(shù)據(jù)驅(qū)動(dòng)的顯著性處理過(guò)程，使用HC方法計(jì)算基于全局顏色對(duì)比度的顯著性，引入?yún)^(qū)域顯著性計(jì)算過(guò)程，采用高斯掩膜進(jìn)行顯著區(qū)域預(yù)處理，運(yùn)用超像素分割方法將圖像分割為區(qū)域，以區(qū)域?yàn)閱挝换讵?dú)特性和空間分布兩個(gè)特征進(jìn)行顯著性計(jì)算，在均勻突出目標(biāo)區(qū)域的同時(shí)減弱了復(fù)雜圖像中背景的影響.經(jīng)過(guò)測(cè)試，并與幾種較好方法的結(jié)果進(jìn)行對(duì)比，取得了較好的結(jié)果與較短的計(jì)算時(shí)間.但是由于沒(méi)有考慮圖像的其它底層特征，對(duì)于一些圖像的檢測(cè)效果還不夠理想.在以后的研究工作中，將考慮引入更多底層特征進(jìn)行檢測(cè)，并加入自頂而下的檢測(cè)過(guò)程，實(shí)現(xiàn)多目標(biāo)的檢測(cè)與轉(zhuǎn)移.

參 考 文 獻(xiàn)

[1] Cheng M M, Zhang G X, Mitra N J, et al. Global Contrast based Salient Region Detection [C]// IEEE. International Conference on Computer Vision and Pattern Recognition. Colorado : IEEE, 2011 : 409-416.

[2] Perazzi Federico, Kr?henbühl Philipp, Pritch Yael, et al . Saliency Filters : Contrast Based Filtering for Salient Region Detection[C]// IEEE. International Conference on Computer Vision and Pattern Recognition. Rhode Island: IEEE, 2012: 16-21.

[3] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection [C]// IEEE. International Conference on Computer Vision and Pattern Recognition. Miami : IEEE, 2009 : 1597-1604.

[4] 王向陽(yáng), 楊紅穎, 鄭宏亮, 等. 基于視覺(jué)權(quán)值的分塊顏色直方圖圖像檢索算法[J]. 自動(dòng)化學(xué)報(bào), 2010, 36(10): 1489-1492.

[5] Liu T, Yuan Z, J Sun, et al. Learning to detect a salient object [J].IEEE Transations on Pattern Analysis and Machine Intelligence, 2011, 33(2): 353-367.

[6] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis [J]. IEEE Transations on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[7] Zhai Y,Shah M.Visual attention detection in video sequences using spatiotemporal cues[C]//ACM. The 14th Annual ACM International Conference on Multimedia. Santa Barbara: ACM, 2006: 815-824.