孫君頂, 張 毅, 李海華
(1.河南理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 焦作 454000;2. 河南理工大學(xué) 物理與電子信息學(xué)院, 焦作 454000)
圖像顯著性檢測(cè)是計(jì)算機(jī)視覺(jué)研究中非常重要的方向,利用顯著性檢測(cè)提取目標(biāo)圖像的顯著圖,這對(duì)分析目標(biāo)圖像不同區(qū)域的顯著程度至關(guān)重要,是圖像處理的基礎(chǔ)。目前,圖像顯著性檢測(cè)廣泛應(yīng)用于目標(biāo)定位檢測(cè)[1]、圖像分割[2]、視頻壓縮等領(lǐng)域。根據(jù)人類(lèi)視覺(jué)機(jī)制,目前圖像顯著性檢測(cè)算法主要分為自頂向下和自底向上的檢測(cè)算法,自底向上的檢測(cè)算法不依賴(lài)于預(yù)定義的任務(wù)或先驗(yàn)知識(shí),而是基于目標(biāo)圖像本身的屬性(顏色、邊緣稀疏等)特征整合圖像顯著性,而自頂向下的顯著性檢測(cè)算法主要依靠任務(wù)或知識(shí)驅(qū)動(dòng)進(jìn)行先驗(yàn)顯著性線索檢測(cè),其由于高層知識(shí)或任務(wù)的參加,檢測(cè)算法較為復(fù)雜,檢測(cè)時(shí)間較慢。在自底向上的檢測(cè)算法中大多采用單一或組合的顯著性特征線索表征顯著目標(biāo),比如文獻(xiàn)[3]提出了一種基于區(qū)域?qū)Ρ榷鹊姆椒▉?lái)對(duì)全局顯著性進(jìn)行建模檢測(cè);文獻(xiàn)[4]提出了一種多尺度超像素顯著性檢測(cè)算法,利用局部對(duì)比度、圖像完整性和中心偏差3個(gè)線索進(jìn)行圖像區(qū)域顯著性度量;文獻(xiàn)[5]根據(jù)局部區(qū)域背景-主體-背景的相鄰顏色差值進(jìn)行邊緣化,提出了一種自適應(yīng)閾值分割與局部背景線索結(jié)合的顯著性檢測(cè)算法;文獻(xiàn)[6]結(jié)合局部及全局特征提出了一種顯著性檢測(cè)算法;文獻(xiàn)[7]綜合利用邊界、全局和局部信息來(lái)提取多種顯著性特征,并在隨機(jī)場(chǎng)下進(jìn)行融合以實(shí)現(xiàn)顯著區(qū)域的檢測(cè);文獻(xiàn)[8]綜合考慮超像素區(qū)塊局部對(duì)比度、全局對(duì)比度以及空間分布關(guān)系來(lái)計(jì)算每個(gè)區(qū)塊的顯著值,利用融合結(jié)果來(lái)檢測(cè)圖像;文獻(xiàn)[9]提出了一種應(yīng)用局部和全局特征對(duì)比的顯著性檢測(cè)模型,通過(guò)計(jì)算顏色和紋理特征的局部對(duì)比度得到局部顯著圖,利用全局、空間分布特性得到全局顯著圖;文獻(xiàn)[10]在高層特征上重新定義了背景先驗(yàn)特征和中心先驗(yàn)特征,在低層特征上使用全局對(duì)比度和局部對(duì)比度,得到了高質(zhì)量的顯著圖。
上述這些算法都是結(jié)合高層或底層幾種特征來(lái)融合得到顯著圖,并且多采用線性融合策略。而單一或同類(lèi)幾種顯著特征無(wú)法全面表達(dá)圖像顯著性,顯著檢測(cè)精度普遍不高,針對(duì)于此,本文提出了一種融合高低層多種特征的顯著性檢測(cè)算法。
邊緣是圖像屬性與另一屬性交界,是圖像特征變化的集中區(qū)域,也是圖像背景與邊緣信息連通性最為緊密的地方。圖像邊界在圖像顯著性計(jì)算中起著至關(guān)重要的作用。設(shè)檢測(cè)圖像邊界區(qū)域?yàn)樽值銬=[d1,d2,...dn]∈Rm×n含有n個(gè)基礎(chǔ)信號(hào),每個(gè)信號(hào)是m維。稀疏系數(shù)χ∈Rn可通過(guò)求解L1范數(shù)最小化問(wèn)題:
(1)
上式中‖·‖1表示L1范數(shù),λ1為正則化系數(shù)。所以x≈x′=Dχ*,其中x′是x的近似表示。
若使用該邊界區(qū)域字典D進(jìn)行重建時(shí)誤差較小則該區(qū)域?qū)儆诒尘皡^(qū)域的可能性大,反之亦然。重建系數(shù)χi計(jì)算如下:
(2)
則邊界稀疏重建誤差εi計(jì)算如下:
(3)
根據(jù)文獻(xiàn)[11]可知,圖像顯著空間遵循一定的規(guī)律,距離圖像中心越近越能引起觀察者的注意,基于此利用分割區(qū)域與圖像中心點(diǎn)間距離來(lái)提取顯著特征Tcenter(i):
(4)
(5)
μ=(0.5,0.5)表示圖像中心的二維坐標(biāo),參數(shù)k為位置控制系數(shù),c(i)表示分割區(qū)域Ri所有像素坐標(biāo)中心,Lp表示像素p的空間二維坐標(biāo),Ui表示分割區(qū)域Ri所有像素個(gè)數(shù)。
結(jié)合以上邊界稀疏重建誤差εi和圖像先驗(yàn)中心理論,則邊界稀疏性特征Ti(1):
Ti(1)=εi·Tcenter(i),
(6)
幾乎所有顯著性檢測(cè)算法都會(huì)利用不同的顏色體系計(jì)算顏色對(duì)比度,主要利用RGB或Lab兩種顏色體系。文獻(xiàn)[12]提出了一種利用RGB、Lab兩種顏色體系與區(qū)域分割相結(jié)合的全局對(duì)比度特征提取方法。本文借鑒該方法對(duì)圖像的分割結(jié)果{R1,R2,...,RNum}進(jìn)行區(qū)域?qū)Ρ榷忍卣饔?jì)算:
(7)
ψ(Ri,Rj)=‖Averlab(Ri)-Averlab(Rj)‖+
η‖AverRGB(Ri)-AverRGB(Rj)‖,
(8)
其中:?(Ri,Rj)表示分割區(qū)域Ri,Rj間的空間幾何距離,ψ(Ri,Rj)表示分割區(qū)域Ri,Rj間的空間顏色距離,Averlab(·)和AverRGB(·)為計(jì)算平均顏色函數(shù),pf表示像素p的顏色向量。參數(shù)η為控制顏色體系RGB、Lab在計(jì)算全局對(duì)比特征中的比重,本文將η設(shè)置為0.5?;谌謱?duì)比度特性得到的圖像顯著性特征圖如圖1所示。
圖1 基于全局對(duì)比度的顯著性特征圖Fig.1 Saliency feature map based on global contrast
(10)
這里設(shè)置高斯混合模型中分量值g最大值為6,本文采用文獻(xiàn)[13]中同樣方法對(duì)高斯混合模型進(jìn)行初始化,并使用EM算法訓(xùn)練高斯混合模型中的各參數(shù)。將高斯混合模型中第g過(guò)分割區(qū)域的水平方差Dx(g)定義如下:
(11)
(12)
(13)
(14)
則第g個(gè)高斯成分整體空間的分布方差Dxy(g)定義如下:
Dxy(g)=Dx(g)+Dy(g),
(15)
下面需要對(duì)公式(11)、(14)和(15) 3種方差進(jìn)行歸一化,計(jì)算如下:
(16)
通過(guò)上式可以看出分布方差大的區(qū)域顏色空間分布較為廣泛,顯著目標(biāo)存在的可能性較小,分布方差小的區(qū)域顏色空間分布較為集中,顯著目標(biāo)存在的可能性較大。設(shè)置區(qū)域顏色空間分布控制權(quán)值δ,水平、垂直、綜合區(qū)域顏色空間分布顯著性特征計(jì)算如下:
(17)
(18)
(19)
圖2 基于顏色空間分布的圖像顯著圖Fig.2 Image saliency map based on color spatial distribution
超像素分割(Simple Linear Iterative Clustering)是一種簡(jiǎn)單的、方便的分割方法,是圖像處理過(guò)程中重要的技術(shù)手段[14]。本文基于超像素級(jí)來(lái)計(jì)算目標(biāo)圖像的差異性特征。
超像素差異性表現(xiàn)為超像素i在位置和顏色空間中相對(duì)于其他超像素分割的差別。d(i,j)表示超像素i與超像素j在位置和顏色空間中的距離:
(20)
上式中dc(i,j)表示超像素i與超像素j在Lab顏色空間歸一化距離,dp(i,j)表示超像素i與超像素j的中心距離,β為調(diào)解參數(shù),取值為2。計(jì)算全局的超像素差異性:
(21)
超像素差異性定義為:
(22)
上式中σu為高斯密度標(biāo)準(zhǔn)差?;诔袼夭町愋蕴卣鞯玫降娘@著性特征圖如圖3所示。
圖3 基于像素差異的圖像顯著圖Fig.3 Image saliency map based on pixel difference
利用超像素分割算法對(duì)目標(biāo)圖像進(jìn)行超像素分割,通過(guò)粗選背景集、精選背景集和顯著值計(jì)算3步得到背景先驗(yàn)顯著圖。
3.1.1 粗選背景集
從左至右、從上至下對(duì)目標(biāo)圖像進(jìn)行掃描,取目標(biāo)圖像周邊一圈20個(gè)像素作為邊界區(qū)域背景混合區(qū)B0,背景混合區(qū)橫縱坐標(biāo)范圍:
(23)
上式中W、H表示目標(biāo)圖像的寬和高,將這些邊界定義為粗選背景集B0={pi|pi∈Q}。
3.1.2 精選背景集
由于顯著目標(biāo)不一定居于目標(biāo)圖像的中心,有可能接近于邊界區(qū)域,為了進(jìn)一步突出顯著性目標(biāo),要對(duì)粗選背景集做進(jìn)一步篩選,計(jì)算粗選背景集各超像素pi的Tboundary(i):
(24)
(25)
3.1.3 計(jì)算顯著值
對(duì)目標(biāo)圖像中的每個(gè)超像素pi在背景超像素集B下計(jì)算顯著值:
(26)
(27)
一般拍攝者都希望將所拍攝的目標(biāo)放在圖像的中心區(qū)域,但實(shí)際并非都如此,若直接將目標(biāo)圖像的中心作為顯著目標(biāo)的中心會(huì)導(dǎo)致顯著性目標(biāo)檢測(cè)出現(xiàn)偏差。本文將前節(jié)得到的背景先驗(yàn)顯著圖中的質(zhì)心作為顯著目標(biāo)的中心,提出一種新的中心先驗(yàn)顯著方法。本方法將越靠近顯著目標(biāo)中心的超像素設(shè)置越高的顯著值,對(duì)所有超像素顯著值使用高斯分布求解中心先驗(yàn)。超像素pi中心顯著值計(jì)算如下:
(28)
(29)
文章分別求出4種低層顯著特征值和2種高層先驗(yàn)特征值。但某些性質(zhì)相似的分割區(qū)域在不同求取方法下得到的顯著特征值差異較大,為了降低各顯著特征在融合時(shí)的差異,需對(duì)不同顯著特征進(jìn)行歸一化處理。
首先將Ti(1)、Ti(2)、Ti(3)、Ti(4)、TB(i)、TC(i)這6幅顯著圖統(tǒng)一歸一化到區(qū)間[0,1]內(nèi),利用最大類(lèi)間方差法(Ostu)對(duì)得到的6幅顯著圖所有顯著值進(jìn)行閾值求解,得到類(lèi)間差異最大的閾值T′,對(duì)于第m個(gè)顯著圖中的像素(x,y),當(dāng)其顯著值TN(x,y)在6幅顯著圖中均大于類(lèi)間差異閾值T′時(shí),表示像素(x,y)確處于顯著區(qū)域,融合采用線性策略;反之,則表示像素(x,y)并不處于顯著區(qū)域,融合采用非采用線性策略。設(shè)像素(x,y)最終的顯著值為T(mén)(x,y),則:
(30)
(31)
(32)
公式(31)中γN為非線性融合時(shí)的融合系數(shù),其表示第N個(gè)顯著特征圖中水平和垂直方向標(biāo)準(zhǔn)差加權(quán)之和,公式(32)分別為第N個(gè)顯著特征圖中橫縱坐標(biāo)在水平和垂直方向上的加權(quán)平均值。
為驗(yàn)證本文所提算法的性能,將本文算法與AC算法[15]、CA算法[16]、LC算法[17]、HC算法[18]、GC算法[3]、SF算法[19]、文獻(xiàn)[20]、文獻(xiàn)[6]進(jìn)行顯著性檢測(cè)實(shí)驗(yàn)。上述對(duì)比算法中LC、HC、GC、SF是基于全局特征對(duì)比類(lèi)型,AC和CA屬于局部特征對(duì)比類(lèi)型,文獻(xiàn)[6]和[20]屬于多特征融合類(lèi)型算法。本文從主觀視覺(jué)和定量對(duì)比兩方面分析實(shí)驗(yàn)結(jié)果。
實(shí)驗(yàn)硬件環(huán)境為Intel(R) Core(TM) i7-7700U@3.6GHz,RAM:8GB,軟件編程環(huán)境為:Windows 7操作系統(tǒng),Visual Studio 2013 開(kāi)發(fā)工具,使用C++進(jìn)行編程實(shí)現(xiàn)。實(shí)驗(yàn)在MSRA-1000[22]、SED[23]和SOD[24]3個(gè)國(guó)際公開(kāi)的顯著性檢測(cè)數(shù)據(jù)集上進(jìn)行。
本文采用PR曲線(查全率-查準(zhǔn)率曲線)、平均絕對(duì)誤差(MAE,Mean Absolute Error)、F-measure值和AUC值(Area Under the ROC Curve)等4種評(píng)價(jià)指標(biāo)對(duì)各顯著性檢測(cè)算法進(jìn)行定量分析。
4.1.1 PR曲線
查全率(Recall)和查準(zhǔn)率(Precision)被廣泛應(yīng)用于顯著性檢測(cè)算法的結(jié)果評(píng)價(jià)中。經(jīng)顯著性檢測(cè)算法得到顯著圖T(x,y),采用固定閾值將其轉(zhuǎn)化成二值圖像M(x,y),利用二值圖像M(x,y)和人工標(biāo)記G(x,y)計(jì)算查全率R和查準(zhǔn)率P,查全率R和查準(zhǔn)率P計(jì)算公式如下:
(33)
PR曲線是以固定閾值轉(zhuǎn)化后的二值圖像計(jì)算得到查全率R和查準(zhǔn)率P,并以此畫(huà)出曲線,如果曲線起始高,后期曲線越平穩(wěn)檢測(cè)算法越好。
4.1.2 F-measure值
F-measure值就是查全率R和查準(zhǔn)率P的加權(quán)調(diào)和平均,本文采用文獻(xiàn)[21]提出的動(dòng)態(tài)閾值二值化顯著圖T(x,y),動(dòng)態(tài)閾值ψ及F-measure計(jì)算如下:
(34)
(35)
上式中參數(shù)β2一般取值為0.3。數(shù)據(jù)集中的F-measure值為數(shù)據(jù)集中每幅目標(biāo)圖像的平均值,其值是對(duì)查全率R和查準(zhǔn)率P的綜合,越大越好。
4.1.3 AUC值
AUC被定義為ROC曲線下的面積,是一種度量分類(lèi)模型好壞的標(biāo)準(zhǔn)。又由于ROC曲線一般都處于y=x的上方,所以AUC的取值范圍一般在0.5~1之間。通俗的說(shuō)AUC值越大顯著性檢測(cè)的正確率越高。
4.1.4 MAE值
KMAE是算法得出的顯著圖與人工標(biāo)記間的平均絕對(duì)誤差,計(jì)算公式如下:
(36)
通過(guò)上式可知KMAE值描述的就是顯著圖與人工標(biāo)注的相似程度,其值越小越好。
本文選取的3個(gè)數(shù)據(jù)集可分成兩組,MSRA-1000和SED數(shù)據(jù)集為一組主要包括單個(gè)顯著性目標(biāo),目標(biāo)邊緣清晰、語(yǔ)義明確,顯著性識(shí)別相對(duì)較易;另一組SOD數(shù)據(jù)集顯著目標(biāo)紛雜,目前顯著性檢測(cè)算法對(duì)此數(shù)據(jù)集的檢測(cè)效果與前兩種數(shù)據(jù)集相比較差。首先將本文算法與其他8種算法在MSRA-1000數(shù)據(jù)集上進(jìn)行顯著性檢測(cè),MSRA-1000數(shù)據(jù)集含有1 000幅自然圖像,是現(xiàn)階段圖像顯著性檢測(cè)的默認(rèn)數(shù)據(jù)庫(kù),人工標(biāo)記的分割結(jié)果由文獻(xiàn)[21]提供,檢測(cè)結(jié)果如圖4所示。
圖4 各種算法在MSRA-1000數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.4 Comparison of the indicators of the algorithms on MSRA-1000 data set
通過(guò)對(duì)比以上檢測(cè)結(jié)果看出:各顯著性檢測(cè)算法都能大概檢測(cè)出目標(biāo)圖像的顯著性目標(biāo),CA算法總體較差,顯著性目標(biāo)檢測(cè)結(jié)果邊緣較為模糊;LC、AC、GC、SF等算法或多或少在顯著性目標(biāo)檢測(cè)時(shí)會(huì)將背景信息誤檢測(cè)為顯著目標(biāo)區(qū)域;文獻(xiàn)[21]在檢測(cè)背景與目標(biāo)顏色差別較大的目標(biāo)檢測(cè)圖(如第1、2、4、5、6、8幅圖)時(shí)能準(zhǔn)確地檢測(cè)出顯著目標(biāo),但對(duì)于背景與目標(biāo)顏色差別較小的目標(biāo)圖像,顯著性檢測(cè)效果稍差;文獻(xiàn)[6]能大部分檢測(cè)出目標(biāo)圖像的顯著性目標(biāo),但在處理顏色空間對(duì)比度較高的背景區(qū)域時(shí)有時(shí)會(huì)誤凸顯,這是由于算法雖然融合了多種顯著特征,但其只注重于底層特征的融合,對(duì)于高層先驗(yàn)信息并沒(méi)有有效融合;本文顯著性檢測(cè)結(jié)果與人工標(biāo)注的重合度比較高,不僅能有效的將圖像中的顯著性目標(biāo)檢測(cè)出來(lái),還能與人眼的視覺(jué)注意點(diǎn)吻合。各算法在SOD數(shù)據(jù)集上的顯著性檢測(cè)結(jié)果如圖5所示。
圖5 各種算法在SOD數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of various algorithms on SOD datasets
LC算法顯著性檢測(cè)結(jié)果較差,在抑制背景的同時(shí),目標(biāo)也被抑制了;SF算法雖然能將背景抑制徹底,但是目標(biāo)輪廓提取較寬泛;CA算法能基本檢測(cè)到顯著目標(biāo),但是在目標(biāo)和背景相似的顯著區(qū)域檢測(cè)效果不佳;AC、GC、HC、文獻(xiàn)[20]和文獻(xiàn)[6]都能基本檢測(cè)出顯著性目標(biāo),但在背景和目標(biāo)相近的顏色區(qū)域,算法或多或少將背景信息誤檢測(cè)成目標(biāo);本文算法能在復(fù)雜背景下較好的檢測(cè)出顯著性目標(biāo),邊界輪廓基本清晰。
視覺(jué)對(duì)比因觀察者的感官而有差別,不能作為評(píng)價(jià)顯著性檢測(cè)算法好壞的唯一標(biāo)準(zhǔn)。為了定性的比較各顯著性檢測(cè)算法的檢測(cè)效果,將本文算法與其他顯著性檢測(cè)算法進(jìn)行定量計(jì)算。
4.2.1 不同算法在MSRA數(shù)據(jù)集上的性能
將不同顯著性算法在單個(gè)顯著性目標(biāo)數(shù)據(jù)集MSRA上進(jìn)行定量計(jì)算,圖6為各算法4種評(píng)價(jià)指標(biāo)對(duì)比結(jié)果,(a)為PR曲線,(b)為F-measure值,(c)為MAE值,(d)為AUC值。
圖6 各算法在MSRA-1000數(shù)據(jù)集上的指標(biāo)對(duì)比Fig.6 Comparison of the indicators of the algorithms on MSRA-1000 data set
從圖6各評(píng)價(jià)指標(biāo)的對(duì)比中可以看出,對(duì)于單個(gè)顯著性目標(biāo)MSRA數(shù)據(jù)集,各顯著性檢測(cè)算法檢測(cè)效果普遍較好,指標(biāo)評(píng)價(jià)情況與圖5視覺(jué)顯著性檢測(cè)結(jié)果一致。與效果較好的文獻(xiàn)[20]相比,查全率、查準(zhǔn)率至少提高了3.4%。
4.2.2 不同算法在SOD數(shù)據(jù)集上的性能
將不同顯著性算法SOD數(shù)據(jù)集上進(jìn)行定量計(jì)算,圖7為各算法4種評(píng)價(jià)指標(biāo)對(duì)比結(jié)果。
圖7 各算法在SOD數(shù)據(jù)集上的指標(biāo)對(duì)比Fig.7 Comparison of indicators of algorithms on SOD data set
從圖7各評(píng)價(jià)指標(biāo)的對(duì)比中可以看出,對(duì)于識(shí)別圖像比較復(fù)雜的SOD數(shù)據(jù)集,各顯著性檢測(cè)算法檢測(cè)效果普遍較差,但本文算法融合了多種顯著特征,總體上較其他算法有較大的提高,查準(zhǔn)率為65%,相較于在其他算法至少提高了12%,這與視覺(jué)顯著性檢測(cè)結(jié)果也是基本一致的。
綜合兩個(gè)數(shù)據(jù)集上的定量指標(biāo)對(duì)比,我們可以看出本文算法無(wú)論對(duì)邊緣清晰、顏色分明的單目標(biāo)數(shù)據(jù)集還是對(duì)顏色相近、目標(biāo)難辨的復(fù)雜數(shù)據(jù)集都能有較好的顯著性識(shí)別結(jié)果,這是由于算法融合了底層和高層顯著特征,針對(duì)差異較大的顯著特征值,為了降低各顯著特征在融合時(shí)的差異,本文采用線性和非線性融合策略,確保顯著目標(biāo)識(shí)別的精確。
4.2.3 時(shí)間復(fù)雜度對(duì)比
將各算法在MSRA-1000數(shù)據(jù)集上運(yùn)行,硬件環(huán)境如前節(jié)所述,各算法的平均運(yùn)行時(shí)間如表1所示。
表1 各算法平均運(yùn)行時(shí)間Tab.1 Average running time of each algorithm
由于是多特征融合進(jìn)行顯著特征提取,使得本算法的計(jì)算開(kāi)銷(xiāo)相對(duì)較大,相對(duì)比文獻(xiàn)[6]、文獻(xiàn)[20]、AC、SF等算法,本文的計(jì)算運(yùn)行時(shí)間較短,但與LC、CA、GC算法相比,運(yùn)行時(shí)間略長(zhǎng),針對(duì)于此,后期可以通過(guò)并行計(jì)算策略降低運(yùn)行時(shí)間。
針對(duì)單一或同類(lèi)幾種顯著特征無(wú)法全面表達(dá)圖像顯著性,顯著檢測(cè)精度不高等問(wèn)題,本文提出了一種融合高低層多種特征的顯著性檢測(cè)算法。算法利用類(lèi)間差異閾值以線性和非線性策略融合2種高層先驗(yàn)特征4種低層圖像特征,從而獲得高質(zhì)量的目標(biāo)圖像顯著圖。通過(guò)實(shí)驗(yàn)對(duì)比可以得出本文算法在有效抑制背景信息的同時(shí)所得顯著圖像視覺(jué)感知更好。但算法運(yùn)行所需時(shí)間稍長(zhǎng)。利用并行策略進(jìn)一步降低運(yùn)行時(shí)間是本文下一步的研究重點(diǎn)。