許永恩,馬漢杰,馮 杰,程 萍,楊芷婷

(浙江理工大學 信息學院,杭州 310018)

引言

當觀察者在觀察一幅圖像時會選擇性地忽略掉圖像中自己所不關注的區(qū)域,而關注那些自己感興趣的區(qū)域,這些感興趣的區(qū)域就是圖像處理中要模擬人的視覺注意機制提取的顯著性區(qū)域.人類視覺注意機制有兩種,其一是自下而上的注意機制,使用一幅圖像的各個初級底層特征,獲取顯著區(qū)域,進而獲得我們所需要的顯著圖.其二是自上而下的注意機制,基于人的主觀意識,人為的選擇顯著區(qū)域.由此得來的常見的顯著性檢測模型有：認知模型,信息論模型,圖論模型,頻域模型.在認知模型中最經典的算法模型就是Itti視覺注意計算模型,這種模型能夠通過普通的純數學方法來計算我們所需要的顯著區(qū)域,而不需要花費大量的時間來學習,但是計算過程和參數設置的繁瑣限制了其在更大范圍內的應用[1,2].張玉薇等提出了一種結合圖像邊緣檢測技術的基于Canny邊緣檢測的改良的Itti視覺注意計算模型[3].

而Canny算法存在一定的缺陷：邊緣檢測過程中定位精度較低的問題、容易出現漏檢的問題以及容易檢測出偽邊緣的問題等.本文在張玉薇等人研究的基礎上,主要對Canny邊緣檢測算法進行改進,提出一種建立在優(yōu)化后的Canny算法基礎上的Itti視覺注意計算模型,以期模型準確率、性能上的提升.本文算法實現步驟如圖1所示.

圖1 本文算法實現步驟

1 傳統(tǒng)Itti模型原理

1.1 Itti模型簡介

Itti模型理論是在1998年被提出[4],后來在2001年又得到了進一步的改進.

Itti視覺顯著性模型的基本思想是通過對一幅輸入圖像提取初級的3個視覺特征,接著建立各類特征的高斯金字塔,然后對高斯金字塔使用中央-周邊方法和歸一化方法獲取多個特征圖,最后將這些特征圖進行交叉尺度合并和歸一化操作得到相應的單特征維顯著圖,最后線性融合3張顯著圖得到我們所需要的整合的一張顯著圖.

1.2 Itti模型檢測步驟

(1)為了獲得亮度特征和顏色特征的九層金字塔,我們首先需要對r,g,b三通道做圖像降采樣,依次獲得 9個不同尺度的三通道圖像r(σ),g(σ),b(σ),其中σ∈{0～8}.

然后我們依次建立各類特征的九層高斯金字塔：

亮度特征公式：

顏色特征公式：

紅色：

綠色：

藍色：

黃色：

然后使用Gabor濾波器構建方向金字塔O(σ,θ),其中σ∈{0～8},θ∈{0°,45°,90°,135°}.

(2)接著,Itti算法利用中央—周邊(center-surround)方法對每一個特征都分別在特征金字塔的不同尺度間做相減計算從而得到對應的特征圖.然后將不同尺度的圖像調整到相同分辨率后再做點對點相減操作,這個過程用符號Θ表示.則具體計算公式為：

亮度特征圖：

紅/綠顏色特征圖：

藍/黃顏色特征圖：

方向特征圖：

(3)然后分別進行歸一化操作,該過程用符號N表示.接著對處理后的的42張?zhí)卣鲌D(亮度×6、顏色×12、方向×24)進行跨尺度合并(across-scale combinations)操作,即將多幅圖像的尺度調整到相同分辨率后再做點對點相加操作,這個過程用符號?表示,則亮度特征顯著圖、方向特征顯著圖、顏色特征顯著圖的計算如式(10)-式(12)所示：

亮度特征顯著圖：

顏色特征顯著圖：

方向特征顯著圖：

(4)對三張顯著圖進行歸一化(normalization)操作后進行線性合并得到最終的顯著圖,如式(13)所示,顯著圖使用勝者為王競爭機制,滿足返回抑制特點,找到注意點,然后循環(huán)下一個點.

2 傳統(tǒng)Canny算法的介紹與缺陷

2.1 傳統(tǒng)Canny算法簡介

傳統(tǒng)Canny邊緣檢測算法[5]通過尋找像素點局部最大值并沿著梯度方向比較其梯度值,確定高低閾值之間邊緣點.檢測步驟為：先對圖像進行灰度化處理,然后用高斯濾波對圖像降噪,接著計算圖像的梯度幅值和方向,再對圖像進行局部非極大值抑制處理,最后進行閾值篩選和邊緣連接就確定了我們所要找的邊緣.

2.2 傳統(tǒng)Canny算法的缺陷

(1)在圖像降噪處理時是使用高斯濾波來對原始圖像進行降噪處理,而其對圖像的降噪平滑處理在面對椒鹽噪聲時效果并不是特別理想,且邊緣保持的效果不好.

(2)在進行邊緣檢測時,是從水平和垂直兩個方向上采用2×2大小的模板通過derivative operator對濾波結果進行求導處理,從而計算出導數的幅值和相角.從兩個方向對圖像進行邊緣檢測,容易出現偽邊緣和漏檢現象.

(3)閾值篩選的過程中是通過人為的設定高、低閾值,將低閾值與高閾值中間的像素點確定為圖像的邊緣.而使用固定的閾值所引發(fā)的問題是,如果設置的高閾值太小會出現誤檢現象,太大則出現漏檢現象.而設置太大的低閾值會出現漏檢現象,太小會出現較多的誤檢.

3 優(yōu)化傳統(tǒng)Canny邊緣檢測算法

3.1 改進雙邊濾波對圖像平滑

雙邊濾波器算法利用某個像素點周圍像素點亮度值的加權平均來表示其強度,這一方面與高斯濾波相似.另一方面,雙邊濾波可以基于像素空間接近度和灰度相似性處理圖像,并去除噪聲,同時保持更多的圖像特征[6].雙邊濾波相比高斯濾波可以更好的保持邊緣(edge perseving),對于圖像模糊來說雙邊濾波可以有更好的效果.雙邊濾波在采樣時考慮像素的歐氏距離、空間距離關系以及像素范圍域(range domain)R中的輻射差異,因而相比起高斯濾波來說,可以更好的保持邊緣.

通常雙邊濾波可以用一個公式來定義.如式(14)：

其中,Wp的公式為：

其中,Iq為輸入圖像中的某個位置上的像素值,Ip是濾波后圖像.Wp是一個標準量,用于歸一化權重和.||p-q||表示的是兩個值p、q之間的歐式距離.Gσc(||p-q||)表示的是像素之間的空間距離關系,可以有效的減少遠距離像素對我們處理中的原圖像像素的影響.Gσs(|Ip-Iq|)表示的是像素范圍域中的輻射差異,可以有效的減少灰度值不同于我們處理中的原圖像某位置像素的像素所帶來的影響.

傳統(tǒng)的雙邊濾波算法的性能并不是很高,因為其算法過程中的參數必須要人手動設置,這樣就導致參數是憑借人的經驗值來設定的,而且設定后就是固定的值,不具有通用性.孟慶順等針對傳統(tǒng)算法中參數值的設定太依賴于人工經驗值設定以至于參數不夠合理的問題,提出了一種新的基于參數估計的自適應雙邊濾波算法[6],首先,對于雙邊濾波空間標準差σc的設定,我們可以引入灰度共生矩陣的慣性矩特征值,然后通過拉普拉斯進行快速估計整幅圖像的各個光滑區(qū)域噪聲標準差σn’,接著噪聲標準差σn的取值就可以取為σn’的平均值,從而實現了對灰度標準差σs的自適應設置.相比于使用傳統(tǒng)的雙邊濾波算法來改進性能,我們參考文獻[6]提出的算法來執(zhí)行平滑處理,效果對比如圖2所示,3種濾波方法的圖像峰值信噪比(PSNR)和運行時間的比較,如表1所示,改進后的雙邊濾波算法可以獲得更好的效果.

圖2 圖像平滑處理對比圖

表1 3種濾波的PSNR和運行時間對比結果

3.2 改進計算梯度幅值和方向

傳統(tǒng)的Canny算法在計算梯度幅值的時候是利用一個2×2大小的模板矩陣,這樣容易受到噪聲的影響,不能很精確地檢測出邊緣.所以本文在此基礎上借鑒Sobel算子,用4個3×3大小的模板矩陣分別從X、Y、45°和135° 4個方向對原圖進行卷積計算,得出圖像梯度幅值,在實驗中有效的降低了噪聲敏感度并在一定程度上提高了邊緣定位的精度[7],4個模板如圖3所示.

圖3 方向模板

用圖3(b)中的4個模板矩陣對濾波后圖像進行卷積計算獲得4個方向梯度分量的公式如式(16)-式(19)：

X方向梯度分量：

Y方向梯度分量：

45 °方向梯度分量：

135 °方向梯度分量：

從上面4個方向的梯度分量來獲得梯度幅值和梯度角度,公式如下[7,8]：

改進后的梯度計算方法綜合考慮像素8鄰域內X方向、Y方向、45°和135° 4個方向的梯度幅值,提高了邊緣定位的精度,同時也對錯檢率進行了一定的降低,也減少了邊緣丟失現象,如圖4.

圖4 改進后的Sobel各方向梯度圖

3.3 改進OTSU算法選取雙閾值

在眾多閾值選取的算法中,最早由OTSU在1978年提出的最大類間方差法這么多年以來一直是被大家使用最多的一種閾值選取方法[9-11].其基本思想是通過設定灰度閾值與圖像中的像素點進行比較后把圖像分成兩個部分(前景目標、背景),背景和前景目標之間的類間方差越大,說明背景和前景目標在圖像中的差別越大,而類間方差越小則說明背景和前景目標在圖像中的差別越小,從而降低了圖像分割的準確性.因此,當背景類與前景目標類的類間方差趨近于最大的時候,將此時的灰度等級值用來作為圖像分割的閾值能夠大大提高圖像分割的準確性.

OTSU算法通過計算一幅圖像中所有灰度等級對應的類間方差值,取使得類間方差達到最大的像素值(灰度等級值)作為分隔高閾值,根據文獻[12]的研究顯示,當低閾值選取為高閾值的1/2時具有最好的分割結果,本文借鑒該結論,對低閾值的選取為高閾值的1/2.OTSU算法具體步驟如下：

假設一幅圖像I(M×N),記圖像中的某點的像素值為f(x,y),T為前景目標和背景的分割閾值,前景目標類所占圖像的比例為W0,前景目標類灰度均值為U0；背景類所占整個圖像的比例為W1,背景類灰度均值為U1,則整個圖像的灰度均值Ur為：

則方差值 σ2為：

根據參考文獻[13]的研究,用式(24)代替式(23),可以大大優(yōu)化并縮短大津法的計算過程.

接著最大化類間方差函數,當σ2的值達到最大的時候,說明此時前景目標類與背景類最容易區(qū)分開,因此此時分離前景目標與背景,準確率最高,所以當σ2達到最大值時,取對應的灰度值作為最佳閾值(高閾值),低閾值則參照文獻[12]取為高閾值的一半.

4 基于改進邊緣檢測的視覺注意計算模型的實現

傳統(tǒng)Itti視覺顯著性模型通過對一幅輸入圖像提取顏色、亮度、方向3個特征并構建相應的高斯金字塔,然后對高斯金字塔使用中央-周邊方法和歸一化方法獲取多個特征圖,將這些特征圖進行交叉尺度合并和歸一化操作得到相應的單特征維顯著圖,再對3幅單特征維顯著圖用線性合并的處理方式進行合并處理得到最終的顯著圖.而本文改進的Itti模型是對圖像提取顏色、亮度、方向以及邊緣(利用改進Canny邊緣檢測算法)4個特征,然后構建4個特征的特征圖[14,15],最后獲得顯著圖.最終的顯著圖會受到一些細小物體的影響,我們可以通過面積法保留體積最大的連通區(qū)域,從而去除掉其余干擾點,獲得最終的顯著圖(如圖5).

5 改進模型驗證分析

利用本文提出的該種建立在優(yōu)化后的Canny算法基礎上的視覺注意計算模型算法對100幅圖像進行檢測,數據來源于相機拍攝和網絡下載.將本文算法與經典的Itti模型算法和基于傳統(tǒng)Canny邊緣檢測的視覺注意計算模型進行比較,其中3個實驗結果對比效果如圖6所示,對于100幅都是950×522的圖像進行測試后,準確率和耗時的分析如表2所示,本文算法耗時相對于傳統(tǒng)Itti計算模型來說有所提升,但是可以更加準確地檢測出目標區(qū)域,且具有更清晰的邊界,相對于傳統(tǒng)Itti計算模型準確率提升了15%,相對于基于傳統(tǒng)Canny邊緣檢測的視覺注意計算模型準確率提升了6%.

圖5 第一行為雙閾值處理效果圖,第二行為Canny邊緣檢測效果圖對比圖

6 結論

在傳統(tǒng)Itti視覺注意計算模型的基礎上,引入邊緣檢測,同時對于Canny邊緣檢測算法進行了優(yōu)化改進(改進雙邊濾波對圖像平滑,改進計算梯度幅值和方向,改進OTSU算法選取雙閾值),提出一種建立在優(yōu)化后的Canny算法基礎上的視覺注意計算模型,有效改善了顯著區(qū)域提取效果,使得顯著區(qū)域的提取更加準確、完整,同時提升了效率.

但是,該方法無法應用到復雜環(huán)境下多物體的檢測,對于復雜環(huán)境下的多物體能夠大體檢測識別卻無法精細區(qū)分,因此,如何精細區(qū)分并檢測出多個物體是下一步的研究重點.

圖6 不同算法效果圖

表2 準確率與耗時對比結果