吳月娥 邊后琴

摘 要:針對(duì)在傳統(tǒng)機(jī)器視覺(jué)研究中,尺度、顯著性和物體識(shí)別多數(shù)被分開(kāi)研究的現(xiàn)狀,首先分析三者之間的內(nèi)在聯(lián)系和相互關(guān)系,得出應(yīng)該在一個(gè)框架中來(lái)研究它們的結(jié)論;然后討論視覺(jué)中的尺度空間表示方法、顯著性度量方法。最后選取強(qiáng)度、顏色和方向三種特征以及尺度引導(dǎo)注意,建立一個(gè)自下而上的結(jié)合尺度與特征引導(dǎo)的計(jì)算模型,并給出仿真實(shí)驗(yàn)結(jié)果。[JP]

關(guān)鍵詞:協(xié)同模式識(shí)別;主動(dòng)視覺(jué);視覺(jué)選擇性注意機(jī)制;尺度空間

中圖分類號(hào):TP391

0 引 言

目前主動(dòng)視覺(jué)是機(jī)器視覺(jué)研究的熱點(diǎn)和發(fā)展方向。其核心內(nèi)容是為了完成給定的視覺(jué)任務(wù),如何主動(dòng)、智能、有選擇地獲取視覺(jué)信息;從計(jì)算的觀點(diǎn)來(lái)說(shuō),就是要建立視覺(jué)選擇性注意機(jī)制的計(jì)算模型,對(duì)圖像數(shù)據(jù)進(jìn)行顯著性度量。

機(jī)器視覺(jué)要完成從2D圖像出發(fā)對(duì)場(chǎng)景進(jìn)行理解,而2D圖像本身作為對(duì)應(yīng)3D場(chǎng)景的一個(gè)不可逆透射變換,它對(duì)場(chǎng)景的描述形式表現(xiàn)為數(shù)值矩陣形式,所有的信息都隱藏在里面,為此機(jī)器視覺(jué)算法的基本要求就是要能從這種原始以矩陣形式表示的2D圖像數(shù)據(jù)中提取“有意義”的描述。其中的關(guān)鍵問(wèn)題是:到底什么是“有意義”的,以及其描述的形式或模型是什么。顯然這兩個(gè)問(wèn)題都跟具體的視覺(jué)任務(wù)有關(guān),最基本的任務(wù)就是視覺(jué)物體識(shí)別,為了識(shí)別,一個(gè)前提是要能從圖像中分離出物體出來(lái),即前景/背景分離,前景構(gòu)成對(duì)圖像的一種“有意義”描述,而視覺(jué)選擇性注意機(jī)制的計(jì)算模型是實(shí)現(xiàn)得到這種描述的一種有效模型,為此要對(duì)圖像進(jìn)行顯著性度量;同時(shí)所得前景以及其各種特征只在一定的有限的尺度范圍內(nèi)才是“有意義”的,即尺度也是描述的┮桓霆重要參數(shù),所以尺度、顯著性和物體識(shí)別對(duì)一個(gè)描述模型來(lái)說(shuō)是密不可分。

1 視覺(jué)中的尺度空間的表示

圖像中的尺度問(wèn)題可以理解為成像所使用的孔徑/光圈的大小,以及成像設(shè)備和物體之間的距離的綜合作用在透射投影下賦予物體的像的一個(gè)固有屬性。一幅自然場(chǎng)景的2D圖像中包括各種不同大小的物體的像,預(yù)先并不知道有哪些尺度,為了從圖像出發(fā)去理解場(chǎng)景,必須要在各個(gè)尺度上對(duì)圖像進(jìn)行表示和分析處理,即多尺度表示和分析[7,8]。將尺度作為一個(gè)自由參量引入圖像中。多尺度表示方法由來(lái)已久,主要有兩種:四叉樹(shù)和金字塔。

尺度空間表示的一般方法是:將尺度作為一個(gè)自由參量引入到原始玁維信號(hào)(如2D圖像)中,得到一個(gè)┆玁+1維的信號(hào),所得信號(hào)在尺度維上滿足一個(gè)擴(kuò)散方程,該擴(kuò)散方程是一個(gè)以原始信號(hào)為初始狀態(tài)的偏微分方程(PDE),稱所得信號(hào)為原始信號(hào)的尺度空間表示;根據(jù)擴(kuò)散方程的線性和非線性可以將尺度空間表示區(qū)分為線性尺度空間和非線性尺度空間;在尺度維上,信號(hào)表現(xiàn)出一種由細(xì)到粗的過(guò)程,一個(gè)基本要求就是在粗的尺度上,信號(hào)中不能出現(xiàn)新的結(jié)構(gòu)[1,3]。記原始圖像為I(x,y)∈[WTHZ]R[WTBX],(x,y)∈[WTHZ]Z[WTBX],尺度記為t∈[WTHZ]R[WTBX]+,圖像尺度空間表示為:

式中:玊為尺度空間變換,尺度玹的初始值為原始圖像中的尺度,為了數(shù)學(xué)上分析方便一般可認(rèn)為為0。┩1(a)為尺度空間表示示意圖;圖1 (b)為L(zhǎng)ena圖像的尺度空間表示。玊滿足的擴(kuò)散方程為:

式中:[WTHX]J[WTBX]=-[WTHX]D[WTBX]齌是獸lick法則,表示擴(kuò)散的平衡特性;[WTHX]D[WTBX]是一個(gè)正定對(duì)稱矩陣表示擴(kuò)散張量。如果[WTHX]J[WTBX]和齌平行,則表示擴(kuò)散是各向同性的,這時(shí)[WTHX]D[WTBX]可用一個(gè)正常數(shù)g來(lái)代替,反之為各向異性。若[WTHX]D[WTBX]是一個(gè)正常數(shù)(如常取1),則相應(yīng)的尺度空間為線性尺度空間;若[WTHX]D[WTBX]是一個(gè)與圖像結(jié)構(gòu)相關(guān)的標(biāo)量或向量函數(shù),則為非線性各向同性尺度空間或非線性各向異性尺度空間。И

尺度空間表示提供了一種對(duì)圖像進(jìn)行多尺度分析的基礎(chǔ)。但是在尺度空間中,想要得到“有意義”的描述還隱含于圖像數(shù)據(jù)中,所以重要的是如何利用尺度空間表示來(lái)產(chǎn)生更好、更有意義的描述,或者如何利用尺度來(lái)引導(dǎo)注意,計(jì)算圖像數(shù)據(jù)中自下而上的顯著性。

顯著性度量是實(shí)現(xiàn)引導(dǎo)視覺(jué)注意的最常用的方法。在數(shù)學(xué)形式上,顯著性度量函數(shù)其實(shí)就是從各種早期視覺(jué)特征圖到顯著圖的一個(gè)映射,它計(jì)算的核心在于如何進(jìn)行對(duì)比度計(jì)算,而不依賴于其具體的某種輸入。目前,顯著性度量共有七種方法,文中結(jié)合使用兩種方法:基于空間和特征整合的顯著性度量和基于尺度空間表示和信息論的顯著性度量。

2 視覺(jué)選擇性注意機(jī)制計(jì)算模型框架

視覺(jué)注意計(jì)算模型框架如圖2所示。針對(duì)隱式注意建立自下而上的結(jié)合尺度與特征共同引導(dǎo)的視覺(jué)注意計(jì)算模型,選擇使用強(qiáng)度、顏色和方向圖作為自下而上引導(dǎo)視覺(jué)注意的早期視覺(jué)特征,根據(jù)主尺度估計(jì)的結(jié)果建立它們的尺度空間表示,形成度量顯著性的高維空間。通過(guò)在所得高維空間中進(jìn)行顯著性度量來(lái)引導(dǎo)視覺(jué)注意,特征和尺度共同作用形成顯著圖,所得的顯著圖包括兩個(gè)部分:圖像中區(qū)域/物體的顯著性大小和它們的最佳尺度。オ[KH-1]

2.1 顏色特征圖提取

記r(t),g(t)和b(t)為原始圖像中的紅、綠和藍(lán)色通道。其中t表示尺度,可設(shè)原始圖像的尺度為0,則強(qiáng)度圖為I(t)=[r(t)+g(t)+b(t)]/3。首先,為了除去色調(diào)(Hue)的影響,使用I(t)對(duì)r(t),g(t)和b(t)通道進(jìn)行歸一化,然后可以得到如式(3)計(jì)算的廣義上的紅、綠、藍(lán)和黃四個(gè)通道。圖3所示分別為L(zhǎng)ena圖像的各個(gè)顏色特征分量。

2.2 方向特征圖提取

V1區(qū)是視覺(jué)信息處理的前端,它的數(shù)學(xué)模型通常用Gabor濾波器表示。Gabor函數(shù)是高斯函數(shù)調(diào)制的正弦和余弦函數(shù),相應(yīng)地構(gòu)成其偶小波和奇小波,它是能夠取得空域和頻域聯(lián)合測(cè)不準(zhǔn)原理下限的惟一函數(shù),且有很好的方向選擇性。二維Gabor濾波器的數(shù)學(xué)表達(dá)式如下

式中:(x0,y0)是空域中感受野中心;(ξ0,υ0)是濾波器在頻域上的最優(yōu)空間頻率。σ和β分別是x和y軸方向上高斯函數(shù)的標(biāo)準(zhǔn)差。通常取4個(gè)或8個(gè)方向的獹abor濾波器輸出作為方向特征圖:(i/N)π,N=4或8;i=0,1,2,3或i=0,1,2,…,7。圖

4是Lena圖像的┧母霆方向特征圖和相應(yīng)的Gabor函數(shù)。

2.3 顯著性度量函數(shù)

在經(jīng)過(guò)主特征圖提取以后,尺度為t的圖像中每個(gè)像素可以用一個(gè)含10個(gè)元素的張量來(lái)表示圖像描述模型。顯著性度量結(jié)果應(yīng)該包含兩個(gè)部分:一是,要得到圖像中哪些區(qū)域/物

式中:F用來(lái)度量這里所使用的描述玠escrip([WTHX]s[WTBX])表示圖像信號(hào)的符合性如何;顯著性與玠escrip([WTHX]s[WTBX])表示圖像信號(hào)的符合性成反比。顯著性度量的難度在于如何去設(shè)計(jì)F,使得其結(jié)果有一定的認(rèn)知符合性和有效性。И

3 主尺度估計(jì)與注視點(diǎn)最佳尺度選擇

建立尺度空間表示,首先要確定當(dāng)前圖像中的主尺度,所謂主尺度是指圖像中前景物體的尺度。根據(jù)主尺度再確定建立尺度空間表示的所用的尺度范圍,同時(shí)根據(jù)尺度空間表示來(lái)對(duì)注視點(diǎn)的最佳尺度進(jìn)行選擇。

3.1 主尺度估計(jì)

在圖像中引人尺度維以后,這時(shí)圖像在尺度維上由細(xì)到粗的變化,總體上表現(xiàn)為一種信息丟失的過(guò)程,那么如何去度量其丟失量[3,8]。通過(guò)前面對(duì)尺度空間表示的討論,可以知道這種由細(xì)到粗的過(guò)程是通過(guò)讓圖像在尺度維上按某個(gè)PDE擴(kuò)散方程,為了度量相鄰尺度圖像I(x,y;t璱)和I(x,y;t﹊+1)之間中的信息丟失量,先對(duì)I歸一化,即使得隝(x,y;t)玠玿玠珁=1,然后通過(guò)計(jì)算它們之間的Kullback[CD*2]Leibler距離來(lái)度量:

通過(guò)在尺度維上計(jì)算這種相鄰尺度圖像間的g(x)值,所有g(shù)(x)е抵兇畬籩鄧對(duì)應(yīng)的尺度即為圖像中的主尺度,如圖5所示。原始圖像有黑白交替的方塊,尺度大約為100個(gè)像素,通過(guò)度量其KL信息在尺度空間的分布,主尺度的估計(jì)值與實(shí)際情況相符合。

3.2 注視點(diǎn)最佳尺度選擇

尺度空間表示提供了多尺度表示和分析的基礎(chǔ),其中尺度作為一個(gè)自由參量,選擇最佳尺度也就意味著要建立一個(gè)測(cè)度。這個(gè)測(cè)度是關(guān)于尺度的一個(gè)凸函數(shù),其極大值所對(duì)應(yīng)的尺度即為最佳尺度,如何設(shè)計(jì)這個(gè)測(cè)度函數(shù)是關(guān)鍵所在。由前面的討論知道尺度空間表示的一個(gè)基本要求就是在粗尺度上圖像中不能形成新的結(jié)構(gòu),也就是說(shuō)原始圖像中的極大值和極小值都要被抑制,從而在圖像由細(xì)到粗過(guò)程中表現(xiàn)出一種平滑作用,最常用的線性尺度空間:

對(duì)其求關(guān)于x和y的一階或二階偏導(dǎo)可得:I瓁,I瓂,I﹛x,I﹜y,I﹛y,這些偏導(dǎo)數(shù)的的組合可以得到十分有用的算子,如用于邊緣檢測(cè)的梯度算子玸qrt(I瓁2+I瓂2),И㎜aplace算子等,但這些偏導(dǎo)數(shù)本身是關(guān)于尺度的遞減函數(shù),這是因?yàn)殡S著尺度增大,圖像不斷被平滑,而實(shí)際中通常希望這些算子具備尺度不變性,所以要使用尺度去對(duì)其進(jìn)行規(guī)范化,對(duì)玿和y進(jìn)行變量代換:

[HJ1]И[HJ]u=x/t, v=y/t[JY](8)[HJ1]И[HJ]

則可得:I璾=tI瓁,I璿=tI瓂,其他的類推可得,從而使得規(guī)范后的偏導(dǎo)是凸函數(shù),可以用來(lái)進(jìn)行最佳尺度選擇,文中使用規(guī)范拉普拉斯函數(shù),如式(8)所示,求其極大值所對(duì)應(yīng)的尺度為最佳尺度,實(shí)驗(yàn)圖像如圖6所示。

4 結(jié)合尺度和特征的顯著性度量仿真實(shí)驗(yàn)

有了上面的討論后,現(xiàn)在可以給出結(jié)合尺度與特征引導(dǎo)的視覺(jué)注意計(jì)算的仿真實(shí)驗(yàn)。算法流程:

(1) 獲取輸入圖像,提取主特征圖:獻(xiàn),RG,BY┧母霆方向圖;

(2) 使用強(qiáng)度圖獻(xiàn),建立其尺度空間表示,按第3.1節(jié)中方法估計(jì)圖像的主尺度玹璸,并保留獻(xiàn)的尺度空間表示;

(3)根據(jù)主尺度玹璸確定尺度空間表示的相鄰尺度間隔大小玹﹕tep,在此采用四層尺度空間表示,則玹﹕tep=max[Int(玹璸/4),玹﹎in猏],Int為取整操作,玹﹎in為間隔閾值,本文中玹﹎in=2。也可以采用八層或其他;

(4) 根據(jù)玹﹕tep建立RG,BY四個(gè)方向圖的四層尺度空間表示。

(5) 進(jìn)行中央-外周計(jì)算,中央層為center=[1,2],外周層[WTHX]s[WTBZ]=[3,4],從而形成1[CD*2]2,1[CD*2]3,2[CD*2]3,2[CD*2]4四層,所以可得7×4=28個(gè)特征;

(6) 對(duì)得到的28幅特征圖,按式(5)進(jìn)行迭代產(chǎn)生特征顯著圖,迭代次數(shù)為5;

(7) 對(duì)所得特征顯著圖歸一化后線性組合,得到最終顯著圖。組合系數(shù)取為1;

(8) 選取注視點(diǎn),在獲得每個(gè)注視點(diǎn)后,根據(jù)第3.2節(jié)中的方法進(jìn)行最佳尺度選擇;根據(jù)注視點(diǎn)及其最佳尺度產(chǎn)生圖像前景的一個(gè)模板(Mask)。

圖7為結(jié)合尺度與特征引導(dǎo)的注意仿真實(shí)驗(yàn)結(jié)果。[LL]從圖中可以看出,無(wú)論是對(duì)尺度范圍變化較大的圖像還是尺度變化范圍不大的圖像,模型基本上能將圖像中大部分感興趣的區(qū)域/物體注意到,且能對(duì)注視點(diǎn)進(jìn)行最佳尺度選擇。

5 結(jié) 語(yǔ)

在此討論了結(jié)合尺度、顯著性和物體識(shí)別的必要性和可行性;著重討論了尺度空間表示,并給出了尺度空間中一種多尺度表示的方法。在以上的分析基礎(chǔ)上給出了一種結(jié)合尺度與特征引導(dǎo)的視覺(jué)注意計(jì)算模型和具體實(shí)現(xiàn),以及仿真實(shí)驗(yàn)結(jié)果。

參 考 文 獻(xiàn)

[1]Navalpakkam V,Itti L.Modeling the Influence of Task on Attention[J].Vision Research,2005,45(2):205[CD*2]231.

[2]Soto D,Blanco M J.Spatial Attention and Object[CD*2]based Attention:A Comparison within a Single Task[J].Vision Research,2004,44:69[CD*2]81.

[3]Duits R,Florack L,Graaf J D,玡t al.On the Axioms of Scale Space Theory[J].Journal of Mathematical Imaging and Vision,2004,20:267[CD*2]298.

[4]Duda R O.Pattern Classification[M].2nd Edition.Wiley[CD*2]Interscience,2000.

[5]Lowe D G.Distinctive Image Features from Scale Invariant Keypoints[J].International Journal of Computer Vision,2004,2(60):91[CD*2]110.

[6]Mikolajczyk K,Tuytelaars T,Schmid C,玡t al.A Comparison of Affine Region Detectors[J].International Journal of Computer Vision,2004.

[7]Florack L,Kuijper A.The Topological Structure of Scale[CD*2]Space Images[J].Journal of Mathematical Imaging and Vision,2000,12:65[CD*2]79.

[8]Kuijper A.Mutual Information Aspects of Scale Space Images[J].Pattern Recognition,2004,37(12):2 361[CD*2]2 373.

[9]Itti L,Koch C.Computational Modeling of Visual Attention[J].Nature Neuroscience,2001,2:194[CD*2]203.

作者簡(jiǎn)介 吳月娥 上海電力學(xué)院講師,中國(guó)科學(xué)技術(shù)大學(xué)博士。主要研究方向?yàn)閿?shù)字圖像處理、計(jì)算機(jī)視覺(jué)。

邊后琴 上海電力學(xué)院講師,上海交通大學(xué)博士。主要研究方向?yàn)闄C(jī)器機(jī)視覺(jué)、機(jī)器人控制。