閆允一,姜 帥,郭寶龍

(西安電子科技大學(xué)智能控制與圖像工程研究所,陜西西安 710071)

結(jié)合穩(wěn)定興趣點(diǎn)和Gabor小波的圖像檢索

閆允一,姜 帥,郭寶龍

(西安電子科技大學(xué)智能控制與圖像工程研究所,陜西西安 710071)

提出了一種基于穩(wěn)定興趣點(diǎn)和紋理特征的圖像檢索算法.該算法首先利用優(yōu)化的Hessian檢測(cè)器檢測(cè)圖像中的穩(wěn)定興趣點(diǎn),并計(jì)算穩(wěn)定興趣點(diǎn)的環(huán)形鄰域的偽澤尼克矩;然后,利用Gabor小波變換提取圖像的紋理特征;最后,用不同圖像偽澤尼克矩和紋理之間的差異來(lái)衡量圖像的相似度,實(shí)現(xiàn)圖像檢索.實(shí)驗(yàn)結(jié)果表明,與其他基于興趣點(diǎn)或者紋理特征的檢索方法相比,該算法能夠降低不穩(wěn)定興趣點(diǎn)的影響,有效提高了圖像檢索的準(zhǔn)確率和查全率.

圖像檢索;興趣點(diǎn);Hessian檢測(cè)器;Gabor小波變換;紋理特征

興趣點(diǎn)是一種重要的圖像視覺(jué)特征,具有計(jì)算量小、信息含量高的特點(diǎn).利用興趣點(diǎn),可以大大降低圖像檢索中需要處理的數(shù)據(jù)量,因此被廣泛應(yīng)用于許多基于內(nèi)容的圖像檢索(Contents-Based-Image Retrieval, CBIR)系統(tǒng)[1]中.近年,利用興趣點(diǎn)檢測(cè)器獲取興趣點(diǎn)的位置,并利用基于興趣點(diǎn)的局部特征描述方法對(duì)其圖像進(jìn)行特征提取,最后再進(jìn)行相似度匹配的圖像檢索方法已經(jīng)受到廣泛關(guān)注[2].紋理特征是圖像的重要特征之一,它能夠反映鄰域像素灰度的分布規(guī)律,其中小波分析是一種全新的時(shí)、頻分析,是信號(hào)的時(shí)間尺度分析方法.近年來(lái)越來(lái)越多的研究集中于如何借助小波變換進(jìn)行圖像紋理分析.Wol等[3]采用興趣點(diǎn)局部Gabor特征檢索的方法,根據(jù)各個(gè)不同尺度和方向的最大幅值生成一列直方圖表示圖像進(jìn)行檢索;Jian等[2]使用密度的聚類算法對(duì)興趣點(diǎn)進(jìn)行聚類,使用各類興趣點(diǎn)的顏色矩和Gabor特征的加權(quán)特征向量進(jìn)行檢索;符祥等[4]在興趣點(diǎn)局部計(jì)算澤尼克矩,通過(guò)比較各興趣點(diǎn)局部澤尼克矩的歐氏距離來(lái)提取最優(yōu)匹配點(diǎn)對(duì),取出不匹配的興趣點(diǎn),然后利用興趣點(diǎn)的空間離散度來(lái)估計(jì)圖像內(nèi)容的相似性[5].

以上這些研究成果更多地考慮了興趣點(diǎn)的空間分布信息和紋理特征,不再是早期算法中將圖像匹配算法的簡(jiǎn)單移植,提高了圖像檢索的準(zhǔn)確度.但是,由于傳統(tǒng)的興趣點(diǎn)檢測(cè)器檢測(cè)的興趣點(diǎn)通常會(huì)存在點(diǎn)位置偏差和誤檢的問(wèn)題,使得基于興趣點(diǎn)圖像檢索的準(zhǔn)確率并不高.針對(duì)這一點(diǎn),筆者提出了一種圖像檢索新算法.該算法利用優(yōu)化Hessian檢測(cè)器檢測(cè)穩(wěn)定的興趣點(diǎn),并結(jié)合Gabor小波變換提取紋理特征,采用穩(wěn)定興趣點(diǎn)鄰域內(nèi)偽澤尼克矩和Gabor小波變換提取的紋理特征加權(quán)向量來(lái)進(jìn)行特征描述.實(shí)驗(yàn)結(jié)果表明,該算法具有較好的檢索性能.

1 興趣點(diǎn)檢測(cè)

角點(diǎn)是主要的一類興趣點(diǎn),Hessian角點(diǎn)檢測(cè)器[6]可檢測(cè)具有輪廓和直線上局部最大值的點(diǎn),因此被廣泛應(yīng)用于圖像檢索中.該檢測(cè)器通過(guò)利用一個(gè)高斯窗或者矩形窗在圖像上移動(dòng),由模板窗口取得原圖像衍生出2×2的局部結(jié)構(gòu)矩陣,該矩陣定義為

其中,h為高斯窗平滑函數(shù);Gxx、Gyy和Gxy為圖像亮度I(x,y)在點(diǎn)(x,y)處的二階梯度.

可以由基坐標(biāo)梯度的線性組合表示任意方向上的一階梯度,其表達(dá)式為

其中,下角標(biāo)u=(ux,uy)T,表示單位向量[7].依據(jù)一階梯度的表達(dá)式,可定義一個(gè)二階梯度的線性代數(shù)表達(dá)式為

其中,Gx和Gy分別為圖像沿x和y方向的梯度值,定義為

對(duì)式(5)進(jìn)行傅里葉變換,得到

在頻域下,兩個(gè)一階濾波器分別表示為P(ω)和Q(ω),可通過(guò)濾波器的最小二乘函數(shù)(WLS)將誤差[jωP(ω)-Q(ω)]精確到最小化.例如,高頻部分由濾波器Q(ω)產(chǎn)生的誤差可以通過(guò)濾波器P(ω)減小.

考慮到上述因素,濾波器的WLS可定義為

一階梯度濾波器p和q均選擇三拍的,因?yàn)槿牡臑V波器不僅對(duì)低頻部分和高頻部分的估計(jì)較精確,而且計(jì)算簡(jiǎn)單.將三拍的一階濾波器和代入式(7),對(duì)其進(jìn)行全局優(yōu)化,計(jì)算得到當(dāng)E 2取最小值時(shí)的p(n)和q(n),如表1所示.

表1 濾波器p和q的值

對(duì)上述結(jié)果進(jìn)行歸一化,便可得到優(yōu)化梯度濾波器p=(3/16 10/16 3/16)和q= (-1/2 0 1/2).將信號(hào)I(x)分別與兩個(gè)濾波器進(jìn)行卷積,得到{I*p}(x)和{I*q}(x),并將它們分別作為原信號(hào)和該信號(hào)的梯度形式,即可得到優(yōu)化Hessian檢測(cè)器;然后利用該檢測(cè)器對(duì)圖像進(jìn)行興趣點(diǎn)檢測(cè),就能夠得到比Hessian檢測(cè)器更為精確的興趣點(diǎn).

2 基于興趣點(diǎn)環(huán)形區(qū)域的偽澤尼克矩

偽澤尼克矩的抗噪性比澤尼克矩的抗噪性更強(qiáng),并具有旋轉(zhuǎn)不變性和魯棒性.文中采用興趣點(diǎn)鄰域內(nèi)偽澤尼克矩作為圖像特征加權(quán)向量,具有更高的準(zhǔn)確性.

根據(jù)文獻(xiàn)[8]中的劃分方法,將圖像空間按照興趣點(diǎn)的空間劃分成l個(gè)同心圓環(huán),如圖1(a)中的圓環(huán)和圖1(b)中的圓環(huán),再以每個(gè)興趣點(diǎn)為中心展開其周圍3×3鄰域,然后統(tǒng)計(jì)每個(gè)圓環(huán)內(nèi)部興趣點(diǎn)鄰域的偽澤尼克矩.偽澤尼克矩是一種正交復(fù)數(shù)矩,它所利用的正交多項(xiàng)式集是一個(gè)在單位圓(x2+y2≤1)內(nèi)的完備正交集.圖像I(x,y)的(n,m)階偽澤尼克矩定義[8]為

對(duì)于數(shù)字圖像,在極坐標(biāo)下,式(8)變?yōu)?/p>

計(jì)算圖像的偽澤尼克矩時(shí),選圖像的興趣點(diǎn)為極坐標(biāo)的原點(diǎn),將單位圓內(nèi)的像素映射為極坐標(biāo),單位圓外的像素在計(jì)算時(shí)不予考慮.

圖1 空間區(qū)域劃分示意圖

3 紋理特征提取

圖像紋理反映的是圖像的一種局部結(jié)構(gòu)化特征.基于頻域的能量分布能夠鑒別紋理的基本假設(shè),小波變換方法通過(guò)濾波器或?yàn)V波器組將紋理轉(zhuǎn)到變換域,然后應(yīng)用某種能量準(zhǔn)則提取紋理特征[9].文中采用Gabor小波變換提取紋理特征,其原因是紋理是窄帶信號(hào),不同紋理一般具有不同的中心頻率及帶寬.

Gabor濾波器將輸入紋理圖像I(x,y)與Gabor小波進(jìn)行卷積,可得到不同方向和尺度的子帶.設(shè)I(x, y)的大小為M×N,則經(jīng)Gabor分解輸出的圖像為

其中,ψmn(x,y)是對(duì)Gabor小波基函數(shù)ψ(x,y)進(jìn)行尺度伸縮和旋轉(zhuǎn)變換后形成的Gabor小波族,可表示為

其中,x′=a-m(x cosθ+y sinθ),y′=a-m(y cosθ-x sinθ),θ=nπk,k是方向數(shù),a-m是尺度因子.則二維Gabor波的基函數(shù)可定義為

其中,ψ(x,y)是經(jīng)過(guò)復(fù)數(shù)正弦函數(shù)調(diào)制的Gaussian函數(shù);σx和σy分別為Gabor波基函數(shù)沿x軸和y軸方向的方差;ω為中心頻率.這里,Gabor波基函數(shù)是以(ω,0)為中心頻率的帶通濾波器.由式(11)計(jì)算出的均值μmn和標(biāo)準(zhǔn)方差σmn可以作為圖像的紋理特征,其表達(dá)式為

Arivazhagan等[10]通過(guò)實(shí)驗(yàn)給出了方向數(shù)和尺度數(shù)取值分別為6和4時(shí)顯著性最高的依據(jù)[11],因此,文中不再累述,并分別選取方向數(shù)為6、尺度數(shù)為4作為參考取值.特征向量可表示為:f(μ00,σ00;μ01,σ01;…;μ35,σ35).

4 相似性度量

設(shè)Q為待查詢圖像,I為圖像庫(kù)中的一副圖像,使用加權(quán)特征距離度量它們內(nèi)容的相似度.用Szernike和Stexture分別表示圖像Q和I的偽澤尼克矩的特征相似度和紋理特征相似度.圖像總的相似度可表示為

其中,ωz和ωt是兩個(gè)可調(diào)整的權(quán)值,且滿足ωz+ωt=1;fQ和fI分別是圖像Q和圖像I的紋理特征向量;N為興趣點(diǎn)總數(shù)目;ωk為在第k個(gè)圓環(huán)興趣點(diǎn)的數(shù)目;P是圖像的偽澤尼克矩.S的值越小,則視為越相似.ωz和ωt的選擇是依據(jù)相應(yīng)組成部分的貢獻(xiàn)度決定的,可利用基于權(quán)系數(shù)調(diào)整,又稱之為相似性度量更新的方法,它是根據(jù)反饋信息適當(dāng)調(diào)整距離公式中的權(quán)系數(shù)來(lái)達(dá)到優(yōu)化匹配結(jié)果的目的的.首先,權(quán)重被設(shè)置成一些預(yù)設(shè)值,通過(guò)計(jì)算出的檢索結(jié)果,對(duì)于符合用戶要求的情況,分析它們的各個(gè)分量,對(duì)貢獻(xiàn)度大的權(quán)值增大,對(duì)貢獻(xiàn)度小的就減小權(quán)值.經(jīng)過(guò)反饋迭代后,權(quán)重便可以接近最優(yōu)值.由于該相關(guān)反饋的問(wèn)題超出了文中的研究范圍,為簡(jiǎn)單起見,假設(shè)每一個(gè)部分對(duì)相似性判斷具有同等的貢獻(xiàn)度,因此,取ωz=ωt=0.5.

5 實(shí)驗(yàn)結(jié)果

為驗(yàn)證文中算法的檢索性能,將文中算法與文獻(xiàn)[4,8]的算法進(jìn)行比較,采用的是從Corel圖像庫(kù)中抽取的1 000幅圖像(下載網(wǎng)址是http://wang.ist.psu.edu/～jwang/test1.tar),這些圖像分屬于10個(gè)圖像類,每類100張.在相同的軟硬件環(huán)境(軟件環(huán)境:VC++6.0,WindowsXP;硬件環(huán)境:Pentium(R)D CPU 2.8 GHz,1.5 GB內(nèi)存)下,通過(guò)比較查準(zhǔn)率來(lái)評(píng)價(jià)檢索性能.

表2 文中算法與其他算法的檢索性能比較

查準(zhǔn)率的定義為:PT=nT,其中,n為1次查詢返回的相關(guān)圖像數(shù)目,T為1次查詢返回的圖像數(shù)目.實(shí)驗(yàn)時(shí),提取150個(gè)興趣點(diǎn),興趣點(diǎn)環(huán)形劃分?jǐn)?shù)為6.具體實(shí)驗(yàn)步驟如下:從每類圖像中抽取10幅圖像分別作為查詢圖像,由式(16)分別計(jì)算出每幅圖像的P10、P20和P30,然后計(jì)算每類圖像的平均值ˉP10、ˉP20和ˉP30,實(shí)驗(yàn)結(jié)果如表1所示.從表1可以看出,文中算法較文獻(xiàn)[4,8]的算法有明顯優(yōu)勢(shì).

圖2是上述3種不同算法對(duì)馬類圖像的檢索結(jié)果比較.圖2(a)是文獻(xiàn)[4]采用興趣點(diǎn)匹配和空間分布的檢索結(jié)果,圖2(b)是文獻(xiàn)[8]采用興趣點(diǎn)顏色及空間分布方法的檢索結(jié)果,圖2(c)是文中穩(wěn)定興趣點(diǎn)及紋理特征結(jié)合算法的檢索結(jié)果.圖2中返回的圖像是20幅,左上角第1幅圖像為查詢圖像,其余圖像是查詢結(jié)果,從左到右,從上到下,相似度依次減小.經(jīng)分析發(fā)現(xiàn),在查詢結(jié)果中,文中算法查詢正確的圖像有18幅,準(zhǔn)確度為90%;文獻(xiàn)[4]查詢正確的圖像有14幅,準(zhǔn)確度為70%;文獻(xiàn)[8]查詢正確的圖像有15幅,準(zhǔn)確度為75%.實(shí)驗(yàn)結(jié)果說(shuō)明,用穩(wěn)定興趣點(diǎn)環(huán)形區(qū)域偽澤尼克矩和紋理特征有效結(jié)合,并將加權(quán)特征作為特征向量進(jìn)行檢索后,圖像的準(zhǔn)確度更高.

圖2 3種算法對(duì)馬類圖像的檢索結(jié)果

查全率的定義為:PR=nR,其中,n為1次查詢返回的相關(guān)圖像數(shù)目,R為1次查詢返回的查詢結(jié)果個(gè)數(shù).查準(zhǔn)率用來(lái)評(píng)價(jià)檢索結(jié)果的準(zhǔn)確性,而查全率用來(lái)評(píng)價(jià)檢索結(jié)果的全面性.若查準(zhǔn)率和查全率越高,則算法的檢索性能就越好.但研究表明,查準(zhǔn)率和查全率之間成反比關(guān)系,隨著檢索返回結(jié)果數(shù)的增加,查全率越來(lái)越高,查準(zhǔn)率則越來(lái)越低.查準(zhǔn)率(PT)和查全率(PR)是應(yīng)用最廣泛的評(píng)價(jià)標(biāo)準(zhǔn).

為進(jìn)一步說(shuō)明文中算法的檢索性能,從特征提取時(shí)間復(fù)雜度和圖像檢索時(shí)間復(fù)雜度兩個(gè)方面與文獻(xiàn)[4,8]的算法進(jìn)行比較,如圖3所示.具體步驟為:從Corel圖像庫(kù)中任意取100幅圖像,分別用文中算法、文獻(xiàn)[4]的算法和文獻(xiàn)[8]的算法提取特征,提取特征所用的平均時(shí)間分別為25.53s、45.65 s和43.58 s;分別用文中算法、文獻(xiàn)[4,8]的算法在Corel圖像庫(kù)中檢索出與查詢圖像相似度最大的20幅圖像,平均檢索時(shí)間分別為1.83 s、3.69 s和2.45 s.實(shí)驗(yàn)結(jié)果表明,文中算法的特征提取時(shí)間復(fù)雜度和圖像檢索時(shí)間復(fù)雜度均小于其他兩種算法.算法復(fù)雜度包括特征檢測(cè)、特征匹配、紋理特征提取及圖像檢索.假設(shè)輸入圖像為E×F個(gè)像素,兩幀圖像分別檢測(cè)的特征點(diǎn)數(shù)為E×F和E×F,得到的一致匹配對(duì)為E×F,利用RANSAC方

法篩選的匹配對(duì)為E×F,提取的紋理特征大小是E×F,則計(jì)算復(fù)雜度為O(M×N)+O(A2B2)+ O(p2)+O(E×F).可利用匹配對(duì)搜索抑制方法來(lái)獲得更快的計(jì)算速度.同時(shí),特征檢測(cè)和特征匹配時(shí)間約占圖像檢索時(shí)間的20%,當(dāng)特征匹配的數(shù)量較大時(shí),可通過(guò)分塊計(jì)算最優(yōu)變換模型的辦法來(lái)減少計(jì)算時(shí)間.

圖3 3種方法的查全率查準(zhǔn)率曲線比較

6 結(jié)束語(yǔ)

文中算法利用優(yōu)化Hessian檢測(cè)器檢測(cè)出穩(wěn)定的興趣點(diǎn),降低了不穩(wěn)定興趣點(diǎn)的影響,通過(guò)穩(wěn)定興趣點(diǎn)集合劃分得到環(huán)形區(qū)域,并在環(huán)形區(qū)域中獲得穩(wěn)定興趣點(diǎn)鄰域內(nèi)的偽澤尼克矩;然后采用Gabor小波變換提取紋理特征;最后使用加權(quán)特征向量進(jìn)行圖像檢索.從理論分析可知,該算法具備偽澤尼克矩所具備的旋轉(zhuǎn)、平移和縮放不變性.而且實(shí)驗(yàn)結(jié)果表明,文中算法復(fù)雜度小,檢索準(zhǔn)確度高,具有較好的檢索性能,但是沒(méi)有考慮圖像顏色的空間分布信息.在今后的研究中,將把顏色的空間分布信息融入文中算法中.同時(shí),使用種類更全、數(shù)量更大的數(shù)據(jù)庫(kù),也是今后研究工作的重點(diǎn).

[1]Zakariya S M,Ali R,Ahmad N.Combining Visual Features of an Image at Different Precision Value of Unsupervised Content Based Image Retrieval[C]//Proceedings of International Conference on Computational Intelligence and Computing Research.Piscataway:IEEE,2010:110-113.

[2]Jian Muwei,Chen Shi.Image Retrieval Based on Clustering of Salient Points[C]//2nd International Symposium on Intelligent Information Technology Application.Piscataway:IEEE,2008:347-351.

[3]Wol C,Jolion J,Kropatsch W,et al.Content Based Image Retrieval Using Interest Points and Texture Features[C]// Proceedings of 15th International Conference on Pattern Recognition.Los Alamitos:IEEE,2000:234-237.

[4]符祥,曾接賢.基于興趣點(diǎn)匹配和空間分布的圖像檢索方法[J].中國(guó)激光,2010,37(3):774-778.

Fu Xiang,Zeng Jiexian.A Novel Image Retrieval Method Based on Interest Points Matching and Distribution[J]. Chinese Journal of Lasers,2010,37(3):774-778.

[6]孟繁杰,郭寶龍.使用興趣點(diǎn)局部分布特征及多示例學(xué)習(xí)的圖像檢索方法[J].西安電子科技大學(xué)學(xué)報(bào),2011,38(2): 47-53.

Meng Fanjie,Guo Baolong.Image Retrieval by Using Local Distribution Features of Interest Points and Multipleinstance Learning[J].Journal of Xidian University,2011,38(2):47-53.

[7]Freeman W T,Adelson E H.The Design and Use of Steerable Filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1991,13(9):891-906.

[8]孟繁杰,郭寶龍.一種基于興趣點(diǎn)顏色及空間分布的圖像檢索方法[J].西安電子科技大學(xué)學(xué)報(bào),2005,32(2):256-259.

Meng Fanjie,Guo Baolong.A Novel Image Retrieval Algorithm Based on the Color and Distribution of Interest Points [J].Journal of Xidian University,2005,32(2):256-259.

[9]Mukundan R,Ramakrishnan K R.Moment Functions in Image Analysis—Theory and Applications[M].Singapore: World Scientific Publishing,1998.

[10]Arivazhagan S,Ganesan L,Priyal S P.Texture Classification Using Gabor Wavelets Based Rotation Invariant Features [J].Pattern Recognition Letters,2006,27(16):1976-1982.

[11]Roslan R,Jamil N.Texture Feature Extraction Using 2-D Gabor Filters[C]//IEEE Symposium on Computer Applications and Industrial Electronics.Washington:IEEE Computer Society,2012:173-178.

(編輯:齊淑娟)

簡(jiǎn) 訊

日前,美國(guó)俄亥俄州立大學(xué)設(shè)計(jì)創(chuàng)新與仿真實(shí)驗(yàn)室與我校電子裝備結(jié)構(gòu)設(shè)計(jì)教育部重點(diǎn)實(shí)驗(yàn)室聯(lián)合成立了微/納精度機(jī)構(gòu)設(shè)計(jì)與控制研究中心.依托該研究中心,雙方將致力于微/納精度機(jī)構(gòu)工作機(jī)理動(dòng)態(tài)分析與設(shè)計(jì)原理、可靠性分析與設(shè)計(jì),以及控制領(lǐng)域的基礎(chǔ)性問(wèn)題研究,并開展微/納精度機(jī)構(gòu)的機(jī)電一體化實(shí)踐和應(yīng)用.

(摘自《西電科大報(bào)》2014.8.14)

Image retrieval using stable interest points and Gabor wavelet

YAN Yunyi,JIANG Shuai,GUO Baolong
(Research Inst.of Intelligent Control&Image Engineering,Xidian Univ.,Xi’an 710071,China)

A new image retrieval method based on stable interest points and texture feature is proposed. Firstly,the optimal Hessian derivative filter is used to detect the stable interest points in the image.After that,pseudo-Zernike moments defined on the neighborhood of stable interest points in the annular region are calculated.Then,the texture feature is extracted by the Gabor wavelet transform.Finally,the difference in pseudo-Zernike moment and texture feature among images is used to depict image similarity. Experimental results show that this method reduces the effects of the unstable points and improves the image retrieval accuracy effectively comparied with other retrieval methods based on interest points.

image retrieval;interest points;Hessian detector;Gabor wavelet transform;texture feature

TP391.4

A

1001-2400(2014)05-0118-06

2013-08-09< class="emphasis_bold">網(wǎng)絡(luò)出版時(shí)間:

時(shí)間:2014-01-12

國(guó)家自然科學(xué)基金資助項(xiàng)目(61305041);中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(K5051304024)

閆允一(1979-),男,博士,副教授,E-mail:yyyan@xidian.edu.cn.

http://www.cnki.net/kcms/doi/10.3969/j.issn.1001-2400.2014.05.020.html

10.3969/j.issn.1001-2400.2014.05.020