·信息科學(xué)·

小波域多分辨率分析對(duì)圖像匹配特征點(diǎn)提取的影響

劉佳1,2,傅衛(wèi)平1,王雯1,張凱1,周磊1

(1.西安理工大學(xué) 機(jī)械與精密儀器工程學(xué)院，陜西 西安710048; 2.西安科技大學(xué) 理學(xué)院，陜西 西安710054)

摘要：將小波引入SIFT算法,提出利用小波多分辨率分解降低圖像中邊緣、噪聲等不良信息點(diǎn)比重方法。利用工程上常用的4類小波,分別對(duì)圖像進(jìn)行小波分解,將圖像的低頻成分建立尺度空間,基于局部特征提取圖像特征點(diǎn),引入統(tǒng)計(jì)學(xué)理論中的召回率和圖像匹配中的準(zhǔn)確率兩個(gè)指標(biāo),研究不同小波對(duì)圖像匹配中特征點(diǎn)提取的影響,尋求圖像處理的最優(yōu)小波類型。實(shí)驗(yàn)表明,bior4.4小波對(duì)圖像的多分辨率分解后獲得的特征點(diǎn)，可以在較低錯(cuò)配率的情況下獲得較高的召回率。

關(guān)鍵詞：小波多分辨率分析;SIFT算法; 召回率;準(zhǔn)確率

收稿日期：2014-03-12

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(10872160)；陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃重點(diǎn)基金資助項(xiàng)目(2011JZ012)

作者簡(jiǎn)介：劉佳,女,河北阜城人,博士生，從事圖像處理、機(jī)器視覺(jué)研究。

中圖分類號(hào)：TP39141

The effect on characteristic point extraction with wavelet

multi-resolution analysis in image matching

LIU Jia1,2, FU Wei-ping1, WANG Wen1, ZHANG Kai1, ZHOU Lei1

(1.The Faculty of Mechanical and Precision Instrument Engineering, Xi′an University of Technology, Xi′an 710048, China;

2.School of Science， Xi′an University of Science and Technology, Xi′an 710054， China)

Abstract:Matching accuracy is an important target to determine matching algorithm′s superior or inferior. Wavelet multi-resolution decomposition was used in SIFT algorithm to decrease the share of edge, noise pixels in the images. The images were decomposed with the four wavelets widely used, and then low-frequency component of the images were used for building scale space to extract image feature points based on local feature. Recall used in statistical theory and accuracy used in image matching were introduced to analyze the effect on extracting feature points at different wavelet domain, and then to find the best wavelet type used image processing. Results show that there is lower error probability while higher recalls by using bior4.4 on image matching.

Key words: wavelet multi-resolution analysis; SIFT algorithm; recall; precision

圖像匹配是機(jī)器視覺(jué)在圖像檢索、三維重建、目標(biāo)識(shí)別以及圖像拼接等應(yīng)用中的重要環(huán)節(jié)。SIFT匹配算法[1]自提出以來(lái),得到了學(xué)術(shù)界的廣泛認(rèn)同。該算法在圖像尺度、旋轉(zhuǎn)、仿射、視角、光照變化的情況下,依然具有良好的匹配效果[2]。

小波在圖像處理上的優(yōu)勢(shì)使其應(yīng)用范圍非常廣泛,包括了圖像檢索[3]、圖像壓縮與去噪[4-7]、圖像融合[8]等方面。SIFT圖像匹配過(guò)程的第一步就是構(gòu)建圖像金字塔,利用高斯算子提取特征點(diǎn)。對(duì)于多紋理圖像,提取的特征點(diǎn)數(shù)量可以達(dá)到上千,然而很多特征點(diǎn)是偽特征點(diǎn),如構(gòu)建金字塔過(guò)程中出現(xiàn)的不連續(xù)點(diǎn),這會(huì)帶來(lái)錯(cuò)配點(diǎn)增多。將小波多分辨率分析應(yīng)用于SIFT算法中建立圖像金字塔前的圖像處理,對(duì)圖像進(jìn)行多尺度分解,剔除圖像中邊緣、噪聲等無(wú)法作為特征點(diǎn)的信息,可大大減少圖像中的干擾信息,從而獲得較高召回率,提高正確匹配率。在文獻(xiàn)[9]中研究了如何在SIFT算法中應(yīng)用小波多分辨率分析,但對(duì)各小波在圖像處理上的不同表現(xiàn)沒(méi)有進(jìn)行深入分析,本文是在此基礎(chǔ)上的深入研究。

1小波的多分辨率分析

對(duì)圖像進(jìn)行小波多分辨率分析[10],就是在信號(hào)空間將輸入信號(hào)分解為概貌空間(又稱為尺度空間)和細(xì)節(jié)空間(又稱為小波空間)。對(duì)于信號(hào)f(t)∈L2(R),f(t)在尺度2j和2j-1上的逼近分別等價(jià)于f(t)在Vj和Vj-1上的正交投影,假設(shè)Wj是Vj在Vj-1中的正交補(bǔ),P為正交投影因子,則

Vj-1=Vj?Wj,Vj⊥Wj,?j ，

(1)

PVj-1f=PVjf+PWjf,?j ，

(2)

其中,PVjf∈Vj提供了PVj-1f的概貌,而PWjf∈Wj提供了PVj-1f的細(xì)節(jié)。這些細(xì)節(jié)只出現(xiàn)在Wj上,而不出現(xiàn)在Vj上,因此稱Wj為細(xì)節(jié)空間(即小波空間),第j級(jí)的尺度信號(hào)都可以分解成(j+1)級(jí)的尺度信號(hào)和(j+1)級(jí)的細(xì)節(jié)信號(hào)的疊加。

圖像在小波域的多分辨率分解需經(jīng)過(guò)兩個(gè)過(guò)程:尺度空間多分辨率分析SMRA(scalemulti-resolutionanalysis)和小波空間多分辨率分析WMRA(WaveletMulti-ResolutionAnalysis)。對(duì)SMRA進(jìn)行正交剖分,則{Wj}j∈Z構(gòu)成小波空間多分辨率分析。小波分析是通過(guò)SMRA和WMRA構(gòu)建低、高通濾波器,完成分解過(guò)程。具體過(guò)程就是把圖像信號(hào)分解成低頻a1和高頻b1兩部分,在分解中,低頻a1中失去的信息由高頻b1捕獲。在下一層的分解中,又將a1分解成低頻a2和高頻b2兩部分,低頻a2中失去的信息由高頻b2捕獲,以此類推,可以進(jìn)行更深層次的分解。

2SIFT算法中特征點(diǎn)的提取

SIFT算法首先通過(guò)二維高斯函數(shù)與圖像的卷積建立尺度空間,再利用高斯差分尺度空間算子DOG(difference-of-gaussian),在各尺度空間中檢測(cè)局部極值點(diǎn)(局部鄰域的極大值或極小值),該點(diǎn)就是圖像在該尺度下的一個(gè)特征點(diǎn)。SIFT算法對(duì)于很多圖像可以提取出上千個(gè)特征點(diǎn),而在兩圖像的匹配時(shí)只需8個(gè)正確匹配點(diǎn),即可計(jì)算基礎(chǔ)矩陣?？紤]不是所有的特征點(diǎn)都能找到匹配點(diǎn),匹配的最優(yōu)狀況是匹配數(shù)與特征點(diǎn)數(shù)之比越大越好。利用文獻(xiàn)[9]中的SIFT算法,對(duì)在小波域下和不在小波域下兩種情況,提取圖像特征點(diǎn)對(duì)比見(jiàn)表1。由結(jié)果可以看出,在小波域下提取的特征點(diǎn)減少,但召回率有明顯增加,錯(cuò)配點(diǎn)也明顯減少。

表1在小波域下和不在小波域下匹配結(jié)果對(duì)比

Tab.1Comparison of match results with wavelet and without wavelet

對(duì)比數(shù)據(jù)特征點(diǎn)數(shù)匹配點(diǎn)數(shù)利用Bior4.4小波分解結(jié)果左圖像右圖像670495128不利用小波分解結(jié)果左圖像右圖像14071083177

3不同小波分解對(duì)SIFT圖像匹配的影響

一個(gè)圖像經(jīng)過(guò)小波分解后,可得到一系列不同分辨率的圖像,不同分辨率的子圖像對(duì)應(yīng)的頻率是不相同的。對(duì)于一個(gè)圖像來(lái)說(shuō),表現(xiàn)一個(gè)圖像最主要的部分是低頻部分。因此,通過(guò)小波分解,只利用低頻成分參與SIFT匹配,可以達(dá)到在不影響后續(xù)圖像分析的基礎(chǔ)上,提高圖像中有效信息比率,減少偽特征點(diǎn)數(shù)。另外,低頻信息描述了圖像在光滑部位的整體灰度信息,而高頻部分則反映了圖像在邊緣、噪聲等細(xì)節(jié)方面的表現(xiàn),將圖像的高頻成分舍棄可減少高斯算子對(duì)邊緣的過(guò)分響應(yīng)。

系列小波的特點(diǎn)是隨著階次增大,使用濾波器的數(shù)目必然增加,消失矩階數(shù)也就越大,頻帶劃分效果越好,獲得的低頻信息量越大。但是，會(huì)使時(shí)域緊支撐性減弱,同時(shí)計(jì)算量大大增加,實(shí)時(shí)性變差。階次越小,頻帶劃分越模糊,獲得的低頻信息量減少,實(shí)時(shí)性越好,但信息丟失也越多,造成匹配點(diǎn)數(shù)的減少。因此,在進(jìn)行階次選擇時(shí),既要注重算法本身的效果,也要兼顧算法的效率。

3.1評(píng)價(jià)指標(biāo)

召回率Rc和準(zhǔn)確率Pc是在模式識(shí)別和機(jī)器學(xué)習(xí)中,判斷一個(gè)分類器對(duì)所用樣本的分類能力或者在不同的應(yīng)用場(chǎng)合時(shí)經(jīng)常使用的評(píng)價(jià)指標(biāo)[11]。本文以召回率和誤配率(1-precision)作為不同小波對(duì)圖像處理后匹配優(yōu)劣的評(píng)價(jià)指標(biāo)(這里之所以使用誤配率而不是準(zhǔn)確率,是為了獲得的曲線形狀符合觀察習(xí)慣)。運(yùn)用歐式距離計(jì)算兩特征向量之間的距離,如果最近距離和次近距離的比(ratio)小于給定閾值t,認(rèn)為是正確的匹配,如果大于給定閾值t,認(rèn)為是錯(cuò)誤的匹配。再利用RANSAC算法進(jìn)一步剔除錯(cuò)誤匹配。t值的變化,會(huì)帶來(lái)誤配率和召回率的變化,好的處理方法能夠以較低的誤配率得到較高的召回率[12]。

定義設(shè)圖像對(duì)中響應(yīng)匹配點(diǎn)對(duì)數(shù)為Cp(correspondences),實(shí)際獲得的正確匹配對(duì)數(shù)為Cm(correct matches),錯(cuò)誤匹配對(duì)數(shù)為Fm(false matches)，則召回率Rc的公式為

(3)

誤配率(1-Pc)的公式為

(4)

3.2對(duì)比實(shí)驗(yàn)

將圖1中的原圖和小波域分解后的圖像分別進(jìn)行SIFT匹配,對(duì)比各類小波對(duì)匹配結(jié)果的影響。分別將小波haar,db2～db11，sym2～sym8，coif1～coif4，bior1.1～bior6.8(共37個(gè)小波)應(yīng)用于圖1中的圖像對(duì),進(jìn)行SIFT匹配實(shí)驗(yàn),得出匹配點(diǎn)數(shù),將其與未利用小波分解的原圖所得匹配點(diǎn)數(shù)進(jìn)行對(duì)比,圖2是匹配點(diǎn)數(shù)的對(duì)比結(jié)果(橫坐標(biāo)上的“yuan”表示原圖結(jié)果),獲得匹配點(diǎn)數(shù)與算法中判斷為匹配點(diǎn)的閾值t有關(guān),因此在不同距離閾值下繪制、對(duì)比結(jié)果,從而確定各系列小波中綜合性能最優(yōu)者。

(a)(b)旋轉(zhuǎn),(c)放大和旋轉(zhuǎn),(d) (e)視點(diǎn)變化,(f) (g)圖像模糊,(h) JPEG壓縮,(i)光照變化 圖1　實(shí)驗(yàn)用圖像對(duì)來(lái)源于文獻(xiàn)[11] Fig.1　Pairs of images used for experiment from [11].

圖2(b)橫坐標(biāo)中的s2～s8分別代表Symlets系列小波的sym2，sym3，sym4，sym5，sym6，sym7，sym,c1～c4分別代表Coiflets系列小波的coif1，coif2，coif3，coif4,圖2(c)橫坐標(biāo)中的小數(shù)分別代表Bior系列小波的后綴。圖3橫坐標(biāo)的表示與圖2同。

從圖2可以看出,haar小波的匹配點(diǎn)數(shù)比未經(jīng)小波處理的原圖的匹配點(diǎn)數(shù)還要少,db系列小波中db5～db11匹配點(diǎn)數(shù)變化不大。sym系列中sym8匹配點(diǎn)數(shù)明顯減少,bior系列小波中bior4.4匹配點(diǎn)數(shù)稍有回落,但變化不大。結(jié)合圖3匹配時(shí)間對(duì)比,在Daubechies系列小波中,db6的綜合性能最優(yōu);在Symlets系列小波中,sym4的綜合性能最優(yōu);在Coiflets系列小波中,coif2的綜合性能最優(yōu);在Biorthogonal系列小波中,bior4.4的綜合性能最優(yōu)。

圖2　不同t值下匹配點(diǎn)數(shù)比較 Fig.2　A comparison between matching points under different t

圖3　不同t值下匹配時(shí)間比較 Fig.3　A comparison between matching time under different t

由上面的實(shí)驗(yàn)結(jié)果得出,運(yùn)用db6，sym4，coif2，bior4.4等4個(gè)小波后的圖像匹配性能較好,下面研究4個(gè)小波域下,取不同閾值帶來(lái)的誤配率和召回率曲線的變化,進(jìn)一步評(píng)判不同小波域處理對(duì)算法的影響。選擇圖1中分別具有旋轉(zhuǎn)(圖1(b))、縮放(圖1(c))、仿射(圖1(e))、光照變化(圖1(i))的4對(duì)圖像進(jìn)行誤配率和召回率計(jì)算。結(jié)果見(jiàn)圖4所示。

從圖4中可以看出,對(duì)于不同的圖像,小波域下的錯(cuò)配率與召回率成正比,在錯(cuò)配率較低的時(shí)候(一般來(lái)說(shuō),設(shè)定的閾值越低,錯(cuò)配率也越低),各小波的表現(xiàn)差異不大,都有較低的召回率。當(dāng)錯(cuò)配率超過(guò)0.25時(shí),各小波的差異開(kāi)始明顯,Biorthogonal系列小波中的bior4.4小波表現(xiàn)最優(yōu),始終表現(xiàn)為較低的錯(cuò)配率和較高的召回率。

(a)用于圖1(b);(b)用于圖1(c);(c)用于圖1(e);(d)用于圖1(i) 圖4　 小波域下錯(cuò)配率和召回率曲線 Fig.4　Curve of prcision and recall with wavelets

4結(jié)語(yǔ)

提高SIFT匹配的準(zhǔn)確率是廣泛應(yīng)用SIFT匹配的必然。小波多分辨率分析可將圖像進(jìn)行特定頻段分割,利用低頻信息,保留大部分圖像的近似信息,也就減少了圖像中不穩(wěn)定點(diǎn),從而提高匹配準(zhǔn)確率。本文研究表明,利用Biorthogonal系列小波中bior4.4小波進(jìn)行小波域下的圖像匹配,可獲得最低的錯(cuò)配率和較高的召回率。

參考文獻(xiàn)：

[1]LOWEDG.Distinctiveimagefeaturesfromscaleinvariantkeypoints[J].InternationalJournalofComputerVision, 2004, 60(2):91-110.

[2]MIKOLAJCZYKK,TUYTELAARST,SCHMIDC,etal.Acomparisonofaffineregiondetectors[J].InternationalJournalofComputerVision,2005,65(1/2):43-72.

[3]QUELLECG，LAMARDM，CAZUGUELG,etal.Fastwavelet-basedimagecharacterizationforhighlyadaptiveimageretrieval[J].IEEETransactionsonImageProcessing,2012,21(4):1613-1623.

[4]RAHMANSMM，AHMADMO，SWAMYMNS.Bayesianwavelet-basedimagedenoisingusingthegauss—hermiteexpansion[J].IEEETransactionsonImageProcessing, 2008, 17(10):1755-1771.

[5]CHAPPELIERV,GUILLEMOTC.OrientedWavelettransformforimagecompressionanddenoising[J].IEEETransactionsonImageProcessing, 2006, 15(10):2892-2903.

[6]BORSDORFA,RAUPACHR,FLOHRT,etal.WaveletbasednoisereductioninCT-imagesusingcorrelationanalysis[J].IEEETransactionsonMedicalImaging,2008,27(12):1685-1703.

[7]王宏強(qiáng), 尚春陽(yáng), 高瑞鵬，等. 基于小波系數(shù)變換的小波閾值去噪算法改進(jìn)[J]. 振動(dòng)與沖擊,2011, 30(10):165-168.

[8]劉貴喜, 楊萬(wàn)海. 基于小波分解的圖像融合方法及性能評(píng)價(jià)[J]. 自動(dòng)化學(xué)報(bào),2002,28(6):927-934.

[9]劉佳, 傅衛(wèi)平, 王雯,等. 基于改進(jìn)SIFT算法的圖像匹配[J]. 儀器儀表學(xué)報(bào),2013,32(5):1107-1112.

[10]DAUBECHIESI. 小波十講[M]. 李建平, 楊萬(wàn)年，譯.北京:國(guó)防工業(yè)出版社，2004：5.

[11]MIKOLAJCZYKK,SCHMIDC.Aperformanceevaluationoflocaldescriptors[J].IEEETransactionsonPAMI, 2005, 27(10):1615-1630.

[12]YANKe,SUKTHANKARR.PCA-SIFT:Amoredistinctiverepresentationforlocalimagedescriptors[C]∥IEEEComputerSocietyConferenceonCVPR,Washington:IEEE, 2004(2):II/506-II/513.

[13]MIKOLAJCZYKK,SCHMIDC.Anaffineinvariantinterestpointdetector[C]∥InProceedingsofthe7thECCV,Copenhagen:Springer, 2002, 2350(1):128-142.

(編輯曹大剛)