堯思遠(yuǎn)，王曉明，左 帥

(華北光電技術(shù)研究所，北京100015)

1 引言

匹配技術(shù)是圖像處理中的一項(xiàng)重要內(nèi)容，它將兩幅相似的圖像在空間中的位置作對(duì)比映射，是后續(xù)關(guān)鍵區(qū)域分析、相機(jī)標(biāo)定等操作的基礎(chǔ)。常見(jiàn)的圖像匹配方法主要有兩種:基于區(qū)域的匹配和基于特征的匹配。前者主要利用圖像的灰度或者幾何拓?fù)湫畔?，通過(guò)某種相似性測(cè)度算子搜索圖像空間，找出相似度最高的區(qū)域，進(jìn)而得到相應(yīng)的位置變化參數(shù)。該方法挖掘了圖像的空間灰度分布信息，因此準(zhǔn)確度較高，但區(qū)域搜索往往帶來(lái)較大的計(jì)算量，而且對(duì)于噪聲和光照的變化容忍度較差;基于特征的匹配首先尋找兩幅圖像中的關(guān)鍵特征(如關(guān)鍵點(diǎn)、線)，然后對(duì)這些關(guān)鍵特征做篩選、映射，得到準(zhǔn)確的匹配?；谔卣鞯钠ヅ浞椒ɡ玫南袼?cái)?shù)較少，可以大大減少匹配計(jì)算量，應(yīng)用在對(duì)圖像處理實(shí)時(shí)性要求較高的光電跟蹤系統(tǒng)中具有明顯的優(yōu)勢(shì)。

特征匹配的關(guān)鍵在于尋找一種較好的特征描述法和特征匹配算法。就點(diǎn)特征而言，目前常見(jiàn)的特征點(diǎn)提取方法有Harris特征、SUSAN特征、SIFT特征等［1－4］。其中，D.G.Lowe 提出的 SIFT 特征由于對(duì)光照、旋轉(zhuǎn)、尺度等變換具有不變性，受到了學(xué)者的廣泛關(guān)注［5］，但是SIFT特征需要進(jìn)行128維的矢量特征運(yùn)算，在高速視頻處理系統(tǒng)中實(shí)時(shí)實(shí)現(xiàn)較為困難。Herbert Bay等提出的SURF特征在SIFT的基礎(chǔ)上簡(jiǎn)化了圖像金字塔分解的操作［6］。類(lèi)似于SIFT特征，SURF特征也是一種尺度、旋轉(zhuǎn)不變的特征描述方法。它對(duì)圖像的卷積做近似處理，在特征點(diǎn)定位環(huán)節(jié)引入的積分圖的概念，使求解Hessian矩陣的計(jì)算量大大降低，運(yùn)算時(shí)間相比SIFT減少了3倍以上。本文結(jié)合光電跟蹤系統(tǒng)的特點(diǎn)，提出一種新的基于SURF特征的改進(jìn)快速近鄰匹配的方法。相比于傳統(tǒng)的匹配算法，此算法具有更高的匹配準(zhǔn)確度。

2 光電跟蹤系統(tǒng)中的特征點(diǎn)匹配

光電跟蹤系統(tǒng)經(jīng)典的目標(biāo)跟蹤算法主要有模板匹配、Kalman濾波等。上述方法在處理方式上雖各有不同，但是主要適用于尺度基本不變的剛體運(yùn)動(dòng)目標(biāo)，跟蹤內(nèi)容主要為圖像中的局部感興趣目標(biāo)區(qū)域(ROI)。對(duì)于光電圖像中具有復(fù)雜畸變、尺度伸縮，方向旋轉(zhuǎn)等特性的目標(biāo)，采用常規(guī)的目標(biāo)跟蹤算法效果往往不盡如人意?；谔卣鼽c(diǎn)匹配的跟蹤方法克服了前述跟蹤方法的缺點(diǎn)，它通過(guò)對(duì)圖像提取穩(wěn)定特征點(diǎn)，完成前后幀特征點(diǎn)的匹配，并在特征點(diǎn)集的鄰域內(nèi)做局部搜索實(shí)現(xiàn)目標(biāo)的跟蹤［7－9］。如果選取的特征點(diǎn)具有對(duì)尺度、旋轉(zhuǎn)、光照的不變性，該方法在處理復(fù)雜目標(biāo)時(shí)能展現(xiàn)出更強(qiáng)的適應(yīng)性。本文的研究?jī)?nèi)容即是光電圖像中的SURF特征點(diǎn)匹配方法。光電跟蹤系統(tǒng)中特征點(diǎn)匹配的主要流程為:

(1)提取相鄰兩幀圖像的特征點(diǎn);

(2)篩選感興趣的穩(wěn)定特征點(diǎn)，選取適當(dāng)?shù)乃惴▽?duì)前后幀做特征點(diǎn)匹配，剔除誤配點(diǎn);

(3)在完成匹配的當(dāng)前幀中采用局部搜索或仿射變換等方法定位目標(biāo)。

3 SURF特征描述

3.1 快速特征點(diǎn)檢測(cè)

SURF特征利用積分圖的Hessian矩陣完成興趣點(diǎn)選取和尺度變換的操作，定義點(diǎn)x=(x，y)處的積分圖為:

對(duì)于圖像I中的某一點(diǎn)x，Hessian矩陣定義為:

其中，Lxx(x，σ)為圖像I在點(diǎn)x處與高斯濾波函數(shù)二階偏導(dǎo)數(shù)

對(duì)應(yīng)的，可以仿照以上兩式求得Lxy(x，σ)和Lyy(x，σ)。

為簡(jiǎn)化圖像與高斯濾波核卷積計(jì)算，SURF算法采用了尺度盒子濾波的方法。以9×9的盒子濾波模板為例，取尺度值s=σ =1.2，其對(duì)高斯卷積核二階偏導(dǎo)的近似如圖1所示。

圖1 高斯卷積二階導(dǎo)近似

假設(shè)與上述模板卷積后得到的Hessian矩陣參數(shù)為 Dxx，Dxy，Dyy，則 Hessian 矩陣的行列式可近似為:

改變盒子濾波器的大小即可獲得不同尺度下的卷積輸出。對(duì)大小為N×N的濾波模板，對(duì)應(yīng)選擇的尺度s=σ=1.2×N/9，在尺度空間中取每個(gè)點(diǎn)的Det(H)值與該尺度相鄰位置和相鄰尺度周邊的26個(gè)鄰域比較，得到候選的局部極大值點(diǎn)，再對(duì)圖像插值就可以計(jì)算出穩(wěn)定的特征位置。

3.2 特征點(diǎn)主方向

為了獲取圖像的旋轉(zhuǎn)信息，需要確定特征點(diǎn)的方向。以3.1節(jié)中定位出的特征點(diǎn)為中心，在半徑為6s的圓形鄰域內(nèi)分別計(jì)算x和y方向的Haar小波響應(yīng)。然后對(duì)卷積響應(yīng)賦予高斯權(quán)重，將每π/3角度內(nèi)的水平和垂直響應(yīng)相加得到一個(gè)局部方向矢量，比較得出最長(zhǎng)的矢量作為該特征點(diǎn)的主方向。

3.3 特征描述符生成

獲得特征點(diǎn)主方向后，以主方向?yàn)閤軸，選取20s×20s大小的區(qū)域，將其等分為4×4的子區(qū)域，在每個(gè)子區(qū)域內(nèi)計(jì)算Haar小波響應(yīng)，記平行于主方向和垂直于主方向的Haar小波響應(yīng)為dx，dy，賦予高斯權(quán)重后統(tǒng)計(jì)每個(gè)子區(qū)域里響應(yīng)的總和及響應(yīng)絕對(duì)值之和，則每個(gè)子區(qū)域可由特征向量 V=表示。所以每個(gè)特征點(diǎn)就由4×4個(gè)子區(qū)域的特征向量組合而成，對(duì)特征向量做歸一化處理，最終生成總計(jì)64維的特征描述符。

4 改進(jìn)近鄰搜索匹配

近鄰歐氏距離比例法是特征點(diǎn)匹配中的常用方法，假設(shè) (x1，x2…，xN)，(x1'，x2'…，xN')為一對(duì)待匹配的特征向量，由式(6)可求得特征向量的歐氏距離，比較得到候選匹配對(duì)的最近鄰歐氏距離和次近鄰歐氏距離之比(公式(7))，當(dāng)η大于某一門(mén)限值時(shí)，表明對(duì)應(yīng)的最近鄰歐氏距離匹配點(diǎn)和次近鄰歐氏距離匹配點(diǎn)與帶匹配特征點(diǎn)都很接近，剔除這一配對(duì)。

然而，近鄰歐氏距離比例匹配存在明顯缺陷，η門(mén)限值對(duì)匹配效果的影響很大:若選取的η較大，容易引起誤匹配;若選取的η較小，雖然能夠得到準(zhǔn)確的匹配結(jié)果，但生成的匹配對(duì)很少，當(dāng)圖像的成像質(zhì)量較差時(shí)，這一問(wèn)題中尤為明顯。此外，待匹配圖像中往往存在相似的區(qū)域，一些相似點(diǎn)的SURF特征甚至比正確匹配點(diǎn)更接近于待匹配點(diǎn)。圖2是用近鄰歐氏距離匹配法仿真得到的結(jié)果，注意到每一花瓣周邊的輪廓非常接近，不同花瓣附近SURF特征點(diǎn)的歐氏距離相似度有可能超過(guò)同一點(diǎn)的相似度，而這非常容易造成特征點(diǎn)誤配。

圖2 不同η值對(duì)匹配結(jié)果的影響

造成上述特征點(diǎn)誤配的根本原因是待匹配的特征描述符在特定的匹配搜索策略下不具有足夠高的區(qū)分度［10］。盡管SURF描述符具有豐富的64維矢量信息，而且在特征描述符生成的過(guò)程中考慮了近鄰區(qū)域的Haar小波響應(yīng)特性，但是SURF最終提取出的特征點(diǎn)只反映了單個(gè)像素信息，而僅僅依賴(lài)單個(gè)像素信息難以獲得準(zhǔn)確的匹配結(jié)果。

為了在特征點(diǎn)描述子中引入更多信息，T.Ojala等提出的LBP特征考慮了圖像的局部紋理［11］。相應(yīng)地，本文在特征匹配的過(guò)程中加入特征點(diǎn)近鄰區(qū)域的統(tǒng)計(jì)信息，匹配算法的主要流程如下:

(1)計(jì)算前后幀匹配圖像的SURF特征，利用式(6)和式(7)得到每個(gè)待匹配特征點(diǎn)F0的最近鄰點(diǎn)與次近鄰點(diǎn)F1和F2，F(xiàn)1、F2與待配點(diǎn)對(duì)應(yīng)的歐氏距離為Dnear和Dsub_near;

(2)以待匹配的SURF特征點(diǎn)F0為圓心，3.2節(jié)中獲取的特征點(diǎn)主方向?qū)?yīng)的尺度(記為smain)為半徑，建立平行于特征點(diǎn)主方向?yàn)閅軸，垂直于特征點(diǎn)主方向?yàn)閄軸的正交系。分別統(tǒng)計(jì)圓內(nèi)四個(gè)象限中灰度級(jí)大于特征點(diǎn)灰度的像素個(gè)數(shù){N1，N2，N3，N4}，若統(tǒng)計(jì)得到的像素?cái)?shù)為0，視該待配點(diǎn)為噪聲點(diǎn)將其剔除。然后對(duì)統(tǒng)計(jì)結(jié)果做歸一化處理，得到F0四個(gè)方向鄰域的灰度分布P0={p1，p2，p3，p4}。類(lèi)似地，對(duì)候選匹配點(diǎn)F1，F(xiàn)2執(zhí)行相同操作，F(xiàn)1，F(xiàn)2的鄰域灰度分布分別為P1={p1'，p2'，p3'，p4'}和 P2={p1″，p2″，p3″，p4″};

(3)依據(jù)最近鄰歐氏距離比率法進(jìn)行粗匹配，在式(7)中將起始閾值設(shè)為η1，初步選出區(qū)分度較強(qiáng)的特征點(diǎn);

(4)在確定上一幀圖像中滿足步驟(3)中粗匹配條件的特征點(diǎn)后，計(jì)算當(dāng)前匹配幀中與之對(duì)應(yīng)最近鄰點(diǎn)鄰域灰度分布的Pearson相關(guān)系數(shù)。Pearson相關(guān)系數(shù)的表達(dá)式為:

用同樣的方法計(jì)算出次近鄰點(diǎn)灰度分布相關(guān)系數(shù)ρsub_near;

(5)候選特征點(diǎn)再匹配。對(duì)符合粗匹配要求的特征點(diǎn)求取近鄰灰度分布相關(guān)系數(shù)比若η'大于閾值η2，則確定此時(shí)得到的最近鄰點(diǎn)為正確匹配點(diǎn)，否則，剔除此對(duì)匹配。

上述算法的關(guān)鍵在于匹配過(guò)程中引入了二次匹配。最近鄰比例法首先用于特征點(diǎn)的粗匹配，初步挑選出區(qū)分度較好的待配點(diǎn)，然后統(tǒng)計(jì)特征點(diǎn)在其對(duì)應(yīng)尺度下的四鄰域灰度分布信息，并引入Pearson相關(guān)系數(shù)對(duì)待配點(diǎn)做進(jìn)一步挑選，得到最終的匹配對(duì)。

5 實(shí)驗(yàn)結(jié)果與結(jié)論

5.1 實(shí)驗(yàn)結(jié)果

根據(jù)以上論述，將算法應(yīng)用于采集的光電跟蹤系統(tǒng)圖像中。以車(chē)牌跟蹤為例，圖像的尺寸為640×480，實(shí)驗(yàn)平臺(tái)為 Intel i5－2400 3.1GHz四核處理器、4G內(nèi)存，分別用最近鄰歐氏距離比例法和本文提出的算法對(duì)已提取SURF特征的兩幀圖像進(jìn)行匹配，得到的結(jié)果如圖3所示。

圖3 車(chē)牌匹配效果對(duì)比

表1為近鄰比例法與本文算法對(duì)提取的車(chē)牌目標(biāo)特征匹配的性能比較，由表中數(shù)據(jù)可以看出，本文算法的匹配成功率達(dá)到95.45%，相比近鄰比例法在準(zhǔn)確度上有較大幅度提升;此外，由于實(shí)驗(yàn)中并未對(duì)提出的算法做并行優(yōu)化處理，因此在計(jì)算時(shí)間方面相比近鄰比例法有明顯提升，但17.87 ms的處理耗時(shí)依然能滿足一般光電系統(tǒng)的實(shí)時(shí)性要求。

表1 匹配性能比較

5.2 結(jié)論與展望

實(shí)驗(yàn)表明本特征點(diǎn)匹配算法具有較好的匹配性能。SURF特征提取算法首先被用于提取光電圖像序列中魯棒的特征點(diǎn)，接下來(lái)在點(diǎn)匹配的不同階段采用了不同策略:將誤配率較高的歐氏距離比率法作為第一級(jí)粗匹配，然后將特征點(diǎn)周邊的灰度信息引入匹配準(zhǔn)則中，從而大大提高了匹配準(zhǔn)確率。值得一提的是，該算法雖然利用了圖像的灰度信息，但挖掘并不充分，而且在計(jì)算時(shí)間方面還有待優(yōu)化。在后期的改進(jìn)工作中，有必要重點(diǎn)考慮特征點(diǎn)周邊局部紋理以及聚類(lèi)分析方法在本研究中的應(yīng)用。

［1］ Harris C，Stephens MJ.A combined corner and edge detector［C］.Processing of Fourth alvey Vision Conference，1988:147－151.

［2］ L Jing，N Allinson.A comprehensive review of current local features for computer vision［J］.Neurocomputing，2008(2):1－17.

［3］ Z Zhen，H Wang，E Teoh.Analysis of gray level corner detection［J］.Pattern Recognition Letters，1999，20(2):149－162.

［4］ S M Smith，J M Brady.SUSAN － a new approach to low level image processing［J］.International Journal of Computer Vision，1997，23(1):43 －78.

［5］ Lowe D G.Dinstinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):90 －110.

［6］ Bay H，Tuytelaars T，Van Gool L.SURF:speeded up robust features［C］.European Conference on Computer Vision，2006:1:404 －417.

［7］ Song Lin，Chen Yongmei，Song Chunhua，et al.Image matching method based on weighted shape context［J］.Laser＆ Infrared，2013，43(5):826 －830.(in Chinese)宋琳，程詠梅，宋春華，等.基于加權(quán)形狀上下文的圖匹配［J］.激光與紅外，2013，43(5):826 －830.

［8］ Yang Dongdong，Chang Danhua，Han Xia.Improvement and realization of the moving object detection and tracking［J］.Laser and Infrared，2010，40(2):205 －209.(in Chinese)楊冬冬，常丹華，韓夏.運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法的改進(jìn)與實(shí)現(xiàn)［J］.激光與紅外，2010，40(2):205 －209.

［9］ La Tuan Anh，Jae － Bok Song.Object tracking and visual servoing using features computed from local feature descriptor［C］.International Conference on Control Automation and Systems，2010:1044 －1048.

［10］ Bian Houqin，Su Jianbo.Feature correspondence algorithm based on scene － independent constraint［J］.Journal of Image and Graphics，2006，11(3):342 －348.(in Chinese)邊后琴，蘇劍波.場(chǎng)景無(wú)關(guān)約束下的特征匹配方法［J］.中國(guó)圖像圖形學(xué)報(bào)，2006，11(3):342 －348.

［11］ Timo Ojala，Matti Pietikainen，Topi Maenpaa.Multiresolution Gray－scale and rotation invariant texture classification with local binary patterns［J］.IEEE Transactions on Pattern Recognition and Machine Intelligence，2002，24:971 －987.