袁麗英，劉 佳，王飛越

(哈爾濱理工大學(xué)自動(dòng)化學(xué)院，黑龍江 哈爾濱 150080)

0 引言

在20世紀(jì)70年代，隨著美國(guó)對(duì)軍事輔助導(dǎo)彈系統(tǒng)及飛行器的研究，圖像配準(zhǔn)的概念被首次提出[1]。目前，圖像配準(zhǔn)算法的研究逐漸由基于像素的灰度相關(guān)的趨勢(shì)向局部特征相關(guān)發(fā)展[2]，人們已經(jīng)提出了各式各樣的局部特征算法。SIFT即尺度不變特征變換算法[3]，于1999年由D.G.Lowe等人提出，又于五年之后對(duì)此方法進(jìn)行了改進(jìn)[4]，該算法對(duì)尺度縮放、亮度等變化具有良好的不變性。K.Mikolajczyk提出了Harris-Laplace 算法，該算法的優(yōu)點(diǎn)是具有仿射不變性，但檢測(cè)到的特征點(diǎn)較少[5]。H.Bay等人在分析總結(jié)多種特征檢測(cè)方法的基礎(chǔ)上提出了SURF(Speeded-Up Robust Features)算法[6]，它加入了積分圖像簡(jiǎn)化計(jì)算，減少了檢測(cè)特征點(diǎn)的計(jì)算量，而且它對(duì)圖像的平移、旋轉(zhuǎn)、縮放等變化具有很好的不變性[7]。SURF算法是在SIFT算法已有成果上的改進(jìn)。

盡管SURF算法具有杰出的性能，但仍然存在匹配精度低的問(wèn)題[8]。產(chǎn)生這種情況的原因是：該算法是直接對(duì)原圖像進(jìn)行操作。原圖像受到外界環(huán)境的干擾，獲得的圖像質(zhì)量較差，提取特征變得困難，導(dǎo)致有效特征點(diǎn)的數(shù)量和準(zhǔn)確度下降，從而影響匹配結(jié)果。本文針對(duì)此問(wèn)題，提出了基于SURF的圖像配準(zhǔn)改進(jìn)算法。

1 SURF算法

SURF算法由特征點(diǎn)檢測(cè)、特征點(diǎn)描述和特征點(diǎn)匹配三部分組成[9]。通過(guò)積分圖像建立特征點(diǎn)檢測(cè)，選用Hessian矩陣檢測(cè)子來(lái)檢測(cè)特征點(diǎn)。利用特征點(diǎn)的Haar小波變換來(lái)尋找特征點(diǎn)的主方向，最終確定特征點(diǎn)的描述符[10]。通過(guò)描述特征向量之間的歐式距離，即相似度量以歐式距離作為準(zhǔn)則，完成圖像特征點(diǎn)匹配。

1.1 特征點(diǎn)檢測(cè)

1.1.1積分圖像

SURF算法中應(yīng)用積分圖像可將圖像與二階高斯微分模型卷積簡(jiǎn)化為對(duì)圖像的加減，其中積分圖像由Viola等提出[11]。積分圖像任意一點(diǎn)(i,j)的積分值ii(i,j)定義為原圖像左上角到任意點(diǎn)相對(duì)應(yīng)矩形區(qū)域灰度之和[12]，即：

(1)

式(1)中，原圖像點(diǎn)(i′,j′)的灰度像素的值由p(i′,j′)表示，可由式(2)、式(3)迭代得到：

S(i,j)=S(i,j-1)+p(i,j)

(2)

ii(i,j)=ii(i-1,j)+S(i,j)

(3)

式(2)中，S(i,j)表示一列的積分。對(duì)于超過(guò)邊界的值，令S(i,-1)=0，ii(-1,j)=0 。只需要對(duì)圖像所有像素掃描一遍就能求解積分圖像[13]。

當(dāng)求解圖像W內(nèi)的全部像素灰度時(shí)，可以不考慮W的大小，使用積分圖像的四個(gè)相應(yīng)點(diǎn)(i1,j1)，(i2,j2)，(i3,j3)，(i4,j4)的值加減可得，如圖1所示，即：求取W內(nèi)的像元灰度和跟W的大小不相關(guān)。W內(nèi)的像元灰度和∑W即：

∑W=ii(i4,j4)-ii(i2,j2)-ii(i3,j3)+ii(i1,j1)

(4)

若有一幅圖像的灰度值均為1，則圖像中任意點(diǎn)(i,j)積分圖像的值就是從該圖像左上角到它所組成的方形區(qū)域的大小，則W組成的方形的面積為∑W。

圖1 積分圖像的計(jì)算和窗口內(nèi)像元灰度求和Fig.1 The calculation of the integral image and the pixel gray-level summation in the window

1.1.2確定特征點(diǎn)

尺度空間理論是特征點(diǎn)檢測(cè)的基礎(chǔ)。通過(guò)積分圖像加快圖像卷積來(lái)增加計(jì)算速率。然后通過(guò)計(jì)算圖像每一個(gè)像素的Hessian矩陣行列式獲得特征點(diǎn)的值[14]。Hessian矩陣是以二階偏導(dǎo)數(shù)矩陣組成的，給定圖像I某一點(diǎn)(x,y)處Hessian矩陣即：

(5)

(6)

式(6)中，?表示為卷積，二維高斯函數(shù)如下所示：

(7)

H(x,y,σ)的行列式值Det(H)如下：

(8)

1.2 特征點(diǎn)描述

為了確保特征點(diǎn)的旋轉(zhuǎn)不變性，需要給所有特征點(diǎn)分配主方向[15]。具體步驟為：

1) 選取特征點(diǎn)為圓心，在以半徑為6s(s為特征點(diǎn)所在的尺度)的圓形區(qū)域內(nèi)，對(duì)圖像進(jìn)行Haar小波響應(yīng)運(yùn)算[16]，根據(jù)間隔距離，對(duì)得到的響應(yīng)值賦，然后統(tǒng)計(jì)響應(yīng)直方圖[16]。由于使用了積分圖像，使得計(jì)算速度加快。 尺度s的計(jì)算方法如下：

(9)

式(9)中，Sizecurrent-Filter、SizeBase-Filter和ScaleBase-Filter分別表示當(dāng)前濾波尺寸、基準(zhǔn)濾波尺度和濾波尺寸。

2) 通過(guò)60°的扇形滑動(dòng)窗口，以步長(zhǎng)0.2弧度兩側(cè)，旋轉(zhuǎn)這個(gè)滑動(dòng)窗口，如圖2所示。對(duì)圖像的Haar響應(yīng)的dx、dy進(jìn)行疊加[16]，生成矢量(mw,θw)即：

(10)

(11)

當(dāng)mw在窗口內(nèi)的疊加值最大的時(shí)候，其角度θw對(duì)應(yīng)主方向。

圖2 滑動(dòng)窗口圍繞特征點(diǎn)轉(zhuǎn)動(dòng)求取主方向Fig.2 Sliding the window around the feature point to find the main direction

3) 特征點(diǎn)主方向確定后，在特征點(diǎn)周圍20s×20s的矩形內(nèi)計(jì)算特征描述子。將此矩形化分成4×4子區(qū)域，使用尺寸為2×2模板的Haar小波計(jì)算每個(gè)子區(qū)域x方向和y方向的Haar小波響應(yīng)值。

1.3 特征點(diǎn)匹配

特征提取得到兩個(gè)特征點(diǎn)集合后，可根據(jù)特征點(diǎn)間的相似性度量來(lái)進(jìn)行匹配，因?yàn)镾URF特征向量維數(shù)不低[17]，一般都采用歐式距離作為相似性度量準(zhǔn)則。

1.3.1最小距離法

參考圖像I1和待配準(zhǔn)圖像I2的特征點(diǎn)描述符分別為x=(x1,x2,…,xi)，x′=(x1′,x2′,…,xi′)，則x和x′間的歐式距離如下：

(12)

算出待配準(zhǔn)圖像與參考圖像的所有特征點(diǎn)之間的距離，選擇與之相距最小的特征點(diǎn)作為匹配對(duì)。圖像中所有特征點(diǎn)都進(jìn)行同樣的操作，得到全部的特征匹配對(duì)。dmin為所有匹配點(diǎn)對(duì)距離的最小值，閾值設(shè)置為T=μ×dmin，剔除匹配點(diǎn)對(duì)中d

1.3.2最近鄰與次近鄰比值法

由式(12)計(jì)算出來(lái)的I1和I2所有特征點(diǎn)對(duì)間的距離，若在圖像I1內(nèi)的特征點(diǎn)與圖像I2內(nèi)距離最近和次近點(diǎn)間的距離分別為dmin，dsecond，則設(shè)定一個(gè)閾值T且滿足如下：

(13)

通常，T的取值為[0.4,0.8]，即最近點(diǎn)與次近點(diǎn)相比有更大的優(yōu)勢(shì)時(shí)才能構(gòu)成匹配對(duì)。

獲得特征點(diǎn)匹配對(duì)之后，使用RANSAC算法[18]求解仿射變換模型，具體分以下幾步：

1) 任意選三個(gè)特征匹配對(duì)，計(jì)算變換參數(shù)集P，初始化匹配對(duì)數(shù)matcher為零；

3) 若matcher超過(guò)某個(gè)閾值N，則終止計(jì)算，否則轉(zhuǎn)到2)；

4) 若計(jì)算完所有的特征點(diǎn)對(duì)時(shí)matcher都沒(méi)有超過(guò)N，那么就將matcher為最大值時(shí)的集合P作為最后的參數(shù)集合。

通常情況下，誤差d的取值范圍為1～10，若特征匹配集合的最大數(shù)量為M，閾值N與M的關(guān)系為N=4/M。事實(shí)上，若初匹配階段特征點(diǎn)的準(zhǔn)確匹配率超過(guò)40%，則算法會(huì)很快收斂。

2 改進(jìn)的SURF算法

本文對(duì)傳統(tǒng)的SURF圖像配準(zhǔn)算法的特征點(diǎn)提取以及特征點(diǎn)匹配進(jìn)行改進(jìn)。其具體流程圖如圖3所示。

圖3 SURF圖像配準(zhǔn)算法改進(jìn)流程圖Fig.3 Flow chart of improved surf image registration algorithm

2.1 特征點(diǎn)提取的改進(jìn)

一般的低通濾波器只考慮其中的灰度相似關(guān)系，將可能的邊緣信息和噪聲都濾掉，造成邊緣信息缺失，致使邊緣模糊。為了提取更好性能的特征點(diǎn)，本文預(yù)先采取雙邊濾波的形式，對(duì)圖像處理。雙邊濾波器兼顧了像素點(diǎn)周圍的空間鄰近、灰度相似關(guān)系，能夠解決濾除邊緣問(wèn)題[19]。雙邊濾波HBL如下所示：

(14)

式(14)中，

(15)

式(15)中，x為當(dāng)前位置，y∈s是以x為中心的s×s區(qū)域內(nèi)的點(diǎn)，Ix，Iy分別代表對(duì)應(yīng)的像素值，‖x-y‖為空間距離，Gσd，Gσr分別表示空間近鄰函數(shù)和灰度相似函數(shù)，Gσd能夠避免遠(yuǎn)距離像素的影響，Gσr可有效避免像素值突變的干擾。具體定義分別如下所示：

(16)

(17)

式(16)中，d(x,y)為圖像兩像素點(diǎn)間的歐式距離，σd，σr為高斯函數(shù)標(biāo)準(zhǔn)差。式(17)中,δ(I(x),I(y))為Ix，Iy間的灰度差。σd，σr分別限定像素位置的空間和灰度變化來(lái)控制濾波效果，σd，σr決定了雙邊濾波的性能。σd，σr值的選取可以根據(jù)實(shí)際情況調(diào)節(jié)。

2.2 特征點(diǎn)匹配的改進(jìn)

SURF特征點(diǎn)使用最近鄰域和次近鄰域法進(jìn)行匹配時(shí)，閾值的選取會(huì)對(duì)匹配結(jié)果產(chǎn)生影響，進(jìn)而匹配精度也會(huì)受到影響。

2.2.1閾值自適應(yīng)匹配

本文并沒(méi)有選取固定的閾值去完成匹配，而是通過(guò)閾值自適應(yīng)約束對(duì)初始匹配特征集合進(jìn)行篩選。步驟如下：

1) 假設(shè)從基準(zhǔn)圖和待檢測(cè)圖像中獲得的初始特征集合分別為X，Y，計(jì)算X中任意點(diǎn)和Y內(nèi)的全部特征點(diǎn)間的距離di，并將di按照從小到大的依次排列；

2) 對(duì)X中的所有點(diǎn)都進(jìn)行第一步的操作，并分成n組；

3) 對(duì)上一步中得到的n組數(shù)據(jù)，分別計(jì)算每組中在最前面的兩個(gè)數(shù)據(jù)的大小之比Ti(i=1,2，…，n)；

4) 計(jì)算Ti的平均值Td，設(shè)正確匹配對(duì)為match=0，初始化閾值為Tr=Td(0

5)若檢測(cè)到的點(diǎn)的最近和次近鄰域之比小于Tr，則++match對(duì)，可能是周邊相近的比較多，為了減少誤匹配，則Tr=Tr-0.05。反之，連續(xù)幾次都沒(méi)有檢測(cè)到正確的匹配對(duì)，則Tr=Tr+0.05，直到所有的特征點(diǎn)檢測(cè)完成為止。

2.2.2肯德爾系數(shù)約束

初匹配得到的特征點(diǎn)也會(huì)有錯(cuò)誤匹配，若圖像在拍攝時(shí)受到干擾，錯(cuò)誤匹配會(huì)更多，對(duì)配準(zhǔn)精度有更大的影響，所以本文采用肯德爾系數(shù)約束實(shí)現(xiàn)精匹配，從而減少誤配率。

設(shè)SURF算法通過(guò)初匹配得到的點(diǎn)在待配準(zhǔn)圖像中的中心位置為K，尺度為σ，主方向?yàn)棣?。給特征點(diǎn)定義一個(gè)半徑ρ，且半徑ρ=6σ。采用特征點(diǎn)為核心、建立邊長(zhǎng)為S=round(α×ρ)的正方形，α為實(shí)驗(yàn)參數(shù)[20]。

如圖4所示，設(shè)P1是圖像I1的配準(zhǔn)點(diǎn)，且其中心位置點(diǎn)、尺度、半徑、主方向分別為K1，σ1，ρ1，ω1，其周邊正方形區(qū)域?yàn)镽ec1，邊長(zhǎng)為S1=round(α×ρ1)，同理，則對(duì)應(yīng)到圖像I2的點(diǎn)為P2，且K2，σ2，ρ2，ω2，S1分別對(duì)應(yīng)著P2的中心位置、尺度、半徑和主方向及P2周圍正方形區(qū)域Rec2的邊長(zhǎng)。其中S2=round(α×ρ2)。

圖4 特征點(diǎn)對(duì)應(yīng)的正方形區(qū)域Fig.4 Squares corresponding to feature points

當(dāng)圖像旋轉(zhuǎn)時(shí)，對(duì)應(yīng)的正方形也應(yīng)該做出相應(yīng)旋轉(zhuǎn)，則P1，P2主方向之間相差角度Δφ如下：

Δφ=ω1-ω2

(18)

(19)

Aij即可表示為如下所示：

(20)

式(20)中，Aij為0的情況有三種，第一種為：v1i-v1j=0且v2i-v2j≠0，第二種為：v1i-v1j≠0且v2i-v2j=0，第三種為：v1i-v1j=0且v2i-v2j=0。

肯德爾系數(shù)τ表示為：

(21)

式(21)中，C，D分別為Aij等于1，-1的次數(shù)，T(v1i-v1j)=0,(v2i-v2j)≠0的次數(shù)，U為(v1i-v1j)≠0,(v2i-v2j)=0的次數(shù)。

為了求解每對(duì)配準(zhǔn)點(diǎn)的肯德爾系數(shù)，需要設(shè)定一個(gè)閾值TKτ，當(dāng)TKτ小于τ時(shí)，則此配準(zhǔn)點(diǎn)對(duì)是較強(qiáng)的匹配對(duì)；當(dāng)TKτ大于τ，則舍去配準(zhǔn)點(diǎn)。TKτ的計(jì)算如下：

TKτ=mean(Mτ)-std(Mτ)/2

(22)

式(22)中，mean(Mτ)，std(Mτ)分別對(duì)應(yīng)肯德爾系數(shù)的均值和標(biāo)準(zhǔn)差。

3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)的目的是對(duì)傳統(tǒng)的SURF算法與改進(jìn)后的SURF算法進(jìn)行比較，選取不同視角拍攝的圖像與變換程度不同的圖像，針對(duì)配準(zhǔn)時(shí)間、配準(zhǔn)率以及RMSE(均方根誤差)等方面進(jìn)行分析。實(shí)驗(yàn)環(huán)境為：Windows7操作系統(tǒng)，酷睿i5-3230M，CPU Intel 2.6 GHz，內(nèi)存4 GB，使用Matlab2014(64位)軟件。

3.1 不同視角的圖像配準(zhǔn)實(shí)驗(yàn)

選取同一場(chǎng)景不同角度拍攝的兩幅圖像，分別采用傳統(tǒng)的SURF算法和改進(jìn)后的SURF算法進(jìn)行實(shí)驗(yàn)，如圖5所示。

圖5(c)與圖5(d)對(duì)比可以得出，改進(jìn)之后的SURF配準(zhǔn)算法與原來(lái)的算法相比配準(zhǔn)精度損失不明顯，但是明顯去掉了部分誤匹配點(diǎn)對(duì)，提高了匹配的精度。實(shí)驗(yàn)數(shù)據(jù)記錄如表1。

根據(jù)表1，通過(guò)匹配率、匹配時(shí)間以及均方根誤差可知，改進(jìn)的SURF算法匹配率提高了，證明改進(jìn)的圖像配準(zhǔn)算法能夠提高配準(zhǔn)的精度。且改進(jìn)算法的匹配時(shí)間也較短，所以改進(jìn)的SURF算法實(shí)時(shí)性好。

圖5 SURF圖像配準(zhǔn)算法改進(jìn)前后的匹配結(jié)果Fig.5 Matching results before and after improvement of surf Image Registration algorithm

表1 算法改進(jìn)前后配準(zhǔn)結(jié)果對(duì)比

Tab.1 Comparison of registration results before and after the improvement of the algorithm

算法匹配率/%匹配時(shí)間/sRMSE傳統(tǒng)的SURF92.703.130.62改進(jìn)的SURF98.410.510.35

3.2 變換程度不同的圖像配準(zhǔn)實(shí)驗(yàn)

選取同一場(chǎng)景不同變換程度的兩張大山圖片，分別使用改進(jìn)前后的算法進(jìn)行配準(zhǔn)，實(shí)驗(yàn)結(jié)果如圖6所示。圖6(a)、圖6(b)分別為參考圖像和待配準(zhǔn)圖像，圖6(c)、圖6(d)分別為算法改進(jìn)前后的圖像特征點(diǎn)匹配。

圖6 SURF圖像配準(zhǔn)算法改進(jìn)前后的匹配結(jié)果Fig.6 Matching results before and after improvement of surf Image Registration algorithm

圖6(c)中結(jié)果的重疊的部分比較明顯，造成部分信息丟失，因而得到的結(jié)果相較于圖6(d)而言，圖像信息沒(méi)有得到充分的利用，圖6(d)的配準(zhǔn)視覺(jué)效果更佳且提高了配準(zhǔn)的精確率。實(shí)驗(yàn)數(shù)據(jù)記錄如表2。

表2 SURF算法改進(jìn)前后配準(zhǔn)結(jié)果對(duì)比

由表2可知，改進(jìn)后的SURF算法匹配率接近100%，因而改進(jìn)后的算法對(duì)誤配點(diǎn)的提純起到作用，匹配時(shí)間減少，且均方根誤差也降低，證明改進(jìn)的算法提高了配準(zhǔn)精度。

4 結(jié)論

本文提出了基于SURF的圖像配準(zhǔn)改進(jìn)算法，該算法針對(duì)SURF圖像配準(zhǔn)算法存在配準(zhǔn)精度低的問(wèn)題，在特征點(diǎn)提取之前采用雙邊濾波，有效的抑制一些不相關(guān)的特征點(diǎn)和噪聲誤差。閾值自適應(yīng)的約束對(duì)得到的特征點(diǎn)進(jìn)行初始匹配，提高了正確匹配對(duì)的精度。肯德爾系數(shù)可以對(duì)誤配點(diǎn)進(jìn)行二次剔除。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的SURF算法配準(zhǔn)精度與魯棒性增強(qiáng)，并且匹配時(shí)間減少。