范雪婷 趙朝賀 潘九寶 王 瑋

（1.江蘇省基礎(chǔ)地理信息中心 南京 210013）（2.江蘇省地質(zhì)調(diào)查研究院 南京 210018）

1 引言

圖像配準(zhǔn)是將存在時(shí)間、傳感器或視角差異的同一場(chǎng)景的兩幅或多幅圖像進(jìn)行空間變換使得不同圖像在幾何空間上對(duì)應(yīng)起來(lái)［1～2］。傳統(tǒng)影像匹配方法可分成兩類灰度信息匹配和特征匹配［3］?；谔卣鞯钠ヅ浞椒ㄓ捎诰哂锌煽啃愿摺⑺惴ǚ€(wěn)定和靈活度高等性能而得到廣泛關(guān)注。1999年，David G.Lowe提出的尺度不變特征變換（Scale Invariant Feature Transform，SIFT）算法，具有尺度不變和旋轉(zhuǎn)不變性且對(duì)視角、噪聲、亮度變化具有較強(qiáng)的匹配能力和魯棒性，從而在圖像領(lǐng)域得到廣泛應(yīng)用［4］。但是SIFT算法也有很多缺陷，如計(jì)算量大、效率不高及容易出現(xiàn)錯(cuò)誤匹配現(xiàn)象等。文獻(xiàn)［5］提出基于隨機(jī)抽樣一致性（Random Sample Consen?sus，RANSAC）算法與SIFT特征剔除錯(cuò)誤匹配，取得一定的效果但并未完全消除錯(cuò)誤匹配且直接使用降低了效率。文獻(xiàn)［6］提出利用PCA-SIFT算法降低SIFT特征向量維度，減小算法的計(jì)算量，但效果并不理想，準(zhǔn)確度不如SIFT匹配算法。文獻(xiàn)［7］改進(jìn)RANSAC算法減少匹配計(jì)算量，提高了匹配速度，配準(zhǔn)精度未改善。綜合分析以上因素，本文提出一種改進(jìn)尺度不變特征變換算法的圖像配準(zhǔn)方法。算法充分考慮SIFT特征點(diǎn)的特性改進(jìn)匹配框架和匹配方法，盡可能地利用匹配點(diǎn)對(duì)提高算法的配準(zhǔn)精度和適用性。

2 算法

本文算法總體流程如圖1所示，主要包含三個(gè)方面：1）基于SIFT特征匹配點(diǎn)對(duì)的最近鄰歐式距離DNN和最近鄰與次近鄰距離比值DNS雙重閾值判據(jù)將特征匹配點(diǎn)集分為Ⅰ類匹配點(diǎn)集和Ⅱ類匹配點(diǎn)集，記為初始匹配點(diǎn)集；2）對(duì)于Ⅰ類匹配點(diǎn)集剔除重復(fù)匹配點(diǎn)對(duì)并將一對(duì)多和多對(duì)一匹配點(diǎn)對(duì)歸入Ⅱ類匹配點(diǎn)集，再進(jìn)行雙向匹配；由于在雙向匹配過(guò)程中，考慮反向匹配會(huì)可能損失正確匹配點(diǎn)對(duì)，因此將雙向匹配不一致匹配點(diǎn)對(duì)并入Ⅱ類匹配點(diǎn)集，本文稱之為中間匹配點(diǎn)集；3）利用最優(yōu)化的隨機(jī)采樣一致性（Optimized RANSAC，ORSA）方法剔除Ⅰ類匹配點(diǎn)集中的錯(cuò)誤匹配點(diǎn)對(duì)［8］；對(duì)于Ⅱ類匹配點(diǎn)集由于直接利用對(duì)極幾何約束匹配計(jì)算量較大，本文先剔除主方向差值與方向差平均值較差大的匹配點(diǎn)，再結(jié)合ORSA算法計(jì)算的基本矩陣，采用對(duì)極幾何約束剔除錯(cuò)誤匹配點(diǎn)對(duì)，從而得到最終精確匹配點(diǎn)集。

圖1 算法總體流程

2.1 初始匹配

SIFT算法通常采用特征描述向量間的歐式距離來(lái)衡量SIFT特征點(diǎn)間相似度，并通過(guò)比較特征點(diǎn)最近鄰值和次近鄰距離之間的比值來(lái)確定是否為匹配點(diǎn)。通常認(rèn)為DNS值較大時(shí)，參考圖像的某一特征點(diǎn)與輸入圖像中至少兩個(gè)特征點(diǎn)為疑似匹配點(diǎn)，但很難直接判定正確的匹配點(diǎn)，只得全部舍去，且在匹配過(guò)程中未度量匹配點(diǎn)間的歐式距離。因此，匹配結(jié)果中存在較多的誤匹配，降低匹配正確率，影響影像配準(zhǔn)精度甚至配準(zhǔn)錯(cuò)誤。

本文采用重復(fù)率來(lái)衡量匹配點(diǎn)正確率［9］。對(duì)于空間一點(diǎn)X，由影像的投影矩陣P1、P2，分別計(jì)算參考影像與輸入影像對(duì)應(yīng)的坐標(biāo)點(diǎn)x1、x2，即x1=P1X，x2=P2X，若同時(shí)能檢測(cè)到點(diǎn)x1、x2，則稱為可重復(fù)點(diǎn)?？芍貜?fù)點(diǎn)占提取總特征點(diǎn)的比值記為匹配正確率。重復(fù)率對(duì)于特征提取算法具有較好的穩(wěn)定性，但不同匹配算法的特征描述信息量和計(jì)算精度不同，需要一定的值作為參考。本文認(rèn)為匹配點(diǎn)對(duì)(x1，x2)之間的歐式距離滿足Dis(x1，x2)<ε，則該匹配點(diǎn)對(duì)為正確匹配點(diǎn)對(duì)。

本文通過(guò)多組實(shí)驗(yàn)，每組實(shí)驗(yàn)中設(shè)定DNS的閾值為0.8，步長(zhǎng)為0.1，統(tǒng)計(jì)分析不同取值條件下的DNN、DNS與匹配正確率的關(guān)系。圖2、3分別表明了最近鄰值和匹配點(diǎn)數(shù)、匹配正確率之間的關(guān)系。圖4、5分別描述了最次近鄰比值DNS與初始匹配點(diǎn)數(shù)、正確匹配點(diǎn)數(shù)以及匹配正確率間的關(guān)系。

圖2 最近鄰值與匹配點(diǎn)數(shù)關(guān)系

圖3 最近鄰值與匹配正確率關(guān)系

由圖2、3可知，隨著DNN的增大，初始匹配點(diǎn)數(shù)、正確匹配點(diǎn)數(shù)及匹配正確率都隨之減??；當(dāng)DNN值大于0.3時(shí)正確匹配點(diǎn)數(shù)、匹配正確率迅速減小甚至為零，而DNN>0.3的匹配點(diǎn)占總匹配點(diǎn)數(shù)的比例卻很大，嚴(yán)重影響了算法匹配的準(zhǔn)確度，也給刪除錯(cuò)誤匹配點(diǎn)帶來(lái)不利影響。本文將DNN的閾值設(shè)定為0.3，對(duì)于DNN>0.3的匹配點(diǎn)直接舍去。

圖4 最次近鄰比值與匹配點(diǎn)數(shù)關(guān)系

圖5 最次近鄰比值與匹配正確率關(guān)系

由圖4可知，匹配點(diǎn)數(shù)及正確匹配點(diǎn)數(shù)所占比值與DNS取值無(wú)規(guī)律可循，并非DNS值較小的匹配點(diǎn)對(duì)包含的正確匹配點(diǎn)對(duì)就多。由圖5可知，匹配正確率隨最次近鄰比值的增加基本呈下降趨勢(shì)，當(dāng)DNS的值大于0.5時(shí)，匹配正確率會(huì)非常低。但通過(guò)實(shí)驗(yàn)研究及圖4表明DNS>0.5的特征匹配點(diǎn)中還存在一定數(shù)目的正確匹配點(diǎn)，直接刪除將會(huì)影響影像配準(zhǔn)精度。為了盡可能多地獲取正確匹配點(diǎn)，提高算法配準(zhǔn)精度；本文將DNN<0.3的特征點(diǎn)對(duì)進(jìn)行分類，DNS<0.5的匹配點(diǎn)對(duì)并進(jìn)Ⅰ類匹配點(diǎn)集，0.5

2.2 中間匹配

對(duì)利用雙重閾值判據(jù)獲得的初始匹配點(diǎn)集中的Ⅰ類匹配點(diǎn)集首先剔除重復(fù)匹配點(diǎn)對(duì)，然后將其中多對(duì)一和一對(duì)多現(xiàn)象的匹配點(diǎn)對(duì)存入Ⅱ類匹配點(diǎn)集。實(shí)驗(yàn)中發(fā)現(xiàn)此時(shí)更新后的Ⅰ類匹配點(diǎn)集中還有大量的錯(cuò)誤匹配點(diǎn)對(duì)，為了進(jìn)一步提高Ⅰ類匹配點(diǎn)集的匹配準(zhǔn)確性，利用雙向匹配策略篩選正確匹配點(diǎn)對(duì)［10］，在實(shí)驗(yàn)中發(fā)現(xiàn)雙向匹配過(guò)程中可能會(huì)誤刪正確匹配點(diǎn)對(duì)，因此本文將雙向匹配不一致的匹配點(diǎn)對(duì)并入Ⅱ類匹配點(diǎn)集，以保證足夠數(shù)量的正確匹配點(diǎn)數(shù)，并將提純后的匹配點(diǎn)集稱為中間匹配點(diǎn)集。

2.3 精確匹配

RANSAC算法作為一種有效的模型參數(shù)估計(jì)算法［11～12］，在剔除圖像錯(cuò)誤匹配點(diǎn)中得到廣泛應(yīng)用。通過(guò)實(shí)驗(yàn)研究ORSA算法與匹配正確率間關(guān)系發(fā)現(xiàn)，ORSA算法提純后的正確率隨初始匹配正確率升高而升高；經(jīng)ORSA算法提純后會(huì)殘留錯(cuò)誤匹配點(diǎn)，且隨著初始匹配正確率的變大而減??；ORSA算法能基本保留所有的正確匹配點(diǎn)，但當(dāng)初始匹配正確率低于0.2時(shí)，ORSA算法應(yīng)用失效。因此簡(jiǎn)單地通過(guò)ORSA算法去除初始匹配點(diǎn)中的錯(cuò)誤匹配點(diǎn)，不僅消耗大量時(shí)間，而且匹配的準(zhǔn)確度、適用性并不理想。本文在獲取中間匹配點(diǎn)集的基礎(chǔ)上，分析Ⅰ類和Ⅱ類匹配點(diǎn)集的特性采取不同的篩選策略，以求更進(jìn)一步提高配準(zhǔn)精度。

對(duì)于I類匹配點(diǎn)集由于其匹配正確率較高，能較好地避免ORSA算法因初始匹配正確率低而不適用的問(wèn)題。因此本文利用ORSA算法進(jìn)一步刪除I類匹配點(diǎn)集中的誤匹配點(diǎn)對(duì)，實(shí)驗(yàn)過(guò)程中若殘留的匹配點(diǎn)對(duì)數(shù)不再減少或數(shù)目少于等于3，則ORSA算法停止執(zhí)行，并認(rèn)為此時(shí)提純后的I類匹配點(diǎn)集所包含的匹配點(diǎn)對(duì)為正確匹配點(diǎn)對(duì)。

對(duì)于Ⅱ類匹配點(diǎn)集，直接利用ORSA算法匹配可能會(huì)造成不適用現(xiàn)象，而直接利用對(duì)極幾何約束匹配［13］，因匹配點(diǎn)數(shù)多計(jì)算量而比較耗時(shí)。本文考慮經(jīng)方向匹配和ORSA算法提純后的I類匹配點(diǎn)集匹配正確率較高且匹配點(diǎn)對(duì)的主方向角度差基本相同，提出了首先計(jì)算I類匹配點(diǎn)集中所有匹配點(diǎn)對(duì)的主方向角度差值［14］，得到方向差值的平均值θ；對(duì)于Ⅱ類匹配點(diǎn)集首先剔除主方向差與θ值互差較大的匹配點(diǎn)對(duì)，然后在采用ORSA算法得到的配準(zhǔn)圖像間基本矩陣的基礎(chǔ)上再采用對(duì)極幾何約束來(lái)剔除誤匹配［15］，使Ⅱ類匹配點(diǎn)集得到進(jìn)一步提純，稱此時(shí)的Ⅰ類和Ⅱ類匹配點(diǎn)集為精確匹配點(diǎn)集，利用得到的匹配結(jié)果完成影像配準(zhǔn)。

為了衡量配準(zhǔn)結(jié)果的質(zhì)量，本文采用配準(zhǔn)精度這一指標(biāo)，具體計(jì)算步驟為隨機(jī)在參考影像中選取匹配檢查點(diǎn)40個(gè)，利用SIFT匹配算法得到特征同名點(diǎn)，采用最小二乘方法求解兩影像之間的投影變換矩陣H'，結(jié)合圖像間已知的單應(yīng)矩陣H，利用式（1）計(jì)算影像配準(zhǔn)中誤差衡量配準(zhǔn)精度指標(biāo)［16］。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為驗(yàn)證本文提出的匹配算法，選擇Graffiti流行測(cè)試圖像（http：//www.robots.ox.ac.uk/～vgg/data/da?ta-aff.html）的第1、2、3、4幅圖像（本文分別記為Graffiti1、Graffiti2、Graffiti3、Graffiti4），圖像序列間的單應(yīng)矩陣已知。

3.2 實(shí)驗(yàn)結(jié)果與分析

在Microsoft Windows7操作系統(tǒng)下結(jié)合VS2010和開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OPENCV環(huán)境開(kāi)發(fā)了匹配算法，限于篇幅本文僅列出匹配算法在實(shí)驗(yàn)過(guò)程中的相關(guān)結(jié)果：1）圖6按順序逐一列出了Graffiti1-2、Graffiti1-3、Graffiti1-4三組特征匹配點(diǎn)對(duì)，其中紅色十字表示參考圖像和輸入圖像間對(duì)應(yīng)的匹配點(diǎn)對(duì)；2）圖 7按順序給出了 Graffiti1-2、Graffiti1-3、Graffiti1-4圖像配準(zhǔn)結(jié)果；3）表1列出了本文算法與經(jīng)典算法（SIFT+ORSA算法）在匹配點(diǎn)對(duì)數(shù)上差異；4）表2列出了本文算法與流行算法及改進(jìn)算法文獻(xiàn)［7］配準(zhǔn)結(jié)果對(duì)比。

綜合上述實(shí)驗(yàn)結(jié)果，可知如下：

1）本文算法相對(duì)于經(jīng)典匹配算法無(wú)論在匹配正確點(diǎn)對(duì)數(shù)還是配準(zhǔn)精度上都有較大優(yōu)勢(shì)，特別是當(dāng)圖像間幾何畸變、噪聲等較大時(shí)，常用匹配算法已經(jīng)不適用，而本文算法卻能保證較高的配準(zhǔn)精度，證明本文算法的幾何畸變適用性和正確性優(yōu)勢(shì)。

圖6 本文算法匹配點(diǎn)對(duì)結(jié)果

圖7 本文算法配準(zhǔn)結(jié)果

表1 算法匹配點(diǎn)對(duì)

表2 算法配準(zhǔn)結(jié)果對(duì)比

2）采用本文算法能增加匹配點(diǎn)對(duì)的數(shù)量，使匹配點(diǎn)在圖像上的分布更加趨于均勻，保證匹配算法的穩(wěn)定性。不同的匹配策略盡可能地刪除錯(cuò)誤匹配點(diǎn)對(duì)，提高配準(zhǔn)精度。但由于SIFT特征自身定位精度不高，且影像間幾何畸變明顯時(shí)，定位精度明顯降低，所以Graffiti1-3、Graffiti1-4圖像間配準(zhǔn)精度都大于1個(gè)像素。

3）本文算法在提高配準(zhǔn)精度的同時(shí)損耗了時(shí)間，主要為算法中多次使用ORSA算法，但由于Ⅰ類匹配點(diǎn)集匹配點(diǎn)對(duì)正確率較高，減少了ORSA單次運(yùn)行時(shí)間，因此總匹配時(shí)間增加較少。此外若Ⅰ類匹配點(diǎn)集剔除誤匹配后的剩余點(diǎn)對(duì)數(shù)滿足配準(zhǔn)要求，也可直接拋棄Ⅱ類匹配點(diǎn)集的匹配過(guò)程，從而確保匹配速度。

4 結(jié)語(yǔ)

本文分析傳統(tǒng)基于SIFT特征算法和RANSAC匹配的缺陷，充分考慮特征點(diǎn)的相似性度量和匹配點(diǎn)集的特征，針對(duì)匹配框架和匹配方法，提出了一種改進(jìn)尺度特征變換算法的圖像配準(zhǔn)，匹配過(guò)程中利用雙閾值判據(jù)對(duì)匹配特征點(diǎn)對(duì)進(jìn)行分離，保證匹配點(diǎn)對(duì)的數(shù)目，然后對(duì)Ⅰ類匹配點(diǎn)集進(jìn)行初匹配并將一對(duì)多、多對(duì)一以及雙向匹配不一致點(diǎn)對(duì)并入Ⅱ類匹配點(diǎn)集，在降低正確匹配點(diǎn)對(duì)損失的基礎(chǔ)上使得匹配特征點(diǎn)集得到進(jìn)一步提純，獲取中間匹配點(diǎn)集，最后考慮雙匹配點(diǎn)集自有特性采取相應(yīng)的匹配方法，并對(duì)對(duì)極幾何約束匹配方法進(jìn)行改進(jìn)，提高匹配的效率和配準(zhǔn)精度。實(shí)驗(yàn)對(duì)比分析證明本文提出的匹配算法在匹配點(diǎn)對(duì)的數(shù)量和配準(zhǔn)精度上有明顯優(yōu)勢(shì)，提高了算法適用性和準(zhǔn)確性。