楊金玲，曹先革, 王霞迎, 萬 偉

(1.東華理工大學 測繪工程學院, 南昌 330013; 2.東華理工大學 高等教育研究與評估中心, 南昌 330013)

在圖像信息處理方面，綜合利用多傳感器圖像信息進行數(shù)據(jù)的挖掘和信息的分析是一項重要而又富有挑戰(zhàn)的工作。多傳感器提供的圖像信息與單一傳感器相比，具有可靠性、冗余性、互補性等特點，能夠為研究對象提供更多的細節(jié)信息。近紅外傳感器和可見光傳感器是兩種最常見的圖像源，近紅外圖像與可見光圖像的融合既可以獲得較高的空間分辨率、清晰的地物特征，又可以保留近紅外圖像所攜帶的區(qū)域場景的反射輻射信息，被廣泛地應用在圖像融合[1-2]、遙感[3]、圖像增強[4]、監(jiān)視[5]、目標識別跟蹤[6-7]等領域。

由于記錄地物信息譜段的差異，近紅外圖像與可見光圖像中的像素強度一般沒有直接關系，呈現(xiàn)較為復雜的灰度差異，因此兩幅圖像中同名特征點提取和匹配具有一定的難度。針對圖像特征匹配，眾多學者進行了大量的研究，提出了不同的匹配算法[2,7-9]。其中，近紅外與可見光圖像的匹配方法通常分為兩類：基于區(qū)域的匹配和基于特征的匹配，其中基于特征的匹配算法在該領域使用較為普遍。然而，如何進一步改善基于特征的匹配算法對近紅外圖像與可見光圖像的匹配效果，仍然是需要攻克的關鍵問題之一。

文中在分析近紅外圖像與可見光圖像共有特征信息的基礎上，充分顧及圖像特征信息和同名點分布情況，基于文獻[10]的ORB算法提出了一種改進的近紅外和可見光圖像特征匹配方法。首先通過引入BRISK算法思想[11]進行圖像尺度空間的構建，以使圖像具有尺度信息；然后采用FAST9-16獲取特征點，其中c0層為特例，需采用FAST5-8獲取特征點；第三步，利用灰度質心法進行特征點方向的確定；第四步，構造向量，利用rBrief描述子描述特征；第五步，利用hamming距離進行匹配，最后采用漸進采樣一致性算法進行誤匹配的剔除，最終實現(xiàn)可見光與近紅外圖像特征的匹配。

1 改進算法簡介

1.1 尺度空間構建

尺度不變性對高質量關鍵點的提取至關重要，為增強算法的尺度不變性，本算法首先進行尺度空間的構建。受文獻[11]BRISK算法的啟示，尺度空間金字塔層由2n層的金字塔組成，包括n個普通層圖像octavesci和n個內(nèi)層圖像intra-octavesdi，其中i={0,1,…,n-1}。

每個普通層圖像octavesci是通過對原始圖像(即圖像c0)不斷進行兩倍下采樣而形成的。每個內(nèi)層圖像intra-octavedi位于層ci和ci+1之間(如圖1所示)[11]。第一個內(nèi)層圖像intra-octaved0是通過對原始圖像(即圖像c0)進行1.5倍的下采樣來獲得的，而其余的內(nèi)層圖像intra-octavedi則是通過連續(xù)的兩倍下采樣來獲得的。

圖1 尺度空間構建

1.2 特征點探測與插值

特征點探測時，首先利用FAST 9-16檢測算子以相同的閾值T分別在普通層圖像octave和內(nèi)層圖像intra-octave上識別潛在的感興趣區(qū)域。其次，在尺度空間中對屬于這些區(qū)域的點進行非極大值抑制篩選響應較強的角點：即在同層的8鄰域中FAST得分S最大的點為特征點，同時該點還需要滿足在相鄰的上下兩層中得分值S盡量小。由于相鄰層即intra-octave和octave是由不同的形式離散表示的，所以在鄰域邊界上需要進行插值。

上述2n層金字塔構成的是一個離散的尺度空間，由于圖像的顯著性實際上是連續(xù)的，因此還需要對粗篩選出的特征點進行子像素和尺度上的進一步插值?？衫米钚《朔▽μ卣鼽c坐標進行x,y方向的二維二次插值,得到修正后的子像素位置，然后如圖1所示在尺度方向上進行拋物線插值，以得到極值點所在尺度，并用這個尺度根據(jù)上下層極值點與關鍵點位置的偏移量再次對特征點位置進行二次修正，并把這個位置作為特征點的最終位置。在插值過程中，為避免重采樣文中采用3×3的得分patch插值圖像的坐標及最終尺度。圖1描述了下采樣和極大值搜索的示例。

1.3 特征點描述

1)特征點的方向?；叶荣|心方法[12]是一種簡單有效的特征點方向檢測算法，其原理為：設某特征點所在圖像塊灰度質心為C，圖像塊的幾何中心為O，若C與O不重合則以向量OC作為特征點的方向。描述步驟如下。

首先，定義圖像塊的矩mpq：

(1)

式中：I(x,y)為圖像的灰度值x,y∈[-r,r]，r為特征點領域s的半徑。

然后，根據(jù)圖像塊的距計算質心C：

(2)

第三步，構建一個從幾何中心O到質心C的向量OC)。

特征點的方向可以簡化為：

θ=atan2(m01,m10).

(3)

至此，每個關鍵點都確定了主方向，具有了旋轉不變性。

2)特征點的描述。BRIEF特征描述子[13]是對由一系列二值灰度測試構成的圖像區(qū)塊的二進制字符串進行描述。對于平滑圖像區(qū)塊p，定義一個二值測試函數(shù)τ：

(4)

其中p(x)是平滑后圖像領域p在點x的灰度值。特征點被定義為n個二值測試的矢量：

(5)

n可以取值128、256、512等。由于BRIEF描述子對噪聲敏感，因此二值測試前需要對圖像進行平滑，根據(jù)文獻[10]對選擇平滑窗口的建議，文中在31×31的圖像塊上以5×5的子窗口對圖像進行平滑。

3)轉向BRIEF的計算。當圖像平面旋轉過大時，BRIEF匹配性能隨之下降。Calonder[13]提出為每個圖像區(qū)塊的每一組旋轉和透視變形分別計算一個BRIEF特征描述，但是這個解決方法計算代價太大。一個更加有效的方法是根據(jù)關鍵點的旋轉情況來調整BRIEF方向。對于點(xi,yi)上n個二值測試中任意特征集合，定義一個2×n矩陣：

(6)

用圖像塊的旋轉角θ和相應的旋轉矩陣Rθ，可構造一個S的“轉向”版本Sθ：

Sθ=RθS,

(7)

那么轉向BRIEF就變成：

gn(p,θ):=fn(p)|(xi,yi)∈Sθ.

(8)

得到Steered BRIEF后，執(zhí)行一個貪婪搜索選擇相關性最低的n個像素塊對，即得到最終的rBRIEF描述子。

1.4 特征匹配

利用rBRIEF計算另一幅圖像中特征點描述子，并將其與第一幅圖像中特征點進行匹配，獲得最佳匹配對，并記錄對應的漢明距離。

遍歷第二幅圖像中所有特征點Qn；首先，將Qn與第一幅圖像中所有聚類的中心點Pc,i進行匹配。即用dist(Pn,Pc,i)=Pn⊕Pc,i；i=1,2,…,k，計算Qn與聚類中心點的漢明距離。如果與中心點Pc,i計算的漢明距離符合設定閾值，則可得最佳匹配的聚類中心點Pc,i，然后再與該聚類下的其他特征點進行匹配，計算漢明距離，并取得最佳匹配; 如果與中心點Pc,i計算漢明距離超出設定閾值，則舍棄該匹配點; 匹配結束后，記錄匹配結果C：

C={matchi(P,Q,dist)|i=1,2,3,…,n}.

(9)

式中：C為最終取得的匹配點集合；n為最終取得匹配的特征點的個數(shù)；dist為每對匹配點之間的漢明距離，漢明距離越小，證明匹配精度越高。

1.5 基于漸進采樣一致性算法剔除誤匹配

在誤匹配剔除方面，RANSAC算法是應用最廣泛的穩(wěn)健估計方法，但是該方法依賴于預先定義的參數(shù)化模型，當圖像存在非剛性變換或誤匹配較多時，該模型會退化；并且該算法等價的看待所有匹配對，不進行任何區(qū)分就進行隨機采樣，缺乏針對性。

Chum等人對RANSAC方法進行改進，提出了漸進采樣一致性算法[14]。

原理如下：設假定匹配對為N個，數(shù)據(jù)集記作uN。

首先，利用評價函數(shù)q對匹配數(shù)據(jù)進行質量評價，記作q(ui)，并對數(shù)據(jù)進行降序排列，即若i

然后，在評價函數(shù)值最高的匹配數(shù)據(jù)子集M(M?uN)中進行隨機采樣獲得假設模型，并利用所有匹配對進行驗證；數(shù)據(jù)集M可根據(jù)驗證結果的需要逐漸增大，因此在該方法中采樣數(shù)據(jù)集不容易被誤匹配影響；

最后，當uN中內(nèi)點數(shù)In*滿足非隨機性和極大值策略時停止“采樣-驗證”循環(huán)。非隨機性是指：n*個數(shù)據(jù)的內(nèi)點In*恰好也是某一個錯誤模型內(nèi)點的概率小于閾值ψ(通常設為5%)。極大值策略是指：給定概率閾值η0(通常設為5%)，k為n*個數(shù)據(jù)中的采樣次數(shù)，其需要滿足：

kn*(η0)≥log(η0)/log(1-PIn*).

(10)

2 實驗與分析

2.1 運行環(huán)境與數(shù)據(jù)簡介

實驗采用的運行環(huán)境為Intel(R)Core(TM)i7-5500U CPU @ 2.4GHz，8G內(nèi)存，64位操作系統(tǒng)的PC機，以VS2017和Opencv4.4.0作為主要實驗平臺。

研究區(qū)域位于紐約哈姆林海灘州立公園，實驗數(shù)據(jù)為RIT-18數(shù)據(jù)集，數(shù)據(jù)大小約3G，由搭載在DJI-1000直升機上的Tetracam Micro-MCA6多波段傳感器獲取[15]。數(shù)據(jù)包括3個通道的近紅外圖像和包含R、G、B等3個通道的可見光圖像。本研究從整幅圖像中選取了具有代表性的區(qū)域(大小：640像素×857像素)進行近紅外和可見光數(shù)據(jù)匹配實驗。

2.2 結果與分析

為評估改進算法的性能，文中采用文獻[16]中的假定匹配率(Putative Match Ratio)、精度(Precision)、匹配得分(Match Score)3個指標對算法進行評定。

基于改進算法探測出的特征點分布情況和特征點匹配結果如圖2和圖3所示，基于ORB算法探測出的特征點分布情況和特征點匹配結果如圖4和圖5所示。改進算法和ORB算法特征識別和匹配結果統(tǒng)計數(shù)據(jù)見表1。當可見光圖像尺寸縮小10%后，基于改進算法的特征匹配結果見圖6。

圖2 改進算法特征點探測結果(左：近紅外，右：可見光)

圖3 改進算法特征點匹配結果(左：粗匹配，右：精匹配)

圖4 ORB算法特征點探測結果(左：近紅外，右：可見光)

在誤匹配點對剔除階段，針對經(jīng)典的RANSAC算法等價的看待所有匹配點對，隨機選擇點對估算單應矩陣參數(shù)的情況，文中采用一種半隨機的方式進行點對的選擇，即首先對匹配點對的質量進行評價并排序，然后采取逐漸增大采樣點對的策略進行點對的選擇，有效改善了誤匹配剔除性能。由于算法每次特征識別和匹配用時均有一定幅度的變化，因此文中取算法10次運算所用時間的平均值作為漸進采樣一致性算法和RANSAC算法的用時，算法運行時間和正確匹配點對數(shù)見表2。

表1 基于改進算法和ORB算法的特征識別與匹配結果

圖5 ORB算法匹配結果(左：粗匹配，右：精匹配)

圖6 基于改進算法的圖像尺度變化特征匹配結果

表2 漸進采樣一致性算法和RANSAC算法用時

3 結果分析

1)從圖2和圖4特征點探測結果的對比分析可知，改進算法在近紅外圖像和可見光圖像中均能夠有效探測出特征點；與ORB算法相比，文中提出的改進算法性能明顯，并且探測出的特征點分布相對均勻。在道路和草地區(qū)域內(nèi)(邊緣除外)，由于圖像對比度差，像素趨于同質化，兩種算法探測出的特征點數(shù)均趨近于零。

2)從表1可知，改進算法在近紅外圖像和可見光圖像中分別探測出特征點9 212個和6 961個，ORB算法在近紅外圖像和可見光圖像中分別探測出特征點506個和522個。與ORB算法相比，改進算法在近紅外圖像中探測出的特征點個數(shù)提升了17.21倍，在可見光圖像中探測出的特征點個數(shù)提升了12.34倍，假定匹配率減少了0.14%，匹配得分提高了5.2%。

3)從表1可知，改進算法獲得粗匹配點對2 576對，正確點對844對，匹配精度為32.76%，ORB算法獲得粗匹配點對188對，正確點對35對，匹配精度18.62%。與ORB算法相比，改進算法匹配精度提高了14.14%。改進算法最終得到的正確點對數(shù)提升了23.11倍，可見本算法在近紅外和可見光圖像特征點識別和匹配方面具有明顯優(yōu)勢。

4)從表2可知，與經(jīng)典RANSAC算法相比，基于漸進采樣一致性算法的誤匹配點對剔除方法在近紅外和可見光圖像特征識別和匹配過程中總體時間減少了14%，最終匹配的點對僅減少了0.35%。

5)如圖6所示，當圖像尺寸發(fā)生變化時(縮小10%)，改進算法能夠有效克服尺度變化帶來的影響。在圖中，改進算法在近紅外圖像中探測出特征點9 212個，在可見光圖像中探測出特征點5 620個，其中粗匹配點對2 122個，正確點對614個，匹配精度為28.93%。

4 結束語

近紅外和可見光圖像成像原理不同，針對同一場景獲取的圖像灰度差異大，圖像誤匹配多。為進一步改善基于特征的匹配算法對近紅外圖像與可見光圖像的匹配效果，文中提出了一種改進的算法，該算法在初始階段通過引入BRISK算法思想進行圖像金字塔的設計，使圖像具備了尺度不變性；在誤匹配剔除階段針對傳統(tǒng)RANSAC算法等價看待所有匹配點對的不足之處，文中通過采用對匹配點對質量評價、逐漸增大采樣點對等方式計算單應矩陣進而剔除誤匹配。實驗證明，文中提出的改進算法，增加了提取特征點的魯棒性，顯著提高了特征點探測的數(shù)量，與ORB算法相比，在Putative Match Ratio、Precision和Match Score方面均得到了明顯提高。采用漸進采樣一致性算法進行誤匹配點對的剔除，有效減少了特征匹配的時間，提高了算法的效率。