張巖, 李建增, 李德良, 杜玉龍

(軍械工程學(xué)院, 河北 石家莊 050003)

快速魯棒性非線性尺度不變的特征匹配算子

張巖, 李建增, 李德良, 杜玉龍

(軍械工程學(xué)院, 河北 石家莊 050003)

提出了一種快速魯棒性非線性尺度不變的特征匹配算子(speeded up robust nonlinear scale invariant feature,SURNSIF),通過檢測子非線性尺度空間的快速求解去除了噪聲,同時(shí)保證了圖像邊緣細(xì)節(jié),并將自適應(yīng)選取尺度空間組數(shù)、adaptive and generic corner detection based on the accelerated segment test(AGAST)與框狀拉普拉斯濾波器去除邊緣響應(yīng)相結(jié)合,兼顧了檢測的準(zhǔn)確性與實(shí)時(shí)性;描述子交疊帶的構(gòu)建、規(guī)范微分響應(yīng)與非線性尺度空間約束的引入增強(qiáng)了描繪準(zhǔn)確性。通過與scale invariant feature transform(SIFT)、speeded up robust features(SURF)、KAZE、binary robust invariant scalable keypoints(BRISK)、AGAST以及快速海森(fast-Hessian)的實(shí)驗(yàn)對比,SURNSIF的5種變換魯棒性均較強(qiáng),同時(shí)速度也更快,綜合性能較KAZE提高約10.87%,速度提高約47%。

特征匹配;SURNSIF;KAZE;AGAST

圖像匹配是將不同時(shí)間、不同視角、相同或不同傳感器獲取的同一地區(qū)的2幅或多幅影像進(jìn)行空間上對準(zhǔn)的過程。其主要解決視點(diǎn)、模糊、照度、JPEG壓縮,尺度以及旋轉(zhuǎn)變換問題[1],總體分為基于特征與基于灰度兩大類[2]。在利用像素方面,特征匹配比基于灰度信息減少了運(yùn)算點(diǎn)數(shù)目,從而大大減少了匹配的計(jì)算量;同時(shí)特征匹配對位置比較敏感,從而提高了匹配精度;在特征提取過程中,該類方法減弱了噪聲、照度、圖像變形及遮擋的影響,并且同名點(diǎn)坐標(biāo)可以直接估計(jì)圖像之間的空間變換關(guān)系。由于以上的優(yōu)勢,該類算法近些年來被廣泛使用與研究[3]。

Lowe于1999年提出了經(jīng)典的scale invariant feature transform(SIFT)[4]算法,并于2004年對該算法進(jìn)行了進(jìn)一步完善。該算法在高斯差分尺度空間(difference of Gaussians,DoG)內(nèi)檢測極值點(diǎn),并剔除對比度低的點(diǎn)及邊緣響應(yīng),同時(shí)建立梯度方向分布直方圖,生成128維描述符。該算法具有尺度與旋轉(zhuǎn)不變性,同時(shí)對視點(diǎn)、模糊、照度與JPEG壓縮等變換魯棒性強(qiáng),但實(shí)時(shí)性不高。2006年,Bay等人改進(jìn)了SIFT,提出了speeded up robust features(SURF)算法[5]。該算法使用不同尺寸快速海森矩陣檢測關(guān)鍵點(diǎn),同時(shí)利用小波響應(yīng)生成64維描述符,使得檢測與描述速度大幅提升,但對模糊、照度與JPEG壓縮等變換敏感。2011年,Leutenegger改良了binary robust independent elementary features(BRIEF)算法[6],提出了binary robust invariant scalable keypoints(BRISK)算法[7]。該算法在近似尺度空間中利用adaptive and generic corner detection based on the accelerated segment test(AGAST)檢測特征點(diǎn)[8],同時(shí)利用長距離迭代法為特征點(diǎn)賦予方向,并在關(guān)鍵點(diǎn)周圍利用固定的采樣模式生成二進(jìn)制描述符。該算法不僅具有視點(diǎn)、模糊、照度、JPEG壓縮、旋轉(zhuǎn)與尺度等不變性,而且完全滿足實(shí)時(shí)性要求,但與SIFT、SURF等算法相比,各方面魯棒性較弱。2011年,Alahi等人提出一種基于人眼視網(wǎng)膜的fast retina keypoint(FREAK)描述子[9]。其本質(zhì)也是二進(jìn)制描述符,利用掃視匹配搜索,比BRISK描述符的各種變換魯棒性均有提高,而且速度完全滿足實(shí)時(shí)需求,但各方面魯棒性還是較弱。Pablo等人于2012年提出一種非線性特征檢測的KAZE算法[10]。傳統(tǒng)基于線性高斯金字塔進(jìn)行多尺度檢測的算法都是以犧牲局部精度為代價(jià),來提取特征點(diǎn)同時(shí)消除噪聲,這容易造成邊界模糊和細(xì)節(jié)丟失,使匹配穩(wěn)定性差與誤匹配點(diǎn)多,非線性尺度分解有望解決此類問題[11]。KAZE的描述子與檢測子都是基于SURF而改進(jìn)設(shè)計(jì)的,采用任意步長來構(gòu)造穩(wěn)定的非線性尺度空間,同時(shí)考慮了子區(qū)域交疊帶,使得對于各種變換比SIFT更為穩(wěn)健,但速度大幅下降。2013年,Pablo等人又提出一種快速的accelerated-KAZE算法[12]。該算法利用fast explicit diffusion(FED)數(shù)學(xué)框架,動態(tài)加速了非線性尺度空間的計(jì)算,同時(shí)提出一種二進(jìn)制描述符modified-local difference binary(M-LDB),使得算法的速度大大提高,但描述子各方面魯棒性弱于KAZE描述子。

傳統(tǒng)特征匹配算子存在問題有:高斯尺度空間無法同時(shí)消除噪聲并保持圖像細(xì)節(jié);DoG或快速海森矩陣等的檢測速度無法滿足實(shí)時(shí)性需求;尺度空間組數(shù)與層數(shù)的選取無法滿足不同圖像處理;去除邊緣響應(yīng)的算法實(shí)時(shí)性不高;網(wǎng)格性描述子過分分割了空間,打破了圖像的連續(xù)性;基于小波響應(yīng)的描繪力較弱,同時(shí)并未考慮景深問題。所以欲改良傳統(tǒng)特征匹配算子的魯棒性與實(shí)時(shí)性問題,其重點(diǎn)是解決尺度空間的構(gòu)建、檢測算子的選用、去除邊緣響應(yīng)算法速度的提高、交疊描述、描述響應(yīng)的選用與景深描述的問題。

1 算子概述

本文提出了一種快速魯棒性非線性尺度不變的特征匹配算子(speeded up robust nonlinear scale invariant feature,SURNSIF),該算子包含檢測子和描述子兩部分,其構(gòu)成如圖1所示。

圖1 SURNSIF算子示意圖

1) 自適應(yīng)選取尺度空間組數(shù)來滿足不同圖像的檢測。

2) 快速求解非線性尺度空間以去除噪聲,同時(shí)保證邊緣。

3) 引入AGAST來提高檢測的速度與魯棒性。

4) 引入框狀拉普拉斯濾波器以提高邊緣響應(yīng)去除的速度與準(zhǔn)確性。

5) 構(gòu)建網(wǎng)格交疊帶來增強(qiáng)描繪的準(zhǔn)確性。

6) 引入規(guī)范微分響應(yīng)與鄰域響應(yīng)加權(quán)求和以改善對于模糊、照度以及旋轉(zhuǎn)變換魯棒性。

7) 增加尺度空間位置約束來增強(qiáng)反映特征點(diǎn)在圖像中的灰度關(guān)系以及景深關(guān)系。

2 SURNSIF特征檢測子

2.1 非線性尺度空間建模

非線性擴(kuò)散濾波方法可以通過非線性偏微分方程來描述：

(1)

c(x,y,t)=

(2)

所選擇的c函數(shù)能夠有效保留邊界信息同時(shí)平滑區(qū)域內(nèi)部。對比度因子k能控制擴(kuò)散程度,邊緣信息保留量與其負(fù)相關(guān),經(jīng)過大量實(shí)驗(yàn),其值取為圖像的梯度直方圖70%百分位上的值。

2.2 自適應(yīng)選取尺度空間組數(shù)

為了提高對不同圖像檢測的準(zhǔn)確度與效率,本文提出了適應(yīng)選取尺度空間組數(shù)的方法,其原理如下:

構(gòu)造尺度級別按對數(shù)遞增的尺度空間,尺度參數(shù)σi如(3)式所示

σi(o,s)=σ02o+s/So=0,1,…,O-1,

s=0,1,…,S-1 i=0,1,…,N

(3)

式中,o表示組,s表示層,σ0表示尺度參數(shù)的初始值,O為總組數(shù),S為總層數(shù)。N=O×S為尺度空間包含的圖像總數(shù)。

過大的O與S會導(dǎo)致構(gòu)造線性尺度空間耗時(shí)較長,過少的O與S會導(dǎo)致匹配率下降。經(jīng)過大量實(shí)驗(yàn),將S定為經(jīng)驗(yàn)值4,然后根據(jù)圖像尺寸來自適應(yīng)選取O,公式如下

(4)

式中,c與r分別表示圖像的行數(shù)與列數(shù),[]表示取整(四舍五入)。

2.3 非線性尺度空間的快速求解

傳統(tǒng)正向歐拉法求解非線性擴(kuò)散方程時(shí),由于迭代步長太短導(dǎo)致計(jì)算復(fù)雜。針對上述問題,本文擬采用FED算法[12]求解非線性擴(kuò)散方程,此方法可以采用任意步長來構(gòu)造穩(wěn)定的非線性尺度空間,并且運(yùn)算快捷。FED算法是通過因數(shù)分解盒子濾波器進(jìn)行動態(tài)循環(huán)加速,而達(dá)到快速求解非線性系統(tǒng)的目的,其原理如下:

根據(jù)尺度參數(shù)σi按(5)式求出進(jìn)化時(shí)間:

(5)

然后從因數(shù)分解盒子濾波器得到不同步長τi來執(zhí)行顯式擴(kuò)散步驟,τi按(6)式求得,(7)式為該非線性偏微分方程的解:

Li+1,j+1=(I+τjAl(Li))Li+1,jj=0,…,n-1

(7)

式中,I表示單位矩陣,Al為傳導(dǎo)運(yùn)算符,n表示顯性擴(kuò)散步數(shù),τi表示對應(yīng)步長,τmax表示滿足條件的最大步長。

構(gòu)建非線性尺度空間的流程為:首先對輸入圖像進(jìn)行高斯濾波,然后為得到對比度參數(shù)k求出梯度直方圖,最后由一組進(jìn)化時(shí)間求解隱式差分方程即可得到非線性尺度空間的所有圖像。圖2為高斯與非線性尺度空間效果對比。

圖2 尺度空間對比圖

2.4 AGAST算子檢測

AGAST改進(jìn)了features from accelerated segment test(FAST)算法[13],進(jìn)一步提高了檢測效率,與KAZE的海森矩陣檢測法相對比,該算法大大提高了速度,同時(shí)保證了效果[8]。其本質(zhì)是有足夠多的像素點(diǎn),其灰度值小于或大于周圍鄰域內(nèi)待檢測點(diǎn),則該點(diǎn)被認(rèn)定為特征點(diǎn)。模板是以待檢測點(diǎn)為圓心,半徑為3個(gè)像素的Bresenham圓。經(jīng)Rosten測試,閾值定為9的檢測穩(wěn)定性與速度綜合性能最優(yōu),此閾值可以很快排除偽角點(diǎn)。

然后將AGAST9-16(圓周上共有16個(gè)像素,閾值為9)算子應(yīng)用于非線性尺度空間每一層,并記錄下候選點(diǎn)所在非線性尺度空間位置(o與s),求出候選點(diǎn)及其AGAST分?jǐn)?shù)V。

2.5 邊緣響應(yīng)的去除

比較候選點(diǎn)與相鄰的上下尺度層中的9×2個(gè)點(diǎn)以及同尺度的8個(gè)相鄰點(diǎn)的AGAST分?jǐn)?shù)V,若所有相鄰點(diǎn)的分?jǐn)?shù)均小于該點(diǎn),則保留該點(diǎn)。這種方法檢查效率極高,因?yàn)榇蟛糠趾蜻x點(diǎn)在開始幾次檢測中就被剔除了。

經(jīng)過上述步驟,不穩(wěn)定點(diǎn)和局部極值點(diǎn)均已排除,但仍存在一些邊緣點(diǎn),這對特征點(diǎn)的選取影響極大。本文選用拉普拉斯剔除法來去除邊緣響應(yīng),通過對應(yīng)尺度的5×5框狀拉普拉斯濾波器對候選點(diǎn)進(jìn)行處理,如果鄰域內(nèi)各像素點(diǎn)灰度的拉普拉斯值不為0,則保留該點(diǎn)。這種方法比SIFT計(jì)算海森矩陣的跡與行列式[4]更快,且準(zhǔn)確度更高。

然后經(jīng)過亞像素級矯正[15]步驟完成特征點(diǎn)的定位。最后為使特征點(diǎn)檢測子具有旋轉(zhuǎn)不變性,通過規(guī)范微分響應(yīng)[16]按扇形環(huán)繞的方法[5]賦予每一個(gè)特征點(diǎn)方向特征。

3 SURNSIF特征描述子

3.1 構(gòu)造網(wǎng)格描述子交疊帶

近年來,描述子的構(gòu)建方式主要有2種:網(wǎng)格式與二進(jìn)制式,二者各有優(yōu)缺點(diǎn),網(wǎng)格式更準(zhǔn)確,二值式更快捷。由于本實(shí)驗(yàn)更注重準(zhǔn)確性,所以采取網(wǎng)格的方式構(gòu)建描述子,SIFT、SURF等網(wǎng)格式描述子的描繪方式會包含更加豐富的信息,因此網(wǎng)格描述子比二進(jìn)制描繪器具有更強(qiáng)的獨(dú)特性[15,17-18]。

網(wǎng)格描述子容易過分分割了空間,打破圖像的連續(xù)性。為解決此問題,可在選用網(wǎng)格描述子的同時(shí),構(gòu)建描述子交疊帶。即以特征點(diǎn)為中心,以24S(S為該特征點(diǎn)對應(yīng)的尺度)為邊長,確定一個(gè)正方形鄰域,如圖3所示。

圖3 構(gòu)建描述子向量示意圖

將該正方形區(qū)域分成16個(gè)子正方形區(qū)域(橫縱各4個(gè)),大小為9S×9S,子正方形區(qū)域相鄰有寬度為2S的交疊帶,這樣的設(shè)計(jì)會使交疊帶被充分考慮,減小網(wǎng)格描述子分割空間影響,模板描繪更加準(zhǔn)確。

3.2 規(guī)范微分響應(yīng)描述

為改善描述子的魯棒性,引入規(guī)范坐標(biāo)系下的微分響應(yīng)Lww與Lvv[16],規(guī)范微分響應(yīng)是計(jì)算機(jī)視覺中十分重要的工具,在尺度變換下能夠保持極好的旋轉(zhuǎn)不變性;在不同尺度下,Lww能夠測量模糊變換的相關(guān)信息,同時(shí)Lvv具有良好的邊緣響應(yīng),所以規(guī)范微分響應(yīng)對模糊具有較強(qiáng)的魯棒性,它與小波響應(yīng)的關(guān)系如(8)式所示。在每一個(gè)子塊區(qū)域中用模板尺寸為2S的Haar小波濾波器進(jìn)行處理,得到相對于特征點(diǎn)方向的水平與豎直方向小波響應(yīng)dx與dy,以及二階小波響應(yīng)dxx、dxy與dyy,從而求得規(guī)范微分響應(yīng)Lww與Lvv。

(8)

3.3 鄰域響應(yīng)加權(quán)求和

對規(guī)范微分響應(yīng)Lww、Lvv、|Lww|與|Lvv|求和,得到一個(gè)4維向量V(∑Lww,∑Lvv,∑|Lww|,∑|Lvv|)。將Lww、|Lww|分為Lvv<0,Lvv≥0 2種情況求和,相應(yīng)的在對Lvv、|Lvv|求和時(shí)分成Lww<0,Lww≥0 2種情況,把4×4個(gè)子塊區(qū)域的向量連起來就得到了4×4×4×2=128維的描述向量。雖然規(guī)范微分響應(yīng)具有照度不變性,但考慮尺度影響,所以將描述向量歸一化成單位向量,使描述子具有照度不變性。

由于規(guī)范微分響應(yīng)本質(zhì)上是加權(quán)的Lww梯度函數(shù),權(quán)重與圖像結(jié)構(gòu)密切相關(guān),所以不需要進(jìn)行高斯加權(quán)處理,這便減少了高斯加權(quán)運(yùn)算的代價(jià),提高了運(yùn)行速度。規(guī)范坐標(biāo)系具有旋轉(zhuǎn)不變性,因此只需旋轉(zhuǎn)網(wǎng)格即可保證描述子的旋轉(zhuǎn)不變性。

3.4 增加尺度空間位置約束

4 實(shí)驗(yàn)驗(yàn)證

4.1 實(shí)驗(yàn)設(shè)置

1) 實(shí)驗(yàn)平臺參數(shù)

筆記本計(jì)算機(jī)配置:處理器為Intel酷睿雙核i7第4代,主頻為2.5GHz。操作系統(tǒng)為Win10 64位系統(tǒng),編程環(huán)境為Visual Studio 2010 與OpenCV 2.41(KAZE與AGAST是由OpenCV 3.10中提取加載的)。

2) 數(shù)據(jù)集

為體現(xiàn)檢測子所產(chǎn)生的不同效果,同時(shí)保證實(shí)驗(yàn)的客觀性,本實(shí)驗(yàn)采用Mikolajczyk 05標(biāo)準(zhǔn)測試圖集[19](http:∥www.robots.ox.ac.uk/～vgg/research/affine/),如圖4所示,該數(shù)據(jù)集分為8個(gè)數(shù)據(jù)子集(含圖像間的單應(yīng)矩陣),包括5種變換:視點(diǎn)變換、模糊變換、照度變換、JPEG壓縮,以及尺度變換和旋轉(zhuǎn)變換。

3) 實(shí)驗(yàn)對象及OpenCV相關(guān)參數(shù)設(shè)置

對比近年來較有特點(diǎn)的檢測子與描述子:

SIFT: 檢測子:組數(shù):4,層數(shù):4,對比閾值:0.04,邊緣閾值:10,σ=1.6。

描述子:128維。

SURF: 檢測子:fast-Hessain:0.6,組數(shù):4,層數(shù):4,主方向不固定。

描述子:64維。

KAZE: 檢測子:組數(shù):4,層數(shù):4,擴(kuò)散系數(shù):G2,閾值:0.001,主方向不固定。

描述子:64維M-SURF與128維M-SURF。

BRISK: 檢測子:閾值:30,組數(shù):4。

描述子:512bit的二進(jìn)制串,格局規(guī)模:1。

AGAST檢測子: 灰度閾值:30,進(jìn)行非極大值抑制,模板:9-16。

fast-Hessian檢測子:閾值:600。

圖4 測試所用圖片集

4) 實(shí)驗(yàn)過程和評估準(zhǔn)則

通過測定檢測子的復(fù)現(xiàn)率[19](區(qū)域重疊錯(cuò)誤率低于40%)、描述子的查全率(recall)和錯(cuò)誤率(1-precision)[20](SURF檢測子(hessianthreshold:600)與基于歐氏距離的暴力匹配中的半徑匹配方式)、運(yùn)行時(shí)間以及遙感影像間的正確匹配率[21]來評判配準(zhǔn)算法性能。

4.2 實(shí)驗(yàn)結(jié)果與分析

4.2.1 SURNSIF檢測子的性能

如圖5所示,衡量SURNSIF檢測子的實(shí)驗(yàn)結(jié)果分析如下:

1) KAZE與fast-Hessian的對比說明,非線性濾波器構(gòu)建尺度空間對檢測響應(yīng)在視點(diǎn)、尺度與模糊變換的特征檢測性能有大幅度提升。

2) KAZE與SURF的檢測結(jié)構(gòu)相似,且確定特征點(diǎn)主方向的方法相同,僅尺度空間的構(gòu)建不同,所以二者對比說明,各種變換非線性尺度空間較線性尺度空間魯棒性均有明顯提升。1)與2)也正是將非線性濾波器引入SURNSIF的重要原因。

3) AGAST與fast-Hessian的對比說明,AGAST在照度、模糊、視點(diǎn)與JPEG壓縮變換方面的魯棒性都有較大提升,這是將AGAST引入SURNSIF的重要原因。

4) 雖然BRISK中有關(guān)尺度空間的構(gòu)建和方向的確定等都是近似估計(jì)的運(yùn)算,5種變換魯棒性最弱,但尺度與視點(diǎn)變換較AGAST均有提升,驗(yàn)證了將AGAST引入尺度空間檢測的合理性。

5) SURF與SIFT的旋轉(zhuǎn)變換的對比說明,小波扇形環(huán)繞特征方向確定法要優(yōu)于梯度直方圖統(tǒng)計(jì)法,所以SURNSIF使用小波扇形環(huán)繞法確定特征方向。

6) 由于SURNSIF非線性尺度空間構(gòu)建與AGAST配合時(shí)性能比較優(yōu)良,同時(shí)通過框狀拉普拉斯濾波器去除了邊緣響應(yīng),所以照度、模糊、視點(diǎn)與JPEG壓縮變換的魯棒性最高。

7) 由于SURNSIF自適應(yīng)選取非線性尺度空間組數(shù),所以尺度變換的魯棒性最高。

8) 由于SURNSIF與KAZE確定主方向方法一致,但規(guī)范微分響應(yīng)在尺度變換下比小波響應(yīng)更能保持較好的旋轉(zhuǎn)不變性,所以SURNSIF的旋轉(zhuǎn)變換魯棒性更高。

圖5 不同變換條件下的復(fù)現(xiàn)率比較

綜上所述,SURNSIF檢測子在視點(diǎn)、模糊、照度、JPEG壓縮、旋轉(zhuǎn)與尺度的變換下,均具有良好的魯棒性,綜合性能較KAZE提高約5.76%。

4.2.2 SURNSIF描述子的性能

如圖6所示,對每個(gè)數(shù)據(jù)子集中的第1與第4張圖像進(jìn)行測試(曲線采樣點(diǎn)數(shù)為1 000),衡量SURNSIF描述子的實(shí)驗(yàn)結(jié)果分析如下:

1) SURF與BRISK的比較說明,二進(jìn)制特征描繪器的描繪力較弱,這是因?yàn)橥徊蓸狱c(diǎn)參與多次比較導(dǎo)致二進(jìn)制描述子的部分因信息相關(guān)而冗余,所以BRISK描述子5種變換魯棒性不強(qiáng),特別是旋轉(zhuǎn)變換魯棒性較弱。

2) SURF與SIFT的比較說明,在尺度、旋轉(zhuǎn)、視點(diǎn)和JPEG壓縮變換下,采用小波特征進(jìn)行描述操作的魯棒性較梯度累積均有提升,但在模糊與照度變換下,歸一化后小波響應(yīng)對圖像灰度的描繪力不如梯度累積響應(yīng)強(qiáng)。在小波基礎(chǔ)上推導(dǎo)的規(guī)范微分響應(yīng),比小波響應(yīng)更適合構(gòu)建描述子,僅響應(yīng)不同其余結(jié)構(gòu)相同的G-SURF描述子,較SURF描述子各魯棒性均有提升,特別是對于模糊變換以及大尺度變換下的旋轉(zhuǎn)變換[18]。

3) KAZE-64與SURF描述子結(jié)構(gòu)相似,相鄰子區(qū)域交疊的構(gòu)建不同,所以二者對比說明了相鄰子區(qū)域的交疊會使描述具有連續(xù)性,5種變換魯棒性均明顯提升。

4) KAZE-128與KAZE-64的比較說明了128維M-SURF描述子較64維M-SURF描述子各魯棒性均有提升。

以上4點(diǎn)正是SURNSIF采用網(wǎng)格式描述子與規(guī)范微分響應(yīng)、引入交疊帶以及使用128+2維描述結(jié)構(gòu)的重要原因。

5) SURNSIF與KAZE-128在尺度與視點(diǎn)變換的對比說明,利用尺度空間組與層的對應(yīng)關(guān)系對特征點(diǎn)匹配進(jìn)行約束以及利用尺度歸一化為尺度金子塔定向,可以使約束更為準(zhǔn)確,所以提升了尺度與視點(diǎn)變換的魯棒性。

6) 在照度、模糊與旋轉(zhuǎn)變換方面,SURNSIF與KAZE-128描述結(jié)構(gòu)基本相同,但描述響應(yīng)不同,因而對于以上3種變換,規(guī)范微分響應(yīng)比小波響應(yīng)魯棒性更強(qiáng),證明了SURNSIF引入規(guī)范微分響應(yīng)的合理性。

7) 規(guī)范微分響應(yīng)對小波響應(yīng)JPEG壓縮的改善較小,所以SURNSIF與KAZE的JPEG壓縮變換魯棒性幾乎一致。

綜上所述,SURNSIF描述子無論在視點(diǎn)、模糊、照度還是尺度變換的情況下,均具有強(qiáng)魯棒性,綜合性能較KAZE-128提高約4.84%。

4.2.3 時(shí)間測試

這一節(jié)將對特征檢測子與描述子的運(yùn)行時(shí)間進(jìn)行測試分析。利用SIFT、SURF、KAZE、BRISK、AGAST、fast-Hessian與SURNSIF算法,分別對Graf圖像序列中的第1、2張圖像(圖像大小:800×640 像素)進(jìn)行實(shí)驗(yàn)(次數(shù)超過100次),取均值后對比分析SURNSIF的速度特點(diǎn)與優(yōu)勢。

表1 算法耗時(shí)比較

表1展現(xiàn)了SURNSIF的速度優(yōu)勢:

1) 檢測子方面:因?yàn)镾URNSIF中引入FED算法加速了尺度空間的構(gòu)建、引入AGAST與框狀拉普拉斯濾波器加速了特征點(diǎn)的檢測,所以執(zhí)行速度大大領(lǐng)先于KAZE與SIFT,但非線性尺度空間構(gòu)建與定向的計(jì)算量遠(yuǎn)大于SURF的不同尺寸框狀濾波器的計(jì)算量,所以平均每點(diǎn)速度遠(yuǎn)低于SURF,與BRISK接近。尺度空間的簡化與AGAST的引入共同形成了BRISK的速度優(yōu)勢,說明了AGAST用于提高檢測速度的合理性。

2) 描述子方面:SURNSIF的描述子構(gòu)建思想與SURF類似,但為了提高描繪力,求取規(guī)范微分響應(yīng)、構(gòu)建相鄰子區(qū)域交疊帶與引入尺度空間約束增加了計(jì)算量,所以速度約為SURF的60%。通過KAZE(64)與KAZE(128)的對比可以發(fā)現(xiàn),128維與64維描述子的構(gòu)建時(shí)間相差不多,但匹配時(shí)間超出74%。由于KAZE(128)沒有求取規(guī)范微分響應(yīng)或引入尺度空間約束,所以速度稍領(lǐng)先于130維的SURNSIF。由于SIFT的描述方式為梯度方向累加,所以耗時(shí)最長,SURNSIF較SIFT平均每點(diǎn)速度提高約33%。BRISK速度最快,是因?yàn)樗拿枋鲎咏Y(jié)構(gòu)為512bit的二進(jìn)制串,可以按位異或匹配,所以匹配速度也隨之變快,但由上節(jié)描述子對比結(jié)果可知二進(jìn)制特征描繪器的描繪力較弱,不適合非同源遙感圖像的處理。

綜上所述,SURNSIF平均每點(diǎn)的檢測描述總速度較KAZE提高47%,較SIFT提高40%,約為SURF的35%,BRISK的33%,并且是OpenCV在實(shí)現(xiàn)方面對SIFT、SURF、KAZE、BRISK進(jìn)行優(yōu)化加速的結(jié)果。隨著基于OpenMP與OpenCL的并行實(shí)現(xiàn)、代碼優(yōu)化與GPU的硬件加速,SURNSIF速度將進(jìn)一步提高。

4.2.4 基于SURNSIF的遙感影像匹配測試

基于SURNSIF進(jìn)行遙感影像的匹配測試,同時(shí)也為SURNSIF的工程實(shí)踐提供一種思路。匹配算法流程如圖7所示。

圖7 算法示意圖

首先利用灰度均勻化減弱光照影響,其次進(jìn)行特征檢測與描述,再次利用暴力匹配方法與雙向匹配結(jié)合的匹配方法提高搜索效率,最后利用progressive sample consensus(PROSAC)[22]去除外點(diǎn)完成匹配。

本實(shí)驗(yàn)利用六旋翼無人機(jī)作為實(shí)驗(yàn)平臺對河北省石家莊市行唐縣地區(qū)進(jìn)行了實(shí)驗(yàn),同時(shí)與SIFT、SURF、KAZE以及BRISK算子進(jìn)行了對比。實(shí)驗(yàn)主要技術(shù)參數(shù)如表2所示,航攝影像、谷歌衛(wèi)星影像拍攝時(shí)間約相差6個(gè)月,圖像分辨率約相差30%,光照條件相差極大,部分影像旋轉(zhuǎn)角度超過180°,視點(diǎn)變化較大、均有運(yùn)動模糊、噪聲影響,對其中4條航帶進(jìn)行實(shí)驗(yàn)。

表2 實(shí)驗(yàn)影像主要技術(shù)參數(shù)

圖8 配準(zhǔn)結(jié)果

如圖8所示,彩線為同名點(diǎn)連線,黑框?yàn)楹綌z影像透視變換結(jié)果,將40組匹配實(shí)驗(yàn)結(jié)果分析如下:

1) 由于簡化近似的檢測結(jié)構(gòu)與二進(jìn)制描述結(jié)構(gòu),BRISK并不適用于此類照度與模糊程度,特別是旋轉(zhuǎn)角度相差較大的非同源遙感圖像匹配,其平均正確匹配率較低,為13.55%,但速度極快。

2) KAZE的平均正確匹配率最高,為49.17%,且較為穩(wěn)定,特別是針對視點(diǎn)、旋轉(zhuǎn)與尺度變換部分表現(xiàn)出較好的魯棒性,這得益于非線性尺度空間的構(gòu)建與交疊帶的設(shè)計(jì),但實(shí)時(shí)性不高。

3) SIFT的平均正確匹配率為25.35%,雖然整體上稍遜色于KAZE與SURF,但在照度與模糊變化大時(shí),表現(xiàn)了較好的旋轉(zhuǎn)魯棒性,這得益于去除邊緣響應(yīng)與梯度直方圖統(tǒng)計(jì)法的照度魯棒性高,但同樣實(shí)時(shí)性不高。

4) SURF可適用于非同源遙感圖像的匹配,平均正確匹配率介于SIFT和KAZE之間,為26.13%,且速度大幅度提升,完全滿足實(shí)時(shí)性的需求,但對于模糊與照度變換較為敏感。

5) SURNSIF的平均正確匹配率為56.13%,且穩(wěn)定性與速度均高于KAZE,這是因?yàn)镾URNSIF構(gòu)建了非線性尺度空間,然后用AGAST進(jìn)行檢測,最后通過框狀拉普拉斯濾波器剔除了邊緣響應(yīng),增強(qiáng)了尺度、模糊與視點(diǎn)變換魯棒性,并且考慮了相鄰子區(qū)域的交疊問題,使得描述具有連續(xù)性,還引入了規(guī)范微分響應(yīng),增強(qiáng)了模糊與旋轉(zhuǎn)變換魯棒性,同時(shí)進(jìn)行了歸一化尺度空間位置約束,增強(qiáng)了尺度與視點(diǎn)變換魯棒性,所以匹配效果較好,且速度較快。

SURNSIF在圖像及視頻檢索、目標(biāo)識別、紋理識別、數(shù)據(jù)挖掘、飛行器導(dǎo)航和寬基線匹配等多個(gè)領(lǐng)域,具有廣闊的應(yīng)用前景。同時(shí),SURNSIF在實(shí)時(shí)性要求較高的應(yīng)用領(lǐng)域具有巨大潛力。

5 結(jié) 論

本文提出一種SURNSIF算子,并通過實(shí)驗(yàn)驗(yàn)證了算子的可行性與優(yōu)勢,主要做了如下工作:

1) 針對目前特征匹配算子魯棒性與實(shí)時(shí)性問題,分析了該問題解決的核心所在,理清了特征匹配算子的研究思路。

2) 通過綜合分析里程碑式的特征匹配算子發(fā)展歷程與優(yōu)缺點(diǎn),根據(jù)存在的實(shí)際問題,提出了SURNSIF算子。并對其檢測子與描述子的設(shè)計(jì)進(jìn)行了詳盡的理論分析與實(shí)驗(yàn)驗(yàn)證,通過與當(dāng)前使用廣泛的SIFT、SURF、KAZE、BRISK、AGAST與fast-Hessian算子對比,定量表現(xiàn)了本算法在解決特征匹配5種變換及速度等問題上存在很大優(yōu)勢。

3) 本實(shí)驗(yàn)通過六旋翼無人機(jī)為平臺對河北省石家莊市行唐縣地區(qū)進(jìn)行了實(shí)驗(yàn)與分析,實(shí)驗(yàn)結(jié)果有效證明了本方法的特點(diǎn)與優(yōu)勢,為工程實(shí)踐提供了指導(dǎo)幫助,同時(shí)也指明了本算法的發(fā)展前景。

本算子未來的改進(jìn):SURNSIF檢測子交疊帶設(shè)計(jì)與景深關(guān)系推導(dǎo)還可以進(jìn)一步研究,算法可以進(jìn)行并行設(shè)計(jì)與增加GPU硬件加速來提高運(yùn)行效率。

[1] 樊曼曼. 多源衛(wèi)星遙感影像配準(zhǔn)技術(shù)研究[D]. 秦皇島：燕山大學(xué), 2011 Fan Manman. Resarch of Multi-Source Image Matching Technology[D]. Qinhuangdao, Yanshan University, 2011 (in Chinese)

[2] 宋芳, 李勇, 陳勇. 多源遙感圖像中的圖像配準(zhǔn)方法[J]. 激光雜志, 2008, 29(3): 26-27 Song Fang, Li Yong, Chen Yong. Match Methods for Multisensor Remote Sensing Image Registration[J]. Laser Journal, 2008, 29(3): 26-27 (in Chinese)

[3] 廖斌. 基于特征點(diǎn)的圖像配準(zhǔn)技術(shù)研究[D]. 長沙: 國防科學(xué)技術(shù)大學(xué), 2008 Liao Bin. Feature Aided Target Maneuver Detection Technology[D]. Changsha, National University of Defense Technology, 2008 (in Chinese)

[4] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110

[5] Bay H, Tuytelaars T, Van Gool L. SURF: Speeded Up Robust Features[C]∥Proceedings of 9th European Conference on Computer Vision. Graz, Austria: Springer Berlin Heidelberg, 2006: 404-417

[6] Calonder M, Lepetit V, Strecha C, et al. Brief: Binary Robust Independent Elementary Features[C]∥Proceedings of 11th European Conference on Computer Vision Crete, Greece: Springer Berlin Heidelberg, 2010: 778-792

[7] Leutenegger S, Chli M, Siegwart R Y. BRISK: Binary Robust Invariant Scalable Keypoints[C]∥Proceedings of 2011 International Conference on Computer Barcelona, Spain, 2011: 2548-2555

[8] Mair E, Hager G D, Burschka D, et al. Adaptive and Generic Corner Detection Based on the Accelerated Segment Test[C]∥Proceedings of 11th European Conference on Computer, Heraklion, Crete, Greece: Springer Berlin Heidelberg, 2010: 183-196

[9] Alahi A, Ortiz R, Vanderrgheynst P. FREAK: Fast Retina Keypoint[C]∥Proceedings of Computer Version and Pattern Recognition, 2011: 510-517

[10] Pablo F, Adrien B, Andrew J. KAZE Features[C]∥Proceedings of 12th European Conference on Computer Version, Florence, Italy: Springer Berlin Heidelberg, 2012: 214-227

[11] 李鵬, 武文波, 王宗偉. 基于非線性尺度空間的多源遙感影像匹配[J]. 測繪科學(xué), 2015, 40(7): 41-44 Li Peng, Wu Wenbo, Wang Zongwei. Muti-Source Remote Sensing Images Matching Based on Nonlinear Scale Space[J]. Science of Surveying and Mapping, 2015, 40(7): 41-44 (in Chinese)

[12] Pablo F, Jesus N, Adrien B. Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces[C]∥Proceedings of 2013 British Machine Vision Conference. Bristol, UK, 2013:2157-2163

[13] Edward R, Tom D. Machine Learning for High-Speed Corner Detection[C]∥Proceedings of 9th European Conference on Computer Vision, Graz, Austria, 2006: 430-443

[14] 胡波. 基于顏色不變量的特征匹配算法研究[D]. 沈陽：遼寧大學(xué), 2014 Hu Bo. Study of Feature Matching Algorithm Based on Color Invariant[D]. Shengyang, Liaoning University, 2014 (in Chinese)

[15] 王飛宇, 邸男, 賈平. 結(jié)合尺度空間FAST角點(diǎn)檢測器和SURF描繪器的圖像特征[J]. 液晶與顯示, 2014, 29(4): 598-604 Wang Feiyu, Di Nan, Jia Ping. Image Features Using Scale-Space FAST Corner Detector and SURF Descriptor[J]. Chinese Journal of Liquid Crystals and Displays, 2014, 29(4): 598-604 (in Chinese)

[16] Pablo F, Luis M, Andrew J. Gauge-SURF Descriptor[J]. Image and Vision Computing, 2013, 31(1): 103-116

[17] 余淮, 楊文. 一種無人機(jī)航拍影像快速特征提取與匹配算法[J]. 電子與信息學(xué)報(bào), 2016, 38(3): 509-516 Yu Huai, Yang Wen. A Fast Feature Extraction and Matching Algorithm for Unmanned Aerial Vehicle Images[J]. Journal of Electronics and Information Technology, 2016, 38(3): 509-516 (in Chinese)

[18] 張寶龍, 李洪蕊, 李丹, 等. 一種針對車載全景系統(tǒng)的圖像拼接算法的仿真[J]. 電子與信息學(xué)報(bào), 2015, 37(5): 1149-1153 Zhang Baolong, Li Hongrui, Li Dan, et al. A Simulation of Image Mosaic Algorithm Based on Vehicle Panorama System[J]. Journal of Electronics and Information Technology, 2015, 37(5): 1149-1153 (in Chinese)

[19] Mikolajczyk K, Tuytelaars T, Schmid C, et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65(1/2): 43-72 (in Chinese)

[20] Mikolajczyk K, Schmid C. A Performance Evaluation of Local Descriptors[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630

[21] Winder S A J, Brown M. Learning Local Image Descriptors[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, Redmond, 2007: 1-8

[22] Chum O, Matas J. Matching with PROSAC-Progressive Sample Consensus[C]∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Minneapolis, 2005: 220-226

Speeded up Robust Nonlinear Scale-Invariant Feature

Zhang Yan, Li Jianzeng, Li Deliang, Du Yulong

(Ordnance Engineering College, Shijiazhuang 050003, China)

This paper puts forward a speeded up robust nonlinear scale invariant feature(SURNSIF). Noise is wiped off and edge response is guaranteed through the fast solving of nonlinear scale space. Adaptive selection of number of scale space and the Adaptive and Generic corner detection based on the accelerated segment test(AGAST), combined with frame Laplace filter via removing edge response take account of the detection accuracy and real-time performance. Constructing descriptor overlap, introduction of gauge derivatives and the constraint of feature point in the nonlinear scale space location enhance the accuracy. Comparing to scale invariant feature transform(SIFT), speeded up robust features(SURF), KAZE, binary robust invariant scalable keypoints(BRISK), AGAST and fast-Hessian experiments, the SURNSIF reveals stronger robustness with 5 kinds of changes, and its registration speed is faster. Compared with KAZE, comprehensive robustness is increased about 10.87%, and the speed is increased about 47%.

feature registration; SURNSIF; KAZE; AGAST

2016-03-08

國家自然科學(xué)基金(51307183)資助

張巖(1991—),軍械工程學(xué)院博士研究生,主要從事計(jì)算機(jī)視覺與無人機(jī)圖像信息處理技術(shù)研究。

TP391.4

A

1000-2758(2016)06-1108-12