楊 陽,王 瑞,宋 偉

(1.黃河水利委員會信息中心,河南 鄭州 454000;2.贛南科技學(xué)院,江西 贛州 341000)

0 引言

影像匹配是圖像處理和計(jì)算機(jī)視覺研究領(lǐng)域的熱點(diǎn)問題,是攝影測量自動化的關(guān)鍵技術(shù),其在計(jì)算機(jī)視覺、3D重構(gòu)、目標(biāo)識別、圖像拼接領(lǐng)域有著廣泛的應(yīng)用[1-4]。根據(jù)匹配算法實(shí)現(xiàn)過程中利用圖像信息的不同,現(xiàn)有影像匹配算法多以灰度信息和特征信息為基礎(chǔ)。其中,基于灰度的影像匹配算法實(shí)現(xiàn)簡單、匹配精度高,不足之處在于匹配速度慢、結(jié)果易受噪聲影響。而以特征信息為基礎(chǔ)的算法,因穩(wěn)定性好、效率高而得到了廣泛應(yīng)用。以特征信息為基礎(chǔ)的匹配算法的關(guān)鍵是如何實(shí)現(xiàn)影像局部不變特征信息的提取,如邊緣點(diǎn)、線特征、矩特征等,進(jìn)而采用相似性度量準(zhǔn)則進(jìn)行特征點(diǎn)匹配。點(diǎn)特征因具有不隨光照、投影、平移、縮放的變化而變化的優(yōu)良性質(zhì)而被廣泛采用。目前,以點(diǎn)信息為基礎(chǔ)的特征提取算法主要有Forstner算子、Moravec算子、SUSAN算子和Harris算子等。

基于點(diǎn)特征的影像匹配主要由3個(gè)步驟組成:特征點(diǎn)檢測、特征描述以及特征匹配。具有代表性的算法主要有SIFT算法、SURF算法、ORB算法[5]以及BRISK(Binary Robust Invariant Scalable Key-Points)算法[6]等。

SIFT(Scale Invariant Feature Transform)算法[7]是由David Lowe提出的,該算法穩(wěn)定性好,信息量豐富,能夠較好地克服由光照和影像幾何形變導(dǎo)致的影像縮放和旋轉(zhuǎn)變化,但算法時(shí)間復(fù)雜度高。針對該算法,不少學(xué)者提出了改進(jìn)算法,如ASIFT[8]、PCA-SIFT[9]以及線特征與SIFT點(diǎn)特征相結(jié)合的算法[10]等。

BAY等[11]提出了SURF(Speed Up Robust Feature)算法,其對SIFT算法進(jìn)行了改進(jìn),匹配速度得到了明顯提升,但是算法精確度卻降低了。

受光照、尺度和旋轉(zhuǎn)等因素的影響,基于特征的影像匹配算法效率較低。針對上述問題,本文采用SIFT與FREAK(Fast Retina Key-Point)[12]特征描述相結(jié)合的算法研究了具有不同旋轉(zhuǎn)角度的影像匹配,并將該算法與其他算法進(jìn)行對比。

1 基于FREAK特征的影像匹配

1.1 特征點(diǎn)提取

特征點(diǎn)信息提取主要包括以下幾個(gè)步驟:

a.建立尺度空間。目的是檢測在尺度變化時(shí)仍然穩(wěn)定的特征。

b.檢測極值點(diǎn)。在三維尺度空間中,將采樣點(diǎn)與同尺度、相鄰尺度的26個(gè)點(diǎn)進(jìn)行比較,若該點(diǎn)是局部極值點(diǎn),則將其作為候選關(guān)鍵點(diǎn)。

c.獲取關(guān)鍵點(diǎn)位置、尺度信息?；谌S二次函數(shù),對采樣點(diǎn)進(jìn)行擬合,得到關(guān)鍵點(diǎn)的精確位置信息與尺度信息。通過該函數(shù)擬合可較好地去除邊緣點(diǎn)和對比度較低的候選點(diǎn)。

d.確定主方向信息?；谙噜徬袼靥荻确较?獲取梯度直方圖。峰值所在的方向表示關(guān)鍵點(diǎn)所在主方向信息。

1.2 基于FREAK算子的特征點(diǎn)描述

1.2.1 特征點(diǎn)信息描述

FREAK描述符采用與視網(wǎng)膜感受域相似的分布結(jié)構(gòu),其中心點(diǎn)即為特征點(diǎn)位置。對應(yīng)的采樣點(diǎn)在同心圓上均勻分布。以σ作為特征點(diǎn)尺度信息,則可得到同心圓半徑:M1σ,M2σ,…,Mkσ,其中k代表采樣點(diǎn)層級數(shù)。圖1為視網(wǎng)膜結(jié)構(gòu)示意圖和FREAK算子采樣點(diǎn)結(jié)構(gòu)圖。

圖1 采樣點(diǎn)結(jié)構(gòu)圖與視網(wǎng)膜結(jié)構(gòu)示意圖比較

圖1(b)所示黑色點(diǎn)位即為采樣點(diǎn),首先通過高斯平滑處理來消除采樣點(diǎn)噪聲,高斯核大小取決于采樣點(diǎn)所在同心圓的半徑。同時(shí),采用重疊結(jié)構(gòu)構(gòu)建采樣點(diǎn)的感受域,通過感受域的重疊來獲取更多信息。

以采樣點(diǎn)對強(qiáng)度信息為基礎(chǔ)進(jìn)行比較,同時(shí)將比較結(jié)果進(jìn)行級聯(lián)形成對應(yīng)的FREAK特征描述符,其屬于二進(jìn)制描述符。以M作為特征點(diǎn)描述符,則有

(1)

(2)

a.首先構(gòu)建一個(gè)矩陣A,矩陣的每一行構(gòu)成對應(yīng)的FREAK描述子。

b.計(jì)算矩陣A每一列的方差值,矩陣每一列信息的多少與方差值成正比。篩選出方差值最大的列,計(jì)算其與其他列的協(xié)方差,并將協(xié)方差最小的添加到新的描述向量。

c.當(dāng)達(dá)到設(shè)定的維數(shù)上限Nmax時(shí)結(jié)束運(yùn)算,反之則返回步驟b。

基于以上的篩選、排序處理,描述符外層的采樣區(qū)構(gòu)成其低維度信息,位于中心的采樣區(qū)構(gòu)成其高維度信息。由此可知,外層采樣區(qū)域表達(dá)了對象的基本特征信息,中心的采樣區(qū)域則與細(xì)節(jié)信息有關(guān)。

1.2.2 方向分配

FREAK算法獲取特征點(diǎn)方向的計(jì)算過程與BRISK算法相近。在BRISK算法的長距離采樣點(diǎn)對基礎(chǔ)上,FREAK算法篩選得到45個(gè)對稱點(diǎn)對,計(jì)算梯度信息。圖2為對比點(diǎn)對集合。

圖2 特征點(diǎn)方向的對比點(diǎn)對集合

特征點(diǎn)對集合計(jì)算公式為

(3)

FREAK描述符的采樣結(jié)構(gòu)為圓形對稱,因而具有旋轉(zhuǎn)不變性。同時(shí)通過高斯平滑處理,較好地降低了噪聲干擾。故而,針對旋轉(zhuǎn)、尺度變換和噪聲等,FREAK特征具有穩(wěn)定的局部不變性。因此,基于FREAK特征描述的算法可以實(shí)現(xiàn)影像的快速配準(zhǔn)[13]。

1.3 特征點(diǎn)匹配

對于不同旋轉(zhuǎn)角度影像的匹配,本文采用比值提純法(NNDR)進(jìn)行粗配準(zhǔn),然后采用RANSAC算法[14]進(jìn)行精確配準(zhǔn),具體步驟如下:

a.采用K近鄰算法(KNN)搜索特征點(diǎn),然后根據(jù)特征點(diǎn)之間的距離閾值判斷特征點(diǎn)是否符合要求。若小于設(shè)定的閾值,則是對應(yīng)的匹配點(diǎn)。

b.由步驟a中K的取值為2,可檢測到與樣本點(diǎn)對應(yīng)的兩個(gè)特征點(diǎn),分別為最近鄰和次近鄰點(diǎn)。然后根據(jù)最近鄰和次近鄰特征點(diǎn)之間的距離比值關(guān)系來進(jìn)行粗配準(zhǔn)。

c.利用RANSAC算法對步驟b中的粗配準(zhǔn)結(jié)果進(jìn)行篩選,得到精確配準(zhǔn)結(jié)果。

2 實(shí)驗(yàn)與分析

基于兩組無人機(jī)影像數(shù)據(jù),利用本文算法對其進(jìn)行配準(zhǔn)實(shí)驗(yàn),并分別統(tǒng)計(jì)匹配到的特征點(diǎn)數(shù)及算法耗時(shí)。為了驗(yàn)證本文算法的有效性與準(zhǔn)確性,將結(jié)果與SURF算法、SURF-FREAK算法的實(shí)驗(yàn)結(jié)果進(jìn)行對比。

對于影像的匹配效果,采用正確率和兩幅圖像所有匹配特征點(diǎn)對之間坐標(biāo)的均方根誤差ERMS作為評價(jià)標(biāo)準(zhǔn),其中匹配正確率的定義為

(4)

式中,Mmatched為匹配到的點(diǎn)對數(shù),Mrightmatch為正確匹配到的點(diǎn)對數(shù)。

ERMS的計(jì)算式為

(5)

圖3、圖4分別為將待配準(zhǔn)影像旋轉(zhuǎn)30°、60°、90°、145°時(shí)的匹配效果圖。

圖3 Image 1不同旋轉(zhuǎn)角度的配準(zhǔn)結(jié)果

圖4 Image 2不同旋轉(zhuǎn)角度的配準(zhǔn)結(jié)果

算法的運(yùn)行結(jié)果分別見表1、表2。

表1 Image 1不同角度下SIFT-FREAK算法與SURF、SURF-FREAK算法的結(jié)果

表2 Image 2不同角度下SIFT-FREAK算法與SURF、SURF-FREAK算法的結(jié)果

根據(jù)圖4、圖5以及表1、表2可知,對于不同角度的影像匹配,SIFT-FREAK算法匹配效果較好,其結(jié)果準(zhǔn)確率高,且影像間旋轉(zhuǎn)角度差異大時(shí)該算法的準(zhǔn)確率能保持在90%以上,匹配得到的同名點(diǎn)精度高,能夠達(dá)到亞像素級的匹配精度。另外,在利用上面2組影像數(shù)據(jù)進(jìn)行配準(zhǔn)實(shí)驗(yàn)的同時(shí)還統(tǒng)計(jì)了該算法的時(shí)間效率(見表3)。

表3 各算法不同角度的時(shí)間效率

綜上可知,該算法具有以下優(yōu)點(diǎn):

a.具有較高的準(zhǔn)確率;

b.匹配到的特征點(diǎn)具有較高的精度;

c.對不同旋轉(zhuǎn)角的匹配結(jié)果具有較好的穩(wěn)定性。

3 結(jié)論

針對不同旋轉(zhuǎn)角度影響影像匹配效果的問題,提出了基于FREAK特征的多視角影像匹配算法,得到以下主要結(jié)論:

a.該算法有效解決了不同旋轉(zhuǎn)角度影像配準(zhǔn)的問題,對于多視角的影像匹配具有較好的效果。

b.采用分階段匹配的方法,有效提高了匹配結(jié)果的準(zhǔn)確率和精度。

c.通過采用FREAK描述符,較好地提升了匹配算法的時(shí)間效率,可以更好地應(yīng)用于實(shí)踐。