侯 毅,周石琳,雷 琳,趙 鍵

(國防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410073)

基于ORB的快速完全仿射不變圖像匹配*

侯 毅,周石琳,雷 琳,趙 鍵

(國防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410073)

ASIFT具有完全仿射不變性，但計(jì)算耗時(shí)；ORB實(shí)時(shí)性好，但仿射不變性差。為了在圖像匹配中同時(shí)兼顧仿射不變性和實(shí)時(shí)性，利用模擬相機(jī)在不同視點(diǎn)下成像的手段使得ORB具備完全仿射不變性，進(jìn)而提出了一種基于ORB的快速完全仿射不變圖像匹配新算法(AORB)。首先通過模擬相機(jī)在不同視點(diǎn)下成像以獲取模擬的圖像，然后用快速的ORB算法對(duì)所有模擬的圖像對(duì)進(jìn)行匹配，最終取得完全仿射不變性。實(shí)驗(yàn)結(jié)果表明，該算法能夠滿足完全仿射不變圖像匹配需求，并且相比基于OpenMP的ASIFT計(jì)算速度提高了約6倍。

ORB;ASIFT;Affine-SIFT;仿射不變;圖像匹配

1 引言

基于局部不變特征的圖像匹配技術(shù)是計(jì)算機(jī)視覺和圖像處理領(lǐng)域的研究熱點(diǎn)，在圖像配準(zhǔn)、影像拼接、目標(biāo)識(shí)別、三維重建等領(lǐng)域有著極為重要的應(yīng)用。隨著當(dāng)前應(yīng)用對(duì)圖像匹配技術(shù)在較大仿射變化下的適應(yīng)性和實(shí)時(shí)處理能力的需求日益強(qiáng)烈，更加需要圖像匹配技術(shù)能同時(shí)兼顧仿射不變性和實(shí)時(shí)性。

當(dāng)前已有諸多能夠適應(yīng)一定仿射變換的圖像匹配算法見諸文獻(xiàn)。一類是部分仿射不變的算法，如Harris/Hessian-Affine[1]、MSER[2]等。其中，MSER的仿射不變性被證明是最好的，Harris/Hessian-Affine次之[3]。此類仿射不變算法是通過規(guī)則化方法將存在未知仿射形變的局部圖像不變特征區(qū)域轉(zhuǎn)變?yōu)闃?biāo)準(zhǔn)形狀，以消除仿射形變的影響，因此對(duì)較大仿射形變的適應(yīng)性不足。另一類是完全仿射不變的算法，目前只有Morel提出的ASIFT(Affine-SIFT)算法[4]在理論和實(shí)驗(yàn)上均被證明是完全仿射不變的，它是建立在Lowe提出的SIFT(Scale Invariant Feature Transform)算法[5]的基礎(chǔ)上的。SIFT是一種尺度不變特征變換算法，具有理論上的完全尺度不變性，即對(duì)均勻縮放、旋轉(zhuǎn)和平移這4個(gè)自由度具有完全不變性，同時(shí)實(shí)驗(yàn)也驗(yàn)證了其具備部分仿射不變性。ASIFT成功的關(guān)鍵在于，通過模擬相機(jī)在不同視點(diǎn)下成像的手段，將SIFT由完全尺度不變拓展到了完全仿射不變，即首先通過改變相機(jī)主光軸方向來模擬視點(diǎn)變化下的相機(jī)成像過程，以獲得具有相應(yīng)仿射形變的模擬的圖像；然后利用SIFT算法對(duì)所有模擬的圖像對(duì)進(jìn)行特征提取與匹配。為了便于敘述，本文將這種模擬手段簡(jiǎn)稱為ASIFT模擬手段，將這些模擬的圖像簡(jiǎn)稱為模擬圖像。

但是，基于尺度空間極值的特征點(diǎn)檢測(cè)和基于梯度直方圖的特征描述嚴(yán)重制約了SIFT特征提取的計(jì)算效率，并且128維的特征向量使得特征匹配耗時(shí)又費(fèi)內(nèi)存。因此，采用SIFT算法對(duì)所有模擬圖像對(duì)進(jìn)行特征提取與匹配，使得ASIFT的計(jì)算花費(fèi)昂貴，實(shí)時(shí)性較差。針對(duì)SIFT計(jì)算較慢的不足，Rublee提出了一種稱為ORB(Oriented FAST and Rotated BRIEF)的快速匹配算法[6]，它充分發(fā)揮了FAST(Features from Accelerated Segment Test)[7]和BRIEF(Binary Robust Independent Elementary Features)[8,9]這兩種算法實(shí)時(shí)性好的優(yōu)勢(shì)，分別利用它們進(jìn)行特征點(diǎn)檢測(cè)和特征描述以取得高效的計(jì)算速率。ORB能在保證特征魯棒性的前提下將特征提取的速度提高2個(gè)數(shù)量級(jí)，同時(shí)基于二進(jìn)制串Hamming距離的匹配速率也非常高，并且將特征向量由256字節(jié)減少到32字節(jié)，計(jì)算高效且內(nèi)存要求低，甚至可滿足手機(jī)等移動(dòng)平臺(tái)的應(yīng)用需求。但是，ORB對(duì)較大的尺度變換，尤其是對(duì)仿射變換的不變性較差，這是其主要缺點(diǎn)。

為更好地兼顧仿射不變性和實(shí)時(shí)性的需求，本文利用ASIFT模擬相機(jī)在不同視點(diǎn)下成像的手段解決ORB仿射不變性差的問題，進(jìn)而提出了一種基于ORB的快速完全仿射不變圖像匹配新算法，簡(jiǎn)稱AORB(Affine-ORB)。首先通過模擬相機(jī)在不同視點(diǎn)下成像的手段獲取模擬圖像，然后用快速的ORB算法對(duì)所有模擬圖像對(duì)進(jìn)行特征提取與匹配，在取得完全仿射不變性的同時(shí)提高匹配速率。

2 AORB算法

本文的AORB算法是在結(jié)合ORB的高效性和ASIFT的完全仿射不變性這兩方面優(yōu)點(diǎn)的基礎(chǔ)上提出的，它將ASIFT模擬手段應(yīng)用于ORB以獲取仿射不變性，實(shí)現(xiàn)快速完全仿射不變圖像匹配。為了便于理解，首先分析ORB的基本思想，然后介紹利用ASIFT模擬手段使ORB獲得全仿射不變性的原理，最后給出本文算法描述。

2.1 ORB基本思想

ORB算法[6]首先利用FAST算法[7]檢測(cè)角點(diǎn)，然后利用BRIEF算法[8,9]描述特征。由于這兩種算法均具有良好的性能，并且計(jì)算代價(jià)和內(nèi)存開銷均很低，因此ORB也具有良好的魯棒性和實(shí)時(shí)性。而且，為了使BRIEF特征描述子具備旋轉(zhuǎn)不變性，ORB分別對(duì)這兩種算法進(jìn)行了相應(yīng)的改進(jìn)。

在角點(diǎn)檢測(cè)方面，ORB采用了灰度矩心(Intensity Centroid)方法[10]將FAST改進(jìn)為有向的Oriented-FAST。FAST是在SUSAN算子的基礎(chǔ)上利用機(jī)器學(xué)習(xí)方法提出的快速角點(diǎn)檢測(cè)器，具有平移和旋轉(zhuǎn)不變性、對(duì)噪聲魯棒性好、計(jì)算量小、可靠性高等優(yōu)點(diǎn)。但是，F(xiàn)AST對(duì)尺度變化敏感，而且無法獲取特征描述所需的局部區(qū)域主方向分量。因此，ORB采用了灰度矩心方法進(jìn)行角點(diǎn)主方向度量，以快速計(jì)算精確的主方向分量。下面簡(jiǎn)要介紹其思想。

圖像角點(diǎn)區(qū)域的灰度矩定義為:

(1)

其中，I(x,y)為點(diǎn)(x,y)處的灰度值，p、q決定了灰度矩的階數(shù)。

于是，灰度矩心就可由三個(gè)不同灰度矩m00、m01和m10來表示:

(2)

進(jìn)而，可構(gòu)造角點(diǎn)中心O到矩心C的向量OC。因此，可知該角點(diǎn)區(qū)域的主方向?yàn)?

(3)

這樣，就將FAST改進(jìn)成了有向的Oriented-FAST。

在特征描述方面，ORB將所提取的角點(diǎn)主方向應(yīng)用于BRIEF，將其改進(jìn)為旋轉(zhuǎn)不變的Rotated-BRIEF。BRIEF是一種基于簡(jiǎn)單binary test直接計(jì)算二進(jìn)制串(Binary String)的快速特征描述方法，主要思路為：

在特征點(diǎn)附近隨機(jī)選取若干點(diǎn)對(duì)，將這些點(diǎn)對(duì)的binary test值組合成一個(gè)二進(jìn)制串，以此作為該特征點(diǎn)的特征描述子。binary test定義為:

(4)

其中，I′(p,x)為平滑后的圖像塊p中點(diǎn)x=(u,v)T的像素灰度值。于是，BRIEF特征可定義為n維binarytests向量：

(5)

本文中n=256，故特征向量為256位，即32字節(jié)，相對(duì)于SIFT的256字節(jié)，BRIEF的內(nèi)存已大大減少。

然而，BRIEF對(duì)平面旋轉(zhuǎn)非常敏感。因此，ORB將角點(diǎn)主方向作為BRIEF的主方向，以此取得旋轉(zhuǎn)不變性，原理為：

設(shè)(xi,yi)為參與計(jì)算n維binary test特征集的任一點(diǎn)對(duì)，則所有點(diǎn)對(duì)可定義為2×n的矩陣:

(6)

于是利用角點(diǎn)主方向?yàn)棣鹊男D(zhuǎn)矩陣Rθ就可構(gòu)造S的有向形式Sθ=RθS。因此，旋轉(zhuǎn)不變的Rotated-BRIEF最終為:

(7)

而且，ORB可采用金字塔策略以獲取尺度不變性。這樣，ORB特征就具有了良好的平移、旋轉(zhuǎn)和尺度不變性，而且FAST和BRIEF的計(jì)算高效充分保證了ORB的實(shí)時(shí)性。但是，由于用于BRIEF描述的角點(diǎn)特征區(qū)域是固定大小的圖像塊，無法較好地適應(yīng)仿射形變，因此ORB的仿射不變性較差。于是，本文將引入ASIFT模擬手段對(duì)其仿射不變性進(jìn)行改進(jìn)。

2.2 基于ASIFT模擬手段的全仿射不變ORB

本小節(jié)首先對(duì)ASIFT的基本思想進(jìn)行簡(jiǎn)介，以便對(duì)基于ASIFT模擬手段的全仿射不變ORB算法的原理進(jìn)行介紹，ASIFT詳細(xì)算法見文獻(xiàn)[4]。文獻(xiàn)[4]推導(dǎo)出仿射相機(jī)模型矩陣為：

(8)

可以看出，仿射模型含有六個(gè)自由度，其中兩個(gè)平移變量tx、ty，一個(gè)相機(jī)旋轉(zhuǎn)變量ψ，一個(gè)均勻縮放系數(shù)s，另外兩個(gè)變量用于定義相機(jī)主光軸方向，稱為經(jīng)度φ和緯度θ′，如圖1a所示。ASIFT所具有的完全仿射不變性正是其通過改變相機(jī)主光軸方向的經(jīng)度和緯度這兩個(gè)角度參數(shù)來模擬不同的視場(chǎng)，然后對(duì)獲取的所有模擬圖像對(duì)利用某一尺度不變方法進(jìn)行特征提取與匹配來獲得的。圖1a為經(jīng)緯度采樣與圖像模擬示意圖，圖中的黑圓點(diǎn)代表經(jīng)緯度參數(shù)的采樣點(diǎn)，在此采樣點(diǎn)處會(huì)根據(jù)相應(yīng)的姿態(tài)參數(shù)生成相應(yīng)的具有仿射形變的模擬圖像。于是，ASIFT將生成許多不同經(jīng)緯度參數(shù)下的模擬圖像，足以模擬不同的視點(diǎn)下的仿射形變圖像，保證了尺度一定下的仿射不變性。然后，利用某一圖像特征匹配算法對(duì)所生成的所有模擬圖像兩兩進(jìn)行匹配(如圖1b所示)，最后通過某一匹配驗(yàn)證方法確定最終的匹配結(jié)果。

Figure 1 Overview of the ASIFT algorithm圖1 ASIFT算法思想示意圖

由此可見，采用的圖像匹配算法是決定ASIFT成敗的關(guān)鍵因素之一。因?yàn)锳SIFT的圖像模擬手段只能解決成像距離一定的情況下相機(jī)主光軸方向變化的匹配問題，并不能處理相機(jī)的旋轉(zhuǎn)與縮放，也就是說，ASIFT的圖像模擬手段只能獲得仿射變換中的經(jīng)度和緯度這兩個(gè)自由度，剩余的均勻縮放、旋轉(zhuǎn)和平移這四個(gè)自由度必須由所采用的圖像匹配算法獲取。因此，匹配算法必須具備平移、旋轉(zhuǎn)和尺度不變性。正如引言中所述，SIFT具備了這些必需的不變性，所以ASIFT采用SIFT進(jìn)行特征提取與匹配，最終取得了完全仿射不變性。

通過前面對(duì)ORB算法的分析可知，ORB本身具有良好的平移和旋轉(zhuǎn)不變性，雖然本質(zhì)上不具有尺度不變性，但是通過采用金字塔策略也能滿足對(duì)均勻縮放的適應(yīng)性需求。而且，ORB遠(yuǎn)遠(yuǎn)優(yōu)于SIFT的時(shí)效性，也有助于加快圖像匹配的速率。所以，為了使ORB獲得全仿射不變性，本文首先通過改變相機(jī)主光軸方向的經(jīng)度和緯度這兩個(gè)角度參數(shù)來模擬不同視場(chǎng)，獲取不同視點(diǎn)下的模擬圖像；然后用快速的ORB算法對(duì)所有模擬圖像對(duì)進(jìn)行特征提取與匹配，這樣就能完成快速的完全仿射不變圖像匹配。

2.3 AORB算法描述

設(shè)待匹配圖像分別為IA和IB，利用本文AORB算法進(jìn)行完全仿射不變圖像匹配的步驟如下：

步驟1模擬仿射形變的模擬圖像生成，即按照ASIFT的模擬方法在不同的經(jīng)度和緯度參數(shù)組合下對(duì)圖像IA和IB分別進(jìn)行變換，以模擬由相機(jī)主光軸方向改變而引起的所有可能的仿射形變。經(jīng)度和緯度參數(shù)的采樣步距也參照ASIFT。這樣，由圖像IA和IB生成的模擬圖像分別為IA= {IA1,IA2,…,IAn′}和IB={ IB1,IB2,…,IBn′}，其中n′取決于經(jīng)度和緯度參數(shù)的采樣步距，本文也參照ASIFT方法取為49。

步驟2所有模擬圖像的ORB特征提取，即對(duì)生成的每幅圖像IAi和IBi(i=1,2,…,n′)分別利用基于金字塔策略的ORB算法進(jìn)行特征點(diǎn)檢測(cè)與特征描述，以獲取具有旋轉(zhuǎn)和尺度不變性的特征FA= {FA1,FA2,…,FAn′}和FB={ FB1,FB2,…,FBn′}，而且要注意剔除模擬圖像中的邊緣附近的特征以保證特征描述子的可區(qū)分性。

步驟3所有模擬圖像的ORB特征匹配，即將生成的所有ORB特征{FA1,FA2,…,FAn′}和{FB1,FB2,…,FBn′}兩兩組合以進(jìn)行ORB特征匹配：{Match(FAi,FBj)|FAi∈FA,FBi∈FB;i,j=1,2,…,n′}。本文采用暴力(Brute-force)匹配策略，并將ORB特征間的Hamming距離作為相似性度量。這是因?yàn)镃PU中提供了一種可執(zhí)行XOR和位計(jì)數(shù)操作的特殊指令，可極其迅速地計(jì)算二進(jìn)制串的Hamming距離，便于提高匹配速率。并且，找出與點(diǎn)P0距離最近點(diǎn)P1和次最近點(diǎn)P2，只有當(dāng)最小距離d(P0,P1)與次最小距離d(P0,P2)間的比值滿足：d(P0,P1)/d(P0,P2)

步驟4所有模擬圖像對(duì)匹配結(jié)果的整合，即根據(jù)模擬圖像的投影關(guān)系將每對(duì)模擬圖像間的匹配結(jié)果反算回原始圖像IA和IB，然后剔除一對(duì)多或多對(duì)多的匹配對(duì)，最后獲得最終的匹配結(jié)果。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文算法的有效性，本文基于公共數(shù)據(jù)集分別進(jìn)行了匹配性能和計(jì)算耗時(shí)兩組對(duì)比實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)設(shè)置

(1)測(cè)試數(shù)據(jù)。

本實(shí)驗(yàn)采用Mikolajczyk標(biāo)準(zhǔn)數(shù)據(jù)集[12]和MorelYu數(shù)據(jù)集[13]這兩個(gè)公共數(shù)據(jù)集作為測(cè)試數(shù)據(jù)，具體數(shù)據(jù)說明如表1所示。

Table 1 Specifications of test images used in experiments表1 測(cè)試數(shù)據(jù)說明

圖2給出了MorelYu數(shù)據(jù)集的部分圖像示例，其中，左上角三幅分別為0°、50°、80°的magazinezoomx4圖像，右上角三幅分別為0°、50°、90的magazinet2圖像，左下角三幅分別為0°、65°、80°的paintingzoomx1圖像，右下角三幅分別為0°、65°、50°的paintingzoomx10圖像。

(2)測(cè)試環(huán)境。

本文實(shí)驗(yàn)測(cè)試的硬件環(huán)境為：Intel Core i3-2100 CPU 3.1 GHz，內(nèi)存3.0 GB。本文AORB算法是在基于OpenCV的C++環(huán)境下實(shí)現(xiàn)的，ORB和SIFT算法調(diào)用OpenCV的相應(yīng)算法函數(shù)，ASIFT采用MorelYu所提供的EXE程序[13]，該程序采用了OpenMP技術(shù)進(jìn)行并行加速。

3.2 匹配性能對(duì)比實(shí)驗(yàn)

為評(píng)價(jià)本文算法的匹配性能，本組實(shí)驗(yàn)采用正確匹配對(duì)數(shù)作為性能評(píng)價(jià)指標(biāo)，并與ASIFT、ORB和SIFT進(jìn)行對(duì)比分析。由于Mikolajczyk標(biāo)準(zhǔn)數(shù)據(jù)集提供了真實(shí)的變換關(guān)系Homography矩陣參數(shù)，而MorelYu數(shù)據(jù)集無此參數(shù)，因此本文分別采用了兩種不同的正確匹配對(duì)數(shù)驗(yàn)證方法：Mikolajczyk標(biāo)準(zhǔn)數(shù)據(jù)集利用Homography矩陣；MorelYu數(shù)據(jù)集利用RANSAC算法。

Figure 2 Examples of the MorelYu database圖2 MorelYu數(shù)據(jù)集的部分圖像示例

基于Mikolajczyk標(biāo)準(zhǔn)數(shù)據(jù)集的匹配性能對(duì)比實(shí)驗(yàn)結(jié)果如圖3所示。需要說明的是，圖中橫坐標(biāo)表示參與匹配的兩個(gè)圖像對(duì)，例如圖3a中的“1|2”表示Graffiti圖像集的第1幅圖像(即視點(diǎn)為0°)與第2幅圖像(即視點(diǎn)為20°)的匹配，其他以此類推?？梢钥闯觯珹SIFT的匹配性能遠(yuǎn)優(yōu)于其他三種算法，包括優(yōu)于本文的AORB算法。不過，這并不能說明本文算法的匹配性能較差，因?yàn)閺膱D3可看出，本文AORB算法都能獲得足夠多的正確匹配對(duì)，能夠充分滿足應(yīng)用的需求。并且本文提出AORB算法的目的主要是為了解決ORB不具有仿射不變性的問題，所以本實(shí)驗(yàn)的對(duì)比分析主要是針對(duì)ORB算法的。

Figure 3 Comparisons of matching performances under the standard Mikolajczyk database圖3 基于Mikolajczyk標(biāo)準(zhǔn)數(shù)據(jù)集的匹配性能對(duì)比實(shí)驗(yàn)結(jié)果

從圖3a和圖3b可看出，隨著視點(diǎn)變化增大，AORB的匹配性能下降較緩慢，能保證300對(duì)以上的正確匹配對(duì)，而ORB和SIFT性能衰退迅速，直至幾乎無正確匹配對(duì)，這也驗(yàn)證了ORB和SIFT的仿射不變性均不理想的觀點(diǎn)。從圖3c和圖3d可看出，AORB的旋轉(zhuǎn)和尺度不變性在多數(shù)情況下優(yōu)于ORB和SIFT，不過當(dāng)尺度變化很大時(shí)AORB與SIFT相當(dāng)，ORB最差。原因在于：SIFT是完全尺度不變的，而ORB是基于金字塔策略的尺度不變的，所以SIFT能適應(yīng)較大的尺度變化，而ORB的尺度不變性的局限性最大，AORB通過模擬的手段進(jìn)行了一定的補(bǔ)償。從圖3e～圖3h可看出，AORB、ORB和SIFT均具有良好的圖像模糊、光照變化和JPG壓縮不變性。

基于MorelYu數(shù)據(jù)集的匹配性能對(duì)比實(shí)驗(yàn)結(jié)果如圖4所示。此處的四套測(cè)試數(shù)據(jù)主要用于評(píng)價(jià)算法在仿射變換下的匹配性能。與基于Mikolajczyk標(biāo)準(zhǔn)數(shù)據(jù)集一樣，ASIFT的匹配性能依然是最優(yōu)的，本實(shí)驗(yàn)也同樣主要是針對(duì)ORB算法的。從圖4a～圖4d可看出，當(dāng)仿射變化較小時(shí)，四種算法都能取得較好的匹配效果。但是，隨著仿射變化的增大，AORB的匹配性能下降較緩慢，而ORB和SIFT性能衰退迅速，直至幾乎無正確匹配對(duì)。該實(shí)驗(yàn)結(jié)果更進(jìn)一步說明了本文AORB算法具有良好的仿射不變性。

Figure 4 Comparisons of matching performances under the standard MorelYu database圖4 基于MorelYu數(shù)據(jù)集的匹配性能對(duì)比實(shí)驗(yàn)結(jié)果

圖5給出了Mikolajczyk標(biāo)準(zhǔn)數(shù)據(jù)集中具有仿射變換的四套測(cè)試圖像(Graffiti、Wall、Boat、Bark)和MorelYu數(shù)據(jù)集的四套測(cè)試圖像在最大變化情況下的AORB匹配實(shí)例，圖中的白色連線表示正確的匹配對(duì)，圖5a“Graffiti 1|6”表示Graffiti圖像集的第1幅圖像與第6幅圖像的匹配，其他依此類推?？梢钥闯?，在這些最大仿射變化情況下，本文AORB算法依然能獲得非常好的匹配結(jié)果，而在此條件下ORB和SIFT算法基本都是匹配失敗的，這充分說明了本文AORB算法具有良好的完全仿射不變性，解決了ORB算法對(duì)較大的尺度變換，尤其是對(duì)仿射變換敏感的問題。

3.3 計(jì)算耗時(shí)對(duì)比分析與實(shí)驗(yàn)

為了對(duì)匹配實(shí)時(shí)性進(jìn)行評(píng)估，本文首先進(jìn)行理論上的分析，然后基于匹配耗時(shí)統(tǒng)計(jì)實(shí)驗(yàn)進(jìn)行驗(yàn)證。

由于本文中AORB和ASIFT模擬手段的設(shè)置是一致的，因此實(shí)時(shí)性分析可以建立在對(duì)ORB與SIFT的對(duì)比上，且可對(duì)圖像匹配的每個(gè)階段進(jìn)行比較分析。具體分析如下：

(1)特征點(diǎn)檢測(cè)：SIFT需要構(gòu)建高斯尺度空間以檢測(cè)極值點(diǎn)，高斯濾波相當(dāng)耗時(shí)；相比之下，文獻(xiàn)[7]證明了ORB中采用的FAST在特征點(diǎn)檢測(cè)階段具有極大的優(yōu)勢(shì)。

(2)特征描述：SIFT需要計(jì)算特征點(diǎn)鄰域的梯度直方圖；而文獻(xiàn)[9]指出，ORB中的BRIEF只需在特征點(diǎn)鄰域隨機(jī)選取點(diǎn)對(duì)，進(jìn)行簡(jiǎn)單的binary test就能生成特征描述子，相比SIFT速率更快。

(3)特征匹配：SIFT需要計(jì)算特征間的歐氏距離，有一定計(jì)算量；而ORB中的BRIEF計(jì)算二進(jìn)制串Hamming距離，計(jì)算簡(jiǎn)單，而且CPU中所提供的可執(zhí)行XOR和位計(jì)數(shù)操作的特殊指令又可令二進(jìn)制串的Hamming距離的計(jì)算速率極大地

Figure 5 Examples of AORB matching results of images which have maximal affine deformation圖5 具有仿射變換的測(cè)試圖像在最大變化情況下的AORB匹配實(shí)例

提高，所以特征匹配階段實(shí)時(shí)性更優(yōu)越。

以上結(jié)論在文獻(xiàn)[6～9]中得到充分的驗(yàn)證，可推斷出本文AORB的實(shí)時(shí)性也會(huì)比ASIFT更加優(yōu)越。為了進(jìn)一步驗(yàn)證本文算法的實(shí)時(shí)性，本文進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

本文AORB算法與ASIFT算法基于Mikolajczyk標(biāo)準(zhǔn)數(shù)據(jù)集的計(jì)算耗時(shí)對(duì)比實(shí)驗(yàn)結(jié)果如圖6所示。為保證客觀性，本組實(shí)驗(yàn)結(jié)果是完成Mikolajczyk標(biāo)準(zhǔn)數(shù)據(jù)集中的所有圖像匹配的總時(shí)間除以所有匹配圖像對(duì)數(shù)所得，并且取10次計(jì)算的平均值，需要指出的是，ASIFT采用了OpenMP并行加速。

Figure 6 Comparison of computation time between AORB and ASIFT under the standard Mikolajczyk database圖6 本文AORB與ASIFT基于Mikolajczyk 標(biāo)準(zhǔn)數(shù)據(jù)集的計(jì)算耗時(shí)對(duì)比實(shí)驗(yàn)結(jié)果

由圖6可看出，AORB的特征檢測(cè)與描述速度約為OpenMP ASIFT的21.36/8.45≈3倍，特征匹配約為183.75/27≈7倍，圖像匹配總速度約為205.11/35.75≈6倍?？紤]到ASIFT采用了OpenMP并行加速和模擬圖像及匹配驗(yàn)證等耗時(shí)，本文算法的計(jì)算速率相對(duì)于ASIFT算法已有很大提高。

4 結(jié)束語

當(dāng)前的應(yīng)用越來越要求圖像匹配技術(shù)同時(shí)兼顧仿射不變性和實(shí)時(shí)性，然而ASIFT雖具有完全仿射不變性卻計(jì)算耗時(shí)，ORB算法實(shí)時(shí)性好但仿射不變性差。

為了發(fā)揮ORB實(shí)時(shí)性好的優(yōu)勢(shì)，并且克服其仿射不變性差的缺點(diǎn)，本文在利用ASIFT模擬手段使得ORB具有完全仿射不變性的基礎(chǔ)上，提出了一種新的快速完全仿射不變圖像匹配AORB算法。實(shí)驗(yàn)結(jié)果表明，本文AORB算法能夠滿足完全仿射不變圖像匹配需求，并且相比ASIFT算法速度提高了約6倍。下一步的主要工作是研究采用OpenMP等并行技術(shù)或GPU硬件加速技術(shù)進(jìn)一步提高匹配的實(shí)時(shí)性。

[1] Mikolajczyk K, Schmid C. Scale and affine invariant interest point detectors[J]. International Journal of Computer Vision, 2004, 60(1):63-86.

[2] Matas J, Chum O, Urban M, et al. Robust wide baseline stereo from maximally stable extremal regions[C]∥Proc of the British Machine Vision Conference, 2002:384-393.

[3] Mikolajczyk K, Tuytelaars T, Schmid C, et al. A comparison of affine region detectors[J]. International Journal of Computer Vision, 2005, 65(1):43-72.

[4] Morel J M, Yu G. ASIFT:A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009,2(2):438-469.

[5] Lowe D. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[6] Rublee E, Rabaud V, Konolige K, et al. ORB:An efficient alternative to SIFT or SURF[C]∥Proc of 2011 IEEE International Conference on Computer Vision (ICCV 2011), 2011:2564-2571.

[7] Rosten E, Porter R, Drummond T. Faster and better:A machine learning approach to corner detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1):105-119.

[8] Calonder M, Lepetit V, Strecha C, et al. BRIEF:Binary robust independent elementary features[C]∥Proc of European Conference on Computer Vision, 2010:1.

[9] Calonder M, Lepetit V, Ozuysal M, et al. BRIEF:Computing a local binary descriptor very fast[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7):1281-1298.

[10] Rosin P L. Measuring corner properties[J]. Computer Vision and Image Understanding, 1999, 73(2):291-307.

[11] Moisan L, Stival B. A probabilistic criterion to detect rigid point matches between two images and estimate the fundamental matrix[J]. International Journal of Computer Vision, 2004, 57(3):201-218.

[12] The standard Mikolajczyk database [EB/OL]. [2007-07-15]. http://www.robots.ox.ac.uk/～vgg/research/affine/.

[13] Demo_ASIFT_src[CP/OL]. [2011-04-30]. http://www.cmap.polytechnique.fr/～yu/research/ASIFT/demo.html.

HOUYi,born in 1987,PhD candidate,his research interests include computer vision, intelligent information processing, and remote sensing image processing.

周石琳(1965-),男,湖南桃江人，博士，教授，博士生導(dǎo)師，研究方向?yàn)橛?jì)算機(jī)視覺、智能信息處理和遙感圖像處理。E-mail:slzhoumail@sina.com

ZHOUShi-lin,born in 1965,PhD,professor,PhD supervisor,his research interests include computer vision, intelligent information processing, and remote sensing image processing.

雷琳(1980-),女,湖南衡陽人，博士，講師，研究方向?yàn)檫b感圖像處理、目標(biāo)識(shí)別和信息融合。E-mail:alaleilin@163.com

LEILin,born in 1980,PhD,lecturer,her research interests include remote sensing image processing, object recognition, and information fusion.

趙鍵(1978-),男,湖南臨澧人，博士，研究方向?yàn)橛?jì)算機(jī)視覺、智能信息處理和遙感圖像處理。E-mail:zjsprit@163.com

ZHAOJian,born in 1978,PhD,his research interests include computer vision, intelligent information processing, and remote sensing image processing.

FastfullyaffineinvariantimagematchingbasedonORB

HOU Yi,ZHOU Shi-lin,LEI Lin,ZHAO Jian

(College of Electronic Science and Engineering,National University of Defense Technology,Changsha 410073,China)

Affine-SIFT is fully affine invariant but its computation is time-consuming. Oriented FAST and Rotated BRIEF (ORB) is extremely fast but is not affine invariant. In order to solve the problem that it is difficult to balance the good affine invariance and the real-time performance in image matching, a new fast method (AORB, Affine-ORB) for fully affine invariant image matching based on ORB, which applies the ASIFT method simulated in all views to obtain the full affine invariance of ORB, is proposed. Firstly, it simulates enough image views obtainable by varying the viewpoints of camera. Secondly, all simulated image pairs are matched using fast ORB. Thus, the full affine invariance is obtained. Experimental results show that proposed method is efficient in fully affine invariant image matching and it is 6 times faster than ASIFT.

ORB;ASIFT;affine-SIFT;affine invariant;image matching

2012-07-12;

：2012-10-31

國家自然科學(xué)基金資助項(xiàng)目(61105031)

1007-130X(2014)02-0303-08

TP391.4

：A

10.3969/j.issn.1007-130X.2014.02.019

侯毅(1987-),男,湖北應(yīng)城人，博士生，研究方向?yàn)橛?jì)算機(jī)視覺與智能信息處理和遙感圖像處理。E-mail:yihou1987@gmail.com

通信地址：410073 湖南省長(zhǎng)沙市國防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院Address:College of Electronic Science and Engineering,National University of Defense Technology,Changsha 410073,Hunan,P.R.China