楊化超,姚國標(biāo),王永波

1.國土環(huán)境與災(zāi)害監(jiān)測國家測繪局重點實驗室,江蘇 徐州 221116;2.中國礦業(yè)大學(xué) 環(huán)境與測繪學(xué)院,江蘇 徐州221116

基于SIFT的寬基線立體影像密集匹配

楊化超1,2,姚國標(biāo)2,王永波1,2

1.國土環(huán)境與災(zāi)害監(jiān)測國家測繪局重點實驗室,江蘇 徐州 221116;2.中國礦業(yè)大學(xué) 環(huán)境與測繪學(xué)院,江蘇 徐州221116

提出基于對極幾何和單應(yīng)映射雙重約束及SIFT特征的寬基線立體影像多階段準(zhǔn)密集匹配算法。算法包括三個階段:①基于特征點的空間分布和信息熵選取一定數(shù)量的最優(yōu)SIFT特征點集并進行最小二乘初始稀疏匹配及立體像對的基本矩陣和單應(yīng)矩陣估計;②對于其余特征,利用同名核線傾斜角及SIFT特征的尺度信息對匹配窗口的仿射變換參數(shù)進行迭代優(yōu)化及變形改正、提取仿射不變SIFT特征描述符,并基于雙重約束信息及歐氏距離測度進行匹配;③考慮寬基線立體影像較低的特征提取重復(fù)率,對第②步左右影像中未能成功匹配的特征點,基于雙向搜索策略,采用基于盒濾波加速計算的SSD測度在變形改正后的雙重約束區(qū)域中進行匹配,并對匹配結(jié)果進行加權(quán)最小二乘擬合定位。實際的寬基線立體影像試驗結(jié)果證明了算法的有效性,可為后續(xù)的三維重建提供較為可靠的密集或準(zhǔn)密集匹配點。

尺度不變特征變換;準(zhǔn)密集匹配;仿射不變;單應(yīng)映射

1 前 言

三維重建,即從二維圖像恢復(fù)三維物體可見表面的幾何結(jié)構(gòu)的過程,一直是數(shù)字?jǐn)z影測量與計算機視覺的重要研究內(nèi)容。其主要涉及影像匹配得到同名像點及在物方空間對表面進行三維重建兩大核心技術(shù)[1]。目前的三維重建技術(shù)已相對較為成熟,因而問題的關(guān)鍵在于如何快速得到稠密或至少是準(zhǔn)稠密(quasi-dense)的匹配點。為此,數(shù)字?jǐn)z影測量與計算機視覺領(lǐng)域的廣大研究人員對立體影像匹配問題進行了大量的科學(xué)研究,出現(xiàn)了許多具有較高參考價值的理論研究成果[1-11]。然而目前大多數(shù)性能較優(yōu)的同名點密集匹配算法多是針對短基線攝影條件的[1-5],即匹配時多直接在影像上取矩形窗口,采用基于區(qū)域(area-based)的或基于特征(feature-based)的匹配方法完成相似性判斷。而對于存在較大幾何變形的寬基線影像而言,此種直接匹配方法的可靠性將大為降低?，F(xiàn)有的寬基線立體匹配研究的基本思路是:利用仿射變換近似圖像局部區(qū)域之間的對應(yīng)關(guān)系并進行仿射變形改正,然后在幾何變形改正后的鄰域上完成相似性判斷并進行迭代匹配傳播(match propagation)。此外,在匹配傳播前,還需首先獲得若干初始稀疏匹配。如:文獻[6]選用 Hessian-Affine[7]、文獻[8]則綜合選用Hessian-Affine及MSER[7]實現(xiàn)初始稀疏種子匹配并基于二階梯度矩及主方位估計來恢復(fù)其對應(yīng)鄰域的仿射關(guān)系;而在匹配傳播階段,上述算法均在初始種子匹配估計得到的核線幾何約束下來更新新匹配點對應(yīng)鄰域的仿射關(guān)系并進行幾何變形改正,然后在視差梯度、置信度等約束下,采用基于NCC(normalized cross correlation)測度的區(qū)域匹配及全局“最優(yōu)最先”(best first)的策略進行逐像素(pixel-to-pixel)的匹配傳播。所不同的是,文獻[6]使用一種代表局部形狀的二階強度矩、而文獻[8]則通過鄰域3參數(shù)仿射參數(shù)傳遞的方式來獲得新匹配點對應(yīng)鄰域的仿射關(guān)系。文獻[9]的方法則通過人工選取特征點對整幅圖像進行校正,以簡化匹配傳播點對應(yīng)鄰域仿射參數(shù)的求取,但卻使得算法的實用性受到限制。文獻[10]和[11]分別研究了基于 Harris和尺度不變特征變換(scale invariant feature transformation, SIFT)算法的寬基線立體影像最小二乘匹配算法。上述算法總體上存在著計算復(fù)雜度高且可靠性不足的缺陷。如計算機視覺界的準(zhǔn)密集匹配方法多采用仿射不變區(qū)域特征的重心作為稀疏匹配點,精度無法保障,而以此估計的核線也是粗略的,對后續(xù)匹配傳播的約束缺乏精確性。此外,該類方法中基于逐像素的匹配傳播策略計算復(fù)雜度較高。而基于Harris和SIFT特征點的最小二乘匹配方法涉及較多的平差迭代參數(shù),計算復(fù)雜度亦較高且難以獲得可靠的密集匹配點。

SIFT算法主要包括尺度空間極值點檢測、特征點主方位確定、特征描述符生成及特征匹配四個主要步驟[12]。SIFT特征是圖像的局部特征,具有多量性、獨特性(distinctiveness)好和信息量豐富的特點,且其對旋轉(zhuǎn)、尺度縮放、亮度變換保持不變性,對視點變化、仿射變換、圖像噪聲等也保持一定程度的不變性。SIFT算法的上述特點使得其在寬基線立體影像匹配中得到了廣泛應(yīng)用的研究和應(yīng)用。然而:①SIFT特征描述符不具完全的仿射不變性;②寬基線立體影像特征提取的重復(fù)率(repeatability rate)較低。上述兩個因素極大地影響了SIFT特征匹配的數(shù)量和準(zhǔn)確率,難以獲得可靠的密集匹配,不利于后續(xù)的三維重建。綜合考慮上述因素,并充分利用SIFT特征檢測結(jié)果的多量性特點,提出基于對極幾何和單應(yīng)映射雙重約束及SIFT特征的寬基線立體影像多階段密集匹配算法,并選取實際的寬基線立體影像對算法進行試驗。

2 算 法

算法整體流程如圖1所示,主要包括如下三個階段:①基于空間分布和信息熵優(yōu)選部分較優(yōu)的SIFT特征點并進行最小二乘初始稀疏匹配及基本矩陣和單應(yīng)矩陣估計[13-14];②對于其余特征,利用同名核線傾斜角及SIFT特征的尺度信息對匹配窗口進行仿射迭代優(yōu)化及改正、提取仿射不變SIFT特征描述符,并基于雙重約束信息及歐氏距離測度進行匹配;③考慮到寬基線立體影像較低的特征提取重復(fù)率,對未能成功匹配的特征點,采用基于鄰域參數(shù)自適應(yīng)傳播及基于盒濾波(box filter)[15]快速計算的 SSD(sum of squared difference)測度[10]進行雙向約束搜索匹配,并對匹配結(jié)果進行加權(quán)最小二乘曲面擬合定位。算法各階段的匹配策略和方法詳細(xì)介紹如下。

2.1 第一階段匹配

SIFT特征點包含三類信息:位置(x)、所處尺度(σ)和方向(θ)。如圖2,十字絲代表特征點所處位置,圓的半徑代表其所處尺度,而矩形虛線框代表SIFT特征描述符的提取窗口,箭頭代表方位。不失一般性,現(xiàn)假設(shè) m1(xm1,σm1,θm1)和m2(xm2,σm2,θm2)為立體像對 I1、I2中檢測到的一對同名SIFT特征點。并設(shè)σm1≥σm2,s=(σm1/ σm2),θ=(θm1-θm2)。以同名特征點 m1、m2為坐標(biāo)原點的兩個相關(guān)窗口記為W1、W2,大小為(2w+ 1)×(2w+1)。記 m2的鄰域窗口坐標(biāo) x=[x y]T∈[-w w],x2= [x2y2]T為 x按式(2)進行仿射變換后的坐標(biāo)。則W1、W2窗口表達為

上式中的A可用式(2)表達。

圖1 算法流程Fig.1 Flow chart of the proposed algorithm

圖2 SIFT特征檢測與描述示意圖Fig.2 Illustrated figure of SIFT detection and description

式中,sx、sy為x、y兩個方向上的縮放因子;δ為特征點相關(guān)窗口相對旋轉(zhuǎn)角度。由于 m1和 m2為同名像點,有如下關(guān)系式成立

式中,h0、h1為影像窗口之間的線性灰度畸變參數(shù);n1(x2,y2)、n2(x,y)為影像的隨機噪聲。上式線性化后可得最小二乘匹配的誤差方程式,誤差方程式及其各項系數(shù)以及求解過程詳見文獻[16]。

最小二乘影像匹配需要良好的待求參數(shù)初始值,基于SIFT特征的尺度和方位信息,并考慮到方位確定的誤差(由SIFT算法的特征點方向確定的計算過程可知,特征點方向確定本身存在較大的偏差,一般在15°以內(nèi)),待求參數(shù)初始值按下式確定

考慮到計算速度及基本矩陣 F和單應(yīng)矩陣H估計的可靠性,算法通過多層次空間分布約束和尺度空間信息熵度量來優(yōu)選部分SIFT特征進行最小二乘匹配[11]。最小二乘匹配結(jié)束后,利用高精度的稀疏匹配結(jié)果采用隨機采樣一致性算法來計算 F和 H[13]并記錄該階段匹配特征點間的比例因子s和最優(yōu)的k值kopm,以用于后續(xù)兩個匹配階段的尺度參數(shù)傳遞。

2.2 第二階段匹配

為提高計算速度,第二階段采用忽略平移向量的4參數(shù)仿射變換模型。

如圖3,m1和m2的同名核線方程分別記為

易得同名核線的傾斜角分別為

圖3 匹配窗口仿射變形改正Fig.3 Affine rectified for matching window

圖3中以m2為中心的矩形窗口W2首先旋轉(zhuǎn)α-β角度得到窗口區(qū)域U2,則此時以m1為中心的鄰域窗口U1與U2間僅存尺度變換關(guān)系。進一步考慮尺度變形因素,則圖3和式(1)中的A表達為

第一階段匹配已獲得了較為精確的核線幾何關(guān)系,因此,在第二階段匹配時將核線的傾斜角視作定值。由此,式(4)僅需尺度變形因子sx、sy需要確定。在變形改正后的窗口中提取SIFT特征描述符并基于歐氏距離計算相似性測度,選擇相似性測度最小者對應(yīng)的k值即可按式(4)和式(5)確定最優(yōu)仿射參數(shù)并同時確定匹配點。記錄該階段匹配特征點間的比例因子 s和最優(yōu)的 k值kopm,以用于第三階段匹配時的尺度參數(shù)傳遞。

2.3 第三階段匹配

第二階段未能正確匹配的SIFT特征,多數(shù)是由于寬基線立體影像較低的特征提取重復(fù)率引起的。有鑒于此,算法對第二階段未能正確匹配的特征點進行雙向約束匹配,并采用如下策略和方法:

(1)鄰域窗口尺度參數(shù)自適應(yīng)迭代優(yōu)化。雙向匹配是以立體像對中其中一張影像中檢測的特征點為基礎(chǔ),而在另一張影像中基于多信息約束進行窮舉搜索匹配,因而式(4)中的s無法根據(jù)SIFT特征的尺度信息直接確定?？紤]到上述兩個階段的匹配已經(jīng)獲得了一定數(shù)量的匹配點,因而,尺度參數(shù)可根據(jù)已匹配點間的尺度信息確定。采用如下自適應(yīng)策略:首先找到與待匹配點距離最近的已匹配點,設(shè)最近距離為D,給定閾值DT,如D大于DT,則需首先按式(6)定義的SSD匹配測度優(yōu)化式(4)中的尺度比例因子s;繼而再優(yōu)化sy;如D小于DT,則直接按式(4)優(yōu)化sy,且在優(yōu)化sy時,僅需在已匹配特征點的 kopm的較小鄰域內(nèi)進行。上述自適應(yīng)策略保證了鄰域尺度參數(shù)傳遞的速度和準(zhǔn)確性。

(2)基于盒濾波技術(shù)快速計算的SSD匹配。第三階段匹配需在約束的鄰域范圍內(nèi)進行窮舉搜索,匹配運算較為耗時。為此,算法采用如下策略:現(xiàn)假設(shè)右影像 I2中的特征點 m2在左影像 I1中的核線為l1,雙重約束搜索區(qū)域為圖4中右圖陰影部分(記為Ω1),首先對Ω1的中心m按上述第(1)步的方法進行仿射參數(shù)優(yōu)化,根據(jù)優(yōu)化結(jié)果對Ω1進行幾何變形改正,在改正后的鄰域Ω2中采用基于盒濾波快速計算的SSD匹配測度進行相似性搜索。采用盒濾波技術(shù)在計算窗口匹配代價時充分利用了前一個像素的累積結(jié)果,消除了冗余計算,其計算一個后續(xù)窗口的差異和,只需計算4個點。

圖4 雙重約束區(qū)域仿射變形改正Fig.4 Affine rectified for dual constraint region

如僅基于核線幾何約束,則可沿核線兩側(cè)鄰域進行分段校正,再采用快速的SSD匹配算法。

(3)匹配點加權(quán)擬合定位。在匹配點的3×3鄰域窗口內(nèi),依匹配測度進行加權(quán)多項式擬合,以其極值點的位置作為最佳匹配點?？紤]如下多項式

式中,f(x,y)=1/CSSD(x,y)。為突出窗口中心像素的重要性,對窗口各像素采用高斯距離加權(quán),即

采用最小二乘法擬合二次多項式后,極大值點的位置(xmax,ymax)可按下式求出

3 試驗與分析

3.1 試驗數(shù)據(jù)及評價指標(biāo)

選取實際的具有不同紋理類型的兩寬基線立體影像序列,分別是 Graffiti Sequences和 Wall Sequences(http:∥www.robots.ox.ac.uk/～vgg/data/data-aff.html)的前4幅影像(分別記作img1、img2、img3及img4)。Graffiti和Wall序列立體影像間存在不同程度的仿射變形。各序列影像之間的單應(yīng)矩陣 H0已知。利用已知的單應(yīng)矩陣按式(10)將待匹配影像投影到參考影像,以投影誤差作為同名點匹配定位精度的評價指標(biāo),并對其設(shè)一閾值ε0,如投影誤差小于ε0,則認(rèn)為該對點是匹配的。以下的試驗中取ε0=3.0像素。

3.2 試驗結(jié)果與分析

在 Microsoft XP操作系統(tǒng)下基于 Visual C++6.0及OpenCV(開放計算機視覺函數(shù)庫)集成開發(fā)環(huán)境編寫了算法試驗程序。相關(guān)試驗結(jié)果如下:①圖5和圖6分別給出了兩立體影像序列中各像對各階段基于雙重幾何約束時及僅基于核線幾何約束時的正確匹配對數(shù)(第一階段未施加約束);②表1列出了兩影像序列中視點變化為40°的img1-img4立體像對各階段的正確匹配/總匹配數(shù)量(n1/n2)和匹配正確率(p%);③表2給出了兩立體影像序列中各像對LSM-SIFT算法與本文算法的匹配定位誤差(e= [ε ε]/n ,ε按式(10)計算,n為總匹配點數(shù)量)對比;④圖7和圖8分別給出了兩影像序列中img1-img4立體像對的最終匹配結(jié)果圖及文獻[11]LSM-SIFT算法的匹配結(jié)果,圖7(a)和圖8(a)的局部放大圖中(相對圖像原始分辨率放大2倍)紅色標(biāo)記點為本文算法第一階段的匹配點,白色為第二階段的匹配點,而綠色和黃色點分別為第三階段中從左至右和從右至左的匹配點。經(jīng)檢驗,圖7(a)局部放大圖中除藍(lán)色圓標(biāo)出的點外,其余的白色點和紅色點是LSM-SIFT算法的匹配點;而圖8(a)局部放大圖中的白色點和紅色點均是LSM-SIFT算法的匹配點。

圖5 兩立體影像序列中各像對各階段基于雙重幾何約束時的正確匹配點數(shù)量Fig.5 Correct matching number of each stage for every pairs from two stereo image sequences with dual geometric constraints

圖6 兩立體影像序列中各像對各階段僅基于核線幾何約束時的正確匹配點數(shù)量Fig.6 Correct matching number of each stage for every pairs from two stereo image sequences with epipolar constraint only

表1 兩立體影像序列中img1-img4像對各階段的匹配結(jié)果Tab.1 Matching results of each stage for img1-img4 pairs from two stereo image sequences

表2 兩序列立體影像各像對不同算法的匹配定位誤差對比Tab.2 Comparison of matching errors using different algorithms for each pairs from two stereo image sequences 像素

圖7 Graffiti Sequences(img1-img4)的匹配結(jié)果Fig.7 Matching results for Graffiti Sequences(img1-img4)

圖8 Wall Sequences(img1-img4)的匹配結(jié)果Fig.8 Matching results for Wall Sequences(img1-img4)

綜合上述試驗結(jié)果,分析如下:

(1)充分顧及寬基線立體影像特征提取的重復(fù)率,通過第三階段的雙向匹配策略可顯著提高匹配點的數(shù)量。如對存在較大仿射變形的Graffiti和Wall Sequences中的img1-img4立體像對,通過第三階段的匹配,使匹配點的數(shù)量分別增加了1 452和2 816個(表 1及圖 5)。又如,圖 5(b)Wall Sequences中的立體像對img1-img2(視點變化為20°),左右影像初始檢測的特征點數(shù)分別為5 361個和6 419個,但最終正確匹配點的數(shù)量為8 446個。由此可見,本文算法使得寬基線立體影像的匹配性能不再受特征提取重復(fù)率的限制,使SIFT的冗余特征變得不再“冗余”,并可利用其獲得較好的密集或準(zhǔn)密集匹配結(jié)果。

(2)文獻[11]業(yè)已證明,LSM-SIFT算法在正確匹配點的數(shù)量和匹配定位精度方面優(yōu)于現(xiàn)有的基于 SIFT的特征匹配方法。但圖7(b)和圖8(b)表明,該方法難以獲得密集匹配,尤其是對具有大量結(jié)構(gòu)和紋理信息的 Graffiti立體影像對,主要原因在于LSM-SIFT算法對寬基線立體影像特征點較大的提取和定位誤差較為敏感。如圖7(a)局部放大圖中藍(lán)色圓標(biāo)出的一對點,其定位誤差為2.43像素,則LSM-SIFT算法未能取得成功匹配。本文算法除第一階段外,第二階段采用了對特征點定位誤差具有一定抗差性的SIFT特征匹配方法,第三階段匹配則充分考慮了寬基線立體影像較低的特征提取重復(fù)率的影響而采用雙向雙重約束搜索策略,從而顯著提高了匹配點的數(shù)量。此外,雖然本文方法的匹配定位精度同LSM-SIFT算法相比有較大差距(表2),但對于匹配難度較大的寬基線立體影像及大多數(shù)3維重建任務(wù)而言,匹配點的數(shù)量要比匹配精度重要得多。另一方面,基于NCC的LSM-SIFT算法迭代運算涉及的平差參數(shù)較多,而且,由于寬基線立體影像變形較大,平差參數(shù)的初始值難以精確給定,導(dǎo)致迭代收斂時間較慢。而本文方法僅僅優(yōu)選部分特征點進行最小二乘匹配(第一階段),而在第二、第三階段分別采用運算速度較快的SIFT特征描述符和快速的SSD算法,試驗結(jié)果表明本文方法的匹配時間要低于LSM-SIFT算法。如圖7(a)和圖7(b)的匹配耗時分別為118.7 s和147.6 s。

(3)對比圖5和圖6可知,如僅基于核線幾何約束,匹配點的數(shù)量會有較大幅度的下降。如Graffiti和 Wall Sequences中視點變化為40°的img1-img4立體像對基于雙重約束和僅基于核線約束的總匹配點數(shù)量分別為(1 762,1 087)和(3 515,2 235)。但從匹配點的絕對數(shù)量來看,仍可獲得密集至少是準(zhǔn)密集的匹配點(限于篇幅,匹配結(jié)果圖像不再給出)。

4 結(jié) 論

本文充分利用SIFT特征檢測結(jié)果的密集性特點,并同時考慮到寬基線立體影像的仿射幾何變形、匹配約束條件及最終匹配點的數(shù)量要求,有針對性地將密集匹配算法劃分為三個階段,并對三個不同的匹配階段采用不同的匹配策略和方法,以提高匹配的準(zhǔn)確性和計算速度。試驗結(jié)果表明本文算法可顯著提高匹配點的數(shù)量和匹配準(zhǔn)確率,獲得較為可靠的密集匹配點,有利于后續(xù)的攝影測量三維重建。需要指出的是,全局單應(yīng)約束僅適合平面或近平面場景。因此下一步的研究重點是借助仿射不變區(qū)域特征(如Harris-Affine及MSER等)對非平面場景進行單應(yīng)面估計和劃分,在多個單應(yīng)面內(nèi)采用本文算法進行匹配,而對于非單應(yīng)面內(nèi)的點,則采用核線幾何約束及拓?fù)鋷缀侮P(guān)系進行匹配,通過上述策略擴展本文算法的適用范圍。

[1] YUAN Xiuxiao,MING Yang.A Novel Method of Multiimage Matching Using Image and Space Synthesis Information[J].Acta Geodaetica et Cartographica Sinica,2009,38 (3):216-222.(袁修孝,明洋.一種綜合利用像方和物方信息的多影像匹配方法[J].測繪學(xué)報,2009,38(3):216-222.)

[2] ZHU Qing,WU Bo,ZHAO Jie.Propagation Strategies for Stereo Image Matching Based on the Dynamic Triangle Constraint[J]. ISPRS Journal ofPhotogrammetry & Remote Sensing,2007,62(4):295-308.

[3] HUA Shungang,ZENG Lingyi.Dense Matching Algorithm Based on Corner Detection[J].Computer Engineering and Design,2007,28(5):1092-1095.(華順剛,曾令宜.一種基于角點檢測的圖像密集匹配算法[J].計算機工程與設(shè)計,2007,28(5):1092-1095.)

[4] TANG Liang,WU Chengke,CHEN Zezhi.Image Dense MatchingBasedon Region Growth with Adaptive Window[J]. Pattern Recognition Letters,2002,23(10):1169-1178.

[5] L HUILLIER M,QUAN L.A Quasi-dense Approach to Surface Reconstruction from Uncalibrated Images[J]. IEEE Transactions on Pattern Analysisand Machine Intelligence,2005,27(3):418-433.

[6] KANNALA J,BRANDT S.Quasi-dense Wide Baseline Matching Using Match Propagation[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis:IEEE,2007.

[7] MIKOLAJCZYK K,TU YTELAARS T,SCHMID C.A Comparison of Affine Region Detectors[J].International Journal of Computer Vision,2005,60(1):163-186.

[8] XU Zhenhui,ZHANG Feng,SUN Fengmei,et al.Quasidense Matching by Neighborhood Transfer for Fish-eye Images[J].Acta Automatica Sinica,2009,35(9):1159-1167. (許振輝,張峰,孫鳳梅,等.基于鄰域傳遞的魚眼圖像的準(zhǔn)稠密匹配[J].自動化學(xué)報,2009,35(9):1159-1167.)

[9] MEGYESI Z,KOS G,CHETVERIKOV D.Surface Normal Aided Dense Reconstruction from Images[C]∥Proceedings of Computer Vision Winter Workshop.Telc: [s.n.],2006.

[10] DENG Baosong,SONG Hanchen,YANG Bing.Feature Point Matching Based on Affine Iterative Model[J]. Journal of Image and Graphic,2007,12(4):678-683.(鄧寶松,宋漢辰,楊冰.基于仿射迭代模型的特征點匹配算法[J].中國圖象圖形學(xué)報,2007,12(4):678-683.)

[11] YAN G Huachao,ZHAN G Shubi,ZHAN G Qiuzhao. LeastSquaresMatching Methods forWide Base-line Stereo Images Based on SIFT Features[J].Acta Geodaetica et Cartographica Sinica,2010,39(2):187-194.(楊化超,張書畢,張秋昭.基于SIFT的寬基線立體影像最小二乘匹配方法[J].測繪學(xué)報,2010,39(2):187-194.)

[12] LOWE D.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision, 2004,60(2):91-110.

[13] LIANG Dong,TONG Qiang,QU Lei,et al.Algorithm for Images Matching Based on Epipolar and Homography Constraints[J].Journal of System Simulation,2006,18(1): 44-46.(梁棟,童強,屈磊,等.一種基于極幾何和單應(yīng)約束的圖像匹配算法[J].系統(tǒng)仿真學(xué)報,2006,18(1): 44-46.)

[14] HARTLEY R I,ZISSERMAN A.Multiple View Geometry in Computer Vision[M].Cambridge:Cambridge University Press,2003.

[15] WANG Xin,MA Yan,YANG Jian,et al.Implementation and Improvement ofArea-based Stereo Matching Algorithm[J].Optics and Precision Engineering,2008, 16(10):2002-2008.(王昕,馬巖,楊劍,等.區(qū)域立體匹配算法的實現(xiàn)與改進[J].光學(xué)精密工程,2008,16(10): 2002-2008.)

[16] ZHANGJianqing,PAN Li,WANG Shugen.The Photogrammetry[M].Wuhan:Wuhan University Press,2003. (張劍清,潘勵,王樹根.攝影測量學(xué)[M].武漢:武漢大學(xué)出版社,2003.)

Dense Matching for Wide Base-line Stereo Images Based on SIFT

Y ANG Huachao1,2,Y AO Guobiao2,WANG Yongbo1,2
1.Key Laboratory for Land Environment&Disaster Monitoring of SBSM,Xuzhou 221116,China;2.School of Environmental& Spatial Informatics,China University of Mining&Technology,Xuzhou 221116,China

A novel multi-stage quasi-dense matching algorithm for wide base-line stereo images is introduced based on SIFT and dual constraints of epipolar geometry and homographic mapping.The proposed algorithm includes following three stages:①The optimal SIFTfeatures with good spatial distribution and large information content are first selected,and matched by using the least squares matching method,then the fundamental and homographic matrix can be estimated by using these initial sparse correspondences with higher precision;②For the other SIFT features,the affine transformation parameters between matching windows are iteratively optimized by using the slope angle of correspondent epipolar lines and scale information of SIFT features,and affine invariant feature descriptors are extracted from the corrected matching windows,then correspondences can be determined by Euclid distance and dual constraint information;③Considering the lower repeatability rate of feature detection for wide base-line stereo images,for the unmatched points extracted from left and right images of stereo pairs,matching can be carried out by adopting two-way search strategy from left to right image or from right to left image based on the rapid SSD similarity cost function and affine rectified dual constraints region,and the least squares curve surface fitting weighted by Gaussian-distance algorithm is adopted to improve the precision of matching results. Test results using practical wide base-line image pairs indicate the proposed algorithm is effective and can provide reliable dense or quasi-dense matching points for subsequent 3D reconstruction.

scale invariant feature transformation;quasi-dense matching;affine invariant;homographic mapping

Y ANG Huachao(1977—),male,Post PhD, associate professor,majors in digital photogrammetry and remote sensing images processing.

1001-1595(2011)05-0537-07

P237

A

國家自然科學(xué)基金(41001312;41001297;61072094)

(責(zé)任編輯:雷秀麗)

2010-10-11

2011-01-17

楊化超(1977—),男,博士后,副教授,主要研究方向為數(shù)字?jǐn)z影測量、遙感圖像處理。

E-mail:yanghc3344@yahoo.com.cn