閆 利， 龔 珣， 謝 洪

(武漢大學(xué)測繪學(xué)院,武漢 430079)

0 引言

在城市三維重建過程中，廣泛使用移動(dòng)測量車搭載CCD相機(jī)的方式獲取街道場景的影像。隨著這種數(shù)據(jù)采集方式的日趨成熟，獲取的數(shù)據(jù)量越來越多，為進(jìn)一步挖掘數(shù)據(jù)的利用價(jià)值，研究人員開始關(guān)注如何對街道序列影像進(jìn)行精確定向以及利用街道序列影像如何對街道三維場景進(jìn)行重建的問題。而在對街道序列影像進(jìn)行影像定向以及三維重建的過程中，尋找同名特征點(diǎn)已成為一個(gè)挑戰(zhàn)性問題。以往為了尋找同名點(diǎn)，研究人員提出過大量特征匹配算法，其中Lowe[1]提出的尺度不變特征變換(scale-invariant feature transform,SIFT)算子是公認(rèn)的最為出色的特征提取與描述算子，但利用該算法進(jìn)行特征匹配的實(shí)時(shí)性較差，故此后有很多研究人員對SIFT算子進(jìn)行了改進(jìn)[2-4]。而移動(dòng)測量車所獲取的街道序列影像有一個(gè)突出的問題，那就是影像中存在大量的規(guī)則重復(fù)紋理，采用特征描述的方法很難將其區(qū)分開來； 利用上述方法對街道序列影像進(jìn)行特征匹配時(shí)，在重復(fù)紋理區(qū)域會(huì)造成大量誤匹配點(diǎn)。因此，如何解決重復(fù)紋理區(qū)域特征的匹配問題，已成為街道序列影像定向以及三維重建的關(guān)鍵之一。針對具有重復(fù)紋理的戶外自然場景特征跟蹤問題，劉偉等[5]在隨機(jī)樹算法的基礎(chǔ)上，提出了一種內(nèi)點(diǎn)回收算法，通過構(gòu)造匹配點(diǎn)集，利用特征紋理在影像中的空間信息，從集合中選擇最佳匹配點(diǎn)來提升匹配效果； 但該算法只適用于解決具有少量對稱重復(fù)紋理區(qū)域的匹配問題。針對重復(fù)紋理區(qū)低空影像匹配問題，何海清等[6]提出利用相位相關(guān)預(yù)測同名點(diǎn)在平移、旋轉(zhuǎn)和尺度上的遍歷范圍，在遍歷范圍內(nèi)檢測角點(diǎn)，并利用相關(guān)系數(shù)來匹配同名點(diǎn)； 但因車載序列影像的攝影距離很近，導(dǎo)致相鄰影像之間的投影變形十分嚴(yán)重，使用該方法在整體相位相關(guān)方面可能會(huì)得到錯(cuò)誤結(jié)果。針對上述問題，本文提出了一種利用分塊相位相關(guān)輔助的KLT(Kanade-Lucas-Tomasi)跟蹤方法來解決街道序列影像重復(fù)紋理區(qū)域的匹配問題。首先，利用分塊相位相關(guān)將原始影像分割成景深趨于一致的子區(qū)域，并在子區(qū)域上對同名點(diǎn)進(jìn)行預(yù)測； 然后，以相位相關(guān)預(yù)測的初始位置為中心，利用KLT算法對影像中的角點(diǎn)進(jìn)行精確跟蹤； 最后，利用核線約束，通過隨機(jī)抽樣一致性(random sampling consensus，RANSAC)方法剔除錯(cuò)誤匹配點(diǎn)，完成跟蹤匹配。

1 重復(fù)紋理區(qū)域特征匹配

在移動(dòng)測量系統(tǒng)獲取的街道序列影像中，建筑物立面占有相當(dāng)大的比例，而通常建筑物立面含有大量的規(guī)則重復(fù)紋理。利用特征匹配的方法對此類影像進(jìn)行匹配時(shí)，容易造成大量的誤匹配，嚴(yán)重影響后期的影像定向以及三維重建。針對此問題，本文提出一種利用相位相關(guān)算法輔助KLT對角點(diǎn)進(jìn)行跟蹤，從而實(shí)現(xiàn)特征匹配的算法。首先，在整體上利用相位相關(guān)將待匹配的影像對進(jìn)行粗配準(zhǔn)； 然后，使用KLT算法從影像中提取局部角點(diǎn)特征并進(jìn)行跟蹤匹配。本文算法技術(shù)流程如圖1所示。

1 本文算法技術(shù)流程Fig.1 Technical flowchart of algorithm proposed in this paper

2 基于分塊相位相關(guān)的初始位移獲取

相位相關(guān)算法對噪聲具有魯棒性，并且處理結(jié)果比較穩(wěn)定，適用于對影像進(jìn)行整體配準(zhǔn)來獲取全局的位移信息。但是，相位相關(guān)并不適用于影像之間同時(shí)存在旋轉(zhuǎn)和縮放等變形的情況。街道序列影像由于攝影距離近，影像之間存在較大的投影變形，使用相位相關(guān)算法盡管在全局可獲得最佳配準(zhǔn)，但局部區(qū)域的配準(zhǔn)結(jié)果并不理想。為了使局部區(qū)域配準(zhǔn)精度滿足KLT跟蹤所需要的初始條件，在相位相關(guān)的基礎(chǔ)上，對影像進(jìn)行子區(qū)域劃分； 然后在每一子區(qū)域再次相位相關(guān)，當(dāng)子區(qū)域劃分達(dá)到一定程度后，每一局部區(qū)域的相位相關(guān)精度就能夠滿足KLT跟蹤的要求。

2.1 相位相關(guān)算法原理

基于傅里葉變換相位相關(guān)算法的主要思想是： 利用傅里葉變換(Fourier transform)將空間域表示的影像變換到頻率域，在頻率域中進(jìn)行相關(guān)運(yùn)算后，再將結(jié)果利用逆變換變換回空間域來求取2景影像之間的平移量。用f1(x,y)和f2(x,y)分別表示2景影像，假設(shè)影像之間存在平移d(dx,dy)，其平移關(guān)系可表示為

f2(x,y)=f1(x-dx,y-dy)。

(1)

將式(1)左右兩邊分別進(jìn)行傅里葉變換，可得到2景影像在頻率域的關(guān)系，即

F2(u,v)=e-j2π(udx+vdy)F1(u,v)，

(2)

式中j為虛數(shù)常量，等于-1的平方根。

根據(jù)式(2)得到2景影像的互功率譜的表示形式，即

(3)

2.2 分塊相位相關(guān)算法

通過分塊的方法，使每一子區(qū)域相位相關(guān)的精度均滿足KLT跟蹤的需求，是此階段相位相關(guān)的目的。結(jié)合街道序列影像數(shù)據(jù)的特征，綜合運(yùn)用影像邊緣提取、影像2冪劃分和相位相關(guān)，在達(dá)到所需精度的同時(shí)，也使效率達(dá)到最高。分塊相位相關(guān)的流程如下： ①提取參考影像與待配準(zhǔn)影像的邊緣； ②對邊緣影像整體進(jìn)行相位相關(guān)，求取初始位移量； ③以上次相位相關(guān)得到的位移量為基礎(chǔ)，將影像分割成多塊子區(qū)域； ④在每個(gè)子區(qū)域再次利用相位相關(guān)求取位移量； ⑤重復(fù)步驟③和④，直到子區(qū)域的配準(zhǔn)精度滿足下一步KLT跟蹤的要求。分塊相位相關(guān)配準(zhǔn)結(jié)果如圖2所示。從圖2(d)中的對比可以看出，不同的景深導(dǎo)致3塊區(qū)域在相鄰影像中的視差變化差異很大。如果單純采用相位相關(guān)在整體上求解位移量，并不能得到很好的結(jié)果。圖2(e)中顯示，采用分塊相位相關(guān)算法，能夠?qū)γ恳徊糠侄寂錅?zhǔn)得比較好。但是，從圖2(e)中也可以看到，由于分塊并沒有考慮影像的結(jié)構(gòu)特征，藍(lán)色部分的相位相關(guān)仍存在問題； 然而與整體相位相關(guān)只能得到一個(gè)位移相比，分塊相關(guān)結(jié)果整體精度更高，且滿足KLT跟蹤的要求。

圖2分塊相位相關(guān)配準(zhǔn)結(jié)果

Fig.2Registrationresultsofblockphasecorrelation

2.2.1 影像邊緣提取

街道序列影像的深度不連續(xù)以及拍攝的距離較近，導(dǎo)致相鄰影像不同區(qū)域的視差變化很大，因此采用分塊相位相關(guān)的方法可以較好地解決這一問題。但在實(shí)驗(yàn)處理階段發(fā)現(xiàn)，影像中灰度劇烈變化所形成的邊緣導(dǎo)致相位相關(guān)的結(jié)果僅在這些邊緣附近對齊，而不是整體上的最優(yōu)。經(jīng)過分析表明，影像中的建筑物表面紋理灰度強(qiáng)度變化相對微弱，在功率譜上會(huì)形成小的峰值，而灰度劇烈變化的邊緣區(qū)域在影像功率譜上則會(huì)形成高振幅的波峰，從而導(dǎo)致相位相關(guān)過程中灰度變化劇烈的區(qū)域占很大權(quán)重。

為了抑制灰度強(qiáng)烈變化邊緣區(qū)域在相位相關(guān)中的權(quán)重，增強(qiáng)灰度變化相對較弱的重復(fù)紋理區(qū)域的權(quán)重，本文采用了一種基于輪廓的相位相關(guān)算法。張靜等[7]在研究全景影像自動(dòng)拼接算法時(shí)，使用了一種基于輪廓的相位相關(guān)技術(shù)，提高了相位相關(guān)的魯棒性和效率。

考慮到本文的目的是在保留低對比度區(qū)域的基礎(chǔ)上抑制高對比度區(qū)域，如果采用Canny邊緣檢測等完整的邊緣檢測算法會(huì)比較耗時(shí)，而且相位相關(guān)也不需要連通的邊緣信息，因此本文采用了一種簡單的影像輪廓提取方法： 首先，獲取影像在水平和垂直方向的梯度圖； 然后，設(shè)定適當(dāng)?shù)拈撝?，對梯度圖進(jìn)行二值化，形成影像的輪廓。利用上述方法生成的輪廓影像保留了原始影像主要的頻率信息，同時(shí)抑制了因亮度不同導(dǎo)致的影像差異。

2.2.2 基于2冪的影像分塊

將影像從空間域變換到頻率域的過程中，使用了快速傅里葉變換(fast Fourier transform，F(xiàn)FT)。在FFT變換中，維數(shù)N必須是可以分解的較小數(shù)的乘積，而且當(dāng)N是2的冪數(shù)時(shí)，效率最高、實(shí)現(xiàn)最簡單。根據(jù)這一原理，張世陽等[8]運(yùn)用2冪子圖像加快圖像匹配的效率； 羅如為等[9]應(yīng)用這一方法加速全景影像的拼接。依據(jù)該方法，首先，將影像適當(dāng)變形，得到2冪子影像； 然后，進(jìn)行相位相關(guān)，在分塊階段以1/2作為分塊的系數(shù)，使分塊影像為2冪對齊。

3 基于KLT的特征點(diǎn)匹配

3.1 KLT算法原理

KLT 跟蹤算法最早由Lucas等[10]提出，后又由Shi等[11]和Bouguet[12]進(jìn)行了完善。該算法主要的思想是將傳統(tǒng)的滑動(dòng)窗口搜索法變?yōu)橐粋€(gè)求解偏移量的過程： 考慮序列影像中相鄰2景影像I(x,y)和J(x,y)，假設(shè)之間的微小相對位移為d(x,y)，以影像中某一特征點(diǎn)為中心開辟一個(gè)小窗口W，以2個(gè)窗口之間的灰度差平方和作為代價(jià)得到式(4)，即

(4)

式中：x=[x,y]T，為特征點(diǎn)的位置；d=[dx,dy]T，為特征點(diǎn)在2景影像之間的平移量；ω(x)為權(quán)值函數(shù)，一般設(shè)為常數(shù)1；W為跟蹤的窗口范圍。

將式(4)對d求偏導(dǎo)數(shù)并在x處一階泰勒展開，得到

(5)

(6)

(7)

Zd=θ。

(8)

為了能夠求得2個(gè)窗口之間的偏移量d，需要保證Z可逆。此時(shí)偏移量d可通過式(9)求出，即

d=Z-1θ。

(9)

3.2 相位相關(guān)輔助的KLT特征跟蹤

KLT算法作為廣泛使用的視頻稀疏跟蹤算法，具有計(jì)算簡單、效率高且能夠達(dá)到亞像元精度的優(yōu)點(diǎn)。但由于視頻數(shù)據(jù)獲取的時(shí)間分辨率較高，視頻跟蹤算法通常假設(shè)視頻流里相鄰2景影像獲取的場景所發(fā)生的變化屬于微小變化，表現(xiàn)在影像中的特征點(diǎn)相對位置只發(fā)生微小位移，因此跟蹤可以在小范圍內(nèi)很好地進(jìn)行。但直接將KLT應(yīng)用在本文的匹配場景中并不合適，因?yàn)橐苿?dòng)測量設(shè)備所獲取的街道序列影像的時(shí)間分辨率遠(yuǎn)低于視頻，相鄰影像之間的微小位移假設(shè)已經(jīng)不再成立； 而且當(dāng)影像中的特征角點(diǎn)具有明顯可區(qū)分性時(shí)，盡管通過分層KLT跟蹤[12]的方法可以擴(kuò)大跟蹤范圍，但街道序列影像中存在的重復(fù)紋理會(huì)導(dǎo)致跟蹤范圍擴(kuò)大后算法容易收斂到錯(cuò)誤的角點(diǎn)上。因此，本文采用的相位相關(guān)輔助KLT的思想是利用相位相關(guān)算法將影像對進(jìn)行粗配準(zhǔn)，使其滿足KLT跟蹤的條件。換言之，就是限制KLT的跟蹤范圍，使其從可靠的初始位置開始搜索最佳匹配點(diǎn)。具體的步驟如下： ①從參考影像中提取特征角點(diǎn)； ②根據(jù)參考影像中角點(diǎn)坐標(biāo)和相位相關(guān)獲取的平移量，在待匹配影像中預(yù)測對應(yīng)點(diǎn)的坐標(biāo)； ③以預(yù)測坐標(biāo)為中心，利用KLT算法在待匹配影像中給定范圍內(nèi)尋找最佳匹配點(diǎn)。

4 實(shí)驗(yàn)結(jié)果與分析

采用移動(dòng)測量車獲取的某一地區(qū)序列街景影像進(jìn)行實(shí)驗(yàn)，原始影像大小為2 058像元×2 456像元?？紤]到原始影像中有非常大的部分為路面數(shù)據(jù)，這部分?jǐn)?shù)據(jù)變形嚴(yán)重，無法進(jìn)行有效匹配，因此在實(shí)驗(yàn)中截取原始影像的上半部作為輸入影像。實(shí)驗(yàn)硬件平臺(tái)為Intel I3-2350M，雙核2.3 GHz CPU，4 G內(nèi)存，軟件平臺(tái)為WIN10 64位系統(tǒng)，VS2013專業(yè)版，使用C++編程語言以及OpenCV實(shí)現(xiàn)本文算法以及結(jié)果顯示。

圖3給出其中一組影像對的實(shí)驗(yàn)結(jié)果，并以SIFT算法的結(jié)果作為對照。

(a) SIFT算法匹配結(jié)果(b) 本文算法匹配結(jié)果(c) SIFT核線約束剔除錯(cuò)誤匹配后結(jié)果 (d) 本文算法核線約束剔除錯(cuò)誤匹配后結(jié)果

圖3SIFT算法與本文算法匹配結(jié)果比較

Fig.3ComparisonofmatchingresultsusingSIFTandalgorithmproposedinthispaper

4.1 匹配結(jié)果定性分析

從圖3(a)可以看出，采用SIFT算法提取的特征點(diǎn)大量分布在紋理豐富的區(qū)域(如影像左半部以及下部文字區(qū)域)，而在影像中紋理缺乏的區(qū)域(如影像右上角的墻面部分)，SIFT算法僅能夠提取到少量明顯的特征。這說明了SIFT算法作為一種特征描述子，強(qiáng)烈依賴特征點(diǎn)周圍的紋理特性，不適合用來解決弱紋理區(qū)域的特征匹配問題。從匹配的結(jié)果來看，在影像左半部以及下部文字區(qū)域，SIFT算法匹配結(jié)果較好； 而在影像弱紋理區(qū)域，SIFT算法雖然提取了少量明顯紋理特征，但因重復(fù)紋理的干擾，仍然無法匹配到正確的特征點(diǎn)。

從圖3(b)可以看出，本文利用Hessian角點(diǎn)提取算子，即使紋理缺乏，在影像中的建筑區(qū)域依然能夠提取到大量的角點(diǎn)。從匹配結(jié)果來看，本文采用的分塊相位相關(guān)算法，以特征點(diǎn)之間的相對位置關(guān)系作為先驗(yàn)信息求取最佳的匹配點(diǎn)，在匹配的結(jié)果上沒有出現(xiàn)較大的位置偏差，能夠較好地抵抗重復(fù)紋理的干擾。

對于影像中錯(cuò)誤的匹配結(jié)果，采用核線約束進(jìn)行錯(cuò)誤匹配的剔除，剔除后的結(jié)果如圖3(c)和(d)所示?？梢钥闯?，采用核線約束后大量的錯(cuò)誤匹配被剔除，但在結(jié)果中仍然存在少量的錯(cuò)誤匹配，這是由于核線約束無法剔除位于核線附近的錯(cuò)誤匹配。對比本文算法與SIFT算法剔除錯(cuò)誤匹配后的結(jié)果可以看出，2種算法各有優(yōu)缺點(diǎn)，SIFT算法主要考慮特征相似性； 本文算法則主要考慮空間位置關(guān)系。另外，本文算法剔除錯(cuò)誤匹配后，特征點(diǎn)明顯增多，特別是在SIFT算法無法提取到特征點(diǎn)的弱紋理區(qū)域，本文算法得到了大量的正確匹配。如果能夠?qū)⒁陨?種算法融合起來，同時(shí)考慮特征相似性和空間位置關(guān)系，那么得到的匹配效果應(yīng)該會(huì)更好。

4.2 統(tǒng)計(jì)結(jié)果定量分析

選取序列影像中3組影像對匹配的結(jié)果，對匹配的特征點(diǎn)數(shù)以及經(jīng)過核線約束剔除誤匹配后的匹配特征點(diǎn)數(shù)進(jìn)行統(tǒng)計(jì)分析，統(tǒng)計(jì)結(jié)果如表1所示。

表1 SIFT算法與本文算法匹配結(jié)果統(tǒng)計(jì)Tab.1 Statistics of matching results using SIFT and algorithm proposed in this paper (個(gè))

從表1中可以看出，本文算法匹配特征點(diǎn)總數(shù)遠(yuǎn)大于SIFT算法的匹配特征點(diǎn)總數(shù)。雖然本文算法所得到的錯(cuò)誤匹配也相對較多，但是剔除錯(cuò)誤匹配后，本文算法的正確匹配特征點(diǎn)數(shù)仍然比SIFT算法多。

對2種算法在實(shí)驗(yàn)平臺(tái)上的運(yùn)行時(shí)間進(jìn)行了統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如表2所示。

表2 SIFT算法與本文算法匹配時(shí)間統(tǒng)計(jì)Tab.2 Statistics of matching time by SIFT and algorithm proposed in this paper (s)

從表2中的運(yùn)行時(shí)間統(tǒng)計(jì)結(jié)果來看，本文算法平均用時(shí)為4.967 s，SIFT算法平均用時(shí)為4.853 s，兩者相差約0.1 s，匹配效率基本相當(dāng)。

5 結(jié)論

1)傳統(tǒng)的SIFT特征匹配算法，將影像局部轉(zhuǎn)換到特征空間，在特征空間中進(jìn)行匹配，沒有顧及特征的空間位置關(guān)系，在重復(fù)紋理及弱紋理區(qū)域難以得到正確匹配。

2)本文提出的相位相關(guān)輔助的特征跟蹤算法充分利用了特征之間的空間位置關(guān)系來進(jìn)行跟蹤匹配。在街道序列影像的匹配實(shí)驗(yàn)中，SIFT算法往往得不到足夠的匹配特征點(diǎn)，而本文算法則取得了較好的匹配結(jié)果，這對于后續(xù)影像定向及三維重建具有重要意義。

3)本文算法過于依賴特征間的空間位置關(guān)系，有時(shí)會(huì)導(dǎo)致嚴(yán)重錯(cuò)誤。如能結(jié)合傳統(tǒng)特征匹配的優(yōu)勢，研究同時(shí)顧及特征相似性和空間位置相似性的匹配算法，將會(huì)大大提高特征匹配的效果。

4)本文使用核線約束無法剔除位于核線附近的錯(cuò)誤匹配，如何尋找合適的幾何約束條件增強(qiáng)核線約束、進(jìn)一步剔除錯(cuò)誤匹配，還有待進(jìn)一步研究。

[1] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[2] Bay H,Ess A,Tuytelaars T,et al.Speeded-up robust features(SURF)[J].Computer Vision and Image Understanding,2008,110(3):346-359.

[3] Ke Y,Sukthankar R.PCA-SIFT:A more distinctive representation for local image descriptors[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington,DC:IEEE,2004,2:II-506-II-513.

[4] Morel J M,Yu G S.ASIFT:A new framework for fully affine invariant image comparison[J].SIAM Journal on Imaging Sciences,2009,2(2):438-469.

[5] 劉 偉,王涌天,陳 靖.針對重復(fù)紋理場景的跟蹤定位算法[J].北京理工大學(xué)學(xué)報(bào),2012,32(2):189-193.

Liu W,Wang Y T,Chen J.A novel registration algorithm for repetitive texture[J].Transactions of Beijing Institute of Technology,2012,32(2):189-193.

[6] 何海清,張永軍,黃聲享.相位相關(guān)法輔助的重復(fù)紋理區(qū)低空影像匹配[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2014,39(10):1204-1207.

He H Q,Zhang Y J,Huang S X.Phase correlation supported low altitude images matching with repeated texture[J].Geomatics and Information Science of Wuhan University,2014,39(10):1204-1207.

[7] 張 靜,胡志萍,劉志泰,等.基于輪廓相位相關(guān)的圖像自動(dòng)拼接[J].大連理工大學(xué)學(xué)報(bào),2005,45(1):68-74.

Zhang J,Hu Z P,Liu Z T,et al.Image automatic mosaics based on contour phase correlation[J].Journal of Dalian University of Technology,2005,45(1):68-74.

[8] 張世陽,王俊杰,胡運(yùn)發(fā).一種快速全景圖像拼接技術(shù)[J].計(jì)算機(jī)應(yīng)用與軟件,2004,21(3):77-79.

Zhang S Y,Wang J J,Hu Y F.Development of fast panorama image mosaics[J].Computer Applications and Software,2004,21(3):77-79.

[9] 羅如為,陳孝威.360°圖像序列的柱面全景拼接算法[C]//第二屆和諧人機(jī)環(huán)境聯(lián)合(第15屆全國多媒體技術(shù)、第2屆全國人機(jī)交互、第2屆全國普適計(jì)算)學(xué)術(shù)會(huì)議論文集.杭州:中國計(jì)算機(jī)學(xué)會(huì),2006:95-101.

Luo R W,Chen X W.The algorithm of cylindrical panorama mosaicing for 360° image sequence[C]//The 2nd Joint Conference On Harmonlous Human Machine Environment(NCMT2006, CHCI2006 and PCC2006).Hangzhou:China Computer Federation,2006:95-101.

[10] Lucas B D,Kanade T.An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th International Joint Conference on Artificial Intelligence.Vancouver, BC,Canada:Morgan Kaufmann Publishers Inc.,1981(2):674-679.

[11] Shi J B,Tomasi C.Good features to track[C]//Proceedings of 1994 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Seattle,WA,USA:IEEE,1994:593-600.

[12] Bouguet J Y.Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm[J].Acta Pathologica Japonica,2000,22(2):363-381.