閆　利，葉志云

(武漢大學(xué)測(cè)繪學(xué)院,湖北 武漢 430079)

Image Matching with SIFT for Oblique Photography under Geometry Constraint

YAN Li，YE Zhiyun

?

幾何約束條件下的SIFT傾斜影像匹配

閆利，葉志云

(武漢大學(xué)測(cè)繪學(xué)院,湖北 武漢 430079)

Image Matching with SIFT for Oblique Photography under Geometry Constraint

YAN Li，YE Zhiyun

摘要：針對(duì)傾斜攝影包含多個(gè)視角的影像因而使不同視角之間的影像具有較大的仿射畸變的問題，提出了一種基于幾何約束和SIFT的傾斜影像匹配算法。首先根據(jù)POS值對(duì)所有的傾斜影像進(jìn)行畸變校正，然后利用SIFT GPU對(duì)所有影像進(jìn)行匹配。對(duì)于整個(gè)測(cè)區(qū)的影像，首先根據(jù)POS值獲取影像間的拓?fù)潢P(guān)系，其次是影像之間的兩兩匹配，最終完成特征點(diǎn)追蹤，生成光束法平差所需的同名點(diǎn)對(duì)。試驗(yàn)結(jié)果表明，該算法在效率、精度及匹配點(diǎn)數(shù)量上都可以很好地滿足后續(xù)的光束法平差。

關(guān)鍵詞：仿射糾正；尺度不變；特征點(diǎn)追蹤

目前，在數(shù)字城市的建立過程中，傾斜攝影被越來越廣泛地采用[1-7]。相對(duì)于傳統(tǒng)的垂直航空影像，傾斜影像存在著地物分辨率變化大、旋轉(zhuǎn)、幾何變形大、地物遮擋等特點(diǎn)[8]，傳統(tǒng)的空三處理軟件匹配算法一般是基于灰度或不抗仿射的特征的匹配算法，應(yīng)用于傾斜航空影像時(shí)成功率和可靠性會(huì)大大降低，甚至失敗。從文獻(xiàn)[9—10]也可以看到傾斜影像快速匹配問題尚未得到很好的解決，極大地限制了該技術(shù)的實(shí)際應(yīng)用。

針對(duì)傾斜影像的成像特點(diǎn)，匹配算法必須滿足仿射不變、尺度不變、旋轉(zhuǎn)不變性。傳統(tǒng)的攝影測(cè)量一般采用C Heipke提出的基于金字塔模型的相對(duì)定向策略[11]，并在每一層上使用相關(guān)系數(shù)匹配和核線約束，但是考慮到傾斜和垂直影像仿射變化比較大，一般考慮使用抗仿射的特征匹配算法，匹配分為特征點(diǎn)檢測(cè)與特征點(diǎn)描述兩個(gè)過程。K Mikolajczyk分別對(duì)Harris-Affine、Hessian-Affine、MSER等6種具有仿射不變特征的檢測(cè)算法在不同的場(chǎng)景下進(jìn)行了比較，并沒有哪一種算法在任何場(chǎng)景或仿射類型下完全優(yōu)于其他算法，但是大多數(shù)情況下MSER的表現(xiàn)優(yōu)于其他算法[12-13]；雖然K Mikolajczyk評(píng)測(cè)的算法都具有很強(qiáng)的抗仿射性，但是這些算法沒有考慮傾斜攝影測(cè)量中影像具有初始外參，即仿射矩陣初值是已知的，導(dǎo)致以上相關(guān)算法的時(shí)間復(fù)雜度非常大。文獻(xiàn)[14—16]圍繞如何消除相關(guān)窗口之間的仿射變形，提出了相關(guān)的傾斜影像匹配算法，首先利用仿射變換矩陣近似影像局部區(qū)域之間的對(duì)應(yīng)關(guān)系并進(jìn)行仿射變形改正，然后在幾何變形改正后鄰域上完成相關(guān)系數(shù)匹配算法，最終利用最小二乘匹配獲取子像素精度，但基于灰度的相關(guān)系數(shù)匹配算法不具有尺度不變性與旋轉(zhuǎn)不變性，對(duì)于傾斜影像不同分辨率的同一地物也不能有效地完成匹配，并且局部的仿射糾正也增加了算法的復(fù)雜度。文獻(xiàn)[17]針對(duì)仿射變換參數(shù)的變化幅度與景深的變化幅度呈正相關(guān)，即針對(duì)傾斜影像地面分辨率變化大的特點(diǎn)，提出了通過劃分仿射近似平面以準(zhǔn)確求取同名區(qū)域的仿射變換矩陣，算法對(duì)于傾斜影像的匹配是有效的，但同樣存在時(shí)間復(fù)雜度的問題?；谔卣鞯钠ヅ渌惴ㄒ话憧梢詽M足尺度不變與旋轉(zhuǎn)不變性，如果能將仿射糾正與特征匹配結(jié)合起來，就可以獲得滿足傾斜匹配要求的算法，從而提高算法的魯棒性。

綜上所述，本文提出了一種適用于傾斜影像的基于幾何約束的SIFT匹配算法，算法既滿足了仿射不變，又滿足了尺度不變與旋轉(zhuǎn)不變性，分為2個(gè)階段：①根據(jù)POS數(shù)據(jù)對(duì)傾斜影像進(jìn)行仿射糾正；②SIFT匹配與特征點(diǎn)精化。

另外，傳統(tǒng)的構(gòu)建航帶法是先將影像構(gòu)成航帶，再利用人工選取的若干個(gè)航帶偏移點(diǎn)建立相鄰航帶間的近視空間變換關(guān)系。為了獲得較好的變換關(guān)系，這種方式需要選取數(shù)目較多的人工點(diǎn)。本文將利用POS數(shù)據(jù)來全自動(dòng)獲取任意兩張影像間的重疊關(guān)系，在后面的空中三角測(cè)量中不再存在航帶的概念，而是利用P Moulon提出的快速無序的特征點(diǎn)追蹤完成多度重疊特征點(diǎn)的生成[18]，從而完成整個(gè)測(cè)區(qū)的影像匹配。

一、 算法

整個(gè)測(cè)區(qū)的匹配過程主要分為3個(gè)階段：①對(duì)所有傾斜影像進(jìn)行仿射糾正；②影像SIFT匹配，并將糾正后的影像匹配坐標(biāo)換算到原始影像上；③特征點(diǎn)追蹤，獲取多度重疊點(diǎn)。影像仿射糾正和SIFT匹配階段都采用GPU實(shí)現(xiàn)，可以節(jié)約匹配時(shí)間，主要流程如圖1所示。

圖1　影像匹配主要流程

1. 影像整體仿射糾正

傾斜影像可以獲得地物多個(gè)角度的影像，影像整體仿射糾正就是為了減弱因?yàn)椴煌嵌扰臄z而造成的幾何變形。這里需要提供影像的POS外參數(shù)與飛行航高，通過飛行航高估算近似地面高。具體步驟如下：

1) 根據(jù)地面高和POS，將影像4個(gè)頂點(diǎn)投影到地面，獲取投影四邊形。

2) 求得投影四邊形的矩形凸包，根據(jù)垂直影像的地面分辨率劃分凸包格網(wǎng)，并計(jì)算四邊形頂點(diǎn)在凸包中的坐標(biāo)。

3) 根據(jù)4個(gè)投影頂點(diǎn)在凸包中的坐標(biāo)與頂點(diǎn)在影像中的坐標(biāo)，計(jì)算凸包平面和影像平面間的單應(yīng)矩陣，根據(jù)單應(yīng)矩陣將影像重采樣到矩形凸包上。

經(jīng)試驗(yàn)表明，經(jīng)過以上仿射糾正后，SIFT算法可以很好地對(duì)糾正后的影像完成匹配。為了提高糾正的效率，可以采用GPU實(shí)現(xiàn)。

2. 影像SIFT匹配與RUNSAC約束

SIFT算法的實(shí)質(zhì)是在不同的尺度空間上查找關(guān)鍵點(diǎn)(特征點(diǎn))，并計(jì)算出關(guān)鍵點(diǎn)的方向。SIFT所查找到的關(guān)鍵點(diǎn)是一些十分突出，不會(huì)因光照、仿射變換和噪音等因素而變化的點(diǎn)，如角點(diǎn)、邊緣點(diǎn)、暗區(qū)的亮點(diǎn)及亮區(qū)的暗點(diǎn)等。SIFT穩(wěn)健匹配分解為如下步驟：

1) 構(gòu)建尺度空間：生成高斯金字塔與高斯差分金字塔。

2) 尺度空間極值檢測(cè)與消除邊緣響應(yīng)：搜索所有尺度上的圖像位置。通過高斯微分函數(shù)來識(shí)別潛在的對(duì)于尺度和旋轉(zhuǎn)不變的興趣點(diǎn)。

3) 關(guān)鍵點(diǎn)定位：在每個(gè)候選的位置上，通過一個(gè)擬合精細(xì)的模型來確定位置和尺度。關(guān)鍵點(diǎn)的選擇依據(jù)它們的穩(wěn)定程度。關(guān)鍵點(diǎn)定位后通過在離散空間點(diǎn)插值得到連續(xù)空間極值點(diǎn)，最終獲得子像素精度的極值點(diǎn)坐標(biāo)。在關(guān)鍵點(diǎn)精確定位后通過單應(yīng)矩陣計(jì)算出在原始傾斜影像上的極值點(diǎn)坐標(biāo)。

4) 方向確定：基于圖像局部的梯度方向，給每個(gè)關(guān)鍵點(diǎn)位置分配一個(gè)或多個(gè)方向。

5) 關(guān)鍵點(diǎn)描述生成：在每個(gè)關(guān)鍵點(diǎn)周圍的鄰域內(nèi)，在選定的尺度上測(cè)量圖像局部的梯度。這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化。

6) 描述符匹配：利用POS獲得任意兩兩影像間的重疊關(guān)系，在重疊率超過30%的影像間完成SIFT匹配，計(jì)算比較最近鄰距離與次近鄰距離的距離比率,距離比率小于某個(gè)閾值的則認(rèn)為是正確匹配。

7) 基于基礎(chǔ)矩陣的RUNSAC約束：通過對(duì)匹配點(diǎn)的重復(fù)抽樣不斷估計(jì)基礎(chǔ)矩陣，選取最大的一致集，如果最大一致集大于閾值，則保留，并且將所有的外點(diǎn)剔除。

研究表明，經(jīng)仿射糾正、SIFT匹配與RUNSAC約束剔除粗差點(diǎn)后，無論是同方向的影像還是不同角度拍攝的影像之間都可以獲得大量的同名點(diǎn)對(duì)。為了提高匹配效率，可使用GPU實(shí)現(xiàn)SIFT匹配，由于仿射糾正后的影像一般較大，若GPU的顯存不足，可以采用分塊提取特征點(diǎn)與特征描述符。

3. 特征點(diǎn)追蹤，獲取多度重疊點(diǎn)

特征點(diǎn)追蹤是為了在兩兩匹配的同名點(diǎn)對(duì)結(jié)果的基礎(chǔ)上，找出同名點(diǎn)的多視對(duì)應(yīng)。特征點(diǎn)追蹤問題可以看作是動(dòng)態(tài)連通性類問題，使用到了一種叫作并查集的數(shù)據(jù)結(jié)構(gòu)，稱為Union-Find。主要思想是將所有SIFT匹配出的特征點(diǎn)看作是一個(gè)連通圖的節(jié)點(diǎn)，同名點(diǎn)對(duì)之間是連通的。詳細(xì)步驟如下：

1) 將特征點(diǎn)編號(hào)。

2) 查詢節(jié)點(diǎn)屬于的組，數(shù)組對(duì)應(yīng)位置的值即為組號(hào)。

3) 判斷兩個(gè)節(jié)點(diǎn)是否屬于同一個(gè)組，分別得到兩個(gè)節(jié)點(diǎn)的組號(hào)，然后判斷組號(hào)是否相等。

4) 連接兩個(gè)節(jié)點(diǎn)，使之屬于同一個(gè)組，分別得到兩個(gè)節(jié)點(diǎn)的組號(hào)后，組號(hào)相同時(shí)操作結(jié)束；不同時(shí)，將其中的一個(gè)節(jié)點(diǎn)的組號(hào)換成另一個(gè)節(jié)點(diǎn)的組號(hào)。

經(jīng)試驗(yàn)證明，特征點(diǎn)追蹤的算法效率非常高。

二、試驗(yàn)與結(jié)果分析

1. 試驗(yàn)數(shù)據(jù)

為了驗(yàn)證上述方法的有效性，選取了一套河津測(cè)區(qū)的傾斜數(shù)據(jù)作為試驗(yàn)數(shù)據(jù)。數(shù)據(jù)包含5條航帶，每條航帶36或37個(gè)測(cè)站，每個(gè)測(cè)站包含5個(gè)方向的影像，共計(jì)905張影像，整個(gè)測(cè)區(qū)數(shù)據(jù)的疊拼圖如圖2所示。選取了3張影像樣片如圖3所示，像片大小為5616×3744像素。

圖3　傾斜和垂直影像樣片

2. 試驗(yàn)結(jié)果

試驗(yàn)中的傾斜影像分為兩組：第一組為垂直影像ER_0692和傾斜影像BR_0694；第二組為兩張傾斜影像BR_0694和DR_0688。試驗(yàn)中只針對(duì)在傾斜攝影中具有較大仿射畸變的影像匹配，第一組兩張影像的拍攝角度約為35°，第二組兩張影像的拍攝角度為70°，兩組數(shù)據(jù)都是傾斜影像匹配中的典型樣例，對(duì)于同方向拍攝的影像匹配結(jié)果基于篇幅就不再給出。試驗(yàn)步驟如下：

1) 對(duì)兩張傾斜影像BR_0694和DR_0688進(jìn)行仿射糾正，糾正結(jié)果如圖4所示。

圖4　傾斜樣片糾正

2) 對(duì)兩組影像對(duì)分別進(jìn)行基于幾何約束的SIFT匹配，RUNSAC剔除粗差點(diǎn)，兩組數(shù)據(jù)的最終匹配結(jié)果如圖5和圖6所示。

圖5　ER_0692-BR_0694匹配結(jié)果

圖6　BR_0694-DR_0688匹配結(jié)果

3) 對(duì)以上的兩兩匹配結(jié)果進(jìn)行特征點(diǎn)追蹤，特征點(diǎn)追蹤結(jié)果如圖7所示。

圖7　BR_0694-ER_0692-DR_0688的3°重疊點(diǎn)

算法程序使用VS2010實(shí)現(xiàn)，程序運(yùn)行的平臺(tái)為i7-CPU、GTX650顯卡、8 GB內(nèi)存。SIFT匹配采用GPU實(shí)現(xiàn)，由于影像較大，對(duì)影像采取分塊處理。對(duì)兩組匹配結(jié)果進(jìn)行基礎(chǔ)矩陣估計(jì)，計(jì)算同名點(diǎn)距離核線的距離v，以v的中誤差評(píng)價(jià)匹配的整體精度，計(jì)算公式為

式中，n為點(diǎn)數(shù)。兩組影像的匹配結(jié)果統(tǒng)計(jì)及整體匹配精度見表1。對(duì)整個(gè)測(cè)區(qū)的影像進(jìn)行匹配及特征追蹤，匹配點(diǎn)對(duì)的最終統(tǒng)計(jì)結(jié)果與像點(diǎn)多度重疊狀況統(tǒng)計(jì)見表2與圖8。

3. 試驗(yàn)結(jié)果分析

由表1可知本文的匹配算法精度可以達(dá)到亞像素級(jí)別，且匹配效率高，對(duì)于兩兩匹配，同名點(diǎn)對(duì)在1000左右，3°重疊點(diǎn)的數(shù)目也較多。通過圖5和圖6還可知匹配點(diǎn)分布較為均勻，表明本算法能夠應(yīng)用于傾斜攝影匹配，即使兩張影像存在較大的仿射畸變和尺度變化，算法也可以取得很好的匹配結(jié)果。

表1　兩對(duì)傾斜影像匹配結(jié)果統(tǒng)計(jì)

表2　河津測(cè)區(qū)傾斜影像匹配結(jié)果統(tǒng)計(jì)

由圖5—圖7可知，傾斜匹配的同名點(diǎn)基本位于街道、綠地、屋頂?shù)绕降?，這是因?yàn)榉律湫Ｕ菍⑺杏跋裥Ｕ剿矫妫挥信c水平面平行的影像區(qū)域消除了相對(duì)于垂直拍攝而產(chǎn)生的仿射畸變。在地面和屋頂都有匹配點(diǎn)也說明了SIFT算法的尺度不變性。

由表2可知，整個(gè)測(cè)區(qū)在僅僅保留3°及以上重疊點(diǎn)時(shí)仍然能夠保證每張影像平均約2000個(gè)匹配像點(diǎn)，每張像片最少有470個(gè)，最多有5121個(gè)，而部分影像的像點(diǎn)數(shù)少于1000也主要是因?yàn)橛跋裎挥跍y(cè)區(qū)邊緣，和其他影像的3°以上重疊區(qū)域只占影像的1/3~1/2。每個(gè)加密點(diǎn)平均對(duì)應(yīng)著5.5個(gè)像點(diǎn)，同時(shí)，由圖8可知一個(gè)加密點(diǎn)最多對(duì)應(yīng)47個(gè)像點(diǎn)，這說明提取的特征點(diǎn)都是非常穩(wěn)定的。本文的算法是為了后續(xù)的光束法平差，匹配結(jié)果無論是從數(shù)量還是精度與效率來看顯然是滿足要求的。

圖8　河津測(cè)區(qū)傾斜影像加密點(diǎn)對(duì)應(yīng)像點(diǎn)的統(tǒng)計(jì)

三、結(jié)束語

傾斜影像主要用于建立數(shù)字城市，針對(duì)傾斜影像存在較大仿射畸變的問題，提出了基于幾何約束和SIFT的匹配算法。該方法首先根據(jù)初始的外參對(duì)影像進(jìn)行仿射糾正，然后利用SIFT對(duì)影像進(jìn)行快速匹配，最后對(duì)特征點(diǎn)進(jìn)行RUNSAC剔除與特征點(diǎn)追蹤，獲得了滿足后續(xù)光束法平差的數(shù)量與精度要求的同名點(diǎn)對(duì)。試驗(yàn)結(jié)果表明，該算法是有效且高效的。

參考文獻(xiàn)：

[1]H?HLE J. Photogrammetric Measurements in Oblique Aerial Images[J]. Photogrammetrie, Fernerkundung, Geoinformation, 2008 (1): 7-14.

[2]RUPNIK E, NEX F, REMONDINO F. Oblique Multi-Camera Systems——Orientation and Dense Matching Issues[J]. ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, 1(1): 107-114.

[3]PECHATNIKOV M, SHOR E, RAIZMAN Y.The New Vision Map A3 Airborne Camera System[C]∥Proc. 52nd Photogrammetric Week. Stuttgart: [s.n.], 2009:99-109.

[4]KISA A, OZMUS L, ERKEK B, et al. Oblique Photogrammetry and Usage on Land Administration[J]. ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2013, 1(2): 161-165.

[5]PECHATNIKOV M, SHOR E, RAIZMAN Y. Visionmap A3——Super Wide Angle Mapping System Basic Principles and Workflow[C]∥21st ISPRS Congress. Beijing： [s.n.], 2008.

[6]GRENZD?RFFER G J, GURETZKI M, FRIEDLANDER I. Photogrammetric Image Acquisition and Image Analysis of Oblique Imagery[J]. The Photogrammetric Record, 2008, 23(124): 372-386.

[7]H?HLE J. Oblique Aerial Images and Their Use in Cultural Heritage Documentation[J]. ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2013, 1(2): 349-354.

[8]KARB O N, SCHROTH R. Oblique Aerial Photography: A Status Review[C]∥Photogrammetric Week. Stuttgart:[s.n.], 2009.

[9]WIEDEMANN A, MORé J. Orientation Strategies for Aerial Oblique Images[J]. ISPRS International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2012(1): 185-189.

[10]朱慶,徐冠宇,杜志強(qiáng),等. 傾斜攝影測(cè)量技術(shù)綜述 [EB/OL]. [2012-06-07].中國科技論文在線.

[11]LIANG T, HEIPKE C. Automatic Relative Orientation of Aerial Images[J]. Photogrammetric Engineering and Remote Sensing, 1996, 62(1): 47-55.

[12]MIKOLAJCZYK K, TUYTELAARS T, SCHMID C, et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65(1-2): 43-72.

[13]MIKOLAJCZYK K, SCHMID C. A Performance Evaluation of Local Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[14]楊化超，姚國標(biāo)，王永波.基于SIFT的寬基線立體影像密集匹配[J].測(cè)繪學(xué)報(bào),2011，40(5):537-543.

[15]楊化超，王永波，姚國標(biāo)，等.基于SVD和SIFT的寬基線立體影像匹配[J].中國礦業(yè)大學(xué)學(xué)報(bào),2011(6): 964-968.

[16]袁修孝,明洋.POS 輔助航帶間航攝影像的自動(dòng)轉(zhuǎn)點(diǎn)[J].測(cè)繪學(xué)報(bào),2010,39(2):156-161.

[17]姚國標(biāo)，鄧喀中，楊化超，等,基于幾何約束的傾斜立體影像匹配[J]. 中國礦業(yè)大學(xué)學(xué)報(bào), 2013(4): 676-682.

[18]MOULON P, MONASSE P. Unordered Feature Tracking Made Fast and Easy[C]∥The 9th European Conference on Visual Media Production. [S.l.]: CVMP, 2012.

引文格式： 閆利，葉志云. 幾何約束條件下的SIFT傾斜影像匹配[J].測(cè)繪通報(bào)，2016(1)：37-40.DOI:10.13474/j.cnki.11-2246.2016.0009.

通信作者：葉志云

作者簡(jiǎn)介：閆利(1966—)，男，教授，研究方向?yàn)閿z影測(cè)量與遙感。E-mail:lyan@sgg.whu.edu.cn

收稿日期：2014-11-18

中圖分類號(hào)：P23

文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：0494-0911(2016)01-0037-04