張 力，艾海濱，許 彪，孫鈺珊,2，董友強(qiáng),3

1. 中國測繪科學(xué)研究院，北京 100830； 2. 武漢大學(xué)測繪學(xué)院，湖北 武漢 430079； 3. 中國礦業(yè)大學(xué)(北京)地球科學(xué)與測繪工程學(xué)院，北京100083

?

基于多視影像匹配模型的傾斜航空影像自動連接點(diǎn)提取及區(qū)域網(wǎng)平差方法

張 力1，艾海濱1，許 彪1，孫鈺珊1,2，董友強(qiáng)1,3

1. 中國測繪科學(xué)研究院，北京 100830； 2. 武漢大學(xué)測繪學(xué)院，湖北 武漢 430079； 3. 中國礦業(yè)大學(xué)(北京)地球科學(xué)與測繪工程學(xué)院，北京100083

自動可靠地獲取精確且均勻分布的連接點(diǎn)并進(jìn)行區(qū)域網(wǎng)平差解算，是使用傾斜航空影像進(jìn)行高精度測繪、三維信息提取和三維城市模型構(gòu)建等應(yīng)用的前提。本文提出了一種實(shí)用化的大重疊率傾斜航空影像的全自動連接點(diǎn)匹配和聯(lián)合區(qū)域網(wǎng)平差方法。一方面，針對傾斜航空影像因遮擋嚴(yán)重、尺度變化大和幾何變形嚴(yán)重而引起的同名點(diǎn)匹配困難問題，充分利用POS數(shù)據(jù)和平均飛行高度等初始數(shù)據(jù)，同時(shí)顧及這些數(shù)據(jù)的誤差，通過有效組合一種改進(jìn)的ASIFT算法和基于窗口的多角度多視影像匹配模型(WMVM)，使用由粗到細(xì)的多分辨率分層匹配策略完成連接點(diǎn)的全自動提取；另一方面，在傳統(tǒng)的最小二乘光束法平差的基礎(chǔ)上，根據(jù)傾斜航空影像數(shù)據(jù)的特點(diǎn)，提出了基于穩(wěn)健估值原理的粗差自動探測與剔除關(guān)鍵算法。最后，利用多組典型試驗(yàn)區(qū)域的傾斜航空影像數(shù)據(jù)試驗(yàn)結(jié)果驗(yàn)證了所提算法的可靠性、精度和實(shí)際性能。

傾斜航空攝影；光束法最小二乘平差；仿射不變性特征提取算子；特征提??；多視影像匹配

傾斜航空攝影技術(shù)是國際測繪領(lǐng)域近些年發(fā)展起來的一項(xiàng)新技術(shù)，極大地?cái)U(kuò)展了遙感影像的應(yīng)用領(lǐng)域[1-4]。使用傾斜航空影像進(jìn)行高精度測繪、三維信息提取和三維城市模型構(gòu)建等應(yīng)用首先要解決如何精確計(jì)算傾斜航空影像的外方位元素的問題，這通常是經(jīng)過攝影測量區(qū)域網(wǎng)平差，即空三加密過程解決的。而如何利用影像匹配算法，可靠而又精確地獲取具有足夠“光線束”且在影像中盡量均勻分布的連接點(diǎn)用于平差解算，是涉及自動空三加密過程的一個(gè)關(guān)鍵問題。與傳統(tǒng)的近似垂直航空影像相比，傾斜航空影像之間存在地物幾何變形、分辨率差異、影像旋轉(zhuǎn)、地物相互遮擋等問題，傳統(tǒng)基于灰度和多數(shù)基于特征的影像匹配算法在應(yīng)用于傾斜航空影像時(shí)成功率和可靠性大大降低，甚至失敗。

目前，國內(nèi)外針對傾斜航空影像中連接點(diǎn)的自動提取已經(jīng)開展了大量研究[5-10]。其中常用的一類方法是在影像中提取具有仿射不變性的區(qū)域，建立描述子然后再進(jìn)行匹配，包括基于SIFT、MSER、Harris-Affine &Hessian-Affine等仿射不變特征算子的類似算法[7,11-15]，這類方法的缺點(diǎn)是一般基于影像間的兩兩匹配，且對大傾角傾斜影像的匹配效果不好。另一類方法則是利用基于SIFT或MSER算子的匹配算法對原始影像像對A、B先進(jìn)行粗匹配得到一定數(shù)量的同名點(diǎn)對，再計(jì)算出兩幅影像之間的一個(gè)關(guān)系矩陣H。然后以影像B為參考影像，利用H矩陣對影像A進(jìn)行糾正得到校正影像A′，對校正影像A′和影像B進(jìn)行SIFT匹配，再將校正影像A′上匹配出的特征點(diǎn)反算到原始影像A上。該類方法及其改進(jìn)版本[11,16-17]被廣泛采用，但其結(jié)果嚴(yán)重依賴于初始匹配點(diǎn)的分布和匹配正確率，尚難以保證匹配效果。目前，ASIFT算法因具備完全的仿射不變性且對大傾角傾斜影像的匹配效果較好得到較大關(guān)注，與SIFT、MSER等相比較，ASIFT算法在對圖像旋轉(zhuǎn)、尺度縮放、光照變化上具有更強(qiáng)的穩(wěn)健性[18]。然而，由于該算法采用近似于窮舉法來模擬兩個(gè)相機(jī)軸定向參數(shù)，對兩幅圖像通過一系列的仿射變換得到兩組圖像序列，再利用SIFT算法對兩組圖像序列進(jìn)行特征匹配，計(jì)算復(fù)雜度極高而效率很低，對于海量的航空傾斜影像，且每個(gè)影像像素都達(dá)千萬級的影像此算法難以滿足實(shí)際的應(yīng)用需求。

針對現(xiàn)有方法存在的問題，本文提出了一種實(shí)用化的傾斜航空影像全自動連接點(diǎn)匹配和聯(lián)合區(qū)域網(wǎng)平差方法。首先，充分利用POS數(shù)據(jù)和平均飛行高度數(shù)據(jù)，避免了現(xiàn)有大多數(shù)算法所采用的類似于“盲搜索”和“窮舉法”、預(yù)先糾正傾斜視影像等耗時(shí)且穩(wěn)健度低的缺陷；其次，針對傾斜航空影像因遮擋嚴(yán)重，尺度和光照變化大而引起的同名點(diǎn)匹配困難，在充分利用POS系統(tǒng)提供的初始外方位元素的基礎(chǔ)上，顧及其誤差，組合使用改進(jìn)的ASIFT算法和基于窗口的多角度多視影像匹配算法，并采用由粗到細(xì)的多分辨率分層匹配策略得到最終的自動轉(zhuǎn)點(diǎn)結(jié)果；最后，利用典型試驗(yàn)區(qū)域的傾斜航空影像數(shù)據(jù)針對算法的性能進(jìn)行了試驗(yàn)，試驗(yàn)結(jié)果驗(yàn)證了所研發(fā)的算法的可靠性、精度和實(shí)際性能。

1 傾斜航空影像幾何成像模型分析及區(qū)域網(wǎng)平差

當(dāng)前幾乎所有的傾斜航攝系統(tǒng)都是多相機(jī)系統(tǒng)，且配備一個(gè)POS系統(tǒng)獲取姿態(tài)，對于這類多相機(jī)系統(tǒng)，區(qū)域網(wǎng)平差可以采用以下3種方式[6]：

方法1——無約束的聯(lián)合定向方式，即每景影像都使用獨(dú)立的外方位元素，對于相同相機(jī)拍攝的影像使用共同的內(nèi)方位元素。這種方式?jīng)]有加入諸如影像之間的相對姿態(tài)等的約束

(1)

式中

方法2——附加相對約束的定向方式，即將每個(gè)攝站的多個(gè)相機(jī)整體作為一個(gè)剛體單位進(jìn)行平差，相機(jī)之間的相互關(guān)系(相對位置/姿態(tài)角)則作為約束信息加入到光束法平差之中，此時(shí)傾斜影像的共線方程可理解為下視相機(jī)與傾斜相機(jī)兩個(gè)影像坐標(biāo)系之間經(jīng)過分別平移和旋轉(zhuǎn)后的一個(gè)函數(shù)(式(2))。該方式的優(yōu)勢在于不僅降低了未知數(shù)的個(gè)數(shù)，也使網(wǎng)型更加穩(wěn)定

(2)

式中，M是傾斜相機(jī)相對于下視相機(jī)的旋轉(zhuǎn)矩陣；Δxn、Δyn、Δzn是相機(jī)投影中心之間的距離；x0n、y0n、fn是n個(gè)相機(jī)的內(nèi)方位元素;Zx、Zy、N同式(1)。

方法3——直接定向方式。該方式首先將下視影像進(jìn)行傳統(tǒng)的空三解算獲得精確的方位元素，然后利用已經(jīng)檢校過的傾斜相機(jī)與下視相機(jī)之間的旋轉(zhuǎn)平移參數(shù)解算出傾斜影像的方位元素。

在使用傾斜航空影像進(jìn)行區(qū)域網(wǎng)平差時(shí)，由于待估計(jì)的未知數(shù)和觀測數(shù)量巨大，通過解算每個(gè)觀測的多余觀測分量，再由驗(yàn)后方差分量估計(jì)原理導(dǎo)出的選權(quán)迭代法[21]進(jìn)行粗差探測，勢必導(dǎo)致平差解算效率顯著下降，難以滿足實(shí)際的應(yīng)用需求。本文以穩(wěn)健估值和驗(yàn)后方差分量估計(jì)原理作為基本的理論指導(dǎo)，根據(jù)傾斜航空影像數(shù)據(jù)的實(shí)際特點(diǎn)，設(shè)計(jì)相應(yīng)的權(quán)函數(shù)和策略以達(dá)到粗差自動探測與剔除的目的。本文使用的權(quán)函數(shù)基本形式為

(3)

式中

(1) 由于計(jì)算多余觀測分量ri太耗時(shí)，因此，假定ri恒等于1。

2 基于窗口的多角度多視影像匹配模型WMVM

為了計(jì)算參考影像上給定點(diǎn)的匹配點(diǎn)，本文提出了基于窗口的多角度多視影像匹配模型WMVM(該匹配模型可以看作文獻(xiàn)[19-20]中GC3方法的擴(kuò)充，因此在此省略了算法及其優(yōu)缺點(diǎn)的詳細(xì)描述)。根據(jù)這種方法，一個(gè)影像被選作參考影像，其他影像視作搜索影像，文中選擇歸一化影像相關(guān)(NCC)用于參考影像與搜索影像窗口間相似性測度。

如圖1(a)，假設(shè)有K+1景航空遙感影像{I0，Ii,i=1,…,K}，現(xiàn)選取中間的一景影像作為參考影像I0，其他的至少一景影像為搜索影像Ii,i=1,…,K。它們組成了K個(gè)立體像對，即像對I0-I1、I0-I2、…、I0-IK。對于參考影像上的一個(gè)給定特征點(diǎn)p0，其物方空間的對應(yīng)點(diǎn)一定位于通過點(diǎn)p0的攝影光線S0P0上。首先，假設(shè)Z0為點(diǎn)p0的概略高程值，就可以通過共線方程式(相當(dāng)于攝影光線S0P0與高程平面Z0相交)獲得點(diǎn)的三維坐標(biāo)P0(X0,Y0,Z0)，再假設(shè)給定概略高程值Z0的容差為ΔZ，即可以得到對應(yīng)于高程Z0-ΔZ和Z0+ΔZ的兩個(gè)物方點(diǎn)Pmin和Pmax，而點(diǎn)p0在物方空間的對應(yīng)點(diǎn)則一定位于攝影光線段PminPmax之上。然后，利用影像的精確定向元素，將攝影光線段PminPmax分別投影到搜索影像Ii上以得到給定點(diǎn)p0在影像Ii上的同名核線(段)，而點(diǎn)p0的匹配點(diǎn)也一定位于搜索影像的Ii上的核線上。因此，WMVM算法隱含地利用了影像及影像之間的核線約束條件。

圖1 多角度多視影像匹配模型過程示意圖Fig.1 Illustration of the window-based multiple-viewing image matching procedure

定義I0(p)和Ii(p)為影像的灰度值矩陣。在參考影像上，以給定點(diǎn)p0為中心定義一個(gè)匹配窗口W。假設(shè)已經(jīng)獲得成像區(qū)域的近似高程。利用參考影像的定向元素將窗口投影到概略DEM上，在物方空間即可以獲得對應(yīng)于匹配窗口W的小面元。同樣的，也可以將該小面元投影到搜索影像上，從而獲得給定點(diǎn)p0在搜索影像上的相應(yīng)匹配窗口。在本文中稱該過程為image-reshaping(圖1(b))。

定義點(diǎn)p0(對于某一高程值Z)在參考影像I0和搜索影像Ii上相應(yīng)的匹配窗口之間的相似性測度為SCi,i=1,…,K。其中，W和s分別為參考影像上的匹配窗口和位于該窗口內(nèi)的一個(gè)像點(diǎn)；n為匹配窗口W的大?。籶i(p0,Z)為搜索影像上對應(yīng)于s的像點(diǎn)，它可以通過image-reshaping過程獲得，為加快計(jì)算速度其灰度值可以通過對搜索影像Ii進(jìn)行雙線性內(nèi)插獲得。為有效消除成像時(shí)因光照條件變化引起的影像灰度值差異，在本文中選擇歸一化相關(guān)系數(shù)NCCi(p0,Z)作為相似測度(式(4))

NCCi(p0,Z)=

(4)

(5)

由式(5)可以看出，SNCC(p0,Z)也是像點(diǎn)p0和Z:Z∈[Z0-ΔZ,Z0+ΔZ]的函數(shù)，使SNCC達(dá)到最大值時(shí)的高程Z正是給定點(diǎn)p0的正確高程值，其中，點(diǎn)p0在搜索影像上的搜索范圍由初始高程的容差ΔZ確定。簡單地說，該算法利用了這樣一個(gè)事實(shí)：正確的匹配在所有像對的NCC曲線中都呈現(xiàn)峰值，且都對應(yīng)于給定點(diǎn)的真實(shí)高程值，而偽匹配雖然在單個(gè)像對的NCC曲線中可能也呈現(xiàn)峰值，但由于各像對成像幾何關(guān)系的不同，峰值在不同像對NCC曲線中的位置是不同的。因此，通過對各像對的NCC曲線進(jìn)行加和平均，正確的匹配在SNCC曲線中得到進(jìn)一步增強(qiáng)，而對應(yīng)于偽匹配的峰值則互相抵消而在SNCC曲線中被抑制。由此，通過定義SNCC就可以同時(shí)匹配多景影像，并且直接獲得給定特征點(diǎn)p0的三維坐標(biāo)。

在WMVM的在實(shí)際應(yīng)用中，匹配窗口可采用矩形窗口，考慮到在地物表面斷裂附近隱含在基于窗口的影像匹配中的光滑約束并不成立，也可以采用非矩形匹配窗口或根據(jù)匹配窗口中的影像紋理信息對影像灰度進(jìn)行加權(quán)處理。由圖1(b)可知，通過image-reshaping過程，在參考影像上的一個(gè)矩形匹配窗口可以同搜索影像上的非矩形窗口進(jìn)行相關(guān)，這樣，由地形起伏、影像成像幾何及成像比例尺所引起的變形就可以在影像相關(guān)過程中自動得到補(bǔ)償。由此可見，WMVM算法可同時(shí)匹配多幅重疊影像，能夠很好地減小信息盲區(qū)，具有解決立體匹配系統(tǒng)中的遮擋、幾何變形(包括縮放和旋轉(zhuǎn))、地物表面斷裂、特征相似等瓶頸問題的能力。

3 基于窗口的多角度多視匹配模型WMVM的影像同名像點(diǎn)自動匹配方法

針對傾斜航空影像的特點(diǎn)，在設(shè)計(jì)穩(wěn)健和實(shí)用化的影像連接點(diǎn)自動匹配方法時(shí)應(yīng)該考慮如下3個(gè)方面：首先，目前的傾斜航空攝影系統(tǒng)都可以提供POS數(shù)據(jù)，這些數(shù)據(jù)可被利用來進(jìn)行諸如影像間重疊范圍的確定、影像間的幾何變形的事先校正、影像匹配初值的確定以及匹配搜索范圍的限定等步驟，從而避免采用類似于“盲搜索”和“窮舉法”等耗時(shí)且穩(wěn)健度低的算法；其次，考慮到POS數(shù)據(jù)存在誤差，所以影像間的自動轉(zhuǎn)點(diǎn)必須使用由粗到精的金字塔匹配策略，而且在每一級金字塔影像上完成所有影像間的自動轉(zhuǎn)點(diǎn)后進(jìn)行POS輔助的區(qū)域網(wǎng)平差，逐級提高影像外方位元素值的精度，進(jìn)而在金字塔影像匹配過程中逐步縮小影像匹配時(shí)的搜索空間，有效抑制誤匹配發(fā)生的概率；最后，基于窗口的多視影像匹配算法WMVM需要事先知道精確的影像定向參數(shù)，從而保證正確的匹配是符合影像核線幾何約束的。試驗(yàn)證明，WMVM方法在正確匹配點(diǎn)偏離核線1.0個(gè)像素以上時(shí)其性能會大幅下降，這樣即使采用由粗到精的金字塔匹配策略也要求影像的外方位元素所造成的像方誤差不大于數(shù)十個(gè)像素。因此，在最低分辨率金字塔影像中采用一種改進(jìn)后的ASIFT算法，獲取可靠的連接點(diǎn)數(shù)據(jù)并進(jìn)行區(qū)域網(wǎng)平差來精化由機(jī)載POS系統(tǒng)提供的初始影像外方位元素，然后再利用WMVM算法完成連接點(diǎn)的匹配。

綜合以上考慮，本文在基于窗口的多角度多視匹配算法WMVM的基礎(chǔ)上，研發(fā)了可靠的傾斜航空影像同名點(diǎn)自動匹配技術(shù)，該算法主要包括如下基本步驟：

(1) 匹配過程中使用從由粗到細(xì)的多分辨率分層匹配策略。在這種策略中，影像表達(dá)為不同分辨率的層次，稱之為影像金字塔(影像PL0-PLK，其中K為金字塔影像級數(shù)，一般設(shè)為4，且相鄰金字塔影像之間的分辨率比率為2.0，PL0為原始分辨率影像，則PL4的分辨率為PL0的1/16)。另外，為減少影像噪聲和其他的影像瑕疵并增強(qiáng)影像重要的紋理信息，Wallis濾波將被用來對參加匹配的影像進(jìn)行自適應(yīng)增強(qiáng)，為其后的特征提取和影像匹配階段提供良好的影像數(shù)據(jù)。

該步驟實(shí)質(zhì)上是一種改進(jìn)的ASIFT算法，由于僅僅在最低分辨率影像金字塔中采用該算法，且利用影像的初始外方位元素對影像進(jìn)行預(yù)糾正，然后再利用SIFT特征進(jìn)行初始相對關(guān)系的確定，從而避免了原始ASIFT算法的缺陷，提高了算法的效率。另外，這里的影像糾正過程等價(jià)于存在一個(gè)虛擬的水平相機(jī)在垂直視角進(jìn)行攝影獲得虛擬的水平影像的過程。這種虛擬的水平影像消除了傾斜影像尺度不一的影響，使得匹配的問題轉(zhuǎn)換為只需要使用一種尺度不變的特征點(diǎn)檢測算子及其描述，即可獲得穩(wěn)健的匹配點(diǎn)，由于文中采取了SIFT特征點(diǎn)和描述，以此克服因POS數(shù)據(jù)不準(zhǔn)確而生成的虛擬水平相片中仍然可能存在的尺度和旋轉(zhuǎn)問題，因此大大提高了匹配過程的可靠性。使用改進(jìn)后ASIFT算法進(jìn)行的大量測試表明了算法的有效性，在圖2(a)中顯示了一組在1∶16金字塔影像中獲得的特征點(diǎn)匹配結(jié)果。這組影像由于使用短焦鏡頭成像因而存在較大的幾何變形，使用基于SIFT算子的匹配方法無法獲得正確的結(jié)果，而使用改進(jìn)后的ASIFT算法則成功獲取了很可靠的匹配結(jié)果。在圖2(b)中顯示了另外兩組使用改進(jìn)后算法得到的匹配結(jié)果。

(3) 在金字塔影像上往下一級PLK-1，由于在上一級金字塔影像上完成所有影像間的自動轉(zhuǎn)點(diǎn)后進(jìn)行了區(qū)域網(wǎng)平差，獲得了較高精度的影像外方位元素值(精化后的外方位元素)，此時(shí)開始進(jìn)行基于WMVM算法的多視影像匹配來獲得連接點(diǎn)。首先，選擇一張影像為基準(zhǔn)影像I0，將影像進(jìn)行分塊并在每一影像塊內(nèi)利用Harris-Affine算子提取至少一個(gè)特征點(diǎn)，這樣盡可能地保證了特征點(diǎn)分布的均勻性。

然后，對于影像I0的每一個(gè)特征點(diǎn)，利用上一級金字塔匹配時(shí)獲得的平均高程Zmean和精化后的影像外方位元素預(yù)測其在其他影像中的初始位置，同時(shí)也確定了該連接點(diǎn)的同名點(diǎn)所在的影像集合Ii，其中i=1-n，n為特征點(diǎn)的“光線束”。利用基準(zhǔn)影像I0在高程范圍內(nèi)(Zmean-(Zmax-Zmin)/3,Zmean+(Zmax-Zmin)/3)內(nèi)進(jìn)行WMVM多視影像匹配，從而獲得每個(gè)特征點(diǎn)在多景影像中的像坐標(biāo)。由于WMVM本質(zhì)上仍然是一種基于區(qū)域的灰度匹配ABM(area-based matching)方法，而ABM在匹配窗口尺寸的確定上是一個(gè)難題，通常大窗口可靠性高但是精度低，小窗口的精度高但是可靠性又差。為抑制誤匹配發(fā)生的概率，本文將使用如下判據(jù)確定“正確可靠”的匹配：

a. 對于特定尺寸的匹配窗口(例如7×7 pixel)，計(jì)算次大與最大相關(guān)系數(shù)的比值ρ=σsec/σmax，如果該比值大于0.75則為該匹配結(jié)果是可靠的。

b. 在滿足a的條件下，如果最大與次大相關(guān)系數(shù)所對應(yīng)的匹配點(diǎn)之間的距離大于3.0像素，則為該匹配結(jié)果是可靠的。

c. 利用不同的窗口大小(從7×7、11×11到15×15 pixel)進(jìn)行多次匹配，如果針對所有窗口大小情況下同時(shí)滿足以上兩個(gè)條件，則認(rèn)為該匹配結(jié)果是正確而且可靠的。

按照上面的準(zhǔn)則，以每一景影像為基準(zhǔn)影像處理完所有的影像，獲得在本級金字塔影像上的連接點(diǎn)。最后，調(diào)用區(qū)域網(wǎng)平差軟件進(jìn)行平差，自動剔除粗差點(diǎn)(觀測值)和獲取更新后的外方位元素。利用平差后連接點(diǎn)的加密坐標(biāo)，更新每張影像的平均高程Zmean和測區(qū)的最高Zmax以及最低高程Zmin信息。

(4) 將剔去錯(cuò)誤匹配后的所有連接點(diǎn)換算到分辨率更高一級PLK-2的影像上，然后使用最小二乘匹配在PLK-2級的影像上進(jìn)行匹配。檢查每張影像上像點(diǎn)分布是否均勻，如果不均勻，則在PLK-2級影像上分塊提取更為密集的Harris特征，利用步驟(3)中的方法進(jìn)行匹配獲取連接點(diǎn)，然后調(diào)用平差解算程序剔除粗差并獲取更為精確的影像外方位元素。依此類推，向更高分辨率影像上進(jìn)行同樣的方法處理，直到原始分辨率級別PL0為止。為提高自動提取的連接點(diǎn)的幾何精度，在原始分辨率影像中利用最小二乘匹配方法獲取最終的連接點(diǎn)數(shù)據(jù)。

需要注意的是，基于WMVM算法的多視影像匹配在僅僅匹配兩景影像時(shí)很容易引入誤匹配且這類誤匹配因其“光線束”為2，在隨后的區(qū)域網(wǎng)平差過程中也無法自動剔除，因此所有“光線束”為2的連接點(diǎn)將被刪除。另外，為保證連接點(diǎn)自動提取的效率，基于OMP并行的方式實(shí)現(xiàn)了以點(diǎn)特征提取和連接點(diǎn)WMVM匹配為“并行粒度”的多進(jìn)程并行化，因?yàn)閺纳厦娴拿枋隹梢院苋菀椎乜闯?，對于每個(gè)特征點(diǎn)，其特征提取和WMVM匹配都是相互獨(dú)立的，而且WMVM因算法復(fù)雜度高在連接點(diǎn)匹配過程中是最耗時(shí)的。

綜上所述，本文提出的連接點(diǎn)自動提取步驟如圖3所示。

圖3 本文傾斜航空影像自動空三基本流程Fig.3 Flow-chart of the proposed tie-point matching procedure

4 試驗(yàn)驗(yàn)證與分析

為驗(yàn)證本文所提出的算法的可靠性、精度和實(shí)際性能，收集了多款類型傾斜相機(jī)在不同成像區(qū)域的不同地面分辨率的傾斜航空影像數(shù)據(jù)(見表1)，利用一臺雙核CPU(2.5GHz主頻，16進(jìn)程)、16GB內(nèi)存的圖形工作站，使用自主開發(fā)的軟件PixelGrid-3DImage(基于VC++2015開發(fā)，64位OS)，針對算法的可靠性、提取的連接點(diǎn)的分布、精度、算法的性能等問題展開了大量試驗(yàn)并獲得了可與商業(yè)化軟件系統(tǒng)(如Smart3DTM)相近的結(jié)果。

首先，使用POS輔助的自由網(wǎng)平差方法，針對數(shù)據(jù)處理所用的時(shí)間、成功提取連接點(diǎn)的數(shù)量、分布和內(nèi)符合精度進(jìn)行試驗(yàn)。由表2可以看出，上述幾組試驗(yàn)基本驗(yàn)證了本文所提算法的性能。首先，全自動提取的連接點(diǎn)經(jīng)區(qū)域網(wǎng)平差并自動剔除粗差后，其單位權(quán)中誤差都達(dá)到了子像素，連接點(diǎn)在影像中的分布也比較均勻(見圖4)。其次，由于采用了多視影像匹配方法，所獲得的連接點(diǎn)的“光線束”可有效保證區(qū)域網(wǎng)的連接強(qiáng)度，對于試驗(yàn)數(shù)據(jù)集-2、數(shù)據(jù)集-3等常規(guī)60%/30%航向/旁向重疊度的影像，自動提取連接點(diǎn)的“光線束”平均為24左右，對于數(shù)據(jù)集-1和數(shù)據(jù)集-4這樣的大重疊度影像(85%/60%航向/旁向重疊度)，連接點(diǎn)的“光線束”平均為75以上，最大“光線數(shù)”甚至超過了100，這些冗余信息非常利于平差過程中粗差的剔除。第三，由圖5所示的自動提取連接點(diǎn)的例子可以看出，基于WMVM算法的連接點(diǎn)自動提取方法很好地解決影像中因地物遮擋、縮放和旋轉(zhuǎn)等幾何變形、地物表面斷裂、特征相似等困難匹配問題，也能夠同時(shí)顧及傾斜航空影像之間輻射響應(yīng)和攝影分辨率不一致的實(shí)際情況，甚至是人工都十分難以量測的情況都可以獲得正確的匹配結(jié)果。

表1 試驗(yàn)所使用的數(shù)據(jù)集基本參數(shù)

表2 文中所提算法的測試結(jié)果統(tǒng)計(jì)

在對比試驗(yàn)中，分別采用市場上較為普遍的商業(yè)化軟件，即Acute3D的Smart3DTM(V4.3.0.506)、AGISOFT的PhotoScanTM(V1.2.0，64位)軟件系統(tǒng)對數(shù)據(jù)集-5在相同型號配置的機(jī)器上進(jìn)行了自動空三數(shù)據(jù)處理，處理結(jié)果見表3。需要說明的是，由于數(shù)據(jù)量過大(3720景影像，單景影像大小為10 320×7750 pixel)，在使用PhotoScan軟件時(shí)降低了影像的分辨率(原影像大小的1/2)。由表3可以看出，文章所提出的算法在數(shù)據(jù)處理時(shí)間，連接點(diǎn)數(shù)量及分布、連接點(diǎn)提取精度等方面達(dá)到了可與這些商業(yè)化軟件相比較的結(jié)果。

表3 不同軟件使用數(shù)據(jù)集-5的測試結(jié)果統(tǒng)計(jì)

Tab.3 Experimental results of different commercialized software package for dataset-5

軟件名稱處理時(shí)間連接點(diǎn)點(diǎn)數(shù)自由網(wǎng)平差精度(單位權(quán)中誤差)Smart3DTM10.6h5914223.5μm(0.6pixel)PhotoScanTM32h8min12560652.5μm(0.4pixel)本文算法近11h6056162.5μm(0.4pixel)

在試驗(yàn)數(shù)據(jù)集-5中，全區(qū)均勻分布有55個(gè)GPS平高控制點(diǎn)，其中23個(gè)GPS點(diǎn)可作為檢查點(diǎn)，且所有的點(diǎn)都為明顯地物點(diǎn)。在精確量測出所有控制點(diǎn)和檢查點(diǎn)后進(jìn)行聯(lián)合區(qū)域網(wǎng)平差(殘差分布見圖6)。其中，平差后像點(diǎn)單位權(quán)中誤差為σ0=2.7 μm；控制點(diǎn)殘差X方向中誤差為0.096 m，Y方向?yàn)?.070 m，Z方向?yàn)?.100 m；檢查點(diǎn)殘差X方向中誤差為0.137 m，Y方向?yàn)?.230 m，Z方向?yàn)?.167 m。該精度應(yīng)該可以滿足1∶1000比例尺的地形圖測繪。從利用該組數(shù)據(jù)進(jìn)行的平差試驗(yàn)可以看出：利用所有影像(包括下視影像和所有方向的傾斜影像)進(jìn)行聯(lián)合區(qū)域網(wǎng)平差后高程中誤差與平面中誤差基本相同，顯示使用所有影像進(jìn)行聯(lián)合平差在高程精度方面得到了提高，部分原因是引入傾斜方向的影像后像點(diǎn)的空間交會條件增強(qiáng)。

圖2 ASIFT算法在最低分辨率金字塔影像中的匹配效果Fig.2 Matching results of lowest resolution images by using the proposed modified ASIFT algorithm

圖4 利用試驗(yàn)數(shù)據(jù)集-1自動提取的連接點(diǎn)在影像中的分布Fig.4 Distribution of the tie-points extracted from experimental dataset-1

為進(jìn)一步驗(yàn)證該結(jié)論，選取另外一組更高分辨率的小數(shù)據(jù)集(包含4條航帶，429景UltraCam UCO影像，GSD為5 cm，7個(gè)地面控制點(diǎn))，分別針對所有影像和僅下視影像使用文中所提的算法進(jìn)行了平差試驗(yàn)。由表4中控制點(diǎn)的殘差數(shù)據(jù)可以看出，利用所有影像聯(lián)合區(qū)域網(wǎng)平差的精度相對于僅僅利用下視影像得到了較明顯的提高。但同時(shí)由于傾斜視影像的分辨率相較直下視影像一般要低一些，所以在高程方向上精度的提高并不如預(yù)想的顯著。隨后的試驗(yàn)中需要利用更多的數(shù)據(jù)進(jìn)行詳盡驗(yàn)證。

圖5 一個(gè)自動匹配的連接點(diǎn)示例Fig.5 An example of tie-point which automatic extracted from the oblique aerial images

圖6 試驗(yàn)數(shù)據(jù)集-5區(qū)域網(wǎng)平差控制點(diǎn)及檢查點(diǎn)殘差示意圖Fig.6 Illustration of residuals of GCPs and check points for the experimental dataset-5

表4 下視影像/傾斜影像聯(lián)合平差和下視影像平差結(jié)果對比

Tab.4 Accuracy comparison between adjustment with full-set of images and nadir-viewing images only cm

5 結(jié) 論

本文在分析國內(nèi)外針對傾斜攝影影像數(shù)據(jù)自動空三處理算法的基礎(chǔ)上，提出了一種實(shí)用化的傾斜航空影像全自動連接點(diǎn)匹配和聯(lián)合區(qū)域網(wǎng)平差方法。一方面，針對傾斜航空影像因遮擋嚴(yán)重，尺度變化大和幾何變形嚴(yán)重而引起的同名點(diǎn)匹配困難問題，充分利用POS數(shù)據(jù)等初始數(shù)據(jù)，同時(shí)顧及這些數(shù)據(jù)的誤差，通過有效組合一種改進(jìn)的ASIFT算法和基于窗口的多角度多視影像匹配模型WMVM，使用由粗到細(xì)的多分辨率分層匹配策略完成連接點(diǎn)的全自動提取；另一方面，本文在傳統(tǒng)的最小二乘光束法平差的基礎(chǔ)上，根據(jù)傾斜航空影像數(shù)據(jù)的特點(diǎn)，提出了基于穩(wěn)健估值原理的粗差自動探測與剔除關(guān)鍵算法。本文提出的組合方法避免了現(xiàn)有大多數(shù)算法所采用的類似于“盲搜索”和“窮舉法”、預(yù)先糾正傾斜視影像等耗時(shí)且穩(wěn)健度低的缺陷，是一種實(shí)用化的解決傾斜影像自動空三的方法。

最后，利用多組傳感器(如UltraCam UCO、SWDC-5等)和城市中心區(qū)、居民區(qū)和城鄉(xiāng)結(jié)合部等典型試驗(yàn)區(qū)域的傾斜航空影像數(shù)據(jù)針對算法的性能進(jìn)行了大量試驗(yàn)，試驗(yàn)結(jié)果驗(yàn)證了所研發(fā)的算法的可靠性、精度和實(shí)際性能，結(jié)果見圖5、圖6。

[1] 王偉, 黃雯雯, 鎮(zhèn)姣. Pictometry傾斜攝影技術(shù)及其在3維城市建模中的應(yīng)用[J]. 測繪與空間地理信息, 2011, 34(3): 181-183. WANG Wei, HUANG Wenwen, ZHEN Jiao. Pictometry Oblique Photography Technique and Its Application in 3D City Modeling[J]. Geomatics & Spatial Information Technology, 2011, 34(3): 181-183.

[2] 楊久勇, 高峰, 向宇. 傾斜航空攝影的原理與特點(diǎn)[C]∥中國測繪學(xué)會2010年學(xué)術(shù)年會論文集. 南京: 中國測繪學(xué)會, 2010: 341-344. YANG Jiuyong, GAO Feng, XIANG Yu. Principle & Characteristics of the Oblique Aerial Photogrammetry[C]∥Proceedings of the Society of Geodesy、Photogrammetry and Cartography. Nanjing: China Surveying and Mapping Society, 2010: 341-344.

[3] 田野, 向宇, 高峰, 等. 利用Pictometry傾斜攝影技術(shù)進(jìn)行全自動快速三維實(shí)景城市生產(chǎn)——以常州市三維實(shí)景城市生產(chǎn)為例[J]. 測繪通報(bào), 2013(2): 59-62，66. TIAN Ye, XIANG Yu, GAO Feng, et al. Automatic and Fast 3D True City Production Based on Pictometry Oblique Photogrammetry Technology[J]. Bulletin of Surveying and Mapping, 2013(2): 59-62，66.

[4] 桂德竹, 林宗堅(jiān), 張成成. 傾斜航空影像的城市建筑物三維模型構(gòu)建研究[J]. 測繪科學(xué), 2012, 37(4): 140-142. GUI Dezhu, LIN Zongjian, ZHANG Chengcheng. Research on Construction of 3D Building Based on Oblique Images from UAV[J]. Science of Surveying and Mapping, 2012, 37(4): 140-142.

[5] WEITH-GLUSHKO S, SALVAGGIO C. Automatic Tie-point Generation for Oblique Aerial Imagery: An Algorithm[EB/OL]. [2012-03-10]. http:∥testcis.cis.rit.edu/cnspci/references/theses/senior/weith-glushko2004.pdf.

[6] RUPNIK E, NEX F, REMONDINO F. Automatic Orientation of Large Blocks of Oblique Images[C]∥ International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences: XL-1/W1. Hannover: ISPRS, 2013: 299-304.

[7] 姚國標(biāo), 鄧喀中, 張力, 等. 融合互補(bǔ)仿射不變特征的傾斜立體影像高精度自動配準(zhǔn)方法[J]. 測繪學(xué)報(bào), 2013, 42(6): 869-876. YAO Guobiao, DENG Kazhong, ZHANG Li, et al. An Automated Registration Method with High Accuracy for Oblique Stereo Images Based on Complementary Affine Invariant Features[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(6): 869-876.

[8] WIEDEMANN A, MORé J. Orientation Strategies for Aerial Oblique Images[C]∥International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences: XXXIX-B1. Melbourne: ISPRS, 2012: 185-189.

[9] 閆利, 費(fèi)亮, 葉志云, 等. 大范圍傾斜多視影像連接點(diǎn)自動提取的區(qū)域網(wǎng)平差法[J]. 測繪學(xué)報(bào), 2016, 45(3): 310-317. DOI: 10.11947/j.AGCS.2016.20140673. YAN Li, FEI Liang, YE Zhiyun, et al. Automatic Tie-points Extraction for Triangulation of Large-scale Oblique Multi-view Images[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(3): 310-317. DOI: 10.11947/j.AGCS.2016.20140673.

[10] 戴激光, 王新亮, 郭一洋. 一種穩(wěn)健的傾斜航空影像粗差探測方法[J]. 測繪通報(bào), 2014(5): 28-31. DOI: 10.13474/j.cnki.11-2246.2014.0151. DAI Jiguang, WANG Xinliang, GUO Yiyang. A Robust Method of Gross Error Detection for Oblique Aerial Image[J]. Bulletin of Surveying and Mapping, 2014(5): 28-31. DOI: 10.13474/j.cnki.11-2246.2014.0151.

[11] NISTéR D. An Efficient Solution to the Five-point Relative Pose Problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6): 756-770.

[13] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[14] MATAS J, CHUM O, URBAN M, et al. Robust Wide-baseline Stereo from Maximally Stable Extremal Regions[J]. Image and Vision Computing, 2004, 22(10): 761-767.

[15] MIKOLAJCZYK K,SCHMID C. Scale & Affine Invariant Interest Point Detectors[J]. International Journal of Computer Vision, 2004, 60(1): 63-86.

[16] YANG Huachao,ZHANG Shubi,WANG Yangbo. Robust and Precise Registration of Oblique Images Based on Scale-invariant Feature Transformation Algorithm[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(4): 783-787.

[17] YU Yinan, HUANG Kaiqi, CHEN Wei, et al. A Novel Algorithm for View and Illumination Invariant Image Matching[J]. IEEE Transactions on Image Processing, 2012, 21(1): 229-240.

[18] MOREL J M, YU Guoshen. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469.

[19] ZHANG Li. Automatic Digital Surface Model (DSM) Generation from Linear Array Images[D]. Zurich: Institute of Geodesy and Photogrammetry, ETH Zurich, 2005.

[20] ZHANG Li, GRUEN A. Multi-image Matching for DSM Generation from IKONOS Imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2006, 60(3): 195-211.

[21] 李德仁, 袁修孝. 誤差處理與可靠性理論[M]. 武漢: 武漢大學(xué)出版社, 2002. LI Deren, YUAN Xiuxiao. Error Processing and Reliability Theory[M]. Wuhan: Wuhan University Press, 2002.

(責(zé)任編輯：叢樹平)

ZHANG Li (1970—)，male, PhD, research fellow, PhD supervisor, majors in photogrammetry and remote sensing.

Automatic Tie-point Extraction Based on Multiple-image Matching and Bundle Adjustment of Large Block of Oblique Aerial Images

ZHANG Li1,AI Haibin1,XU Biao1,SUN Yushan1,2,DONG Youqiang1,3

1. Chinese Academy of Surveying & Mapping, Beijing 100830, China; 2. School of Geodesy and Geomatics, Wuhan University, Wuhan 430079, China; 3. College of Geoscience and Surveying Engineering, China University of Mining and Technology, Beijing 100083, China

Due to advantages such as ease of interpretation, completeness through mitigation of occluding areas, as well as system accessibility, the aerial oblique images have found their place in numerous civil applications. However, for these applications high quality orientation data are essential. A fully automatic tie-point extraction procedure is developed to precisely orient the large block of oblique aerial images, in which a refined ASIFT algorithm and a window-based multiple-viewing image matching (WMVM) method are combined. In this approach, the WMVM method is based on the concept of multi-image matching guided from object space and allows reconstruction of 3D objects by matching all available images simultaneously, and a square correlation window in the reference image can be correlated with windows of different size, shape and orientation in the search images.Then another key algorithms, i.e. the combined bundle adjustment method with gross-error detection & removal algorithm, which can be used for simultaneously orient the oblique and nearly-vertical images will be presented. Finally, through the experiments by using real oblique images over several test areas, the performance and accuracy of the proposed method is studied and presented.

oblique aerial photos; bundle adjustment; affine invariant feature detector; feature extraction; multiple-image matching

The National Natural Science Foundation of China (No. 41271374)

張力，艾海濱，許彪,等.基于多視影像匹配模型的傾斜航空影像自動連接點(diǎn)提取及區(qū)域網(wǎng)平差方法[J].測繪學(xué)報(bào)，2017,46(5)：554-564.

10.11947/j.AGCS.2017.20160571. ZHANG Li, AI Haibin, XU Biao,et al.Automatic Tie-point Extraction Based on Multiple-image Matching and Bundle Adjustment of Large Block of Oblique Aerial Images[J]. Acta Geodaetica et Cartographica Sinica,2017,46(5):554-564. DOI:10.11947/j.AGCS.2017.20160571.

2016-11-11

張力(1970—)，男，博士，研究員，博士生導(dǎo)師，研究方向?yàn)閿z影測量與遙感。

E-mail： zhangl@casm.ac.cn

P237

A

1001-1595(2017)05-0554-11

國家自然科學(xué)基金(41271374)

修回日期： 2017-02-07