左正康 晏磊 孫巖標(biāo) 趙紅穎 張瑞華 孫嘉玉 劉思遠(yuǎn) 王強(qiáng) 孫逸淵

北京大學(xué)學(xué)報(bào)(自然科學(xué)版) 第59卷 第3期 2023年5月

Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 59, No. 3 (May 2023)

10.13209/j.0479-8023.2023.033

2022–01–20;

2023–02–07

三維攝影條件下視差角光束法平差模型的適用性研究

左正康1,2,3晏磊1,2,?孫巖標(biāo)4趙紅穎5張瑞華5孫嘉玉5劉思遠(yuǎn)5王強(qiáng)6孫逸淵5

1.廣西高校無(wú)人機(jī)遙測(cè)重點(diǎn)實(shí)驗(yàn)室, 桂林航天工業(yè)學(xué)院, 桂林 541004; 2.空間信息集成與 3S 工程應(yīng)用北京市重點(diǎn)實(shí)驗(yàn)室, 北京大學(xué), 北京 100871; 3.大勢(shì)智慧科技有限公司, 武漢 430000; 4.天津大學(xué)精密儀器與光電子工程學(xué)院, 天津 300072; 5.地球觀測(cè)與導(dǎo)航教育部工程研究中心, 北京大學(xué), 北京 100871; 6.天津師范大學(xué)地理與環(huán)境科學(xué)學(xué)院, 天津 300387; ?通信作者, E-mail: lyan@pku.edu.cn

為了論證視差角光束法平差模型在短基線(xiàn)攝影條件下的適用性, 將視差角光束法平差(PBA)模型中基于二維假設(shè)的數(shù)學(xué)證明擴(kuò)展到三維, 研究視差角參數(shù)對(duì)觀測(cè)噪聲的敏感性、法方程奇異性以及線(xiàn)性化程度, 并基于 2.11×10?8～2.11×10?12弧度的小交會(huì)角的短基線(xiàn)攝影條件進(jìn)行仿真和真實(shí)實(shí)驗(yàn)。理論分析和實(shí)驗(yàn)結(jié)果表明, 目前的PBA模型僅適用于二維攝影, 不能解決三維攝影條件下短基線(xiàn)的平差問(wèn)題。

短基線(xiàn); 視差角光束法平差; 三維攝影條件; 數(shù)學(xué)證明

攝影測(cè)量指基于圖像重建三維場(chǎng)景[1]。目前, 商業(yè)軟件或開(kāi)源庫(kù)中有許多典型的攝影測(cè)量軟件, 例如 Metashape[2], Pix4D[3], DPGrid[4]和 TOPGrid[5]是攝影測(cè)量界的主流商業(yè)軟件。此外, VisualSF-M[6], OSM Bundler[7–10], Microsoft Photosynth[11], Photosynth Toolkit (Photosynth+CMVS/PMV-S2), Autodest 123D Catch[12], SFMToolKit[13], CMP-MVS[14], ARC 3D Webservice[15], Meshroom[16]以及3Dflow[17]是研究人員廣泛使用的開(kāi)源庫(kù)或 Web 服務(wù)。還有許多公開(kāi)可用的獨(dú)立光束法平差包, 如SBA[18], sSBA[19]和 g2o[20], 它們被認(rèn)為是攝影測(cè)量軟件的核心模塊, 用于估計(jì)特征點(diǎn)的位置和相機(jī)姿態(tài)。

在光束法平差的模型實(shí)現(xiàn)過(guò)程中, 這些攝影測(cè)量軟件都采用空間直角坐標(biāo)()來(lái)參數(shù)化特征點(diǎn)(XYZBA)。趙亮等[21–22]和孫巖標(biāo)等[23–25]認(rèn)為 XYZ-BA 無(wú)法解算短基線(xiàn)攝影條件下的平差網(wǎng)。2012 年, 趙亮等[21–22]提出視差角光束法平差(parallax bundle adjustment, PBA)模型, 用 3 個(gè)角度(方位角、高度角和視差角)替代坐標(biāo), 對(duì)特征點(diǎn)進(jìn)行參數(shù)化, 并在二維攝影條件下完成視差角參數(shù)對(duì)觀測(cè)噪聲的敏感性數(shù)學(xué)證明, 得到“PBA 中的視差角參數(shù)不受觀測(cè)值初始誤差影響”的結(jié)論。2015 年, 孫巖標(biāo) 等[23–25]在二維的攝影條件下, 對(duì) PBA 模型的法方程奇異性進(jìn)行數(shù)學(xué)證明, 得到“PBA 模型的法方程系數(shù)矩陣的行列式為 1, 法方程永遠(yuǎn)正定”的結(jié)論。

眾所周知, 真實(shí)的攝影條件是三維的, 趙亮 等[21–22]和孫巖標(biāo)等[23–25]在二維攝影條件下的數(shù)學(xué)證明需要在三維條件下進(jìn)行進(jìn)一步論證。本文聚焦于三維攝影條件下視差角參數(shù)對(duì)觀測(cè)噪聲的敏感性、法方程奇異性和線(xiàn)性化程度等的數(shù)學(xué)證明, 并在 2.11×10?8～2.11×10?12弧度的小交會(huì)角的短基線(xiàn)攝影條件下進(jìn)行實(shí)驗(yàn)驗(yàn)證。

1 PBA 模型

PBA 模型[21–22]用 3 個(gè)角度(方位角、高度角和視差角)來(lái)參數(shù)化三維目標(biāo)點(diǎn)的地理位置, 即F=(α,β, γ), 如圖 1 所示。

三維目標(biāo)點(diǎn)F= [α β γ]到二維像點(diǎn) [,]之間的投影關(guān)系的觀測(cè)方程為

其中,為內(nèi)參矩陣;m與分別為主相機(jī)與相機(jī)的旋轉(zhuǎn)矩陣;t為縮放因子;m為相機(jī)m到達(dá)目標(biāo)點(diǎn)F的單位向量:

為相機(jī)t到達(dá)特征點(diǎn)F的向量:

2 數(shù)學(xué)證明

本文在三維攝影條件下, 分別從理論上證明PBA 模型中視差角參數(shù)對(duì)觀測(cè)噪聲的敏感性、PBA模型的法方程奇異性和線(xiàn)性化程度。

2.1 視差角參數(shù)對(duì)觀測(cè)噪聲的敏感性

2.1.1 二維攝影條件

因此,

圖2 二維攝影條件[21–22]

Fig. 2 Two-dimensional photography condition[21–22]

因此, 趙亮等[21–22]認(rèn)為 PBA 模型中的視差角參數(shù)不受觀測(cè)值初始誤差的影響。

2.1.2 三維攝影條件

圖3 三維攝影條件

可以發(fā)現(xiàn), 當(dāng)={0, π}時(shí), 視差角在三維攝影條件下的參數(shù)化形式與二維攝影條件相同,可由其他角度線(xiàn)性表達(dá)。然而, 當(dāng)≠{0, π}時(shí), 視差角在三維攝影條件下的參數(shù)化形式變?yōu)榉蔷€(xiàn)性表達(dá)式。

視差角的計(jì)算值為

2.2 法方程奇異性

孫巖標(biāo)[23]關(guān)于 PBA 和 XYZBA 法方程奇異性的數(shù)學(xué)分析是基于二維攝影條件, 本文認(rèn)為他得出的結(jié)論“PBA 模型的法方程系數(shù)矩陣的行列式為 1, 法方程永遠(yuǎn)正定”無(wú)法擴(kuò)展到三維攝影條件。

2.2.1 二維攝影條件

在圖 2 的二維攝影條件下, 兩個(gè)相機(jī)在全局坐標(biāo)系的方向角為α和α。選取第一個(gè)相機(jī)為目標(biāo)點(diǎn)的主錨點(diǎn), 則目標(biāo)點(diǎn)用視差角可表示為

= (,) , (11)

其中,表示視差角;表示目標(biāo)點(diǎn)在全局坐標(biāo)系下的方向角, 等價(jià)于

孫巖標(biāo)[23]將β和β作為光束法平差模型的觀測(cè)量, 將和作為變量, 其最小二乘優(yōu)化問(wèn)題可表示為

(,) = [1(,) ?β]2+ [2(,) ?β]2,(13)

其中,1(,)和2(,)分別為目標(biāo)點(diǎn)在兩個(gè)相機(jī)上的觀測(cè)方程:

1(,) =? α, (14)

2(,) =+–α。 (15)

兩個(gè)觀測(cè)方程對(duì)變量和的一階導(dǎo)數(shù)組成 Jacobi矩陣:

其法方程為

因此, 行列式為 1, 法方程永遠(yuǎn)正定。

2.2.2 三維攝影條件

在三維攝影條件下, PBA 模型的第一類(lèi)未知數(shù)是相機(jī)的 6 個(gè)外方位元素, 第二類(lèi)未知數(shù)是目標(biāo)點(diǎn)的 3 個(gè)角度參數(shù)化坐標(biāo), 即= (α, β, γ)。其目標(biāo)函數(shù)為

可以發(fā)現(xiàn), 在三維攝影條件下, PBA 模型的觀測(cè)方程不再如式(14)和(15)一樣呈線(xiàn)性, 而是變成了非線(xiàn)性方程。我們進(jìn)一步計(jì)算三維攝影條件下 PBA模型的法方程系數(shù)矩陣:

可以看出, 三維攝影條件下 PBA 模型的法方程系數(shù)矩陣的行列式 det (T) 不等于 1, 也難以永遠(yuǎn)正定, 孫巖標(biāo)[23]在二維攝影條件下的證明結(jié)論在三維攝影條件下并不適用。

2.3 線(xiàn)性化程度

由線(xiàn)性代數(shù)理論可知, 若系數(shù)矩陣可逆, 則非齊次線(xiàn)性方程組=的封閉解為=?1。因此, 如果待求解的方程組為線(xiàn)性方程組, 則可以直接求得其封閉解, 無(wú)需從近似的初始解0出發(fā), 迭代求解。這意味著線(xiàn)性方程組的解算不依賴(lài)于初始值。

在 PBA 中, 單根光線(xiàn)的觀測(cè)方程為3×1=3×3·3×1, 其中3×1= [1]T為像點(diǎn)的齊次坐標(biāo),3×1= [?c?c?c]T為平移向量,3×3=3×3·3×3為內(nèi)參矩陣與旋轉(zhuǎn)矩陣的乘積。

在內(nèi)參矩陣3×3和旋轉(zhuǎn)矩陣3×3已知的“非自由網(wǎng)平差”條件下, 其觀測(cè)方程3×1=3×3·3×1呈非齊次線(xiàn)性形式, 我們可以直接求得封閉解3×1=?13×3·3×1。

1)在XYZBA 中, 未知的線(xiàn)元素為6×1= [ccc]T, 求得封閉解3×1=?13×3·3×1之后,3×1是一個(gè)“秩虧”的線(xiàn)性方程組, 表達(dá)式為

[3×3?3×3]3×66×1=3×1。(21)

若≥ 3 (+), 則系數(shù)矩陣“滿(mǎn)秩”, 可求得的封閉解:

無(wú)需從近似的初始解0出發(fā), 迭代求解。

2)在 PBA 中, 未知數(shù)為6×1= [α β γ x y z]T, 求得封閉解3×1=?13×3·3×1之后,3×1是一個(gè)非線(xiàn)性方程組, 表達(dá)式為

sin·3×1=·sin (+)·[cossincoscossin]T

? sin·[ccc]T, (24)

需從近似的初始解0出發(fā), 迭代求解。

3 仿真實(shí)驗(yàn)證明

本文考慮一種兩光線(xiàn)交會(huì)角很小的最簡(jiǎn)化情況, 即 1 個(gè)特征點(diǎn)被兩個(gè)相機(jī)觀測(cè)到。仿真場(chǎng)景見(jiàn)圖5, 實(shí)驗(yàn)參數(shù)描述見(jiàn)表 1。

圖4 匹配點(diǎn)文件結(jié)構(gòu)

3.1 觀測(cè)值噪聲的影響

表 2 和 3 以及圖 6 為短基線(xiàn)攝影條件(=2.11×10?8rads)下, 平差模型在不同的像點(diǎn)觀測(cè)值噪聲下對(duì)特征點(diǎn)坐標(biāo)的預(yù)測(cè)結(jié)果。

圖5 短基線(xiàn)仿真場(chǎng)景

表1 仿真實(shí)驗(yàn)細(xì)節(jié)描述

將均值=0, 方差=0.33, 1, 10, 20 和 50 像素的高斯噪聲分別添加到理想的像點(diǎn)坐標(biāo)上, 分別用PBA 和 XYZBA 預(yù)測(cè)特征點(diǎn)的坐標(biāo), 并計(jì)算預(yù)測(cè) 誤差。

表2 PBA對(duì)特征點(diǎn)的預(yù)測(cè)誤差受像點(diǎn)噪聲的影響

說(shuō)明: PBA 中特征點(diǎn)坐標(biāo)的初值=真值+白噪聲(=0.1 rads)。

表3 XYZBA對(duì)特征點(diǎn)的預(yù)測(cè)誤差受像點(diǎn)噪聲的影響

說(shuō)明: XYZBA 中特征點(diǎn)坐標(biāo)的初值=真值+白噪聲(=1×107m)。

圖6 PBA 和 XYZBA 對(duì)特征點(diǎn)的預(yù)測(cè)誤差受像點(diǎn)噪聲的影響

例如, 在=0.33 像素的像點(diǎn)噪聲下, 視差角的真值t=2.11×10?8rads, PBA 預(yù)測(cè)的視差角p=7.2× 10?5rads, 雖然預(yù)測(cè)誤差p?t僅為 7.19789×10?5rads, 但將該誤差換算成深度值p?t約為 1.96×104m。最后, 在 PBA 中,方向誤差還會(huì)傳遞到和方向的預(yù)測(cè)中。

從表 3 可以發(fā)現(xiàn), 在短基線(xiàn)攝影條件下, XY-ZBA 預(yù)測(cè)的坐標(biāo)不僅誤差很大, 對(duì)像點(diǎn)噪聲也很敏感, 但和方向的預(yù)測(cè)誤差很小, 且?guī)缀醪皇芟顸c(diǎn)噪聲的影響。實(shí)驗(yàn)結(jié)果與文獻(xiàn)[21–23]中的數(shù)學(xué)證明矛盾, 與 2.1 節(jié)視差角參數(shù)對(duì)觀測(cè)噪聲的敏感性的數(shù)學(xué)證明結(jié)果一致。

3.2 迭代初始值的影響

表 4 和 5 以及圖 7 為短基線(xiàn)攝影條件(=2.11× 10?8rads)下, 平差模型在不同質(zhì)量的迭代初始值下對(duì)特征點(diǎn)坐標(biāo)的預(yù)測(cè)結(jié)果。

將均值=0, 方差=0.01, 0.1, 1, 2 和 3.14 弧度的高斯噪聲分別添加到視差角參數(shù)化的特征點(diǎn)真值上, 用 PBA 預(yù)測(cè)特征點(diǎn)的 3 個(gè)角度坐標(biāo), 并計(jì)算預(yù)測(cè)誤差。將均值=0, 方差=1×104, 1×105, 1×106, 1×107和 1×108m 的高斯噪聲分別添加到XYZ 參數(shù)化的特征點(diǎn)真值上, 用 XYZBA 預(yù)測(cè)特征點(diǎn)的 3 個(gè)直角坐標(biāo), 并計(jì)算預(yù)測(cè)誤差。

從圖 7 可以發(fā)現(xiàn), PBA 對(duì)特征點(diǎn)的預(yù)測(cè)誤差受迭代初始值的影響較大, 但 XYZBA 完全不受初始值的影響, 說(shuō)明 PBA 對(duì)特征點(diǎn)的預(yù)測(cè)是一個(gè)非線(xiàn)性?xún)?yōu)化過(guò)程, XYZBA 對(duì)特征點(diǎn)的預(yù)測(cè)是一個(gè)線(xiàn)性?xún)?yōu)化過(guò)程, 與 2.3 節(jié)線(xiàn)性化程度的數(shù)學(xué)證明結(jié)果一致。

3.3 短基線(xiàn)條件的影響

圖 8 為在不同的短基線(xiàn)攝影條件下, 平差模型在迭代過(guò)程中的法方程奇異性變化。分別模擬 2.11 ×10?8, 2.11×10?9, 2.11×10?10, 2.11×10?11和 2.11× 10?12rads 交會(huì)角的短基線(xiàn)攝影條件, 然后記錄平差模型在迭代過(guò)程中的法方程海森矩陣的行列式 det (), 若 det()=0, 則法方程奇異。

從圖 8 可以發(fā)現(xiàn), PBA 和 XYZBA 在所有的短基線(xiàn)攝影條件下都沒(méi)有出現(xiàn)法方程奇異的結(jié)果, 與文獻(xiàn)[21–23]中的數(shù)學(xué)證明結(jié)果矛盾, 與 2.2 節(jié)法方程奇異性的數(shù)學(xué)證明結(jié)果一致。

4 短基線(xiàn)場(chǎng)景下的真實(shí)實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文選取兩組在短基線(xiàn)幾何條件下拍攝的影像, 如圖 9 和 10 所示。這些影像的特點(diǎn)是在不同時(shí)刻, 相機(jī)幾乎在一條直線(xiàn)上對(duì)目標(biāo)進(jìn)行拍攝, 如此獲取的數(shù)據(jù)視差非常小。圖 9 為 3 張室內(nèi)辦公場(chǎng)景影像, 由本文作者拍攝。選取 24 張室外街景影像(限于篇幅, 只展示 3 張, 見(jiàn)圖 10), 由車(chē)載攝像機(jī)獲取, 來(lái)源于 KITTI Odometry 數(shù)據(jù)集(https://www.cv libs.net/datasets/kitti/eval_odo metry.php)。

表4 PBA對(duì)特征點(diǎn)的預(yù)測(cè)誤差受迭代初始值的影響

說(shuō)明: PBA 中像點(diǎn)的模擬匹配誤差為 0.33 像素。

表5 XYZBA對(duì)特征點(diǎn)的預(yù)測(cè)誤差受迭代初始值的影響

說(shuō)明: XYZBA 中像點(diǎn)的模擬匹配誤差為 0.33 像素。

圖7 PBA 和 XYZBA 對(duì)特征點(diǎn)的預(yù)測(cè)誤差受迭代初始值的影響

4.2 開(kāi)源框架介紹

OpenMVG 的全稱(chēng)為 Open Multiple View Geo-metry, 是國(guó)際上知名的 SfM (structure from motion) C++開(kāi)源框架(https://github.com/openMVG)。本文選取 OpenMVG 作為 XYZBA 和 PBA 實(shí)現(xiàn)的基礎(chǔ)框架, 并利用 Open Multiple View Stereo (OpenMVS)開(kāi)源框架(https://github.com/cdcseacave/openMVS)進(jìn)行最終的三維重建。

4.3 實(shí)驗(yàn)結(jié)果與討論

表 6 為 XYZBA 和 PBA 在數(shù)據(jù)集 1 和數(shù)據(jù)集 2 上的平差結(jié)果?？梢钥吹? 在數(shù)據(jù)集 1 中, 在 5 個(gè)評(píng)價(jià)指標(biāo)上, XYZBA 模型的平差性能都優(yōu)于 PBA 模型。在數(shù)據(jù)集 2 中, 雖然 PBA 模型的字面平差精度和效率優(yōu)于 XYZBA 模型, 但 PBA 模型的入網(wǎng)率過(guò)低, 導(dǎo)致重建的稀疏點(diǎn)云過(guò)于稀疏, 無(wú)法重建出可靠的三維模型。

圖 11 和 12 分別展示 XYZBA 和 PBA 重建數(shù)據(jù)集 1 和數(shù)據(jù)集 2 的稀疏點(diǎn)云、密集點(diǎn)云和 Mesh 模型?？梢郧宄乜吹? 在兩個(gè)數(shù)據(jù)集上, PBA 的平差精度、效率、入網(wǎng)率和重建細(xì)節(jié)的能力都劣于XYZBA。因此, 真實(shí)實(shí)驗(yàn)和仿真實(shí)驗(yàn)結(jié)果一致證明本文中推導(dǎo)的合理性, 即 PBA 模型在短基線(xiàn)攝影條件下的平差優(yōu)勢(shì)有待進(jìn)一步從理論和實(shí)驗(yàn)層面進(jìn)行驗(yàn)證。

圖8 PBA和XYZBA的法方程奇異性受短基線(xiàn)攝影條件的影響

圖9 數(shù)據(jù)集 1 (室內(nèi)辦公場(chǎng)景)

圖10 數(shù)據(jù)集 2 (室外街景場(chǎng)景)

表6 XYZBA和PBA在兩個(gè)數(shù)據(jù)集上的平差結(jié)果對(duì)比

說(shuō)明: px = pixel; # = number。

圖11 XYZBA和PBA在數(shù)據(jù)集1上的重建結(jié)果對(duì)比

圖12 XYZBA和PBA在數(shù)據(jù)集2上的重建結(jié)果對(duì)比

5 結(jié)論

視差角光束法平差(PBA)是一種新的光束法平差模型, 其解決短基線(xiàn)平差難題的數(shù)學(xué)證明局限于二維的攝影條件。對(duì)于真實(shí)的三維攝影條件, 相關(guān)數(shù)學(xué)證明需進(jìn)一步論證。本文聚焦于三維攝影條件下 PBA 模型中視差角參數(shù)對(duì)觀測(cè)噪聲的敏感性、法方程奇異性和線(xiàn)性化程度等數(shù)學(xué)證明, 并在短基線(xiàn)攝影條件下對(duì)數(shù)學(xué)分析進(jìn)行仿真和真實(shí)實(shí)驗(yàn)驗(yàn)證。理論分析和實(shí)驗(yàn)結(jié)果表明, 當(dāng)前版本的 PBA 模型尚無(wú)法解決三維攝影條件下短基線(xiàn)的平差問(wèn)題。

[1] Atkinson K B. Close range photogrammetry and ma-chine vision. Caithness: Whittles Publishing, 1996

[2] Metashape [EB/OL]. (2022) [2023–03–31]. http://www. agisoft.com/

[3] Pix4D [EB/OL]. (2023) [2023–03–31]. http://www.Pix 4d.com

[4] Zhang Zuxun. From digital photogrammetry worksta-tion (DPW) to digital photogrammetry grid (DPGrid). Geomatics and Information Science of Wuhan Univer-sity, 2007, 32(7): 565–571

[5] TOPGrid [EB/OL]. (2018)[2023–03–31]. http://www. chinatoprs.com/cpyfw

[6] Wu Changchang. VisualSFM Ver. 0.5.22 [EB/OL]. (2013) [2023–03–31]. http://homes.cs.washington.edu/～ccwu/ vsfm/

[7] Furukawa Y, Curless B, Seitz S M, et al. Towards internet-scale multi-view stereo // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, 2010: 1434–1441

[8] Furukawa Y, Ponce J. Accurate, dense, and robust multiview stereopsis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 32(8): 1362–1376

[9] Furukawa Y, Ponce J. Accurate camera calibration from multi-view stereo and bundle adjustment. Inter-national Journal of Computer Vision, 2009, 84(3): 257–268

[10] Snavely N. Bundler [EB/OL]. (2012) [2023–03–31]. http://phototour.cs.washington.edu/bundler/#S3

[11] Microsoft. Photosynth [EB/OL]. (2012) [2023–03–31]. http://photosynth.net

[12] Autodesk 123D Catch [EB/OL]. (2012) [2023–03–31]. http://www.123dapp.com/catch

[13] SFMToolkit [EB/OL]. (2011) [2023–03–31]. http:// www.visual-experiments.com/demos/sfmtoolkit

[14] Jancosek M, Pajdla T. Multi-view reconstruction pre-serving weakly-supported surfaces // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Colorado Springs, 2011: 3121–3128

[15] Nilsson D, Pletinckx D, Van G L, et al. The ARC 3D webservice [EB/OL]. (2007) [2023–03–31]. http://me dia.digitalheritage.se/2010/07/ARC_3D_TII.pdf

[16] Meshroom [EB/OL]. (2023)[2023–03–31]. https://git hub.com/alicevision/Meshroom

[17] 3Dflow [EB/OL]. (2023) [2023–03–31]. https://www. 3dflow.net

[18] Lourakis M I, Argyros A A. SBA: a software package for generic sparse bundle adjustment. ACM Transac-tions on Mathematical Software (TOMS), 2009, 36 (1): 1–30

[19] Konolige K, Garage W. Sparse sparse bundle ad-justment // BMVC 2010. Aberystwyth, 2010: 102.1–102.11

[20] Kümmerle R, Grisetti G, Strasdat H, et al. G2O: a general framework for graph optimization // IEEE International Conference on Robotics and Automa-tion. Shanghai, 2011: 3607–3613

[21] Zhao Liang, Huang Shoudong, Sun Yanbiao, et al. ParallaxBA: bundle adjustment using parallax angle feature parametrization. The International Journal of Robotics Research, 2015, 34(4/5): 493–516

[22] 趙亮. MonoSLAM: 參數(shù)化、光束法平差與子圖融合模型理論[D]. 北京: 北京大學(xué), 2012

[23] 孫巖標(biāo). 極坐標(biāo)光束法平差模型收斂性和收斂速度研究[D]. 北京: 北京大學(xué), 2015

[24] Sun Yanbiao, Zhao Liang, Huang Shoudong, et al. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 91: 1–16

[25] Sun Yanbiao, Sun Huabao, Yan Lei, et al. RBA: re-duced bundle adjustment for oblique aerial photo-grammetry. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 121: 128–142

Applicability Study on Parallax Bundle Adjustment in 3D-Photography

ZUO Zhengkang1,2,3, YANLei1,2,?, SUNYanbiao4, ZHAOHongying5, ZHANGRuihua5, SUNJiayu5, LIUSiyuan5, WANGQiang6, SUNYiyuan5

1. Guangxi Key Laboratory of Remote Measuring System, Guilin University of Aerospace Technology, Guilin 541004; 2. Beijing Key Laboratory of Space Information Integration and 3S Application, Peking University, Beijing 100871; 3. Dashi Intelligent Technology Co Ltd, Wuhan 430000; 4. School of Precision Instrument and Opto-Electronics Engineering, Tianjin University, Tianjin 300072; 5. Engineering Research Center of Earth Observation and Navigation, Peking University, Beijing 100871; 6. School of Geographic and Environmental Sciences, Tianjin Normal University, Tianjin 300387; ? Corresponding author, E-mail: lyan@pku.edu.cn

In order to study the applicability of the Parallax Bundle Adjustment (PBA) in the 3D-photography, the authors extend the mathematical proof of the PBA model which is based on the two-dimensional hypothesis, to three dimensions with respect to the sensitivity of parallax angle to observation noise, the singularity of the normal equation, and the degree of linearization. Furthermore, with a set of narrow intersection-angles (2.11×10?8to 2.11×10?12rads), the 3D-scenes in short-baseline photography are simulated, and employed to verify the proof. Theoretical analysis and experimental results demenstrate that the current version of PBA is only suitable for the 2D-photography, but not suitable to solve the short-baseline problem in the 3D-photography.

short-baseline; parallax bundle adjustment (PBA); three-dimensional photography condition; mathe-matical proof