劉卓亞

摘要：旅游資源和信息技術(shù)的有機(jī)結(jié)合能夠釋放巨大的商業(yè)潛力，具有重要的社會意義。從一個單一的二維圖像的旅游城市場景推斷建筑立面的三維布局。與現(xiàn)有的只產(chǎn)生粗方向標(biāo)簽或定性塊近似的方法不同，所提出的算法使用三維幾何約束相互關(guān)聯(lián)的一組平面定量地重建三維空間中的建筑立面。每個平面的特征是連續(xù)的方向矢量和深度分布。通過平面間的相互作用來達(dá)到最佳的解決方案，由于該算法幾何推理的定量和基于平面的性質(zhì)，所提出的算法模型比現(xiàn)有的方法更具表現(xiàn)力和更豐富的信息。實驗結(jié)果表明，本文的方法與采用測量方法實現(xiàn)三維重構(gòu)方法相比，能夠更加逼真的重現(xiàn)三維場景。

關(guān)鍵字：三維重構(gòu);建筑立面;幾何建模;約束條件;圖像深度估算

中圖分類號：TP391

文獻(xiàn)標(biāo)識碼：A

給定一個城市場景的單一圖像，自動推斷出場景中建筑的三維布局將有利于利用計算機(jī)技術(shù)構(gòu)建線上城市三維虛擬場景，能夠有助于實現(xiàn)旅游線路自主導(dǎo)航和增強(qiáng)現(xiàn)實等領(lǐng)域的許多任務(wù)，方便游客更加深入感受旅游資源的魅力。

城市環(huán)境下的三維重建主要是建筑立面的三維布局的構(gòu)建。然而，基于二維圖像實現(xiàn)在城市建筑物立面的三維布局是一項特別具有挑戰(zhàn)性的任務(wù)。難點(diǎn)在于，建筑立面可以在三維空間中具有高度靈活的組合，并且具有明確的方位指向，難以通過單個圖像準(zhǔn)確獲取重建目標(biāo)的三維坐標(biāo)定位[1-2]。

盡管無法像定位物體一樣定位建筑立面，但與樹木或天空等其他區(qū)域不同，建筑物立面更加結(jié)構(gòu)化，可以分解為一組可以定量表示的平面[3]。這些平面的方位和位置都受到它們從物理合理性中導(dǎo)出的三維幾何關(guān)系的約束[4-5]。本文將建筑立面建模為一組具有連續(xù)方向的平面，然后使用平面內(nèi)幾何約束對其三維位置進(jìn)行定量推理。與現(xiàn)有的基于像素或者分段的方法相比，這種方法可以對立面場景產(chǎn)生更豐富的解釋和基于塊的方法[6-7]。更具體地說，本文的方法能夠提供現(xiàn)有算法無法提供的關(guān)鍵場景理解信息（如定向、深度和立面平面關(guān)系等）[8]。文獻(xiàn)[9]提出將圖像像素分類為不同的方向標(biāo)簽的幾何背景建模思路。雖然這種方法直接實現(xiàn)更高維度的平面的幾何建模，但會生成較為粗糙的目標(biāo)表面方向的線索。使用這種線索從不同方向標(biāo)簽的兩個相鄰線段拼裝成目標(biāo)塊，并通過擬合地平線和天際線來定位這些目標(biāo)塊。這種方法對場景產(chǎn)生了豐富的高層次解釋，但解釋在立面方向和深度方面都是定性的。此外，通過目標(biāo)塊近似建筑物外立面不能模擬更復(fù)雜的情況。

文獻(xiàn)[10]由兩個正交消失方向的跨度對目標(biāo)表面進(jìn)行定量定向建模。雖然使用消失的方向來計算平面方向能夠開發(fā)室內(nèi)場景的建模，但是這種方法不能直接應(yīng)用于城市場景中的建筑立面分析。這是因為這些方法通常將房間簡化為一個箱子，而所有其他垂直表面都局限于盒子和平行于盒子的墻壁。相比之下，城市場景中的建筑物外立面位于開放空間中，通常具有更靈活的結(jié)構(gòu)。盡管該算法并沒有將房間簡化為一個箱子，但它很大程度上依賴于共同的天花板來定義垂直墻，這也不適用于戶外場景。

通過對上述文獻(xiàn)的研究，提出一個基于平面的全定量模型來推斷建筑立面的三維布局。每個平面都由一個連續(xù)的方向向量和一個深度值的分布來表示。在模型中，利用多個線索，如平面分割、表面布局、地面接觸線等，來探測和分解建筑區(qū)域，形成獨(dú)特的平面。單個候選平面確定是由其與圖像特征的二維證據(jù)和攝像機(jī)、建筑物高度等三維證據(jù)的兼容性決定的。對不同類型的三維幾何關(guān)系建模，并應(yīng)用條件隨機(jī)場算法（CRF）來確定它們的有效性，并推斷出它們的最優(yōu)深度。

1 基于平面的建筑立面三維建模

1.1 問題表述

首先對涉及的幾何變量進(jìn)行定義。本研究使用

提出模型需要解決檢測一組與獨(dú)特立面平面的問題，并在給定城市場景的單個二維圖像的情況下估算其三維定位和位置。在這里，一個方向不同于相鄰平面的建筑立面被定義為一個立面平面;否則，將會合并具有相同方向的兩個相鄰立面平面[10]。模型通過最大化以下目標(biāo)函數(shù)來推斷建筑立面的最佳三維布局：

式1中o、n、d_s和x_s是表征立面平面的變量。對于每個平面i，變量o、n、d_s和x_s分別表示其有效性（二進(jìn)制指示符）、方向（連續(xù)矢量）、距相機(jī)中心（連續(xù)標(biāo)量）的距離和空間范圍（指定圖像中平面的角的連續(xù)坐標(biāo)）。優(yōu)化問題的參數(shù)包括圖像特征I，從相機(jī)中心距離地面高度h_g、距離相機(jī)水平方向距離n_g，焦距f和立面高度H_f。其中，H_f是由根據(jù)經(jīng)驗值確定，而h_g被假定為1.6米。然后由垂直消失方向確定%，并通過最大化垂直和水平消失方向的正交性來估計f。

目標(biāo)函數(shù)中的第一項是每個單獨(dú)平面的一元勢函數(shù)，并且它是在所有候選平面P上求和的[11]。其余三項是具有相互約束的平面的成對勢函數(shù)，并且它們在一個子集（即P_v，P_o或P_a）參與這些約束的候選平面。

由于直接優(yōu)化方程1中的客觀函數(shù)是棘手的，本文首先使用基于四邊形的采樣算法生成一組候選立面平面，其中每個候選立面平面具有固定的正常信號n_si和邊界X_sj對于給定的n_si和X_si只需要優(yōu)化每個候選立面平面的有效性和深度ds。。在此過程中也將獲得有效立面平面的總數(shù)，而這些數(shù)據(jù)是未知的。

1.2 不同平面之間的互兼容

一元勢函數(shù)由兩個分?jǐn)?shù)的乘積組成。第一個分?jǐn)?shù)是圖像特征兼容性分?jǐn)?shù)，用于衡量圖像中立面平面的二維位置與圖像特征的一致性[12]。其計算公式為：

由方程2可知，如果一個圖像區(qū)域確實屬于建筑立面，那么它應(yīng)該是：1）支持的語義線索，它屬于“建筑”區(qū)域，2）在表面布局的支撐下，它的朝向與它的主導(dǎo)定位標(biāo)簽一致，3）在消失線的支持下，它的方向與在其內(nèi)部的主導(dǎo)水平消失方向一致。