王 偉 任國恒 陳立勇 張效尉

在利用二維圖像重建三維場景結(jié)構(gòu)的過程中,場景分段平面重建算法通?？捎行Ы鉀Q像素級重建中的匹配多義性(如在弱紋理區(qū)域)問題而快速獲取場景完整的近似結(jié)構(gòu),這在城市規(guī)劃、虛擬旅游、駕駛導(dǎo)航等領(lǐng)域有著廣泛的應(yīng)用.在實際中,由于場景結(jié)構(gòu)的復(fù)雜性以及諸多干擾因素(如光照變化、透視畸變等)的影響,有效提高場景分段平面重建的可靠性與效率是一個具有挑戰(zhàn)性的難題.

一般情況下,場景分段平面重建過程包括三個步驟:1)將圖像分割為多個互不交疊的區(qū)域(即超像素).2)利用初始空間點、線段等信息獲取超像素對應(yīng)的候選平面集.3)利用全局優(yōu)化方法推斷超像素對應(yīng)的最優(yōu)平面,進而獲得場景完整的分段平面結(jié)構(gòu).在實際中,此類算法通常存在以下問題導(dǎo)致可靠性與效率較低.1)與場景面片相關(guān)聯(lián)的超像素通常采用圖像過分割算法獲取,而超像素的尺寸未得以合理的控制.事實上,超像素尺寸較大時,相應(yīng)的場景面片往往由于深度變化較大而不能近似為平面;而尺寸較小時,則可能由于匹配多義性問題(如超像素僅包含單個像素的極端情況)而影響場景重建的可靠性.2)利用初始稀疏甚至稠密空間點往往不易獲得完備的候選平面集,這將對后續(xù)環(huán)節(jié)場景結(jié)構(gòu)的推斷可靠性造成較大的影響(如當(dāng)前超像素對應(yīng)的真實平面并不包含候選平面集中而被分配了錯誤的平面).3)利用全局優(yōu)化方法對場景結(jié)構(gòu)進行推斷時,正則項的構(gòu)造通?；诰哂邢嘟卣鞯南噜彸袼胤峙湎嗤矫娴募僭O(shè).然而在許多情況下,具有相近特征的相鄰超像素對應(yīng)的平面并不一定相同,此硬性假設(shè)通常導(dǎo)致場景重建的可靠性較低.4)在場景重建中,不能有效地檢測并濾除場景中非重建區(qū)域(如天空、地面),整體效率因此受到較大的影響.

為了解決以上問題,本文提出一種基于場景結(jié)構(gòu)先驗與協(xié)同優(yōu)化的場景分段平面重建算法,在場景結(jié)構(gòu)先驗、空間點可見性與顏色相似性的基礎(chǔ)上構(gòu)造平面可靠性度量,采用圖像區(qū)域與對應(yīng)平面協(xié)同優(yōu)化的方式對場景結(jié)構(gòu)進行推斷.實驗結(jié)果表明,本文算法僅利用稀疏空間點即可有效重建完整的場景結(jié)構(gòu),整體上具有較高的性能.

本文結(jié)構(gòu)安排如下:第1 節(jié)對相關(guān)工作進行概述;第2 節(jié)給出本文算法流程與貢獻;第3 節(jié)介紹本文算法的預(yù)處理步驟;第4 節(jié)介紹融合場景結(jié)構(gòu)先驗的平面可靠性度量以及基于協(xié)同優(yōu)化的場景結(jié)構(gòu)推斷過程;第5 節(jié)進行實驗分析;第6 節(jié)對全文進行總結(jié).

1 相關(guān)工作

場景分段平面重建的目標是通過采用適當(dāng)?shù)钠矫娼撇煌膱鼍懊嫫垣@得完整的場景結(jié)構(gòu),包括三個關(guān)鍵環(huán)節(jié),1)將圖像分割為互不交疊的若干區(qū)域(即超像素);2)利用初始空間點或線段等信息構(gòu)造候選平面集;3)利用全局優(yōu)化方法對每個超像素對應(yīng)的平面進行推斷.

在相關(guān)工作中,平面掃描算法[1]通常在利用圖像底層特征構(gòu)造的平面可靠性度量的基礎(chǔ)上采用究舉方式確定每個超像素對應(yīng)的平面.然而,由于掃描空間不易確定,其計算效率與可靠性均難以得到保證.為了克服此問題,Furukawa 等[2]假定場景中的空間點或空間平面總是沿三個正交的場景主方向分布(即Manhattan-world 場景模型),進而在由PMVS (Patch-based multi-view stereo)算法[3]獲取的具有方向的初始空間點的基礎(chǔ)上,在馬爾科夫隨機場(Markov random field,MRF)框架下推斷完整的場景結(jié)構(gòu).然而,由于算法依賴的場景模型過于簡單,在復(fù)雜場景的重建中往往產(chǎn)生較大的錯誤,如場景中的空間面片對應(yīng)的真實平面的法向量與所有場景主方向均不一致時,該空間面片會被分配一個錯誤的平面.同樣,Gallup 等[4]采用的沿多個場景主方向進行平面掃描方法以及Miˇcuˇs′?k 等[5]在由消影點檢測方式獲得的三個場景主方向上進行場景結(jié)構(gòu)推斷的方法也面臨類似的問題.事實上,簡單地對場景的結(jié)構(gòu)(如主方向數(shù)量)進行限制或約束很難適于具有復(fù)雜結(jié)構(gòu)的場景重建.

類似地,Sinha 等[6]首先采用傳統(tǒng)的SfM(Structure from motion)方法及直線重建方法獲取初始空間點及線段,然后以此推斷構(gòu)造場景結(jié)構(gòu)時采用的候選平面集.然而在復(fù)雜場景重建中,由于初始空間點與直線比較稀疏,該算法通常會遺漏較多的場景結(jié)構(gòu)細節(jié)而重建出過于簡單的場景結(jié)構(gòu);此外,該算法中的圖像校正與窮舉式的平面擬合等過程使得適應(yīng)性與效率較低.Chauve 等[7]通過在初始空間點云的基礎(chǔ)上利用區(qū)域增長的方式獲取候選平面,然后根據(jù)場景中每個空間面片相對于平面的位置,采用類似體素重建的方式,對狀態(tài)進行標注以獲取完整的場景結(jié)果.在實際中,當(dāng)初始空間點云較為稀疏且噪聲較大時,區(qū)域增長方法的可靠性往往不易得到保證,算法的整體性能可能受到較大影響.B′odis-Szomor′u 等[8]在初始稀疏空間點與圖像過分割獲得的超像素的基礎(chǔ)上,在MRF 框架下推斷場景的完整結(jié)構(gòu).該算法雖然速度較快,但其為了通過空間點擬合的方式獲取每個超像素對應(yīng)的初始平面而采用了較大尺寸的超像素,這在實際中往往會導(dǎo)致算法的可靠性較差.事實上,尺寸較大的超像素對應(yīng)的空間點深度變化通常較大,相應(yīng)的空間面片并不能簡單地近似為平面.此外,如果場景中存在較多難以獲得空間點的區(qū)域(如弱紋理區(qū)域),即使采用尺寸較大的超像素,可能也難以滿足算法所依賴的假設(shè),進而難以獲得較好的結(jié)果.Verleysen等[9]首先利用DAISY 特征[10]描述子進行圖像匹配以生成稠密的空間點,然后在此基礎(chǔ)上抽取候選平面集以完成MRF 框架下的場景結(jié)構(gòu)的推斷.相對而言,由于稠密空間點通常蘊含場景更豐富的結(jié)構(gòu)信息,由其生成的候選平面集往往具有較高的完備性,因而可有效保證后續(xù)環(huán)節(jié)場景結(jié)構(gòu)推斷的可靠性.然而,由于圖像稠密匹配非常耗時,因而該算法整體效率較低.Antunes 等[11]首先采用基本對稱性度量的方法估計虛擬分割平面中空間點的可靠性,并通過檢測線段的方式產(chǎn)生候選平面集,然后在MRF 框架下推斷了每個像素對應(yīng)的最優(yōu)平面;Raposo 等[12]在此基礎(chǔ)上交替采用MRF 能量優(yōu)化與集束優(yōu)化方法對其結(jié)果與攝像機參數(shù)進行了優(yōu)化.此類方法雖然在一定程度上可以克服弱紋理區(qū)域、光照變化等因素對場景重建的影響,但仍會因候選平面完備性、正則化可靠性等問題導(dǎo)致較大的錯誤.

2 算法流程與本文貢獻

場景分段平面重建算法通常假設(shè)圖像中屬性(如顏色)相近的像素構(gòu)成的區(qū)域?qū)?yīng)的空間面片由平面近似,進而將圖像分割為若干互不重疊的區(qū)域(即超像素),然后采用全局優(yōu)化方法推斷每個超像素對應(yīng)的最優(yōu)平面.此類算法雖然可獲得場景完整的近似結(jié)構(gòu),但由于不精確的圖像過分割、不完備的候選平面集、不可靠的全局優(yōu)化正則化項、不必要的區(qū)域重建等因素的影響,可靠性與精度往往較低.

為了解決此問題,本文提出一種基于結(jié)構(gòu)先驗與協(xié)同優(yōu)化的場景分段平面重建算法,利用稀疏空間點即可有效重建出完整的場景結(jié)構(gòu),整體上具有較高的可靠性與效率,具體流程如圖1 所示.

圖1 本文算法流程圖Fig.1 Flowchart of our proposed method

本文主要貢獻如下:

1)利用場景結(jié)構(gòu)先驗克服了候選平面集的完備性、圖像過分割質(zhì)量、場景結(jié)構(gòu)全局優(yōu)化時的正則項等問題對場景重建過程的影響,提高了圖像區(qū)域?qū)?yīng)平面度量以及整體重建過程的可靠性.

2)提出了一種融合場景結(jié)構(gòu)先驗、空間點可見性與顏色相似性等信息的圖像區(qū)域與相應(yīng)平面協(xié)同優(yōu)化的場景分段平面重建算法,利用稀疏空間點即可有效重建出完整、可靠的場景結(jié)構(gòu).

3)針對場景重建中非重建區(qū)域(如天空、地面等),提出了可行的檢測與濾除方法,極大地提高了場景重建效率.

3 預(yù)處理

本文算法的預(yù)處理主要包括圖像初始過分割、多平面擬合、場景垂直方向估計三部分.

3.1 初始超像素生成

根據(jù)場景分段平面結(jié)構(gòu)先驗(即具有相近特征的相鄰像素屬于相同的平面),本文采用Mean-shift圖像過分割算法[13](或其他圖像過分割算法)將當(dāng)前圖像分割為若干互不重疊的區(qū)域(即超像素).為了克服低精度的超像素對場景重建過程的影響,本文用從圖像中檢測到的線段對部分超像素進行了規(guī)范化,如圖2 所示.從圖2 可以看出,在圖像中檢測出的線段所在的直線(下文簡稱直線)與場景結(jié)構(gòu)具有較好的對應(yīng)關(guān)系,而且具有較高的可靠性(圖2(a)).因而,在場景重建前利用這些直線對超像素進行再分割有利于提高部分超像素分割精度.由于場景中分別位于不同平面上的兩個場景面片的特征(如顏色)較為相似,導(dǎo)致圖像過分割時僅產(chǎn)生一個超像素與其對應(yīng)(圖2(b));而通過圖2(a)所示直線規(guī)范化后,該超像素被劃分為3 個與場景結(jié)構(gòu)更為契合的子超像素.

圖2 超像素優(yōu)化Fig.2 Superpixel optimization

在以上過程中,需要注意以下兩點:1)在線段檢測時,許多重復(fù)線段(即在同一直線上)需要合并以減小計算復(fù)雜度;此外,為了進一步提高超像素的可靠性,需要利用不同斜率的線段(如垂直線段、水平線段等)對其進行規(guī)范化.2)為了提高后續(xù)環(huán)節(jié)平面推斷的可靠性與效率,對于超像素規(guī)范化與再分割(參見第4.2 節(jié))產(chǎn)生的尺寸過小的子超像素(如內(nèi)部像素數(shù)小于10),應(yīng)根據(jù)顏色相似度將其合并至其他超像素或子超像素.

3.2 多平面擬合

為了后續(xù)環(huán)節(jié)采用圖像區(qū)域與相應(yīng)平面協(xié)同優(yōu)化的方式(參見第4.2 節(jié))推斷場景的結(jié)構(gòu),本文首先利用多模型擬合算法[14]從初始稀疏空間點中抽取平面構(gòu)建場景結(jié)構(gòu)推斷時的初始平面集.一般而言,由于初始空間點較為稀疏而且可能存在外點與噪聲,導(dǎo)致初始平面集通常并不完備而且包含較多的外點;然而,其中的可靠平面卻為場景中其他平面(如弱紋理區(qū)域?qū)?yīng)的平面)的推斷提供了較好的參考或約束條件,因而是場景完整結(jié)構(gòu)推斷的基礎(chǔ).

3.3 場景垂直方向估計

為了在場景重建過程中有效地融合場景結(jié)構(gòu)先驗,本文在線段檢測的基礎(chǔ)上,采用消影點檢測方法[15]獲取了場景的垂直方向.此外,由于場景中當(dāng)前視點攝像機的位置已知,本文通過攝像機距離地平面的高度(如攝像車高度)與場景垂直方向確定了地平面.如圖2(d)所示,場景垂直方向(箭頭)及地平面(網(wǎng)格)可為后續(xù)環(huán)節(jié)場景結(jié)構(gòu)的推斷提供較好的參考條件.

4 場景結(jié)構(gòu)推斷

為了克服超像素分割精度、候選平面集的完備性等因素對場景重建的影響,本文采用圖像區(qū)域與相應(yīng)平面協(xié)同優(yōu)化的方式對場景結(jié)構(gòu)進行推斷.

4.1 平面可靠性度量

已知當(dāng)前圖像Ir及其左、右相鄰圖像{Ni}(i1,2),對于超像素,本文利用以下平面可靠性度量評估其對應(yīng)平面的可靠性

其中,Edata(s,Hs)與Eregular(Hs,Ht)分別表示數(shù)據(jù)項與正則項;Hs表示當(dāng)前為超像素s分配的平面(4 維向量),M(s)表示與超像素s 相鄰的可靠超像素(即已獲得可靠平面的超像素)集合,γ為正則項權(quán)重.實驗中發(fā)現(xiàn),γ設(shè)置過大將導(dǎo)致相鄰超像素趨于獲取相同的平面而不利于重建場景結(jié)構(gòu)細節(jié),設(shè)置過小則不利于突出正則項的作用而導(dǎo)致較多的外點,而在區(qū)間[0.4,0.75]取值時,算法性能基本不變,本文將其設(shè)置為0.6.

4.1.1 數(shù)據(jù)項

數(shù)據(jù)項Edata(s,Hs)度量了為超像素分配平面Hs時的代價,主要根據(jù)圖像顏色特征、空間點可見性等信息構(gòu)造,具體定義為

其中,|s|為超像素s內(nèi)部所有像素的總數(shù),k為相鄰圖像數(shù),Cs(p,Hs,Ni)定義為

其中,Hs(p)表示像素反投影于平面Hs上的空間點在相鄰圖像Ni中的投影,M為相鄰圖像Ni中待推斷平面的區(qū)域,通常不包含任何空間點;d(x)與D(x)分別為點的當(dāng)前深度值與可靠深度值;S(p,Hs(p))表示圖像Ir中的像素p與相鄰圖像Ni中的像素Hs(p)之間的規(guī)范化顏色(即顏色值范圍為0～1)差異,具體定義為

其中,δ為截斷閾值以增強顏色度量的可靠性(實驗設(shè)置為0.5).

式(3)表明,如果Hs(p),則平面Hs更可能為超像素s對應(yīng)的可靠平面,其可靠性通過顏色特征差異進行度量;如果Hs(p),則當(dāng)d(Hs(p))>D(Hs(p))或d(Hs(p))≤D(Hs(p))時,與像素p對應(yīng)的平面Hs上的空間點將被遮擋或?qū)е驴梢娦詻_突,因而應(yīng)給予不同的懲罰量.在本文實驗中,相對于顏色特征差異,λocc和λerr分別設(shè)置為2 和4 時可獲得較好的結(jié)果.

4.1.2 正則項

在實際中,對于城市場景,其結(jié)構(gòu)除以平面為主外,平面之間的夾角通常也是特定的及多樣的(如45?,90?等),此結(jié)構(gòu)先驗往往有利于引導(dǎo)場景重建過程以獲得更可靠的結(jié)果.為此,本文對傳統(tǒng)算法依賴的“具有相近特征的相鄰超像素分配相同平面”的硬性假設(shè)進行了松馳化,進而將式(1)中的正則項定義為

其中,A(Hs,Ht)為相鄰超像素s與t分配的平面Hs與Ht之間的夾角,Aprior為平面夾角先驗,實驗設(shè)置為[30?,45?,60?,90?,?60?,?45?,?30?](角度間隔越小越有利于重建場景結(jié)構(gòu)細節(jié),但也可能導(dǎo)致較高的計算復(fù)雜度);λdis與μ分別為相鄰平面間斷懲罰量(實驗設(shè)置為2)與平面夾角先驗松馳參數(shù).式(5)中的Csim為顏色特征差異,定義為

其中,(s)?c(t)表示相鄰超像素s與t之間規(guī)范化的平均顏色(即超像素內(nèi)部所有像素顏色均值的范圍為0～1)差異.

式(5)表明,相鄰超像素s與t對應(yīng)的平均顏色越相近,兩者被分配相同平面或具有特定夾角的平面的可能性越高;在此情況下,較大的μ值將強制為其分配相同的平面,而較小的μ值則趨于為其分配具有特定夾角的平面.在本文的所有實驗中,當(dāng)μ設(shè)置為0.6 時可獲得相對較好的結(jié)果.

4.2 圖像區(qū)域與相應(yīng)平面的協(xié)同優(yōu)化

根據(jù)平面可靠性度量,在初始稀疏空間點的基礎(chǔ)上,本文采用協(xié)同優(yōu)化的方式求取最優(yōu)的圖像區(qū)域(或超像素)與相應(yīng)平面[16?17],其根本思想在于:將涉及多變量復(fù)雜問題的求解分解為諸多包含不同變量子集的子問題進行求解,各個子問題相應(yīng)的變量之間則相互通信、協(xié)同優(yōu)化,最終使得指定目標函數(shù)值(如能量值)最小化以獲取全局近似最優(yōu)解.具體過程如算法1 所示.

算法1.圖像區(qū)域與相應(yīng)平面的協(xié)同優(yōu)化

輸入.稀疏空間點與3 幅已標定圖像.

輸出.場景分段平面結(jié)構(gòu).

初始化.初始平面集H0與初始超像素集R0(參見第3 節(jié));平面集H?與超像素集R?;能量最小化過程變量E0105與E0.

步驟1.根據(jù)初始平面集H0與超像素集R0確定初始可靠平面及相應(yīng)的超像素(設(shè)其他超像素構(gòu)成的集合為)并分別保存至集合H與R,同時累加相應(yīng)的E(s,Hs)至E.

步驟2.計算中超像素或子超像素的平面并推斷優(yōu)先級.

步驟3.從R中選取平面推斷優(yōu)先級最高的超像素s并清除.

步驟3.1若超像素s為天空或地面,則放棄其平面推斷.否則,生成候選平面集并計算最小E(s,Hs)值.

步驟3.2若E(s,Hs)，累加E(s,Hs)至E;將平面Hs與超像素s分別保存至H與R.否則,再分割超像素s并將結(jié)果保存至

步驟3.3轉(zhuǎn)至步驟3 直到?.

步驟4.若E

下面對算法1 的關(guān)鍵步驟與實現(xiàn)細節(jié)進行描述.

4.2.1 初始可靠平面的生成

初始可靠平面(如圖3(a)所示)可為其他平面的推斷提供較好的約束或參考條件,是算法1 可靠運行的基礎(chǔ).對于包含空間點的超像素s(即空間點可投影至該超像素內(nèi)部),本文根據(jù)以下條件從初始平面集中選取相應(yīng)的平面作為可靠平面.

其中,Ps為超像素包含的所有空間點的集合,N(Ps,Hs)為Ps中所有空間點到平面Hs的平均距離,為所有包含空間點的超像素對應(yīng)最小N(Ps,Hs)值的平均值;為所有包含空間點的超像素對應(yīng)最小Edata(s,Hs)值的平均值,其在算法1執(zhí)行過程中將根據(jù)當(dāng)前已重建平面及相應(yīng)超像素對應(yīng)的Edata(s,Hs)值進行更新.

4.2.2 超像素的再分割

在推斷超像素對應(yīng)的平面時,有效確定其特征與平面之間的相關(guān)性是其中的關(guān)鍵.在此過程中,低精度的超像素往往由于其特征的不可靠性而難以獲得準確的平面,因而有必要根據(jù)平面的可靠性對其進行更細致的分割.如圖2(c)所示,圖2(b)中的超像素(左)通過采用小尺度圖像過分割參數(shù)被再分割后,相應(yīng)的子超像素(右)與場景結(jié)構(gòu)更為一致(如邊界),這將有利于避免實際不在同一平面上的場景面片被分配相同的平面,進而可提高場景重建的可靠性.

4.2.3 超像素對應(yīng)候選平面的生成

根據(jù)城市場景的結(jié)構(gòu)特征,當(dāng)前超像素s對應(yīng)的平面通常與場景中其他平面(尤其是與其相鄰超像素對應(yīng)的平面)之間具有特定的夾角.因此,在產(chǎn)生超像素s對應(yīng)的候選平面時,本文首先檢測了與其相鄰且已獲得可靠平面的超像素集Π (如圖3(b)和3(c)所示),然后,根據(jù)平面夾角先驗Aprior,以場景垂直方向(參見第3.3 節(jié))以及s與Π 邊界上任意一點確定的軸線為中心旋轉(zhuǎn)超像素t對應(yīng)的平面Ht,進而將每個平面夾角對應(yīng)的旋轉(zhuǎn)平面作為超像素s的候選平面(如圖3(d)所示).

在實際中,如果集合Π 中的超像素較多,以上方法獲得的候選平面集可能包含較多的冗余平面(如兩平行平面相距較近),因而需要進行冗余平面濾除處理(即僅保留多個相似平面中的一個)以提高場景結(jié)構(gòu)推斷的效率.此外,為了提高場景結(jié)構(gòu)推斷的精度,需要根據(jù)不同方向(如垂直、水平方向)的旋轉(zhuǎn)軸確定超像素s的候選平面集.

圖3 初始可靠平面與候選平面Fig.3 Initial reliable planes and candidate planes

4.2.4 平面推斷優(yōu)先級

對于當(dāng)前超像素s,與其相鄰且已分配可靠平面的超像素對其相應(yīng)平面的推斷具有重要的影響,為了度量此影響力以保證平面推斷的可靠性,本文對平面推斷優(yōu)先級定義為

其中,N(s)為與超像素s相鄰且已分配可靠平面的超像素總數(shù),B(s)為這些超像素與超像素s連接邊界的總長度.

由式(8)可知,如果超像素s相鄰的已分配可靠平面的超像素越多,相應(yīng)的連接邊界越長,則超像素s對應(yīng)平面推斷時的約束條件越可靠,因而其對應(yīng)平面應(yīng)優(yōu)先進行推斷.

需要注意的是,在算法1 開始階段,僅有與已分配初始可靠平面的超像素相鄰的超像素具有較高的平面推斷優(yōu)先級,因而其相應(yīng)平面將優(yōu)先被推斷,此后將有更多超像素獲得較高的平面推斷優(yōu)先級.此外,如果超像素s被再次分割,在步驟2 中僅計算其子超像素對應(yīng)的平面推斷優(yōu)先級,這將有利于提高算法1 的整體效率.

4.2.5 非重建區(qū)域檢測

對于地面、天空等非重建區(qū)域,本文采用以下方法檢測并濾除相應(yīng)的超像素以提高場景結(jié)構(gòu)推斷的效率與可靠性.

1)地面區(qū)域超像素.在已知地平面(參見第3.3節(jié))的情況下,由于攝像機位于地平面的上方,如果為圖像中地平面區(qū)域的超像素s分配建筑區(qū)域的平面,則其內(nèi)部像素在相應(yīng)平面上的反投影空間點應(yīng)位于地平面的下方.為此,對于當(dāng)前超像素,本文統(tǒng)計了其內(nèi)部像素在所有已重建平面的反投影空間點位于地平面下方比例的平均值Tground(s);如果Tground(s)>90%,則將其直接視為地平面區(qū)域.

2)天空區(qū)域超像素.本文采用以下條件進行檢測.

其中,Psky(s)為圖像語義標注算法[18]獲取的超像素屬于天空區(qū)域的概率,?為相應(yīng)的閾值(實驗設(shè)置為0.9),的定義與式(7)相同,H為當(dāng)前已重建的平面集.

在初始階段,由于已重建平面較少,為了提高地面與天空等區(qū)域超像素檢測的可靠性,本文在算法1執(zhí)行過程中暫時中止了Tground(s)與Psky(s)值較高的超像素s相應(yīng)平面的推斷,而待其他超像素相應(yīng)平面推斷結(jié)束后,再采用更多的已重建平面驗證超像素s是否屬于地面與天空區(qū)域.

4.2.6 平面度量的可靠性

式(1)所示的平面可靠性度量,不但融合了結(jié)構(gòu)先驗、空間點可見性約束及顏色相似性特征,而且克服了傳統(tǒng)算法過于依賴“具有相近特征的相鄰超像素分配相同的平面”假設(shè)的缺點,因而在推斷超像素對應(yīng)平面的過程中往往可獲得較為可靠的結(jié)果.以圖3 所示超像素(不包含空間點)相應(yīng)平面的推斷為例,如圖4 所示,由于兩相鄰超像素具有相近的特征,傳統(tǒng)算法往往錯誤地為其分配相同的平面;而在算法1 中,此問題可得以有效解決,其原因在于:1)平面夾角先驗不但縮小了候選平面的范圍,而且增強了候選平面的可靠性;2)式(1)所示的平面可靠性度量具有較高的可靠性,可有效地從候選平面中確定超像素對應(yīng)的可靠平面.

在算法1 執(zhí)行過程中,如圖5(a)所示,由于式(1)所示的平面可靠性度量的有效性,首輪迭代獲得的初始場景結(jié)構(gòu)基本是可靠的,其中雖然包含少許的外點或冗余,但由于較接近于真值,通常在5 次左右的迭代后可獲得更準確的場景結(jié)構(gòu)(如圖5(b)和5(c)).圖5(d)為最終重建的場景平面在圖像中的對應(yīng)區(qū)域,從中可以發(fā)現(xiàn),本文算法獲取的場景結(jié)構(gòu)具有較高的可靠性,尤其對于場景中兩平面相交的邊緣區(qū)域(如圖5(d)中矩形區(qū)域內(nèi)的邊界),重建效果依然很好.

圖4 融合平面夾角先驗的平面推斷Fig.4 Plane inference based on angle priors

5 實驗結(jié)果與分析

為了驗證本文算法的性能,采用場景結(jié)構(gòu)以平面為主的標準數(shù)據(jù)集與實拍城市場景數(shù)據(jù)集進行測試,具體場景與相應(yīng)的圖像分辨率如下:

1)牛津大學(xué)數(shù)據(jù)集[19].Valbonne (分辨率為512 像素×768 像素)、Wadham (分辨率為1 024像素×768 像素).

2)實拍城市場景數(shù)據(jù)集:City#1(分辨率1 884像素×1 224 像素)、City#2 (分辨率1 884 像素×1 224 像素).

圖6 為標準數(shù)據(jù)集與實拍城市場景數(shù)據(jù)集示例圖像與初始空間點在當(dāng)前圖像中的投影.其中,標準數(shù)據(jù)集對應(yīng)的場景結(jié)構(gòu)雖然簡單,但有效重建其中的結(jié)構(gòu)細節(jié)(如Wadham 場景中的窗戶)仍具有較大的挑戰(zhàn)性;實拍城市場景的結(jié)構(gòu)相對復(fù)雜,同時存在光照變化、重復(fù)紋理、建筑區(qū)距離攝像機較遠等較多干擾因素的影響;此外,相關(guān)圖像不但包含多棟不同類型的建筑區(qū)域,而且建筑區(qū)域所占比例相對較小(約1/2 左右),因而其重建更易受到其他非重建區(qū)域(如天空、地面)的干擾.事實上,當(dāng)建筑區(qū)域距離攝像機較遠時,初始空間點以及場景重建中產(chǎn)生的空間點及平面的可靠性往往也較差,這對算法的整體性能將產(chǎn)生較大的影響.

針對當(dāng)前圖像,本文算法采用其左右相鄰圖像對相應(yīng)的場景結(jié)構(gòu)進行重建.本文實驗環(huán)境為64 位Windows 7 系統(tǒng),所有算法均采用C++實現(xiàn).硬件配置為Intel 4.0 GHz 四核處理器與16 GB 內(nèi)存.

圖5 圖像區(qū)域與相應(yīng)平面的協(xié)同優(yōu)化(不同顏色表示不同的可靠平面)Fig.5 Cooperative optimization of image regions and their related planes (different colors denote different reliable planes)

圖6 示例圖像及初始空間點的投影Fig.6 Sample images and initial 3D points

5.1 參數(shù)設(shè)置

本文算法的7 個參數(shù)的具體設(shè)置在前文已進行了討論,其默認取值與功能特征如表1 所示.本文算法對參數(shù)的設(shè)置不敏感,在對所有數(shù)據(jù)集的實驗中均采用了相同的參數(shù)設(shè)置,整體上具有較好適應(yīng)性.

5.2 評價指標與算法比較

5.2.1 評價指標

本文定義以下標準評估空間點與平面的可靠性.

1)可靠空間點.對于像素對應(yīng)的空間點Pm與像素(i1,2)對應(yīng)的空間點Pn,如果Pm與Pn相對于圖像Ir的深度d(Pm)與d(Pn)之間的相對偏差(即(d(pm)?d(pn))/d(pm))小于指定閾值(實驗設(shè)置為0.2),則認為Pm與Pn為同一空間點P,而P則為像素對應(yīng)的可靠空間點.

表1 參數(shù)設(shè)置Table 1 Parameters setting

2)可靠平面.對于超像素內(nèi)部所有像素,如果已重建可靠空間點的像素所占比例大于指定閾值(實驗設(shè)置為0.6),則認為超像素s對應(yīng)的平面Hs為可靠平面.

根據(jù)以上定義,本文采用空間點重建準確率M1與空間平面重建準確率M2度量場景重建的精度;其中,M1為已重建可靠空間點總數(shù)與已重建空間點總數(shù)之比,M2為可靠空間平面總數(shù).此外,為了更好地展示本文算法的特征,本文也采用M1(Fir)與M1(Fin)分別表示其首輪迭代后與迭代結(jié)束后的場景結(jié)構(gòu)重建準確率.

5.2.2 算法比較

為了進一步驗證本文算法的性能,本文將其與文獻[8?9]所述算法進行了實驗對比.這兩種算法均在圖像過分割的基礎(chǔ)上,通過候選平面產(chǎn)生、場景結(jié)構(gòu)推斷兩個過程對場景進行分段平面重建,二者的差別在于利用稀疏或稠密空間點、多幅圖像或兩幅寬基線圖像等信息構(gòu)造候選平面集與能量函數(shù)的方式不同.

為了方便實驗對比,本文在實現(xiàn)兩種算法時做了以下調(diào)整:1)圖像均采用Mean-shift 圖像過分割算法并通過設(shè)置不同的過分割參數(shù)進行過分割以獲得5 組超像素集,然后分別進行場景重建并從結(jié)果中選取最優(yōu)者與其他算法進行實驗對比;2)僅在本文算法獲取的建筑區(qū)域內(nèi)完成重建并從場景重建結(jié)果中剔除不可靠的平面以方便算法的定量與定性對比.

5.3 結(jié)果分析

本文算法關(guān)鍵之處在于利用初始稀疏空間點與場景結(jié)構(gòu)先驗對圖像區(qū)域與相應(yīng)平面進行協(xié)同優(yōu)化.對于當(dāng)前圖像,本文首先通過其與左右相鄰圖像進行SIFT (Scale invariant feature transform)特征[20]匹配(或其他特征匹配)的方式獲取相應(yīng)的匹配,然后采用三角化方法[15]求取初始稀疏空間點.圖像初始過分割、線段檢測、多平面擬合等預(yù)處理(參見第3 節(jié))結(jié)果如表2 所示.

表2 初始化Table 2 Initialization

在僅知稀疏空間點的情況下,與場景結(jié)構(gòu)相一致的圖像區(qū)域通常難以直接通過圖像過分割的方式確定,本文因此在初始階段對圖像進行了較大尺度的過分割(如圖7(a)所示).在所獲得的超像素中,如圖7(b)所示,由于大部分超像素對應(yīng)的場景面片實際上由兩個或更多平面構(gòu)成,最終僅有較少的超像素可確定可靠的平面.

在初始可靠平面的基礎(chǔ)上,通過場景結(jié)構(gòu)先驗對場景重建過程的引導(dǎo),如圖7(c)所示,本文算法不但可有效地克服圖像過分割質(zhì)量對場景重建過程的影響,而且可對場景中潛在的平面進行可靠的探測與推斷.在此過程中,初始低精度超像素根據(jù)平面可靠性度量而被再次分割,相應(yīng)的平面則根據(jù)場景結(jié)構(gòu)先驗而不斷被優(yōu)化,兩者即相互制約又相互促進.同時,天空、地面等非重建區(qū)域被有效地剔除,因而也極大地提高了整體算法的效率與可視化效果.在表3 中不難發(fā)現(xiàn),首輪迭代后場景結(jié)構(gòu)中盡管包含一定的外點或冗余,但由于較接近于真值,算法迭代結(jié)束后往往可獲得更好的結(jié)果(如圖7(d)與圖8(a)所示).

圖8(b)為本文算法最終獲得的場景平面對應(yīng)的圖像區(qū)域.可以看出,其不但可有效重建場景的主體平面結(jié)構(gòu),而且在場景結(jié)構(gòu)細節(jié)(如Wadham 場景中的窗戶)以及不同平面之間的邊界(如矩形區(qū)域中的邊界)重建中也表現(xiàn)出了較好的效果.

在兩種傳統(tǒng)算法中,文獻[8]的算法假設(shè)初始超像素應(yīng)包含足夠多的空間點以通過擬合的方式首先獲取相應(yīng)的候選平面,然而,在初始空間點較為稀疏且分布不均勻(如弱紋理區(qū)域)時往往會導(dǎo)致較大的錯誤(如圖8(c)中部分超像素未獲得可靠的平面).在本文實驗中,當(dāng)采用較大的超像素以包含足夠多的空間點時,一些超像素對應(yīng)的場景面片由于跨越多個平面或其中的空間點深度變化較大也難以獲得可靠的平面.此外,由于超像素分割精度的問題,該算法獲得的平面之間的邊界也存在較大的偏差(如圖8(c)中的矩形區(qū)域內(nèi)的邊界).相對而言,文獻[9]的算法首先通過匹配圖像DAISY 特征的方式獲取了盡可能多的初始空間點,這不但有利于產(chǎn)生相對完備的候選平面集,而且也有利于構(gòu)造更強的約束條件以提高場景結(jié)構(gòu)優(yōu)化的可靠性,因而可獲得更好的結(jié)果.然而,如圖8(d)所示,該算法仍然存在平面之間邊界重建不可靠的問題(如圖8(d)中矩形區(qū)域內(nèi)的邊界).

圖7 標準數(shù)據(jù)集重建結(jié)果Fig.7 Results on standard data sets

表3 不同算法獲取的結(jié)果Table 3 Results produced by different methods

在運算速度上,如表4 所示,本文算法在多平面擬合與線段檢測等階段耗時較少;在圖像區(qū)域與相應(yīng)平面的協(xié)同優(yōu)化中,盡管超像素的再分割相對較為耗時,但由于場景結(jié)構(gòu)先驗的引導(dǎo)使得超像素對應(yīng)的候選平面較少且較為可靠,因而有效保證了整體運算速度.文獻[8]的算法盡管在能量函數(shù)中未考慮圖像之間顏色或灰度度量,但在候選平面產(chǎn)生階段占用了較多的時間,運算速度與本文算法基本相當(dāng).文獻[9]的算法由于在圖像稠密匹配時耗時嚴重,因而效率最低.實拍城市場景數(shù)據(jù)主要用于考察算法的適應(yīng)性.本文實驗發(fā)現(xiàn),在更多干擾(光照變化較大、建筑區(qū)域距離攝像機較遠、圖像中的建筑區(qū)域所占比例較小等)的影響下,特別在未檢測與剔除地面與天空等非重建區(qū)域時,文獻[8]的算法未能重建出可靠平面,而文獻[9]的算法也僅重建出較少的可靠平面.相對而言,盡管本文算法在初始階段僅獲得較少初始可靠平面(如圖9(b)所示),但由于城市建筑之間也存在特定的結(jié)構(gòu)先驗(如位于相同的兩棟建筑通常包含較多的相同平面),因而其運行依然較為可靠(如圖9(c)、圖9(d)與圖10(a)所示).特別地,如圖10(b)中矩形區(qū)域內(nèi)的平面及其在圖11 中的放大顯示,由于場景結(jié)構(gòu)先驗的融入,場景中的傾斜平面與邊界也可得以有效地重建.對于文獻[8?9]的算法,在圖像剔除天空、地面等非重建區(qū)域后,兩者的重建效果皆得以較大改進,但仍存在許多區(qū)域未得以可靠重建的情況,而且存在重建邊界不準確的問題(如圖10(c)與圖10(d)中矩形區(qū)域內(nèi)的邊界及其在圖11 中的放大顯示).

需要注意的是,如表3 和表4 所示,與標準數(shù)據(jù)集相比,3 種算法在實拍數(shù)據(jù)集上的重建精度與效率普通較低,主要原因在于:1)初始空間點質(zhì)量、光照變化、建筑區(qū)域距離攝像機較遠等因素導(dǎo)致空間點與平面度量的可靠性降低.2)建筑結(jié)構(gòu)與紋理的頻繁變化導(dǎo)致超像素再分割時產(chǎn)生較多小尺寸超像素,而小尺寸超像素仍存在的匹配多義性問題也可能影響平面度量以及整體場景重建的可靠性與效率.相對地,由于式(1)所示平面可靠性度量的有效性以及場景結(jié)構(gòu)先驗指導(dǎo)下的候選平面產(chǎn)生的可靠性,本文算法對初始空間點的質(zhì)量、復(fù)雜的場景結(jié)構(gòu)的復(fù)雜等因素表現(xiàn)出了更好的魯棒性.

表4 不同算法的計算時間(s)Table 4 Computation time of different methods (s)

圖9 實拍數(shù)據(jù)集重建結(jié)果Fig.9 Results on real-world datasets

圖10 實拍數(shù)據(jù)集算法對比(不同顏色表示不同平面)Fig.10 Results produced by different methods (different colors denote different planes)

圖11 圖10(b)～10(d)中矩形區(qū)域內(nèi)平面結(jié)構(gòu)的放大顯示Fig.11 Close-ups of the plane structures in the rectangles in Fig.10(b)～10(d)

根據(jù)以上實驗結(jié)果可知,在已知場景初始稀疏空間點的情況下,通過在場景重建過程中融合結(jié)構(gòu)先驗,可以較好地克服圖像過分割質(zhì)量、候選平面集完備性等因素對場景重建過程的影響,進而可以快速、可靠地重建出場景完整的分段平面結(jié)構(gòu).

6 結(jié)論

為了增強傳統(tǒng)場景分段平面重建算法在初始空間點較為稀疏、圖像過分割質(zhì)量較低以及候選平面集不完備時的可靠性,同時克服其在場景結(jié)構(gòu)優(yōu)化時過于依賴“具有相近特征的相鄰超像素分配相同平面”假設(shè)的缺點,本文在場景結(jié)構(gòu)先驗的基礎(chǔ)上構(gòu)建了有效的場景平面可靠性度量,并通過圖像區(qū)域與相應(yīng)平面協(xié)同優(yōu)化的方式對場景結(jié)構(gòu)進行了推斷.實驗結(jié)果表明,相對于傳統(tǒng)算法,本文算法具有較高的可靠性與精度.當(dāng)前,本文算法的主要缺點在于:1)過于稀疏(如僅幾個)的初始空間點可能導(dǎo)致初始可靠平面較少且平面度量的可靠性較低,進而可能導(dǎo)致迭代過程提前結(jié)束;2)場景中的弱紋理曲面結(jié)構(gòu)不屬于本文定義的場景結(jié)構(gòu)先驗范疇,因而會導(dǎo)致場景平面度量可靠性及場景重建可靠性降低.針對以上問題:1)采用空間點稠密擴散方法,提高空間點的數(shù)量或融合空間直線信息,提高初始可靠平面的數(shù)量及可靠性,有望增強本文算法的可靠性;2)利用深度學(xué)習(xí)獲取場景更豐富的結(jié)構(gòu)先驗(包括特定物體或幾何形體),更有效地指導(dǎo)場景重建過程,或采用MRF 高階能量優(yōu)化的方式對場景結(jié)構(gòu)進行更有效地優(yōu)化,可進一步提高本文算法的精度.