李 明，張衛(wèi)龍，范丁元

1.武漢大學測繪遙感信息工程國家重點實驗室，湖北 武漢 430079； 2.武漢大學地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079； 3.西南交通大學, 四川 成都 610031

?

城市三維重建中的自動紋理優(yōu)化方法

李 明1,2，張衛(wèi)龍1，范丁元3

1.武漢大學測繪遙感信息工程國家重點實驗室，湖北 武漢 430079； 2.武漢大學地球空間信息技術(shù)協(xié)同創(chuàng)新中心，湖北 武漢 430079； 3.西南交通大學, 四川 成都 610031

圍繞低空多鏡頭傾斜攝影在三維城市影像模型生產(chǎn)中的紋理優(yōu)化問題，提出了一種無縫紋理模型重建方法。文中首先采用相機響應(yīng)函數(shù)和暗通道方法對影像進行預處理；然后，根據(jù)地物三角網(wǎng)格表面模型與影像的映射關(guān)系，利用稀疏構(gòu)網(wǎng)方法進行遮擋檢測，并建立了三角面片的可視紋理列表；最后，結(jié)合三角網(wǎng)格表面模型中基本面片的三維拓撲關(guān)系，利用影像的均值與方差信息，構(gòu)建了基于馬爾科夫隨機場框架下的圖割紋理優(yōu)化算法，解決了紋理優(yōu)化選擇的離散多標號問題，保證了相鄰三角面片映射紋理的一致性，實現(xiàn)了城市大場景無縫紋理模型的重建。試驗結(jié)果驗證了算法的可靠性和優(yōu)越性。

傾斜影像；三角網(wǎng)格表面模型；遮擋檢測；圖割；紋理優(yōu)化

低空傾斜影像能為三維影像城市重建提供豐富的地物三維信息和紋理影像，已逐步成為城市三維場景重建與更新的重要手段。一套基于傾斜影像的完整三維影像城市重建方案包括相機標定、密集點云重建、三維網(wǎng)格表面模型生成和紋理映射等核心技術(shù)。目前，從多視傾斜影像到三角網(wǎng)格表面模型的建立已經(jīng)有了比較可靠的方法[1-6]；而在三維影像城市大場景的無縫紋理映射方面，由于大量傾斜影像存在拍攝角度不一致、環(huán)境光照差異和透視遮擋等因素的影響，導致重建的三維紋理模型存在映射錯誤、色彩不一致和大量拼接縫等問題。因此，如何在地物三角網(wǎng)格表面模型的基礎(chǔ)上，實現(xiàn)三維影像城市大場景的無縫紋理映射是亟待解決的關(guān)鍵問題之一。對此，國際上已存在一些相關(guān)的研究進展，如文獻[7]利用影像已知的粗略內(nèi)、外方位元素，通過二維影像和三維模型上對應(yīng)線段的匹配結(jié)果，綜合考慮影像遮擋情況、分辨率和模型法向量等，嘗試了高質(zhì)量的紋理模型重建。文獻[8]結(jié)合深度緩存遮擋檢測判斷算法，通過視角法對小型無人機獲取的傾斜影像進行篩選用于紋理提取。文獻[9—10]通過對來自不同影像的紋理源進行紋理加權(quán)實現(xiàn)紋理色彩的一致性過渡，但這種方法在很多情況下并不能得到令人滿意的結(jié)果。文獻[11]將確定三角網(wǎng)格表面模型中每個三角面紋理的過程看作一個馬爾科夫隨機場(MRF)下的優(yōu)化問題，以盡量保證相鄰三角面紋理來自同一幅紋理影像，并將紋理的灰度和梯度同時用來構(gòu)造網(wǎng)格表面的分布連續(xù)函數(shù)，在一定程度上減輕了紋理接縫的問題，取得了優(yōu)于文獻[9—10]基于灰度空間的Blending效果；文獻[12]先利用MRF對相鄰三角面的紋理選取進行優(yōu)化，以避免因幾何誤差導致的紋理錯位問題，然后通過約束三角紋理邊緣的梯度逐面片利用Poisson Blending[13]方法重新計算紋理的每個像素值進一步改善了局部紋理的接縫誤差現(xiàn)象，但是文獻[11—12]面向的都是室內(nèi)近景小物體的三維紋理重建，也沒有詳細闡述基于MRF的最小能量函數(shù)構(gòu)造與優(yōu)化求解過程，且使用的優(yōu)化求解模型主要是Belief Propagation(BP)和αswap圖割算法，計算代價較大，效率較低。通過以上文獻綜述和分析，可知城市無縫紋理模型重建的問題還沒有一種完美的方法可以解決，但可以從以下3個方面進行考慮：①對獲取的影像進行必要的預處理，并通過遮擋檢測，對三角面進行適當處理與分類；②利用有效的紋理優(yōu)化選擇策略，為每個三角面選擇一張最優(yōu)紋理；③通過圖像融合算法構(gòu)建局部或全局色彩變換方程，重新對每個像素賦值，優(yōu)化無縫紋理模型重建。本文主要圍繞前兩個問題進行了有效處理。首先，對獲取的紋理影像進行了輻射預處理，解決了部分勻色問題；接著，通過遮擋處理和一定的紋理篩選原則，為三角網(wǎng)格表面模型的地物三角面片建立了具有候選優(yōu)先級的紋理列表；最后，提出基于MRF框架下的圖割紋理優(yōu)化與聚類策略。

1 三角網(wǎng)格表面模型

本文按以下流程完成三角網(wǎng)格表面模型重建。首先，對相機檢校，解算出相機的內(nèi)方位元素和相機鏡頭畸變參數(shù)；接著，利用檢校結(jié)果，對獲取的傾斜影像進行自動空中三角測量獲取精確的影像外方位元素；然后，結(jié)合CMVS(cluster multi-view stereo)方法，對同一地物多視角的多幅影像采用PMVS(patch-based multi-view stereo)技術(shù)重建出地物的三維密集點云[3-4]；最后，通過泊松優(yōu)化構(gòu)網(wǎng)算法構(gòu)建出用于紋理映射的城市三維網(wǎng)格表面模型[1]。圖1為重建的試驗區(qū)地物三角網(wǎng)格表面模型。

圖1 試驗區(qū)三角網(wǎng)格表面模型Fig.1 3D model sketch of experimental area

2 建立可視紋理列表

在對三角網(wǎng)格表面模型進行紋理映射前，首先需要知道模型中每個三角面在哪些影像上可見。即需要根據(jù)傾斜攝影在三維空間中的深度信息從二維觀測影像中得到它們之間的遮擋關(guān)系。對于這個問題，本文參考Z-Buffer[14-15]的思路，將Z-Buffer中的處理單元變?yōu)槲闹械匚锶敲?，并為加快遮擋檢測中對地物三角面的遍歷，引入稀疏網(wǎng)格法紋理探測進行遮擋面片的處理[16]。接著，根據(jù)文獻[17]的紋理篩選思想，將地物紋理的遮擋面積、法向量、距離和分辨率等特性作為評價標準，構(gòu)建候選紋理優(yōu)先級評價原則，對影像進行進一步篩選，建立待優(yōu)化的三角面可視紋理列表，為后續(xù)基于圖割的紋理優(yōu)化提供基礎(chǔ)。

2.1 紋理優(yōu)先級列表建立原則

本文的紋理優(yōu)先級列表按以下3個原則建立：①面積最大原則，選擇非遮擋面積最大的影像作為候選紋理；②交角最小原則，在無遮擋攝影中，紋理影像的變形與攝影光線和地物法線n所成夾角成正比，如圖2，影像O1對于地物中abcd面為遮擋影像，對于物方面元abcd的紋理影像選取中，影像O3比O2更適合作為紋理源；③紋理自動裁剪原則，為了減少紋理存儲中因計算機對紋理的重采樣導致的時間消耗，在存儲紋理時將其尺寸裁剪為2的指數(shù)倍。

圖2 影像遮擋情況示意Fig.2 Sketch of image occlusion conditions

2.2 自適應(yīng)三角剖分

經(jīng)過遮擋檢測和篩選建立的紋理優(yōu)先級列表中的影像，包括完全可見影像和部分可見影像。對于列表中的部分遮擋紋理影像，如果不做處理，則可能由于構(gòu)建的三角網(wǎng)格表面模型不夠細膩，而出現(xiàn)紋理不一致的現(xiàn)象。為了解決這個問題，加大單個紋理三角面中非遮擋信息的占有率，本文提出了局部四分法的紋理剖分優(yōu)化策略，即只四分部分遮擋的地物三角面，而對鄰接的三角面進行簡單的二分法(圖3)。這樣既能保證部分遮擋三角面的高效細分，也能盡可能減少對非遮擋三角面進行分割增加處理時間和數(shù)據(jù)量。該方法不僅適合大數(shù)據(jù)三維模型的半遮擋紋理處理，而且能保證三角網(wǎng)格表面模型網(wǎng)形的半邊數(shù)據(jù)結(jié)構(gòu)不變和流行表面的性質(zhì)。

圖3 三角網(wǎng)格剖分示意圖Fig.3 Sketch of triangle mesh subdivision

圖3中陰影部分為存在部分遮擋的三角形，圖3(c)為本文算法的細分結(jié)果。與圖3(b)全局四分法結(jié)果相比，本文算法只有在最壞的情況下才與其剖分得到的三角形數(shù)據(jù)量相等；而一般情況下，本文方法產(chǎn)生的三角形個數(shù)為4b+6b≤4a，其中b為三角網(wǎng)中部分遮擋三角形個數(shù)，a為三角網(wǎng)中全部三角形個數(shù)。

3 基于圖割的紋理優(yōu)化

經(jīng)過以上處理，為每個三角面建立了一個可視紋理影像優(yōu)先級列表。那么從列表中的哪一幅影像提取其紋理是最優(yōu)的？當然，這里的最優(yōu)是指在一定標準下的最好，本文希望每個局部三角面片選取的紋理清晰、細節(jié)豐富。在這個標準下，為每個三角面從其可見紋理優(yōu)先級列表選擇一張最優(yōu)的影像作為其紋理來源本質(zhì)上是一個MRF下的優(yōu)化問題。因此，本文提出了一種基于MRF下的圖割紋理優(yōu)化算法，以解決因光照等條件引起的紋理拼接痕跡問題。

3.1 構(gòu)建標記圖

圖是對現(xiàn)實世界的一種直觀表述，由一個點集V與節(jié)點間按照某種規(guī)則相連的邊E所組成，可以表示為G=〈V,E〉；圖的一個割就是圖G中E的集合的一個子集。圖割是一個二標記問題，它使能量函數(shù)的極小值與一個含有源和匯的圖的最小割對應(yīng)，在計算機視覺中，圖割是馬爾科夫隨機場框架下求解能量函數(shù)最小化模型最有效的方法之一[18-19]。在本文構(gòu)建的圖中，由于影像與三角面的遮擋影響，所以每張影像不一定是每個三角面的候選紋理源，即地物三角面與影像的映射關(guān)系不是完全圖，這個問題必須在標記圖構(gòu)建中加以考慮。

如圖4所示，圖4(a)為一般標記圖，其中上下兩個特殊的黑色終端節(jié)點為圖的源s和匯t，其余的節(jié)點為每個三角面在不同標記中的節(jié)點，節(jié)點之間由t-link和n-link邊相連，每個邊都有相應(yīng)的能量權(quán)重來衡量具體的概率關(guān)系。t-link是連接源點、匯點與其他節(jié)點的邊，為不同標記間的能量關(guān)系；n-link是連接標記中節(jié)點的邊，為相同標記中相鄰節(jié)點間的能量關(guān)系，這種關(guān)系主要反映相鄰節(jié)點選擇相同紋理標記的概率的大小，這些節(jié)點共同構(gòu)成了標記空間，且在同一標記層的面具有相同的紋理源；圖4(b)是本文構(gòu)建的標記圖，相比圖4(a)，出現(xiàn)了部分有色的空節(jié)點，它們表示對應(yīng)的紋理節(jié)點在這一層的紋理空間中不可取，故節(jié)點間的連接都需要避開這些空節(jié)點，這樣可以有效地降低參與圖割算法的數(shù)據(jù)量，從而提高算法的整體效率。

圖4 兩種類型標記Fig.4 Two types of labeled graph

3.2 構(gòu)建能量函數(shù)

圖割的能量函數(shù)為實際問題的數(shù)學表達方式，是圖割理論與具體問題的橋梁，一般能量函數(shù)由以下兩部分組成，即數(shù)據(jù)項與平滑項，其與圖割邊的權(quán)重一一對應(yīng)。在本文中數(shù)據(jù)項代表某節(jié)點選擇某標記的概率的大??；而平滑項表明相鄰節(jié)點紋理平滑性，需要綜合考慮節(jié)點的拓撲信息和不同標記的差異評價標準。圖割中的最小割與能量函數(shù)的最小值等價，且往往相差一個常數(shù)項C，如式(1)所示

(1)

本文將三角網(wǎng)格表面模型中的每個三角面看作圖G的節(jié)點，每兩個具有公共邊的相鄰三角面對應(yīng)的圖G中的節(jié)點之間建立一條邊，這樣就構(gòu)建了本文需要的圖G(V,E)。每個節(jié)點有一個含有k個元素的label集，優(yōu)化算法將為每個節(jié)點從其label集中選擇一個最佳的label。為了確保圖割優(yōu)化算法在有效的實數(shù)范圍內(nèi)計算，并具有對大數(shù)據(jù)的并行處理能力，本文的能量函數(shù)構(gòu)造需要滿足以下3個原則：①能量函數(shù)具有上下界；②能量函數(shù)的取值范圍不超過參與數(shù)據(jù)個數(shù)的有限性倍；③能量函數(shù)的數(shù)據(jù)項與平滑的值及其波動數(shù)值影響范圍應(yīng)為同一數(shù)量級。本文使用候選影像自身的固有屬性(影像的均值與方差)來構(gòu)建能量函數(shù)表達式的數(shù)據(jù)項與平滑項

(2)

(3)

(4)

(5)

式(2)—式(5)分別為影像的均值M、方差D、地物三角面F和標記值域L的表達式，O為影像數(shù)，n為地物面。式(6)為本文構(gòu)建的能量函數(shù)表達式，其中α與β分別為數(shù)據(jù)項D(L)與平滑項N(L)的控制系數(shù)；式(7)、式(8)分別為能量函數(shù)的數(shù)據(jù)項D(L)與平滑項N(L)的數(shù)學表達式，其中αd與βd為數(shù)據(jù)項中內(nèi)部系數(shù)，αn與βn為平滑項內(nèi)部系數(shù)，Vfili為地物三角面fi與對應(yīng)影像li的夾角；Wfili為其對應(yīng)的可視比值，即影像可見面積與真實面積的比值

(6)

(7)

(8)

本文建立的能量函數(shù)滿足正態(tài)分布數(shù)學特性。上述等式中的部分參數(shù)在試驗中的取值為：α=0.8，β=0.2；αd=0.8，βd=0.2；αn=βn=0.5，且它們直接控制著影像均值與方差的影響；n_t為平滑項的閾值，此處為n_t=1。

3.3 能量最小化求解

α-β圖建立方式如圖5所示，α-β圖終端α、β與每個Pα、Pβ集合相連，令Pαβ=Pα∪Pβ，并定義其對應(yīng)的t-link和n-link權(quán)重值，表1是α-β圖的權(quán)重。其中，Np為節(jié)點p的鄰域，Dp(·)為其標記不相似度；V(·)為鄰域節(jié)點的差異度量。前者對圖割對應(yīng)的能量函數(shù)空間具有引導作用，而后者具有平滑作用。

圖5 α-β圖示意Fig.5 The sketch of graph cuts

表1 α-β圖的權(quán)重

4 試驗與結(jié)果分析

4.1 試驗數(shù)據(jù)與環(huán)境

為了直觀地展示和驗證評價本文所提算法和策略的優(yōu)越性與有效性，文中選取了某地區(qū)真實傾斜影像數(shù)據(jù)生成的部分三角網(wǎng)格表面模型數(shù)據(jù)進行測試，該簡化模型有3117個三角面片。本文的計算機試驗環(huán)境為：Windows7操作系統(tǒng)，內(nèi)存32 GB，Intel core7 3.6 GHZ，4核。此外，在進行紋理優(yōu)化前還對試驗影像進行了預處理，即引入了文獻[22]提出的基于暗通道方法與Wallis方法[23-24]，解決了因傾斜影像場景深度不一致導致的影像環(huán)境輻射問題，并使用201曲線庫DoRF(Database of Real-world camera response Function)，通過構(gòu)建求解相機響應(yīng)函數(shù)的優(yōu)化函數(shù)[25-26]，改正了影像的系統(tǒng)輻射誤差。

4.2 試驗效果對比

4.2.1 影像預處理效果對比

圖6是一組左右試驗傾斜影像在不同方法下的預處理結(jié)果對比，可以發(fā)現(xiàn)本文預處理方法與僅使用Wallis方法相比，不僅起到了類似于直方圖均衡化的效果，最大限度地維持了影像的高對比度，而且影像的飽和度也有所提高，白平衡處理也更突出。這說明經(jīng)過環(huán)境輻射改正與系統(tǒng)誤差糾正后，獲得了更真實的紋理影像均值與方差。

4.2.2 遮擋探測結(jié)果對比

傾斜影像存在建筑物間的相互遮擋問題需要解決。如圖7左側(cè)紅框內(nèi)為未進行遮擋處理的映射結(jié)果，而圖7中右側(cè)紅框內(nèi)為經(jīng)過本文遮擋檢測后的映射結(jié)果，可見已消除了遮擋現(xiàn)象，更好地確保了紋理的視角與尺度一致性，實現(xiàn)了紋理的連貫性表達。

4.2.3 紋理聚類效果對比

基于MRF的圖割紋理選擇與聚類可以加強紋理在視覺上的連續(xù)性與一致性效果。本文利用紋理影像的固有屬性，通過構(gòu)建并求解最小能量函數(shù)實現(xiàn)了相鄰三角面的紋理空間標記取值的平滑，實現(xiàn)了紋理映射優(yōu)化。圖8為試驗結(jié)果，其中，圖8(a)是未進行優(yōu)化選擇與聚類的效果，圖8(b)是本文方法優(yōu)化后的效果，圖中四角為局部放大圖；圖中不同的顏色代表三角面紋理取自不同的紋理源，通過圖中對比可以看出，經(jīng)過紋理優(yōu)化后，三角網(wǎng)格表面模型中更多相鄰的三角面被賦予了相同的紋理源，實現(xiàn)了紋理優(yōu)化選擇；同時，在紋理映射操作過程中，還可以利用這個結(jié)果，使同一個聚類紋理塊一次性取得相應(yīng)的紋理，從而減少紋理后操作時間，加速紋理映射過程。

圖9為試驗的簡化三角網(wǎng)格表面模型3117個三角面片的聚類統(tǒng)計數(shù)值分析。其中，圖9(a)為未聚類前相鄰三角面的紋理選擇分布，圖9(b)是優(yōu)化后效果。從其統(tǒng)計結(jié)果來看，未聚類前孤立的聚類結(jié)果(聚類容量為1的聚類為孤立聚類)約占總數(shù)量的33%，且最大聚類容量不到20；而聚類后孤立的聚類結(jié)果只約占總數(shù)量的17%，且最大聚類容量大于40，這說明基于MRF的圖割紋理聚類效果顯著。

圖6 環(huán)境輻射處理局部效果對比Fig.6 Effect of preprocessed images

圖7 遮擋處理結(jié)果對比Fig.7 Contrast of occlusion detection

圖8 紋理優(yōu)化選擇與聚類效果對比Fig.8 Optimal textures contrast

圖9 優(yōu)化前后統(tǒng)計結(jié)果對比Fig.9 Optimal result contrast of before and after

4.2.4 紋理模型重建效果對比

為了更直觀地展示本文算法的整體效果和優(yōu)越性，在此將試驗區(qū)簡化模型的紋理重建結(jié)果與使用著名的三維重建軟件Photomodeler實現(xiàn)的紋理重建結(jié)果進行對比。圖10為試驗區(qū)紋理模型重建結(jié)果對比，其中，圖10上半部分為Photomodeler重建效果，下半部分為本文效果，從圖中左側(cè)的整體效果可以看出，Photomodeler與本文方法都十分關(guān)注紋理映射中的平滑處理，但是從圖中右側(cè)的局部放大圖可以容易地發(fā)現(xiàn)本文方法不僅保留了更多的紋理細節(jié)，而且有效地解決了紋理重建中的部分勻色勻光問題，重建效果真實、清晰，色彩與亮度處理更加自然。

圖11為試驗區(qū)重建紋理模型的3組局部放大效果對比圖。其中，圖左側(cè)為未經(jīng)本文方法處理的結(jié)果，可以看到圖中箭頭所指處有大量紋理不一致、映射錯誤和拼接縫的存在，而圖右側(cè)經(jīng)過紋理優(yōu)化選擇與聚類后，極大地減少，甚至消除了這些問題，體現(xiàn)出了本文算法的有效性和優(yōu)越性。

圖10 紋理模型重建效果對比Fig.10 A contrast figure of texture reconstruction

圖11 紋理模型局部效果對比Fig.11 Zoom effect in contrast

5 結(jié) 論

本文基于低空傾斜影像，針對三維影像城市重建中的無縫紋理映射問題，提出了一種有效的紋理優(yōu)化選擇方法。該方法在建立城市地面三角網(wǎng)格表面模型和空中三角測量的基礎(chǔ)上，計算模型與影像之間的投影關(guān)系，并使用稀疏構(gòu)網(wǎng)法實現(xiàn)了高效的遮擋探測；在紋理優(yōu)化選擇過程中，本文利用影像的固有屬性和紋理對應(yīng)三角面片的拓撲信息，把紋理的優(yōu)化選擇看作一個馬爾科夫隨機場問題，提出了基于圖割的最小能量函數(shù)優(yōu)化求解方案，實現(xiàn)了映射紋理的優(yōu)化選擇與聚類。試驗結(jié)果表明本文方法可以有效地提高紋理的聚類表達與輻射一致性效果，能顯著地減少三維紋理映射中的拼接縫和紋理碎片的產(chǎn)生。

[1] KAZHDAN M, BOLITHO M, HOPPE H.Poisson Surface Reconstruction[C]∥Proceedings of the Fourth Eurographics Symposium on Geometry Processing.Switzerland: Eurographics Association Aire-la-Ville, 2006.[2] SEITZ S M, CURLESS B, DIEBEL J, et al.A Comparison and Evaluation of Multi-view Stereo Reconstruction Algorithms[C]∥Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York, NY: IEEE, 2006.

[3] FURUKAWA Y, PONCE J.Accurate, Dense, and Robust Multiview Stereopsis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(8): 1362-1376.

[4] SCH?NING J, HEIDEMANN G.Evaluation of Multi-view 3D Reconstruction Software[M]∥AZZOPARDI C, PETKOV N.Computer Analysis of Images and Patterns: Lecture Notes in Computer Science.Switzerland: Springer International Publishing, 2015.

[5] 王競雪, 朱慶, 王偉璽.多匹配基元集成的多視影像密集匹配方法[J].測繪學報, 2013, 42(5): 691-698.WANG Jingxue, ZHU Qing, WANG Weixi.A Dense Matching Algorithm of Multi-view Image Based on the Integrated Multiple Matching Primitives[J].Acta Geodaetica et Cartographica Sinica, 2013, 42(5): 691-698.

[6] PARK J S.Interactive 3D Reconstruction from Multiple Images: a Primitive-based Approach[J].Pattern Recognition Letters, 2005, 26(16): 2558-2571.

[7] FRUEH C, JAIN S, ZAKHOR A.Data Processing Algorithms for Generating Textured 3D Building Facade Meshes from Laser Scans and Camera Images[J].International Journal of Computer Vision, 2005, 61(2): 159-184.

[8] 崔紅霞, 林宗堅, 孫杰.大重疊度無人機遙感影像的三維建模方法研究[J].測繪科學, 2005, 30(2): 36-38.CUI Hongxia, LIN Zongjian, SUN Jie.Research on the 3-Dimensional Modeling Method for Remote Sensing Images of Big Degree of Overlap Acquired by Unmaned Aerial Vehicle[J].Science of Surveying and Mapping, 2005, 30(2): 36-38.

[9] BERNARDINI F, MARTIN I M, RUSHMEIER H, et al.High-quality Texture Reconstruction from Multiple Scans[J].IEEE Transactions on Visualization and Computer Graphics, 2001, 7(4): 318-332.

[10] BAUMBERG A.Blending Images for Texturing 3D Models[C]∥Marshall D, ROSIN L.Proceedings of the British Machine Vision Conference.[S.l.]: BMVA Press, 2002.

[11] LEMPITSKY V, IVANOV D.Seamless Mosaicing of Image-based Texture Maps[C]∥Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis, MN: IEEE, 2007.

[12] GAL R, WEXLER Y, OFEK E, et al.Seamless Montage for Texturing Models[J].Computer Graphics Forum, 2010, 29(2): 479-486.

[13] PERéZ P, GANGNET M, BLAKE A.Poisson Image Editing[J].ACM Transactions on Graphics, 2003, 22(3): 313-318.

[14] GREENE N, KASS M, MILLER G.Hierarchical Z-buffer Visibility[C]∥Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques.New York: ACM, 1993.

[15] PARKER S, SHIRLEY P, LIVNAT Y, et al.Interactive Ray Tracing for Isosurface Rendering[C]∥Proceedings of 1998 International Conference on Visualization.Los Alamitos, CA: IEEE, 1998.

[16] 張春森, 張衛(wèi)龍, 郭丙軒, 等.傾斜影像的三維紋理快速重建[J].測繪學報, 2015, 44(7): 782-790.DOI: 10.11947/j.AGCS.2015.20140341.ZHANG Chunsen, ZHANG Weilong, GUO Bingxuan, et al.Rapidly 3D Texture Reconstruction Based on Oblique Photography[J].Acta Geodaetica et Cartographica Sinica, 2015, 44(7): 782-790.DOI: 10.11947/j.AGCS.2015.20140341.

[17] HARTLEY R, ZISSERMAN A.Multiple View Geometry in Computer Vision[M].2nd ed.London: Cambridge University Press, 2003.

[18] BOYKOV Y, VEKSLER O, ZABIH R, et al.Fast Approximate Energy Minimization via Graph Cuts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(11): 1222-1239.

[19] SCHMIDT M, ALAHARI K.Generalized Fast Approximate Energy Minimization via Graph Cuts: α-Expansion β-Shrink Moves[C]∥Proceedings of 27th Conference on Uncertainty in Artificial Intelligence.Barcelona, Spain: [s.n.], 2011.

[20] ZUREIKI A, DEVY M, CHATILA R.Stereo Matching and Graph Cuts[M].Vienna, Austria: I-Tech Education and Publishing, 2008: 349-372.

[21] HUSSMANN S, RINGBECK T, HAGEBEUKER B.A Performance Review of 3D TOF Vision Systems in Comparison to Stereo Vision Systems[M].Vienna, Austria: InTech, 2008.

[22] HE Kaiming, SUN Jian, TANG Xiaoou.Single Image Haze Removal Using Dark Channel Prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[23] 羅思.基于Wallis原理改進的勻光算法[J].測繪科學技術(shù), 2015, 3(3): 51-58.LUO Si.Improved Dodging Algorithm Based on Wallis Principle[J].Geomatics Science and Technology, 2015, 3(3): 51-58.

[24] 李德仁, 王密, 潘俊.光學遙感影像的自動勻光處理及應(yīng)用[J].武漢大學學報(信息科學版), 2006, 31(9): 753-756.LI Deren, WANG Mi, PAN Jun.Auto-dodging Processing and Its Application for Optical RS Images[J].Geomatics and Information Science of Wuhan University, 2006, 31(9): 753-756.

[25] KIM S J, POLLEFEYS M.Robust Radiometric Calibration and Vignetting Correction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(4): 562-576.

[26] D’ANGELO P.Radiometric Alignment and Vignetting Calibration[C]∥Proceedings of the 2007 ICVS Workshop on Camera Calibration Methods for Computer Vision System.Bielefeld, Germany: Applied Computer Science Group, Bielefeld University, 2007.

(責任編輯：宋啟凡)

Automatic Texture Optimization for 3D Urban Reconstruction

LI Ming1,2，ZHANG Weilong1，F(xiàn)AN Dingyuan3

1.State Key Laboratory of Information Engineering in Surveying Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China； 2.Collaborative Innovation Center for Geospatial Technology, Wuhan University, Wuhan 430079, China； 3.Southwest Jiaotong University, Chengdu 610031, China

In order to solve the problem of texture optimization in 3D city reconstruction by using multi-lens oblique images, the paper presents a method of seamless texture model reconstruction.At first, it corrects the radiation information of images by camera response functions and image dark channel.Then, according to the corresponding relevance between terrain triangular mesh surface model to image, implements occlusion detection by sparse triangulation method, and establishes the triangles’ texture list of visible.Finally, combines with triangles’ topology relationship in 3D triangular mesh surface model and means and variances of image, constructs a graph-cuts-based texture optimization algorithm under the framework of MRF(Markov random filed), to solve the discrete label problem of texture optimization selection and clustering, ensures the consistency of the adjacent triangles in texture mapping, achieves the seamless texture reconstruction of city.The experimental results verify the validity and superiority of our proposed method.

oblique image; triangular mesh surface model; occlusion detection; graph-cuts; texture optimization

The National Key Research and Development Program of China(No.2016YFB0502200); The National Natural Science Foundation of China(No.41127901)

LI Ming(1985—), male, PhD, majors in image processing and 3D reconstruction and indoor position.

ZHANG Weilong

李明，張衛(wèi)龍，范丁元.城市三維重建中的自動紋理優(yōu)化方法[J].測繪學報，2017,46(3)：338-345.

10.11947/j.AGCS.2017.20160467.

LI Ming，ZHANG Weilong，F(xiàn)AN Dingyuan.Automatic Texture Optimization for 3D Urban Reconstruction[J].Acta Geodaetica et Cartographica Sinica,2017,46(3):338-345.DOI:10.11947/j.AGCS.2017.20160467.

P234

A

1001-1595(2017)03-0338-08

國家重點研發(fā)計劃(2016YFB0502200)；國家自然科學基金(41127901)

2016-09-20

修回日期：2017-02-10

李明(1985—),男,博士,研究方向為圖像處理、三維感知與室內(nèi)定位。

E-mail：lisouming@whu.edu.cn

張衛(wèi)龍

E-mail：2016106190039@whu.edu.cn