張新，仵倩玉，王偉勝

(1.中國科學(xué)院遙感與數(shù)字地球研究所 遙感科學(xué)國家重點實驗室，北京 100101；2.中國科學(xué)院新疆生態(tài)與地理研究所 荒漠與綠洲生態(tài)國家重點實驗室，烏魯木齊 830011；3.中國科學(xué)院中亞生態(tài)與環(huán)境研究中心，烏魯木齊 830011)

0 引言

建筑物的三維重建中經(jīng)常會出現(xiàn)遮擋的情況，在傾斜攝影三維重建中表現(xiàn)更為明顯。由于拍攝角度和地物距離建筑物過近，重建出的建筑物模型立面紋理中會含有遮擋[1-2]。如果不對遮擋物進(jìn)行處理，將會嚴(yán)重影響模型效果，甚至造成遮擋物與建筑物模型融合的情況。因此，必須對前景遮擋物問題進(jìn)行處理。

在遮擋物的識別去除方面，國內(nèi)外已存在一些相關(guān)研究。例如，用最優(yōu)紋理選擇的方法排除遮擋嚴(yán)重的圖像，然后進(jìn)行三維重建[3-5]、用紋理拼接的方法移除遮擋[6-7]等。這些方法雖然在一定程度上減少了遮擋的影響，但無法解決選出的最優(yōu)紋理中仍存在遮擋的情況。因此，需要對這類紋理運用圖像處理的方法進(jìn)行遮擋物的去除和遮擋區(qū)域修復(fù)。

在樹木遮擋的識別去除方面，王宇新等[8]提出運用摳像技術(shù)來移除樹木的遮擋。周勝安[9]提出了一種基于前景物形態(tài)的GrabCut改進(jìn)算法，通過用戶指定前景物的基本形態(tài)，再利用優(yōu)化的分割能量函數(shù)來提取前景遮擋。以上方法雖能很好地提取出前景樹木的遮擋，但人工參與量大、時效性低?？抵局襕10]提出將影像劃分為矩形格網(wǎng)，通過分析格網(wǎng)中色調(diào)值在80～200范圍內(nèi)的像素所占百分比以及格網(wǎng)的平行直線密度來去除樹木遮擋。Engels等[11]結(jié)合紋理和顏色信息去除樹木的遮擋。這些方法雖然提高了樹木遮擋提取的自動化程度，但是沒有考慮遮擋物在形狀方面的特征。劉亞文等[12]依據(jù)遮擋物的形狀特征，將遮擋分為面狀和線狀分別進(jìn)行研究。這種方法雖然考慮了遮擋物的形狀，但是它將樹木遮擋歸為面狀遮擋物，并未考慮樹木本身存在的形狀差異，從而造成提取結(jié)果偏大，影響遮擋區(qū)域的修復(fù)，降低了模型的準(zhǔn)確度。

為了進(jìn)一步提高建筑物立面紋理中樹木遮擋提取的準(zhǔn)確性，本文提出一種樹冠、樹干分類提取方法。依據(jù)樹木本身形狀和顏色的差異，將樹木分為樹冠和樹干兩部分，分別進(jìn)行提取研究。對于僅含樹冠的遮擋，依據(jù)色調(diào)信息和平行直線信息進(jìn)行提取。對于既含樹冠又含樹干的部分，樹冠部分遮擋依據(jù)色調(diào)和平行直線信息進(jìn)行提取，樹干部分遮擋依據(jù)灰度信息和邊緣檢測方法進(jìn)行提取。然后，利用Criminisi算法修復(fù)被遮擋區(qū)域[13]，從而解決樹木遮擋問題。最后，文章選擇新疆庫爾勒市傾斜攝影三維模型中遮擋嚴(yán)重區(qū)域作為實驗區(qū)，通過將本文方法與傳統(tǒng)方法進(jìn)行比較，得出本文方法誤提取率減少12.5%的結(jié)論，從而證明了本文方法的有效性。

1 影像中樹木遮擋提取方法

1.1 影像中樹冠遮擋的提取

在建筑物的立面紋理中，樹冠遮擋往往呈現(xiàn)出面狀特點，樹葉顏色通常為綠色或者接近綠色，具有特殊的色調(diào)范圍，直線信息與建筑物紋理直線信息形成鮮明對比。針對這些特征，本文首先通過設(shè)置特殊的色調(diào)空間作為約束條件對樹冠進(jìn)行初提取，然后依據(jù)直線信息來進(jìn)行樹冠遮擋的精提取。

1)樹冠遮擋的初提取。首先將彩色圖像由RGB(紅、綠、藍(lán)色)色度空間轉(zhuǎn)為HSV(色度、飽和度、亮度)色度空間。在HSV空間中，圖像特征明顯，易于進(jìn)行分割、目標(biāo)識別和邊緣檢測；然后選出樹冠樣方圖像，并分析其各個分量的分布區(qū)間；最后以這3個分布范圍為約束條件進(jìn)行樹冠提取。在這一處理過程中，可能存在誤判的情況，因此需要對這一結(jié)果進(jìn)行精提取，排除誤提取的與樹葉特征接近的建筑物紋理。

2)樹冠遮擋的精提取。在建筑物的立面影像中，建筑物立面上的直線大多數(shù)都對應(yīng)于平行物方坐標(biāo)系X和Y軸的直線，因而其方向都有很強的規(guī)律性。所以可以依據(jù)平行直線信息來對樹冠遮擋初提取的結(jié)果進(jìn)行判斷，排除誤提取的建筑物紋理。

首先對初提取結(jié)果進(jìn)行格網(wǎng)劃分，然后統(tǒng)計樹冠遮擋初提取結(jié)果中格網(wǎng)的平行線密度，若格網(wǎng)的平行線密度大于給定閾值，則認(rèn)為其不是樹冠遮擋格網(wǎng)，否則，認(rèn)為其為樹冠遮擋格網(wǎng)。格網(wǎng)的平行線密度按式(1)進(jìn)行計算[12]。

(1)

式中：ρ表示格網(wǎng)的平行直線密度；Li表示直線的長度(單位為像素)；S表示格網(wǎng)的大小(單位為像素)；n表示格網(wǎng)內(nèi)直線的數(shù)量。

1.2 影像中樹干遮擋的提取

在建筑物的立面紋理中，樹干遮擋往往呈現(xiàn)出線狀特點，樹干輪廓較為清晰簡單，樹干顏色接近灰褐色，具有特定的色調(diào)范圍。針對這些特征，本文首先通過設(shè)置特殊的色調(diào)空間作為約束條件對樹干進(jìn)行初提取，再利用邊緣檢測和跟蹤的算法對樹干進(jìn)行精提取，排除誤提取的部分。

1)樹干遮擋的初提取。首先將彩色圖像由RGB色度空間轉(zhuǎn)為HSV色度空間。利用色調(diào)、飽和度和亮度來提高樹干與建筑物紋理之間的辨識度。然后選出樹干樣方圖像，并分析其各個分量的分布區(qū)間。最后以這3個分布范圍為約束條件進(jìn)行樹干提取。

2)樹干遮擋的精提取。在樹干的初提取中，可能會存在與樹干的R、G、B分量接近的紋理(通常為墻面)，因此會造成誤判的情況。針對這一情況，本文采用Canny算法對樹干輪廓進(jìn)行進(jìn)一步提取，以剔除非樹干區(qū)域。

2 影像中樹木遮擋區(qū)域修復(fù)方法

遮擋物體移除之后，需對被遮擋區(qū)域的紋理進(jìn)行修復(fù)。本文選擇Criminisi算法來對遮擋區(qū)域進(jìn)行紋理修復(fù)。如圖1所示[14]，圖像I為待修補的目標(biāo)圖像，Ω為待修復(fù)區(qū)域，δΩ代表其輪廓。修補過程從輪廓邊緣向待修復(fù)區(qū)域的內(nèi)部進(jìn)行，圖像的源區(qū)域為Φ，它在填充過程中提供采樣信息。

圖1 圖像修復(fù)原理圖

2.1 計算待修復(fù)區(qū)域的優(yōu)先級

目標(biāo)塊優(yōu)先級的計算是Criminisi算法的核心，能夠?qū)哂休^多已知信息和較強結(jié)構(gòu)的目標(biāo)塊進(jìn)行優(yōu)先修復(fù)并獲得更新，以保證填充準(zhǔn)確有序地進(jìn)行。對于以輪廓上的點p為中心的目標(biāo)塊，其優(yōu)先級按照式(2)計算[14]。

P(p)=C(p)D(p)，p∈Ω

(2)

式中：C(p)為置信項，用于衡量目標(biāo)塊內(nèi)的可靠信息的數(shù)量；D(p)為數(shù)據(jù)項，表示每次迭代時輪廓前沿等照度強度函數(shù)；Ω表示待修復(fù)區(qū)域。

2.2 搜索最佳匹配塊

確定具有最大優(yōu)先權(quán)的目標(biāo)塊后，就要在已知區(qū)域內(nèi)搜索此目標(biāo)塊的最佳匹配塊，目標(biāo)塊與最佳匹配塊的匹配準(zhǔn)則見式(3)[14]。

(3)

2.3 置信度的更新

通過全局搜索，找到最佳匹配塊，將最佳匹配塊中的像素對應(yīng)復(fù)制到目標(biāo)塊中的未知像素點，該目標(biāo)塊內(nèi)未知像素點轉(zhuǎn)變?yōu)橐阎袼攸c，因此這些點的置信度需要重新更新。置信度利用式(4)進(jìn)行計算[14]。

(4)

重復(fù)以上步驟，直至修復(fù)完畢。

3 實驗驗證

針對傾斜攝影三維重建中存在的樹木遮擋問題，文章以新疆庫爾勒市傾斜攝影三維場景中樹木遮擋嚴(yán)重區(qū)域的模型進(jìn)行實驗。依據(jù)本文遮擋物移除和遮擋區(qū)域修復(fù)方法對影像中的遮擋物進(jìn)行處理，從而得到修復(fù)后的新紋理。最后，在三維建模軟件中進(jìn)行紋理映射，利用移除遮擋的紋理去代替原始紋理，從而形成新的三維模型。

最常見的樹木遮擋主要有兩種：一種是只含樹冠部分或者樹木較為密集的遮擋；另一種是既含樹冠又含樹干，比較稀疏或者單一樹木的遮擋。針對第一種遮擋情況，直接采用樹冠遮擋物去除的方法進(jìn)行提取遮擋；針對第二種遮擋情況，首先進(jìn)行樹冠遮擋物的提取，在此基礎(chǔ)上進(jìn)行樹干遮擋物的提取。本文分別選擇只含樹冠遮擋和既含樹冠又含樹干遮擋的情況進(jìn)行實驗。

3.1 樹冠遮擋的去除

圖2為樹冠RGB轉(zhuǎn)為HSV的結(jié)果。實驗所用建筑物立面影像為僅含樹冠遮擋的影像，影像大小為3 000像素×2 000像素。

圖2 樹冠RGB轉(zhuǎn)為HSV結(jié)果

從HSV圖像中選出一塊樹冠圖像作為樣本，并分析其3個通道的直方圖分布。圖3為樹冠樣本的R、G、B3個分量的分布范圍。其中R的取值范圍為40～62，G的取值范圍為45～250，B的取值范圍為45～250。以上述R、G、B3個分量的取值范圍作為約束條件對整個HSV圖像進(jìn)行提取，提取結(jié)果如圖4所示。

圖3 樹冠通道直方圖分布

圖4 樹冠提取結(jié)果

3.2 樹冠、樹干遮擋的去除

實驗所用建筑物立面影像為包含樹冠和樹干兩部分遮擋的影像。圖5為樹干RGB轉(zhuǎn)為HSV的結(jié)果，影像大小為2 500像素×1 500像素。

圖5 樹干RGB轉(zhuǎn)為HSV結(jié)果

從圖5的HSV圖像可以看出，樹冠和樹干的色調(diào)區(qū)分較為明顯。按照樹冠提取方法對圖5中的HSV圖像進(jìn)行樹冠提取，得到如圖6所示的結(jié)果。

圖6 樹冠提取結(jié)果

在HSV圖像中選出一塊樹干圖像作為樣本，并分析其3個分量的直方圖分布。樹干樣本的R、G、B3個分量的分布范圍如圖7所示。其中R的取值范圍為15～30，G的取值范圍為25～86，B的取值范圍為39～106。

圖7 樹干通道直方圖分布

以上述R、G、B3個通道取值范圍作為約束條件對整個HSV圖像進(jìn)行提取，提取結(jié)果如圖8所示。

圖8 樹干提取結(jié)果

從圖8樹干提取結(jié)果可以看出，雖然樹干能夠被很好地提取出來，但窗沿和空調(diào)水管區(qū)域因與樹干HSV圖像中的R、G、B分量較為接近而被誤提取，因此，需要對上述結(jié)果進(jìn)行進(jìn)一步的判別。圖9為利用Canny算法進(jìn)行邊緣提取的結(jié)果。

圖9 樹干最終提取結(jié)果

3.3 遮擋區(qū)域修復(fù)

樹木遮擋物被提取出來后，需對遮擋區(qū)域進(jìn)行修復(fù)處理，盡可能地還原建筑物立面的原始紋理。本文采用Criminisi算法對遮擋區(qū)域進(jìn)行修補，修補結(jié)果如圖10所示。

圖10 樹木遮擋修復(fù)結(jié)果

3.4 紋理映射

遮擋區(qū)域修補完成后，通過紋理映射對被樹木遮擋區(qū)域的三維模型重新進(jìn)行貼合紋理，從而實現(xiàn)對傾斜攝影三維建模中含樹木遮擋模型的修復(fù)[15]。本文首先將含樹木遮擋嚴(yán)重的模型(圖11)導(dǎo)入到三維建模軟件中；然后利用修復(fù)后的紋理替換原始的含樹木遮擋的紋理，從而實現(xiàn)模型的修復(fù)；最后，將修復(fù)后的模型添加到三維場景中，修復(fù)結(jié)果如圖12所示。

圖11 含樹木遮擋三維場景

圖12 修復(fù)后的三維場景

3.5 方法比較

為驗證本文方法的合理性，利用樹冠、樹干分類提取方法與樹木整體提取方法，對同一樹木遮擋進(jìn)行提取，分別計算其誤提取率和漏提取率，通過分析不同方法所得結(jié)果，對本文方法進(jìn)行驗證，計算結(jié)果如圖13所示。

圖13 基于不同方法的誤提取和漏提取結(jié)果

從圖13和表1可以看出，本文方法很大程度上提升了提取結(jié)果的正確性，誤提取率降低了12.5%。從比較結(jié)果中可以看出，整體提取方法的漏提取率較低，這是因為樹冠樹干在色調(diào)方面有一些差別，為了更完整地提取整個樹木，只能增加樹木所屬色調(diào)范圍，擴大提取面積，因此漏提取率較低，誤提取率較高。而本文方法考慮了樹冠和樹干在色調(diào)和形狀方面的差異，將其分開進(jìn)行提取，縮小了其所屬的色調(diào)范圍，因此誤提取率較低。

從圖13(a)、圖13(b)可以看出，樹冠、樹干分類提取方法相比樹木整體提取方法更為精確，能夠體現(xiàn)樹木細(xì)節(jié)。由圖13 (c)、圖13 (d)漏提取結(jié)果圖得出，樹冠、樹干分類提取的漏提取率更高一些，但由圖13(e)、圖13(f)可以看出，樹冠、樹干分類提取誤提取率比樹木整體提取低很多，尤其在樹干部分，樹冠、樹干分類提取能夠得到很好的結(jié)果；而樹木整體提取則難以區(qū)分樹干之間的間隙，從而造成誤提取率偏高的情況。表1計算結(jié)果則很好地佐證了這一事實。從表1可以看出本文方法很大程度上提升了提取結(jié)果的正確性，雖然漏提取率比起整體提取方法增長了1.5%，但誤提取率降低顯著，相比整體提取降低了12.5%。

表1 不同方法對比結(jié)果 %

4 結(jié)束語

本文針對傾斜攝影三維建模中存在的遮擋情況進(jìn)行總結(jié)研究，將遮擋分為樹木、車輛、路燈和行人4類，并依據(jù)各類遮擋物的特征，總結(jié)各類遮擋物的最優(yōu)去除和修復(fù)方法。針對建筑物側(cè)面紋理存在的樹木遮擋物，提出了一種樹冠、樹干分類提取方法。該方法基于樹冠、樹干與建筑物側(cè)面紋理色調(diào)的差異對樹冠和樹干進(jìn)行檢測，然后利用樹冠和建筑物墻面平行直線密度的差異，對樹冠提取結(jié)果進(jìn)行進(jìn)一步判別，利用邊緣檢測方法對樹干提取結(jié)果進(jìn)行進(jìn)一步提取，從而剔除偽樹木區(qū)域。最后采用Criminisi算法對樹冠、樹干遮擋區(qū)域進(jìn)行修復(fù)，得到修復(fù)后的紋理圖像。文章以新疆庫爾勒市傾斜攝影三維場景中遮擋嚴(yán)重的模型進(jìn)行實驗，提取了樹木遮擋，并對樹木遮擋區(qū)域進(jìn)行了修復(fù)，得到較好的效果，證明了該方法的優(yōu)越性。