萬(wàn) 眾,熊 智,許建新,李一博
(南京航空航天大學(xué),南京211106)
深度圖像反映了場(chǎng)景中各點(diǎn)到相機(jī)的距離信息,為視覺導(dǎo)航、目標(biāo)跟蹤、障礙物規(guī)避等計(jì)算機(jī)視覺任務(wù)的實(shí)現(xiàn)提供了重要環(huán)境信息,其圖像質(zhì)量直接影響后續(xù)分析與研究。現(xiàn)有的廉價(jià)深度圖像采集設(shè)備,如微軟公司的體感動(dòng)捕設(shè)備Kinect和大疆公司的無(wú)人機(jī)機(jī)載導(dǎo)航系統(tǒng)Guidance,由于周圍環(huán)境影響以及設(shè)備自身成本限制,采集的深度圖常常含有較多的噪聲,導(dǎo)致邊緣不匹配,甚至在物體的中心會(huì)產(chǎn)生孔洞[1]。圖1和圖2分別是Guidance采集的灰度圖像和深度圖像,圖2中實(shí)線描繪的是與灰度圖對(duì)應(yīng)的物體邊緣,可以清晰地發(fā)現(xiàn)深度圖像難以反映事物的真實(shí)形態(tài),不僅如此,人物中心的孔洞表明此處深度數(shù)據(jù)缺失。如果不經(jīng)處理和優(yōu)化,這些異常的深度信息將直接影響物體的正常識(shí)別,為后續(xù)高級(jí)視覺任務(wù)的完成造成障礙,因此需要對(duì)采集的原始深度圖像進(jìn)行處理優(yōu)化。
現(xiàn)有的深度圖像優(yōu)化補(bǔ)全方法大都采用引導(dǎo)補(bǔ)全的思想。深度圖像采集設(shè)備在提供深度圖像時(shí)會(huì)采集與之配準(zhǔn)的灰度圖像(或彩色圖像),這些灰度圖像通常包含了較好的物體輪廓信息,它們?yōu)樯疃葓D像的引導(dǎo)補(bǔ)全提供先驗(yàn)信息。引導(dǎo)補(bǔ)全就是在結(jié)構(gòu)一致性假設(shè)的基礎(chǔ)上,以灰度圖像中的物體結(jié)構(gòu)為參照,在深度圖中維持物體邊緣結(jié)構(gòu),同時(shí)補(bǔ)全缺失景深信息。文獻(xiàn)[2]提出基于聯(lián)合雙邊濾波的深度圖像增強(qiáng)算法,利用前景分割和聯(lián)合雙邊濾波插值的方法進(jìn)行邊緣細(xì)節(jié)保持,取得了一定的效果;但提出的插值增強(qiáng)算法計(jì)算效率低,不能滿足實(shí)時(shí)計(jì)算需要,此外文章僅對(duì)分割出來(lái)的前景物體進(jìn)行了增強(qiáng),對(duì)整個(gè)深度圖的修復(fù)作用不大。文獻(xiàn)[3]通過(guò)將整幅深度圖像進(jìn)行區(qū)域分割,在每個(gè)區(qū)域內(nèi)使用深度圖本身作為引導(dǎo)圖像,進(jìn)行導(dǎo)向?yàn)V波時(shí)只實(shí)現(xiàn)了各區(qū)域內(nèi)部的視差階梯平滑;但該方法除了依賴于較為理想的分割結(jié)果外,使用深度圖本身作為引導(dǎo),質(zhì)量差的引導(dǎo)圖難以保證濾波質(zhì)量。文獻(xiàn)[4]采用了聯(lián)合雙邊濾波方法對(duì)孔洞深度圖進(jìn)行修補(bǔ),并通過(guò)選擇4個(gè)方向?yàn)V波結(jié)果的融合,克服濾波器方向性的問(wèn)題,保持銳利的物體邊緣;但缺點(diǎn)是聯(lián)合雙邊濾波內(nèi)部存在雙Gauss內(nèi)核卷積運(yùn)算,濾波器本身效率就不高,進(jìn)行4個(gè)方向?yàn)V波的時(shí)間開銷更大,難以滿足實(shí)時(shí)性的需求。
本文認(rèn)為在進(jìn)行視差圖的優(yōu)化時(shí)并不是毫無(wú)先驗(yàn)信息的僅憑借深度圖邊緣進(jìn)行改進(jìn),利用視差圖與雙目相機(jī)左視圖的關(guān)系可以將邊緣信息豐富的灰度圖作為邊緣信息基準(zhǔn),將深度圖加以引導(dǎo),即通過(guò)改進(jìn)的導(dǎo)向?yàn)V波處理步驟實(shí)現(xiàn)深度圖的優(yōu)化。導(dǎo)向?yàn)V波作為一種高效的邊緣保持濾波器,近年來(lái)被廣泛用于圖像去霧處理和摳圖技術(shù)中[7-8],本文將其引入到深度圖的優(yōu)化中來(lái),使用處理后的灰度圖對(duì)深度圖進(jìn)行導(dǎo)向?yàn)V波,獲得了較好的結(jié)果。除了主觀的良好視覺效果外,本文通過(guò)具體指標(biāo)量化優(yōu)化結(jié)果,對(duì)圖像質(zhì)量的提升效果進(jìn)行了數(shù)字化客觀評(píng)價(jià)。
導(dǎo)向?yàn)V波的效果很大程度上取決于引導(dǎo)圖像的質(zhì)量,而原始的灰度圖像往往質(zhì)量有待提高——自然光照條件不均導(dǎo)致的陰影會(huì)產(chǎn)生虛假邊緣,局部亮度過(guò)高會(huì)破壞真實(shí)的物體邊緣。良好的邊緣信息是正確引導(dǎo)視差圖優(yōu)化的關(guān)鍵,原始灰度圖將會(huì)干擾后續(xù)的導(dǎo)向?yàn)V波結(jié)果??焖俚腞etinex算法圖像處理能夠給在不影響系統(tǒng)實(shí)時(shí)性的前提下,較好的消除陰影強(qiáng)化邊緣。因此,本文在對(duì)深度圖像進(jìn)行導(dǎo)向?yàn)V波之前,采用單尺度Retinex算法對(duì)原始灰度圖像進(jìn)行增強(qiáng)處理,消除光照不均陰影的影響,同時(shí)增強(qiáng)物體邊緣,為后續(xù)步驟提供引導(dǎo)圖像基礎(chǔ)。
Retinex算法的基礎(chǔ)是模擬人類視網(wǎng)膜的工作原理,將獲取的原始灰度圖像S分解為兩部分:入射光分量產(chǎn)生的圖像L和物體反射性質(zhì)分量產(chǎn)生的圖像R[9], 如式(1)所示:
式(1)中,S(x,y)為眼睛或相機(jī)感光時(shí)在視網(wǎng)膜或者成像平面上形成的圖像,等式右邊兩項(xiàng)分別為物體反射性質(zhì)分量圖像R(x,y)和入射光分量圖像L(x,y)。這一算法的基本思想就是在原始圖像中S(x,y),通過(guò)數(shù)學(xué)方法消除光照影響分量L(x,y), 從而盡量保留物體本質(zhì)屬性圖像R(x,y)。在單尺度Retinex算法中,R(x,y)表征物體材質(zhì)紋理等屬性,對(duì)應(yīng)的是圖像的高頻部分,而L(x,y)則對(duì)應(yīng)圖像的低頻部分。 因此,L(x,y)可用S(x,y)的Gauss濾波結(jié)果近似表示,即:
其中,?為卷積符號(hào),F(xiàn)(x,y)為Gauss函數(shù),具體數(shù)學(xué)表達(dá)形式如下(σ為標(biāo)準(zhǔn)差):
對(duì)式(1)兩邊取對(duì)數(shù),再將式(2)帶入可得反射屬性分量圖像R(x,y)的對(duì)數(shù)函數(shù)域表達(dá)式:
最后,從式(4)中將反射屬性分量圖像R(x,y)解出,即可獲得消除陰影增強(qiáng)邊緣的圖像,進(jìn)而作為后續(xù)深度圖導(dǎo)向?yàn)V波的引導(dǎo)圖像。
導(dǎo)向?yàn)V波作為一種具有邊緣保持能力的濾波器,近年來(lái)被廣泛用于圖像去霧技術(shù)和摳圖技術(shù)中。相比于聯(lián)合雙邊濾波器,導(dǎo)向?yàn)V波不僅可以在邊緣保留和細(xì)節(jié)平滑上獲得相當(dāng)濾波效果,其優(yōu)勢(shì)更多地表現(xiàn)在計(jì)算速度和濾波效率方面,因?yàn)槠浜诵牧鞒炭梢栽诜e分圖像已知的情況下通過(guò)窗口內(nèi)的求和運(yùn)算快速實(shí)現(xiàn),因此算法效率高,復(fù)雜度低。其邊緣保持能力恰好滿足深度圖優(yōu)化時(shí)的需求,同時(shí)高效的運(yùn)算實(shí)時(shí)性也使其在實(shí)踐中更具競(jìng)爭(zhēng)力。
1.1節(jié)中已獲得邊緣信息增強(qiáng)的引導(dǎo)圖像R,本小節(jié)假設(shè)待優(yōu)化的深度圖像為P。導(dǎo)向?yàn)V波的作用就是獲得與輸入深度圖像P相似,但在邊緣、紋理部分與引導(dǎo)圖像R相似的優(yōu)化輸出深度圖像Q。導(dǎo)向?yàn)V波的基本假設(shè)為:在以像素k為中心的窗口ωk內(nèi),引導(dǎo)圖Ri和濾波輸出圖像Qi之間是一個(gè)局部線性模型,滿足如下[10]:
對(duì)式(5)兩邊同時(shí)求導(dǎo), 則有 ▽Qi=ak▽Ri。這就表明在引導(dǎo)圖R與輸出圖像Q之間具有相同的梯度信息,即引導(dǎo)圖像中的邊緣信息可以盡可能地保留下來(lái),這對(duì)于深度圖的優(yōu)化具有重要作用,大大增強(qiáng)了深度圖像中物體基本形態(tài)的辨識(shí)度。為了保證輸出圖像Q盡可能保留原始深度圖P中的正確深度信息,一般通過(guò)最小化代價(jià)函數(shù)實(shí)現(xiàn)。代價(jià)函數(shù)具體形式如下:
式中,ε為正則化參數(shù),用來(lái)防止過(guò)擬合。當(dāng)ak過(guò)大時(shí)將發(fā)生過(guò)擬合,此時(shí)εa2k作為一項(xiàng)較大的懲罰項(xiàng),導(dǎo)致較大的整體代價(jià)函數(shù)E(ak,bk),這樣在求取最小化代價(jià)函數(shù)的ak和bk時(shí)就可以防止過(guò)擬合的發(fā)生。
對(duì)式(6)求偏導(dǎo), 得到式(7), 從而解出ak和bk, 如式(8)所示:
本文選用的深度圖像采集設(shè)備為無(wú)人機(jī)機(jī)載導(dǎo)航系統(tǒng)Guidance,其深度圖產(chǎn)生方式采用雙目立體視覺原理[12]——利用兩個(gè)攝像機(jī)拍攝同一場(chǎng)景灰度圖,依據(jù)左右圖像之間的水平視差產(chǎn)生深度信息,進(jìn)而形成深度圖像。其輸出的原始深度圖像存在大量噪點(diǎn),物體邊緣難以辨識(shí),甚至存在深度信息缺失的孔洞(如圖2中人物腹部區(qū)域)。這些深度信息異常的誘因主要包括:拍攝光照條件制約和消費(fèi)級(jí)相機(jī)光圈較小導(dǎo)致的圖像采集質(zhì)量不佳,以及場(chǎng)景中紋理信息較少導(dǎo)致的深度信息獲取困難等。需要說(shuō)明的是圖2最左側(cè)有大約1/6的黑色部分沒(méi)有深度信息是由于左右相機(jī)視野無(wú)法完全重疊,導(dǎo)致無(wú)法通過(guò)匹配計(jì)算景深的區(qū)域,這種深度信息缺失是立體視覺成像原理決定的,不是深度圖質(zhì)量問(wèn)題,因此也不是深度圖優(yōu)化需要考慮的。本文將通過(guò)上一小節(jié)所述處理方法對(duì)采集的深度圖進(jìn)行優(yōu)化處理,從主觀視覺效果和客觀標(biāo)準(zhǔn)量化兩方面說(shuō)明所述深度圖優(yōu)化算法的具體性能。
圖3(a)與圖 3(b)對(duì)比, 可以明顯發(fā)現(xiàn)經(jīng)過(guò)單尺度Retinex方法處理后不僅圖像亮度增強(qiáng),而且消除了大量陰影,視覺效果有了明顯提高。進(jìn)一步對(duì)這兩幅圖像進(jìn)行canny邊緣檢測(cè),檢測(cè)結(jié)果分別如圖 3(c)與圖 3(d)所示。 在圖 3(c)中, 背景白墻上的光影被錯(cuò)誤地當(dāng)作物體邊緣檢出,而且圖像上方墻壁水平邊緣也不完整。經(jīng)過(guò)處理后,在圖3(d)中白墻上的光影不再被當(dāng)作邊緣,陰影造成的虛假邊緣被消除,邊緣信息也得到了更完備的描述。引導(dǎo)圖質(zhì)量的提高為后續(xù)導(dǎo)向?yàn)V波的順利進(jìn)行奠定了基礎(chǔ)。
將2.1節(jié)增強(qiáng)處理后的灰度圖像作為引導(dǎo)圖,通過(guò)具有邊緣保持能力的導(dǎo)向?yàn)V波器對(duì)深度信息采集設(shè)備輸出的原始深度圖像進(jìn)行處理,得到的結(jié)果如圖4所示。
對(duì)比圖4(a)和圖 4(b), 大量的噪聲斑塊得到平滑,深度圖像的視覺效果有了明顯的提升。具體結(jié)合圖3(a)原始灰度圖分析可知,灰度圖中的邊緣信息被正確地保留下來(lái),有效防止原始輸出中因邊緣部分匹配差而導(dǎo)致的擴(kuò)散現(xiàn)象,最直觀地體現(xiàn)為人物輪廓清晰可辨。此外,深度信息缺失部分也得到了一定程度的插值補(bǔ)充,例如人物中心的的孔洞得到了有效的填補(bǔ)。
為了進(jìn)一步說(shuō)明本文方法的優(yōu)化性能,本文通過(guò)大疆的Guidance采集真實(shí)不同場(chǎng)景下的多組深度圖像進(jìn)行優(yōu)化,驗(yàn)證結(jié)果如圖5所示。
所處理的3幅圖像從上到下深度信息缺失的情況依次增加,第一行圖像中沒(méi)有深度缺失產(chǎn)生的孔洞,第二行人物中心有一個(gè)較小的孔洞,第三行圖片中由于景物顏色相近、缺乏紋理產(chǎn)生了大量的景深信息缺失。在經(jīng)過(guò)聯(lián)合雙邊濾波方法和本文提出的優(yōu)化流程后,從視覺效果上可以直觀地看出斑塊部分都得到了一定程度的平滑。此外,人物的輪廓都有所改善,物體的邊緣信息都得到了保留。而且在細(xì)節(jié)上,本文方法在人物的輪廓上恢復(fù)效果更佳,例如前兩行圖像的人物邊緣更加清晰,第三行中空調(diào)管道邊界分明。說(shuō)明經(jīng)過(guò)處理后的深度圖像能夠較好地反應(yīng)景物的輪廓和邊界,可以為后續(xù)視覺任務(wù)提供更好的圖像信息。值得指出的是盡管對(duì)于閉合的孔洞填補(bǔ)效果較好,但在一些景深信息缺失嚴(yán)重的地方(如最后一幅圖中的空調(diào)上半部分)不能獲取完全的深度圖補(bǔ)全效果。
峰值信噪比(PSNR)作為一種可量化的客觀標(biāo)準(zhǔn)廣泛用于圖像質(zhì)量評(píng)價(jià)中,其計(jì)算方法如式(9)和式(10)所示。
深度圖優(yōu)化后的PSNR時(shí)需要真實(shí)場(chǎng)景的深度圖作為基準(zhǔn),而這一基準(zhǔn)深度圖在實(shí)際實(shí)驗(yàn)中難以獲得,一般通過(guò)結(jié)構(gòu)光等其他手段獲取。因此,本文采用國(guó)際上公認(rèn)的標(biāo)準(zhǔn)Middlebury數(shù)據(jù)集來(lái)進(jìn)行實(shí)驗(yàn)。具體實(shí)驗(yàn)步驟為:首先將數(shù)據(jù)集提供的配準(zhǔn)圖像對(duì)作為雙目相機(jī)的輸出圖像,基于雙目立體視覺的深度圖產(chǎn)生原理[12],模擬輸出的深度圖像;然后通過(guò)本文所述方法對(duì)這一深度圖像進(jìn)行優(yōu)化處理;最后結(jié)合標(biāo)準(zhǔn)數(shù)據(jù)集中場(chǎng)景的真實(shí)深度圖,計(jì)算相應(yīng)的PSNR指標(biāo)[16]。為了更好地說(shuō)明本文優(yōu)化方法的效果,將多數(shù)文獻(xiàn)中提到優(yōu)化效果較好的聯(lián)合雙邊濾波算法一同進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如圖6和表1所示。
表1 優(yōu)化效果PSNR指標(biāo)對(duì)比結(jié)果Table 1 Comparison of the results of PSNR index using different optimization methods
圖6中,第一行中使用的標(biāo)準(zhǔn)圖像名稱為Cones,第二行的名稱為Teddy。分別對(duì)比第三列和四、五兩列,可以看出兩種算法都能夠在有效地保持邊緣的同時(shí)對(duì)景深相似處進(jìn)行平滑處理,并填補(bǔ)部分深度信息缺失的孔洞。例如:Cones中面具部分和Teddy中書的封皮都得到了有效填充,且沒(méi)有破壞面具和書的邊緣。從表1中的PSNR指標(biāo)來(lái)看,兩種方法都能夠提升深度圖質(zhì)量,并且本文方法處理效果略優(yōu)。
除了在優(yōu)化效果上略優(yōu)于聯(lián)合雙邊濾波算法結(jié)果,本文所述方法在計(jì)算效率上的優(yōu)勢(shì)更為明顯。在實(shí)驗(yàn)環(huán)境為Windos7操作系統(tǒng) (CPU型號(hào)i3-4130,主頻3.40GHz,內(nèi)存4G),軟件 VS2013中運(yùn)行,聯(lián)合雙邊濾波時(shí)間1274ms,本文方法185ms,速度提升超過(guò)5倍,計(jì)算效率優(yōu)勢(shì)顯著。
采用單尺度Retinex方法對(duì)灰度圖預(yù)處理可以有效消除陰影造成的虛假邊緣,提高引導(dǎo)圖質(zhì)量。再通過(guò)導(dǎo)向?yàn)V波對(duì)深度圖像進(jìn)行優(yōu)化后,可以較好地在深度圖像中還原物體的真實(shí)邊緣信息,并在一定程度上填補(bǔ)深度信息缺失的孔洞,提高了深度圖質(zhì)量。此外,該方法在計(jì)算效率上優(yōu)勢(shì)顯著,適合作為一種實(shí)時(shí)深度圖優(yōu)化算法應(yīng)用于實(shí)踐。
[1]李知菲,陳源.基于聯(lián)合雙邊濾波器的Kinect深度圖像濾波算法[J]. 計(jì)算機(jī)應(yīng)用, 2014, 34(8): 2231-2234.LI Zhi-fei,CHEN Yuan.Kinect depth image filtering algorithm based on joint bilateral filter [J].Journal of Computer Applications, 2014, 34(8): 2231-2234.
[2]劉金榮,李淳芃,歐陽(yáng)建權(quán),等.基于聯(lián)合雙邊濾波的深度圖像增強(qiáng)算法[J]. 計(jì)算機(jī)工程, 2014, 40(3):249-252.LIU Jin-rong, LI Chun-peng, OUYANG Jian-quan, et al.Depth image enhancementalgorithm based on joint bilateral filtering [J].Computer Engineering, 2014, 40(3): 249-252.
[3]時(shí)華,朱虹,余順園.基于分割導(dǎo)向?yàn)V波的亞像素精度立體匹配視差優(yōu)化算法[J].模式識(shí)別與人工智能,2016, 29(10): 865-875.SHI Hua, ZHU Hong, YU Shun-yuan.Disparity optimization algorithm on sub-pixel accuracy for stereo matching using segmentation guided filtering [J].Pattern Recognition and Artificial Intelligence, 2016, 29(10): 865-875.
[4]呂浩,陳世峰.基于多方向?yàn)V波的強(qiáng)邊緣深度圖像補(bǔ)全方法[J]. 集成技術(shù), 2016, 5(6): 36-44.LV Hao,CHEN Shi-feng.Strong edge-aware depth image completion with multi-direction filtering [J].Journal of Integration Technology, 2016, 5(6): 36-44.
[5]Chen L, Lin H, Li S T.Depth image enhancement for Kinect using region growing and bilateral filter[C].21stInternational Conference on Pattern Recognition, 2012:3070-3073.
[6]Jung S W.Enhancement of image and depth map using adaptive joint trilateral filter[J].IEEE Transactions on Circuits & Systems for Video Technology, 2013, 23(2):258-269.
[7]韓正汀,路文,楊舒羽,等.基于導(dǎo)向?yàn)V波優(yōu)化的自然圖像去霧新方法[J].計(jì)算機(jī)科學(xué)與探索,2015,9(10): 1256-1262.HAN Zheng-ting, LU Wen, YANG Shu-yu, et al.Improved natural image dehazing algorithm based on guided filtering [J].Journal of Frontiers of Computer Science and Technology, 2015, 9(10): 1256-1262.
[8]雷凱茹,趙海,朱宏博,等.基于導(dǎo)向半徑參數(shù)自適應(yīng)的數(shù)字摳圖算法[C].沈陽(yáng)科學(xué)學(xué)術(shù)年會(huì),2015.LEI Kai-ru, ZHAO Hai, ZHU Hong-bo, et al.Digital cutout algorithm based on guided filter with adaptive radius parameter[C].Shenyang Science Conference, 2015.
[9]王天濤,趙永國(guó),常發(fā)亮.基于視覺傳感器的障礙物檢測(cè)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(4): 180-183.WANG Tian-tao, ZHAO Yong-guo, CHANG Fa-liang.Obstacle detection based on vision sensor [J].Computer Engineering and Applications, 2015, 51(4): 180-183.
[10]徐杰.基于導(dǎo)向?yàn)V波的高精度目標(biāo)分割算法[D].蘭州大學(xué),2015.XU Jie.A high accuracy segmentation algorithm based on guided image filter[D].Lanzhou University, 2015.
[11]He K M, Sun J. Fastguided filter [J]. Computer Science,2015.
[12] 劉佰鑫, 蘇琦.Guidance—機(jī)器人視覺傳感平臺(tái)[J].預(yù)應(yīng)力技術(shù), 2016(3): 16-21.LIU Bai-xin,SU Qi.Guidance robot vision sensor platform [J].Prestress Technology, 2016(3): 16-21.
[13]Pang J H, Au O C, Guo Z.Improved single image dehazing using guided filter [C].Asia-Pacific Signal and Information Processing Association Annual Summit and Conference 2011, 2011: 522-525.
[14]Zhu S P, Gao R D, Li Z.Stereo matching algorithm with guided filter and modified dynamic programming[J].Multimedia Tools and Applications, 2017, 76(1):199-216.
[15]Liu J Y, Gong X J, Liu J L.Guided inpainting and filtering for Kinect depth maps [C]. International Conference on Pattern Recognition, 2012: 2055-2058.
[16]楊嘉琛,侯春萍,沈麗麗,等.基于PSNR立體圖像質(zhì)量客觀評(píng)價(jià)方法[J].天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版), 2008, 41(12): 1448-1452.YANG Jia-chen, HOU Chun-ping, SHEN Li-li, et al.Objective evaluation method for stereo image quality based on PSNR [J].Journal of Tianjin University(Science and Technology), 2008, 41(12): 1448-1452.