沈慧中 張倩 王斌 孫藝晉 吳玉靜 王曉慧

摘 ?要： 針對(duì)RGBD相機(jī)由于硬件條件的限制，所獲取的深度圖像往往存在空洞與噪聲的問(wèn)題，提出一種彩色圖像引導(dǎo)的深度圖像空洞填補(bǔ)方法.對(duì)深度圖像邊緣區(qū)域采用基于局部直方圖的加權(quán)模式濾波器（WMF）進(jìn)行處理，在有效保留深度圖邊緣與細(xì)節(jié)的前提下，消除圖像噪聲.對(duì)深度圖像非邊緣區(qū)域采用一種異步元胞自動(dòng)機(jī)（ACA）模型算法，根據(jù)鄰域和迭代規(guī)則對(duì)深度圖空洞進(jìn)行填補(bǔ)，快速、準(zhǔn)確地完成任務(wù).在立體匹配數(shù)據(jù)集Middlebury上測(cè)試所提算法實(shí)現(xiàn)性能，實(shí)驗(yàn)結(jié)果表明：該算法的結(jié)構(gòu)相似性（SSIM）與峰值信噪比（PSNR）更高，能夠準(zhǔn)確地填補(bǔ)深度圖空洞，同時(shí)保持深度圖邊緣清晰.

關(guān)鍵詞： 深度圖; 空洞填補(bǔ); 加權(quán)模式濾波器（WMF）; 異步元胞自動(dòng)機(jī)（ACA）

Abstract： To solve the problem of holes and noise in the depth image due to the limitation of RGBD camera hardware， a color image-guided method for filling holes in depth image was proposed. Firstly， for the boundary area of the depth image， a weighted mode filter（WMF） based on local histogram was used for processing which effectively preserved the boundary and details and eliminated noise of the depth image. Secondly， an asynchronous cellular automaton （ACA） model algorithm was adopted for the non-boundary area of the depth image.The depth map holes were filled by using the neighborhood and iteration rules and the mission was completed fleetly and accurately. Finally， the performance of the proposed algorithm was tested on Middlebury. Experimental results showed that the proposed algorithm in this paper could accurately fill the holes in the depth map with a clear boundary.

Key words： depth image; hole filling; weighted mode filter（WMF）; asynchronous cellular automaton（ACA）

0 ?引言

深度圖像是一種表示場(chǎng)景深度信息的特殊圖像.隨著消費(fèi)級(jí)深度相機(jī)的出現(xiàn)，深度圖像被廣泛應(yīng)用于三維重建、人臉識(shí)別、語(yǔ)義分割等領(lǐng)域.深度相機(jī)雖然具有價(jià)格低廉、可實(shí)時(shí)獲取深度圖像的優(yōu)點(diǎn)，但是受制于硬件條件以及環(huán)境的變化，所獲取的深度圖像往往存在深度信息丟失的問(wèn)題，影響深度圖的后續(xù)應(yīng)用.

目前針對(duì)深度圖像空洞填補(bǔ)以及質(zhì)量?jī)?yōu)化方面的工作主要分為兩類：第一類是只依賴深度圖像內(nèi)部信息進(jìn)行深度修復(fù);第二類是利用與深度圖像對(duì)應(yīng)的彩色圖引導(dǎo)深度圖的修補(bǔ).在第一類方法中，VIJAYANAGAR等[1]利用高斯濾波估計(jì)缺失的深度值，然而此方法僅考慮了空洞周圍像素點(diǎn)的深度信息，未考慮物體邊緣像素的差異性，存在邊緣模糊問(wèn)題.CAMPLANI等[2]利用雙邊濾波實(shí)現(xiàn)空洞填補(bǔ)，通過(guò)像素點(diǎn)的空間位置以及自身像素值，計(jì)算濾波權(quán)值的大小.雖然可有效保留邊緣信息，但當(dāng)空洞較大時(shí)，置信度較低.TELEA[3]利用快速行進(jìn)法（FMM）計(jì)算出空洞鄰域像素點(diǎn)的方向因子，通過(guò)加權(quán)平均估算空洞深度值，但該方法容易在修復(fù)邊界和等照度線上產(chǎn)生模糊現(xiàn)象.在第二類方法中，LE等[4]提出了聯(lián)合雙邊濾波方法，利用RGB圖像引導(dǎo)深度圖像修補(bǔ)，但當(dāng)物體與背景顏色較近時(shí)，該方法易產(chǎn)生誤差.WANG等[5]利用視頻序列估計(jì)背景深度來(lái)恢復(fù)深度圖，該方法計(jì)算量大，且無(wú)法應(yīng)用于單個(gè)深度圖.WANG等[6]利用馬爾可夫隨機(jī)場(chǎng)模型將彩色圖的顏色、平滑先驗(yàn)信息等與原始深度圖融合，達(dá)到恢復(fù)深度圖的目的，然而深度圖與彩色圖邊緣的不一致會(huì)導(dǎo)致邊緣模糊問(wèn)題.基于上述研究，本文作者提出了一種使用彩色圖引導(dǎo)深度圖空洞填補(bǔ)的方法，采用加權(quán)模式濾波器（WMF）與異步元胞自動(dòng)機(jī)（ACA），分別對(duì)深度圖像邊緣與非邊緣區(qū)域進(jìn)行空洞修復(fù)，最終得到結(jié)構(gòu)完整、邊緣清晰的深度圖.

1 ?算法實(shí)現(xiàn)

1.1 邊緣區(qū)域深度圖的修復(fù)

深度值往往在物體內(nèi)部連續(xù)變化，而在邊緣處呈現(xiàn)出明顯不連續(xù)的特征，針對(duì)邊界區(qū)域深度值的恢復(fù)，采用基于局部直方圖的WMF進(jìn)行處理.在圖像領(lǐng)域，直方圖表示數(shù)字圖像中像素強(qiáng)度的分布，統(tǒng)計(jì)每一個(gè)強(qiáng)度值所具有的像素個(gè)數(shù)，在局部直方圖的基礎(chǔ)上定義WMF.通過(guò)指定窗口大小內(nèi)的鄰域像素q，計(jì)算像素點(diǎn)p具有深度值d的局部直方圖。

1.2 非邊緣區(qū)域深度圖的修復(fù)

元胞自動(dòng)機(jī)是由馮·諾伊曼為模擬生命系統(tǒng)自我復(fù)制功能所提出的一個(gè)時(shí)間、空間都離散的動(dòng)力學(xué)系統(tǒng).元胞空間中的每一個(gè)元胞都取有限個(gè)狀態(tài)，并且每個(gè)元胞的個(gè)體演變僅與其當(dāng)前狀態(tài)以及其鄰域有關(guān)，元胞之間通過(guò)相同的作用規(guī)則相互作用構(gòu)成動(dòng)態(tài)系統(tǒng)演化.深度值通常存在集群性，尤其在非邊緣區(qū)域顏色相似的像素往往具有相似的深度值，采用元胞自動(dòng)機(jī)模型的彩色圖來(lái)引導(dǎo)深度圖進(jìn)行空洞填補(bǔ)，該方法不但規(guī)則簡(jiǎn)單，易于實(shí)現(xiàn)，并且具有較快的運(yùn)行速度，能較為準(zhǔn)確地完成深度圖的修復(fù).

元胞自動(dòng)機(jī)由元胞、元胞空間和鄰居組成.元胞是元胞自動(dòng)機(jī)的基本組成部分，離散地分布在歐幾里得空間;元胞空間是歐幾里得空間上的網(wǎng)格點(diǎn)集合，可分為一維、二維和三維;鄰居是單個(gè)元胞進(jìn)行狀態(tài)更新時(shí)需要搜索的空間域.

由于圖像采用矩陣的方式進(jìn)行存儲(chǔ)，每一個(gè)數(shù)字代表著對(duì)應(yīng)的像素，所以在本文中將每個(gè)數(shù)字看作單個(gè)元胞，本算法采用Moore類型鄰域規(guī)則對(duì)空間相鄰的元胞進(jìn)行計(jì)算比較.設(shè)元胞X的狀態(tài)為S，當(dāng)X為非深度缺失像素時(shí)，在t+1時(shí)刻X的狀態(tài)=St，像素原始深度值保持不變;當(dāng)X為深度缺失像素時(shí)，則在t+1時(shí)刻計(jì)算彩色圖中X像素點(diǎn)與其周圍8個(gè)鄰居像素點(diǎn)顏色特征向量的歐幾里得距離：

2 ?實(shí)驗(yàn)結(jié)果

本算法使用Matlab R2018b軟件，計(jì)算機(jī)配置為i7處理器：主頻為2.60 GHz，8內(nèi)核，8 GB內(nèi)存，Windows 10系統(tǒng).為了驗(yàn)證算法的有效性，從Middlebury公開數(shù)據(jù)集選取多幅深度圖及彩色圖進(jìn)行實(shí)驗(yàn)，并將實(shí)驗(yàn)結(jié)果與文獻(xiàn)[7]中基于卷積神經(jīng)網(wǎng)絡(luò)的深度圖修復(fù)（DeCNN）方法，及文獻(xiàn)[8]中基于改進(jìn)的最小二乘法的深度圖修復(fù)（EWLS）方法進(jìn)行比較，深度圖修復(fù)效果如圖2所示.

從實(shí)驗(yàn)結(jié)果可以看出，DeCNN由于該網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，所獲得的特征較少，EWLS算法只使用了彩色圖像的單尺度引導(dǎo)，兩種方法都將造成所恢復(fù)的深度圖像出現(xiàn)邊緣模糊現(xiàn)象;而本算法不僅能夠較好地填充空洞，還能保持邊緣細(xì)節(jié)以及結(jié)構(gòu)的完整，在圖像平滑性和質(zhì)量方面都有提升.

為了客觀評(píng)價(jià)圖像修復(fù)質(zhì)量，引入結(jié)構(gòu)相似性（SSIM）和峰值信噪比（PSNR）對(duì)各算法的執(zhí)行效果進(jìn)行客觀評(píng)價(jià).SSIM衡量?jī)煞鶊D像的相似度，PSNR表示圖像抗噪性能，兩個(gè)指標(biāo)的值越大越好.結(jié)果如表1～2所示.由表1～2可見，相較于DeCNN和EWLS算法，本算法對(duì)圖像的修復(fù)效果更好.

3 ?結(jié) 論

本文作者針對(duì)深度圖像存在深度缺失與噪聲的問(wèn)題，用彩色圖引導(dǎo)深度圖，提出了一種新的圖像修復(fù)方法.利用算法復(fù)雜度較低的ACA算法處理深度值連續(xù)變化的非邊緣區(qū)域，并使用WMF算法解決由噪聲引起的邊緣模糊問(wèn)題，對(duì)于不同區(qū)域采用不同的修復(fù)算法，在提升深度圖修復(fù)質(zhì)量的同時(shí)，降低了算法復(fù)雜度.實(shí)驗(yàn)結(jié)果表明：本算法在修復(fù)大面積空洞的同時(shí)，保持了邊緣細(xì)節(jié)以及結(jié)構(gòu)完整性，達(dá)到了良好的修復(fù)效果，得到了較高質(zhì)量的深度圖像.另外，空洞區(qū)域周圍場(chǎng)景的復(fù)雜度會(huì)對(duì)修復(fù)結(jié)果造成很大影響，對(duì)復(fù)雜場(chǎng)景的修復(fù)，本算法仍存在不足，下一步將對(duì)不足之處做出改進(jìn).

參考文獻(xiàn)：

[1] VIJAYANAGAR K R， LOGHMAN M， KIM J. Refinement of depth maps generated by low-cost depth sensors [C]// Soc Design Conference. Jeju Island： IEEE，2012：355-358.

[2] CAMPLANI M， SALGADO L. Efficient spatio-temporal hole filling strategy for Kinect depth maps [J]. The International Society for Optical Engineering，2012（1）：1-10.

[3] TELEA A. An image inpainting technique based on the fast marching method [J]. Journal of Graphics Tools，2004，9（1）：23-34.

[4] LE A， JUNG S W， WON C. Directional joint bilateral filter for depth images [J]. Sensors，2014，14（7）：11362-11378.

[5] 王奎， 安平， 張兆楊， 等. Kinect 深度圖像快速修復(fù)算法 [J]. 上海大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，18（10）：454-458.

WANG K， AN P， ZHANG Z Y， et al. A fast repair algorithm of depth image [J]. Journal of Shanghai University（Nature Science Edition），2012，18（10）：454-458.

[6] WANG Y， ZHONG F， PENG Q， et al. Depth map enhancement based on color and depth consistency [J]. The Visual Computer，2014，30（10）：1157-1168.

[7] ZHANG X， WU R. Fast depth image denoising and enhancement using a deep convolutional network [C]// International Conference on Acoustics Speech and Signal Processing. Shanghai：IEEE，2016：2499-2503.

[8] LIU W， CHEN X， YANG J， et al. Robust color guided depth map restoration [J]. IEEE Transaction Image Process， 2016， 26（1）：315-327.

[9] MIN D， LU J， DO M N. Depth video enhancement based on weighted mode filtering [J]. IEEE Transaction Image Process，2012，21（3）：1176-1190.

[10] LIU J， GONG X. Guided depth enhancement via anisotropic diffusion [C]// Pacific-Rim Conference on Multimedia. Cham：IEEE，2013：408-417.

[11] CHANG T， LIAO W， YANG J. Robust depth enhancement based on texture and depth consistency [J]. IET Signal Processing，2017，12（1）：119-128.

[12] XU D， FAN X，ZHANG S， et al. Multiscale directional fusion for depth map super resolution with denoising [C]// IEEE International Conference on Acoustics Speech and Signal Processing. Brighton： IEEE，2019：2342-2346.

[13] TANG S， ZHU Q， CHEN W， et al. Enhanced RGB-D mapping method for detailed 3D indoor and outdoor modeling [J]. Sensors，2016，16（10）：1589-1616.

[14] ZHANG X， GUO Q， GUAN Y， et al. Color-guided restoration and local adjustment of multi-resolution depth map [J].Smart Innovations in Communication and Computational Sciences，2018，2：131-138.

[15] LIU J Z， WU W H， CHENG C，et al.Depth image inpainting method based on pixel filtering and median filtering [J].Journal of Optoelectronics Laser，2018，29（5）：539-544.

（責(zé)任編輯：包震宇）