牟琦 夏蕾 李占利 李洪安

摘?要：傳統(tǒng)的深度圖像空洞修復(fù)算法，針對離散空洞和物體內(nèi)部及背景中的空洞修復(fù)效果較好，但當(dāng)物體邊緣處存在較大面積空洞時，采用傳統(tǒng)的修復(fù)方法，會出現(xiàn)物體邊緣過填充或欠填充現(xiàn)象，造成邊緣幾何失真、邊界模糊等問題。采用曲率擴(kuò)散和邊緣重建的深度圖像空洞修復(fù)方法。首先獲取深度圖像空洞掩膜，確定空洞區(qū)域;然后使用曲率擴(kuò)散模型填充空洞，并使用二值分割濾波獲取邊緣信息，得到待重建的像素;最后，通過馬爾科夫隨機(jī)場模型重建深度圖像中的物體邊緣紋理，去除模糊現(xiàn)象。曲率擴(kuò)散模型將深度圖像視為一個流體擴(kuò)散方程，利用等照度線和曲率分布確定擴(kuò)散強(qiáng)度，將局部結(jié)構(gòu)從空洞的外部向內(nèi)部擴(kuò)散，能夠準(zhǔn)確的填充較大面積的空洞結(jié)構(gòu);馬爾科夫隨機(jī)場模型利用鄰域系和連通系的能量函數(shù)表示結(jié)構(gòu)信息，能夠有效重建修復(fù)后的深度圖像邊緣紋理，從而去除物體邊緣模糊。實驗結(jié)果表明，相比傳統(tǒng)的深度圖像修復(fù)方法，采用文中方法修復(fù)后深度圖像的平均梯度指標(biāo)提高了10%-25%，可以有效地實現(xiàn)對深度圖像中物體邊緣處較大面積空洞的修復(fù)，得到結(jié)構(gòu)完整、邊緣紋理清晰的深度圖像。

關(guān)鍵詞：深度圖像修復(fù);空洞掩膜;曲率擴(kuò)散模型;二值分割;馬爾科夫隨機(jī)場模型

中圖分類號：TP 391.41

文獻(xiàn)標(biāo)志碼：A

文章編號：1672-9315（2020）02-0369-08

DOI：10.13800/j.cnki.xakjdxxb.2020.0225開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

Depth image hole inpainting method using

curvature diffusion and edge reconstruction

MU Qi1，2，XIA Lei1，LI Zhan-li1，LI Hong-an1

（1.College of Computer Science and Engineering，Xian University of Science and Technology，Xian 710054，China;

2.College of Mechanical and Engineering，Xian University of Science and Technology，Xian 710054，China）Abstract：The traditional depth image hole inpainting methods fill discrete hole points，and the inner part of the object and the hole in the image background achieve better results.However，when there is a large area of the hole at the edge of the object in the image，the traditional inpainting methods may cause over-filling or under-filling of the edge of the object，causing geometric distortion of the edge and blurring of the boundary.To solve the above problems，this paperproposes a depth image hole inpainting method based on curvature diffusion and edge reconstruction，combining holes filling and texture restoration.Firstly，the depth image hole mask is obtained to determine the holes region.Then the holes are filled with the Curvature Driven Diffusion（CDD）model，and the edge blur pixels are removed by binary segmentation filtering to obtain the pixels to be reconstructed.Finally，the edge texture details of the object in the depth image are reconstructed by the Markov Random Field（MRF）.The CDD model considers the depth image as a fluid diffusion equation，and uses the isolux line and curvature distribution to determine the diffusion intensity，and spreads the local structure from the outside to the inside of the holes，which can better fill the large-area hole structure;MRF model uses the energy functions of the neighborhood system and the communication system to introduce structural information，which can effectively reconstruct the edge information of the restored depth image，thus effectively avoiding object edge blur.The experimental results show that compared with the traditional depth image inpainting methods，the average gradient value of the depth imageis improved by 10%～25% processed by the proposed method，

which can effectively fill the large-area holes both in the interior and edge of the object in the depth image，and a depth image with complete structure and clear edge texture is obtained.

Key words：depth image inpainting;hole mask;curvature driven diffusion model;binary segmentation;Markov random field model

0?引?言

深度圖像是一種表示傳感器與場景物體之間距離的圖像。近年來，隨著深度傳感器的普及應(yīng)用，深度圖像在三維重建[1-2]、語義分割[3-4]、目標(biāo)檢測[5]與跟蹤等領(lǐng)域得到了越來越廣泛的應(yīng)用。目前，深度傳感器普遍采用結(jié)構(gòu)光技術(shù)和飛行時間技術(shù)，其優(yōu)點是實時性好，深度圖像獲取方便，但其獲取的深度圖像質(zhì)量會受到目標(biāo)物體材質(zhì)[6]、環(huán)境或設(shè)備自身特性的影響[7]，造成深度圖像中存在大量離散空洞點、以及具有一定面積的空洞區(qū)域，從而嚴(yán)重影響深度圖像的后續(xù)應(yīng)用。

目前的深度圖像修復(fù)方法，大致可分為濾波法、差值法以及函數(shù)優(yōu)化法?；跒V波的修復(fù)方法中

利用高斯濾波（Guassian Filter）來修復(fù)深度圖像Vijayanagar[8-11]，通過加權(quán)平均像素空間位置信息來修復(fù)空洞像素。但該方法所采用的信息單一，未考慮物體邊緣像素差異，造成圖像中物體邊緣模糊。Camplani利用雙邊濾波（Bilateral Filter）方法來對深度圖像進(jìn)行修復(fù)，通過深度圖像素的空間位置和像素值共同確定權(quán)值大小，更好的保留了深度圖像的紋理細(xì)節(jié)[12]。但對于邊緣處較大面積的空洞區(qū)域，由于濾波窗口內(nèi)有效像素少，導(dǎo)致該算法可信度較低。在此基礎(chǔ)上，Le采用聯(lián)合雙邊濾波（Joint Bilateral Filter，JBF）對深度圖像進(jìn)行修復(fù)，使用彩色圖像信息作為引導(dǎo)圖，通過彩色圖像中的顏色信息確定權(quán)值[13]。該方法提高了空洞修復(fù)的準(zhǔn)確性，但當(dāng)引導(dǎo)圖中物體和背景顏色相似，會使深度圖像修復(fù)過程中產(chǎn)生誤差。

基于插值的修復(fù)方法中，

Kulkarni等提出的使用張量的深度圖修復(fù)方法，利用局部邊緣和深度信息來合成缺失值，對于紋理不太復(fù)雜的空洞區(qū)域效果較好[14]。Telea的快速進(jìn)行法[15]（Fast Marching Method，F(xiàn)MM）及其改進(jìn)方法[16-17]，通過對空洞鄰域像素點方向因子、幾何因子和水平集因子的計算，估計空洞像素值。但該方法對已知和修復(fù)后像素采用同等權(quán)重，導(dǎo)致修復(fù)誤差的積累，對圖像中物體邊緣空洞易產(chǎn)生模糊效應(yīng)。

基于函數(shù)優(yōu)化[18-19]的修復(fù)方法中，Wang等采用馬爾科夫隨機(jī)場（Markov Random Field，MRF）優(yōu)化框架將彩色圖像的顏色、邊緣和平滑先驗信息與原始深度值融合[20]，從而填充空洞。但深度邊緣和顏色邊緣之間的不一致性，可能會導(dǎo)致圖像邊緣模糊[21]。Li等通過訓(xùn)練卷積網(wǎng)絡(luò)模型[22]，預(yù)測彩色圖像的表面法線和遮擋邊界特征，用函數(shù)優(yōu)化求解空洞處深度值。該方法對空洞填充及細(xì)節(jié)保留效果較好，但卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，訓(xùn)練耗時長，而且修復(fù)效果受訓(xùn)練數(shù)據(jù)集影響較大。

Chan等提出曲率擴(kuò)散（Curvature Driven Diffusion，CDD）模型[23]，用于修復(fù)彩色圖像。該模型基于流體擴(kuò)散思想，通過提取破損區(qū)域鄰域內(nèi)有效像素的等照度線和曲率驅(qū)動因子，確定擴(kuò)散信息和擴(kuò)散強(qiáng)度，從而有效修復(fù)圖像?？紤]到曲率擴(kuò)散模型具備利用鄰域內(nèi)有效像素信息進(jìn)行擴(kuò)散的能力，可將其應(yīng)用于深度圖像修復(fù)，文中提出了一種采用曲率擴(kuò)散和邊緣重建的深度圖像空洞修復(fù)方法（CDD+MRF）。通過曲率擴(kuò)散來填充空洞，實現(xiàn)了對較大空洞區(qū)域的準(zhǔn)確填充。但由于其平滑擴(kuò)散的特點，修復(fù)物體邊緣處較大面積空洞時，可能會造成紋理信息缺失，導(dǎo)致邊界模糊。因此采用馬爾科夫隨機(jī)場模型對空洞填充后的區(qū)域進(jìn)行邊緣紋理重建。該模型通過深度圖像鄰域系和連通系的能量函數(shù)引入結(jié)構(gòu)信息，再對填充后的

邊緣紋理進(jìn)行重建，可消除因空洞造成的邊緣紋理模糊問題，有效恢復(fù)深度圖像的邊緣紋理信息。

1?研究思路與方法

深度圖像中的空洞分布于圖像物體內(nèi)部及物體邊緣區(qū)域。由于場景中同一物體不同部分與傳感器的距離大致相同，深度圖像中物體內(nèi)部像素值之間深度差別較小，因此，處于物體內(nèi)部的空洞通常較為平滑，易于修復(fù)，而物體邊緣區(qū)域的空洞通常包含較多紋理信息，修復(fù)后容易造成邊緣模糊?；谝陨犀F(xiàn)象，文中方法采用空洞填充和邊緣紋理重建相結(jié)合的方法，分別對內(nèi)部及邊緣空洞進(jìn)行修復(fù)。

首先通過原始深度圖像直方圖提取空洞位置，利用二值化方法獲取掩膜圖像，確定待修復(fù)區(qū)域;然后采用曲率擴(kuò)散模型，對空洞結(jié)構(gòu)進(jìn)行填充。因物體內(nèi)部的空洞不存在紋理缺失，通過曲率擴(kuò)散模型修復(fù)就能夠取得較好的效果。但對于邊緣處空洞，容易造成邊緣紋理信息丟失，文中通過檢測填充后存在邊緣模糊的區(qū)域，并對其進(jìn)行二值分割濾波，提取邊界像素;最后使用馬爾科夫隨機(jī)場模型重建邊緣紋理，得到結(jié)構(gòu)完整，邊緣清晰的深度圖像。

1.1?空洞填充

為了提高空洞填充效率和準(zhǔn)確度，在空洞填充前，首先采用硬閾值方法生成掩膜圖像，對深度圖像上非空洞區(qū)域進(jìn)行屏蔽，準(zhǔn)確獲取空洞位置。具體方法如下：對深度圖做直方化，根據(jù)深度直方圖確定空洞區(qū)域的閾值，然后對深度圖做二值化處理，生成掩膜圖。

文中采用曲率擴(kuò)散模型填充空洞，該模型是在全變分模型基礎(chǔ)上引入曲率驅(qū)動來控制圖像擴(kuò)散強(qiáng)度的改進(jìn)模型。其主要思想是通過提取空洞鄰域內(nèi)有效像素的等照度線和曲率驅(qū)動因子，確定擴(kuò)散信息和擴(kuò)散強(qiáng)度，將空洞區(qū)域邊界的有效像素值信息各向異性地擴(kuò)散到空洞中，從而修復(fù)圖像空洞。由于其平滑擴(kuò)散的特點，適用于內(nèi)部紋理細(xì)節(jié)較少的空洞修復(fù)。

全變分修復(fù)模型采用了各項異性的擴(kuò)散方式，通過Euler-Lagrange方程，如公式（1）所示，求解該模型所得到的極值即修復(fù)后的圖像。

式中

D為待修復(fù)區(qū)域;E為修復(fù)區(qū)域外鄰域;u為目標(biāo)圖像內(nèi)像素點;u為u（x，y）的函數(shù)梯度;λ為Lagrange乘子。根據(jù)變分原理，可以得到對應(yīng)的Euler-Lagrange方程，如公式（2）所示，求解u（x，y）.

其中?[u/|u|]為擴(kuò)散因子;1/|u|為擴(kuò)散系數(shù)。

全變分模型的擴(kuò)散強(qiáng)度僅由等照度線決定，所以，當(dāng)修復(fù)區(qū)域的范圍大于圖像自身的寬度時，修復(fù)圖像將不滿足人類視覺的連通性準(zhǔn)則，如圖3所示。

為了解決全變分模型存在的問題，曲率擴(kuò)散模型引進(jìn)曲率驅(qū)動因子k，將擴(kuò)散系數(shù)1/|u|改為g（|k|）/|u|，使擴(kuò)散強(qiáng)度受到等照度線上的幾何信息影響，在大曲率區(qū)域增強(qiáng)擴(kuò)散，小曲率區(qū)域減弱擴(kuò)散，使修復(fù)后圖像具有連通性效果。

曲率擴(kuò)散模型方程如公式（4）所示

曲率擴(kuò)散模型修復(fù)方法對缺乏紋理信息圖像的空洞修復(fù)有明顯優(yōu)勢，但當(dāng)空洞處于深度圖像物體邊緣區(qū)域時，該方法默認(rèn)空洞的內(nèi)部是平滑的，因此修復(fù)邊緣處空洞時未考慮邊緣紋理信息的修復(fù)，可能會導(dǎo)致物體邊緣模糊。

1.2?邊緣紋理修復(fù)

深度圖像中的大量信息存在于邊緣紋理部分，邊緣丟失將嚴(yán)重影響深度圖像的后續(xù)應(yīng)用。在圖像修復(fù)中，紋理上的缺失部分可通過其鄰域中的有效區(qū)域修復(fù)。根據(jù)這一原理，可使用馬爾科夫隨機(jī)場模型重建物體邊界[24]。MRF模型通過圖像鄰域系和連通系上的能量函數(shù)引入結(jié)構(gòu)信息，表示圖像數(shù)據(jù)的空間相關(guān)性，根據(jù)其相關(guān)性通過圖像的先驗信息有效重建物體邊界，去除邊界模糊現(xiàn)象。但空洞面積過大可能導(dǎo)致原本連通的區(qū)域被空洞分隔開，形成不連通區(qū)域。經(jīng)過空洞填充后，若直接使用MRF模型可能丟失物體結(jié)構(gòu)信息。為了避免這一問題，文中方法首先對模糊區(qū)域進(jìn)行二值分割，獲取物體邊緣信息，得到待重建的像素;然后再進(jìn)行MRF重建。這樣可以有效提升邊界重建的準(zhǔn)確度，同時降低MRF重建時邊界檢索的復(fù)雜度。

1.2.1?邊緣提取

首先對空洞填充后的區(qū)域進(jìn)行模糊檢測，僅對檢測到的邊緣紋理模糊區(qū)域像素使用二值分割濾波。模糊區(qū)域檢測方法如下：當(dāng)修復(fù)后像素點的像素值與其4鄰域內(nèi)像素值的絕對差值小于或等于設(shè)定閾值1時，定義為可靠像素，大于閾值則為模糊像素，從而劃分為可靠區(qū)域與模糊區(qū)域。獲取深度圖像模糊區(qū)域后對其像素點使用二值分割濾波，去除模糊像素點，得到待修復(fù)的像素點。

二值分割濾波具體原理如圖4所示：確定圖像模糊區(qū)域像素I（3，3）后，以該像素點為中心定義一個3*3的濾波窗口如圖4（b）所示，表示為W（3，3）。通過公式（6）計算濾波窗口內(nèi)像素點的均值，利用均值將窗口內(nèi)像素分為2類，大于平均值的一類稱為前景區(qū)域F，小于平均值的一類稱為背景區(qū)域B.當(dāng)前像素點若歸為前景，則窗口內(nèi)前景區(qū)域像素均值MF為原有像素值;若歸為背景，則用背景區(qū)域像素均值MB為原有像素值，最終將2個平均值分配給相應(yīng)區(qū)域中的像素。

其他待修復(fù)區(qū)域內(nèi)的像素，以相同的方式形成濾波窗口I（4，3）和I（4，4）如圖4（c）和圖4（d），執(zhí)行上述分類操作，計算平均值和劃分當(dāng)前像素歸屬前景或是背景區(qū)域。由于濾波窗口一次僅移動一個像素，使得每個像素出現(xiàn)在多個窗口中，所以當(dāng)所有待修復(fù)區(qū)域像素計算完成，每個待修復(fù)像素會生成多個平均值，多個平均值再求均值獲得每個待修復(fù)區(qū)域像素的濾波輸出值，如圖4（e）所示。

1.2.2?邊緣重建

提取像素模糊區(qū)域邊緣后，對其進(jìn)行基于馬爾科夫隨機(jī)場模型的邊緣紋理重建。具體原理如下：馬爾科夫隨機(jī)場模型是通過連接深度圖像有效像素值與重建估計值重建圖像物體邊界。通過以下能量函數(shù)建模估計深度圖像的概率分布

f*為需要重建的像素點;E（f|R1，IF）為由數(shù)據(jù)項和平滑項組成的能量函數(shù)，數(shù)據(jù)項的目的是通過深度圖像的有效像素值回歸重建邊緣深度像素值，平滑項則強(qiáng)調(diào)IF（i）及其鄰域內(nèi)像素之間的相關(guān)性，矩陣形式如下

α為所述數(shù)據(jù)項和平滑項之間的平衡因子。從IF中估計深度圖像像素點f*，然后通過求解最大后驗概率得出，等同于方程中求解能量函數(shù)最小化。

從圖5可以看出，圖像邊緣模糊區(qū)域經(jīng)過邊緣提取和馬爾科夫隨機(jī)場模型重建后，邊緣紋理信息得到了有效的修復(fù)。

2?實驗對比

為了驗證文中方法的有效性，選取Middlebury數(shù)據(jù)集、RGBZ數(shù)據(jù)集[25]和Kinect 2.0傳感器采集的深度數(shù)據(jù)進(jìn)行實驗。Middlebury數(shù)據(jù)集包含21組帶空洞的深度圖像和同場景下的彩色圖像，RGBZ數(shù)據(jù)集包含了9組無空洞的深度圖像和同場景下的彩色圖像;Kinect 2.0傳感器采集數(shù)據(jù)包含4組帶空洞深度圖。實驗使用MATLAB R2016b，在Windows 7操作系統(tǒng)的計算機(jī)上進(jìn)行。

2.1?人工空洞修復(fù)實驗

對深度圖像人為添加空洞，然后分別采用聯(lián)合雙邊濾波方法（Joint Bilateral Filtering，JBF）[26]、快速進(jìn)行法（Fast Marching Method，F(xiàn)MM）[27]以及文中提出的CDD和CDD+MRF方法進(jìn)行實驗，通過對比原始深度圖像與修復(fù)后圖像，檢測方法的有效性。

圖6實驗采用RGBZ數(shù)據(jù)編號為01的深度圖像作為實驗數(shù)據(jù)，圖6（b）是對其手臂邊緣、頭部邊緣和桌面內(nèi)部添加空洞后圖像，圖6（c）～（f）分別是使用JBF，F(xiàn)MM，CDD法和CDD+MRF方法修復(fù)后的結(jié)果。

圖7使用Middlebury庫中提供的Lundry深度圖像作為實驗對象，并對其背景，瓶身邊緣等地方添加空洞，圖7（c）～（f）分別是使用JBF，F(xiàn)MM，CDD和CDD+MRF方法修復(fù)后的結(jié)果。

圖6，圖7實驗效果表明，采用傳統(tǒng)的方法進(jìn)行深度圖像修復(fù)，背景區(qū)域和物體內(nèi)部空洞修復(fù)效果較好，但不能準(zhǔn)確修復(fù)物體邊緣處空洞，造成空洞填充不完整、邊緣紋理細(xì)節(jié)模糊。如圖6（c）與圖7（c）中物體邊緣處空洞修復(fù)，沒能準(zhǔn)確的劃分前景和背景邊界，造成手臂和瓶身邊緣修復(fù)存在欠填充問題，部分屬于手臂和瓶子的部位填充成了背景深度。而圖6（d）與圖7（d）方法的修復(fù)結(jié)果出現(xiàn)了相似的問題，且在圖像物體邊緣處存在紋理模糊。相對前幾種修復(fù)方法，圖6（e）與圖7（e）方法對缺失部分的補(bǔ)全相對完整，說明采用CDD模型對較大面積的空洞區(qū)域有較好的修復(fù)效果。但是在填充邊緣空洞時，仍存在物體邊界模糊的現(xiàn)象。圖6（f）、圖7（f）為CDD+MRF方法的修復(fù)效果，可以看出，該方法不僅能夠更好地對空洞結(jié)構(gòu)進(jìn)行完整填充，同時準(zhǔn)確地恢復(fù)了物體邊緣處的紋理細(xì)節(jié)，使得修復(fù)后圖像的邊緣更清晰完整。

文中采用平均梯度作為客觀評價指標(biāo)，對RGBZ數(shù)據(jù)的6幅修復(fù)后的深度圖像進(jìn)行評價。平均梯度指標(biāo)通過對原始圖像與修復(fù)后圖像的細(xì)節(jié)對比來反映圖像微小細(xì)節(jié)反差和紋理變化特征，同時也能評價圖像中物體邊緣紋理的清晰度。分析表1結(jié)果可知，相比較傳統(tǒng)的JBF，F(xiàn)MM方法，文中方法修復(fù)后的深度圖像的平均梯度值提高了10%～25%，對深度圖像中物體內(nèi)部和邊緣處的空洞的修復(fù)更具優(yōu)勢。

2.2?對自然空洞修復(fù)實驗

為了進(jìn)一步說明文中修復(fù)方法的有效性，采用公開數(shù)據(jù)庫Middlebury庫中提供的數(shù)據(jù)集和Kinect 2.0傳感器采集深度數(shù)據(jù)作為自然空洞修復(fù)實驗對象，圖8是分別選取Baby 3，Bowling 2和Flowerpots 3幅存在物體邊緣處空洞的深度圖進(jìn)行實驗的效果圖。圖8（a）為原始深度圖像，圖8（b）～（e）分別是使用JBF，F(xiàn)MM，CDD法和CDD+MFR修復(fù)后的結(jié)果。通過修復(fù)后圖像邊緣紋理放大對比，傳統(tǒng)方法在修復(fù)邊緣處空洞時，出現(xiàn)過填充或欠填充現(xiàn)象，造成修復(fù)后圖像中物體邊緣幾何失真和模糊。CDD模型對較大面積的空洞區(qū)域有較好的修復(fù)效果。但是在填充邊緣空洞時，仍存在物體邊界模糊的現(xiàn)象，但CDD+MFR方法在空洞填充準(zhǔn)確性和完整性以及邊界清晰度上，相比于前幾種方法均有明顯提升。

圖9是使用Kinect 2.0深度傳感器對實驗室場景物體進(jìn)行采集的深度圖像。

Kinect 2.0獲取的深度圖像中，物體內(nèi)部及邊緣均存在大量空洞。圖10（a）～（d）分別采用JBF，F(xiàn)MM，CDD方法和CDD+MFR方法對深度圖進(jìn)行修復(fù)。通過實驗效果可以看出，CDD方法空洞填充較好，但邊緣紋理較為模糊，CDD+MFR方法對深度圖像修復(fù)的完整性和邊緣清晰度都表現(xiàn)出了更佳的性能。

3?結(jié)?論

深度圖像中的物體邊緣部分出現(xiàn)較大面積空洞時，采用傳統(tǒng)的修復(fù)方法（如JBF，F(xiàn)MM等）會出現(xiàn)過填充或欠填充，造成邊緣幾何失真、邊緣模糊等現(xiàn)象。針對以上問題，文中提出了一種基于曲率擴(kuò)散和邊緣重建的深度圖像空洞修復(fù)方法。該方法將曲率擴(kuò)散模型應(yīng)用于深度圖像空洞填充，并采用馬爾科夫隨機(jī)場模型對填充后的區(qū)域進(jìn)行紋理重建，從而有效修復(fù)空洞并且消除物體邊緣模糊現(xiàn)象。實驗結(jié)果表明，相比JBF，F(xiàn)MM等修復(fù)方法，文中提出的方法對深度圖像中存在物體邊緣處空洞缺失現(xiàn)象的修復(fù)效果更佳，且平均梯度指標(biāo)結(jié)果也具有明顯提高。

參考文獻(xiàn)（References）：

[1]楊宇翔，高明煜，尹?克，等.結(jié)合同場景立體圖對的高質(zhì)量深度圖像重建[J]. 中國圖象圖形學(xué)報，2015，20（1）：1-10.

YANG Yu-xiang，GAO Ming-yi，YINKe，et al.High-quality depth map reconstruction combining stereo image pair[J]. Journal of Image and Graphics，2015，20（1）：1-10.

[2]

李詩銳，李?琪.基于Kinect v2的實時精確三維重建系統(tǒng)[J].軟件學(xué)報，2016，27（10）：2519-2529.

LI Shi-rui，LI Qi. Real-time accurate 3D reconstruction based on Kinect v2[J].Journal of Software，2016，27（10）：2519-2529.

[3]Schwarz M，Milan A，Periyasamy A S，et al.RGB-D object detection and semantic segmentation for autonomous manipulation in clutter[J].The International Journal of Robotics Research，2018，37（4-5）：437-451.

[4]劉天亮，馮希龍，顧雁秋.一種由粗至精的RGB-D室內(nèi)場景語義分割方法[J].東南大學(xué)學(xué)報（自然科學(xué)版），2016，46（4）：681-687.

LIU Tian-liang，F(xiàn)ENG Xi-long，GU Yan-qiu.Coarse-to-Fine semantic parsing method for RGB-D indoor scenes[J].Journal of Southeast University（Natural Science Edition），2016，46（4）：681-687.

[5]季一木，陳治宇，田鵬浩.無人駕駛中3D目標(biāo)檢測方法研究綜述[J].南京郵電大學(xué)學(xué)報（自然科學(xué)版），2019（4）：72-79.

JI Yi-mu，CHEN Zhi-yu，TIAN Peng-hao.Research review of 3D target detection method in unmanned vehicle[J].Journal of Nanjing University of Posts and Telecommunications（Natural Science Edition），2019（4）：72-79.

[6]Atapour-Abarghouei A，Breckon T P.A comparative review of plausible hole filling strategies in the context of scene depth image completion[J].Computers & Graphics，2018，72（5）：39-58.

[7]Mallick T，Das P P，Majumdar A K.Characterizations of noise in kinect depth images：a review[J].IEEE Sensors Journal，2014，14（6）：1731-1740.

[8]劉繼忠，吳文虎，程?承，等.基于像素濾波和中值濾波的深度圖像修復(fù)方法[J].光電子·激光，2018，29（5）：539-544.

LIU Ji-zhong，WU Wen-hu，CHENG Cheng，et al.Depth image repair method based on pixel filter and median filter[J].Journal of Optoelectronics Laser，2018，29（5）：539-544.

[9]李少敏，張?倩，王?沛.基于高斯混合模型的Kinect深度圖像增強(qiáng)算法[J].上海師范大學(xué)學(xué)報（自然科學(xué)版），2016，45（1）：28-33.

LI Shao-min，ZHANG Qian，WANG Pei.Kinect sensor's depth image enhancement based on gaussian mixture model[J].Journal of Shanghai Normal University（Natural Sciences），2016，45（1）：28-33.

[10]呂朝輝，沈縈華，李精華.基于Kinect的深度圖像修復(fù)方法[J].吉林大學(xué)學(xué)報（工學(xué)版），2016，186（5）：1697-1703.

LU Zhao-hui，SHEN Ying-hua，LI Jing-hua.Depth map inpainting method based on Kinect sensor[J].Journal of Jilin University（Engineering and Technology Edition），2016，186（5）：1697-1703.

[11]胡天佑，彭宗舉，焦任直，等.基于超像素分割的深度圖像修復(fù)算法[J].光電子·激光，2016（27）：1120-1128.

HU Tian-you，PENG Zong-ju，JIAO Ren-zhi，et al.Depth map inpainting algorithm based on superpixel segmentation[J].Journal of Optoelectronics Laser，2016（27）：1120-1128.

[12]Camplani M，Salgado L.Efficient spatio-temporal hole filling strategy for Kinect depthmaps[J].Proceedings of SPIE，2012（1）：316-320.

[13]?Le A，Jung S W，Won C.Directional joint bilateral filter for depth images[J].Sensors，2014，14（7）：11362-11378.

[14]Kulkarni M，Rajagopalan A N.Depth inpainting by tensor voting[J].Journal of the Optical Society of America Aoptics Image Science and Vision，2013，30（6）：1155-1165.

[15]Telea Alexandru.An image inpainting technique based on the fast marching method[J].Journal of Graphics Tools，2004，9（1）：23-34.

[16]Gong X，Liu J，Zhou W，et al.Guided depth enhancement via a fast marching method[J].Image and Vision Computing，2013，31（10）：695-703.

[17]萬?紅，錢?銳.模糊C-均值聚類引導(dǎo)的Kinect深度圖像修復(fù)算法[J].計算機(jī)應(yīng)用研究，2019，36（5）：290-294.

WAN Hong，QIAN Rui.Kinect depth map inpainting under fuzzy C-mean clustering guidance[J].Application Research of Computers，2019，36（5）：290-294.

[18]陳國軍，程?琰，曹?岳.基于目標(biāo)特征的植株深度圖像修復(fù)[J].圖學(xué)學(xué)報，2019，40（3）：460-465.

CHEN Guo-jun，CHENG Yan，CAO Yue.Plant depth maps recovery based on target features[J].Journal of Graphics，2019，40（3）：460-465.

[19]王殿偉，陳?鵬，李大湘，等.融合紋理信息的深度圖像修復(fù)[J].系統(tǒng)工程與電子技術(shù)，2019，41（8）：1720-1725.

WANG Dian-wei，CHEN Peng，LI Da-xiang，et al.Depth maps inpainting with fused texture information[J].Systems Engineering and Electronics，2019，41（8）：1720-1725.

[20]?Wang Y，Zhong F，Peng Q，et al.Depth map enhancement based on color and depth consistency[J].The Visual Computer，2014，30（10）：1157-1168.

[21]Zuo Y，Wu Q，Zhang J，et al.Explicit edge inconsistency evaluation model for color-guided depth map enhancement[J].Transactions on Circuits and Systems for Video Technology，2018，28（2）：439-453.

[22]Li J，Gao W，Wu Y.High-quality 3D reconstruction with depth super-resolution and completion[J].IEEE Access，2019（7）：19370-19381.

[23]Chan T F，Shen J.Nontexture inpainting by curvature-driven diffusions[J].Journal of Visual Communication and Image Representation，2001，12（4）：436-449.

[24]Zhao L，Bai H，Wang A，et al.Two-stage filtering of compressed depth images with markov random field[J].Signal Processing：Image Communication，2017（54）：11-22.

[25]Richardt C，Stoll C，Dodgson N A，et al.Coherent spatiotemporal filtering， upsampling and rendering of RGBZ videos[J].Computer Graphics Forum，2012，31（2）：247-256.

[26]李知菲，陳?源.基于聯(lián)合雙邊濾波器的Kinect深度圖像濾波算法[J].計算機(jī)應(yīng)用，2014，34（8）：2231-2234.

LI Zhi-fei，CHEN Yuan.Kinect depth image filtering algorithm based on joint bilateral filter[J].Journal of Computer Applications，2014，34（8）：2231-2234.