路 晶

(中國(guó)民用航空飛行學(xué)院計(jì)算機(jī)學(xué)院，廣漢 618307)

深度恢復(fù)是計(jì)算機(jī)視覺(jué)的一項(xiàng)基本任務(wù)，高質(zhì)量的深度圖為場(chǎng)景重建、飛行自主駕駛等許多計(jì)算機(jī)視覺(jué)任務(wù)提供了必要的三維信息[1-2]。雖然高質(zhì)量的紋理或顏色信息可以很容易地被流行的彩色相機(jī)捕獲，但對(duì)于主流的深度傳感器來(lái)說(shuō)，其獲得的深度圖不可避免地會(huì)受到各種退化的影響，如低分辨率、深度缺失或充滿(mǎn)噪聲等[3]。深度恢復(fù)任務(wù)的目標(biāo)是從退化深度測(cè)量中恢復(fù)高質(zhì)量的深度圖。

深度恢復(fù)方法一般包括局部濾波方法和全局優(yōu)化方法。Tanveer等[4]定義了一個(gè)廣義濾波器，通過(guò)考慮制導(dǎo)圖像的內(nèi)容來(lái)計(jì)算濾波輸出，從而導(dǎo)出一個(gè)像雙邊濾波器的邊緣保持平滑算子。王瑞等[5]提出了一種具有簡(jiǎn)單濾波方法靈活性和速度的邊緣感知平滑算法。盡管局部濾波方法簡(jiǎn)單有效，但短視局部判斷通常不能提供足夠的信息來(lái)捕捉全局結(jié)構(gòu)。相比之下，全局優(yōu)化方法將深度恢復(fù)任務(wù)描述為一個(gè)包含數(shù)據(jù)項(xiàng)和正則化項(xiàng)的優(yōu)化模型。李波等[6]提出了一個(gè)馬爾可夫隨機(jī)場(chǎng)(Markov random field，MRF)模型，用于整合低分辨率深度圖和高分辨率彩色圖。Wang等[7]將正則化項(xiàng)建模為二階全廣義變分正則化，并對(duì)非各向異性擴(kuò)散張量進(jìn)行加權(quán)以指導(dǎo)上采樣。交替方向乘子法(alternating direction method of multipliers，ADMM)是一種常用的算法，它通過(guò)引入輔助變量和拉格朗日乘子，將原來(lái)的復(fù)雜優(yōu)化問(wèn)題分解為一系列簡(jiǎn)單的子問(wèn)題[8]。Yan等[9]提出的增廣拉格朗日多重乘子方法通過(guò)在目標(biāo)函數(shù)中添加二次罰項(xiàng)和拉格朗日乘子，將約束優(yōu)化問(wèn)題替換為一系列無(wú)約束問(wèn)題。盡管取得了上述進(jìn)展，但仍舊存在幾個(gè)懸而未決的問(wèn)題：一是上述方法側(cè)重于尋找深度圖的先驗(yàn)知識(shí)，但沒(méi)有充分挖掘深度信號(hào)的本質(zhì)特征；二是凸懲罰函數(shù)和非凸懲罰函數(shù)都有其固有的缺陷。即凸懲罰函數(shù)不足以產(chǎn)生稀疏性。而非凸懲罰函數(shù)容易獲得局部最優(yōu)解；三是在實(shí)際應(yīng)用中深度-顏色相關(guān)性無(wú)法充分得到利用。

為了解決上述問(wèn)題，現(xiàn)提出一種基于Moreau包絡(luò)與迭代重加權(quán)策略的圖像深度恢復(fù)方法?；贛oreau包絡(luò)的非凸懲罰函數(shù)能夠提高模型的先驗(yàn)稀疏性，同時(shí)保持模型的凸性，提出的加速算法能夠處理非均勻下采樣問(wèn)題。最后數(shù)據(jù)集實(shí)驗(yàn)結(jié)果證明本文方法的有效性。

1 提出的方法

1.1 深度觀測(cè)模型

(1)

式(1)中：K為觀測(cè)矩陣；n為加性高斯白噪聲。在不同的情況下，不同的降級(jí)可能會(huì)作為組合類(lèi)型出現(xiàn)在捕獲的深度圖中，并且可以由觀測(cè)矩陣K表示。

1.2 深度表示模型

根據(jù)觀察，一般三維場(chǎng)景的深度圖主要包含曲線(xiàn)分隔的光滑區(qū)域，這種形式的二維數(shù)據(jù)滿(mǎn)足以下情況：在近似分段常數(shù)信號(hào)重疊時(shí)，存在一個(gè)相對(duì)緩慢變化的多項(xiàng)式信號(hào)。隨機(jī)地從捕獲的深度圖像中提取一個(gè)深度塊，并添加方差為25的高斯噪聲。分解成分和恢復(fù)結(jié)果分別用藍(lán)色區(qū)域和紅色區(qū)域表示。深度塊可以在強(qiáng)噪聲下成功分解為低階多項(xiàng)式曲面和分段常數(shù)分量，揭示了深度圖的潛在可分解結(jié)構(gòu)。因此，在每個(gè)分量上進(jìn)行正則化的圖像分解模型可以很好地描述此類(lèi)二維信號(hào)。深度觀測(cè)模型可以描述為

f=K(x+z)+n

(2)

所提出的圖像分解模型形式為

Es(x)+Ep(z)

(3)

式(3)中：等號(hào)右側(cè)第一項(xiàng)為數(shù)據(jù)一致性項(xiàng)，第二項(xiàng)和第三項(xiàng)分別為懲罰x和z的正則化項(xiàng)；標(biāo)量μ為平衡數(shù)據(jù)項(xiàng)的相對(duì)信度。對(duì)分段常數(shù)分量x的稀疏懲罰Es定義為

(4)

式(4)中：Hl為由某些濾波算子構(gòu)成的濾波矩陣；φl(shuí):Rn→R為在某些變換中先于約束x的稀疏性的信號(hào)域。僅使用稀疏項(xiàng)的懲罰有利于常數(shù)解，這使得恢復(fù)的深度圖像變成一個(gè)像卡通圖像一樣的分段恒定的表面，從而導(dǎo)致某些對(duì)象的深度估計(jì)不準(zhǔn)確。因此，有必要將帶有稀疏懲罰的多項(xiàng)式擬合項(xiàng)集成到統(tǒng)一模型中，以解決上述問(wèn)題。

通常，多項(xiàng)式平滑使用最小二乘法來(lái)擬合多項(xiàng)式曲面消除噪聲影響，因此，使用它近似于多項(xiàng)式分量表示為

(5)

式(5)中：δ為加權(quán)參數(shù)；P為預(yù)定義的Vandermonde矩陣；t為多項(xiàng)式系數(shù)的向量。設(shè)z=(z1,z2,…,zN)T是一個(gè)N維向量，則

(6)

式(6)中：d為多項(xiàng)式的次數(shù)。二階多項(xiàng)式逼近d=2，足以擬合深度塊的多項(xiàng)式分量。

1.3 深度恢復(fù)的稀疏性

為提出的模型(3)設(shè)計(jì)一個(gè)正則化項(xiàng)是為了利用非凸懲罰函數(shù)來(lái)促進(jìn)先驗(yàn)稀疏性，同時(shí)為每個(gè)變量保持整個(gè)模型的凸性。設(shè)D為局部有限差分算子，D=[D1;D2]表示水平和垂直方向上的一階有限差分算子。提出的稀疏促進(jìn)先驗(yàn)定義為

Es(x)=ψα(x)=‖Dx‖1-Sα(x)

(7)

式(7)中：Sα(x)為Moreau包絡(luò)，表達(dá)式為

(8)

式(8)中：α為權(quán)重參數(shù)，α>0。ψα(x)滿(mǎn)足以下不等式：

0≤ψα(x)≤‖Dx‖1，?x

(9)

如果將K假定為同一矩陣，則可以將Sα(x)視為變量v的降噪器。一旦獲得v，Sα(x)就被轉(zhuǎn)換為一個(gè)誤差項(xiàng)，該誤差項(xiàng)主要包括兩個(gè)分量，即深度不連續(xù)處的大梯度以及x與降噪后的v之間的噪聲。當(dāng)從‖Dx‖1中減去Sα(x)時(shí)，ψα(x)僅解決那些梯度誤差。在式(6)中排除了大部分深度不連續(xù)的梯度，避免了對(duì)深度邊界的懲罰，間接促進(jìn)了先驗(yàn)稀疏性。具有稀疏性先驗(yàn)的模型為

(10)

式(10)對(duì)于每個(gè)變量在條件0 <α≤μ時(shí)都是凸的，盡管懲罰函數(shù)是非凸的。

命題1(凸性)。令μ>0，α>0，δ>0，多元函數(shù)E(x,z)：Rn×Rn→R被定義為

(11)

式(11)中：ψα(x)由式(6)給出。如果0<α≤μ，則E(x,z)分別對(duì)于x和z都是凸的。

證明：首先證明E(x,z)對(duì)于x是凸的，即

(12)

提出的促進(jìn)稀疏的先驗(yàn)等式[式(6)]被簡(jiǎn)化為當(dāng)?shù)禐?時(shí)的TV-L1。當(dāng)待估計(jì)的基本信號(hào)近似分段平滑時(shí)，TV-L1是一個(gè)合適的工具。TV-L1懲罰的特征表達(dá)式為

(13)

由于分段常數(shù)信號(hào)的表示是極其稀疏的，因此與非凸懲罰(TV-Lp)相比，L1范數(shù)通常不足以產(chǎn)生稀疏性(0

(14)

式(14)中：00可以避免|Dix|等于零。

1.4 重加權(quán)策略

深度圖包含由深度邊緣分隔開(kāi)的平滑區(qū)域，真正影響深度質(zhì)量的是深度邊緣的清晰度，好的邊緣保留技術(shù)通?？梢员ＷC恢復(fù)性能。圖1(a)從上至下分別顯示了高分辨率深度圖，高質(zhì)量彩色圖像和低分辨率深度圖深度。通過(guò)在圖1(b)中繪制一維信號(hào)可以看出，深度圖中的邊緣在彩色圖像中具有對(duì)應(yīng)的位置，因此可以從隨附的彩色圖像中推斷出深度圖中的邊緣位置。但是，并非總是如此，因?yàn)楸砻婕y理的強(qiáng)度變化與深度無(wú)關(guān)。通過(guò)檢查局部紋理和深度層邊界之間的一致性來(lái)制定重加權(quán)的相似性度量ω來(lái)定位深度邊界并處理不一致的問(wèn)題，其計(jì)算如下。

圖1 顏色和深度信息之間相互關(guān)系的圖示Fig.1 An illustration of the relationship between color and depth information

ω[fk(p),fc(p)]=

(15)

式(15)中：fk和fc分別為從第k次迭代獲得的深度圖和彩色圖像；g[fk(p)]={‖D1fk‖p′,[|D2fk|]p′}、p′∈N(p)為每個(gè)像素p的局部鄰域N(p)內(nèi)的水平方向和垂直方向梯度的拼接；g[fc(p)]為彩色圖像上梯度的拼接；<·和·>為點(diǎn)積運(yùn)算。

然后，可以簡(jiǎn)單地將其相似性度量ω集成到式(6)中的懲罰項(xiàng)中，可得

ψα(x)=‖ω○Dx‖1-Sα(x)

(16)

式(16)中：○為逐元素乘法。ω可以校正梯度，并減少對(duì)出現(xiàn)在深度邊界處的有意義差異的損失，這可被視為促進(jìn)稀疏性的一種方式。

2 算法

2.1 該模型的算法

引入近端梯度方法來(lái)求解基于稀疏促進(jìn)先驗(yàn)的模型，即

F(x)=h1(x)+h2(x)

(17)

式(17)中：h1:Rn→R和h2:Rn→R∪(+∞)都是閉合的正凸，而h1是可微的。近端梯度法具有以下迭代方案，表達(dá)式為

(18)

(19)

式中：ζ為輔助變量；π為步長(zhǎng)。根據(jù)在式(9)中提出的模型，則

(20)

(21)

h1的梯度等價(jià)于

(22)

(23)

(24)

(25)

(26)

算法11:輸入:觀測(cè)深度圖f0,觀測(cè)矩陣K,范德蒙矩陣(二階)P,差矩陣D,推斷相似度w;α>0,μ>0,δ=1,k=0。2:while不收斂的情況下do。3:通過(guò)使用式(7)最小化x～。4:通過(guò)式(22)、式(24)、式(25)和式(13)計(jì)算x～、xkm、fkm和ωk。5:通過(guò)執(zhí)行ADMM算法來(lái)最小化式(26)。6:k=k+1。7:endwhile。8:輸出:f=xk+1+Ptk+1。

定理(收斂分析):令h1:Rn→R和h2:Rn→R∪(+∞)都是閉合的適當(dāng)凸函數(shù)，并且h1是可微的。假設(shè)h1+h2的最優(yōu)解集X*是非空的，令{xk}是由式(10)使用近端梯度法生成的序列，并假設(shè)如果給出xk，則zk和tk也已知。然后

(27)

此外，{xk}收斂到x*∈X*，并且對(duì)于所有k=0，1,…有

(28)

式(28)中：l(x;xk)為h1(x)在xk處的線(xiàn)性近似，表示為

(29)

2.2 加速算法

基于ADMM算法的加速算法，最小化式(23)。需要引入一個(gè)輔助變量y，并利用ADMM算法形成一個(gè)不受約束的模型，即

Lβ(x,y,z,t,λ)=‖ωk○y‖1+〈λ,Dx-y〉+

(30)

式(30)中：λ為矢量形式的拉格朗日乘數(shù)；β為懲罰參數(shù)。對(duì)于x子問(wèn)題，封閉式解決方案為

(31)

通常，為了加速計(jì)算，采用快速傅立葉變換(fast Fourier transform，F(xiàn)FT)技術(shù)將問(wèn)題變換到FFT域。但是，F(xiàn)FT不能直接用于解決x子問(wèn)題，除了KTK是相同的矩陣，即整個(gè)模型降級(jí)為去噪問(wèn)題。在此方案中，觀察矩陣K是用于超分辨率任務(wù)的下采樣矩陣，或者是用于圖像修復(fù)的指示矩陣。分母βjDTD+μjKTK通過(guò)FFT技術(shù)既不是對(duì)角線(xiàn)也不能對(duì)角線(xiàn)化。為解決這個(gè)問(wèn)題，在原始問(wèn)題式(26)中引入了一個(gè)新的輔助變量u，從而轉(zhuǎn)換為以下優(yōu)化問(wèn)題，即

(32)

相應(yīng)的增強(qiáng)拉格朗日函數(shù)修改為

Lβ1,β2(x,u,y,z,t,λ1,λ2)=‖ωk○y‖1+

〈λ1,Dx-y〉+〈λ2,x-u〉+

(33)

式(33)中：λ1、λ2為矩陣中與x大小相同的拉格朗日乘數(shù)；β1、β2為懲罰參數(shù)。然后，可以通過(guò)ADMM算法將原始x子問(wèn)題分為兩個(gè)問(wèn)題。

x子問(wèn)題公式為

(34)

u子問(wèn)題公式為

(35)

式中：F(·)、F-1(·)分別為離散傅里葉變換(discrete Fourier transform，DFT)及其逆變換；I為相同的矩陣。

所有其余的z、y和t的子問(wèn)題都具有近似形式的解決方案，并且可以低復(fù)雜度解決。如算法2所示，其中soft(·)表示軟閾值函數(shù)。z子問(wèn)題的公式與u子問(wèn)題相似，也可以通過(guò)按元素劃分來(lái)解決。

算法2加速算法1:輸入:觀測(cè)深度塊fkm,觀測(cè)矩陣K,范德蒙德矩陣P,差分矩陣D,從彩色圖像推斷出的加權(quán)矢量w,x0=K-1fkm,x0=u0=z0,λ01=0,λ02=0,β01>0,β02>0,μ0>0,δ=1。固定步距ρ0≥1,ρ1>1,ρ2>1,j=0。2:while在未收斂do。3:yj+1=soft[wk○(Dxj+λj1/βj1),wk/βj1]4:通過(guò)式(30)、式(31)分別計(jì)算xj+1、uj+1。5:zj+1=(μjKTK+δI)-1[μjKT(fkm≤-Kxj+1)+δPtj]6:tj+1=P+zj+1。7:λj+11=λj1-βj1(yj+1-Dxj+1)。8:λj+12=λj2-βj2(uj+1-xj+1)。9:μj+1=ρ0μj,βj+11=ρ1βj1,βj+12=ρ2βj2。10:j=j+1。11:endwhile。12:輸出:xk+1,zk+1,tk+1。

3 實(shí)驗(yàn)和結(jié)果

3.1 實(shí)驗(yàn)環(huán)境

數(shù)據(jù)集是基于Middleburry數(shù)據(jù)集合成的，該數(shù)據(jù)集具有3種典型的深度降級(jí)模式，即下采樣降級(jí)(2×、4×、8×和16×)，降級(jí)和類(lèi)似Kinect的退化。測(cè)試圖像包括6個(gè)深度顏色對(duì)，即來(lái)自Middleburry數(shù)據(jù)集的Art、Book、Dolls、Laundry、Moebius和Reindeer。

(1)參數(shù)設(shè)置。根據(jù)噪聲量對(duì)μ進(jìn)行調(diào)諧，對(duì)于下采樣和Kinect類(lèi)降級(jí)，分別設(shè)置μ=1，對(duì)于ToF類(lèi)降級(jí)分別設(shè)置μ=0.1。對(duì)于TV-L1和TV-Lp來(lái)說(shuō)，β、ρ0和ρ1分別設(shè)置為0.005、1.5和1.25。對(duì)于TV-Lp來(lái)說(shuō)，ρ設(shè)置為0.85。為加速算法設(shè)置了β1=0.004，β2=0.002，ρ0=1，ρ1=1.25，ρ2=1.25。平均絕對(duì)誤差(mean absolute deviation,MAD)用于測(cè)量恢復(fù)的深度圖及其對(duì)應(yīng)的地面真實(shí)值之間的差。所有實(shí)驗(yàn)均以簡(jiǎn)單的MATLAB代碼實(shí)施，并在具有Intel(R)Core(TM)3.4-GHz i7 CPU和8.0 GB RAM的臺(tái)式機(jī)上運(yùn)行。

(2)對(duì)比方法。通過(guò)將高斯加權(quán)擴(kuò)展到交叉雙邊加權(quán)的改進(jìn)馬爾科夫損失選擇(Markov loss selective,MLS)方案，被稱(chēng)為改進(jìn)的MLS(improved Markov loss selective，IMLS)[10]。像素引導(dǎo)的局部模型濾波(color-guided local model filtering,CLMF)方法有兩種版本：分別為零階和一階多項(xiàng)式模型的CLMF0和CLMF1[11]。當(dāng)式(6)中α=0時(shí)，深度模型的分解恢復(fù)(depth model decomposition recovering,DMDR)與具有稀疏性先于模型的模型相似，但沒(méi)有引入重加權(quán)策略[12]。結(jié)構(gòu)選擇深度超分辨(structure selective depth superresolution,SSDS)與之前使用TV-Lp的模型相似，但是沒(méi)有多項(xiàng)式項(xiàng)和重加權(quán)策略[13]。因此，通過(guò)添加相應(yīng)的組件來(lái)改進(jìn)這兩種方法，并將它們分別重命名為改進(jìn)的DMDR (IDMDR)和改進(jìn)的SSDS(ISSDS)[14]，除此之外，還包括傳統(tǒng)圖像恢復(fù)方法：Guided[4]，Bicubic[5]，Edge[6]，JBU[6]，F(xiàn)GI[7]，TGV[8]，F(xiàn)BS[9]。

3.2 下采樣降級(jí)的實(shí)驗(yàn)

表1表明，在4種不同的上采樣因子中，該方法在MAD中取得了較好的實(shí)驗(yàn)結(jié)果。與IMAMRF[15]相比，提出的方法在大多數(shù)情況下均能達(dá)到最佳性能，并且在大多數(shù)情況下明顯超過(guò)了IMJBU[15]，IMMRF[16]，PRE[16]和IR-WLS[17]。

表1 2×、4×、8×、16×下降采樣降解下的定量比較結(jié)果Table 1 Quantitative comparison results under degradation of 2×,4×,8×,16×descending sampling

圖2給出了Laundry的8×深度采樣深度圖和殘差圖的結(jié)果。IMLS、CLMF、Guided和FBS傾向于平滑深度圖的邊緣。FGI 也模糊了窗口，無(wú)法恢復(fù)椅子后面的深度值。TGV具有嚴(yán)重的紋理復(fù)制偽影。AR和IR-WLS顯示了良好的性能，但仍然不如本文方法，特別是在圖像的邊緣。本文方法可以保留深度邊界并提供視覺(jué)上更加一致的結(jié)果，而不會(huì)出現(xiàn)偽圖像。

圖2 8×下采樣降級(jí)的深度恢復(fù)結(jié)果Fig.2 Depth restoration results of 8× down sampling degradation

3.3 類(lèi)ToF的降解實(shí)驗(yàn)

通過(guò)向原始數(shù)據(jù)集中添加方差為25的高斯噪聲并以不同的下采樣速率對(duì)污染的數(shù)據(jù)集進(jìn)行下采樣來(lái)模擬ToF樣的深度下降，表2顯示了與其他方法的定量對(duì)比結(jié)果。

表2 類(lèi)ToF的定量對(duì)比結(jié)果Table 2 Quantitative comparison results of type ToF

本文方法在2×和4×上采樣方面優(yōu)于所有方法。對(duì)于8×和16×上采樣，其結(jié)果略遜于FGI和FBS，因?yàn)檫@兩種方法主要旨在設(shè)計(jì)嚴(yán)重噪聲情況下的插值技術(shù)，而本文方法適用于各種降級(jí)，因此總體來(lái)看，本文方法具有更好的泛化性能，是一種通用的深度恢復(fù)方法。

圖3顯示了Reindeer對(duì)類(lèi)似ToF的降解情況的結(jié)果，Bicubic和Guided 在處理類(lèi)似ToF的降解時(shí)無(wú)效。JGF[8]、IMLS和CLMF0的降噪性能較差。本文方法的去噪性能相比于其他方法已得到明顯改善。此外，盡管結(jié)果在8×上采樣的定量比較中具有較低的度量值，但視覺(jué)比較顯示了該方法的優(yōu)越性。從殘差圖可知，在大多數(shù)深度邊界上都比其他方法獲得了更好的恢復(fù)性能，但是本文方法的結(jié)果受到一些值較大的離群值影響。

3.4 類(lèi)Kinect降解實(shí)驗(yàn)

進(jìn)一步測(cè)試了類(lèi)似Kinect的退化下的性能，如表3所示。在這種情況下，結(jié)構(gòu)缺失會(huì)隨著深度不連續(xù)而產(chǎn)生，而平坦區(qū)域會(huì)產(chǎn)生隨機(jī)缺失。采用類(lèi)似Kinect的退化圖像作為測(cè)試圖像，這些圖像缺少大多數(shù)深度邊界，增加了定位深度不連續(xù)性的難度。

表3 在類(lèi)Kinect的降解下的定量比較結(jié)果Table 3 Quantitative comparison results under Kinect like degradation

從表3可以看出，所提方法在所有情況下都能達(dá)到最低的MAD值，并且在很大程度上優(yōu)于現(xiàn)有的方法，這說(shuō)明了本文方法在處理類(lèi)Kinect退化時(shí)的有效性。直觀比較如圖4所示，結(jié)果表明，對(duì)于平面區(qū)域的隨機(jī)缺失和缺失區(qū)域內(nèi)的急劇不連續(xù)具有最佳的恢復(fù)效果。

圖4 類(lèi)似Kinect的深度恢復(fù)結(jié)果Fig.4 Depth restoration results similar to Kinect

3.5 消融研究

(1)稀疏先驗(yàn)。為了進(jìn)行比較，在IDMDR和ISSDS模型中都保持多項(xiàng)式項(xiàng)和重加權(quán)策略不變，并測(cè)試了懲罰函數(shù)對(duì)稀疏先驗(yàn)的影響。IDMDR、ISSDR和稀疏先驗(yàn)之間的客觀和視覺(jué)比較可在上述3種情況下對(duì)所有3種類(lèi)型的降解進(jìn)行了比較。所有實(shí)驗(yàn)均證明，本文方法在所有任務(wù)上均比IDMDR和ISSDS取得更好的結(jié)果。

(2)Moreau中的參數(shù)α。加權(quán)參數(shù)α在Moreau增強(qiáng)懲罰中起重要作用。對(duì)于固定變量μ=1，在0≤α≤μ的條件下，每個(gè)變量的整個(gè)模型都是凸的。如果α=0，則將提出的模型簡(jiǎn)化為具有L1范數(shù)的基本模型(即IDMDR)。圖5還給出了相應(yīng)的視覺(jué)結(jié)果，當(dāng)α<0.5時(shí)，出現(xiàn)點(diǎn)狀偽影。相反，當(dāng)α接近1時(shí)，恢復(fù)的深度圖十分模糊，當(dāng)α接近0.5時(shí)，可獲得最佳視覺(jué)效果。圖6顯示了在不同的α下，Dolls的ToF類(lèi)降解性能。當(dāng)α=0.5時(shí)，MAD最低。

圖5 參數(shù)α對(duì)4×下采樣率的ToF樣衰減的影響Fig.5 Effect of parameters αon ToF sample attenuation at 4× down sampling rate

圖6 參數(shù)α在提出模型中的影響Fig.6 Influence of parameters α in the proposed model

(3)重加權(quán)策略。列出有或沒(méi)有加權(quán)策略的恢復(fù)結(jié)果，以研究其對(duì)模型的影響。圖7中最上面一行表示無(wú)重加權(quán)方案恢復(fù)策略，而在最下面一行表示具有重加權(quán)方案的恢復(fù)策略。圖7中的視覺(jué)比較和客觀MAD值表明，重加權(quán)策略對(duì)這3種方法都有提升效果。一旦將深度信息中斷整合到模型中，就可以提供深度邊界的位置，這有助于模型保留深度邊緣。此外，通過(guò)圖8中的重加權(quán)策略顯示了每次迭代的推斷深度邊緣。隨著迭代的進(jìn)行，預(yù)測(cè)的深度邊界更加清晰和準(zhǔn)確，從而可以幫助模型定位深度不連續(xù)之處。

圖7 重新加權(quán)方案對(duì)8×下降采樣退化的影響Fig.7 Effect of reweighting scheme on 8× down sampling degradation

圖8 重加權(quán)方案的深度邊緣Fig.8 Depth edge of reweighting scheme

(4)多項(xiàng)式項(xiàng)。多項(xiàng)式平滑項(xiàng)旨在將深度變化的表面分量擬合到深度圖中。通過(guò)從完整模型中刪除它來(lái)測(cè)試其有效性。圖9顯示了在具有和不具有多項(xiàng)式擬合項(xiàng)的模型之間比較的恢復(fù)結(jié)果。沒(méi)有多項(xiàng)式項(xiàng)的情況會(huì)產(chǎn)生嚴(yán)重的階梯假象，這表明僅稀疏先驗(yàn)不足以適合潛在深度信號(hào)。相反，所提出的具有多項(xiàng)式擬合的模型可以更好地描繪2D深度信號(hào)，特別是對(duì)于緩慢變化的表面。

3.6 收斂性和運(yùn)行時(shí)間

圖10(a)所示為此算法的收斂行為。以Dolls的ToF樣降級(jí)(8×下采樣)為例，繪制了兩個(gè)連續(xù)的恢復(fù)深度圖之間的絕對(duì)差。提出算法迅速減小了差值并收斂到固定點(diǎn)，且差異單調(diào)減少，并且3～5次迭代足以獲得較好的結(jié)果。為了進(jìn)一步比較，還繪制了IDMDR和ISSDS的收斂曲線(xiàn)。與本文方法相比，IDMDR和ISSDS的曲線(xiàn)波動(dòng)較大，并且會(huì)收斂迭代次數(shù)大約為20次。進(jìn)一步證明了本文方法的收斂性能較好。

圖10 性能對(duì)比Fig.10 Performance comparison

為了評(píng)估加速算法的運(yùn)行時(shí)間，分別在空間和頻域上執(zhí)行原始算法和FFT加速算法。此比較使用8×下采樣降級(jí)的情況(LR深度圖像為165×135，HR強(qiáng)度圖像為1 320×1 080)。由于IDMDR和ISSDS與數(shù)據(jù)觀測(cè)項(xiàng)相同，因此在這兩種方法中也采用了加速算法來(lái)進(jìn)一步驗(yàn)證加速算法。比較結(jié)果顯示于圖10(b)。對(duì)于此模型，空間求解器需要大約35 s的時(shí)間，這在計(jì)算上是非?？量痰摹１疚乃惴▋H需1.7 s即可解決優(yōu)化問(wèn)題。從其他兩種方法可以得出類(lèi)似的結(jié)論。請(qǐng)注意，盡管此模型的迭代次數(shù)為3～5，但比IDMDR和ISSDS花費(fèi)的時(shí)間要少得多。這是因?yàn)榇怂惴ò糜诮鉀Q整個(gè)模型的外部迭代k和用于解決子問(wèn)題的內(nèi)部迭代j。內(nèi)部迭代需要15～20次迭代才能獲得局部最優(yōu)解。

4 結(jié)論

為了解決現(xiàn)有的深度恢復(fù)方法存在的局限性，提出了一種基于Moreau包絡(luò)與迭代重加權(quán)策略的圖像深度恢復(fù)方法。通過(guò)多個(gè)數(shù)據(jù)集實(shí)驗(yàn)證明了如下結(jié)論。

(1)本文方法能夠有效提升圖像恢復(fù)效果，可以保留深度邊界而不會(huì)出現(xiàn)偽圖像，并且運(yùn)行時(shí)間具有一定的優(yōu)勢(shì)。

(2)本文方法適用于各種降級(jí)，具有更好的泛化性能，是一種通用的深度恢復(fù)方法。

(3)重加權(quán)策略有助于模型保留深度邊緣，而提出的具有多項(xiàng)式擬合模型可以更好地描繪2D深度信號(hào)。