萬(wàn)文博， 祖蘭晶， 薛澤穎， 王春興

(1.山東師范大學(xué) 信息科學(xué)與工程學(xué)院，山東 濟(jì)南 250358； 2.山東師范大學(xué) 物理與電子科學(xué)學(xué)院，山東 濟(jì)南 250358)

0 引言

3D電影利用人的雙眼視差，顯示因位置差異而略有不同的2個(gè)圖像，給觀影者以身臨其境的感覺(jué)。其中，3D場(chǎng)景的產(chǎn)生一方面主要依靠顏色數(shù)據(jù)，另一方面主要依靠高分辨率(high resolution，HR)深度數(shù)據(jù)。HR深度數(shù)據(jù)與顏色數(shù)據(jù)相比更難獲得，因此成為研究的重點(diǎn)。

當(dāng)前可通過(guò)利用彩色圖像引導(dǎo)和深度學(xué)習(xí)等方式獲得HR深度圖。其中，Ren等[1]將圖像中的像素點(diǎn)進(jìn)行分類并將HR深度圖像完成聯(lián)合雙邊濾波(pixel category and joint bilateral filtering，PCJBF)，該算法實(shí)驗(yàn)輸出的任意像素點(diǎn)的深度值存在較大偏差。Gu等[2]提出加權(quán)分析模型，利用動(dòng)態(tài)調(diào)整增強(qiáng)深度不連續(xù)區(qū)域，但不能有效利用彩色圖像的引導(dǎo)作用。Yang等[3]提出用于HR深度修正的自適應(yīng)彩色圖像引導(dǎo)的自回歸模型(autogressive model，AR)，其即時(shí)性較差，所需的存儲(chǔ)空間也較大，不能有效避免產(chǎn)生梯度反轉(zhuǎn)偽像[4]以及細(xì)節(jié)邊緣不清晰的問(wèn)題。Qiao等[5]提出基于像素點(diǎn)聚類的深度上采樣算法，當(dāng)像素點(diǎn)所處區(qū)域的特性不同時(shí)，無(wú)法獲得較好的像素點(diǎn)聚類與區(qū)域分割的結(jié)果。Ferstl等[6]利用圖像建模優(yōu)化，并使用各向異性擴(kuò)散張量完成深度修正，不能降低不同區(qū)域間像素的影響。Wen等[7]利用卷積網(wǎng)絡(luò)級(jí)聯(lián)的深度學(xué)習(xí)算法完成圖像超分辨，但GAN網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性不足，其結(jié)果不能充分地說(shuō)明與解釋其有效性。

針對(duì)上述問(wèn)題，本文提出了自適應(yīng)參數(shù)與邊緣點(diǎn)引導(dǎo)的深度圖像超分辨率重建算法。首先完成對(duì)LR(low resolution)深度圖像的深度修正，保證其深度數(shù)據(jù)的準(zhǔn)確性與有效性，并對(duì)像素點(diǎn)進(jìn)行聚類；然后提出在用于HR深度圖像重建的AR模型中加入多個(gè)自適應(yīng)參數(shù)，可有效防止由彩色圖像與深度圖像結(jié)構(gòu)差異引起的實(shí)驗(yàn)輸出結(jié)果出現(xiàn)偽像的情況發(fā)生，同時(shí)降低處于不同區(qū)域像素間的影響，獲得更精確的深度數(shù)值。

1 相關(guān)AR模型

Yang等[3]提出HR彩色圖像引導(dǎo)的自回歸模型完成深度圖像超分辨。其中，AR模型如下所示：

(1)

(2)

Yang等[3]提出的AR模型在用于獲得HR深度矩陣時(shí)，其獲得的深度值不夠準(zhǔn)確，未考慮像素點(diǎn)處于不同區(qū)域的特性，忽略了像素點(diǎn)之間的強(qiáng)烈影響，不能合理有效利用HR彩色圖，因此不能獲得高質(zhì)量的HR深度圖像。

2 算法思路框架

2.1 LR深度圖修正

由于LR深度圖的深度可能會(huì)出現(xiàn)丟失、不準(zhǔn)確等情況，本文提出的標(biāo)記并修正不可靠像素點(diǎn)的算法，可以有效避免這種情況的發(fā)生，步驟如下所示。

對(duì)LR深度圖使用Sobel算子獲取邊緣圖SDL。對(duì)深度不可靠像素點(diǎn)進(jìn)行標(biāo)記：①深度值為0的點(diǎn)標(biāo)記為不可靠像素點(diǎn)；②將圖像分為3×3大小的不重疊的圖像塊，計(jì)算每個(gè)塊內(nèi)中心點(diǎn)與周圍點(diǎn)像素值差值的絕對(duì)值，并記錄絕對(duì)值大于3的個(gè)數(shù)， 如果個(gè)數(shù)大于t1，則將該區(qū)域的中心像素點(diǎn)標(biāo)記為不可靠像素點(diǎn)，本文實(shí)驗(yàn)將t1設(shè)置為3；③如果圖像塊同時(shí)處于兩個(gè)特性不同的區(qū)域，則利用SDL與邊緣區(qū)域?qū)Ρ?，同樣?duì)圖像塊中邊緣處的像素點(diǎn)與區(qū)域臨界處的像素點(diǎn)求其差值的絕對(duì)值，若絕對(duì)值大于3的個(gè)數(shù)超過(guò)t2，那么該像素點(diǎn)為不可靠像素點(diǎn)，t2在本文實(shí)驗(yàn)中設(shè)置為2。按照此種方法依次完成判斷，標(biāo)記出所有不可靠像素點(diǎn)。

如圖1所示，圖1(a)和圖1(c)表示未被預(yù)處理的LR深度圖像，其中在邊緣區(qū)域帶有很多空洞，會(huì)對(duì)后期深度圖像超分辨帶來(lái)不利影響。圖1(b)和圖1(d)分別表示已完成LR深度修正的Books和Dolls圖像，該圖像深度信息完整，深度不連續(xù)區(qū)域得到增強(qiáng)，可有效完成后期深度圖像的超分辨。

圖1 LR深度修正圖像Figure 1 LR depth repair image

2.2 改進(jìn)AR模型系數(shù)

HR深度圖D1是對(duì)LR深度圖雙三次插值的結(jié)果，但其存在一些問(wèn)題，例如圖像邊緣模糊以及部分深度值誤差較大。本文算法對(duì)AR模型進(jìn)行改進(jìn)，根據(jù)像素點(diǎn)的區(qū)域特性，通過(guò)加入一系列自適應(yīng)參數(shù)，以預(yù)防出現(xiàn)梯度反轉(zhuǎn)偽像以及由深度圖與其對(duì)應(yīng)的彩色圖結(jié)構(gòu)不一致而產(chǎn)生偽像的情況。對(duì)初始化深度圖的深度不連續(xù)像素點(diǎn)采用深度修正，其公式如下所示：

(3)

(4)

2.2.1 深度項(xiàng)約束因子

在深度項(xiàng)中加入?yún)?shù)σd,x，其隨像素點(diǎn)所處的3×3像素塊變化，在同一個(gè)圖像塊設(shè)置相同的參數(shù)，可有利于均衡不同位置像素點(diǎn)的深度權(quán)值，使邊界處像素點(diǎn)深度的差異度更平滑，促進(jìn)兩相鄰像素間互相制約，確保深度的準(zhǔn)確性。深度項(xiàng)約束因子的公式為

(5)

(6)

圖2(a)和圖2(d)分別表示Art、Laundry的彩色圖像，圖2(b)、2(c)和2(e)分別為圖2(a)和2(d)的局部實(shí)驗(yàn)輸出圖像，其第1行與第2行分別表示參數(shù)σd,x隨像素點(diǎn)自適應(yīng)變化與隨像素塊自適應(yīng)變化的局部實(shí)驗(yàn)輸出圖像。由圖2可知，在圖2(b)和圖2(c)中，第1行圖像的邊緣區(qū)域出現(xiàn)部分缺失，第2行的圖像邊緣結(jié)構(gòu)清晰且完整；在圖2(e)中，第1行圖像出現(xiàn)空洞是由于像素點(diǎn)所屬區(qū)域特性的差異導(dǎo)致部分深度出現(xiàn)錯(cuò)誤，因此參數(shù)σd,x隨像素塊自適應(yīng)變化可確保深度不連續(xù)區(qū)域的完整性以及深度的有效性。

圖2 實(shí)驗(yàn)結(jié)果圖像對(duì)比Figure 2 Image comparison of experimental results

2.2.2 顏色項(xiàng)約束因子

在顏色項(xiàng)約束因子中，加入用于判斷深度圖與彩色圖結(jié)構(gòu)是否一致的參數(shù)τx，平滑參數(shù)σc,x與其相關(guān)，可根據(jù)像素點(diǎn)的區(qū)域特性改變彩色圖像產(chǎn)生的權(quán)重。同時(shí)，加入用于降低處于不同區(qū)域邊緣對(duì)側(cè)像素點(diǎn)影響的控制參數(shù)εx，防止因區(qū)域特性的差異而導(dǎo)致深度上產(chǎn)生較大的誤差。圖3為顏色項(xiàng)約束因子算法的整體框架，其表達(dá)式為

圖3 顏色項(xiàng)約束實(shí)現(xiàn)框架Figure 3 Implement framework for adaptive parameters of the color item

(7)

(8)

(9)

(10)

(11)

(12)

在圖3中，用于調(diào)節(jié)彩色圖像權(quán)重系數(shù)的常數(shù)σ5變?yōu)樽赃m應(yīng)變化的參數(shù)σc,x，這兩種情況實(shí)驗(yàn)結(jié)果的比較如圖4所示。其中，圖4(b)、4(c)和4(e)的第1行為將σ5設(shè)為常數(shù)時(shí)圖像局部區(qū)域的實(shí)驗(yàn)結(jié)果，第2行為參數(shù)σc,x隨像素點(diǎn)自適應(yīng)變化時(shí)的實(shí)驗(yàn)結(jié)果。第1行的圖像存在部分鋸齒以及模糊偽像的問(wèn)題，第2行的圖像更清晰，邊緣細(xì)節(jié)豐富，可說(shuō)明上述方法的有效性。

圖4 算法輸出圖像Figure 4 The output images of the algorithm

3 實(shí)驗(yàn)結(jié)果與分析

為體現(xiàn)本文所提出算法的優(yōu)勢(shì)，采用深度數(shù)據(jù)集[8]中的深度與彩色圖像對(duì)進(jìn)行實(shí)驗(yàn)，本文列出Art、Books、Laundry等6幅圖像的部分實(shí)驗(yàn)數(shù)據(jù)如表1所示。

通過(guò)表1可以看出，本文算法的實(shí)驗(yàn)輸出圖像都具有最低的BPR(壞點(diǎn)率)，說(shuō)明本文算法的性能較好，在AR模型中加入一系列自適應(yīng)參數(shù)，可有效避免梯度反轉(zhuǎn)偽像的產(chǎn)生，減小不同區(qū)域間像素點(diǎn)的影響，有效調(diào)節(jié)彩色圖像的權(quán)重。

表1 實(shí)驗(yàn)輸出結(jié)果的BPR比較Table 1 BPR comparison of experimental output results

圖5提供了測(cè)試圖像為L(zhǎng)aundry、Moebius以及Reindeer，上采樣因子為8時(shí)的實(shí)驗(yàn)結(jié)果圖，其中，圖5(a)為HR彩色圖像，圖5(b)為真實(shí)深度圖像，圖5(c)～5(g)分別表示TGV[6]、文獻(xiàn)[2]、PCJBF[1]、AR[3]以及本文算法實(shí)驗(yàn)輸出的高分辨率深度圖像。對(duì)上述算法的實(shí)驗(yàn)結(jié)果進(jìn)行主觀視覺(jué)上的比較，從圖5(c)和圖5(d)可以看出，圖像中空洞和偽像區(qū)域擴(kuò)大;從圖5(e)可以看出，圖像增加了部分空洞區(qū)域;從圖5(f)可以看出，細(xì)節(jié)邊緣結(jié)構(gòu)模糊，部分區(qū)域細(xì)節(jié)過(guò)于豐富;通過(guò)圖5(g)可以看出，圖像細(xì)節(jié)邊緣結(jié)構(gòu)清晰，整體清晰度較高。

圖5 算法實(shí)驗(yàn)輸出圖像Figure 5 Algorithm experiment output image

圖6為上采樣因子為8的誤差主觀比較圖像。誤差主觀比較圖為真實(shí)深度圖與不同HR深度圖的差，線條越粗或越多反映了其誤差越大，反之則說(shuō)明其誤差越小。圖6(a)～6(f)為HR彩色圖像以及TGV[6]、文獻(xiàn)[2]、PCJBF[1]、AR[3]和本文算法的輸出結(jié)果分別與真實(shí)深度圖像作差所得的結(jié)果。由圖6可知，本文算法的誤差線條相對(duì)于其他幾種算法明顯較少，可以證明本文算法對(duì)不連續(xù)的深度區(qū)域處理較好，能有效減小誤差。

圖6 算法實(shí)驗(yàn)誤差圖像Figure 6 Algorithm experiment error image

4 結(jié)論

針對(duì)目前的算法存在輸出實(shí)驗(yàn)結(jié)果中邊緣區(qū)域不清晰、平滑區(qū)域出現(xiàn)偽像以及處于不同區(qū)域像素點(diǎn)之間的影響較大導(dǎo)致輸出錯(cuò)誤的深度值等問(wèn)題，本文基于HR深度偽矩陣提出自適應(yīng)參數(shù)與邊緣點(diǎn)引導(dǎo)的深度值重建的算法。首先利用Sobel算子對(duì)LR深度圖進(jìn)行修正；其次利用加入一系列自適應(yīng)參數(shù)的自適應(yīng)自回歸模型完成深度不連續(xù)區(qū)域的深度重建。由實(shí)驗(yàn)結(jié)果可知，本文算法與其他算法相比，在采樣因子為2、4、8時(shí)，Art、Books、Dolls等6幅圖像上均取得了最低的BPR值，并且在主觀視覺(jué)上取得了較好的結(jié)果。下一步將結(jié)合圖像分割[9]的方法針對(duì)深度不連續(xù)區(qū)域完成深度圖像超分辨的相關(guān)工作。