張帥勇 劉美琴 姚 超 林春雨 趙 耀

近年來,深度信息在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用越來越廣.在遠(yuǎn)程醫(yī)療、無人駕駛以及安防監(jiān)控等領(lǐng)域,深度信息可以顯著地提升產(chǎn)品的性能.然而,受采集設(shè)備的限制,采集的深度圖像分辨率比較低,如Mesa Swiss Ranger 4 000 采集的深度圖像的分辨率僅為176×144,微軟Kinect V2 采集的深度圖像的分辨率為512×424,均難以滿足實(shí)際需求.因此,如何由低分辨率深度圖像重建高分辨率的深度圖像已經(jīng)成為當(dāng)前多媒體領(lǐng)域的研究熱點(diǎn)之一.

與深度圖像相比,同一場景下的高分辨率紋理圖像更容易獲取,且二者之間存在著高度關(guān)聯(lián)的結(jié)構(gòu)相似性.因此,許多學(xué)者利用同一場景下高分辨率紋理圖像所包含的先驗(yàn)信息,引導(dǎo)完成深度圖像的超分辨率重建過程.如:在早期階段,一般采用低通濾波器[1-8],這類方法實(shí)現(xiàn)簡單,卻會過濾掉大部分的高頻信息,導(dǎo)致重建的深度圖像出現(xiàn)邊緣模糊現(xiàn)象.基于優(yōu)化表示的方法[9-16]設(shè)計(jì)了相應(yīng)的優(yōu)化函數(shù)和正則項(xiàng),約束邊緣信息,充分考慮了深度-紋理的邊緣相似性,但是手工設(shè)計(jì)的優(yōu)化函數(shù)并不具有普適性,且求解最優(yōu)化問題耗時(shí)巨大,難以滿足實(shí)際應(yīng)用的需求.

近年來,基于深度學(xué)習(xí)的方法在深度圖像超分辨率重建領(lǐng)域的應(yīng)用越來越廣,按照是否利用紋理圖像的引導(dǎo)信息大致可分為兩類:單深度圖像超分辨率算法和紋理圖像引導(dǎo)的深度圖像超分辨率算法.與圖像超分辨率算法[17-21]類似,單深度圖像超分辨率算法[22-23]通過構(gòu)建卷積神經(jīng)網(wǎng)絡(luò),學(xué)習(xí)從低分辨率深度圖像到高分辨率深度圖像的非線性映射關(guān)系,實(shí)現(xiàn)深度圖像的超分辨率重建;基于紋理圖像引導(dǎo)的深度圖像超分辨率算法[24-29]通常采用上采樣或者下采樣的方式,獲取豐富的層次特征,利用對應(yīng)尺度下紋理圖像提供的引導(dǎo)信息,完成深度圖像的重建過程,如:Hui 等[25]構(gòu)建了金字塔結(jié)構(gòu),輸入的低分辨率深度圖像經(jīng)逐級采樣后得到多尺度的特征表示,再融合對應(yīng)尺度的紋理特征;Guo 等[29]采用U-Net 結(jié)構(gòu)對插值后的深度圖像進(jìn)行編碼,在解碼過程中融合對應(yīng)尺度的紋理特征.這兩種特征融合結(jié)構(gòu)以串聯(lián)方式從低尺度到高尺度地逐步重建高分辨率的深度圖像,均可以提取豐富的層次特征信息,卻未能有效利用多尺度特征間的關(guān)聯(lián)性進(jìn)行特征融合.

針對以上問題,本文充分考慮了不同尺度間深度圖像與紋理圖像的結(jié)構(gòu)相似性,提出了一種基于分級特征反饋融合策略的深度圖像超分辨率重建算法,并相應(yīng)地設(shè)計(jì)了一種端到端的分級特征反饋融合網(wǎng)絡(luò)(Hierarchical feature feedback network,HFFN).HFFN 網(wǎng)絡(luò)采用了并行結(jié)構(gòu),結(jié)合單深度圖像重建網(wǎng)絡(luò)和深度-紋理融合特征增強(qiáng)網(wǎng)絡(luò)分別提取深度圖像和紋理圖像的深層特征,獲取深度圖像與紋理圖像隱含的結(jié)構(gòu)信息;改進(jìn)的金字塔結(jié)構(gòu),可以構(gòu)建不同尺度下深度-紋理的分層特征表示;設(shè)計(jì)了一種分級特征的反饋式融合策略,實(shí)現(xiàn)并行金字塔不同層特征的反饋融合,搭建起不同尺度間深度-紋理特征信息傳遞的橋梁,充分挖掘不同尺度間深度-紋理的結(jié)構(gòu)相似性;結(jié)合深度-紋理邊緣特征,獲取深度圖像的邊緣引導(dǎo)信息,生成邊緣引導(dǎo)圖像;采用殘差學(xué)習(xí)的方式,將邊緣引導(dǎo)圖像與單深度圖像重建網(wǎng)絡(luò)的重建結(jié)果相加,以進(jìn)一步提升深度圖像的重建質(zhì)量.實(shí)驗(yàn)結(jié)果表明,與對比方法相比,本文算法獲得了高質(zhì)量的深度圖像重建結(jié)果.

本文的組織結(jié)構(gòu)如下:第1 節(jié)簡要回顧了深度圖像的超分辨率重建算法;第2 節(jié)具體介紹了HFFN網(wǎng)絡(luò)的整體框架;第3 節(jié)詳細(xì)給出了對比實(shí)驗(yàn)及分析結(jié)果;第4 節(jié)總結(jié)全文.

1 相關(guān)工作

深度圖像超分辨率重建算法主要包括基于濾波、優(yōu)化表示和深度學(xué)習(xí)三類.

1.1 基于濾波的深度圖像超分辨率算法

基于濾波的深度圖像超分辨率算法大多利用低通濾波器,在上采樣過程中采用與深度圖像點(diǎn)-點(diǎn)相關(guān)的紋理圖像的高頻信息,恢復(fù)深度圖像的邊緣信息.如,Lei 等[3]利用深度-紋理間的相似性,構(gòu)建了一種三邊上采樣濾波器;Yang 等[4]利用同場景紋理圖像確定了像素上采樣過程中的權(quán)值,提出了一種自適應(yīng)權(quán)值濾波的深度圖像超分辨率算法;Lu 等[5]在稀疏深度樣本的指導(dǎo)下分割紋理圖像,恢復(fù)每個(gè)子圖像中的深度值,利用了紋理邊緣與深度邊緣之間的依賴關(guān)系;He 等[6]通過建立引導(dǎo)圖像與輸出之間的線性關(guān)系對目標(biāo)圖像進(jìn)行引導(dǎo)濾波,相比雙邊濾波器保留了更多的邊緣細(xì)節(jié);Barron 等[7]提出了一種新的邊緣感知平滑算法雙邊求解器,實(shí)現(xiàn)紋理圖像引導(dǎo)下的深度圖像快速超分辨率重建;Yang 等[8]面向三維視點(diǎn)合成,利用深度-紋理相似性構(gòu)建了像素級的置信度計(jì)算方法,構(gòu)造了基于置信度的聯(lián)合引導(dǎo)濾波器,不僅考慮了深度像素間的平滑性,而且融入了深度-紋理的相似性,提高了深度圖像上采樣的性能及合成視點(diǎn)的質(zhì)量.

1.2 基于優(yōu)化表示的深度圖像超分辨率算法

基于優(yōu)化表示的深度圖像超分辨率算法是構(gòu)建一種深度-紋理的聯(lián)合表示,以字典或稀疏表示的方式學(xué)習(xí)深度-紋理間的映射.如,Diebel 等[9]用馬爾科夫隨機(jī)場 (Markov random field,MRF)將低分辨率深度圖像與高分辨率紋理圖像集成后進(jìn)行上采樣操作;除應(yīng)用MRF 以外,An 等[10]通過正則項(xiàng)局部誤差均值自適應(yīng)地計(jì)算平衡正則項(xiàng)和保真項(xiàng)的正則化參數(shù)矩陣,較好地保持了邊緣信息;Park 等[11]采用非局部方法對深度圖像進(jìn)行正則化,改善了深度圖像的細(xì)節(jié);Yan 等[12]采用非局部均值算法先獲取初始上采樣深度圖像,再利用邊緣檢測算法對其優(yōu)化,提高了深度圖像的重建質(zhì)量;Yang 等[13]采用自適應(yīng)回歸模型,通過紋理圖像的引導(dǎo)自動生成超分辨率深度圖像;Ferstle 等[14]提出了一個(gè)深度圖像超分辨率重建的凸優(yōu)化問題,利用紋理圖像計(jì)算出各向同性擴(kuò)散張量,指導(dǎo)深度圖像的上采樣過程;Li 等[15]基于加權(quán)最小二乘法和快速全局平滑技術(shù),提出了一種分層、多遍的全局優(yōu)化框架,避免了不必要的紋理復(fù)制偽影;Kiechle 等[16]構(gòu)建了一種雙模共稀疏分析模型,能夠捕捉到紋理圖像與深度圖像之間的相互依賴關(guān)系,實(shí)現(xiàn)深度圖像的超分辨率重建.

1.3 基于深度學(xué)習(xí)的深度圖像超分辨率算法

近年來,卷積神經(jīng)網(wǎng)絡(luò)在圖像超分辨率重建領(lǐng)域取得了顯著的成就.Dong 等[17]首次提出了端到端的SRCNN (Super resolution convolution neural network) 網(wǎng)絡(luò),直接學(xué)習(xí)從低分辨率到高分辨率的映射關(guān)系,解決了基于深度學(xué)習(xí)的圖像超分辨率重建問題;Shi 等[18]和Lim 等[19]改進(jìn)了SRCNN,加深了網(wǎng)絡(luò)的深度;Zhou 等[20]和Zhang 等[21]利用了遞歸殘差網(wǎng)絡(luò),在提高超分重建質(zhì)量的同時(shí)限制了模型參數(shù),有效降低了計(jì)算復(fù)雜度.

不同于直接堆疊卷積層,Huang 等[22]采用基于深度密集殘差網(wǎng)絡(luò)實(shí)現(xiàn)金字塔結(jié)構(gòu)的深度圖像超分辨率重建網(wǎng)絡(luò),利用不同層次特征逐步重建高分辨率的深度圖像;Song 等[23]利用通道注意力機(jī)制,實(shí)現(xiàn)了深度圖像超分辨率重建網(wǎng)絡(luò),從粗到細(xì)地恢復(fù)深度圖像的高頻分量;Zhao 等[24]提出了紋理-深度條件生成對抗網(wǎng)絡(luò),學(xué)習(xí)紋理圖像和低分辨率深度圖像之間的結(jié)構(gòu)相似性;Hui 等[25]提出了多尺度引導(dǎo)卷積網(wǎng)絡(luò)MSG (Multi-scale guided convolutional network),利用豐富的分層紋理特征,消除了深度圖像重建后存在的模糊現(xiàn)象;Zuo 等提出了紋理引導(dǎo)增強(qiáng)的殘差稠密網(wǎng)絡(luò)RDN-GDE[26](Residual dense network for guided depth enhancement)和多尺度融合殘差網(wǎng)絡(luò)MFR-SR[27](Multi-scale fusion residual network for depth map super resolution),探究如何利用紋理圖像提供的多尺度引導(dǎo)信息,逐步指導(dǎo)深度圖像的上采樣重建;Ye 等[28]提出了漸進(jìn)的多分支聚合網(wǎng)絡(luò)PMBA (Progressive multi-branch aggregation network),利用多分支融合方式逐步恢復(fù)退化的深度圖像;Guo 等[29]提出了深度圖像超分辨率重建網(wǎng)絡(luò)DepthSR (Hierarchical features driven residual learning for depth map super resolution),利用U-Net 殘差深層網(wǎng)絡(luò),獲取多尺度的結(jié)構(gòu)信息,完成深度圖像的超分辨率重建.

2 分級特征反饋融合網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的分級特征反饋融合網(wǎng)絡(luò)HFFN(如圖1 所示)采用并行結(jié)構(gòu),由單深度圖像重建和深度-紋理融合特征增強(qiáng)兩個(gè)子網(wǎng)絡(luò)構(gòu)成.首先,兩個(gè)子網(wǎng)絡(luò)分別提取低分辨率深度圖像和高分辨率紋理圖像的深層特征,構(gòu)建深度-紋理的深層特征表示.其次,利用并行金字塔結(jié)構(gòu),設(shè)計(jì)深度-紋理反饋式融合模塊(Depth-Color feedback fusion module,DCF),提取深度-紋理在不同尺度下的結(jié)構(gòu)信息,構(gòu)建深度-紋理的多尺度分層特征表示;應(yīng)用反饋式融合策略,挖掘不同尺度下深度-紋理隱含的關(guān)聯(lián)性,生成包含多級感受野的邊緣引導(dǎo)信息.最后,由邊緣引導(dǎo)信息生成的邊緣引導(dǎo)圖像,與單深度圖像重建網(wǎng)絡(luò)的重建結(jié)果相加,實(shí)現(xiàn)深度-紋理的引導(dǎo)重建過程,獲得紋理圖像引導(dǎo)的高分辨率深度圖像的重建結(jié)果.

圖1 分級特征反饋融合網(wǎng)絡(luò)Fig.1 Hierarchical feature feedback network

2.2 深度-紋理深層特征表示

由于深度圖像和紋理圖像表征的內(nèi)容不同,采用同一網(wǎng)絡(luò)將難以區(qū)分所提取的紋理圖像和深度圖像的信息.因此,HFFN 網(wǎng)絡(luò)利用單深度圖像重建網(wǎng)絡(luò)和深度-紋理融合特征增強(qiáng)網(wǎng)絡(luò),提取低分辨率深度圖像DL和高分辨率紋理圖像YC的深層特征FDL和FDC.子網(wǎng)絡(luò)的特征提取模塊均由一個(gè)卷積層和M個(gè)殘差塊[19]組成,每個(gè)殘差塊包含一個(gè)線性整流激活函數(shù) (Rectified linear unit,ReLU)和兩個(gè)卷積層.

為了降低運(yùn)算復(fù)雜度,特征提取階段的輸入為低分辨率的深度圖像,在特征融合階段,深度圖像和紋理圖像的深層特征會出現(xiàn)空間不匹配的問題.因此,深度圖像的深層特征FDL需經(jīng)上采樣操作后才能與紋理特征FDC融合,以便學(xué)習(xí)二者的相關(guān)性.單深度圖像重建網(wǎng)絡(luò)采用亞像素卷積層[18]H↑上采樣FDL,生成與紋理圖像空間一致的深層特征,構(gòu)建相應(yīng)的深度-紋理深層特征表示,如式(1)所示:

2.3 深度-紋理反饋式融合模塊

由文獻(xiàn)[25-29]可知,多級別的感受也可以獲取豐富的層次特征信息.因此,本文構(gòu)建深度-紋理反饋式融合模塊DCF,提取深度-紋理的分層特征表示,并利用分級特征反饋融合策略,充分融合深度-紋理在不同尺度下的特征,生成包含多級感受野的邊緣引導(dǎo)信息,如式(2)所示:

其中,HDCB表示深度-紋理反饋式融合函數(shù).

該模塊包含多尺度分層特征構(gòu)建子模塊和特征融合反饋?zhàn)幽K,如圖2 所示,圖中的數(shù)字表示通道的數(shù)量.其中,多尺度分層特征構(gòu)建子模塊提取在不同尺度下的結(jié)構(gòu)特征信息,構(gòu)建深度-紋理的分層特征表示;融合特征反饋?zhàn)幽K對不同尺度下的結(jié)構(gòu)特征進(jìn)行融合反饋,豐富融合特征包含的結(jié)構(gòu)信息.

圖2 深度-紋理反饋式融合模塊Fig.2 Depth-Color feedback fusion module

2.3.1 多尺度分層特征構(gòu)建子模塊

多尺度分層特征構(gòu)建子模塊通過并行金字塔結(jié)構(gòu)獲取深度-紋理圖像的多尺度分層特征,以并行的方式構(gòu)建深度-紋理的分層特征表示.為了避免因?qū)訑?shù)過高引起深度圖像邊緣結(jié)構(gòu)的退化現(xiàn)象,多尺度分層特征構(gòu)建子模塊選用三層金字塔(1≤j ≤3)結(jié)構(gòu).具體地,第j-1 層的分層特征通過卷積提取其邊緣結(jié)構(gòu)信息,并利用最大池化層構(gòu)建深度圖像和紋理圖像第j層的分層特征和,如式(3)和(4)所示:

多尺度分層特征構(gòu)建子模塊將并行金字塔每一層構(gòu)建的分層特征傳遞到金字塔的下一層,以提供不同感受野下深度-紋理的層次特征信息.

2.3.2 特征融合反饋?zhàn)幽K

如何利用上文構(gòu)建的多尺度分層特征獲取深度圖像的邊緣引導(dǎo)信息,是重建高質(zhì)量深度圖像的關(guān)鍵.大多數(shù)算法[25-27]采用級聯(lián)某一尺度下的深度特征和紋理特征的方式生成融合特征,顯然無法有效利用深度-紋理圖像間的結(jié)構(gòu)相似性.因此,本文構(gòu)建的特征融合反饋?zhàn)幽K基于分級特征反饋融合策略,在不同層間傳遞結(jié)構(gòu)信息,并利用卷積自適應(yīng)地分配不同層特征融合時(shí)的權(quán)重系數(shù),用于提高不同尺度間特征的相容性.

其中,Wr和br分別表示生成邊緣引導(dǎo)信息FDF時(shí)卷積的權(quán)重和偏置.

應(yīng)用反饋式融合策略,特征融合反饋?zhàn)幽K可以挖掘不同尺度下深度特征與紋理特征潛在的關(guān)聯(lián)性,生成包含多級感受野的邊緣引導(dǎo)信息.

2.4 深度-紋理的引導(dǎo)重建

在構(gòu)建單深度圖像重建網(wǎng)絡(luò)的基礎(chǔ)上,本文算法通過深度-紋理融合特征增強(qiáng)網(wǎng)絡(luò)生成深度圖像的邊緣引導(dǎo)圖像,引導(dǎo)深度圖像的重建過程.單深度圖像重建網(wǎng)絡(luò)的重建結(jié)果DUP如圖3(a)所示,由提取的深度特征生成;深度-紋理融合特征增強(qiáng)網(wǎng)絡(luò)的重建結(jié)果DF如圖3(b)所示,包含豐富的邊緣信息.

圖3 特征重建結(jié)果Fig.3 Feature reconstruction results

HFFN 網(wǎng)絡(luò)采用殘差學(xué)習(xí)的方式將DUP與DF相加,得到深度圖像的超分辨率重建結(jié)果DSR,利用邊緣引導(dǎo)圖像進(jìn)一步增強(qiáng)深度圖像的邊緣細(xì)節(jié)信息,如式 (7) 所示:

其中,HRL(·)表示高分辨率深度圖像重建函數(shù),HRC(·)表示邊緣引導(dǎo)圖像生成函數(shù).

2.5 實(shí)現(xiàn)細(xì)節(jié)

除標(biāo)記參數(shù)的卷積層以外,HFFN 網(wǎng)絡(luò)其他部分卷積核的大小為k=3,通道數(shù)為C=64,采用經(jīng)典的均方誤差(Mean square error,MSE) 作為訓(xùn)練模型的損失函數(shù),如式 (8) 所示:

其中,Θ表示網(wǎng)絡(luò)學(xué)習(xí)到的參數(shù),H表示重建模型,N表示每批的訓(xùn)練樣本數(shù),N=16,初始的學(xué)習(xí)率lr=1×10-4,且在第60 個(gè)和第120 個(gè)周期時(shí)lr減半,共訓(xùn)練200 個(gè)周期.HFFN 網(wǎng)絡(luò)采用ADAM 算法[30]進(jìn)行優(yōu)化,參數(shù)設(shè)為β1=0.9,β2=0.999,ε=1×10-8.本文實(shí)驗(yàn)在PyTorch 框架下使用一塊NVIDIA 2080Ti 的GPU 卡完成.

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)說明

訓(xùn)練集:本文采用與文獻(xiàn)[22,25,29]相同的數(shù)據(jù)集,包含34 對來自于 “Middlebury 2001 Datasets”[31]、“Middlebury 2003 Datasets”[32]和 “Middlebury 2014 Datasets”[33](分辨率最小為432×368、最大為2 300×1 992)以及58 對來自于 “MPI Sintel depth”數(shù)據(jù)集[34](分辨率為1 024×436)的深度-紋理圖像.其中,82 對深度-紋理圖像作為訓(xùn)練集,10 對深度-紋理圖像作為驗(yàn)證集.

測試集:為了評估不同算法的性能,本文從“Middlebury 2003 Datasets”[35]和 “Middlebury 2005 Datasets”[32,36]上選取10 對深度-紋理圖像作為測試集.參考文獻(xiàn)[25-27],測試集分為A (Art、Books、Moebius)、B (Dolls、Laundry、Reindeer)、C (Tsukuba、Venus、Teddy、Cones)三個(gè)部分.

數(shù)據(jù)處理:本文將原始深度圖像DH經(jīng)雙三次插值算法下采樣得到DL.在訓(xùn)練階段,選取比例因子分別為2×、3×、4×、8×?xí)r,原始深度圖像DH和紋理圖像YC被分割成大小為128、144、128、128的塊,對應(yīng)的低分辨率深度圖像DL被分割成大小為64、48、32、16 的塊,并利用隨機(jī)旋轉(zhuǎn)和翻轉(zhuǎn)操作擴(kuò)大數(shù)據(jù)集.在訓(xùn)練階段,HFFN 網(wǎng)絡(luò)的輸入為紋理圖像和深度圖像的Y 通道,輸出為單通道的高分辨率深度圖像.在測試階段,采用均方根誤差(Root mean square error,RMSE)和峰值信噪比 (Peak signal to noise ratio,PSNR)評價(jià)網(wǎng)絡(luò)的超分辨率重建性能.

3.2 消融分析

3.2.1 參數(shù)分析

當(dāng)比例因子為 4×?xí)r,本文評估特征提取模塊殘差塊的數(shù)目、金字塔層數(shù)對HFFN 網(wǎng)絡(luò)性能的影響分別如表1、表2 所示.

表1 殘差塊數(shù)目對HFFN 網(wǎng)絡(luò)性能的影響Table 1 Influence of the number of residual blocks on the performance of HFFN

表2 金字塔層數(shù)對HFFN 網(wǎng)絡(luò)性能的影響Table 2 Influence of pyramid layers on the performance of HFFN

在表1 中,網(wǎng)絡(luò)模型H_R3、H_R5、H_R7、H_R10 分別表示Basic 網(wǎng)絡(luò)中有3、5、7、10 個(gè)殘差塊,且金字塔層數(shù)為3.由表1 可知,隨著殘差塊數(shù)目的增加,HFFN 模型重建結(jié)果的PSNR 值也隨之增加.同時(shí),殘差塊數(shù)目的增加也帶來了網(wǎng)絡(luò)模型訓(xùn)練時(shí)間和參數(shù)量的增長,如:模型H_R7 和H_R10比H_R5 的訓(xùn)練時(shí)間提高了0.6 h 和1.6 h、參數(shù)量提高了0.30 M 和0.74 M.因此,設(shè)置殘差塊超參不僅需要考量重建結(jié)果的PSNR 值,也需考慮模型的訓(xùn)練時(shí)間和參數(shù)量.

在表2 中,金字塔層數(shù)為2、3、4 對應(yīng)的網(wǎng)絡(luò)模型分別為H_P2、H_P3、H_P4,殘差塊數(shù)目為5.可以看出,模型H_P4 比H_P3 重建的PSNR 值提高了0.08 dB、參數(shù)量增加了5.38 M、訓(xùn)練時(shí)間增加了4.8 h;而模型H_P3 比H_P2 重建的PSNR值提高了0.20 dB、參數(shù)量增加了1.34 M、訓(xùn)練時(shí)間增加了0.2 h.

因此,在模型性能的驗(yàn)證階段,本文均衡考慮了HFFN 模型的重建質(zhì)量、計(jì)算復(fù)雜度及訓(xùn)練時(shí)間等因素,設(shè)置殘差塊數(shù)目為7、金字塔層數(shù)為3,不僅可以保證深度圖像高分辨率重建質(zhì)量,還可以控制網(wǎng)絡(luò)模型的參數(shù)規(guī)模和訓(xùn)練時(shí)間.

3.2.2 模型分析

為了驗(yàn)證HFFN 各部分的性能,本文將模型分為紋理、分層、深層和融合四部分.其中紋理表示引入紋理圖像的先驗(yàn)信息;分層表示利用金字塔結(jié)構(gòu)獲取多尺度分層特征;深層表示采用深層網(wǎng)絡(luò)提取深度-紋理圖像的特征;融合表示加入自適應(yīng)特征融合算法.基準(zhǔn)網(wǎng)絡(luò)Basic 包含五層殘差塊的單深度圖像超分辨率重建網(wǎng)絡(luò),結(jié)構(gòu)與文獻(xiàn)[19]類似,相應(yīng)構(gòu)建的H_Color、H_CP 和H_Res 網(wǎng)絡(luò)的配置及實(shí)驗(yàn)結(jié)果如表3 所示.

由表3 可知,對比Basic 網(wǎng)絡(luò)、H_Color 網(wǎng)絡(luò)、H_CP 網(wǎng)絡(luò)和HFFN-100 網(wǎng)絡(luò)的重建結(jié)果,HFFN-100 網(wǎng)絡(luò)的性能最優(yōu),說明紋理圖像、并行金字塔結(jié)構(gòu)以及反饋式融合策略在深度圖像超分辨率重建中的有效性;此外,H_Res 網(wǎng)絡(luò)與HFFN-100 網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果表明,通過多層網(wǎng)絡(luò)提取深度-紋理圖像的深層特征,有利于挖掘深度圖像與紋理圖像隱含的關(guān)聯(lián)性.

表3 消融分析結(jié)果Table 3 Results of ablation study

本文對比Basic 網(wǎng)絡(luò)和HFFN-100 網(wǎng)絡(luò)在 “Art”上的重建結(jié)果,以驗(yàn)證紋理圖像在深度圖像超分辨率重建中的作用,如圖4 所示.由于缺失紋理圖像提供的引導(dǎo)信息,Basic 網(wǎng)絡(luò)的重建結(jié)果出現(xiàn)了偽影和噪點(diǎn),見圖4(b);圖4(c)為HFFN-100 網(wǎng)絡(luò)的重建結(jié)果,保留了更多的邊緣細(xì)節(jié)信息.

圖4 “Art”的視覺質(zhì)量對比結(jié)果Fig.4 Visual quality comparison results of “Art”

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)對比算法為:傳統(tǒng)算法(Bicubic、GF[6]、TGV[14]、JID[16])和基于深度學(xué)習(xí)的超分辨率算法(紋理圖像超分辨率算法SRCNN[17]、單深度圖像超分辨率算法Huang[21]、紋理圖像引導(dǎo)下的深度圖像超分辨率算法MSG[25]、DepthSR[29]、MFR-SR[27]、RDN-GDE[26]、PMBA[28]),HFFN+表示在HFFN 算法中引入Self-Ensemble[37]方法.當(dāng)比例因子為 2×、3×、4×、8×?xí)r,深度圖像超分辨率重建的客觀質(zhì)量對比結(jié)果如表4 到表6 所示.實(shí)驗(yàn)結(jié)果的最優(yōu)值用粗體表示、次優(yōu)值用下劃線表示.

由表4 可知,當(dāng)比例因子為 2×、3×、4×、8×?xí)r,所提算法在 “Books”和 “Moebius”上的重建結(jié)果均優(yōu)于對比算法.其中,HFFN 算法重建 “Books”的RMSE 值比Bicubic 算法降低了0.8 (2×)、1.02(3×)、1.14 (4×)、1.49 (8×);HFFN 算法重建“Books”的RMSE 值比GF[6]算法降低了1.21 (2×)、1.22 (3×)、1.24 (4×)、1.48 (8×);與Huang[21]提出的算法相比,HFFN 算法重建 “Books”的RMSE值降低了0.26 (2×)、0.34 (4×)、0.32 (8×);與PMBA[28]算法相比,HFFN 算法重建 “Books”的RMSE 值降低了0.14 (2×)、0.45 (4×)、0.87 (8×).隨著放大比例因子的增加,本文提出的HFFN 算法明顯優(yōu)于傳統(tǒng)算法GF[6]、單深度圖像算法Huang[21]和紋理圖像引導(dǎo)的算法PMBA[28],RMSE 值之差也越來越大,驗(yàn)證了HFFN 算法融合不同尺度下深度-紋理結(jié)構(gòu)相似性的優(yōu)勢.當(dāng)比例因子為4×?xí)r,各算法在 “Books”上的RMSE 值與運(yùn)行時(shí)間如圖5所示.由圖5 可知,綜合考慮運(yùn)行時(shí)間和重建質(zhì)量,HFFN 算法取得了最優(yōu)的結(jié)果.

表4 測試數(shù)據(jù)集A 的客觀對比結(jié)果 (RMSE)Table 4 Objective comparison results (RMSE) on test dataset A

圖5 各算法重建 “Books”的RMSE 值走勢圖Fig.5 The trend of the RMSE for “Books”

由表5 可知,與MFR-SR[27]算法相比,HFFN算法重建 “Laundry”的RMSE 值減少了0.29 (2×)、0.38 (4×)、0.42 (8×),與PMBA[28]算法相比,HFFN算法重建 “Laundry”的RMSE 值降低了0.08(2×)、0.44 (4×)、0.93 (8×),與DepthSR[29]算法相比,HFFN算法重建 “Laundry”的RMSE 值減少了0.12(2×)、0.10 (3×)、0.05 (4×);與Huang[21]提出的算法相比,HFFN 算法重建 “Reindeer”的RMSE 值減少了0.25 (2×)、0.15 (4×)、1.16 (8×),與RDNGDE[26]算法相比,HFFN 算法重建 “Reindeer”的RMSE 值降低了0.17 (2×)、0.25 (4×)、0.47 (8×).RDN-GDE[26]算法、MFR-SR[27]算法以及Depth-SR[29]算法都是利用金字塔結(jié)構(gòu)獲取豐富的層次特征信息,而HFFN算法改進(jìn)了金字塔結(jié)構(gòu)、實(shí)現(xiàn)深度-紋理的反饋式融合、有效利用了多尺度特征間的關(guān)聯(lián)性,其重建結(jié)果優(yōu)于以上對比算法.同時(shí),考慮到模型參數(shù)以及運(yùn)行時(shí)間的影響,HFFN 網(wǎng)絡(luò)只采用了三層金字塔結(jié)構(gòu),而DepthSR[29]算法在UNet 結(jié)構(gòu)的基礎(chǔ)上進(jìn)行了四次下采樣,并且與對應(yīng)尺度下輸入金字塔提取的特征進(jìn)行級聯(lián),相比HFFN 網(wǎng)絡(luò)獲取了更豐富的層次特征,更有利于大比例因子的重建.因此,當(dāng)比例因子為 8×?xí)r,HFFN網(wǎng)絡(luò)重建 “Laundry”和 “Reindeer”的RMSE 值相比DepthSR[29]算法增加了0.02 和0.07.由上述實(shí)驗(yàn)結(jié)果可知,HFFN算法的重建結(jié)果總體上優(yōu)于對比算法,驗(yàn)證了HFFN算法在深度圖像超分辨率重建任務(wù)中的有效性.

表5 測試數(shù)據(jù)集B 的客觀對比結(jié)果 (RMSE)Table 5 Objective comparison results (RMSE) on test dataset B

由表6 可知,HFFN 算法重建 “Cones”的RMSE值均優(yōu)于比較算法.與DepthSR[29]算法相比,HFFN算法重建 “Teddy”的RMSE 值減少了0.27 (2×)、0.22 (3×)、0.16 (4×);與MSG[25]算法相比,HFFN算法重建 “Teddy”的RMSE 值減少了0.1 (2×)、0.28 (4×)、0.49 (8×),上述結(jié)果表明了HFFN 算法采用反饋式融合策略,充分融合了不同尺度下的深度特征和紋理特征,其重建深度圖像 “Cones”和“Teddy”上的RMSE 值優(yōu)于對比算法.由表4 到表6可知,HFFN+算法在測試集的重建結(jié)果均優(yōu)于HFFN算法.因此,采用Self-Ensemble[37]方法可以進(jìn)一步提升HFFN 算法的重建質(zhì)量.

表6 測試數(shù)據(jù)集C 的客觀對比結(jié)果 (RMSE)Table 6 Objective comparison results (RMSE) on test dataset C

當(dāng)比例因子為 4×、8×?xí)r,HFFN 與Bicubic、GF[6]、SRCNN[17]、DepthSR[29]、PMBA[28]算法在測試圖像 “Art”和 “Laundry”上超分辨率重建的對比結(jié)果分別如圖6 和圖7 所示.

圖6 4 × 尺度下測試圖片 “Art”的視覺質(zhì)量對比結(jié)果Fig.6 Visual quality comparison results of “Art” at scale 4×

圖7 8 × 尺度下測試圖片 “Laundry”的視覺質(zhì)量對比結(jié)果Fig.7 Visual quality comparison results of “Laundry” at scale 8×

由圖6 可知,與基于濾波的Bicubic 算法、GF[6]算法以及基于深度學(xué)習(xí)的單圖像超分辨率算法SRCNN[17]相比,基于紋理圖像引導(dǎo)的DepthSR[29]算法、PMBA[28]算法和HFFN 算法在重建過程中融合了紋理圖像提供的引導(dǎo)信息,指引深度圖像的重建過程,其重建結(jié)果有著清晰的邊緣.

由圖7(d)框中區(qū)域可知,DepthSR[29]算法在深度圖像 “Laundry”上的重建結(jié)果出現(xiàn)了原始深度圖像上不存在的白色條紋,可能是由于DepthSR[29]算法在解碼過程中只融合淺層的紋理特征,紋理圖像中包含的紋理信息干擾了深度圖像的重建過程;如圖9(f)藍(lán)框區(qū)域所示,HFFN 算法利用深層網(wǎng)絡(luò)充分挖掘了紋理圖像的結(jié)構(gòu)信息,并利用反饋式融合策略獲得了包含多級感受野的邊緣引導(dǎo)信息,重建結(jié)果未出現(xiàn)白色條紋,避免了紋理圖像內(nèi)部紋理信息的干擾.

3.4 計(jì)算復(fù)雜度分析

本文對比HFFN 與Bicubic、GF[6]、TGV[14]、SRCNN[17]、MSG[25]、PMBA[28]、DepthSR[29]的計(jì)算復(fù)雜度.在Intel(R)E5-1620v4,3.5 GHz,32 GB RAM、NVIDIA GeForce GTX 2080Ti 12 GB 計(jì)算平臺上,各算法將低分辨率深度圖像(264×324)重建為高分辨率深度圖像(1 056×1 296) 的平均運(yùn)行時(shí)間,如表7 所示.

表7 平均運(yùn)行時(shí)間Table 7 Average running time

由表7 可知,基于濾波的Bicubic 算法、GF[6]算法,運(yùn)行時(shí)間分別為0.01 s、0.13 s,相比其他算法運(yùn)行時(shí)間最快、計(jì)算復(fù)雜度最低;基于優(yōu)化表示的TGV[14]算法在CPU 上的運(yùn)行時(shí)間達(dá)到了893 s,時(shí)間消耗最大;得益于GPU 計(jì)算資源的優(yōu)勢,基于深度學(xué)習(xí)的SRCNN[17]算法、MSG[25]算法、Depth-SR[29]算法、PMBA[28]算法和HFFN 算法的運(yùn)行時(shí)間分別為:0.13 s、0.29 s、1.84 s、0.46 s.在這些網(wǎng)絡(luò)結(jié)構(gòu)中,SRCNN[17]只使用了3 層卷積層,計(jì)算復(fù)雜度最低;DepthSR[29]利用了4 層輸入金字塔提取不同尺度下的結(jié)構(gòu)特征,再與U-Net 結(jié)構(gòu)中對應(yīng)尺度的特征進(jìn)行級聯(lián),提取各層的特征信息,增加了模型參數(shù)量、降低了運(yùn)行速度;HFFN 網(wǎng)絡(luò)采用了3 層并行金字塔結(jié)構(gòu)、有效利用深度-紋理多尺度間的相關(guān)性,在提升深度圖像重建質(zhì)量的同時(shí),控制了模型的參數(shù)量和計(jì)算復(fù)雜度.

4 結(jié)論

本文提出了一種基于分級特征反饋融合策略的深度圖像超分辨率重建算法,并構(gòu)建了端到端的分級特征反饋融合網(wǎng)絡(luò).在提取深度-紋理圖像的深層特征的基礎(chǔ)上,該算法利用并行金字塔結(jié)構(gòu)構(gòu)建深度-紋理在不同尺度下的分層特征表示,提取深度-紋理在不同尺度下的結(jié)構(gòu)信息;進(jìn)而,應(yīng)用反饋式融合策略,融合不同尺度下的結(jié)構(gòu)特征,生成包含多級感受野的邊緣引導(dǎo)信息,引導(dǎo)深度圖像的超分辨率重建過程.與其他算法相比,實(shí)驗(yàn)結(jié)果驗(yàn)證了所提算法的有效性.