郭 曉,譚文安,2

(1.南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 南京 211106； 2.上海第二工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院, 上海 201209)

基于級(jí)聯(lián)深度卷積神經(jīng)網(wǎng)絡(luò)的高性能圖像超分辨率重構(gòu)

郭 曉1,譚文安1,2*

(1.南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 南京 211106； 2.上海第二工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院, 上海 201209)

為了進(jìn)一步提高現(xiàn)有圖像超分辨率重構(gòu)方法所得圖像的分辨率，提出一種高性能的深度卷積神經(jīng)網(wǎng)絡(luò)(HDCN)模型用于重構(gòu)放大倍數(shù)固定的超分辨率圖像。通過(guò)建立級(jí)聯(lián)HDCN模型解決傳統(tǒng)模型重構(gòu)圖像時(shí)放大倍數(shù)無(wú)法按需選擇的問(wèn)題，并在級(jí)聯(lián)過(guò)程中引入深度邊緣濾波器以減少級(jí)聯(lián)誤差，突出邊緣信息，從而得到高性能的級(jí)聯(lián)深度卷積神經(jīng)網(wǎng)絡(luò)(HCDCN)模型?；赟et5、Set14數(shù)據(jù)集進(jìn)行超分辨率圖像重構(gòu)實(shí)驗(yàn)，證明了引入深度邊緣濾波器的有效性，對(duì)比HCDCN方法與其他圖像超分辨率重構(gòu)方法的性能評(píng)估結(jié)果，展現(xiàn)了HCDCN方法的優(yōu)越性能。

超分辨率; 圖像重建; 深度卷積神經(jīng)網(wǎng)絡(luò); 級(jí)聯(lián); 深度邊緣濾波器

0 引言

受限于硬件設(shè)備，日常人們獲取的數(shù)字圖像分辨率普遍較低，無(wú)法滿足實(shí)際需要。為了解決這一問(wèn)題，可以采用單幅圖像超分辨率重構(gòu)(Single Image Super-Resolution，SISR)技術(shù)，由一幅低分辨率(Low-Resolution，LR)圖像重構(gòu)出一幅高分辨率(High-Resolution，HR)圖像以獲取更多的細(xì)節(jié)信息。該技術(shù)已廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)與圖形學(xué)、醫(yī)學(xué)成像、安全監(jiān)控等領(lǐng)域。

較為早期的單幅圖像超分辨率重構(gòu)技術(shù)大多基于插值，如雙三次插值法(bicubic interpolation)[1]。插值方法得到的重構(gòu)圖像易出現(xiàn)模糊、振鈴、鋸齒等現(xiàn)象[2]。隨后出現(xiàn)如迭代反向投影法(Iterative Back Projection，IBP)[3]等基于重構(gòu)的方法，通過(guò)對(duì)圖像降質(zhì)過(guò)程建立觀測(cè)模型，利用數(shù)學(xué)理論進(jìn)行反向求解以重構(gòu)高分辨率圖像。基于重構(gòu)的方法減少了鋸齒、振鈴等現(xiàn)象，但存在正則約束項(xiàng)的選擇問(wèn)題及配準(zhǔn)問(wèn)題等。近年來(lái)，基于學(xué)習(xí)的方法,如鄰域嵌入法(Neighbor embedding)[4]、稀疏編碼(Sparse coding)[5]構(gòu)建包含LR圖像和HR圖像的樣本庫(kù)，通過(guò)訓(xùn)練得到樣本庫(kù)中LR/HR圖像塊之間的映射關(guān)系，從而指導(dǎo)圖像超分辨率重建。文獻(xiàn)[6]提出超分辨率卷積神經(jīng)網(wǎng)絡(luò)(Super-Resolution Convolutional Neural Network，SRCNN)通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)低分辨率圖像到高分辨率圖像實(shí)現(xiàn)端到端的映射，使單幅圖像超分辨率重構(gòu)技術(shù)得到質(zhì)的飛躍。但目前該項(xiàng)技術(shù)依然存在以下問(wèn)題：1)大部分模型重構(gòu)超分辨率圖像時(shí)放大倍數(shù)無(wú)法按需調(diào)整，需要重新訓(xùn)練模型來(lái)改變放大倍數(shù)。如文獻(xiàn)[7]采用重新微調(diào)模型的方式改變圖像放大倍數(shù)；文獻(xiàn)[8]利用單個(gè)多層深度卷積神經(jīng)網(wǎng)絡(luò)同時(shí)學(xué)習(xí)不同的放大倍數(shù)，取得了優(yōu)異效果。2)大部分基于卷積神經(jīng)網(wǎng)絡(luò)的重構(gòu)模型訓(xùn)練時(shí)收斂慢，需要迭代運(yùn)算次數(shù)甚至達(dá)到千萬(wàn)；網(wǎng)絡(luò)層次較淺，無(wú)法學(xué)習(xí)表征更為復(fù)雜的圖像信息。

本文研究主要貢獻(xiàn)如下：1)為進(jìn)一步提高現(xiàn)有方法重構(gòu)超分辨率圖像的分辨率，本文提出一種高性能的深度卷積神經(jīng)網(wǎng)絡(luò)(High-performance Deep Convolutional neural Network, HDCN)模型用以實(shí)現(xiàn)固定放大倍數(shù)的圖像超分辨率重建；2)為解決重構(gòu)圖像時(shí)放大倍數(shù)無(wú)法按需調(diào)整的問(wèn)題，提出高性能的級(jí)聯(lián)深度卷積神經(jīng)網(wǎng)絡(luò)(High-performance Cascade Deep Convolutional neural Network, HCDCN)模型同時(shí)重構(gòu)多個(gè)放大倍數(shù)的高分辨率圖像，在級(jí)聯(lián)過(guò)程中引入深度邊緣濾波器，提升重構(gòu)性能。與文獻(xiàn)[6-9]等方法的實(shí)驗(yàn)對(duì)比證明了本文所提方法的優(yōu)異性能。

1 相關(guān)工作

1.1 基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重構(gòu)

在SRCNN模型中，卷積神經(jīng)網(wǎng)絡(luò)只有3層，分別起到特征提取，非線性映射以及重構(gòu)的作用。同樣采取3層卷積神經(jīng)網(wǎng)絡(luò)的還有文獻(xiàn)[9]中提出的高效子像素卷積神經(jīng)網(wǎng)絡(luò)(Efficient Sub-Pixel Convolutional neural Network，ESPCN)，該方法將起重構(gòu)作用的反卷積層表示成卷積層的形式，在網(wǎng)絡(luò)的最后一層提升圖像大小。文獻(xiàn)[7]對(duì)SRCNN模型進(jìn)行改進(jìn)，增加用于收縮和擴(kuò)展模型參數(shù)的卷積層，使得模型可以在配置較低的電腦上得以訓(xùn)練，同時(shí)將起非線性映射作用的卷積層由1層擴(kuò)展至4層，取得更優(yōu)異的性能。文獻(xiàn)[8]調(diào)整梯度下降時(shí)的迭代步長(zhǎng)加速收斂，極大縮減了訓(xùn)練時(shí)間，采用20層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行殘差學(xué)習(xí)(residual-learning)，獲得較好的高分辨率圖像性能。文獻(xiàn)[7-8]的實(shí)驗(yàn)結(jié)果表明：在一定條件下，增加卷積神經(jīng)網(wǎng)絡(luò)層數(shù)可以提升圖像超分辨率重構(gòu)的性能。

1.2 邊緣濾波器

邊緣濾波器廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)和圖像處理，既平滑了圖像，又盡可能地保留了圖像的邊緣信息。早在20世紀(jì)90年代，文獻(xiàn)[10]便提出了對(duì)濾波方向進(jìn)行控制的邊緣濾波器(Steerable Filter)，文獻(xiàn)[11]提出了經(jīng)典的雙邊濾波器(Bilateral Filter)，之后有很多方法都是基于雙邊濾波器，如文獻(xiàn)[12-13]。文獻(xiàn)[14]通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)建立了多種邊緣濾波器的統(tǒng)一框架，融合各邊緣濾波器原有特性，在降低計(jì)算復(fù)雜度的同時(shí)依然可以提升性能。

2 本文提出的模型

2.1 HDCN模型

受啟發(fā)于文獻(xiàn)[8]中“The deeper, the better”的思想，實(shí)驗(yàn)訓(xùn)練一個(gè)共d層的深度卷積神經(jīng)網(wǎng)絡(luò)用于實(shí)現(xiàn)放大倍數(shù)為s的圖像超分辨率重構(gòu)。網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖1。

圖1 HDCN模型結(jié)構(gòu)Fig. 1 HDCN model architecture

圖1中，模型輸入是待重構(gòu)圖像通過(guò)雙三次插值法放大s倍的結(jié)果圖像x，輸出是高分辨率圖像y與輸入圖像x之間的殘差r，將輸入與輸出相加即可得出放大倍數(shù)為s的高分辨率圖像y。

除去網(wǎng)絡(luò)結(jié)構(gòu)中第一層從圖像x中提取特征以及最后一層用于重構(gòu)圖像，其余卷積層都用于學(xué)習(xí)模型F，使得由模型F預(yù)測(cè)的殘差值F(x)與真實(shí)殘差r之間的誤差最小。優(yōu)化目標(biāo)可表示如下：

(1)

傳統(tǒng)深度網(wǎng)絡(luò)隨著深度的增加，梯度彌散致使訓(xùn)練難度不斷加大，而深度殘差網(wǎng)絡(luò)在一定深度內(nèi)(文獻(xiàn)[15]中34層)可以盡可能地減小梯度彌散的影響，因此HDCN模型選擇的學(xué)習(xí)目標(biāo)是高分辨率圖像y與輸入圖像x之間的殘差r，而不是如傳統(tǒng)神經(jīng)網(wǎng)絡(luò)將高分辨率圖像y作為學(xué)習(xí)目標(biāo)。

[15]中的34層深度殘差網(wǎng)絡(luò)設(shè)計(jì)規(guī)則：1)大部分使用3×3的卷積核；2)對(duì)輸出映射特征大小相同的卷積層，設(shè)定相同數(shù)目的卷積核。因此在參數(shù)選擇上，用于學(xué)習(xí)模型F的卷積層擁有相同的結(jié)構(gòu)，每一層都具有64個(gè)大小為3×3×64的濾波器，最后一層只需要一個(gè)3×3×64的濾波器。考慮到深度殘差網(wǎng)絡(luò)大幅降低了訓(xùn)練更深層次神經(jīng)網(wǎng)絡(luò)的難度。因此在訓(xùn)練中可以采取較為激進(jìn)的迭代策略，減少訓(xùn)練時(shí)間，詳細(xì)的步長(zhǎng)迭代策略見(jiàn)3.3節(jié)。

2.2 HCDCN模型

借助上述的HDCN模型，可以由一幅低分辨率圖像重構(gòu)出大小為原來(lái)s倍的高分辨率圖片。為了同時(shí)得到其他重構(gòu)倍數(shù)的高分辨率圖片，可以將HDCN模型級(jí)聯(lián)起來(lái)得到如圖2所示的模型結(jié)構(gòu)。例如，要想得到重構(gòu)倍數(shù)為s2的高分辨率圖片，僅需將低分辨率圖片通過(guò)2次HDCN模型，每通過(guò)一次HDCN模型都會(huì)得到輸入圖像s倍的高分辨率圖像。

圖2 級(jí)聯(lián)的HDCN模型結(jié)構(gòu)Fig. 2 Cascaded HDCN model architecture

這種級(jí)聯(lián)方式十分簡(jiǎn)單，但使用較少,如文獻(xiàn)[16-17]。因?yàn)橥ㄟ^(guò)同一模型重復(fù)放大，存在放大誤差的風(fēng)險(xiǎn)。為了減少這種風(fēng)險(xiǎn)，在層級(jí)之間引入深度邊緣濾波器，在平滑圖像的同時(shí)會(huì)保留圖像的邊緣信息。平滑圖像可以減少因局部像素點(diǎn)偏差對(duì)后續(xù)重構(gòu)造成的影響，同時(shí)邊緣信息的保留有利于減少圖像重構(gòu)過(guò)程中的結(jié)構(gòu)誤差。深度邊緣濾波器通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)建立了多種邊緣濾波器的統(tǒng)一框架，極大減少了挑選合適邊緣濾波器的工作量。最終得到的HCDCN模型如圖3所示。

圖3 HCDCN模型結(jié)構(gòu)Fig. 3 HCDCN model architecture

(2)

圖像超分辨率重構(gòu)技術(shù)實(shí)質(zhì)上是由低分辨率圖像推理出丟失的高頻分量以重構(gòu)高分辨率圖像，引入深度邊緣濾波器會(huì)減少圖像的細(xì)節(jié)信息，只要控制邊緣濾波器的系數(shù)δ，在一定條件下，對(duì)性能仍有提升效果。詳細(xì)的系數(shù)設(shè)置見(jiàn)3.3節(jié)。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)采用文獻(xiàn)[18]中的91張圖片作為訓(xùn)練集，經(jīng)數(shù)據(jù)增強(qiáng)后為1 638張圖片。測(cè)試集為國(guó)際通用的“Set5”[19]以及“Set14”[20]，總計(jì)19張圖片。

3.2 評(píng)估路線

實(shí)驗(yàn)采用兩種國(guó)際通用的評(píng)判標(biāo)準(zhǔn)衡量實(shí)驗(yàn)性能：峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)以及結(jié)構(gòu)相似性(Structural SIMilarity，SSIM)。

峰值信噪比是使用最普遍和最為廣泛的一種圖像客觀評(píng)價(jià)指標(biāo)，它通過(guò)計(jì)算對(duì)應(yīng)像素點(diǎn)間的誤差，衡量圖像質(zhì)量。計(jì)算公式如下：

(3)

其中：H、W分別為圖像的高度和寬度；m為每像素的比特?cái)?shù)，一般取8；X(i,j),Y(i,j)分別表示圖像X,Y中坐標(biāo)點(diǎn)(i,j)的亮度值。PSNR的單位是dB，數(shù)值越大表示失真越小。

結(jié)構(gòu)相似性SSIM分別從亮度、對(duì)比度、結(jié)構(gòu)三方面度量圖像相似性，其計(jì)算公式如下：

SSIM(X,Y)=l(X,Y)·c(X,Y)·s(X,Y)；

(4)

其中：μX、μY分別表示圖像X和Y的均值，σX、σY分別表示圖像X和Y的方差，σXY表示圖像X和Y的協(xié)方差。C1、C2、C3為常數(shù)，為了避免分母為0的情況，通常取C1=(K1×L)2，C2=(K2×L)2，C3=C2/2，一般地K1=0.01，K2=0.03，L=255。

3.3 實(shí)驗(yàn)參數(shù)與實(shí)施

鑒于目前主流研究中重構(gòu)倍數(shù)主要為2、3、4倍，因此s取2，同時(shí)，d取25，即HDCN模型是用于重構(gòu)2倍高分辨率圖片、擁有25層網(wǎng)絡(luò)結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)。

訓(xùn)練集的圖片首先經(jīng)過(guò)間隔為14的下采樣，得到大小為51×51的子圖像。訓(xùn)練過(guò)程中，每一批的圖像數(shù)為64，沖量單元(momentum)為0.9，權(quán)重衰減(weight decay)為0. 000 1。在迭代步長(zhǎng)選取策略上，傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(luò)模型采取固定為0.000 1的步長(zhǎng),如文獻(xiàn)[6-7,9]。實(shí)驗(yàn)采取較為激進(jìn)

(5)

其中：iter為當(dāng)前迭代次數(shù)，base_lr、gamma均取0.1,stepsize為116 840。最終迭代次數(shù)為467 360。實(shí)驗(yàn)中使用的GPU為GTX970，模型訓(xùn)練時(shí)間約30 h。

在HCDNC模型中，系數(shù)δ的選取不能過(guò)大，否則會(huì)減少圖片的細(xì)節(jié)信息。實(shí)驗(yàn)中，固定模型中的其他參數(shù)，僅改變系數(shù)δ，比較不同系數(shù)δ下測(cè)試數(shù)據(jù)集的PSNR值。圖4展示了在重構(gòu)倍數(shù)為3時(shí)，系數(shù)δ與Set5測(cè)試集PSNR值的關(guān)系。濾波器選取為“shock filter”，beta取167.7。實(shí)驗(yàn)表明，在模型中其他參數(shù)固定時(shí)，當(dāng)系數(shù)δ為0.011時(shí)，HCDNC模型的重構(gòu)性能最佳。因此，系數(shù)δ定義如下：

(6)

圖4 重構(gòu)倍數(shù)為3時(shí)，系數(shù)δ與Set5測(cè)試集PSNR值關(guān)系Fig. 4 Relationship between parameter δ and PSNR of Set 5 with scale factor×3

實(shí)驗(yàn)只訓(xùn)練了重構(gòu)倍數(shù)為2的HDNC模型，因此重構(gòu)倍數(shù)為4的高分辨率圖片可以通過(guò)級(jí)聯(lián)2個(gè)HDNC模型得到。而重構(gòu)倍數(shù)為3的高分辨率圖片可以選擇通過(guò)改變重構(gòu)倍數(shù)為4的高分辨率圖片大小得到。

3.4 與其他方法對(duì)比

對(duì)比所提出的HCDCN方法在Set5以及Set14數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與一些著名的圖像超分辨率重構(gòu)方法，如A+[22]、RFL[23]、SelfEx[24]以及SRCNN[5]，各實(shí)驗(yàn)條件下的平均PSNR值及SSIM值如表1所示，表中加粗標(biāo)出的是當(dāng)前實(shí)驗(yàn)條件下的最優(yōu)結(jié)果。圖5、圖6中展示了部分實(shí)驗(yàn)結(jié)果，圖中的評(píng)價(jià)指標(biāo)分別為PSNR(單位dB)和SSIM，格式為(PSNR/SSIM)。

表1 重構(gòu)倍數(shù)分別為2,3,4時(shí)，測(cè)試集Set5,Set14的平均PSNR值及SSIM值Tab. 1 Average PSNR/SSIM for scale factor ×2,×3 and ×4 on datasets Set5, Set14

圖5 重構(gòu)倍數(shù)為3時(shí)，Set5測(cè)試集中圖像“butterfly_GT”的重構(gòu)結(jié)果Fig. 5 Super-resolution results of “butterfly_GT” (Set5) with scale factor×3

圖6 重構(gòu)倍數(shù)為3時(shí)，Set14測(cè)試集中圖像“ppt3”的重構(gòu)結(jié)果Fig. 6 Super-resolution results of “ppt3” (Set14) with scale factor×3

對(duì)比發(fā)現(xiàn)，HCDCN模型的性能不遜色于近期的國(guó)際論文作結(jié)果，如ESPCN[9]、TNRD[25]、FSRCNN[7]、VDSR[8]，如表2所示，表中加粗標(biāo)出的是當(dāng)前實(shí)驗(yàn)條件下的最優(yōu)結(jié)果。由于ESPCN模型只訓(xùn)練了重構(gòu)倍數(shù)為3的模型，所以重構(gòu)倍數(shù)2,4的實(shí)驗(yàn)結(jié)果缺失。缺失的數(shù)據(jù)用“—”表示。另外，前三種方法并未提供SSIM的數(shù)據(jù)，因此在表2中只比較了PSNR值。

表2 重構(gòu)倍數(shù)分別為2,3,4時(shí)，測(cè)試集Set5,Set14的平均PSNR值Tab. 2 Average PSNR for scale factor×2,×3 and ×4 on datasets Set5, Set14

4 結(jié)語(yǔ)

本文通過(guò)級(jí)聯(lián)高性能深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)多放大倍數(shù)的單幅圖像高分辨率重建。在級(jí)聯(lián)過(guò)程中通過(guò)深度濾波器突出邊緣信息優(yōu)化重建結(jié)果，實(shí)驗(yàn)證明了級(jí)聯(lián)方法及引入深度濾波器的有效性。下一步的工作嘗試結(jié)合其他方法建立模型，如引入拉普拉斯金字塔模型對(duì)級(jí)聯(lián)方法進(jìn)行改進(jìn)；改進(jìn)模型的損失函數(shù)以解決重構(gòu)圖像部分模糊的問(wèn)題。

此次采訪短暫而豐富，記者們不僅了解了忠旺集團(tuán)的整個(gè)發(fā)展歷程，參觀了生產(chǎn)車(chē)間，感嘆于忠旺集團(tuán)的雄厚實(shí)力，而且也看到了新技術(shù)對(duì)于產(chǎn)品生產(chǎn)所產(chǎn)生的革命式改變，我們相信攪拌摩擦焊未來(lái)不僅在鋁合金加工行業(yè)，在其他行業(yè)也同樣能夠發(fā)揮專(zhuān)長(zhǎng)，為產(chǎn)品生產(chǎn)提供更為廣闊的技術(shù)平臺(tái)。

參考文獻(xiàn)(References)

[1] KEYS R. Cubic convolution interpolation for digital image processing [J]. IEEE Transactions on Acoustics, Speech and Signal Processing, 1981, 29(6):1153-1160.

[2] 曾坤. 基于學(xué)習(xí)的單幅圖像超分辨率重建的若干關(guān)鍵問(wèn)題研究[D]. 廈門(mén): 廈門(mén)大學(xué), 2015.(ZENG K. Research on some key problems of single image super-resolution reconstruction based on learning [D]. Xiamen: Xiamen University, 2015.)

[3] IRANI M, PELEG S. Improving resolution by image registration [J]. Graphical Models and Image Processing, 1991, 53(3): 231-239.

[4] 曾俊國(guó). 基于稀疏鄰域嵌入法的圖像超分辨技術(shù)研究[J]. 科學(xué)技術(shù)與工程, 2013, 13(7):1840-1846.(ZENG J G. Image super resolution based on sparse neighbor embedding[J]. Science Technology and Engineering, 2013, 13(7): 1840-1846.)

[5] 沈松, 朱飛, 姚琦,等. 基于稀疏表示的超分辨率圖像重建[J]. 電子測(cè)量技術(shù), 2011, 34(6):37-39.(SHEN S, ZHU F, YAO Q, et al. Based on sparse representation for super-resolution image reconstruction[J]. Electronic Measurement Technology, 2011, 34(6): 37-39.)

[6] DONG C, CHEN C L, HE K, et al. Learning a Deep Convolutional Network for Image Super-Resolution [M]. Berlin: Springer International Publishing, 2014:184-199.

[7] DONG C, CHEN C L, TANG X. Accelerating the super-resolution convolutional neural network[C]// Proceedings of the 14th European Conference on Computer Vision. Berlin: Springer, 2016:391-407.

[8] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016:1646-1654.

[9] SHI W, CABALLERO J, HUSZR F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 1874-1883.

[10] FREEMAN W T, ADELSON E H. The design and use of steerable filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1991, 13(9): 891-906.

[11] TOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]// Proceedings of the Sixth International Conference on Computer Vision. Piscataway, NJ: IEEE, 1998: 839.

[12] YANG Q, TAN K H, AHUJA N. Real-time O(1) bilateral filtering[C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2009:557-564.

[13] YANG Q, WANG S, AHUJA N. SVM for edge-preserving filtering[C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2010:1775-1782.

[14] XU L, REN J S, YAN Q, et al. Deep edge-aware filters[EB/OL].[2016- 10- 20]. http://www.jimmyren.com/papers/Poster_ICML-2015.pdf.

[15] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016:770-778.

[16] CUI Z, CHANG H, SHAN S, et al. Deep network cascade for image super-resolution[C]// Proceedings of the 13th European Conference on Computer Vision. Berlin: Springer, 2014:49-64.

[17] WANG Z, LIU D, YANG J, et al. Deep networks for image super-resolution with sparse prior[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2015:370-378.

[18] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861.

[19] BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[EB/OL]. [2016- 10- 20].http://www.irisa.fr/prive/Aline.Roumy/publi/12bmvc_Bevilacqua_lowComplexitySR.pdf.

[20] ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse-representations[C]// Proceedings of the 7th International Conference on Curves and Surfaces. Berlin: Springer-Verlag, 2010:711-730.

[21] JIA Y, SHELHAMER E, DONAHUE J, et al. Caffe: convolutional architecture for fast feature embedding[C]// Proceedings of the 22nd ACM International Conference on Multimedia. New York: ACM, 2014:675-678.

[22] TIMOFTE R, SMET V D, GOOL L V. A+: adjusted anchored neighborhood regression for fast super-resolution[C]// Proceedings of the 12th Asian Conference on Computer Vision. Berlin: Springer, 2015:111-126.

[23] SCHULTER S, LEISTNER C, BISCHOF H. Fast and accurate image upscaling with super-resolution forests[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015:3791-3799.

[24] HUANG J B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2015:5197-5206.

[25] CHEN Y, POCK T. Trainable nonlinear reaction diffusion: a flexible framework for fast and effective image restoration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 39(6): 1256-1272.

This work is partially supported by the National Natural Science Foundation of China (61672022).

GUOXiao, born in 1994, M. S. candidate. His research interests include machine learning, deep learning, image restruction.

TANWenan, born in 1965, Ph. D., professor. His research interests include software service engineering, trusted service computing and composition, collaborative computing, business process intelligence.

High-performanceimagesuper-resolutionrestructionbasedoncascadedeepconvolutionalnetwork

GUO Xiao1, TAN Wenan1,2*

(1.CollegeofComputerScienceandTechnology,NanjingUniversityofAeronauticsandAstronautics,NanjingJiangsu211106,China;2.CollegeofComputerandInformation,ShanghaiPolytechnicUniversity,Shanghai201209,China)

In order to further improve the resolution of existing image super-resolution methods, a High-performance Deep Convolution neural Network (HDCN) was proposed to reconstruct a fixed-scale super-resolution image. By cascading several HDCN models, the problem that many traditional models could not upscale images in alternative scale factors was solved, and a deep edge filter in the cascade process was introduced to reduce cascading errors, and highlight edge information, High-performance Cascade Deep Convolutional neural Network (HCDCN) was got. The super-resolution image reconstruction experiment was carried out on high-performance cascade deep convolution neural network (HCDCN) model on Set5 and Set14 datasets. The experimental results prove the effectiveness of introducing the deep edge-aware filter. By comparing the performance evaluation results of HCDCN method and other image super-resolution reconstruction method, the superior performance of HCDCN method is demonstrated.

super-resolution; image reconstruction; deep convolutional neural network; cascade; deep edge-aware filter

2017- 05- 16;

2017- 06- 05。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61672022)。

郭曉(1994—)，男，江蘇南京人，碩士研究生，主要研究方向：機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、圖像重建； 譚文安(1965—),男,湖北荊州人，教授, 博士, 主要研究方向：軟件服務(wù)工程、可信服務(wù)計(jì)算與組合、協(xié)同計(jì)算、業(yè)務(wù)過(guò)程智能。

1001- 9081(2017)11- 3124- 04

10.11772/j.issn.1001- 9081.2017.11.3124

(*通信作者電子郵箱wtan@foxmail.com)

TP391.41

A