胡傳平，鐘雪霞，梅林,2，邵杰，王建,3，何瑩

（1.公安部第三研究所，上海200031；2.上海辰銳信息科技公司,上海 201204；3.上海國際技貿(mào)聯(lián)合有限公司,上海 200031）

基于深度學(xué)習(xí)的圖像超分辨率算法研究

胡傳平1，鐘雪霞1，梅林1,2，邵杰1，王建1,3，何瑩1

（1.公安部第三研究所，上海200031；2.上海辰銳信息科技公司,上海 201204；3.上海國際技貿(mào)聯(lián)合有限公司,上海 200031）

單幅圖像超分辨率算法的主要任務(wù)是根據(jù)一幅給定的低分辨率圖像重建出對應(yīng)的高分辨率圖像。大多數(shù)基于外部樣例學(xué)習(xí)的單幅圖像超分辨率算法首先提取低分辨率樣例圖像塊和高分辨率樣例圖像塊的圖像特征，然后用機器學(xué)習(xí)的某種方法學(xué)習(xí)它們之間的非線性映射關(guān)系，最后將重疊的高分辨率圖像塊聚合生成高分辨率圖像。對基于深度學(xué)習(xí)的端到端學(xué)習(xí)架構(gòu)進(jìn)行改進(jìn)，端到端的超分辨率學(xué)習(xí)架構(gòu)無需預(yù)處理和圖像聚合過程；通過加深和改進(jìn)深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，我們提出了一種新的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法。與其他優(yōu)秀的圖像超分辨率算法進(jìn)行對比，實驗結(jié)果證明了該算法的優(yōu)越性。

單幅圖像超分辨率；外部樣例學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；端到端學(xué)習(xí)

圖像超分辨率技術(shù)是計算機視覺領(lǐng)域中一個基礎(chǔ)而重要的問題。圖像超分辨率重建有許多重要的應(yīng)用領(lǐng)域。例如：將低分辨率的影像畫質(zhì)轉(zhuǎn)換為高清畫質(zhì)以匹配適應(yīng)高清電視（HDTV）的接收器；醫(yī)學(xué)圖像（計算機斷層掃描CT，內(nèi)窺鏡圖像，核磁共振成像MRT等）超分辨率重建獲取更多細(xì)節(jié)信息有助于對疾病及時準(zhǔn)確的診斷；監(jiān)控視頻中超分辨率重建感興趣目標(biāo)和區(qū)域（人臉、車牌等），在分辨率和實時性方面均有較高要求［1］，使其可以幫忙發(fā)現(xiàn)重要線索和及早偵破［2,3］；遙感圖像的超分辨率重建能夠幫助獲取更準(zhǔn)確的氣象預(yù)報信息。

多幀圖像超分辨率通過給定的同一場景的多張圖像重建HR圖像，提高圖像采樣率。單幅圖像超分辨率技術(shù)（Single Image Super-Resolution，SISR）基于一幅低分辨率（Low-Resolution，LR）圖像重建出有很好視覺體驗的高分辨率（High-Resolution，HR）圖像。本文主要研究單幀圖像的超分辨率算法。傳統(tǒng)的單幀圖像超分辨率方法，如雙三次方法［4］和Lanzcos插值方法［5］在假定圖像平滑的前提下預(yù)測未知的高分辨率像素點，因此無法修復(fù)原始圖像中的高頻細(xì)節(jié)信息。一些SISR方法利用LR圖像局部區(qū)域自身的相似性估計未知像素點。在過去的數(shù)十年中，學(xué)者們提出許多優(yōu)秀的單幅圖像超分辨率算法，最有效的算法大都是基于大量的訓(xùn)練樣本，試圖從外部低分辨率圖像和高分辨率圖像對中學(xué)習(xí)最佳的非線性映射關(guān)系。

一、相關(guān)研究綜述

在現(xiàn)有的SISR方法中，基于鄰居嵌入的方法［6-9］和稀疏表示的方法［10-12］均可以得到比較好的超分辨率性能，這兩類方法又統(tǒng)稱為基于外部樣例學(xué)習(xí)的圖像分辨率方法（external exemplar-based image super-solution method）。基于鄰居嵌入的SISR方法利用HR圖像塊和LR圖像塊之間的幾何相似性學(xué)習(xí)它們之間的回歸或映射關(guān)系，如基于局部線性嵌套的鄰居嵌入方法（Neighbor Embedding with Locally Linear Embedding，NE+LLE）、非負(fù)最小平方分解的鄰居嵌入方法（Neighbor Embedding with Non-Negative Least Squares decomposition，NE+NNLS）、最小平方分解的鄰居嵌入式方法（Neighbor Embedding with Least Squares decomposition，NE+LS）、固定鄰居回歸的方法［13］（Anchored Neighborhood Regression，ANR）和調(diào)整的固定鄰居回歸方法［14］（Adjusted Anchored Neighborhood Regression，A+）等。在基于稀疏表示的SISR方法中，利用稀疏編碼理論將LR圖像塊和對應(yīng)的HR圖像塊分別表示為相應(yīng)的詞典，通過機器學(xué)習(xí)方法建立詞典之間的映射關(guān)系，利用學(xué)習(xí)的映射關(guān)系生成給定單幀圖像的HR圖像。

基于外部樣例學(xué)習(xí)的SISR方法是指通過從大量的LR圖像和HR圖像對的先驗知識中學(xué)習(xí)它們之間的非線性映射關(guān)系，利用學(xué)習(xí)到的函數(shù)關(guān)系超分辨率化待處理的圖像。通常，基于外部樣例學(xué)習(xí)的SISR方法的基本架構(gòu)如下所述。首先待處理的LR圖像被分解為固定尺寸（如6或9）的重疊的LR圖像塊，然后每一個LR圖像塊利用學(xué)習(xí)的映射關(guān)系重建得到相應(yīng)的HR圖像塊，最后，通過聚合所有重疊的HR圖像塊生成高分辨率圖像。基于外部樣例學(xué)習(xí)的SISR方法可以依據(jù)采取的不同機器學(xué)習(xí)方法進(jìn)行分類。還有些基于外部樣例學(xué)習(xí)的SISR方法采用了聯(lián)合優(yōu)化策略，將LR圖像塊的放大和HR圖像塊的匯聚結(jié)合起來。如JOR（Jointly Optimized Regressors）［15］從大量外部HR圖像塊和LR圖像塊中學(xué)習(xí)一系列回歸函數(shù)，然后采用近似kNN的方法為待處理的每個LR圖像塊選擇最佳的回歸函數(shù)，學(xué)習(xí)回歸函數(shù)集和為每個LR圖像塊選擇最佳回歸函數(shù)結(jié)合起來進(jìn)行聯(lián)合優(yōu)化。聯(lián)合優(yōu)化策略有效地提高了SISR方法的性能。

大多數(shù)基于外部樣例學(xué)習(xí)的SISR方法的訓(xùn)練過程是在提取的LR圖像特征和HR圖像特征之間進(jìn)行的，再通過學(xué)習(xí)的非線性函數(shù)估計的HR圖像塊匯聚生成最終的HR圖像。近年來，深度學(xué)習(xí)方法在許多計算機視覺問題上取得很大的成功，如圖像分類［16］、目標(biāo)檢測［17］和目標(biāo)分割［18］等。實踐證明，深度學(xué)習(xí)方法也可用來解決低層視覺問題，如圖像去模糊［19］。同時，對于SISR，學(xué)者提出了基于深度學(xué)習(xí)的端到端的學(xué)習(xí)框架［20］，這是一個重大突破。超分辨率的端到端學(xué)習(xí)架構(gòu)不需要特征提取的預(yù)處理過程和后續(xù)重疊的HR圖像塊聚合過程。在本文中，基于端到端的學(xué)習(xí)框架，通過加深和改進(jìn)深度學(xué)習(xí)網(wǎng)絡(luò)，我們提出了一種新的基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法（New Super-Resolution using Convolutional Neural Networks，NSRCNN），提升了SISR的性能。

二、基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法

（一）SRCNN算法

作為一種基于外部樣例學(xué)習(xí)的SISR方法，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法（Super-Resolu?tion using convolution networks Convolutional Neural Networks，SRCNN）利用深度學(xué)習(xí)的方法直接在外部的低分辨率和高分辨率圖像對上進(jìn)行訓(xùn)練學(xué)習(xí)［21］。SRCNN采用了聯(lián)合優(yōu)化的策略。SRCNN的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)包括三個卷積層，它們分別代表圖像塊的特征提取和表示，LR圖像塊和HR圖像塊之間的非線性映射，HR圖像塊的重組。

當(dāng)待處理的LR圖像放大倍數(shù)為3時，SRCNN的訓(xùn)練過程具體如下：

91幅訓(xùn)練圖像首先用雙立法方法進(jìn)行1/3下采樣，然后進(jìn)行3倍雙立法上采樣，輸出后的圖像與原始圖像（稱為HR圖像）尺寸大小相同。進(jìn)行下采樣和上采樣過程后輸出的圖像細(xì)節(jié)丟失很多，稱為LR圖像。91幅HR圖像和LR圖像分解成一系列33*33大小的子圖像，步長為14。卷積神經(jīng)網(wǎng)絡(luò)的輸入是33*33的LR子圖像，而不是提取子圖像的圖像特征，這是不同于其他基于外部樣例學(xué)習(xí)的SISR算法。

SRCNN的深度學(xué)習(xí)網(wǎng)絡(luò)中三個卷積層公式表達(dá)如下：

在上述公式中，矩陣X代表LR子圖像，Yi（i=1, 2,3）表示每個卷積層的輸出，Wi（i=1,2,3）和Bi（i=1,2, 3）分別代表每個卷積層的權(quán)重矩陣和偏置量，ni（i= 1,2,3）和fi（i=1,2,3）表示三個卷積層的濾波器數(shù)量和濾波器大小。修正線性單元（Rectified Linear Unit，ReLU）［22］應(yīng)用到第一個和第二個卷積層的濾波器響應(yīng)上。第三個卷積層的輸出（Y3）和對應(yīng)的HR子圖像之間的均方誤差作為驅(qū)動損失函數(shù)。

在SRCNN的測試過程中，輸入是待處理的LR圖像，輸出是放大的HR圖像。SRCNN的深度學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)設(shè)置為f1=9，f2=1，f3=5，n1=64，n2=32，n3= 1，每個卷積層的padding參數(shù)都為0。

（二）NSRCNN算法

深度學(xué)習(xí)優(yōu)于一般機器學(xué)習(xí)（淺層學(xué)習(xí)）方法的主要原因在于它包含多個隱含層，具有更深的網(wǎng)絡(luò)結(jié)構(gòu)。因此，通常對于深度學(xué)習(xí)來講，深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)越深，網(wǎng)絡(luò)中的學(xué)習(xí)參數(shù)越多，學(xué)習(xí)效果將會越好。例如，VGG網(wǎng)絡(luò)［23］和Google網(wǎng)絡(luò)［24］結(jié)構(gòu)包含十幾層。因此，我們可以采取加深神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法提升SISR性能。加深神經(jīng)網(wǎng)絡(luò)的方法包括：增加網(wǎng)絡(luò)的層數(shù)，增加卷積層中濾波器的數(shù)量，增大卷積層中濾波器尺寸，增大訓(xùn)練數(shù)據(jù)的數(shù)量和多樣性等?；谏鲜隼碚摵蚐RCNN的基本架構(gòu)，我們進(jìn)行了大量實驗試圖提升SISR性能。在NSRCNN中，91幅圖像用來做訓(xùn)練，毫無疑問更大的數(shù)據(jù)集（如ILSVRC 2014 ImageNet）能夠提升圖像超分辨率的性能［25］。因此，在NSRCNN的實驗中，我們主要探索通過增大濾波器尺寸、濾波器數(shù)目和網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)提升SISR性能。

對于深度學(xué)習(xí)在SISR方法上的應(yīng)用，三個卷積層的網(wǎng)絡(luò)結(jié)構(gòu)也許不是最佳選擇。然而，對于SISR，更多的神經(jīng)網(wǎng)絡(luò)層數(shù)存在收斂難題。實驗證明，對于SISR，四個卷積層的網(wǎng)絡(luò)模型是可行的。在四個卷積層的神經(jīng)網(wǎng)絡(luò)模型實驗中，我們首先增大了卷積層中濾波器數(shù)量和尺寸，具體網(wǎng)絡(luò)參數(shù)配置如下：f1=9，f2=7，f3=7，f4=5，n1=64，n2=64，n3=32，n4= 1；我們將其網(wǎng)絡(luò)結(jié)構(gòu)表示為9（64）-7（64）-7（32）-5 （1），padding參數(shù)都設(shè)置為0。然而與三層網(wǎng)絡(luò)模型性能相比，9（64）-7（64）-7（32）-5（1）網(wǎng)絡(luò)模型超分辨率性能提升不明顯。在9（64）-7（64）-7（32）-5 （1）網(wǎng)絡(luò)模型的訓(xùn)練過程中，卷積神經(jīng)網(wǎng)絡(luò)的輸入為33*33的LR灰度圖像；當(dāng)padding參數(shù)都設(shè)置為0時，最后一個卷積層輸出為9*9子圖像。卷積神經(jīng)網(wǎng)絡(luò)輸出的9*9子圖像與對應(yīng)的HR子圖像最中心的9*9像素之間的均方誤差作為驅(qū)動損失函數(shù)。我們設(shè)置四個卷積層中padding參數(shù)為4-3-3-2，使卷積神經(jīng)網(wǎng)絡(luò)的輸出和輸入尺寸相同。雖然保持33* 33尺寸導(dǎo)致輸出的某些像素感受也超出了輸入范圍，但實際中并不影響學(xué)習(xí)效果，甚至?xí)休^大性能提升，接下來的實驗結(jié)果部分也說明了這點。

三、實驗結(jié)果和分析

（一）與其他超分辨率算法的對比

在NSRCNN實驗中，參照SRCNN方法，91幅訓(xùn)練圖像［26,27］生成一系列的33*33大小的HR子圖像和LR子圖像，其中步長為14。NSRCNN的深度學(xué)習(xí)網(wǎng)絡(luò)模型參數(shù)設(shè)置為9（64）-7（64）-7（32）-5（1），4個卷積層的padding參數(shù)分別設(shè)置為4-3-3-2。我們將NSRCNN與其他優(yōu)秀的SISR算法進(jìn)行比較，它們包括Bicubic，ANR［28］，NE+LLE，A+［29］，JOR［30］和SRCNN［31］。本文利用峰值信噪比（Peak Signal to Noise Ratio,PSNR）評價不同圖像超分辨率算法的性能。

在實驗結(jié)果中，表1給出了當(dāng)放大倍數(shù)為3時，7種超分辨率算法在Set5數(shù)據(jù)集上的PSNR對比。在表1中，可以看到NSRCNN取得了最高的平均PSNR值，A+算法次高。表2給出了當(dāng)放大倍數(shù)為3時，7種超分辨率算法在Set14數(shù)據(jù)集上的PSNR對比。在表2中，我們可以看到對于平均PSNR值來講，NSRCNN算法性能最好，A+和JOR分別排名第二和第三，傳統(tǒng)的雙立法方法圖像超分辨率性能最差。圖1是7種單幅圖像超分辨率算法方法放大man圖像3倍時的視覺性能對比，可以看出NSRCNN視覺效果最好。

表1 七種超分辨率算法在Set5數(shù)據(jù)集上的PSNR對比（n=3）

表2 七種超分辨率算法在Set14數(shù)據(jù)集上的PSNR對比（n=3）

表3 不同參數(shù)配置的網(wǎng)絡(luò)模型在Set5數(shù)據(jù)集上的PSNR對比（n=3）

（二）不同參數(shù)設(shè)置的網(wǎng)絡(luò)模型對比

在探索改進(jìn)和加深卷積神經(jīng)網(wǎng)絡(luò)提升圖像超分辨率性能的實驗過程中，我們對深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行了不同的結(jié)構(gòu)參數(shù)設(shè)置，它們包括9（64）-1 （32）-5（1），9（64）-5（32）-5（1），9（64）-7（64）-5（1）和9（64）-7（64）-7（32）-5（1），此外padding參數(shù)值設(shè)置也不同。表3給出了不同參數(shù)配置的網(wǎng)絡(luò)模型在Set5數(shù)據(jù)集上的PSNR對比。在表3中，三個深度學(xué)習(xí)網(wǎng)絡(luò)模型9（64）-1（32）-5（1），9（64）-5（32）-5 （1）和9（64）-7（64）-5（1）（padding參數(shù)設(shè)置都為0）的實驗數(shù)據(jù)對比說明增大卷積層濾波器的尺寸和數(shù)目，更多的學(xué)習(xí)參數(shù)有助于提升SR性能。但是隨著學(xué)習(xí)參數(shù)的增多，深度學(xué)習(xí)網(wǎng)絡(luò)模型逐漸飽和，SR性能提升開始變得不明顯。在9（64）-7（64）-5 （1）的網(wǎng)絡(luò)模型中，卷積層padding參數(shù)分別設(shè)置為4-3-2與0-0-0，兩者實驗結(jié)果比較，前者SISR性能有些許提高。當(dāng)我們采用9（64）-7（64）-7（32）-5 （1）網(wǎng)絡(luò)模型（padding為0-0-0-0）時，與9（64）-7 （64）-5（1）網(wǎng)絡(luò)模型對比，盡管網(wǎng)絡(luò)層數(shù)增多，學(xué)習(xí)的參數(shù)增多，SR性能反而下降。對于9（64）-7 （64）-7（32）-5（1）網(wǎng)絡(luò)模型而言，當(dāng)padding參數(shù)設(shè)置為不同值時，包括（0,0,0,0），（1,1,1,1）和（4,3,3,2），我們可以看到SR性能逐漸大幅提升。在所有的不同結(jié)構(gòu)和參數(shù)配置的網(wǎng)絡(luò)模型中，網(wǎng)絡(luò)模型為9（64）-7（64）-7（32）-5（1）和padding取4-3-3-2時，SISR性能最好。

圖1 7種超分辨率算法放大man圖像的視覺效果對比（n=3）

在探索改進(jìn)和加深卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提升SISR性能實驗過程中，常用的深度學(xué)習(xí)優(yōu)化策略，例如Dropout［32］不適用于SISR，dropout通常在深度學(xué)習(xí)大規(guī)模模型中用于防止模型過擬合。目前SISR的深度學(xué)習(xí)模型只包含4層，規(guī)模相對較小，這可能是不需要dropout的原因。

四、總結(jié)

在本文中，首先，介紹了SISR的基本原理和一些典型優(yōu)秀的基于外部樣例學(xué)習(xí)的SISR算法，然后詳細(xì)介紹了通過改進(jìn)和加深深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)而提出的NSRCNN算法。最后，實驗部分給出了不同超分辨率算法的PSNR對比和視覺效果對比，以及不同結(jié)構(gòu)參數(shù)配置的神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)模型的PSNR對比。將來，需要進(jìn)一步探索新的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)提升單幅圖像超分辨率算法。

［1］Chuanping Hu,Xiang Bai,Li Qi,et al.Learning Discrimi?native Pattern for Real-Time Car Brand Recognition［J］. IEEE Transactions on Intelligent Transportation Sys?tems.2015，16（6）：3170-3181.

［2］Chuanping Hu,Zheng Xu,Yunhuai Liu,et al.Video struc?tural description technology for the new generation video surveillance systems［J］.Frontiers of Computer Science，2015，9（6）：980-989.

［3］Chuanping Hu,Xiang Bai,Li Qi,et al.Vehicle Color Rec?ognition with Spatial Pyramid Deep Learning［J］.IEEE Transactions on Intelligent Transportation Systems，2015，16（5）：2925-2934.

［4］R.G.Keys.Cubic convolution interpolati on for digital imageprocessing［J］.IEEE Transactions on Acoustic, Speech and Signal Processing，1981，29（6）：1153-1160.

［5］C.E.Duchon.Lanczos Filtering in One and Two Dimensions.JAM，1979，18（8）：1016-1022.

［6］［13］［26］［28］Timofte R,De V,Van Gool L.Anchored neighborhood regression for fast example-based superresolution［C］//Proceedings of the 2013 IEEE International Conference on Computer Vision（ICCV）.IEEE,2013：1920-1927.

［7］Hong Chang,Dit-Yan Yeung,Yimin Xiong.Super Resolution through Neighbor Embedding［C］//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR 2004）. IEEE,2004,1:Ⅰ.

［8］［14］［29］Timofte R,De Smet V,Van Gool L.A+：Adjust?ed Anchored Neighborhood Regression for Fast Super-Resolution［M］//Computer Vision-ACCV 2014.Springer Inter?national Publishing，2014：111-126.

［9］Yang C Y,Yang MH.Fast Direct Super-Resolution by Simple Functions［C］//Proceedings of the 2013 IEEE International Conference on Computer Vision（ICCV 2013）.IEEE,2013：561-568.

［10］Roman Zeyde,Michael Elad,Matan Protter.On Single Image Scale-Up Using Sparse-Representations［M］// Curves and Surfaces.Springer,2012：711–730.

［11］［27］Jianchao Y,John W,Thomas H,et al.Image Super-Resolution via Sparse Representation［J］.IEEE Transactions on Image Processing,2010,19（11）：2861-2873.

［12］Yang J,Wright J,Huang T,et al.Image Super-Resolu?tion as Sparse Representation of Raw Image Patches［C］// Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition（CVPR 2008）.IEEE，2008：1-8.

［15］［30］Dai D,Timofte R,Van Gool L.Jointly Optimized Re?gressors for Image Super-Resolution［C］//Eurographics. 2015，7：8.

［16］Krizhevsky A,Sutskever I,Hinton G E.Imagenet Classifi?cation with Deep Convolutional Neural Networks［C］//Ad?vances in Neural Information Processing Systems.2012：1097-1105.

［17］Szegedy C,Toshev A,Erhan D.Deep Neural Networks for Object Detection［C］//Advances in Neural Information Processing Systems.2013：2553-2561.

［18］Schulz H,Behnke S.Learning Object-Class Segmenta?tion with Convolutional Neural Networks［C］//11th Euro?pean Symposium on Artificial Neural Networks（ES?ANN）.2012，3：1.

［19］Sun J,Cao W,Xu Z,et al.Learning a Convolutional Neu?ral Network for Non-uniform Motion Blur Removal［J］. arXiv preprint arXiv：1503.00593，2015.

［20］［21］［31］Dong C,Loy C C,He K,et al.Learning a Deep Convolutional Network for Image Super-Resolution［M］// Computer Vision–ECCV 2014.Springer International Publishing,2014：184-199.

［22］Nair V,Hinton G E.Rectified Linear Units Improve Re?stricted Boltzmann Machines［C］//Proceedings of the 27th International Conference on Machine Learning（IC?ML-10）.2010：807-814.

［23］Simonyan K,Zisserman A.Very Deep Convolutional Net?works for Large-Scale Image Recognition［J］.arXiv pre?print arXiv：1409.1556,2014.

［24］Szegedy C,Liu W,Jia Y,et al.Going Deeper with Convo?lutions［J］.arXiv preprint arXiv：1409.4842,2014.

［25］Dong C,Loy C C,He K,et al.Image Super-Resolution Using Deep Convolutional Networks［J］.arXiv preprint arXiv：1501.00092,2014.

［32］Srivastava N,Hinton G,Krizhevsky A,et al.Dropout：A Simple Way to Prevent Neural Networks from Overfitting ［J］.The Journal of Machine Learning Research,2014,15 （1）：1929-1958.

責(zé)任編輯：賈永生

The Research on Super-resolution Method Using Deep Learning

Hu Chuanping1,Zhong Xuexia1,Mei Lin1.2,Shao Jie1,WANG Jian1.3,He Ying1
（1.The Third Research Institute of the Ministry of Public Security,Shanghai 200031,China; 2.Shanghai Chenrui Information Technology Company,Shanghai 201204,China; 3.Shanghai International Technology&Trade United Co.,Ltd,Shanghai 200031,China）

The task of single image super-resolution（SISR）is to reconstruct a high-resolution（HR）image from a given low-resolution（LR）image.The most external exemplar-based SISR algorithms learn the non-linear mapping from the low to high resolution image pairs by feature extraction using a machine learning method.An HR image is finally generated by aggregating the overlapping HR image patches.On the basis of end-to-end learning framework,which is a breakthrough for SISR using deep convolution networks without the process of image feature extraction and patches aggregation,we propose a new SISR algorithm by means of deepening and the convolutional neural network.Experimental results prove the effectiveness of the Robust Super-solution method using Convolutional Neural Networks（NSRCNN）by comparison of other state-of-art algorithms.

single image super-resolution;external exemplar-based learning;convolutional neural networks;end-to-end learning

TP391

A

1009-3192（2016）01-0005-06

2016-01-04

胡傳平，男，上海人，公安部第三研究所所長，研究員、博士生導(dǎo)師，主要研究方向為物聯(lián)網(wǎng)應(yīng)用、計算機視覺、信息網(wǎng)絡(luò)安全等；鐘雪霞，女，山東濰坊人，公安部第三研究所研究實習(xí)員，主要研究方向為計算機視覺、人工智能；梅林，男，河南遂平人，工學(xué)博士，公安部第三研究所物聯(lián)網(wǎng)技術(shù)研發(fā)中心主任，研究員、碩士生導(dǎo)師，上海辰銳信息科技公司研發(fā)人員，主要研究方向為物聯(lián)網(wǎng)應(yīng)用、計算機視覺、智慧城市等；邵杰，男，河北石家莊人，公安部第三研究所助理研究員；王建，男，江蘇南京人，工學(xué)博士，公安部第三研究所副研究員，上海國際技貿(mào)聯(lián)合有限公司研發(fā)人員，主要研究方向為人工智能、計算機視覺、裝備自動化等；何瑩，女，河南商丘人，公安部第三研究所研究實習(xí)員，主要研究方向為數(shù)據(jù)挖掘、計算機視覺等。

2014年上海市國際科技合作基金項目“小型一體化移動寬帶衛(wèi)星通訊系統(tǒng)”(項目編號：15530701300)；2015年上海市優(yōu)秀技術(shù)帶頭人計劃項目“智能視頻監(jiān)控評測服務(wù)平臺”(項目編號：15XDl520200)；2014年上海市科委組建上海工程技術(shù)研究中心項目“上海智能視頻監(jiān)控工程技術(shù)研究中心”(項目編號：14DZ2252900)；2013年科技部“863”計劃項目“面向城市運行管理的數(shù)據(jù)高性能分析技術(shù)與系統(tǒng)”(項目編號：2013AA01A603)；2012年工信部物聯(lián)網(wǎng)發(fā)展項資金項目“視頻圖像融合感知與智能分析技術(shù)研究及系統(tǒng)研制”。