高 飛，雷 濤，劉顯源，陳良紅，蔣 平

(1.中國科學院 光電技術研究所，四川 成都 610209；2.中國科學院大學，北京 100049；3.中國人民解放軍63870部隊，陜西 西安 714200)

引言

單幀圖像超分辨率重建是指從一幅低分辨率圖像中恢復出高分辨率圖像的過程[1]。Dong在模型超分辨率卷積神經(jīng)網(wǎng)絡(super resolution convolutional neural network ，SRCNN)[2-3]中第一次將深度卷積網(wǎng)絡的方法引入單幀圖像超分辨率重建中，在重建精度方面較傳統(tǒng)方法取得了較大提升，隨之各種基于深度卷積網(wǎng)絡的方法被提出，極大提高了單幀圖像超分辨率重建的精度。過去的幾年間，單幀圖像超分辨重建取得了令人矚目的效果。在基于深度卷積網(wǎng)絡提出之前，基于樣例學習的方法發(fā)展迅猛并在當時取得了最好的效果?；跇永龑W習的方法通過學習一個低分辨率圖像塊到高分辨率圖像塊的字典來將低分辨率空間和高分辨率空間聯(lián)系起來。Freeman[6]直接通過圖像對學習低/高分辨率字典，并用輸入低分辨率圖像塊的最近鄰來恢復高分辨率圖像塊。Chang[7]等人用流形嵌入技術取代最近鄰法。Yang[8-9]將圖像的稀疏性先驗引入重建過程，用稀疏編碼取代了最近鄰法。Zeyde[10-11]用K-SVD法來表示圖像塊。Timofte[12]提出一種錨點近鄰回歸法并在當時取得了最好的效果。

深度學習的發(fā)展逐漸使超分辨取得了更好的重建表現(xiàn)。Dong C[2]提出SRCNN模型后，又提出一種快速超分辨率卷積神經(jīng)網(wǎng)絡(fast super resolution convolutional neural network，F(xiàn)SRCNN)模型[13], 通過使用更多的卷積層和在輸出之前加入反卷積層，在重建速度和重建精度上都取得了很大的提升。Shi W[14]提出一種叫做亞像素卷積層的新型層，加入了這種卷積層的新模型ESPCN在當時取得了最好的效果。Huang G[15]提出的密集連接網(wǎng)絡結(jié)構(gòu)在許多計算機視覺任務上取得了很好的效果。Tai Y[16]首次將密集連接結(jié)構(gòu)引入到超分辨任務中。Lim B[17]將殘差學習引入到超分辨任務中。Zhang Y[18]在密集殘差網(wǎng)絡中將密集連接結(jié)構(gòu)和殘差學習結(jié)合在一起。密集殘差網(wǎng)絡的成功證明了密集連接結(jié)構(gòu)在超分辨率重建任務中的強大作用?；谏疃染矸e網(wǎng)絡的方法使得超分辨率重建的精度不斷提高。

然而，這些方法良好的表現(xiàn)通常是以巨大的參數(shù)量和計算量為代價的，隨著復原精度不斷提升，模型規(guī)模也變得越來越巨大。模型參數(shù)的增加導致基于深度學習的重建算法需要大量的存儲空間，使得這些實驗室環(huán)境中表現(xiàn)良好的算法很難應用到一些存儲受限的應用環(huán)境，如移動端系統(tǒng)。例如，目前重建精度最高的算法密集殘差網(wǎng)絡[4]，含有20個密集殘差塊的模型有接近6×106個參數(shù)，這種規(guī)模的參數(shù)量在許多實際應用場景中是很不切實際的。本文的工作主要集中于如何在不明顯降低重建精度的前提下減小模型的規(guī)模。

通過(1)式可知，對于一個卷積層，其參數(shù)量為

P(d)=Cinput×k2×Coutput

(1)

其中：Cinput是卷積層的輸入特征圖的通道數(shù)；k是卷積層的卷積核尺寸；Coutput是卷積層的卷積核數(shù)量。由(1)式可以看到，有3種途徑可以減少一個模型的規(guī)模：減少輸入特征圖的通道數(shù)；減少卷積核的數(shù)量；減小卷積核的尺寸。本文提出了兩種方法以減少卷積核的數(shù)量和減少輸入特征圖的通道數(shù)：

1) 卷積層之間的密集連接可以充分利用每層計算得到的特征圖，這樣就允許網(wǎng)絡在每層中計算更少的特征圖的同時不減少復原的精度。

2) 在每個卷積層之前加入一個1×1的卷積層作為特征選擇器來減少輸入特征圖的通道數(shù)。

實驗結(jié)果表明我們的方法在模型大小和重建精度之間取得了更好的平衡。

1 密集精簡網(wǎng)絡

1.1 密集連接結(jié)構(gòu)

在傳統(tǒng)的前饋神經(jīng)網(wǎng)絡中，所有隱藏層只是將前一層的輸出作為自己的輸入：

Hd=Fd[Hd-1],d=1, 2, 3,…

(2)

其中：Hd是第d層的輸出；Fd是第d層的轉(zhuǎn)移函數(shù)；Hd-1是第d-1層的輸出。這種簡單的前饋結(jié)構(gòu)在應用到超分辨率重建任務的時候存在如下問題：1) 在復原高分辨率圖像的時候只能基于最后一層的輸入，這一層的特征只有具有大感知野的信息，而缺少小感知野的細節(jié)信息。但是不同于高級的圖像處理任務，重建高分辨率圖像這種像素級的任務需要同時參考大感知野與小感知野的特征。2) 假設每個卷積層有C個通道，一共有D層，那么計算時得到了C×D個特征圖，但是在重建的時候只有C個特征圖得到了利用。3) 所有的特征圖通道之間都是有冗余的，而前饋網(wǎng)絡結(jié)構(gòu)無法處理這種冗余性。

密集連接結(jié)構(gòu)如(3)式：

HD=FD[H0,H1,H2,…,HD-1]

D=1, 2, 3,…

(3)

其中：Hi是第i層的輸出；FD是第D層的轉(zhuǎn)移函數(shù)。每個層的輸出是之前所有層輸出的函數(shù)，圖1展示了密集連接結(jié)構(gòu)的組織形式。在重建高分辨率圖像的時候所有的特征圖都是有用的，因此具有不同感知野的特征都被考慮到了。從圖1可以看到，所有的卷積層的結(jié)果對整個特征圖都有貢獻，所以可以在每個層中使用更少的通道數(shù)而不必擔心影響最后的復原過程?？傊?，密集連接結(jié)構(gòu)可以充分利用已有的特征圖，因此在每個卷積層中允許我們得到更少的卷積層。

圖1 8層的密集連接結(jié)構(gòu)示意圖，所有的特征對最后一層都是有用的Fig.1 8-layer dense connection structure diagram, all features are useful for the last layer

1.2 1×1卷積層

利用密集連接結(jié)構(gòu)允許我們使用更少的輸出通道數(shù)，但是從圖1可以看出，隨著網(wǎng)絡深度的增加，卷積層的輸入通道數(shù)迅速的增長。但是在密集連接結(jié)構(gòu)的深層特征圖之間，常常是存在冗余的。為了說明這種冗余性，我們可視化了本文算法中密集連接結(jié)構(gòu)最后一層將所有已有特征結(jié)合在一起得到的特征圖，結(jié)果如圖2所示。

圖2 密集連接結(jié)構(gòu)最后一層輸入特征圖可視化Fig.2 Visualization of the last input feature map of densely connected structure

可以看到，最后一個密集連接層的特征圖之間存在很多的相似性。利用這樣的信息進一步提取信息必然會損耗計算能力和浪費寶貴的存儲空間，為克服這種冗余性，引入1×1卷積層對特征圖進行選擇和組合，以輸入特征圖某個位置的像素I(i,j)為中心的卷積運算過程如(4)式所示：

(4)

其中:I′(x,y)表示卷積操作的輸出像素;I(x,y,c)表示x,y位置、第c個通道的輸入像素;k(i,j,c)表示卷積核i,j位置、第c個通道的權重;2k+1是卷積核的大小，1×1的卷積核即k=0的情況。

由(1)式和(4)式可知，在輸入輸出通道數(shù)相同的時候，1×1的卷積層只有3×3卷積層參數(shù)量和計算量的九分之一，所以可在每個3×3的卷積層之前加入一個1×1的卷積層，以抑制特征圖的冗余性并減少模型計算量。對圖2得到的特征圖利用9個1×1的卷積核組成的卷積層進行卷積運算，得到9個特征圖，其可視化結(jié)果如圖3所示。

對比圖2、圖3可以發(fā)現(xiàn)，1×1卷積層處理之后的特征圖幾乎涵蓋了處理之前的所有模式，幾乎沒有丟失寶貴信息，完全可以用圖3的特征圖代替圖2進行進一步的特征變換。

在普通的前饋網(wǎng)絡中使用1×1卷積來減少特征圖的通道數(shù)會形成信息瓶頸，但是對于密集連接結(jié)構(gòu)來說，信息可以直接傳遞到之后所有的層中，所以在密集連接網(wǎng)絡中，使用1×1卷積來減少模型的參數(shù)量是一個合理的思路。

圖3 1×1卷積層的處理結(jié)果Fig.3 1×1 convolutional layer processing results

1.3 網(wǎng)絡結(jié)構(gòu)與通道數(shù)

最終設計的網(wǎng)絡結(jié)構(gòu)直接將低分辨率的圖像作為輸入，并在最后一層使用反卷積層進行上采樣得到最終的高分辨率圖像，直接在低分辨空間進行操作可以進一步減小計算量。最終形成的模型架構(gòu)如圖4所示。從圖4中可以看到，3×3卷積的輸入輸出通道對模型的大小有很大的影響。

圖4 密集精簡網(wǎng)絡結(jié)構(gòu)Fig.4 Dense simplified network structure

在實驗中，我們分別設置每層的輸入通道數(shù)為3、6、9來分析通道數(shù)對模型大小與重建精度的影響。作為對比，我們?nèi)コ芗B接結(jié)構(gòu)中的兩個1×1的卷積層，得到一種只有密集連接結(jié)構(gòu)的網(wǎng)絡，在下文簡稱FSRCNN-dense。

對于卷積神經(jīng)網(wǎng)絡模型，模型的參數(shù)量主要由(5)式?jīng)Q定：

(5)

其中:S(net)表示某個網(wǎng)絡的參數(shù)量;h代表網(wǎng)絡的層數(shù);P(i)表示第i層的參數(shù)量，其計算方式如(1)式所示，取決于卷積層的輸入、輸出通道數(shù)和卷積核的尺寸。對于以低分辨率圖像作為輸入的卷積網(wǎng)絡，每個像素上的計算量等于模型的參數(shù)量，對于將上采樣圖像作為輸入的卷積網(wǎng)絡，每個像素上的計算量等于模型的參數(shù)量乘以上采樣倍數(shù)的平方。

圖5展示了不同模型的參數(shù)量與低分辨率圖像中每個像素上計算量的大小。

圖5 不同模型的參數(shù)量和計算量對比Fig.5 Comparison of parameter quantities and calculations of different models

從圖5中可以看到，僅加入密集連接結(jié)構(gòu)的網(wǎng)絡FSRCNN-dense的參數(shù)量和計算量只比FSRCNN網(wǎng)絡略少，但是加入1×1卷積后，網(wǎng)絡的參數(shù)量和計算量明顯的下降，這一點在之后的實驗結(jié)果中還有體現(xiàn)。

2 實驗結(jié)果與數(shù)據(jù)分析

將本文提出的算法與其他3種基于深度卷積網(wǎng)絡的方法和其他基于學習的算法進行對比。3種基于深度卷積網(wǎng)絡的方法主要有SRCNN[2]、FSRCNN[13]、ESPCN[14]3種，選擇這三種算法的主要原因是其都是模型參數(shù)量小于30 000的小型模型，其他基于深度卷積網(wǎng)絡的算法雖然復原精度較高但是模型的參數(shù)量太大與本文算法沒有可比性。本節(jié)與基于深度卷積網(wǎng)絡算法的對比方面主要是重建精度和速度，而與其他基于學習方法的對比主要是在重建速度上。所有的基于深度卷積網(wǎng)絡的模型都是在[5]中的一個包含91張圖片上進行訓練的。

2.1 與基于深度卷積網(wǎng)絡的算法對比

為了對比算法的重建速度，在Set5上對5張圖片分別進行1 000次放大3倍的操作，記錄不同模型需要的時間。最終每個模型需要的時間和復原的精度如表1和圖6所示?；赾affe的matlab接口進行運行時間測試，為了便于測量對比，matcaffe選用CPU模式。

從表1和圖6中可以看到，沒有加入1×1卷積的網(wǎng)絡FSRCNN-dense雖然在計算速度上略快于FSRCNN網(wǎng)絡，但是其精度損失比較大，加入1×1卷積之后的密集精簡網(wǎng)絡相對于其他對比網(wǎng)絡有明顯的速度提升，而且輸入通道數(shù)為3、6、9的版本都取得了與其他對比網(wǎng)絡相當?shù)木?，這也驗證了1×1卷積層的有效性，不僅能減小模型的計算量和參數(shù)量，而且通過特征選擇可以去除無關信息，提高復原精度。

表1 對Set5每張圖片放大3倍1 000次需要的時間對比

圖6 不同模型的在Set5上的運行時間和重建精度對比Fig.6 Comparison of running time and reconstruction accuracy of Set5 on different models

2.2 與其他基于學習的算法的對比

將本文算法與目前廣泛應用的基于樣例學習的算法進行了對比，基于學習算法的精度主要來自[2]，表2展示了本文算法與其他基于樣例學習的算法在Set5上復原精度的對比。

表2 本文算法與其他基于樣例學習的算法重建精度對比

從表2中可以看出，即使是最小的3通道的模型，在復原精度上也是好于基于樣例學習的算法的。

2.3 模型通道的影響與效果展示

表1中顯示，隨著通道數(shù)的增加，圖像的重建時間明顯增加。通道數(shù)從3到6的精度增加高于從6到9的精度增加，這可能是因為3通道的模型每層中得到的特征圖不能為重建高分辨率圖像提供足夠的信息。雖然6通道模型在重建精度和重建速度上達到了更好的平衡，但是3通道的模型具有更少的參數(shù)，需要更少的內(nèi)存并擁有更快的運行速度，這在某些應用場景下可能是更加重要的。圖7展示了本文算法在某些自然圖像上的重建效果。

與其他基于深度卷積網(wǎng)絡的方法相比，本文提出的密集精簡網(wǎng)絡利用更小的模型和更少的計算量達到了相同的重建精度。同時密集精簡網(wǎng)絡的重建效果好于其他基于樣例學習的算法。本文提出的算法在內(nèi)存受限的應用環(huán)境下具有一定的應用價值。

圖7 密集精簡網(wǎng)絡在自然圖像上的重建效果Fig.7 Reconstruction effect of dense simplified network on natural images

圖7是對自然圖像放大3倍的效果，可以看到，相比三次內(nèi)插放大，本文算法得到的結(jié)果輪廓清晰，有助于進一步圖像處理任務如小目標檢測等的進行。

3 結(jié)論

本文以密集連接結(jié)構(gòu)作為主要結(jié)構(gòu)，設計了一種密集精簡網(wǎng)絡。密集連接結(jié)構(gòu)使得模型內(nèi)部的梯度傳遞更加的流暢，這使得在模型設計中可以使用更少的通道數(shù)并采用1×1卷積層來減少模型的參數(shù)量。實驗結(jié)果證明本文提出的密集精簡網(wǎng)絡在模型的大小和超分辨率重建的精度之間實現(xiàn)了更好的權衡。