朱泓宇，謝 超

(南京林業(yè)大學(xué)機械電子工程學(xué)院，江蘇 南京 210037)

隨著數(shù)字圖像在生產(chǎn)、生活中的應(yīng)用越來越廣泛，圖像的增強尤其是圖像分辨率的提升，越來越受到人們的重視。圖像的超分辨率技術(shù)，可以將一張低分辨率的圖像轉(zhuǎn)換為高分辨率圖像，同時盡可能避免圖像放大過程中帶來的模糊問題，提升圖像的清晰度。如今，這一技術(shù)已經(jīng)在醫(yī)學(xué)影像、安防監(jiān)控等領(lǐng)域有著非常廣泛的運用。

在過去的幾年中，人們采用稀疏表示[1]、流形學(xué)習(xí)等方法進行圖像的超分辨率重建，這些方法相較于像素的插值有著十分顯著的提升。隨著人工智能、深度學(xué)習(xí)的迅猛發(fā)展，近年來涌現(xiàn)出大量基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率方法。這些方法通常采用一個低分辨率圖像作為網(wǎng)絡(luò)的輸入值，將高分辨率圖像作為輸出值，采用卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)兩張圖片的映射關(guān)系。例如Dong等于2016年提出的SRCNN方法[2]，首次將卷積神經(jīng)網(wǎng)絡(luò)用于圖像的超分辨率中。由于淺層神經(jīng)網(wǎng)絡(luò)無法學(xué)習(xí)出對應(yīng)的關(guān)系，為了取得更好的性能，研究者們采用更深的網(wǎng)絡(luò)進行學(xué)習(xí)，并引入了如殘差結(jié)構(gòu)、注意力機制、對抗生成網(wǎng)絡(luò)等諸多方法。此類方法相較于傳統(tǒng)的機器學(xué)習(xí)方法，提升效果明顯，超分辨率的視覺效果與性能更加優(yōu)秀。然而，由于超分辨率是一個病態(tài)的問題，一張低分辨率圖像可以對應(yīng)出無數(shù)張高分辨率圖像，以上方法難以準確補充高分辨率圖像原有的細節(jié)，因此會出現(xiàn)圖像鋸齒、雙重邊緣等問題。

Ardizzone 等[3]提出了基于可逆神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原模型，將圖像下采樣與上采樣這一對逆過程相結(jié)合，并將下采樣圖像損失的信息約束在一個正態(tài)分布之中。上述方法在圖像的指定比例復(fù)原中性能表現(xiàn)取得了很好的效果，然而這種方法需要提前預(yù)知高清的原尺寸圖像，否則將無法復(fù)原圖像，這顯然與超分辨率任務(wù)的本質(zhì)相違背。有鑒于此，本文將基于這一方法與其模型，提出一種改進的圖像超分辨率算法模型。

1 可逆神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與原理

Xiao等[4]提出的IRN網(wǎng)絡(luò)模型，利用可逆神經(jīng)網(wǎng)絡(luò)將輸入的原尺寸圖像x生成一個縮小尺寸的圖像y與一個隱式變量z，并使得z服從一個高斯分布。由于z的分布已知，因此在圖片的傳輸過程中可以丟棄z，如需復(fù)原出高分辨率的大尺寸圖像，只需要將y與在此高斯分布中隨機采樣獲得的z輸入可逆網(wǎng)絡(luò)即可?？赡嫔窠?jīng)網(wǎng)絡(luò)原理如圖1所示。

圖1中，u1和u2是由輸入u分割而成的兩部分，u1和u2可經(jīng)由以下變換得到v1和v2：

圖1 可逆神經(jīng)網(wǎng)絡(luò)正向原理

v1=u1e exp(s2(u2))+t2(u2)，

v2=u2e exp(s1(v1))+t1(v1)

(1)

而給定輸出v，可以將v分割成v1和v2，得到上式的可逆過程，如圖2所示。

圖2 可逆神經(jīng)網(wǎng)絡(luò)逆向原理

公式如下：

u2=(v2-(t1(v1))e exp(-s1(v1))，

u1=(v1-t2(u2))e exp(-s2(u2))

(2)

圖像在縮小的過程中會丟失高頻信息，在放大的過程中需要補充這些丟失掉的信息，因此可以近似認為是一個可逆的過程。

Xiao等采用了此網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的圖像尺寸變換算法模型，可以將高分辨率圖像輸入此模型正向運算生成低分辨率圖像，通過此神經(jīng)網(wǎng)絡(luò)模型的可逆過程，恢復(fù)出高分辨率圖像。相較于原尺寸圖像，高分辨率圖像并沒有丟失過多的細節(jié)，達到了很好的效果。

2 殘差網(wǎng)絡(luò)結(jié)構(gòu)與原理

本文提出的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要由殘差網(wǎng)絡(luò)結(jié)構(gòu)組成。殘差網(wǎng)絡(luò)的提出，源于研究者對深層神經(jīng)網(wǎng)絡(luò)的研究，由微軟研究院的何凱明等提出[5]。在加深神經(jīng)網(wǎng)絡(luò)模型的過程中人們發(fā)現(xiàn)網(wǎng)絡(luò)出現(xiàn)了退化的情況，這使得研究者們采用恒等映射的思想來思考此問題，將淺層網(wǎng)絡(luò)的參數(shù)遷移至深層網(wǎng)絡(luò)，深層網(wǎng)絡(luò)在最差的情況下仍可以和淺層網(wǎng)絡(luò)保持相同的效果。然而，隨著網(wǎng)絡(luò)的加深，參數(shù)量變大，情況更加復(fù)雜，求解器難以擬合同等的函數(shù)。

當網(wǎng)絡(luò)退化時，淺層網(wǎng)絡(luò)能比深層網(wǎng)絡(luò)達到更佳的效果，因此如果將淺層網(wǎng)絡(luò)的特征直接傳遞到更深層，那就可以緩解深層網(wǎng)絡(luò)的退化問題。由此，研究者提出了殘差學(xué)習(xí)的方法，網(wǎng)絡(luò)采用“shortcut”進行連接以傳遞上層的特征。殘差學(xué)習(xí)模型示意圖如圖3所示。

圖3 殘差學(xué)習(xí)模型示意圖

該模型可以表示為：

y=F(x，[Wi])+x

(3)

式中：x與y分別為殘差網(wǎng)絡(luò)塊的輸入、輸出值，F(xiàn)(x，[Wi])為殘差塊的計算表達式。

在圖3(a)圖中共有兩個層，其中第一層的輸入為x，若忽略偏差影響，則輸出為F(1)=ReLU(W1x)，其中上標(1)代表神經(jīng)網(wǎng)絡(luò)的第一層。那么，圖3中(a)圖的殘差映射為F=W2F(1)=W2ReLU(W1x)。在與原輸入值x相加并執(zhí)行激活函數(shù)后，可以看出F(x)=y-x，當F(x)=0時，得到y(tǒng)=x，這就實現(xiàn)了文中所展示的恒等映射的思路，而網(wǎng)絡(luò)訓(xùn)練過程中，學(xué)習(xí)F(x)=0的復(fù)雜程度遠小于學(xué)習(xí)y=x。在圖3中，輸入x直接與前向神經(jīng)網(wǎng)絡(luò)的計算值相加，稱為shortcut連接。shortcut連接相當于一個恒等映射，沒有增加額外的參數(shù)，避免了計算復(fù)雜度的增加。

在殘差網(wǎng)絡(luò)中，殘差映射函數(shù)F(x)不是固定的，可以根據(jù)情況靈活設(shè)計不同層數(shù)的網(wǎng)絡(luò)對不同的目標進行擬合。研究者們通過試驗，發(fā)現(xiàn)34層殘差網(wǎng)絡(luò)的性能和準確率遠遠高于僅有18層的殘差網(wǎng)絡(luò)。因此，本文設(shè)計的神經(jīng)網(wǎng)絡(luò)通過采用殘差網(wǎng)絡(luò)模型，在加深網(wǎng)絡(luò)的同時，盡可能減小網(wǎng)絡(luò)加深導(dǎo)致圖像退化的程度。

3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

設(shè)計一個神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)雙三次降采樣圖像y′到可逆網(wǎng)絡(luò)生成的低分辨率圖像y的映射，然后通過從高斯分布中隨機采樣一個特定大小的矩陣z，將y和z輸入多個可逆神經(jīng)網(wǎng)絡(luò)塊，進而得到圖像的高分辨率重建結(jié)果。

經(jīng)過觀察可得，由于雙三次降采樣得到的圖像和可逆神經(jīng)網(wǎng)絡(luò)降采樣得到的圖像具有極大的相似性，前半部分神經(jīng)網(wǎng)絡(luò)采用殘差結(jié)構(gòu)設(shè)計，shortcut連接可以極大程度地傳播兩張圖像的相等之處，而中間層的計算則可以擬合兩張圖像的相異之處。首先進行的是圖像預(yù)處理，將圖像轉(zhuǎn)化為YCbCr空間后，像素值的范圍由[0，255]減小至[0，1]，以便輸入網(wǎng)絡(luò)進行后續(xù)的訓(xùn)練。第一層為3×3卷積層，輸入通道數(shù)為1，輸出通道數(shù)為64，上升通道數(shù)以便學(xué)習(xí)圖像更多的細節(jié)。后面為連續(xù)18層輸入，輸出均為64通道的卷積層，設(shè)計深層網(wǎng)絡(luò)的目的是為了盡可能準確地擬合雙三次下采樣圖像與目標圖像之間的映射關(guān)系。最后是一個3×3卷積層，輸入通道數(shù)與輸出通道數(shù)分別為64與1，將特征提取為單通道特征圖。最后是殘差部分，將輸入網(wǎng)絡(luò)的圖像與輸出圖像相加，輸出最終的結(jié)果。

設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 網(wǎng)絡(luò)結(jié)構(gòu)

4 網(wǎng)絡(luò)訓(xùn)練

4.1 數(shù)據(jù)預(yù)處理

試驗采用DIV2K數(shù)據(jù)集進行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。訓(xùn)練集根據(jù)DIV2K訓(xùn)練集的800張Ground Truth圖像，雙三次下采樣得到尺寸縮小四倍的低分辨率圖像。標簽圖像由可逆神經(jīng)網(wǎng)絡(luò)生成，將高分辨率圖像輸入可逆神經(jīng)網(wǎng)絡(luò)進行降采樣，得到低分辨率圖像。在輸入網(wǎng)絡(luò)時，每組圖像取其中對應(yīng)部位41×41大小的小圖進行訓(xùn)練。每組圖像隨機進行旋轉(zhuǎn)90°～270°，并隨機進行翻轉(zhuǎn)，以此在減少硬盤空間占用的基礎(chǔ)上進行數(shù)據(jù)增強。

4.2 網(wǎng)絡(luò)訓(xùn)練

本網(wǎng)絡(luò)訓(xùn)練過程，由特征提取、非線性映射、殘差相加組成。特征提取操作需要從低分辨率圖像y和對應(yīng)的高分辨率圖像x中提取特征信息，獲取從低分辨率圖像到高分辨率圖像的增量，然后將每組增量表示為高維向量。通過一組卷積核對低分辨率圖像進行卷積，記F1(x)為特征提取操作的輸出，則兩者關(guān)系為：

(4)

式中：W1為卷積核權(quán)重值；B1為卷積核的偏移值。W1的維度為3×3×3，第一維表示圖像的通道數(shù)，第二和第三維表示圖像的高度和寬度。

為了使深度神經(jīng)網(wǎng)絡(luò)中的高維向量更好地向后映射，防止網(wǎng)絡(luò)加深可能導(dǎo)致的梯度消失，本文采用ReLU激活函數(shù)作為殘差塊中的激活層[6-8]。

本文提出的殘差網(wǎng)絡(luò)結(jié)構(gòu)，通過使用三個相同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)圖像Y、Cb、Cr三個通道從雙三次降采樣圖像到由可逆神經(jīng)網(wǎng)絡(luò)降采樣得到的圖像端到端映射，從而改變圖像中的部分細節(jié)，進行圖像之間的轉(zhuǎn)化。并通過指定學(xué)習(xí)率的優(yōu)化器不斷降低兩種降采樣圖像之間的損失。

4.3 網(wǎng)絡(luò)參數(shù)的調(diào)整及設(shè)定

通過一組給定的雙三次降采樣圖像{xi}i=1→n和IRN降采樣圖像{yi}i=1→n，訓(xùn)練神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)兩組低分辨率圖像之間的映射，從而將輸入圖像實現(xiàn)超分辨率的效果。為了使網(wǎng)絡(luò)更加逼近兩者之間的映射，需要對網(wǎng)絡(luò)的參數(shù)進行不斷調(diào)整。本文采用平均方差(MSE)損失函數(shù)計算損失，使用隨機梯度下降(SGD)優(yōu)化器進行參數(shù)優(yōu)化，不斷降低輸出結(jié)果與可逆神經(jīng)網(wǎng)絡(luò)降采樣結(jié)果之間的差異。本文的批量大小設(shè)置為64，即網(wǎng)絡(luò)每次迭代時輸入64組對應(yīng)圖像。

5 試驗結(jié)果與分析

5.1 試驗環(huán)境配置

處理器為 Intel i9—9900K，神經(jīng)網(wǎng)絡(luò)框架為 PyTorch 1.4，CUDA 版本為 CUDA 10.0，GPU 為英偉達GTX 2080TI，內(nèi)存容量為32 G。

5.2 圖像超分辨率評價

本文采用主觀評價法與客觀評價法兩種主流評價方法，對圖像超分辨率效果進行評估?？陀^評價法主要采用峰值信噪比PSNR[9]和結(jié)構(gòu)相似性SSIM[10]兩種指標。

使用測試集對本文的超分辨率方法進行測試，并將圖像轉(zhuǎn)換至YCbCr通道，計算Y通道的PSNR值，結(jié)果見表1。

表1 測試集PSNR/SSIM結(jié)果

其中幾幅圖片的測試結(jié)果如圖5～7所示。

圖5 Martial Arts Center測試效果

從上述試驗結(jié)果可以看出，本文提出的基于可逆神經(jīng)網(wǎng)絡(luò)的圖像超分辨率方法，相較于雙三次插值、ScSR等傳統(tǒng)方法，主觀、客觀評價都取得了更好的效果。

圖6 Ceramic Bowls測試效果

圖7 Motor測試效果

6 結(jié)束語

本文提出了一種基于可逆神經(jīng)網(wǎng)絡(luò)的圖像超分辨率算法模型，該模型基于可逆圖像縮放網(wǎng)絡(luò)的預(yù)訓(xùn)練模型，學(xué)習(xí)不同下采樣得來的低分辨率圖像之間的映射，從而達到圖像超分辨率的目的。采用殘差網(wǎng)絡(luò)模型，避免了隨著網(wǎng)絡(luò)加深圖像訓(xùn)練過程中的退化。在指定的測試集中，本方法達到了較好的效果。本文提出的方法仍有很大的提升空間，依舊可以采用例如修改網(wǎng)絡(luò)層數(shù)、采用注意力模塊、引入對抗網(wǎng)絡(luò)機制等方法提升圖像擬合的效果，從而提升超分辨率的效果，更好地恢復(fù)低分辨率圖像損失的細節(jié)，這有待于后續(xù)的研究。