張 臏， 張運杰， 白明明

(大連海事大學(xué)理學(xué)院， 大連 116026)

稀疏編碼算法(sparse coding, SC)是解決線性逆問題的有效算法[1]，其中Daubechies等[2]所提出的迭代收縮閾值算法(iterative shrinkage thresholding algorithms, ISTA)是最經(jīng)典的稀疏編碼算法。

ISTA算法結(jié)合Landweber迭代算法完成迭代，并采用使用加權(quán)展開式來代替?zhèn)鹘y(tǒng)的懲罰項。ISTA算法雖然能夠有效解決稀疏編碼問題，但是算法該算法收斂速度卻很慢，為進(jìn)一步提升ISTA算法收斂速率，Beck等[3]提出快速迭代收縮閾值算法(fast iterative shrinkage thresholding algorithm, FISTA)。FISTA算法中新編碼向量與原編碼向量之間呈線性關(guān)系，該算法保留了ISTA的計算簡單性，并且在理論上和實踐上均被證明具有比ISTA算法更好的全局收斂速度，有效提升了ISTA算法整體收斂速度。為進(jìn)一步提升ISTA這一類算法計算效率，Li等[4]提出坐標(biāo)下降算法(coordinate descent method, CoD)。CoD算法在每次迭代中只對精心選擇的編碼向量中某一子向量進(jìn)行優(yōu)化，直至其收斂為止。這樣一來，算法相比之前FISTA算法進(jìn)一步降低了獲取最優(yōu)稀疏編碼所需計算復(fù)雜度。Gregor等[5]、Koray等[6]提出基于學(xué)習(xí)的迭代收縮閾值算法 (learned iterative shrinkage thresholding algorithm, LISTA)。LISTA算法通過結(jié)合常規(guī)方法所得編碼向量，以訓(xùn)練參數(shù)化的非線性編碼器來預(yù)測最優(yōu)稀疏編碼。

傳統(tǒng)稀疏編碼算法是將圖像整體分為若干過冗余圖像塊，然后基于所有過冗余圖像塊訓(xùn)練所需字典。這樣一來所學(xué)習(xí)到的字典中會含有大量的冗余信息，從而最終降低了所得目標(biāo)圖像質(zhì)量。Kavukcuoglu等[7]提出卷積形式的坐標(biāo)下降算法(convolutional extension to coordinate descent sparse coding, CCoD)，該算法在卷積訓(xùn)練過程中通過使用大窗口代替小窗口以減少過冗余信息?？祩骼萚8]提出可以從平滑角度出發(fā)來去除噪聲。華志勝等[9]采用噪聲檢測對圖像塊進(jìn)行分類進(jìn)一步提高傳統(tǒng)方法對圖像的特征的描述?？子萚10]通過改進(jìn)傳統(tǒng)算法來提升去噪效果并提出新算法，該算法可以對噪聲圖像進(jìn)行高低頻分離，進(jìn)而可以更好地描述圖像信息。為進(jìn)一步提高算法去噪效果，張宇中等[11]通過將曲波算法與傳統(tǒng)算法結(jié)合起來。新算法不但同時結(jié)合曲波算法與傳統(tǒng)算法的優(yōu)勢，而且多尺度字典可以更加充分的描述圖像信息。Zeiler等[12]通過訓(xùn)練組卷積核來學(xué)習(xí)所需字典，提出卷積稀疏編碼模型(convolutional sparse coding, CSC)。CSC模型通過交替訓(xùn)練卷積核與其對應(yīng)的特征響應(yīng)來完成對原始圖像的重構(gòu)。卷積稀疏編碼使用全局模型代替了傳統(tǒng)稀疏編碼基于圖像塊的局部模型，具有移位不變性[13]的全局模型不再區(qū)分位于不同圖像塊中的相同圖像特征，有效提高了所獲取目標(biāo)圖像的質(zhì)量。

目前對于卷積稀疏編碼算法的研究主要為Bristow等[14]、Heide等[15]、Brendt等[16]所提出的結(jié)合ADMM算法在傅里葉域中對CSC模型進(jìn)行優(yōu)化求解。后來，Vardan等[17-19]為優(yōu)化求解CSC模型給出了理論保障，并結(jié)合傳統(tǒng)稀疏編碼算法提出卷積字典學(xué)習(xí)算法(slice based dictionary learning, S-BCSC)[20]。Choudhury等[21]提出共識卷積稀疏編碼模型(consensus convolutional sparse coding, CCSC)。CCSC有效解決了CSC模型在每次迭代中過程所占內(nèi)存較大問題。Chalasani等[22]提出卷積形式的快速迭代收縮閾值算法(convolutional fast iterative shrinkage thresholding algorithm, CFISTA)。該算法首次將ISTA算法應(yīng)用于求解CSC模型，但算法并不成熟最終所帶來的效果并不理想。Wang等[23]提出可拓展的在線卷積稀疏編碼算法，通過重新設(shè)計目標(biāo)函數(shù)進(jìn)一步減少了在線訓(xùn)練卷積字典算法中所需歷史矩陣的大小。陳小陶等[24]將傳統(tǒng)模型與CSC模型相結(jié)合提出卷積稀疏表示圖像重構(gòu)算法。Lama等[25]在對偶域中重新設(shè)計了卷積稀疏編碼模型，新模型進(jìn)一步提升了模型收斂速度，但沒有考慮到與深度學(xué)習(xí)相關(guān)算法相結(jié)合。Wang等[26]提出在線字典學(xué)習(xí)算法，該算法首先在全體圖像集上訓(xùn)練基字典，然后在訓(xùn)練與相關(guān)的自適應(yīng)系數(shù)，以此用來在基字典中選擇出與樣本相關(guān)的濾波器從而可以更好地描述圖像特征。Wang等[26]所提出的在線字典學(xué)習(xí)算法可以通過僅與樣本相關(guān)的圖像來訓(xùn)練所需卷積字典，該算法是初步借鑒深度學(xué)習(xí)領(lǐng)域相關(guān)算法來優(yōu)化卷積稀疏編碼。

為進(jìn)一步優(yōu)化卷積稀疏編碼模型，Hillel等[27]將卷積神經(jīng)網(wǎng)絡(luò)的計算能力和稀疏編碼理論結(jié)合在一起提出近似卷積稀疏編碼算法(approximate convolutional sparse coding, ACSC)。ACSC算法并不是直接對CSC模型使用標(biāo)準(zhǔn)LISTA算法，而是先將標(biāo)準(zhǔn)ISTA算法轉(zhuǎn)延拓為卷積形式，進(jìn)而在轉(zhuǎn)化為卷積形式的LISTA算法。ACSC算法通過在卷積形式的LISTA算法迭代的末尾添加由濾波器數(shù)組組成的線性編碼器來學(xué)習(xí)卷積字典，進(jìn)一步提高了CSC模型生成編碼向量的精確程度。ACSC算法首次將CNN應(yīng)用于卷積稀疏編碼模型中，雖然使用該算法所得效果要優(yōu)于傳統(tǒng)卷積稀疏編碼模型，但是并沒有從理論上給出可行性解釋。

卷積稀疏編碼算法雖然已經(jīng)應(yīng)用于圖像卡通紋理分離[20]、圖像融合[28]、圖像超分辨率[29]等其他問題。但對于圖像去噪等問題，卷積稀疏編碼算法依舊落后于經(jīng)典算法。為進(jìn)一步研究CSC模型，Aviad等[30]、Vardan等[31]在之前研究者基礎(chǔ)上，從理論上分析了卷積稀疏編碼模型與卷積神經(jīng)網(wǎng)絡(luò)的不同與相同之處，并通過實驗給出相關(guān)對比。為更好地將卷積稀疏編碼應(yīng)用于圖像去噪，Dror等[32]結(jié)合ACSC算法提出卷積稀疏編碼網(wǎng)絡(luò)模型(convolutional sparse coding network, CSCNet)。新模型在圖像去噪應(yīng)用上效果要優(yōu)于傳統(tǒng)算法，而且相比深度學(xué)習(xí)算法大大減少了模型訓(xùn)練參數(shù)。

CSCNet模型雖然有效解決了卷積稀疏編碼圖像去噪問題，而且模型整體相比深度模型大大減少了所使用參數(shù)量。但是CSCNet模型并沒有考慮到卷積層與反卷積層之間疊加會改變原始輸入數(shù)據(jù)分布方式，進(jìn)而降低最終圖像去噪效果，而這種現(xiàn)象在深度學(xué)習(xí)中被稱之為內(nèi)部協(xié)變量偏移。為避免這種現(xiàn)象對CSCNet模型帶來影響，現(xiàn)結(jié)合批處理標(biāo)準(zhǔn)化算法(batch normalization, BN)[33]、非線性激活函數(shù)(non-linear activation function rectified linear unit, Relu)[34-35]、 殘差結(jié)構(gòu)(residual learning, RL)[36]對CSCNet圖像去噪網(wǎng)絡(luò)模型作進(jìn)一步改進(jìn)與研究。首先討論在CSCNet模型中加入以及不加入BN、Relu函數(shù)、殘差結(jié)構(gòu)對原模型所帶來的影響，然后在此基礎(chǔ)上提出帶有跳躍聯(lián)結(jié)結(jié)構(gòu)(Shortcut Connections結(jié)構(gòu))的卷積稀疏編碼模型，通過實驗將本文研究中所提算法與CSCNet模型、S-BCSC算法[20]所得結(jié)果進(jìn)行對比來驗證所提算法有效性。

1 相關(guān)工作

1.1 稀疏編碼

稀疏編碼(sparse coding, SC)[1]是稀疏矩陣與學(xué)習(xí)到的字典矩陣之間通過線性組合的方式來完成對原始輸入的重構(gòu)。該模型表達(dá)形式為

(1)

式(1)中:X為原始輸入;D為所訓(xùn)練的字典矩陣;z為稀疏矩陣；α為懲罰系數(shù)；L(X,z,D) 為算法優(yōu)化過程中所涉及的量。對于給定的輸入X，z*=argminL(X,z,D) 為算法最終所得編碼向量。

1.2 卷積稀疏編碼

傳統(tǒng)稀疏編碼算法是將圖像整體分為若干過冗余圖像塊，然后將每一個圖像塊看為整體使用基追蹤方法相互獨立的處理。通過這種方法學(xué)習(xí)到的字典中會含有大量的冗余信息，因此，由此所得中高級圖像特征并不能準(zhǔn)確描述圖像信息。為有效解決該問題，Zeiler等[12]通過訓(xùn)練組卷積核來生成所需字典，提出卷積稀疏編碼模型(convolutional sparse coding, CSC)。CSC通過交替訓(xùn)練卷積核與其對應(yīng)的特征響應(yīng)來完成對原始圖像的重構(gòu)，模型表達(dá)式為

(2)

式(2)中：X為原始輸入圖像；dj為第j個卷積核；zj為卷積核所對應(yīng)的特征響應(yīng)；m、K分別為模型對特征響應(yīng)非零數(shù)目的限制以及所訓(xùn)練卷積核總數(shù)。

1.3 批處理標(biāo)準(zhǔn)化

卷積神經(jīng)網(wǎng)絡(luò)因可以有效解決大規(guī)模數(shù)據(jù)集特征提取問題而受到廣泛關(guān)注，但隨著網(wǎng)絡(luò)層數(shù)的增加模型也會變得越來越難訓(xùn)練。雖然小批量隨機梯度下降算法(stochastic gradient descent algorithm, SGD)是一種非常有效的深度模型訓(xùn)練方法，但是在訓(xùn)練過程中隨著前一層參數(shù)的變化后一層輸入數(shù)據(jù)的分布同樣也會發(fā)生變化從而導(dǎo)致模型不易訓(xùn)練，這種現(xiàn)象稱之為內(nèi)部協(xié)變量偏移(internal convariate shift, ICS)。通常的解決方法是在訓(xùn)練過程中設(shè)置較小的學(xué)習(xí)率以及選取適當(dāng)?shù)某跏蓟瘏?shù)。為進(jìn)一步有效解決內(nèi)部協(xié)變量偏移對模型的影響，Sergey等[33]提出批處理標(biāo)準(zhǔn)化算法。批處理標(biāo)準(zhǔn)化算法在每一層非線性映射函數(shù)之前，通過數(shù)據(jù)歸一化步驟來降低ICS問題對模型的影響。批處理標(biāo)準(zhǔn)化算法如表1所示。目前CSC模型同類算法中，還沒有算法通過考慮加入BN來優(yōu)化CSC模型。

表1 批處理標(biāo)準(zhǔn)化算法[33]Table 1 Batch normalizing algorithm[33]

1.4 Shortcut Connections

隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的不斷增加，不得不面臨的一個問題就是梯度消失、爆炸。當(dāng)然這個問題可以通過在每一層非線性映射函數(shù)之前，通過批處理標(biāo)準(zhǔn)化(batch normalization, BN)來解決。但是隨著網(wǎng)絡(luò)層數(shù)的進(jìn)一步增加，最終訓(xùn)練得到的模型精確度卻不高。這一現(xiàn)象不再與梯度消失、梯度爆炸相關(guān)，而是由所設(shè)計模型本身的復(fù)雜程度所導(dǎo)致。為有效解決該問題，He等[36]提出殘差學(xué)習(xí)。殘差學(xué)習(xí)網(wǎng)絡(luò)模型由帶有跳躍結(jié)構(gòu)的基礎(chǔ)殘差塊構(gòu)成，其中基礎(chǔ)殘差塊結(jié)構(gòu)如圖1所示。殘差網(wǎng)絡(luò)不再是直接學(xué)習(xí)目標(biāo)未知函數(shù)H(x)，而是先學(xué)習(xí)殘差映射F(x)=H(x)-x，最終通過H(x)=F(x)+x獲得原始目標(biāo)映射。目前卷積稀疏編碼同類算法中，還沒有算法使用Shortcut Connections結(jié)構(gòu)、基礎(chǔ)殘差結(jié)構(gòu)[36]來優(yōu)化CSC模型。

圖1 殘差塊結(jié)構(gòu)[36]Fig.1 Residual block structure[36]

1.5 卷積稀疏編碼圖像去噪網(wǎng)絡(luò)模型

具有移位不變性的卷積稀疏編碼模型廣泛應(yīng)用于信號圖像處理各領(lǐng)域，但是在諸如圖像去噪之類的應(yīng)用中仍落后于傳統(tǒng)算法。Dror等[32]對CSC模型應(yīng)用于圖像去噪給出新的見解，并提出帶卷積步長且以MMSE算法作為近似逼近的卷積稀疏編碼網(wǎng)模型(CSCNet)。CSCNet是在ACSC模型[27]基礎(chǔ)上改進(jìn)的，算法主要迭代內(nèi)容如下：

(3)

圖2 卷積稀疏編碼網(wǎng)絡(luò)模型Fig.2 Convolutional sparse coding network model

CSCNet模型雖能有效解決圖像去噪問題，但模型并沒有考慮到由卷積以及反卷積之間的疊加會改變數(shù)據(jù)的分布方式。Zhang等[37]將BN[33]、殘差學(xué)習(xí)[36]加入深層卷積神經(jīng)網(wǎng)絡(luò)提出深層卷積去噪網(wǎng)絡(luò)，并在文中提高實驗證明加入服從高斯分布的BN、殘差網(wǎng)絡(luò)有利于模型去除高斯噪聲。李敏等[38]后來對Zhang等[37]提出的模型做出改進(jìn)，并在模型中加入了Inception結(jié)構(gòu)。CSCNet模型并沒有考慮加入非線性激活函數(shù)、BN、基礎(chǔ)殘差塊等其他深度學(xué)習(xí)常用方法。Wang等[26]、Sreter等[27]雖然借鑒了深度學(xué)習(xí)相關(guān)方法來優(yōu)化CSC模型，但并沒有給出理論依據(jù)。Dror等[32]從理論上分析了CSC模型與CNN之間的相同與不同之處并提出了CSCNet網(wǎng)絡(luò)模型，但是該模型沒有考慮到卷積層與反卷積層之間的疊加會改變數(shù)據(jù)傳播方式。本文研究中借鑒Zhang等[37]的思想，嘗試將非線性激活函數(shù)Relu、批標(biāo)準(zhǔn)化處理、殘差塊結(jié)構(gòu)加入卷積稀疏編碼網(wǎng)絡(luò)模型中，并通過實驗討論了加入這些結(jié)構(gòu)對CSCNet模型所帶來的影響。目前在CSC同類算法中，還沒有算法考慮使用非線性激活函數(shù)Relu、BN、殘差塊結(jié)構(gòu)這些方法來優(yōu)化CSC模型。

2 本文算法

2.1 新網(wǎng)絡(luò)模型結(jié)構(gòu)圖

為進(jìn)一步深入研究卷積稀疏編碼網(wǎng)絡(luò)模型，在保持原始卷積稀疏編碼網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化算法不變的情況下，給出兩種不同的網(wǎng)絡(luò)模型設(shè)置。模型1是僅在CSCNet模型每一層加入BN、Relu函數(shù)，模型1網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。在模型1中，輸入圖像被分若若干128×128圖像塊，然后使用LISTA算法完成近似編碼過程，在此過程中輸入數(shù)據(jù)會經(jīng)歷卷積層、反卷積層疊加，為不改變數(shù)據(jù)分布方式模型1中在卷積層、反卷積層后加入BN，為進(jìn)一步促進(jìn)模型稀疏性加入Relu函數(shù)，模型1最后一層反卷積層為圖像解碼以及圖像重構(gòu)過程。模型1中卷積層、反卷積層均由175個11×11卷積核構(gòu)成。模型1中LISTA迭代為Gregor等[5]所提出的可學(xué)習(xí)的迭代收縮閾值算法。具體模型結(jié)構(gòu)圖如圖3所示。

圖3 模型1網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Model 1 network structure diagram

模型2不僅在原始網(wǎng)絡(luò)每一層上加入批處理標(biāo)準(zhǔn)化層、非線性激活函數(shù)層，還在原始輸入與卷積輸入之前加入了Shortcut Connections結(jié)構(gòu)，改變了原始模型參數(shù)傳播方式而且使模型變得復(fù)雜。為不增加原始模型負(fù)擔(dān)。模型2由三部分組成，第一部分為數(shù)據(jù)處理階段，該部分由1個3×3的卷積層，1個1×1的卷積層，以及將原始輸入與殘差輸出聯(lián)結(jié)起來的Shortcut Connections結(jié)構(gòu)構(gòu)成。第二、三部分為向量編碼、解碼過程，這兩部分結(jié)構(gòu)與模型1一致均使用175個11×11的卷積核構(gòu)成。模型2中LISTA迭代為Gregor等[5]所提出的可學(xué)習(xí)的迭代收縮閾值算法，Conv代表卷積層。模型2具體結(jié)構(gòu)如圖4所示。

圖4 模型2網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Model 2 network structure diagram

2.2 BN、Shortcut Connections結(jié)構(gòu)對CSCNet模型的影響

Dror等[32]提出CSCNet是以近似卷積稀疏編碼算法[20]為基礎(chǔ)，由卷積層、反卷積層構(gòu)成的網(wǎng)絡(luò)模型。但由于卷積、反卷積層之間的疊加，CSCNet模型在訓(xùn)練過程中數(shù)據(jù)會隨著前一層參數(shù)的變化，從而導(dǎo)致影響最終所得結(jié)果。為避免或減少該現(xiàn)象對CSCNet網(wǎng)絡(luò)模型的影響，借鑒Zhang等[37]在卷積神經(jīng)網(wǎng)絡(luò)中處理類似問題的方法，在原始CSCNet模型中每加入Batch Normalization[33]、Relu[35]函數(shù)。并且通過實驗對比了不同卷積步長的CSCNet模型中，加入以及不加入BN結(jié)構(gòu)對模型去噪效果的影響。在CSCNet模型中加入Relu函數(shù)會使一部分元素的輸出為0，進(jìn)一步促進(jìn)了網(wǎng)絡(luò)的稀疏性。

Zhang等[37]指出BN、殘差結(jié)構(gòu)均是服從高斯分布，從而能夠更好地去除高斯噪聲。本文中嘗試在CSCNet模型中卷積輸入之前加入基礎(chǔ)殘差塊結(jié)構(gòu)，該殘差塊結(jié)構(gòu)從輸入層出發(fā)由1個3×3的卷積層構(gòu)成，然后通過Shortcut Connections結(jié)構(gòu)將原始輸入與1×1卷積層卷積輸入聯(lián)結(jié)起來。在模型中加入3×3卷積層是通過依次添加不同尺度卷積核，最終對比實驗結(jié)果所得。在CSCNet模型中加入3×3卷積層進(jìn)一步增加了圖像特征的多樣性。在模型中加入1×1的卷積，是為了使新模型在卷積稀疏編碼部分卷積輸入與原始模型卷積輸入數(shù)據(jù)維度保持一致。在卷積稀疏編碼網(wǎng)絡(luò)模型中加入基礎(chǔ)殘差塊結(jié)構(gòu)，改變了原始參模型數(shù)傳播方式，使模型能夠更好地去除高斯噪聲。

選取文獻(xiàn)[39]中BSD432圖像集60幅圖像為一組作為訓(xùn)練集，Set12標(biāo)準(zhǔn)圖像集作為測試集，其中測試集中的圖像均不會出現(xiàn)在訓(xùn)練集中，以添加均值為0、方差為σ=25的高斯白噪聲為例，觀察非線Relu、BN、基礎(chǔ)殘差塊結(jié)構(gòu)對CSCNet網(wǎng)絡(luò)模型去噪效果的影響。圖5～圖7是卷積步長固定時Relu函數(shù)、BN、基礎(chǔ)殘差塊結(jié)構(gòu)對模型去噪效果影響。圖8～圖12是對于不同步長同時加入Relu、BN、基礎(chǔ)殘差塊結(jié)構(gòu)對模型去噪效果影響。圖13、圖14顯示的是基礎(chǔ)殘差結(jié)構(gòu)中卷積核選取方法。

圖5 卷積步長為9時BN層、Relu函數(shù)對、基礎(chǔ)殘差塊對CSCNet模型去噪效果影響Fig.5 The influence of the BN layer, Relu function pair, and basic residual block on the denoising effect of the CSCNet model when the convolution step size is 9

圖6 卷積步長為8時BN層、Relu函數(shù)對、基礎(chǔ)殘差塊對CSCNet模型去噪效果影響Fig.6 The influence of the BN layer, Relu function pair, and basic residual block on the denoising effect of the CSCNet model when the convolution step size is 8

圖7 卷積步長為7時BN層、Relu函數(shù)對、基礎(chǔ)殘差塊對CSCNet模型去噪效果影響Fig.7 The influence of the BN layer, Relu function pair, and basic residual block on the denoising effect of the CSCNet model when the convolution step size is 7

圖8 不同卷積步長時加入BN對CSCNet模型去噪影響Fig.8 The effect of adding BN to the denoising effect of the CSCNet model at different convolution steps

圖9 不同卷積步長時加入Relu對CSCNet模型去噪影響Fig.9 The effect of adding Relu on the denoising of the CSCNet model at different convolution steps

圖10 不同卷積步長時同時加入BN、Relu函數(shù)對CSCNet模型去噪影響Fig.10 The effect of adding BN and Relu functions to the denoising of the CSCNet model at different convolution steps

圖11 不同卷積步長時加入基礎(chǔ)殘差塊對CSCNet模型去噪影響Fig.11 The influence of adding the basic residual block to the denoising of the CSCNet model at different convolution steps

圖12 不同卷積步長時同時加入BN、Relu、基礎(chǔ)殘差塊對CSCNet模型去噪影響Fig.12 The effect of adding BN, Relu, and basic residual block to CSCNet model denoising at different step

圖13 不同尺度卷積核對CSCNet模型去噪影響Fig.13 The influence of different scale convolution kernels on the denoising of CSCNet model

圖14 不同數(shù)量卷積核對CSCNet模型去噪影響Fig.14 The influence of different numbers of convolution kernels on the denoising of the CSCNet model

從圖5、圖6、圖7(a)中可以看出，在CSCNet模型中僅加入BN、Relu函數(shù)對原始模型帶來的效果并不明顯，甚至可能沒有不加之前效果好，但是在CSCNet模型中同時加入兩者后新模型整體收斂速度要比原始模型更平穩(wěn)，而且最終收斂值要比原模型高一些。從圖5、圖6、圖7(b)中可以看出，在模型中只加入基礎(chǔ)殘差塊結(jié)構(gòu)在一定程度上影響模型去噪效果，在模型1結(jié)構(gòu)基礎(chǔ)上加入基礎(chǔ)殘差塊對模型影響可能沒有不加之前要好，但是與原始模型相比去噪效果有了些許提升。圖8～圖12是對比不同步長同時加入BN、Relu函數(shù)、基礎(chǔ)殘差塊結(jié)構(gòu)對CSCNet模型去噪影響。從中可以看出在步長不同時僅加入BN或者Relu對模型帶來的影響并不大，甚至可能沒有原模型效果好，但從圖8～圖12中可以看出，當(dāng)步長為7時模型整體從收斂速度以及收斂值來說要好一些，也即圖中藍(lán)色曲線部分。圖13、圖14描述的是如何設(shè)置殘差塊結(jié)構(gòu)中卷積核，可以看出卷積核并不是加入越多、設(shè)置的越大越好。

3 實驗結(jié)果

通過實驗對比模型1、模型2與CSCNet模型去噪效果。CSCNet原模型、模型1、模型2中LISTA迭代為Gregor等[5]所提出的可學(xué)習(xí)的迭代收縮閾值算法。實驗中以文獻(xiàn)[39]中BSD432圖像集60幅、120幅為一組分別記為訓(xùn)練集1與訓(xùn)練集2，接著以文獻(xiàn)[40]中Waterloo exploration database圖像集60幅、120幅為一組分別記為訓(xùn)練集3與訓(xùn)練集4。再以文獻(xiàn)[32]中Set12作為測試集，文獻(xiàn)[39]BSD68圖像集中20幅圖像為一組作為測試集2。在上述實驗中測試集中的圖像均不會出現(xiàn)在訓(xùn)練集中。為方便對比實驗結(jié)果，各模型均采用DCT變換初始化卷積字典，CSCNet模型、模型1、模型2卷積步長均設(shè)置為7。測試實驗是在i7-8550U 1.8 GHz CPU和8 GB RAM的設(shè)備上進(jìn)行的。

表2～表9是各模型在不同訓(xùn)練集不同測試集上所得結(jié)果對比，最終結(jié)果取多次重復(fù)實驗所得結(jié)果的平均值。表10顯示的是各模型在訓(xùn)練集1、Set12測試集上每次迭代所需平均時間對比。表11描述的是各模型所使用參數(shù)對比情況。

表2 訓(xùn)練集為1時各模型在測試集Set12上平均峰值信噪比值對比Table 2 Comparison of average peak signal-to-noise ratio of each model on test set Set12 when training set is 1

表3 訓(xùn)練集為1時各模型在測試集2上平均峰值信噪比值對比Table 3 Comparison of average peak signal-to-noise ratio of each model on test set 2 when training set is 1

表4 訓(xùn)練集為2時各模型在測試集Set12上平均峰值信噪比值對比Table 4 Comparison of average peak signal-to-noise ratio of each model on test set Set12 when training set is 2

表5 訓(xùn)練集為2時各模型在測試集2上平均峰值信噪比值對比Table 5 Comparison of average peak signal-to-noise ratio of each model on test set 2 when training set is 2

表6 訓(xùn)練集為3時各模型在測試集Set12上平均峰值信噪比值對比Table 6 Comparison of average peak signal-to-noise ratio of each model on test set Set12 when training set is 3

表7 訓(xùn)練集為3時各模型在測試集2上平均峰值信噪比值對比Table 7 Comparison of average peak signal-to-noise ratio of each model on test set 2 when training set is 3

表8 訓(xùn)練集為4時各模型在測試集Set12上平均峰值信噪比值對比Table 8 Comparison of average peak signal-to-noise ratio of each model on test set Set12 when training set is 4

表9 訓(xùn)練集為4時各模型在測試集2上平均峰值信噪比值對比Table 9 Comparison of average peak signal-to-noise ratio of each model on test set 2 when training set is 4

表10 不同模型測試時間對比Table 10 Comparison of Test Time of Different Models

表11 不同模型參數(shù)對比Table 11 Comparison of different model parameters

從表2～表9中實驗數(shù)據(jù)可以看出，模型1、模型2所得結(jié)果相比原CSCNet模型所得結(jié)果略有提升，當(dāng)所添加噪聲程度較低時這種。使用本文研究所設(shè)計的兩種模型去噪后的結(jié)果要比原S-BCSC算法以及原始CSCNet網(wǎng)絡(luò)模型要好一些，這種優(yōu)勢在噪聲程度較低時會明顯一些。表10、表11是各模型運行時間以及參數(shù)對比，可以看出模型1、模型2再不大幅增加CSCNet模型計算負(fù)擔(dān)的前提下使模型去噪效果略有改善。

4 結(jié)論

圍繞迭代求解近似編碼向量過程中卷積、反卷積層疊加會改變CSCNet模型中數(shù)據(jù)分布方式，通過在原模型中加入BN、Relu函數(shù)，先后設(shè)計了模型1、模型2。通過一系列實驗驗證所設(shè)計模型可行性，通過實驗得出模型1、模型2最終所得結(jié)果要優(yōu)于S-BCSC算法以及CSCNet模型。但由于實驗設(shè)備有限僅在部分?jǐn)?shù)據(jù)集上進(jìn)行實驗，后續(xù)會繼續(xù)擴(kuò)大數(shù)據(jù)集來進(jìn)一步驗證所提方法有效性。模型1、模型2雖然所得結(jié)果相比CSCNet模型所提升，但提升結(jié)果并不是特別明顯，后期會繼續(xù)結(jié)合其他可行方法對CSCNet模型做進(jìn)一步研究。