国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于改進(jìn)CNN的壓縮感知自然圖像重建方法

2022-10-14 05:51許富景陳長(zhǎng)穎杜少成
中國(guó)測(cè)試 2022年9期
關(guān)鍵詞:殘差卷積向量

許富景, 陳長(zhǎng)穎, 杜少成

(1. 山西大學(xué)自動(dòng)化與軟件學(xué)院,山西 太原 030013; 2. 山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院,山西 太原 030006)

0 引 言

隨著壓縮感知(compressed sensing,CS)及其重建方法的不斷發(fā)展[1-2],該方法被廣泛應(yīng)用在遙測(cè)遙感、海洋探測(cè)、醫(yī)療影像等三維圖像重建領(lǐng)域[3-5],并且推動(dòng)了相關(guān)領(lǐng)域新型成像設(shè)備的研制[6-7]。然而,傳統(tǒng)壓縮感知圖像重建算法存在著壓縮率低、所需存儲(chǔ)空間量大等問題[8],尤其在高清成像領(lǐng)域,圖像大數(shù)據(jù)給存儲(chǔ)空間帶來巨大的挑戰(zhàn),分塊壓縮感知理論[9]的提出大大減少了所需的存儲(chǔ)空間。為了進(jìn)一步提高圖像的重建質(zhì)量,Dinh等人提出了一種新的測(cè)量矩陣[10]來改善低采樣率下圖像的重建精度,Gao等人結(jié)合圖像的局部平滑特點(diǎn)設(shè)計(jì)出局部結(jié)構(gòu)測(cè)量矩陣[11]使得圖像的重建精度得到明顯提升。

基于神經(jīng)網(wǎng)絡(luò)的壓縮感知圖像重建算法能夠有效改善圖像的重建性能。Mousavi等人首次提出利用堆疊式降噪自動(dòng)編碼器(SDA)[12]從少量測(cè)量向量中重建圖像的方法取得了很好的重建效果。文獻(xiàn)[13]在重建階段使用卷積從高斯測(cè)量向量中重建圖像,在其網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上,文獻(xiàn)[14]在重構(gòu)階段引入殘差網(wǎng)絡(luò)來縮小初始重建圖像與原圖像之間的差距進(jìn)而得到更高的重建精度。Dong等人利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)[15]通過端到端的學(xué)習(xí)方式從低分辨率圖像中重建出高分辨率圖像。上述這些重建方法均利用隨機(jī)測(cè)量向量來重建圖像,而隨機(jī)測(cè)量向量不能有效保留原信號(hào)的主要信息,為此,自適應(yīng)測(cè)量向量被人們提出來。Wang等人使用深度神經(jīng)網(wǎng)絡(luò)[16]來模擬信號(hào)的稀疏編碼過程,獲得的測(cè)量向量中保留了原圖像的更多有用信息。Xie等人利用全連接層[17]獲得從原始信號(hào)中學(xué)習(xí)得來的自適應(yīng)測(cè)量向量,利用該測(cè)量向量重建出來的圖像的PSNR值有明顯的提高。然而,由于全連接層的參數(shù)冗余,利用全連接層獲得測(cè)量向量的方法不僅增加了運(yùn)算時(shí)間還容易造成過擬合。

針對(duì)上述問題,本文提出了一種基于改進(jìn)CNN的壓縮感知自然圖像重建方法,該方法將傳統(tǒng)壓縮感知圖像重建算法與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合,它的主要?jiǎng)?chuàng)新思路如下:首先采用卷積網(wǎng)絡(luò)自適應(yīng)獲得測(cè)量向量,這比采用傳統(tǒng)壓縮感知測(cè)量矩陣(隨機(jī)高斯、伯努利等)得到的隨機(jī)測(cè)量向量更多地保留了原圖像的主要信息。其次,在初始重建階段使用的子像素卷積網(wǎng)絡(luò)的放大倍數(shù)是通過訓(xùn)練、學(xué)習(xí)得到的,其放大性能比傳統(tǒng)的雙線性插值、雙三次插值及反卷積網(wǎng)絡(luò)等更加準(zhǔn)確,從而重建出了更高質(zhì)量的圖像。最后,利用深度殘差網(wǎng)絡(luò)進(jìn)一步縮小初始重建圖像與原圖像之間的殘差,該方法有效提升了傳統(tǒng)壓縮感知圖像重建方法的重建精度。

1 基礎(chǔ)理論

1.1 壓縮感知圖像重建的測(cè)量矩陣

壓縮感知理論打破了傳統(tǒng)奈奎斯特采樣定理最低采樣頻率的局限,當(dāng)信號(hào)能被稀疏表示時(shí),壓縮感知理論可以利用亞采樣得到的少量測(cè)量向量重建原信號(hào)。壓縮感知理論的觀測(cè)過程將采樣和壓縮集為一體,測(cè)量矩陣的設(shè)計(jì)關(guān)系著測(cè)量向量和重建信號(hào)的質(zhì)量,它必須滿足約束等距性質(zhì)(RIP)[18]。圖1所示的壓縮感知原理圖中存在如下等式關(guān)系:

圖1 壓縮感知原理圖

其中,y∈RM×1,x∈RN×1,Φ∈RM×N。

測(cè)量向量y中 的元素可看作是原信號(hào)x通過觀測(cè)矩陣Φ從高維空間到低維空間的線性映射,因此測(cè)量向量y中保留了原信號(hào)的有用信息能夠用來重建原信號(hào)。若原信號(hào)x在 稀疏域Ψ 上為K階稀疏信號(hào),則x在Ψ域上可以表示為:

將等式(2)代入等式(1)中有:

其中,等式(3)中常見的觀測(cè)矩陣Φ有隨機(jī)高斯矩陣、隨機(jī)伯努利矩陣等。

1.2 壓縮感知傳統(tǒng)的重建算法

傳統(tǒng)壓縮感知理論重建算法包括貪婪算法[19-20]、凸優(yōu)化算法[21]和迭代算法[22]。這些重建算法通過測(cè)量矩陣Φ得到測(cè)量向量y, 利用M維的測(cè)量向量y和測(cè)量矩陣Φ求 解出N維的原信號(hào)x。 由于M?N,所以不能通過直接逆向求解等式(1)來求出原信號(hào)x的唯一解。然而,當(dāng)原信號(hào)x在某個(gè)變換域Ψ上有稀疏信號(hào)θ,它的稀疏度為K且滿足K?M,那么可根據(jù)等式(3)求解出稀疏信號(hào)θ,再結(jié)合等式(2)便求出原信號(hào)x,即傳統(tǒng)重建算法是將高維的原信號(hào)線性映射到某變換域后得到原信號(hào)的稀疏表示再進(jìn)行優(yōu)化求解,該過程可表示為求公式(4)中的優(yōu)化目標(biāo):

這種通過迭代方式求優(yōu)化解的重建算法的計(jì)算復(fù)雜度高并且在低采樣率下圖像的重建精度很低。近幾年,結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的壓縮感知圖像重建算法在重建圖像任務(wù)中發(fā)揮了很好的作用。

1.3 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)理論

卷積神經(jīng)網(wǎng)絡(luò)是常見的深度學(xué)習(xí)算法之一,它是一個(gè)多層網(wǎng)絡(luò)結(jié)構(gòu)能夠自動(dòng)提取圖像特征,還可以直接把圖像作為輸入使多維圖像處理更加簡(jiǎn)便,因而被廣泛應(yīng)用在圖像處理領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示,它的運(yùn)算主要有:卷積運(yùn)算、池化運(yùn)算、全連接運(yùn)算和識(shí)別運(yùn)算。卷積運(yùn)算通過卷積核與輸入的圖像做卷積得到特征值,由于卷積運(yùn)算屬于線性操作而實(shí)際的圖像處理多為非線性問題,故需要在卷積層后加入激活函數(shù)層,以此來增加卷積運(yùn)算的非線性擬合能力并加快訓(xùn)練網(wǎng)絡(luò)模型,常用的激活函數(shù)有ReLU、Tanh和PReLU,它們的函數(shù)分別對(duì)應(yīng)如下:

圖2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

卷積運(yùn)算的過程可以表示為:

式中:xij——當(dāng)前層的特征映射;

f(·)——激活函數(shù);

xii-1——上層特征映射;

wiij——第l層 ,(i,j)位置的權(quán)重;

bij——偏置。

池化運(yùn)算可看作是對(duì)上一運(yùn)算結(jié)果做進(jìn)一步的特征提取和壓縮,常用的池化類型有最大池化和平均池化,最大池化輸出局部接受域的最大值,該過程可表示為:

平均池化輸出局部接受域的平均值,該過程可表示為:

式中:yu,v——池化運(yùn)算對(duì)應(yīng)的特征圖上的區(qū)域;

i,j——索引;

ai,j——池化的激活值。

池化運(yùn)算對(duì)卷積的運(yùn)算結(jié)果做了特征降維,使模型的容錯(cuò)性得到提高并有效緩解過擬合。

全連接運(yùn)算對(duì)前面提取的特征進(jìn)行分類起到分類器的作用,它把卷積和池化運(yùn)算的結(jié)果進(jìn)行組合并提取整合輸出的有用信息,把信息從高維變換到低維,然而全連接層的參數(shù)過多會(huì)增加運(yùn)算時(shí)間并容易造成過擬合。

卷積神經(jīng)網(wǎng)絡(luò)輸入與輸出之間本質(zhì)上可以看作是一種映射關(guān)系,通過訓(xùn)練可以把圖像中的主要信息提取整合并將數(shù)據(jù)特征映射保留在神經(jīng)網(wǎng)絡(luò)中。

2 基于改進(jìn)CNN的壓縮感知重建算法

2.1 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的壓縮感知重建算法

壓縮感知圖像重建算法的目的是從測(cè)量向量y中重建原信號(hào)x, 其中,y∈RM×1,x∈RN×1。因?yàn)镸?N,所以同一個(gè)測(cè)量向量y可以重建出多個(gè)不同的信號(hào)x。 把從y到x的映射近似看作線性映射,該映射關(guān)系可以表示為:

其中W∈RN×M是線性映射矩陣,方程y=Φx(M?N)不是唯一解。原信號(hào)和它相對(duì)應(yīng)的測(cè)量向量分別表示為:xi∈RN×1,yi∈RM×1, 把包含N個(gè)訓(xùn)練樣本的訓(xùn)練集表示為:{(y1,x1),(y1,x1),···,(yN,xN)}。通過評(píng)估映射矩陣Wf來保證的偏差最小。損失函數(shù)如式(12)所示:

式中:xi——第i個(gè)原信號(hào)(訓(xùn)練樣本);

N——訓(xùn)練集中的樣本總數(shù)。

利用自適應(yīng)矩估計(jì)優(yōu)化算法(Adam)[23]優(yōu)化網(wǎng)絡(luò)模型參數(shù)并通過反向傳播來最小化損失函數(shù),可以得到最優(yōu)映射矩陣Wf

和等式(13)中訓(xùn)練樣本所對(duì)應(yīng)的自適應(yīng)測(cè)量向量yi:

基于卷積神經(jīng)網(wǎng)絡(luò)的壓縮感知自然圖像重建算法結(jié)構(gòu)示意圖如圖3所示,其第一個(gè)卷積層后面引入最大池化層來壓縮圖像,最大池化層可以輸出局部接受域中的最大值能更好保留圖像的紋理特征,因此被廣泛應(yīng)用在圖像處理領(lǐng)域,它的原理為:首先利用卷積網(wǎng)絡(luò)自適應(yīng)獲得測(cè)量向量yi, 把yi作為初始重建階段子像素卷積的輸入并恢復(fù)出低分辨率初始重建圖像,生成初始重建圖像的過程可以表示為:

圖3 基于改進(jìn)CNN的壓縮感知自然圖像重建算法結(jié)構(gòu)示意圖

其次,為進(jìn)一步縮小初始重建圖像與原圖像xi之 間的誤差,在它們之間引入殘差網(wǎng)絡(luò)Fr(,Wr)來估計(jì)差值, 其中,是Wr殘差網(wǎng)絡(luò)的參數(shù),該過程可以表示為:

將初始重建圖像與從殘差網(wǎng)絡(luò)得到的殘差估計(jì)值相融合,該過程可以表示為:

把和分別代入等式(14)和等式(15)中便得到經(jīng)過殘差網(wǎng)絡(luò)改善后的重建圖像,該過程可以表示為:

2.2 子像素卷積網(wǎng)絡(luò)

子像素卷積原理圖如圖4所示,子像素卷積利用像素清洗層將輸入圖像的像素重新排列從而實(shí)現(xiàn)對(duì)圖像的上采樣運(yùn)算[24]。當(dāng)一個(gè)上采樣操作的放大倍數(shù)為r時(shí),子像素卷積需要輸入r2個(gè)由圖像構(gòu)成的同等大小的特征張量。上采樣后的圖像上位于(x,y)處 像素的值由第c張?zhí)卣鲌D中位于處的像素點(diǎn)。該過程可以表示為:

圖4 子像素卷積原理圖

假設(shè)要利用子像素卷積進(jìn)行縮放因子為r的上采樣操作,記上采樣之前特征圖的大小為:H×W×C,首先通過卷積運(yùn)算輸出大小為rH×r2W×C的特征圖,然后經(jīng)過像素清洗層將特征圖的大小調(diào)整為:rH×rW×C,如:要利用子像素卷積將二維圖像放大2倍,則需要生成(22=4)4個(gè)同等大小的特征圖,即通道數(shù)被擴(kuò)充為原來的4倍。特征圖的大小調(diào)整為:rH×rW×C,如:要利用子像素卷積將二維圖像放大2倍,則需要生成(22=4)4個(gè)同等大小的特征圖,即通道數(shù)被擴(kuò)充為原來的4倍。特征圖做完卷積后再經(jīng)過像素清洗層作特定排列,像素清洗后的特征通道數(shù)又恢復(fù)為初始輸入時(shí)的大小,而每個(gè)特征圖的尺寸則會(huì)變大為原來的2倍。

本文使用子像素卷積來初始重建圖像,其結(jié)構(gòu)圖如圖5所示。該子像素卷積網(wǎng)絡(luò)由兩個(gè)結(jié)構(gòu)相同的子像素卷積模塊組成,每個(gè)子像素卷積模塊包括一個(gè)卷積層、一個(gè)像素清洗層和一個(gè)激活函數(shù)PReLU層。由于子像素清洗層能確保前面的卷積運(yùn)算在低分辨率空間上運(yùn)行所以減少了卷積的運(yùn)算時(shí)間,而激活函數(shù)的使用給神經(jīng)網(wǎng)絡(luò)中引入了非線性特性使得輸出不再只是輸入的線性組合,增強(qiáng)了神經(jīng)網(wǎng)絡(luò)的表達(dá)能力。假設(shè)特征通道數(shù)為16,卷積核的大小為3×3,則該卷積核的特征通道數(shù)為16×放大倍數(shù)的2次方。

圖5 子像素卷積網(wǎng)絡(luò)結(jié)構(gòu)圖

由于像素的擴(kuò)展方式由其對(duì)應(yīng)的卷積決定,而卷積的參數(shù)是通過學(xué)習(xí)得到的,所以子像素卷積這種基于學(xué)習(xí)的圖像上采樣方法較傳統(tǒng)放大方法(雙線性插值、雙三次插值等)可以更好地?cái)M合像素之間的關(guān)系,從而得到更高質(zhì)量的初始重建圖像。

2.3 殘差網(wǎng)絡(luò)

訓(xùn)練網(wǎng)絡(luò)模型的數(shù)據(jù)集中常存在冗余信息導(dǎo)致降低了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像特征的效果,且隨著網(wǎng)絡(luò)深度的增加,訓(xùn)練產(chǎn)生的錯(cuò)誤也逐漸累積,冗余的網(wǎng)絡(luò)層因?qū)W習(xí)了非恒等映射參數(shù)而導(dǎo)致模型退化,為解決此問題本文引入了殘差網(wǎng)絡(luò)。

傳統(tǒng)的殘差結(jié)構(gòu)包含直線向下的殘差映射方式和弧線向下的捷徑連接映射方式。前一種可以學(xué)習(xí)給定輸入與期望輸出之間的殘差,后一種則能確保殘差網(wǎng)絡(luò)中的每個(gè)卷積層都有一條將自己的輸出直接傳給較前卷積層的短連接并通過前向傳播特征實(shí)現(xiàn)恒等映射,恒等映射可以保證誤差在反向傳播過程的梯度信息不受影響地通過捷徑連接傳向淺層并達(dá)到緩解梯度消失現(xiàn)象的效果。該捷徑連接映射方式還可提高神經(jīng)網(wǎng)絡(luò)提取目的特征的能力,促進(jìn)網(wǎng)絡(luò)模型的優(yōu)化和訓(xùn)練。

用x表示給定的輸入?yún)?shù),H(x)表示底層映射的期望輸出,文獻(xiàn)[25]中使用幾個(gè)卷積運(yùn)算來擬合H(·)并 且期望H(·)是一個(gè)恒等映射。然而現(xiàn)實(shí)中很難直接把H(·)優(yōu) 化為恒等映射,給定輸入x與期望輸出H(x)之 間會(huì)產(chǎn)生殘差F(x),即:

若H(x)與x近 似相等則殘差F(x)將趨于0,由于卷積層的權(quán)值常被零初始化所以容易通過訓(xùn)練卷積層來實(shí)現(xiàn)讓等式(15)中的殘差F(x)趨于0并得到恒等映射的輸出H(x)。

本文的殘差網(wǎng)絡(luò)是由四個(gè)結(jié)構(gòu)相同的殘差塊組成,每個(gè)殘差塊包含兩個(gè)卷積和一個(gè)跳連接,如圖6所示。其中,卷積核的大小為3×3,每個(gè)卷積核有16個(gè)特征通道,卷積層后跟有批處理歸一化層[26]和激活函數(shù)PReLU層,批處理歸一化可以增強(qiáng)響應(yīng)大的元素同時(shí)抑制響應(yīng)小的元素,有效提升了模型的泛化性,殘差網(wǎng)絡(luò)中的激活函數(shù)為網(wǎng)絡(luò)模型引入的非線性特性不僅增強(qiáng)了神經(jīng)網(wǎng)絡(luò)的表達(dá)能力,還提高了網(wǎng)絡(luò)模型的精度,使重建質(zhì)量得到進(jìn)一步提升。

圖6 殘差網(wǎng)絡(luò)結(jié)構(gòu)圖

殘差網(wǎng)絡(luò)進(jìn)一步縮小了初始重建圖像與原圖像xi之間的誤差,可以通過方程(21)求出它們之間的殘差估計(jì)值:

將初始重建圖像與從殘差網(wǎng)絡(luò)得到的殘差估計(jì)值相融合,得到經(jīng)過殘差網(wǎng)絡(luò)改善后的重建圖像x*i,該過程如等式(17)所示。本文所提的基于深度學(xué)習(xí)的壓縮感知自然圖像重建方法中引入殘差網(wǎng)絡(luò)使得模型退化和梯度消失問題得到有效解決,并提升圖像的重建精度。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

本節(jié)用峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)來評(píng)估本文所提算法的性能,分別比較了壓縮感知理論的典型重建算法和基于卷積神經(jīng)網(wǎng)絡(luò)的壓縮感知重建方法,它們的仿真實(shí)驗(yàn)均在Windows 10系統(tǒng)下的python3.6中實(shí)現(xiàn),建模采用版本為torch1.4.0的Pytorch深度學(xué)習(xí)框架,并利用CuDNN進(jìn)行加速。實(shí)驗(yàn)中設(shè)置:學(xué)習(xí)率為0.000 1,批歸一化大小為 128,迭代輪數(shù)為400。

模型訓(xùn)練使用COCO2014數(shù)據(jù)集中的train2014(7 007張圖片)和val2014(3 504張圖片),利用這10 511張圖像隨機(jī)裁剪成64×64的子圖像來訓(xùn)練網(wǎng)絡(luò)模型,測(cè)試集使用了數(shù)據(jù)集Set5(5張圖片)和Set14( 14張圖片)[27-28]。

3.2 仿真與分析

3.2.1 與傳統(tǒng)壓縮感知重建算法比較

如圖7、圖8所示,在采樣率為0.25的情況下將本文所提算法(Pro)與文獻(xiàn)[20]的正交匹配追蹤算法(OMP)和文獻(xiàn)[9]的分塊壓縮感知算法(BCS)分別對(duì)set14中的man和bridge進(jìn)行圖像重建,從圖中觀察到基于迭代的正交匹配追蹤算法和分塊壓縮感知算法在采樣率為0.25時(shí)SSIM的值很低,圖像細(xì)節(jié)不清晰甚至損失,而本文所提算法在PSNR、SSIM和視覺效果這三方面要明顯優(yōu)于壓縮感知理論的傳統(tǒng)圖像重建算法,并且其PSNR值較正交匹配追蹤算法和分塊壓縮感知算法高出17.6 dB 和11.28 dB,值得注意的是,由于傳統(tǒng)壓縮感知圖像重建算法屬于迭代運(yùn)算其重建過程耗時(shí),本文所提算法重建一張圖像僅需要幾秒并且在低采樣率下有著較高的圖像重建精度。

圖7 在采樣率為0.25時(shí),對(duì)Set14man圖像重建性能比較

圖8 在采樣率為0.25時(shí),對(duì)Set14bridge圖像重建性能比較

3.2.2 與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)重建算法比較

為了比較使用卷積網(wǎng)絡(luò)獲得自適應(yīng)測(cè)量向量的優(yōu)勢(shì),與文獻(xiàn)[15]中使用插值方式獲得隨機(jī)測(cè)量向量的超分辨率圖像重建算法(SRResnet)以及Pro_bili和Pro _bicu做比較,其中,Pro_bili和Pro_bicu分別為去掉圖3網(wǎng)絡(luò)結(jié)構(gòu)中的最大池化層并保持其他結(jié)構(gòu)和參數(shù)不變的情況下利用雙線性插值和雙三次插值來獲得隨機(jī)測(cè)量向量的算法。如圖9、圖10所示,在采樣率為0.25和0.062 5的情況下將本文所提算法(Pro)、超分辨率圖像重建算法(SRResnet)、Pro _bili和Pro _bicu對(duì)Set5中的woman進(jìn)行圖像重建。上述算法中只有 Pro是使用最大池化層自適應(yīng)獲得測(cè)量向量,其他均使用插值方式獲得隨機(jī)測(cè)量向量,通過仿真數(shù)據(jù)和圖像重建質(zhì)量的對(duì)比可以看出Pro的SSIM值在低采樣率下有明顯的優(yōu)勢(shì),其PSNR比SRResnet、Pro _bili和Pro _bicu 高出1.78~4.72 dB,這是由于最大池化層的輸出是局部接受域中的最大值,這能更有效地保留圖像的紋理特征從而重建出更高質(zhì)量的圖像,實(shí)驗(yàn)結(jié)果表明在低測(cè)量率下本文所提算法自適應(yīng)獲得的測(cè)量向量能保留圖像更多主要信息從而有效提升圖像的重建質(zhì)量。

圖9 在采樣率為0.25時(shí),對(duì)Set5woman圖像重建性能比較

圖10 在采樣率為0.062 5時(shí),對(duì)Set5woman圖像重建性能比較

為了驗(yàn)證初始重建階段使用子像素卷積的優(yōu)勢(shì),將本文算法與初始重建階段使用反卷積網(wǎng)絡(luò)的全卷積重建算法做比較。如圖11、圖12所示,在采樣率為0.25和0.062 5的情況下使用本文所提算法(Pro)與文獻(xiàn)[2]的全卷積重建算法(Fully_Conv)和Pro _nor*分別對(duì)Set14中的foreman進(jìn)行圖像重建,其中:Pro _nor*為去掉圖3模型結(jié)構(gòu)中的殘差網(wǎng)絡(luò)并保持其它結(jié)構(gòu)參數(shù)不變的方法,它是為了驗(yàn)證最后重建階段使用深度殘差網(wǎng)絡(luò)的優(yōu)勢(shì)。在不同采樣率下三種重建算法的SSIM結(jié)果相差不大,Pro的PSNR值比Fully_Conv高出2.36~2.38 dB,它們的實(shí)驗(yàn)結(jié)果反映出本文所提算法使用子像素卷積進(jìn)行初始重建的重建性能優(yōu)于使用反卷積進(jìn)行初始重建的Fully_Conv,這是由于子像素卷積通過像素清洗層將輸入圖像的像素重新排列實(shí)現(xiàn)對(duì)圖像的上采樣運(yùn)算,相較于反卷積它有更高的計(jì)算性能,所以基于學(xué)習(xí)的子像素卷積能得到更高質(zhì)量的重建圖像。Pro _nor*和Pro的實(shí)驗(yàn)結(jié)果展示出殘差網(wǎng)絡(luò)對(duì)圖像重建精度的影響,在不同采樣率下含有殘差網(wǎng)絡(luò)的PSNR值比不含殘差網(wǎng)絡(luò)高1.57~2.74 dB,這是由于引入的殘差網(wǎng)絡(luò)能進(jìn)一步縮小初始重建圖像與原圖像之間的誤差從而有效提升圖像的重建精度,該實(shí)驗(yàn)結(jié)果驗(yàn)證了在重構(gòu)階段引入殘差網(wǎng)絡(luò)的優(yōu)勢(shì)。

圖11 在采樣率為 0.25時(shí),對(duì)Set14foreman圖像重建性能比較

圖12 在采樣率為0.062 5時(shí),對(duì)Set14foreman圖像重建性能比較

3.3 整體對(duì)比

本節(jié)使用六種重建算法SRResnet、Pro _bili 、Pro _nor*、Pro _bicu、Fully_Conv和Pro對(duì)六張圖片man、bridge、foreman、woman、zebra和butterfly進(jìn)行重建并對(duì)比它們的PSNR和SSIM值。表1和表2中黑色加粗?jǐn)?shù)據(jù)是本文所提算法的PSNR、SSIM結(jié)果,紅色加粗?jǐn)?shù)據(jù)是其他重建算法重建六張圖片的PSNR和SSIM的平均值。在采樣率為0.25和0.062 5的情況下本文所提算法達(dá)到了最高的平均PSNR和SSIM,它的平均PSNR值分別高出其他方法1.58~4.56 dB和 1.86~3.55 dB,這表明在低采樣率下本文所提算法具有更高的重建精度。

表1 采樣率為0.25和0.062 5時(shí)的PSNR結(jié)果

表2 采樣率為0.25和0.062 5時(shí)的SSIM結(jié)果

4 結(jié)束語(yǔ)

針對(duì)傳統(tǒng)壓縮感知圖像重建算法存在的運(yùn)算量大和重建精度低等問題,本文提出了一種基于改進(jìn)CNN的壓縮感知自然圖像重建方法,該方法首先利用卷積網(wǎng)絡(luò)自適應(yīng)獲得測(cè)量向量,其次,將保留了原圖像更多有用信息的自適應(yīng)測(cè)量結(jié)果輸入到子像素卷積網(wǎng)絡(luò)中來初始重建圖像,由于子像素卷積可有效避免引入過多人工因素,能較好地整合像素之間的關(guān)系,從而得到更高質(zhì)量的初始重建圖像。最后,利用深度殘差網(wǎng)絡(luò)進(jìn)一步縮小初始重建圖像與原圖像之間的殘差,實(shí)現(xiàn)了對(duì)重建圖像的高精度重建。對(duì)比OMP、BCS、SRResnet、Pro _bili 、Pro _nor*、Pro _bicu和Fully_Conv的實(shí)驗(yàn)結(jié)果表明本文所提算法在低采樣率下的PSNR和SSIM結(jié)果都明顯高出其他方法且隨著采樣率的增大其優(yōu)勢(shì)更加明顯,在采樣率為0.062 5時(shí)它的PSNR和SSIM的平均結(jié)果分別為31.55 dB和0.925 3。

猜你喜歡
殘差卷積向量
基于全卷積神經(jīng)網(wǎng)絡(luò)的豬背膘厚快速準(zhǔn)確測(cè)定
基于殘差-注意力和LSTM的心律失常心拍分類方法研究
向量的分解
用于處理不努力作答的標(biāo)準(zhǔn)化殘差系列方法和混合多層模型法的比較*
融合上下文的殘差門卷積實(shí)體抽取
一種基于卷積神經(jīng)網(wǎng)絡(luò)的地磁基準(zhǔn)圖構(gòu)建方法
基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
一種并行不對(duì)稱空洞卷積模塊①
聚焦“向量與三角”創(chuàng)新題
基于深度殘差網(wǎng)絡(luò)圖像分類算法研究綜述①
河东区| 施秉县| 辽宁省| 马鞍山市| 汽车| 湾仔区| 铜梁县| 正蓝旗| 永福县| 页游| 淅川县| 城口县| 永兴县| 渝中区| 大悟县| 天台县| 高碑店市| 长子县| 兴安盟| 略阳县| 筠连县| 太保市| 杂多县| 三台县| 滨州市| 丽江市| 伊川县| 广灵县| 八宿县| 虞城县| 湘西| 芜湖县| 台南市| 河池市| 阿克苏市| 绍兴市| 尉氏县| 沐川县| 黄冈市| 新建县| 山东省|