陸佳磊 張永健

摘要：針對現(xiàn)有的基于傳統(tǒng)算法的圖像恢復(fù)技術(shù)無法有效地恢復(fù)出高質(zhì)量圖像問題，本文提出了基于深度學(xué)習(xí)技術(shù)的圖像恢復(fù)方法。對現(xiàn)有的圖像恢復(fù)網(wǎng)絡(luò)進(jìn)行改進(jìn)，總體網(wǎng)路模型基于生成對抗網(wǎng)絡(luò)，其中生成網(wǎng)絡(luò)總體結(jié)構(gòu)基于UNet網(wǎng)絡(luò)，對上采樣下采樣的次數(shù)作調(diào)整，根據(jù)數(shù)據(jù)集的特點(diǎn)，減少了網(wǎng)絡(luò)的下采樣次數(shù)，防止因?yàn)榫W(wǎng)絡(luò)的層數(shù)過多導(dǎo)致的特性信息的流失。特征提取模塊中加入密集網(wǎng)絡(luò)的特征提取模塊，在減少網(wǎng)絡(luò)參數(shù)的同時(shí)提升提取特征的能力。數(shù)據(jù)集使用了經(jīng)過光加密系統(tǒng)后的CGH（Computer Generated Holograms）計(jì)算生成全息圖作為生成的噪聲圖像，并使用本文提出深度學(xué)習(xí)方法對該測試集進(jìn)行恢復(fù)，對恢復(fù)的結(jié)果使用PSNR和SSIM指標(biāo)進(jìn)行評價(jià)，結(jié)果顯示本文提出算法的有效性能。綜上可知，本文算法所實(shí)現(xiàn)的模型能夠有效地對現(xiàn)有的受損圖像恢復(fù)并且恢復(fù)出高質(zhì)量的圖像，對圖像恢復(fù)領(lǐng)域有著較高的實(shí)用價(jià)值和意義。

關(guān)鍵詞：圖像恢復(fù);深度學(xué)習(xí);圖像去噪;計(jì)算生成全息圖;圖像光加密

中圖分類號：TP391? ? 文獻(xiàn)標(biāo)識碼： A

文章編號：1009-3044（2021）14-0164-02

在如今信息技術(shù)高度發(fā)展的時(shí)代，信息安全變得尤為重要，光加密作為一種可靠的圖像加密技術(shù)具有安全，高效等特點(diǎn)。在光加密系統(tǒng)中，隨機(jī)相位掩膜面積有限，為一截?cái)嗉兿辔荒０澹虼烁盗⑷~譜不可能是一純相位函數(shù)，故生成的圖像具有嚴(yán)重的圖像噪聲。直接對數(shù)據(jù)集使用光加密系統(tǒng)的噪聲圖像使用深度學(xué)習(xí)去噪需要大量的數(shù)據(jù)樣本，無法達(dá)到實(shí)際使用的要求。

計(jì)算全息技術(shù)是光學(xué)技術(shù)與計(jì)算機(jī)技術(shù)結(jié)合的產(chǎn)物，通過計(jì)算機(jī)對于三維虛擬物體的光波和參考光的干涉進(jìn)行模擬計(jì)算，通過波前調(diào)制設(shè)備加載干涉條紋重現(xiàn)三維虛擬物體。對數(shù)據(jù)集使用計(jì)算全息圖后在使用圖像加密系統(tǒng)對圖像進(jìn)行加密，計(jì)算全息圖生成的圖像特征類似，使用深度學(xué)習(xí)技術(shù)只需要學(xué)習(xí)相似的圖像特征，這就能克服需要大量的數(shù)據(jù)樣本來學(xué)習(xí)圖像權(quán)重恢復(fù)圖像的缺點(diǎn)，通過這種方法只需要少量的數(shù)據(jù)樣本就能對解密后的噪聲圖像進(jìn)行恢復(fù)。

基于傳統(tǒng)的圖像去噪算法對受損嚴(yán)重的圖像無法有效的去噪。現(xiàn)有的深度學(xué)習(xí)算法如DnCNN和一些去霧去雨的網(wǎng)絡(luò)針對的數(shù)據(jù)集噪聲簡單，而本文的噪聲干擾較為嚴(yán)重，需要對特征提取模塊和網(wǎng)絡(luò)的總體結(jié)構(gòu)重新設(shè)計(jì)來達(dá)到去除圖像噪聲的目的。

1 相關(guān)工作

本文數(shù)據(jù)集通過仿真實(shí)驗(yàn)生成數(shù)據(jù)集。在生成數(shù)據(jù)的過程中，預(yù)先使用數(shù)據(jù)集轉(zhuǎn)化為CGH圖，再將CGH圖像通過光加密系統(tǒng)加密解密，最后生成的解密圖像伴隨嚴(yán)重的噪聲干擾，通過深度學(xué)習(xí)技術(shù)對解密后的噪聲圖去噪，恢復(fù)出高質(zhì)量的無噪聲圖。

本文去噪技術(shù)的實(shí)現(xiàn)使用深度學(xué)習(xí)算法，其中網(wǎng)絡(luò)基于GAN[1]（Generative Adversarial Networks）生成對抗網(wǎng)絡(luò)對圖像進(jìn)行去噪，與傳統(tǒng)的深度學(xué)習(xí)模型不同的，生成對抗網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩個(gè)部分組合而成，生成網(wǎng)絡(luò)的參數(shù)更新根據(jù)判別網(wǎng)絡(luò)而來。判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)通過交替更新參數(shù)的方式訓(xùn)練，最后達(dá)到一個(gè)納什平衡，生成最優(yōu)的圖像。生成網(wǎng)絡(luò)擬合出接近于原圖像的數(shù)據(jù)分布，可以生成質(zhì)量較高的圖像，在本文中，通過對抗訓(xùn)練的方式去除圖像的噪聲，最后擬合出高質(zhì)量的無噪聲圖像。

生成網(wǎng)絡(luò)基于UNet[2]拓?fù)浣Y(jié)構(gòu)，通過控制UNet網(wǎng)絡(luò)的下采樣參數(shù)來調(diào)整網(wǎng)絡(luò)的最優(yōu)結(jié)果。為了增加網(wǎng)絡(luò)的性能，受到Dense Block[3]密集網(wǎng)絡(luò)模塊啟發(fā)，在網(wǎng)絡(luò)的特征提取模塊中加入了特征提取模塊提升網(wǎng)絡(luò)的性能。

根據(jù)EfficientNet[4]的啟發(fā)，影響網(wǎng)絡(luò)性能主要有三個(gè)指標(biāo)，即網(wǎng)絡(luò)的深度，網(wǎng)絡(luò)的寬度和分辨率直接影響著網(wǎng)絡(luò)的性能。網(wǎng)路的深度通過堆疊卷積層的數(shù)量實(shí)現(xiàn)，網(wǎng)絡(luò)的寬度通過對不同尺度下的特征圖提取特征實(shí)現(xiàn)，Inception V3中通過對輸入的特征圖使用不同尺度的卷積核提取了特征的方式來增強(qiáng)網(wǎng)絡(luò)的寬度。而網(wǎng)絡(luò)的分辨率可以通過選擇下采樣的方式來控制，例如通過采樣最大池化層和通過設(shè)置卷積核的步長來控制分辨率因素。基于該理論，本文通過深度參數(shù)來控制網(wǎng)絡(luò)的深度，使用卷積核的方式會造成圖像的失真問題，通過設(shè)置下采樣的方式為最大池化層提取最有表征能力的特征。

2 網(wǎng)絡(luò)模型搭建

針對本文中CGH噪聲圖像特點(diǎn)，如何提取出圖像中的有效特征信息是一個(gè)具有挑戰(zhàn)性的問題，本文中的特征提取模塊加入密集網(wǎng)絡(luò)模塊，每個(gè)密集網(wǎng)絡(luò)模塊使用由5個(gè)卷積層和歸一化層、激活函數(shù)層基本構(gòu)件Base Block組合而成。使用BN（Batch normalization）層[5]可以加快網(wǎng)絡(luò)的收斂速度，同時(shí)可以防止過擬合的過程，但是這也造成了網(wǎng)絡(luò)中的參數(shù)過多?；谙袼丶墑e的圖像恢復(fù)算法需要大量的網(wǎng)絡(luò)參數(shù)來提升網(wǎng)絡(luò)的性能，這樣造成的網(wǎng)絡(luò)的訓(xùn)練速度過慢，在模型中的加入1×1的卷積可以在不影響網(wǎng)絡(luò)性能的情況下減少網(wǎng)絡(luò)的參數(shù)，此外1×1的卷積可以對網(wǎng)絡(luò)的通道進(jìn)行非線性的融合，提升網(wǎng)絡(luò)的擬合能力。故每個(gè)Dense Block由2組Base Block和一個(gè)1×1的卷積組合而成。生成網(wǎng)絡(luò)的總體網(wǎng)絡(luò)結(jié)構(gòu)基于UNet，原始的UNet網(wǎng)絡(luò)對輸入的特征圖做4次的下采樣，其原理基于圖像金字塔理論，通過特征圖的變換提取不同尺度下特征圖的特征信息，提升網(wǎng)絡(luò)的魯棒性。

而針對不同的數(shù)據(jù)集的特點(diǎn)應(yīng)該控制下采樣的次數(shù)，在本文的數(shù)據(jù)集中，下采樣次數(shù)的增強(qiáng)會造成網(wǎng)絡(luò)中卷積層數(shù)的增加，這樣會導(dǎo)致特性信息的流失，同時(shí)，會造成網(wǎng)絡(luò)的參數(shù)過多。在實(shí)驗(yàn)的過程中發(fā)現(xiàn)了將下采樣次數(shù)控制在2次的情況下生成最優(yōu)的圖像質(zhì)量。

生成網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖1所示，將噪聲圖像輸入到生成網(wǎng)絡(luò)中，生成網(wǎng)絡(luò)經(jīng)過3個(gè)Dense Block提取特征，該過程中對特征圖做兩次的下采樣。相應(yīng)的將特征圖經(jīng)過兩次上采樣恢復(fù)出原圖像的尺度大小，在上采樣和下采樣的對應(yīng)維度特征圖下通過skip concat跳躍連接來共享特性圖的信息流，這樣保證特征信息能在網(wǎng)絡(luò)中有效地傳遞?；謴?fù)出高質(zhì)量的圖像。最后生成網(wǎng)絡(luò)輸出去噪后的干凈圖像。

3 實(shí)驗(yàn)過程與結(jié)果

3.1模型的訓(xùn)練過程

本文的網(wǎng)絡(luò)模型搭建基于tensorflow1.0框架，實(shí)驗(yàn)中使用Rtx 2080ti訓(xùn)練數(shù)據(jù)集，實(shí)驗(yàn)的數(shù)據(jù)使用26個(gè)英文字母，每種英文字母使用50張不同的圖像共1300張作為訓(xùn)練集，其中測試每種英文字母使用5種不同的圖像作為測試集。

在訓(xùn)練的過程中，控制初始學(xué)習(xí)率為0.001，在訓(xùn)練的過程中學(xué)習(xí)率指數(shù)衰減的方式自適應(yīng)的變換。在經(jīng)過50萬輪次的學(xué)習(xí)過后，損失函數(shù)下降趨于平穩(wěn)。此時(shí)訓(xùn)練結(jié)束。

訓(xùn)練的結(jié)果如圖2所示，從左往右開始，第一張為經(jīng)過光學(xué)加密系統(tǒng)的二值圖像，第二張為經(jīng)過本文對抗網(wǎng)絡(luò)訓(xùn)練后算法去噪后的圖像，第三張為原CGH圖。第四張為原始圖像，第五張為經(jīng)過去噪后重現(xiàn)的CGH圖像，第六張為原始CGH重現(xiàn)后的圖像。

3.2圖像評價(jià)指標(biāo)

本文算法使用了SSIM和PSNR作為實(shí)驗(yàn)的去噪后的參考指標(biāo)。結(jié)果使用BM3D傳統(tǒng)算法和本文算法進(jìn)行了對比，其數(shù)據(jù)指標(biāo)結(jié)果如表1所示。從指標(biāo)數(shù)據(jù)可以得知本文去噪算法的有效性。

4 結(jié)束語

本文主要提出了針對光學(xué)圖像加密和CGH圖像的嚴(yán)重噪聲干擾圖像的去噪方法。通過重新設(shè)計(jì)特征提取模塊和設(shè)計(jì)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)來提升網(wǎng)絡(luò)的性能。使用了基于密集網(wǎng)絡(luò)的模塊結(jié)構(gòu)來提取圖像中的有效特征信息。針對網(wǎng)絡(luò)訓(xùn)練過程中圖像的參數(shù)過多的問題，使用了1×1的卷積在不影響網(wǎng)絡(luò)性能的前提下來減少網(wǎng)絡(luò)的參數(shù)。通過仿真實(shí)驗(yàn)來生成深度學(xué)習(xí)的訓(xùn)練集和測試集，通過觀察去噪后的結(jié)果證明本文算法對于去除受到嚴(yán)重噪聲干擾的圖像的有效性。

參考文獻(xiàn)：

[1] Isola P，Zhu J Y，Zhou T H，et al.Image-to-image translation with conditional adversarial networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：5967-5976.

[2] Huang G，Liu Z，van der Maaten L，et al.Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2261-2269.

[3] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[4] Tan M X，le Q V.EfficientNet：rethinking model scaling for convolutional neural networks[EB/OL].2019

[5] S. Ioffe and C. Szegedy. Batch normalization： Accelerating deep network training by reducing internal covariate shift. In Proceedings of The 32nd International Conference on Machine Learning （ICML），2015：448-456.

【通聯(lián)編輯：梁書】