沈煒恒，王露薇，朱永貴

(中國傳媒大學(xué) 數(shù)據(jù)科學(xué)與智能媒體學(xué)院，北京 100024)

隨著社會的發(fā)展，數(shù)字圖像在生活中被越來越多的人使用。去除噪聲是圖像處理任務(wù)中必不可少的環(huán)節(jié)[1]。目前圖像去噪的方法大致可以分為兩類：模型法(model based methods)和判別學(xué)習(xí)法(discriminative learning based methods)。模型法主要有三維塊匹配(block matching 3D，BM3D)[2]和加權(quán)核范數(shù)最小化(weighted nuclear norm minimization，WNNM)[3]，它們可以達(dá)到靈活去噪的效果，不需要提前進(jìn)行訓(xùn)練，對計算機(jī)計算能力的要求也較低，但是面臨著處理時間長和不能直接去除空間變異噪聲等問題。多層感知器(multi layer perceptron，MLP)[4]和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)[5-6]方法屬于判別學(xué)習(xí)法，通過對原始真實圖像和加噪降質(zhì)圖像學(xué)習(xí)，達(dá)到圖像去噪目的?；贑NN 的DnCNN[7]和TNRD[8]方法具有較好的去噪效果，歸功于網(wǎng)絡(luò)的優(yōu)化設(shè)計和深度學(xué)習(xí)訓(xùn)練。然而這類方法的去噪靈活性有限，需要將模型調(diào)整到特定的噪聲水平進(jìn)行訓(xùn)練才能達(dá)到較好的去噪效果。為了解決這一問題，Zhang 等[9]在DnCNN 的基礎(chǔ)上于2018 年提出了快速靈活的去噪網(wǎng)絡(luò)(fast and flexible denoising net，F(xiàn)FDNet)方法來解決圖像去噪不靈活的問題，其在DnCNN 的基礎(chǔ)上引入了噪聲水平圖技術(shù)。從回歸的角度看，網(wǎng)絡(luò)學(xué)習(xí)就是得到學(xué)習(xí)函數(shù)x=F(y；θ)，其中x 代表清晰圖像，y 代表加噪圖像，θ 代表模型參數(shù)。FFDNet 通過引入噪聲水平圖使網(wǎng)絡(luò)訓(xùn)練得到學(xué)習(xí)函數(shù)x=F(y；M；θ)，從而實現(xiàn)去噪的目的。近幾年越來越多的卷積神經(jīng)網(wǎng)絡(luò)被應(yīng)用到圖像去噪領(lǐng)域，例如Jia 等[10]提出的FocNet 在去除噪聲的同時具有相關(guān)記憶性；Tai 等[11]提出的MemNet 能保留圖像重要細(xì)節(jié)，除此之外圖像盲去噪也逐漸成為圖像去噪的熱點。

本文將噪聲水平圖像作為網(wǎng)絡(luò)輸入，對圖像進(jìn)行下采樣，通過擴(kuò)張卷積增加感受野，利用批處理和帶泄露修正線性單元函數(shù)來優(yōu)化網(wǎng)絡(luò)。采用雙層網(wǎng)絡(luò)的結(jié)構(gòu)，以便提高網(wǎng)絡(luò)的感受野，進(jìn)而提高細(xì)節(jié)信息較多的圖像去噪性能。本文設(shè)計的網(wǎng)絡(luò)與其他圖像去噪網(wǎng)絡(luò)相比具有更強(qiáng)的處理能力和較好的去噪效果。

1 卷積神經(jīng)網(wǎng)絡(luò)知識的準(zhǔn)備

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包括輸入層、卷積層、池化層、連接層和輸出層。每一層對應(yīng)不同的設(shè)置，例如卷積層需要設(shè)置卷積核、激活函數(shù)等，輸入輸出層需要設(shè)置輸入輸出格式。下文具體介紹網(wǎng)絡(luò)對應(yīng)的相關(guān)設(shè)置。

1.1 批再歸一化

CNN 通常由激活函數(shù)[12]、池化操作[13]和卷積操作組成。與傳統(tǒng)的MLP 方法相比，這些操作可以提高網(wǎng)絡(luò)圖像去噪性能，但是仍然出現(xiàn)訓(xùn)練數(shù)據(jù)大，預(yù)測結(jié)果不準(zhǔn)確的問題。為了解決這些問題需要引入批歸一化(batch normalization，BN)，不僅可以防止梯度消失和爆炸，而且還可以通過加速網(wǎng)絡(luò)的訓(xùn)練提高去噪性能。但是BN 對于小批次是無效的，這限制了其應(yīng)用，批再歸一化(batch renormalization，BRN)[14]可以彌補(bǔ)BN 的缺點，因此帶有BRN 的CNN更適合圖像去噪。

1.2 帶泄露修正線性單元函數(shù)

修正線性單元(rectified linear unit，ReLu)[15]作為常見的激活函數(shù)，其表達(dá)式為f(x)=max(0，x)，但是，在實際使用過程中，當(dāng)ReLu 輸入值接近零或負(fù)值時，梯度會變?yōu)榱銖亩鴮?dǎo)致網(wǎng)絡(luò)無法進(jìn)行有效的訓(xùn)練。Leaky ReLu 在原有ReLu 的基礎(chǔ)上將激活函數(shù)改為

本文網(wǎng)絡(luò)的激活函數(shù)選擇Leaky ReLu，能有效避免梯度消失的情況。

1.3 擴(kuò)張卷積

一般卷積層有相對有限的感受野，不利于獲得更豐富的特征。擴(kuò)張卷積能在不增加參數(shù)數(shù)量的同時擴(kuò)展感受野，并且可以改善去噪性能[16]。在大多數(shù)計算機(jī)視覺任務(wù)如面部表情識別[17]和人體姿勢估計[18]中，多路網(wǎng)絡(luò)能比單向網(wǎng)絡(luò)具有更好的性能，原因在于多路網(wǎng)絡(luò)能進(jìn)一步擴(kuò)大網(wǎng)絡(luò)的感受野，從而能更好地捕獲圖像特征。

2 網(wǎng)絡(luò)結(jié)構(gòu)

在FFDNet 單層網(wǎng)絡(luò)基礎(chǔ)上，我們并行增加了一層網(wǎng)絡(luò)流。新增加的網(wǎng)絡(luò)層可以使用GPU 并行加速技術(shù)獲取更多的圖像特征。FFDNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，網(wǎng)絡(luò)輸入為的4 個子采樣圖像和純噪聲圖像，其中W、H 和C 分別為圖像寬度、高度和通道數(shù)。噪聲水平可在0～75 之間隨機(jī)選擇。網(wǎng)絡(luò)學(xué)習(xí)包含17 層：

*第1 層=Conv+Leaky ReLu；

*中間層=Conv+BRN+Leaky ReLu；

*最后一層=Conv。

本文構(gòu)造的網(wǎng)絡(luò)如圖2 所示，將FFDNet 作為頂部網(wǎng)絡(luò)，底部網(wǎng)絡(luò)學(xué)習(xí)仍為17 層：

圖1 FFDNet 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Schematic of FFDNet network structure

圖2 本文網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Schematic of network structure

*第1，9，16 層=Conv+BRN+Leaky ReLu；

* 第2～8 和10～15 層=Dilated Conv+Leaky ReLu；

*最后一層=Conv。

其中卷積核大小都是3 × 3，膨脹率為2。由于擴(kuò)展卷積的卷積核是連續(xù)的，并非所有信息都在計算中使用，因此導(dǎo)致信息的損失。如果將普通卷積和擴(kuò)張卷積結(jié)合起來可以很好地解決這個問題。頂層網(wǎng)絡(luò)和底層網(wǎng)絡(luò)都是4 個輸出通道，級聯(lián)后形成8 個輸出通道，將這些輸出通過卷積操作形成4 個去噪預(yù)測圖像，然后對其進(jìn)行上采樣最終生成去噪圖像。

2.1 訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)

網(wǎng)絡(luò)訓(xùn)練圖像數(shù)據(jù)集為來自ImageNet 數(shù)據(jù)集中的400 張BSD 圖像，而網(wǎng)絡(luò)測試圖像數(shù)據(jù)集采用圖像處理數(shù)據(jù)集Set12[19]的12 張灰度圖像和數(shù)據(jù)集Set5 中的5 張彩色圖像。所有的訓(xùn)練數(shù)據(jù)集都在原有數(shù)據(jù)[20]的基礎(chǔ)上運(yùn)用了數(shù)據(jù)增強(qiáng)技術(shù)，包括在訓(xùn)練前進(jìn)行垂直和水平翻轉(zhuǎn)以擴(kuò)大數(shù)據(jù)集。

2.2 其他設(shè)置

實驗測試層數(shù)為17，學(xué)習(xí)率隨時間變化從1 ×10-4下降到1 × 10-6。網(wǎng)絡(luò)基于Python 3.7 使用Pytorch 框架對數(shù)據(jù)進(jìn)行訓(xùn)練和測試，其中CPU 型號為Intel(R)Xeon(R)Silver 4114，GPU 型號為NVIDIA TESLA V100。

3 實驗結(jié)果

通過數(shù)值實驗，我們給出本文的方法和其他方法在Set12 數(shù)據(jù)集上的去噪結(jié)果。表1 為BM3D、FFDNet 和本文的方法在噪聲水平σ 分別為15、25、35、50 和75 時的平均峰值信噪比(peak signal to noise ratio，PSNR)數(shù)據(jù)，其中最佳性能以加粗?jǐn)?shù)據(jù)顯示。

表1 PSNR 效果對比圖Tab.1 Schematic diagram of network structure comparison

由表1 可以看出本文方法在處理圖像去噪時都優(yōu)于其他方法，對于“Barbara”這類細(xì)節(jié)紋理較多的圖像，本文方法設(shè)計的網(wǎng)絡(luò)也具有很好的效果。圖3顯示的是在不同噪聲水平下對Barbara 灰度圖像去噪的結(jié)果。圖4 顯示的是采用不同方法在噪聲水平為25 的條件下對Barbara 灰度圖像進(jìn)行去噪的結(jié)果。由去噪圖像可以看出本文方法在去噪的同時也保留了邊緣細(xì)節(jié)。這說明本文設(shè)計的網(wǎng)絡(luò)與其他網(wǎng)絡(luò)方法相比具有比較好的去噪效果。本文網(wǎng)絡(luò)分別使用CBSD68[21]和Set5 作為彩色圖像去噪的訓(xùn)練和測試數(shù)據(jù)集。在σ=25 時，對Set5數(shù)據(jù)集的處理結(jié)果如圖5 所示。由此可見，本文設(shè)計的網(wǎng)絡(luò)對于彩色圖像的去噪效果較為明顯，對彩色圖像Butterfly 的處理效果如圖6 所示。σ=15、25、50、75 時，在去除圖像噪聲的同時也保留了圖像紋理細(xì)節(jié)，特別對于明暗交錯的翅膀紋理有較好的處理效果。本文設(shè)計的網(wǎng)絡(luò)在去除圖像噪聲的同時能保持很好的邊緣輪廓信息。

圖3 不同噪聲水平下Barbara 圖去噪結(jié)果Fig.3 Comparison for denoised Barbara results under different noise levels

圖4 在噪聲水平25 條件下的去噪結(jié)果Fig.4 Denoise results for the noise level 25

圖5 Set5 測試集的去噪結(jié)果Fig.5 Denoised results for Set5 images

圖6 本文設(shè)計的網(wǎng)絡(luò)對彩色圖像去噪效果細(xì)節(jié)圖Fig.6 Details of color image denoising effects for ours

表2 給出了BM3D、FFDNet 和本文設(shè)計的圖像去噪網(wǎng)絡(luò)在處理256 × 256、512 × 512 和1 024 ×1 024 的圖像的運(yùn)行時間比較結(jié)果，可以看出本文提出的方法具有較快的去噪速度。

表2 去噪方法運(yùn)行時間比較Tab.2 Running time comparison for denoising methods s

表3 給出采用不同方法對Set12 去噪后的平均結(jié)構(gòu)相似性圖像度量(structural similarity image measurement，SSIM)結(jié)果，加粗標(biāo)注為數(shù)值最高。與BM3D、DnCNN 和FFDNet 圖像去噪方法相比，當(dāng)σ 分別為15、25、50 時，本文提出的去噪方法的SSIM 值最高。因此本文設(shè)計的圖像去噪網(wǎng)絡(luò)方法是一種快速有效的去噪方法。

表3 采用不同方法對Set12 去噪后的平均SSIMTab.3 Average SSIM for Set12 Via Different Denoising Methods

4 結(jié)論

本文提出的圖像去噪算法是一種快速、有效和靈活的方法。采用BRN、Leaky ReLu、Dilated Conv等技術(shù)提高去噪性能。通過對不同圖像的測試，驗證了本文方法的有效性。今后，研究工作將繼續(xù)改善網(wǎng)絡(luò)性能，以處理更多問題復(fù)雜的視覺任務(wù)并將其應(yīng)用于特定場景例如醫(yī)學(xué)圖像去噪領(lǐng)域等。