于海雯,易昕煒,徐少平,林珍玉

(南昌大學(xué) 信息工程學(xué)院,南昌 330031)

0 概述

近年來,受圖形處理單元硬件支持的深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network,DCNN)被證明具有強大的特征學(xué)習(xí)和非線性映射能力,將其應(yīng)用于圖像降噪領(lǐng)域后,在執(zhí)行效率和降噪效果2個關(guān)鍵評價指標上相對于傳統(tǒng)降噪算法具有明顯優(yōu)勢[1-3]。

目前,IRCNN(Image Restoration CNN)[4]、DnCNN(Denoising CNN)[5]、UDNet(Universal Denoising Network)[6]和FFDNet(Fast and Flexible Denoising Network)[7]等基于DCNN的主流降噪模型,克服了傳統(tǒng)降噪算法依賴人工提取圖像先驗知識的缺點,在改善降噪效果的同時大幅提高了算法的執(zhí)行效率。上述模型在本質(zhì)上都是基于數(shù)據(jù)驅(qū)動(data-driven)策略實現(xiàn)的,通過在大量數(shù)據(jù)集上進行訓(xùn)練,端到端學(xué)習(xí)噪聲圖像與無失真圖像或殘差圖像(噪聲圖像與無失真圖像之間的差圖)之間復(fù)雜的映射關(guān)系,從而實現(xiàn)噪聲圖像的高質(zhì)量復(fù)原。

以DnCNN降噪模型為例,該模型以噪聲圖像及其對應(yīng)的殘差圖像作為深度卷積神經(jīng)網(wǎng)絡(luò)的輸入-輸出訓(xùn)練對(Training Pairs,TP),通過訓(xùn)練實現(xiàn)一個降噪效果好且執(zhí)行效率高的高斯降噪模型。然而,受技術(shù)路線的內(nèi)在制約,基于DCNN網(wǎng)絡(luò)構(gòu)建的DnCNN等降噪模型的降噪性能在很大程度上依賴于訓(xùn)練圖像集,只有在待降噪圖像的噪聲水平值與訓(xùn)練降噪模型所用圖像集的噪聲水平值相一致或近似的條件下,才能獲得最佳的降噪效果。DnCNN模型需要針對給定噪聲圖像的噪聲水平值,調(diào)用專門針對這一噪聲水平值訓(xùn)練的降噪模型,才能獲得最佳的降噪效果,這意味著在噪聲水平值變化范圍內(nèi)需要訓(xùn)練多個降噪模型。為解決該問題,FFDNet降噪模型[7]調(diào)整了DnCNN網(wǎng)絡(luò)模型的輸入結(jié)構(gòu),除輸入噪聲圖像外,還增加了噪聲水平映射圖(Noise Level Map,NLM)作為輔助輸入通道。引入的NLM映射圖與噪聲圖像大小相同,但噪聲水平圖中各個點的亮度值為噪聲水平值。經(jīng)過訓(xùn)練后所獲得的FFDNet降噪模型中的網(wǎng)絡(luò)參數(shù)不再依賴圖像噪聲水平值,這意味著只需訓(xùn)練一個降噪模型就可處理任意噪聲圖像的降噪問題。此外,FFDNet降噪模型在網(wǎng)絡(luò)模型的輸入端和輸出端分別設(shè)置下采樣和上采樣模塊,這種結(jié)構(gòu)有助于提高模型的降噪效果和執(zhí)行效率。與DnCNN等深度降噪模型相比,FFDNet模型具有更好的降噪能力、更快的執(zhí)行速度以及更高的靈活性,但是發(fā)揮這些優(yōu)越性能的前提是FFDNet降噪模型需要以待降噪圖像噪聲水平值生成的NLM映射圖作為網(wǎng)絡(luò)模型的輸入數(shù)據(jù),模型性能取決于能否準確地對待降噪圖像中的噪聲水平值進行測定。

對給定噪聲圖像的噪聲水平值進行準確測定的方法稱為噪聲水平估計(Noise Level Estimation,NLE)算法[8-10]。對于NLE算法而言,估計準確性是衡量其性能的重要評價指標。為獲得較準確的估計結(jié)果,ZORAN等人[11]利用自然圖像經(jīng)DCT(Discrete Cosine Transform)變換后所得到的邊緣帶通系數(shù)的峰度(Kurtosis)統(tǒng)計值具有尺度不變的特性,通過構(gòu)建目標優(yōu)化函數(shù)并迭代搜索目標函數(shù)最優(yōu)值來估計噪聲圖像的噪聲水平值。ZORAN所提算法在中、低噪聲水平下具有較好的預(yù)測準確性,但是在高水平噪聲條件下預(yù)測性能下降。此外,該算法執(zhí)行時間較長,在目標尋優(yōu)過程中可能失敗。為此,DONG等人[12]綜合利用帶通域上Kurtosis值的分段平穩(wěn)性和正則性,將噪聲水平估計問題轉(zhuǎn)化為迭代優(yōu)化擬合Kurtosis模型的問題。DONG所提算法能夠準確地估計圖像噪聲水平值,但其執(zhí)行效率仍然較低。

GUPTA等人[13]利用DCT濾波響應(yīng)的局部對比度歸一化系數(shù)分布統(tǒng)計值的尺度不變性,實現(xiàn)了一種NLE算法,其具有較好的預(yù)測準確性,但計算復(fù)雜度較高。除了利用圖像變換后的統(tǒng)計規(guī)律構(gòu)建NLE算法之外,利用圖像中同質(zhì)圖塊的協(xié)方差矩陣對噪聲水平值進行估計也是一種常見的NLE方法。FANG等人[14]利用組合系數(shù)對協(xié)方差矩陣最小特征值和多個冗余維度的特征值進行線性組合,克服了采用最小特征值估計噪聲水平值時的不足,在各個噪聲水平下都具有較高的估計準確性和魯棒性,但是,其仍然需要采用迭代的方式來選擇同質(zhì)圖塊,執(zhí)行時間較長。綜上,現(xiàn)有的多數(shù)NLE算法為保證預(yù)測準確性而構(gòu)造復(fù)雜的推演過程,導(dǎo)致算法執(zhí)行效率普遍較低,而作為各種非盲降噪算法的前置模塊,NLE算法的執(zhí)行效率很重要,其效率較低將影響整個降噪過程的執(zhí)行效率。

為了使得FFDNet降噪模型在實際應(yīng)用中能獲得最佳的降噪效果并保持較高的執(zhí)行效率,在分析其網(wǎng)絡(luò)模型結(jié)構(gòu)的基礎(chǔ)上,本文建立一種由淺層卷積神經(jīng)網(wǎng)絡(luò)(Shallow Convolutional Neural Network,SCNN)和BP(Back-Propagation)神經(jīng)網(wǎng)絡(luò)2種串行網(wǎng)絡(luò)模塊構(gòu)成的NLE模型,并將其作為FFDNet降噪模型的前置模塊。采用與FFDNet模型相同的網(wǎng)絡(luò)架構(gòu),但以SCNN網(wǎng)絡(luò)方式構(gòu)建噪聲分離模型將噪聲信號從噪聲圖像中分離出來,得到粗略的噪聲映射圖(Noise Mapping,NM)。NM的標準差與真實噪聲水平值之間有一定偏差,但鑒于它們之間具有極高的相關(guān)性,本文利用預(yù)訓(xùn)練的BP神經(jīng)網(wǎng)絡(luò)修正模型,將初估值修正為最終的噪聲水平值,從而獲得一種準確而快速的NLE模型。將該NLE模型與FFDNet降噪模型相結(jié)合,使得FFDNet轉(zhuǎn)換為盲降噪模型BFFDNet。

1 FFDNet降噪模型

1.1 模型架構(gòu)

圖1 FFDNet降噪模型的網(wǎng)絡(luò)架構(gòu)

1.2 模型缺陷

FFDNet降噪模型使用NLM映射圖作為輔助信息,有助于提高模型的降噪性能,但仍然需要用戶準確地給定σ值的大小才能獲得最佳的降噪效果。當(dāng)設(shè)置的σ值與噪聲圖像中真實噪聲水平值不一致時,模型的降噪效果將下降。如圖2所示,對原始無失真的Lena圖像施加噪聲水平值σtrue=40的高斯噪聲,使用σtest=10,20,30,40,50,60,70不同的噪聲水平值作為FFDNet降噪模型的輸入?yún)?shù)分別對該噪聲圖像進行降噪。從圖2可以看出,當(dāng)設(shè)置的噪聲水平值σtest小于待降噪圖像的真實噪聲水平值σtrue時,復(fù)原圖像中仍然殘留了部分噪聲,如圖2(c)～圖2(e)所示,且模型的降噪效果隨σtest與σtrue之間差值的增大而降低;當(dāng)σtest大于σtrue時,復(fù)原圖像的邊緣區(qū)域過于平滑,紋理細節(jié)丟失,如圖2(g)～圖2(i)所示,且σtest與σtrue之間的差值越大,模型的邊緣保持能力越差;當(dāng)且僅當(dāng)σtest與σtrue相等時,模型能夠取得最佳的降噪效果,復(fù)原圖像的PSNR(Peak Signal to Noise Ratio)值為30.25 dB。因此,在實際應(yīng)用中,采用一個預(yù)測準確性好且執(zhí)行效率高的NLE算法作為FFDNet降噪模型的前置模塊,對于保障FFDNet模型的降噪效果十分重要。

圖2 不同σtest值情況下FFDNet模型的降噪效果對比

2 基于神經(jīng)網(wǎng)絡(luò)的兩階段NLE模型

2.1 問題分析

2.2 本文模型實現(xiàn)策略

圖3 本文NLE模型流程

2.3 噪聲水平值初估

圖4 使用不同網(wǎng)絡(luò)層數(shù)構(gòu)建的初步降噪網(wǎng)絡(luò)降噪效果對比

表1 單張圖像噪聲水平初步估計值與噪聲水平真值之間的相關(guān)性

表2 多張不同噪聲圖像噪聲水平初步估計值與噪聲水平真值之間的相關(guān)性Table 2 Correlation between the initial estimated noise level and the true noise level of multiple images with different noises

表3 50張BSD圖像上噪聲水平預(yù)測值與真值之間的均方根誤差Table 3 RMSE between predicted value and true value of noise level on 50 BSD images

綜上,對于一張待降噪圖像,本文所提的NLE模型對其噪聲水平值進行估計的整個執(zhí)行過程,只需依靠2個事先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型而沒有繁瑣的迭代過程,執(zhí)行效率高,這使得其作為FFDNet的前置模型具有一定優(yōu)勢。

2.6 優(yōu)勢分析

與其他NLE算法相比,本文所提NLE模型優(yōu)點如下:

1)采用預(yù)訓(xùn)練的SCNN網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)粗、精相結(jié)合,兩階段串行運行即可實現(xiàn)準確的噪聲水平值估計,沒有過多迭代求解過程,具有較高的執(zhí)行效率。

2)在模型訓(xùn)練完成后,僅需利用訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重值就可直接將待降噪圖像映射為殘差映射圖,易于使用。

3 實驗結(jié)果與分析

3.1 測試環(huán)境

為了評估本文所提NLE模型的性能,將其與文獻[11]算法、文獻[19]算法、文獻[9]算法、文獻[20]算法、文獻[13]算法和文獻[14]算法共6種代表性NLE算法,在預(yù)測準確性、實際應(yīng)用效果和執(zhí)行效率3個方面進行比較。測試圖像集合是由BSD數(shù)據(jù)庫[17]中的50張圖像(不同于NLE模型訓(xùn)練時所使用的圖像)構(gòu)成的紋理圖像集,其中,10張具有代表性的圖像如圖6所示,紋理圖像集中的圖像內(nèi)容具有更為復(fù)雜的細節(jié)特征,適用于測試算法的魯棒性。所有實驗均在統(tǒng)一的環(huán)境下完成,硬件平臺為CPU Intel?CoreTMi7-6700 @ 3.40 GHz RAM 16 GB,軟件環(huán)境為Windows 10.0操作系統(tǒng),編程環(huán)境為Matlab R2017b。

圖6 BSD數(shù)據(jù)庫中的10張代表性圖像

3.2 預(yù)測準確性

對BSD數(shù)據(jù)庫中50張圖像分別施加噪聲水平值為5、15、25、35、45、55、65和75的高斯噪聲,然后利用各種對比算法對每張噪聲圖像的噪聲水平值進行估計,計算每個噪聲級別下各個算法所獲得的噪聲水平估計值與真實值之間的均方根誤差,結(jié)果如表4所示。從表4可以看出,本文NLE模型在所有噪聲水平下的均方根誤差均值最小,且在各個噪聲條件下獲得的均方根誤差值相差不大,說明其預(yù)測準確性更為穩(wěn)定,且在處理復(fù)雜圖像內(nèi)容時具有較高的魯棒性。

表4 50張BSD圖像上各算法噪聲水平預(yù)測值與真值之間的均方根誤差Table 4 RMSE between predicted value and true value of noise level of each algorithm on 50 BSD images

3.3 實際應(yīng)用效果

為了驗證本文所提NLE模型的實際應(yīng)用效果,將其與FFDNet降噪模型相結(jié)合,構(gòu)建BFFDNet模型,使用噪聲水平預(yù)測值完成盲降噪任務(wù),并與使用真實噪聲水平值的FFDNet降噪模型在常用圖像集和紋理圖像集2個測試圖像集合上進行對比實驗。對2個測試圖像集的圖像依次施加噪聲水平值為10、20、30、40、50和60的高斯噪聲,計算2個模型在每個噪聲比例下復(fù)原所有圖像獲得的PSNR均值,結(jié)果如表5、表6所示。從表5、表6可以看出,BFFDNet降噪模型的降噪效果總體上與FFDNet降噪模型相差不大,σtrue=10時差距較大,但在視覺上效果差別較小,當(dāng)σtrue≥20時兩者幾乎沒有區(qū)別,從而有效地驗證了本文NLE模型的預(yù)測準確性,其估計值可以達到與真實噪聲水平值相近的效果。

表5 FFDNet與BFFDNet降噪模型在常用圖像集上的PSNR均值比較Table 5 Comparison of PSNR mean values of FFDNet and BFFDNet denoising model on common image sets dB

表6 FFDNet與BFFDNet降噪模型在紋理圖像集上的PSNR均值比較Table 6 Comparison of PSNR mean values of FFDNet and BFFDNet denoising model on texture image sets dB

3.4 執(zhí)行效率

NLE算法作為多種非盲降噪算法的前置預(yù)處理模塊,其執(zhí)行效率關(guān)系到圖像降噪算法的整體性能。為了更全面地評估本文所提NLE模型的執(zhí)行效率,對大小為512像素×512像素的Lena圖像施加噪聲水平值為30的高斯噪聲,計算各個對比算法估計該圖像噪聲水平值時的執(zhí)行時間,結(jié)果如表7所示。從表7可以看出,在所有對比NLE算法中,本文NLE模型具有最少的執(zhí)行時間,其在預(yù)測準確性和執(zhí)行效率2個方面的綜合性能最佳,且本文所構(gòu)建的BFFDNet模型在單張Lena圖像上的總執(zhí)行時間為3.2 s,其中,噪聲水平估計模塊的執(zhí)行時間為0.01 s,幾乎可以忽略不計,表明FFDNet降噪模型與所提NLE模塊相結(jié)合后只需花費很少的時間代價便可實現(xiàn)盲降噪,且能獲得較好的降噪效果,具有很強的實用性。

表7 噪聲水平值估計的執(zhí)行時間比較Table 7 Comparison of execution time of noise level estimation ms

4 結(jié)束語

引入NLM映射圖后的FFDNet僅需訓(xùn)練一個降噪模型即可對具有任意噪聲水平值的噪聲圖像進行降噪,但是其在實際應(yīng)用中,必須通過準確的噪聲水平估計值構(gòu)建NLM映射圖后才能獲得最佳降噪效果。為此,本文建立一種基于神經(jīng)網(wǎng)絡(luò)的兩階段NLE模型,并將其作為FFDNet降噪模型的前置模塊,從而構(gòu)建BFFDNet盲降噪模型。實驗結(jié)果表明,該NLE模型具有較高的預(yù)測準確性和執(zhí)行效率,BFFDNet盲降噪模型的降噪效果與原FFDNet降噪模型的最佳降噪效果相近,驗證了所提NLE模型的有效性。本文NLE模型除了可以與FFDNet降噪模型相結(jié)合外,也可與多數(shù)非盲降噪算法兼容使用。下一步考慮將所提噪聲水平估計模型中的淺層降噪網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)集成為一個網(wǎng)絡(luò),進一步提高模型在訓(xùn)練和應(yīng)用時的便捷性。