劉 迪，賈金露，趙玉卿，錢(qián)育蓉，3

1.新疆大學(xué) 軟件學(xué)院，烏魯木齊 830046

2.新疆維吾爾自治區(qū)信號(hào)檢測(cè)與處理重點(diǎn)實(shí)驗(yàn)室，烏魯木齊 830046

3.新疆大學(xué) 軟件工程重點(diǎn)實(shí)驗(yàn)室，烏魯木齊 830046

圖像的去噪研究是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要組成部分。近年來(lái)，基于深度學(xué)習(xí)（Deep Learning）的去噪方法被成功應(yīng)用于合成噪聲，但對(duì)真實(shí)噪聲的泛化性能較差[1-4]。

真實(shí)噪聲是指由拍照設(shè)備在照明條件差、相機(jī)抖動(dòng)、物體運(yùn)動(dòng)、空間像素不對(duì)準(zhǔn)、顏色亮度不匹配等情況下獲取的圖像中存在的噪聲，具有噪聲水平未知、噪聲類型多樣、噪聲分布復(fù)雜且難以參數(shù)化等特點(diǎn)。而合成噪聲是指噪聲類型符合某種概率分布，且噪聲水平可自主設(shè)定，如高斯噪聲、椒鹽噪聲、斑點(diǎn)噪聲等[5]。目前，圖像去噪方法已廣泛應(yīng)用于遙感圖像處理、醫(yī)學(xué)影像分析、人臉和指紋識(shí)別等諸多領(lǐng)域[6]。

圖像去噪方法主要分為：基于人工特征的傳統(tǒng)去噪方法和基于深度學(xué)習(xí)的去噪方法[7-8]?；谌斯ぬ卣鞯膫鹘y(tǒng)圖像去噪方法使用離散余弦變換[9]、小波變換[10]等修改變換系數(shù)，用平均鄰域值[11]計(jì)算局部相似性。NLM[12]方法和BM3D[13]方法利用自相似補(bǔ)丁在圖像保真度和視覺(jué)質(zhì)量上取得突出效果?；谶@兩種方法，許多變體方法如SADCT[14]、SAPCA[15]、NLB[16]等方法被提出，這些方法在不同的變換域中尋找自相似補(bǔ)片來(lái)補(bǔ)全更多的邊緣信息。由于傳統(tǒng)去噪方法對(duì)圖像特征的編碼依賴于原始圖像的假設(shè)，編碼特征在真實(shí)圖像中匹配度較低，降低了方法在實(shí)際應(yīng)用中的性能和靈活性，且方法的特征提取過(guò)程繁瑣、費(fèi)時(shí)、計(jì)算量大，不適用于處理具有復(fù)雜分布的真實(shí)噪聲。

相對(duì)于傳統(tǒng)圖像去噪方法，基于深度學(xué)習(xí)的圖像去噪方法具有強(qiáng)大的學(xué)習(xí)能力，不僅可以擬合復(fù)雜噪聲分布，還節(jié)省了計(jì)算時(shí)間。早期深度學(xué)習(xí)圖像去噪方法使用強(qiáng)化學(xué)習(xí)技術(shù)，如政策梯度（Policy Gradients）[17]和Q-學(xué)習(xí)（Q-learning）[18]訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)。但基于強(qiáng)化學(xué)習(xí)的方法計(jì)算量大，搜索效率低。深度學(xué)習(xí)去噪方法結(jié)合跳躍連接（Skip-connect）、注意力機(jī)制（Attention）、多尺度（Multi-scale）特征融合等方式提高網(wǎng)絡(luò)特征表達(dá)能力。但這些方法的網(wǎng)絡(luò)結(jié)構(gòu)較深，容易在訓(xùn)練過(guò)程中出現(xiàn)梯度爆炸或彌散問(wèn)題。近年來(lái)，一些采用遷移學(xué)習(xí)（Transfer Learning）[19]和模型壓縮思想的去噪方法，如AINDNet[20]和MPI_DA_CNN[21]把已經(jīng)訓(xùn)練好的參數(shù)轉(zhuǎn)移到新的輕量模型上，從而加快并優(yōu)化學(xué)習(xí)效率，有效避免梯度問(wèn)題的出現(xiàn)。此外，基于圖神經(jīng)網(wǎng)絡(luò)（GNN）的去噪方法，如GCDN[22]和GRDN[23]等，依據(jù)圖網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)在處理非結(jié)構(gòu)化數(shù)據(jù)方面，展現(xiàn)出很好的優(yōu)勢(shì)。

本文針對(duì)目前基于深度學(xué)習(xí)的圖像去噪方法進(jìn)行總結(jié)和歸納。對(duì)圖像的去噪流程進(jìn)行概述；以深度學(xué)習(xí)基礎(chǔ)網(wǎng)絡(luò)為分類標(biāo)準(zhǔn)，對(duì)近年來(lái)圖像去噪方法進(jìn)行較為系統(tǒng)、全面的研究和介紹，并對(duì)不同方法的優(yōu)點(diǎn)、局限性及適用場(chǎng)景等進(jìn)行對(duì)比和總結(jié)；對(duì)圖像去噪方法常用的數(shù)據(jù)集、方法性能評(píng)價(jià)指標(biāo)進(jìn)行介紹；對(duì)同一數(shù)據(jù)集上不同方法的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析；最后對(duì)圖像去噪方法目前存在的主要問(wèn)題及未來(lái)研究的方向進(jìn)行討論。

1 圖像去噪概述

由于受到電子設(shè)備自身的限制和外界環(huán)境的影響，圖像中常存在多種不同類型的噪聲，如高斯噪聲、泊松噪聲、椒鹽噪聲和斑點(diǎn)噪聲等[24]，且不同類型噪聲的頻率和空間特性存在差異性。高效的提取和精準(zhǔn)的噪聲水平估計(jì)是設(shè)計(jì)合理去噪網(wǎng)絡(luò)結(jié)構(gòu)的前提。圖像去噪的研究?jī)?nèi)容包括數(shù)據(jù)預(yù)處理、特征提取和去噪三部分，如圖1所示。

圖1 圖像去噪流程圖

（1）數(shù)據(jù)預(yù)處理。在去噪實(shí)驗(yàn)之前，獲取的數(shù)據(jù)集中常包含一些不可用數(shù)據(jù)，如圖像格式不符，像素過(guò)高、亮度過(guò)低以及一些重復(fù)數(shù)據(jù)等。因此，需要采用圖像格式轉(zhuǎn)換、幾何校正、主成分分析等預(yù)處理操作為后續(xù)的去噪模型提供更多可用數(shù)據(jù)。

（2）特征提取。通過(guò)卷積池化等方式提取圖像紋理細(xì)節(jié)特征，并將噪聲與背景信息分離。常用特征提取方法有尺度不變特征變換（SIFT）[25]、方向梯度直方圖（HOG）[26]和FAST 角點(diǎn)檢測(cè)[27]等。通過(guò)提取到的噪聲塊兒，可以對(duì)噪聲水平的高低做出初步估計(jì)，精準(zhǔn)的噪聲水平估計(jì)是設(shè)計(jì)合理去噪網(wǎng)絡(luò)結(jié)構(gòu)的前提。常用方法有遞歸平均[28]、最小值跟蹤[29]和直方圖噪聲估計(jì)[30]等。

（3）去噪模型。圖像去噪方法主要聚焦于去噪模型的設(shè)計(jì)和選擇。相對(duì)于傳統(tǒng)方法，基于深度學(xué)習(xí)的圖像去噪方法可以自主快速地提取淺層像素級(jí)特征和深層語(yǔ)義級(jí)特征，具有強(qiáng)大的表示學(xué)習(xí)能力和良好的去噪效果。而傳統(tǒng)基于模型的去噪方法提取的信息量較少，無(wú)法準(zhǔn)確擬合噪聲分布，去噪效果不甚理想。

2 基于深度學(xué)習(xí)的圖像去噪方法

2.1 基于卷積神經(jīng)網(wǎng)絡(luò)的去噪方法

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是深度學(xué)習(xí)的基礎(chǔ)網(wǎng)絡(luò)，通過(guò)不斷優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)提升特征表達(dá)能力。如VGGNet[31]采用多個(gè)3×3卷積核堆疊的方式擴(kuò)大感受野，加快訓(xùn)練收斂速度；GoogLeNet[32]構(gòu)建基于Inception的模塊化網(wǎng)絡(luò)，方便添加和修改網(wǎng)絡(luò)結(jié)構(gòu)，并使用平均池化代替全連接，在訓(xùn)練速度和網(wǎng)絡(luò)性能上有很大提升。

2.1.1 自監(jiān)督學(xué)習(xí)去噪

目前，基于CNN的圖像去噪方法主要包括自監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)。如N2N[33]、N2V[34]、N2S[35]、S2S[36]以及VDN[37]等去噪方法利用像素之間的獨(dú)立性，以自監(jiān)督訓(xùn)練方式尋找目標(biāo)像素與輸入像素之間的映射關(guān)系，從而實(shí)現(xiàn)去噪任務(wù)。圖2表示的是N2V方法與傳統(tǒng)自監(jiān)督訓(xùn)練模型的網(wǎng)絡(luò)對(duì)比圖，其去噪過(guò)程可以用公式（1）和（2）來(lái)描述。

圖2 自監(jiān)督網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比圖

其中，公式（1）表示的是將CNN看作一個(gè)函數(shù)，以像素i的感受野RF(i)作為輸入，并輸出目標(biāo)中心域的預(yù)測(cè)值；θ 表示CNN 的訓(xùn)練參數(shù)。公式（2）表示的是通過(guò)訓(xùn)練調(diào)整參數(shù)θ，以最小化成對(duì)訓(xùn)練數(shù)據(jù)(?,sij)之間的損失，L 代表?yè)p失函數(shù)，表示的是對(duì)應(yīng)目標(biāo)像素的值。

自監(jiān)督方式忽視了空間信息之間的依賴關(guān)系，提取的特征對(duì)噪聲的表達(dá)能力不足，且網(wǎng)絡(luò)訓(xùn)練參數(shù)的調(diào)整方式缺乏靈活性，不能很好地表示含噪圖像到清晰圖像之間的復(fù)雜映射關(guān)系。

2.1.2 監(jiān)督學(xué)習(xí)去噪

基于監(jiān)督學(xué)習(xí)的圖像去噪方法，如DnCNN-B[38]、FFDNet[39]和CBDNet[40]利用高斯混合模型對(duì)多種不同噪聲水平的樣本圖像進(jìn)行訓(xùn)練，并在真實(shí)噪聲圖像上驗(yàn)證以上方法的去噪效果。通常，用x=y ?R(y)表示恢復(fù)出的清晰圖，y 為輸入的噪聲圖，R(y)表示預(yù)測(cè)的噪聲，其去噪方法使用的損失函數(shù)如公式（3）所示：

其中，Θ 表示的是網(wǎng)絡(luò)訓(xùn)練的參數(shù)，{(yi,xi)}Ni=1 表示的是N 個(gè)成對(duì)訓(xùn)練樣本。通過(guò)網(wǎng)絡(luò)的訓(xùn)練，提取噪聲分布R(y)，并與原始輸入的噪聲圖像做差值運(yùn)算，實(shí)現(xiàn)去噪任務(wù)。

上述方法存在一個(gè)共同的問(wèn)題，即對(duì)訓(xùn)練域外的噪聲圖像適應(yīng)性差。專家混合法（MoE）[41]對(duì)這一問(wèn)題提供了很好的解決思路，給數(shù)據(jù)集中的每個(gè)代表性領(lǐng)域培訓(xùn)一名專家，對(duì)數(shù)據(jù)的可用性進(jìn)行評(píng)估和分類，并通過(guò)無(wú)監(jiān)督的聚類方法最小化MoE 損失，有效解決去噪方法對(duì)訓(xùn)練域外的數(shù)據(jù)適應(yīng)性差的難題，大大提高網(wǎng)絡(luò)的魯棒性和泛化能力。

基于CNN的圖像去噪方法主要集中于卷積層對(duì)特征信息的提取和對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，但同時(shí)也存在一定的局限性，主要體現(xiàn)在以下兩方面：一方面，單一的卷積神經(jīng)網(wǎng)絡(luò)沒(méi)有記憶功能，淺層像素級(jí)信息在池化過(guò)程中會(huì)大量丟失，導(dǎo)致去噪后的圖像仍帶有殘留噪聲；另一方面，增加卷積層數(shù)量來(lái)提升特征表達(dá)能力的同時(shí)也帶來(lái)了參數(shù)量增加、計(jì)算量加大和時(shí)間消耗多等問(wèn)題，且網(wǎng)絡(luò)更加復(fù)雜，訓(xùn)練難度增加。

2.2 基于殘差網(wǎng)絡(luò)的去噪方法

CNN中淺層網(wǎng)絡(luò)可以獲取像素級(jí)特征，深層網(wǎng)絡(luò)獲取的更多是語(yǔ)義特征。語(yǔ)義信息在識(shí)別、分類等任務(wù)中非常重要，但對(duì)去噪、超分辨率等任務(wù)來(lái)說(shuō)，淺層的像素級(jí)特征更為關(guān)鍵。因此，為充分利用淺層特征信息，許多基于殘差網(wǎng)絡(luò)（ResNet）的去噪方法被設(shè)計(jì)出來(lái)[42-43]。

其去噪思想可以用以下公式描述：如公式（4），f0表示的是卷積層對(duì)輸入噪聲圖像提取的初始特征，Me(·)表示的是卷積層的特征提取操作，并進(jìn)一步對(duì)殘差分量上的特征進(jìn)行學(xué)習(xí)；如公式（5），fr是學(xué)習(xí)的特征，Mfl(·)表示殘差學(xué)習(xí)；公式（6）的Mr(·)表示對(duì)學(xué)習(xí)到的殘差信息進(jìn)行重構(gòu)操作，并輸出去噪后的圖像?。

Mei等人[44]通過(guò)分層提取方式充分利用淺層像素級(jí)特征，同時(shí)利用自相似性在像素特征和語(yǔ)義特征之間取得平衡，以保留更多圖像細(xì)節(jié)。Kim等人[23]為了增強(qiáng)深層網(wǎng)絡(luò)的訓(xùn)練效果，使用卷積注意力模塊（CBAM）[45]專注于學(xué)習(xí)噪聲圖像和清晰圖像之間的差異性，CBAM既考慮不同通道像素的重要性，又考慮了同一通道不同位置像素的重要性，相比于SENet只關(guān)注通道的注意力機(jī)制可以取得更好的效果?；跉埐罹W(wǎng)絡(luò)思想設(shè)計(jì)的去噪方法性能較好，但頻繁使用淺層信息也會(huì)使網(wǎng)絡(luò)容易出現(xiàn)過(guò)擬合現(xiàn)象。Cha等人[46]針對(duì)該問(wèn)題利用數(shù)據(jù)增強(qiáng)和L2-SP（起點(diǎn)）正則化[47]方式自適應(yīng)微調(diào)網(wǎng)絡(luò)參數(shù)，從而最大限度防止過(guò)擬合。

目前，圖像去噪方法常以普通RGB 圖像作為訓(xùn)練樣本，沒(méi)有考慮到傳感器設(shè)備自身在圖像信號(hào)處理（Image Signal Processor，ISP）過(guò)程對(duì)圖像質(zhì)量的影響，但RGB 圖像與成像設(shè)備獲取的原始RAW 圖之間始終存在偏差，導(dǎo)致噪聲建模方式不夠合理、準(zhǔn)確。因此，Zamir 等人[48]設(shè)計(jì)循環(huán)鏡像轉(zhuǎn)換方法CycleISP，該方法包括兩個(gè)分支：RGB2RAW 和RAW2RGB，網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。RGB2RAW 分支的任務(wù)是將RGB 彩色圖像轉(zhuǎn)換成原始成像設(shè)備拍攝的RAW 圖，Noise injectionk控制器負(fù)責(zé)給RAW 圖添加噪聲；RAW2RGB 分支的任務(wù)是將帶噪聲的RAW圖轉(zhuǎn)換成普通的RGB圖像，且圖中色彩校正單元（Color Correction）對(duì)提高樣本數(shù)據(jù)的真實(shí)性提供巨大幫助，該方法可以靈活合成更多真實(shí)噪聲成對(duì)訓(xùn)練樣本。

基于ResNet 的圖像去噪方法通過(guò)最大化信息流，實(shí)現(xiàn)長(zhǎng)距離空間相關(guān)性的計(jì)算，具有相對(duì)較好特征表達(dá)能力，但這類方法存在的一個(gè)主要問(wèn)題是：殘差連接的多次使用容易導(dǎo)致網(wǎng)絡(luò)出現(xiàn)過(guò)擬合的現(xiàn)象。

2.3 基于生成對(duì)抗網(wǎng)絡(luò)的去噪方法

基于CNN和ResNet的去噪方法大多需要無(wú)噪聲的清晰圖像和有噪聲圖像作為成對(duì)訓(xùn)練樣本進(jìn)行監(jiān)督學(xué)習(xí)。但在實(shí)際應(yīng)用中，成對(duì)訓(xùn)練樣本的獲取是一項(xiàng)難題。生成對(duì)抗網(wǎng)絡(luò)（GAN）因其具有很強(qiáng)的學(xué)習(xí)能力[49-50]，通過(guò)對(duì)抗學(xué)習(xí)訓(xùn)練策略，可以得到逼真的噪聲圖，在一定程度上緩解了成對(duì)訓(xùn)練樣本不足的問(wèn)題。生成對(duì)抗網(wǎng)絡(luò)在訓(xùn)練過(guò)程中需要計(jì)算生成器(G)和鑒別器(D)兩部分損失，目標(biāo)函數(shù)如公式（7）所示：

圖3 CycleISP網(wǎng)絡(luò)結(jié)構(gòu)圖

其中，E(·)表示分布函數(shù)的期望值，Pdata(x)代表真實(shí)樣本的分布，Pnoise(z)表示低維噪聲分布，對(duì)數(shù)log 的底a的取值為大于1的常數(shù)，大多數(shù)情況下為e。

Chen 等人[51]利用GAN 對(duì)真實(shí)噪聲圖像上提取的噪聲信息進(jìn)行建模，并將生成器隨機(jī)產(chǎn)生的噪聲塊與原始清晰圖像一起合成新的噪聲圖像。SRGAN方法[52]和ADGAN 方法[53]也利用相同的思想構(gòu)造成對(duì)的訓(xùn)練數(shù)據(jù)。與GCBD不同的是，ADGAN方法在對(duì)噪聲建模時(shí)引入特征金字塔注意網(wǎng)絡(luò)提高網(wǎng)絡(luò)特征提取能力。與CycleISP 方法考慮的問(wèn)題一樣，Isola 等人[49]針對(duì)傳感器對(duì)信號(hào)的損害問(wèn)題提出解決辦法：從傳感器原始數(shù)據(jù)中選擇5 個(gè)不同頻率下的特征信息作為去噪網(wǎng)絡(luò)（Denoiser Network）的輸入，并減少對(duì)密集型濾波器的使用，降低了計(jì)算量，提升了計(jì)算效率。此外，該方法使用有監(jiān)督和無(wú)監(jiān)督相互結(jié)合的訓(xùn)練方式提升網(wǎng)絡(luò)的穩(wěn)健性和魯棒性。

基于GAN的圖像去噪方法通過(guò)生成器與判別器之間的對(duì)抗學(xué)習(xí)策略擬合數(shù)據(jù)分布，局限性主要體現(xiàn)在：一方面，生成模型的分布沒(méi)有顯示表達(dá)，可解釋性差；另一方面，生成器和鑒別器需要做到同步更新參數(shù)，很難生成離散數(shù)據(jù)，而且目前為止，達(dá)到納什均衡的方法還沒(méi)找到，網(wǎng)絡(luò)訓(xùn)練不夠穩(wěn)定。

2.4 基于圖神經(jīng)網(wǎng)絡(luò)的去噪方法

圖神經(jīng)網(wǎng)絡(luò)（GNN）適合處理非結(jié)構(gòu)化或比較復(fù)雜的數(shù)據(jù)。Valsesia等人[22]利用卷積算子設(shè)計(jì)基于圖形卷積（GCN）[54]的去噪方法GCDN，該方法通過(guò)引入邊緣注意力機(jī)制（Edge Attention）減少邊緣信息的丟失，并采用3×3、5×5 和7×7 大小的濾波器進(jìn)行多尺度分層提取特征，提高對(duì)特征信息的利用率。

GNN 的圖形卷積（GCN）過(guò)程如圖4 所示，GCN 在構(gòu)造特征空間的K 近鄰圖的時(shí)候，對(duì)于每個(gè)像素i，需要計(jì)算其特征向量與搜索窗口內(nèi)像素的歐氏距離。在距離像素i 最小K 個(gè)像素之間通過(guò)邊緣條件卷積（ECC）聚合的方式繪制圖形，其非局部聚合的計(jì)算過(guò)程如公式（8）所示：

其中，F(xiàn)wll表示的是一個(gè)全連接網(wǎng)絡(luò)，以邊標(biāo)簽作為輸入，并輸出相應(yīng)的權(quán)重矩陣，wl表示網(wǎng)絡(luò)Fl的權(quán)重參數(shù)，dl,j→i=Hlj-Hli表示邊緣標(biāo)記函數(shù)，常定義為兩個(gè)特征向量之間的差，Sli是節(jié)點(diǎn)i 的鄰域集，γl,j→i是邊緣注意項(xiàng)，Hl+1,NLi則表示對(duì)于節(jié)點(diǎn)i 的卷積層輸出。

圖4 GCN網(wǎng)絡(luò)結(jié)構(gòu)圖

GCN的網(wǎng)絡(luò)化拓?fù)浣Y(jié)構(gòu)對(duì)密集噪聲分布具有很好的擬合效果，但因其拓?fù)浣Y(jié)構(gòu)復(fù)雜、節(jié)點(diǎn)順序動(dòng)態(tài)變化，導(dǎo)致訓(xùn)練結(jié)果不穩(wěn)定，且當(dāng)數(shù)據(jù)類型單一時(shí)，容易過(guò)擬合。對(duì)圖網(wǎng)絡(luò)中的過(guò)擬合問(wèn)題，Zeng等人[55]將圖拉普拉斯正則化（Graph Laplacian Regularization）集成到深度學(xué)習(xí)框架中，實(shí)現(xiàn)了去噪方法對(duì)訓(xùn)練域外數(shù)據(jù)的高度適應(yīng)性。Behjati 等人[56]則利用高維特征之間的相似不變性動(dòng)態(tài)構(gòu)建具有復(fù)雜特征層次的鄰域圖去擬合噪聲分布，該方法在激光雷達(dá)掃描產(chǎn)生的結(jié)構(gòu)化噪聲上也展現(xiàn)了很好的魯棒性。

對(duì)于利用GNN的網(wǎng)絡(luò)化拓?fù)浣Y(jié)構(gòu)擬合數(shù)據(jù)分布的去噪方法而言，其局限性體現(xiàn)在：不穩(wěn)定的動(dòng)態(tài)拓?fù)浣Y(jié)構(gòu)會(huì)降低特征的表達(dá)能力，對(duì)去噪性能產(chǎn)生負(fù)面影響；圖網(wǎng)絡(luò)不能像CNN 那樣分層提取局部和全局特征，對(duì)鄰域局部信息的利用率會(huì)受到拓?fù)浣Y(jié)構(gòu)不穩(wěn)定性的直接影響。

表1 從方法的優(yōu)點(diǎn)、局限性、適用噪聲和適用場(chǎng)景多個(gè)角度，對(duì)基于深度學(xué)習(xí)的圖像去噪方法進(jìn)行詳細(xì)的總結(jié)和概括。

近年來(lái)，在CNN、ResNet 和GAN 網(wǎng)絡(luò)的基礎(chǔ)上一系列結(jié)合多尺度特征融合、遷移學(xué)習(xí)和雙任務(wù)的改進(jìn)方法不斷涌現(xiàn)。

（1）結(jié)合多尺度特征融合的去噪方法

單一網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練出的模型提取到的特征有限，不同尺度間的特征融合有利于提升噪聲的表達(dá)能力，且在特征融合時(shí)可以結(jié)合先驗(yàn)信息，準(zhǔn)確把握特征提取對(duì)象[57]，多尺度融合的方式多種多樣，如Jia等人[58]通過(guò)求解分?jǐn)?shù)最優(yōu)控制問(wèn)題（FOC）和對(duì)分?jǐn)?shù)階微分方程（FODE）進(jìn)行顯式離散化構(gòu)造，增強(qiáng)網(wǎng)絡(luò)在前向傳播和反向傳播的過(guò)程中的長(zhǎng)期記憶力。Liu等人[59]則設(shè)計(jì)密集連接的編解碼器將不同尺度的特征連接起來(lái)，充分利用上下文信息，且密集連接加深了網(wǎng)絡(luò)，減少了梯度消失的問(wèn)題。在此基礎(chǔ)上，Wang等人[60]引入自注意模塊（Self-Attention）獲取空間和通道間的依賴關(guān)系，既不增加參數(shù)量又不會(huì)降低信道維度，增強(qiáng)了特征融合對(duì)每個(gè)通道的適應(yīng)能力。此外，金字塔模式的去噪網(wǎng)絡(luò)[61]，可以通過(guò)下采樣操作，實(shí)現(xiàn)對(duì)原始、局部和全局不同尺度范圍內(nèi)信息的融合。

（2）雙任務(wù)圖像去噪方法

圖像去噪需要平衡兩個(gè)互斥的目標(biāo)，即去除噪聲和保留真實(shí)細(xì)節(jié)。如Wang 等人[62]提出的GAN 與CNN 相結(jié)合的雙任務(wù)去噪網(wǎng)絡(luò)。其中GAN 用于去除噪聲，CNN用于恢復(fù)原始圖像細(xì)節(jié)，且兩個(gè)子網(wǎng)交替訓(xùn)練，通過(guò)自適應(yīng)調(diào)節(jié)參數(shù)保留更多細(xì)節(jié)并去除噪聲。不同于上述方法，Tian等人[63]采用重建思想，設(shè)計(jì)由4個(gè)模塊構(gòu)成的DudeNet，包括特征提取、增強(qiáng)、壓縮和重構(gòu)。數(shù)據(jù)增強(qiáng)提升了特征表達(dá)能力，數(shù)據(jù)壓縮有利于減少冗余信息，降低計(jì)算成本和減少內(nèi)存消耗。雙任務(wù)圖像去噪這類方法的顯著優(yōu)勢(shì)是能夠在互斥目標(biāo)之間尋找平衡點(diǎn)，在解決平滑、模糊、偽影等問(wèn)題上提供較大幫助。

表1 基于深度學(xué)習(xí)的圖像去噪方法對(duì)比總結(jié)

（3）遷移學(xué)習(xí)圖像去噪方法

對(duì)于圖像去噪問(wèn)題，一方面因真實(shí)圖像數(shù)據(jù)集數(shù)量少、類型單一，不足以訓(xùn)練CNN，而CNN 也容易出現(xiàn)過(guò)擬合問(wèn)題；另一方面，用高斯噪聲訓(xùn)練的CNN，因?yàn)檫^(guò)度擬合高斯分布，不能很好地適用真實(shí)含噪圖像。而遷移學(xué)習(xí)去噪方法不僅能以更快的速度收斂并獲得良好去噪性能，還可以通過(guò)自適應(yīng)調(diào)整參數(shù)方式節(jié)省大量?jī)?nèi)存，如Kim 等人[20]提出的去噪網(wǎng)絡(luò)AINDNet，先從合成噪聲圖像中學(xué)習(xí)一般不變信息，再?gòu)倪B續(xù)小波域中學(xué)習(xí)真實(shí)圖像的特定領(lǐng)域信息，從而將去噪任務(wù)從合成噪聲轉(zhuǎn)移到真實(shí)噪聲，促進(jìn)去噪方法性能的提升。

改進(jìn)的圖像去噪方法在合成噪聲、真實(shí)噪聲上都取得了很好的去噪效果，但仍然存在一定的局限性，如網(wǎng)絡(luò)模型對(duì)真實(shí)噪聲擬合的準(zhǔn)確率不足，難以去除密集分布噪聲；對(duì)遷移學(xué)習(xí)圖像去噪方法，網(wǎng)絡(luò)量化的性能會(huì)固有的受到全精度模型的限制；且在卷積特征提取的過(guò)程中，由于去噪任務(wù)和細(xì)節(jié)保留任務(wù)的平衡關(guān)系難以控制，許多噪聲會(huì)被網(wǎng)絡(luò)誤認(rèn)為是圖像中的細(xì)節(jié)，導(dǎo)致噪聲殘留、去噪效果不佳等。

綜上所述，基于不同網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)的圖像去噪算法在處理去噪問(wèn)題時(shí)側(cè)重點(diǎn)不同?；贑NN和ResNet的圖像去噪方法側(cè)重于通過(guò)最大化信息流，實(shí)現(xiàn)長(zhǎng)距離相關(guān)性的計(jì)算，提升對(duì)高低頻信息的利用率和對(duì)噪聲的表達(dá)能力。基于GAN的圖像去噪方法則側(cè)重于擴(kuò)充圖像數(shù)據(jù)集，通過(guò)增加訓(xùn)練樣本數(shù)量提升網(wǎng)絡(luò)去噪性能。這類方法的缺點(diǎn)如表1所示，主要受限性網(wǎng)絡(luò)本身的訓(xùn)練方式。而GNN 主要用于處理非結(jié)構(gòu)化數(shù)據(jù)，由于真實(shí)噪聲分布復(fù)雜、類型多樣、難以參數(shù)化等特點(diǎn)，導(dǎo)致傳統(tǒng)卷積特征提取方式難以滿足實(shí)際應(yīng)用的需求，因而促進(jìn)了GNN在圖像去噪任務(wù)中的應(yīng)用。但因圖網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)較為復(fù)雜、大小不可控等因素使得網(wǎng)絡(luò)訓(xùn)練效果不穩(wěn)定。因此，在研究圖像去噪任務(wù)時(shí)，需要根據(jù)當(dāng)下圖像去噪領(lǐng)域存在的問(wèn)題以及要解決的問(wèn)題，有針對(duì)性的選擇基礎(chǔ)網(wǎng)絡(luò)。

3 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

3.1 數(shù)據(jù)集

3.1.1 訓(xùn)練數(shù)據(jù)集

目前，真實(shí)圖像數(shù)據(jù)集的獲取方式主要分為三種：（1）在現(xiàn)有圖像數(shù)據(jù)集中選擇高質(zhì)量的清晰圖像，對(duì)其處理合成噪聲圖像；（2）針對(duì)同一場(chǎng)景，拍攝低ISO 作為清晰圖，拍攝高ISO 作為對(duì)應(yīng)噪聲圖；（3）對(duì)同一場(chǎng)景連續(xù)拍攝多次，經(jīng)過(guò)加權(quán)平均合成噪聲圖像對(duì)應(yīng)的Ground Truth 圖像。常用的真實(shí)圖像數(shù)據(jù)集主要有RENOIR[64]、DND[65]、SSID[66]和PolyU[67]。數(shù)據(jù)集屬性介紹見(jiàn)表2。

RENOIR數(shù)據(jù)集用3個(gè)不同的相機(jī)拍攝120個(gè)暗光場(chǎng)景，每個(gè)場(chǎng)景包括2 張?jiān)肼晥D像和2 張Ground Truth圖像，不同的場(chǎng)景圖像分辨率大小不一。DND 數(shù)據(jù)集用4個(gè)不同的相機(jī)拍攝了50個(gè)場(chǎng)景，每個(gè)場(chǎng)景包括清晰圖像、噪聲圖像和Ground Truth 圖像，圖像分辨率大小為512×512。SSID 數(shù)據(jù)集用5 個(gè)不同的相機(jī)拍攝10 個(gè)場(chǎng)景，每個(gè)場(chǎng)景包括噪聲圖像和Ground Truth 圖像。PolyU數(shù)據(jù)集用5個(gè)不同的相機(jī)拍攝了40個(gè)場(chǎng)景，每個(gè)場(chǎng)景包括Ground truth圖像和真實(shí)噪聲圖像，圖像分辨率大小為512×512。

表2 圖像去噪常用真實(shí)圖像訓(xùn)練數(shù)據(jù)集

3.1.2 測(cè)試數(shù)據(jù)集

圖像去噪領(lǐng)域常用的測(cè)試集主要分為灰度圖像和彩色圖像兩大類，如表3所示?；叶葓D像數(shù)據(jù)集主要有BSD68[68]、Set12[69]；彩色圖像數(shù)據(jù)集主要有CBSD68[68]、Kodak24[70]、McMaster[71]、CSet12[69]。其中BSD68 和Kodak24主要是室外場(chǎng)景圖像，BSD68包括12張建筑物，30張貓、虎、馬、象等動(dòng)物，11張人物，4張花草植物和11張其他室外場(chǎng)景圖像，Kodak24則多以建筑物、天空、大海為視角。McMaster主要是室內(nèi)場(chǎng)景，包括5張植物花草，5張水果蔬菜和其他如沙發(fā)、墻壁等室內(nèi)場(chǎng)景圖像。CBSD68與BSD68場(chǎng)景圖像相同，是BSD68對(duì)應(yīng)的彩色圖像數(shù)據(jù)集。Set12 中有9 張室外場(chǎng)景和3 張室內(nèi)場(chǎng)景圖像，包括5 張人物，3 張動(dòng)物和其他如房子、輪船等室外場(chǎng)景圖像。CSet12數(shù)據(jù)集是Set12對(duì)應(yīng)的彩色圖像。

表3 圖像去噪常用測(cè)試數(shù)據(jù)集

3.2 評(píng)價(jià)指標(biāo)

去噪方法的性能評(píng)價(jià)常從PSNR和SSIM兩方面進(jìn)行定量分析評(píng)估[72]。

（1）PSNR（Peak Signal-to-Noise Ratio）：即峰值信噪比，是最普遍、最廣泛使用的一種評(píng)價(jià)經(jīng)過(guò)壓縮或處理后的圖像與原始圖像相比質(zhì)量好壞的標(biāo)準(zhǔn)。PSNR值越高，處理后的圖像失真越小，質(zhì)量越高。PSNR計(jì)算公式為：

其中Max2I為圖像I可能的最大像素值，根據(jù)其二進(jìn)制的位數(shù)B，將Max2I表示為(2B?1)2。而MSE表示的是大小為M×N的原始圖像I與處理后的圖像K之間的均方誤差，通過(guò)均方誤差值大小確定圖像的失真程度。計(jì)算公式如下：

由于PSNR 在評(píng)價(jià)圖像質(zhì)量時(shí)忽略了空間頻率和圖像亮度等因素的影響，導(dǎo)致PSNR的評(píng)估結(jié)果和人眼感知的效果不一致。為更合理準(zhǔn)確地評(píng)價(jià)圖像質(zhì)量，對(duì)圖像的亮度、對(duì)比度和結(jié)構(gòu)信息等屬性進(jìn)行分析，引入結(jié)構(gòu)相似性理論（SSIM）作為圖像質(zhì)量的另一評(píng)價(jià)標(biāo)準(zhǔn)。

（2）SSIM（Structural Similarity）：即結(jié)構(gòu)相似性。實(shí)現(xiàn)了從感知誤差的度量到感知結(jié)構(gòu)失真的度量，直接估計(jì)原始圖像和處理后圖像中信號(hào)結(jié)構(gòu)的改變。分別用均值、標(biāo)準(zhǔn)差和協(xié)方差作為亮度、對(duì)比度和結(jié)構(gòu)相似程度的度量，表示為：

其中，μx是x的均值，μy是y的均值，σ2x是x的方差，σy2是y的方差，σxy是x和y的協(xié)方差，而c1和c2是維持穩(wěn)定的常數(shù)。SSIM的范圍從0～1，值越大表示原始圖像與處理后的圖像誤差越小，圖像質(zhì)量越高。

（3）時(shí)間：方法性能的評(píng)價(jià)標(biāo)準(zhǔn)除了使用PSNR 和SSIM，對(duì)方法的效率評(píng)估也是必要的。一個(gè)優(yōu)秀的方法應(yīng)該在保證良好去噪性能的基礎(chǔ)上盡量縮短運(yùn)行時(shí)間。

4 實(shí)驗(yàn)

4.1 測(cè)試環(huán)境

實(shí)驗(yàn)測(cè)試環(huán)境是在AMD Ryzen7 3700X CPU 3.60 GHz，16 GB內(nèi)存，Window10系統(tǒng)下搭建Pytorch平臺(tái)環(huán)境完成對(duì)圖像去噪方法的測(cè)試任務(wù)。實(shí)驗(yàn)環(huán)境的配置參數(shù)如表4所示。

表4 測(cè)試環(huán)境的配置參數(shù)

4.2 參數(shù)設(shè)置

對(duì)比實(shí)驗(yàn)建立在無(wú)噪聲圖像訓(xùn)練集Train400[38]上，5 種噪聲水平σ分別為15、25、35、45和50。對(duì)比方法的核心參數(shù)如批處理數(shù)量（batch size）設(shè)為64，讀取的圖像補(bǔ)丁塊兒大小（patch size）設(shè)置為40×40，迭代次數(shù)epoch 設(shè)置為100 000。為使網(wǎng)絡(luò)更快的收斂且能夠更穩(wěn)定的學(xué)習(xí)，選擇Adam 優(yōu)化器，并將初始學(xué)習(xí)率（Learning Rate）設(shè)置為0.001，且隨著迭代次數(shù)的增加，學(xué)習(xí)率越來(lái)越低。

4.3 實(shí)驗(yàn)結(jié)果分析

為進(jìn)一步加深對(duì)方法的理解，本節(jié)選取一些經(jīng)典去噪方法進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)分為兩部分：對(duì)合成噪聲的去噪和對(duì)真實(shí)噪聲的去噪。

4.3.1 對(duì)合成噪聲的去噪結(jié)果分析

（1）從表5數(shù)據(jù)可以看出，BSD68數(shù)據(jù)集下，當(dāng)噪聲水平為15 和25 時(shí)，DnCNN 方法去噪結(jié)果最好，相比IRCNN 去噪方法其PSNR 值提升了6.1 dB。但當(dāng)噪聲水平為45 和50 時(shí)，去噪結(jié)果最好的方法是FFDNet。FFDNet在Set12和Kodak24數(shù)據(jù)集上，同樣展現(xiàn)了對(duì)噪聲水平較高圖像良好的適應(yīng)性。結(jié)合圖5所示，圖（a）、（b）和（c）、（d）分別代表在BSD68 數(shù)據(jù)集和Kodak24 數(shù)據(jù)集上，4種方法的去噪結(jié)果（PSNR和SSIM）隨噪聲水平提高的變化曲線。從圖中看出，隨著噪聲水平的提高，4種方法的去噪性能整體上呈衰減趨勢(shì)。以DnCNN方法為例，在BSD68 數(shù)據(jù)集上，噪聲水平為15 時(shí)，其PSNR 為37.74 dB，隨著噪聲水平提升到25，PSNR 呈陡峭式變化，直接降低到29.23 dB，噪聲水平較高時(shí)去噪性能相對(duì)較差。所以，噪聲水平的高低會(huì)直接影響到方法的去噪效果。

表5 不同噪聲水平下各方法去噪結(jié)果比較

圖5 去噪方法在BSD68和Kodak24數(shù)據(jù)集上的去噪結(jié)果隨噪聲水平提高的變化曲線

（2）為進(jìn)一步對(duì)比4種方法的可視化效果，圖6和圖7 分別展示了在噪聲水平為25 時(shí)，噪聲圖像在Set12 和Kodak24 數(shù)據(jù)集上的去噪效果。圖6 是在Set12 數(shù)據(jù)集上的去噪效果對(duì)比圖，觀察圖中所選區(qū)域的去噪效果，F(xiàn)dncnn 方法去噪后的圖像中紋理細(xì)節(jié)最為清晰，相對(duì)Ground Truth來(lái)說(shuō)，恢復(fù)效果較好。而DnCNN和IRCNN去噪后的圖像則非常模糊，對(duì)于局部區(qū)域，不僅丟失了紋理細(xì)節(jié)信息，還會(huì)出現(xiàn)一些偽影，對(duì)圖像的恢復(fù)效果較差。且從圖6的對(duì)比效果來(lái)看，主觀視覺(jué)上的感受與表5客觀評(píng)價(jià)分析結(jié)果一致。

圖6 噪聲水平σ=25 時(shí)不同方法在Set12數(shù)據(jù)集上的去噪效果對(duì)比圖

圖7 噪聲水平σ=25 時(shí)不同方法在Kodak24數(shù)據(jù)集上的去噪效果對(duì)比圖

（3）圖7 是在彩色圖像Kodak24 數(shù)據(jù)集上的去噪效果對(duì)比圖，實(shí)驗(yàn)結(jié)果表明4 種方法中，F(xiàn)dncnn 方法對(duì)紋理細(xì)節(jié)的恢復(fù)相對(duì)較好，然而相比Ground Truth仍存在細(xì)節(jié)紋理細(xì)節(jié)丟失的現(xiàn)象。FFDNet 方法的PSNR 值與Fdncnn 相同，但去噪的效果卻相差很大，PSNR 客觀評(píng)價(jià)指標(biāo)預(yù)測(cè)值與實(shí)際主管視覺(jué)效果圖不相符。從圖中所選區(qū)域可以看出FFDNet 去噪后的圖像平滑現(xiàn)象嚴(yán)重，看不到紋理細(xì)節(jié)。DnCNN方法和IRCNN方法也同樣出現(xiàn)這個(gè)問(wèn)題。

4.3.2 對(duì)真實(shí)噪聲的去噪結(jié)果分析

真實(shí)噪聲分布比高斯噪聲更為復(fù)雜，本小節(jié)對(duì)4種去噪方法在真實(shí)噪聲圖像DND和PolyU數(shù)據(jù)集上的適用性做進(jìn)一步驗(yàn)證。

（1）從表6中客觀數(shù)據(jù)看出，F(xiàn)FDNet方法在DND和PolyU 數(shù)據(jù)集上展現(xiàn)出良好的去噪結(jié)果。但對(duì)比各方法在BSD68、Set12、Kodak24 和CBSD68 合成噪聲數(shù)據(jù)集上的去噪結(jié)果，其去噪性能在真實(shí)圖像數(shù)據(jù)集DND上明顯降低，以DnCNN 方法為例，在DND 數(shù)據(jù)集上其PSNR 值比BSD68 數(shù)據(jù)集上測(cè)試的值降低了2.65 dB。且通過(guò)對(duì)圖8 中DnCNN、Fdncnn、FFDNet 和IRCNN 方法去噪效果對(duì)比圖來(lái)看，去噪后的圖像仍存在大量噪聲。所以，通過(guò)對(duì)多種噪聲水平的含噪圖像訓(xùn)練樣本進(jìn)行訓(xùn)練得到的去噪模型，并未在真實(shí)圖像去噪實(shí)驗(yàn)中取得很好的效果。

（2）觀察表6 數(shù)據(jù)，可以看出以上4 種方法在PolyU數(shù)據(jù)集上相對(duì)其他合成噪聲數(shù)據(jù)集，PSNR 和SSIM 取得了最優(yōu)的去噪結(jié)果。通過(guò)分析圖8和圖9中選取的數(shù)據(jù)樣本，發(fā)現(xiàn)圖9所選樣本的噪聲圖像中噪聲水平比較低，與Ground Truth 相比差別不大，而圖8 所選樣本的噪聲圖像中可以明顯看出噪點(diǎn)的分布情況，且很容易區(qū)分出其噪聲圖像與Ground Truth。所以，這里再一次驗(yàn)證噪聲水平的高低對(duì)去噪方法性能的影響。雖然4 種方法在PolyU數(shù)據(jù)集上，其客觀評(píng)價(jià)指標(biāo)取得相對(duì)較高的結(jié)果，但觀察圖9 樣本數(shù)據(jù)的選框區(qū)域，發(fā)現(xiàn)主觀視覺(jué)上的效果并不理想，對(duì)于紋理細(xì)節(jié)和邊緣區(qū)域的恢復(fù)能力較差。

表6 DND和PolyU數(shù)據(jù)集下各方法去噪結(jié)果比較

圖8 不同方法在DND數(shù)據(jù)集上的去噪效果對(duì)比圖

圖9 不同方法在PolyU數(shù)據(jù)集上的去噪效果對(duì)比圖

通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析可知，目前去噪方法在圖像恢復(fù)效果上存在的幾個(gè)主要問(wèn)題：客觀的評(píng)價(jià)指標(biāo)的預(yù)測(cè)值與實(shí)際的主觀視覺(jué)感受不一致；去噪方法在高等級(jí)噪聲水平下去噪效果不理想；特征表達(dá)能力不足，導(dǎo)致去噪后圖像仍有噪聲殘留；對(duì)圖像中的紋理細(xì)節(jié)及邊緣信息恢復(fù)效果不佳。

5 總結(jié)與展望

隨著圖像去噪技術(shù)的不斷更新發(fā)展，越來(lái)越多的方法關(guān)注于如何去除真實(shí)噪聲。圖像去噪這項(xiàng)預(yù)處理任務(wù)如果完成的好，將會(huì)對(duì)后續(xù)圖像處理相關(guān)任務(wù)的研究打下堅(jiān)實(shí)基礎(chǔ)。本文對(duì)近幾年的圖像去噪方法做了總結(jié)和歸納：

（1）傳統(tǒng)的圖像去噪方法，一方面基于特定設(shè)計(jì)模型方法進(jìn)行去噪，沒(méi)有充分考慮噪聲類型的多樣性，且需要先驗(yàn)知識(shí)做基礎(chǔ)，只能提取局部特征，忽視了全局信息的影響；另一方面，模型泛化能力差，對(duì)于真實(shí)含噪圖像去噪效果不佳。

（2）基于深度學(xué)習(xí)的圖像去噪方法具有強(qiáng)大的表示學(xué)習(xí)能力，模型對(duì)大量樣本進(jìn)行訓(xùn)練學(xué)習(xí)，可以獲取更準(zhǔn)確的噪聲特征。從近幾年的圖像去噪方法來(lái)看，基于GAN的去噪方法以及基于GNN的去噪方法發(fā)展迅速，分別在構(gòu)造成對(duì)訓(xùn)練樣本和處理非結(jié)構(gòu)化噪聲分布方面展現(xiàn)出良好優(yōu)勢(shì)，另外結(jié)合注意力機(jī)制、多尺度特征融合、遷移學(xué)習(xí)等策略，很好地彌補(bǔ)了真實(shí)噪聲自身類型多樣、分布復(fù)雜、難以參數(shù)化等特性，更好地提升了去噪效果。但是由于去噪網(wǎng)絡(luò)規(guī)模大、參數(shù)多、計(jì)算量大、訓(xùn)練不穩(wěn)定，因此以后可以考慮從模型剪枝、知識(shí)蒸餾等方面構(gòu)造更輕量的網(wǎng)絡(luò)模型。

雖然基于深度學(xué)習(xí)的去噪方法已經(jīng)取得了不錯(cuò)的進(jìn)展，去噪效果也在不斷提升，但是仍然還有以下幾個(gè)努力的方向：

（1）解決訓(xùn)練樣本不足問(wèn)題

大多數(shù)深度學(xué)習(xí)去噪方法都需要有標(biāo)簽的數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，但在真實(shí)環(huán)境下獲取成對(duì)的清晰-噪聲圖像較為困難。為解決訓(xùn)練樣本少的問(wèn)題，對(duì)于監(jiān)督學(xué)習(xí)的訓(xùn)練方式，可以選用GAN來(lái)豐富真實(shí)圖像數(shù)據(jù)，GAN通過(guò)對(duì)真實(shí)圖像中的噪聲分布進(jìn)行學(xué)習(xí)，生成逼真的新噪聲圖像，擴(kuò)充了數(shù)據(jù)。而對(duì)于無(wú)監(jiān)督學(xué)習(xí)的訓(xùn)練方式，可以構(gòu)建基于編碼器-解碼器的去噪網(wǎng)絡(luò)，無(wú)監(jiān)督的方法能夠很好地從根本上解決對(duì)大量訓(xùn)練樣本的依賴問(wèn)題。因此，無(wú)監(jiān)督的去噪方法也是后續(xù)值得研究的方向之一。

（2）提升圖像去噪方法對(duì)真實(shí)噪聲的泛化能力

目前常用的基于深度學(xué)習(xí)的圖像去噪方法大多基于合成噪聲進(jìn)行去噪，雖然這些方法已經(jīng)取得了很好的去噪效果，但對(duì)于真實(shí)含噪圖像的泛化能力偏弱，去噪效果較差。這些缺陷受限于真實(shí)噪聲本身類型多樣、分布復(fù)雜、難以參數(shù)化等特性。因此，針對(duì)真實(shí)噪聲圖像設(shè)計(jì)行之有效的去噪方法，提升方法的泛化能力和模型魯棒性是一項(xiàng)頗具挑戰(zhàn)和值得研究的任務(wù)。

（3）將去噪方法應(yīng)用于實(shí)時(shí)視頻去噪

近年來(lái)對(duì)圖像去噪方法的研究主要集中于靜態(tài)圖像，針對(duì)視頻的研究很少，如何利用視頻中各幀之間的時(shí)序關(guān)系實(shí)現(xiàn)實(shí)時(shí)去噪，是未來(lái)的重點(diǎn)研究方向，具有非常實(shí)際的應(yīng)用價(jià)值。

（4）對(duì)單圖像進(jìn)行去噪

相比基于視頻的去噪方法，單圖像去噪更加困難。因?yàn)閱螏瑘D像作為獨(dú)立輸入，沒(méi)有相鄰時(shí)間序列，也學(xué)習(xí)不到鄰域色度之間的差異，單圖像去噪是一個(gè)具有挑戰(zhàn)性的問(wèn)題，是后續(xù)可以考慮的研究方向之一。

（5）輕量化網(wǎng)絡(luò)模型

許多依賴傳統(tǒng)卷積方式的圖像去噪方法著重于設(shè)計(jì)更寬或更深的網(wǎng)絡(luò)結(jié)構(gòu)以獲得性能的增益，這種方式需要很高的計(jì)算成本和大量的內(nèi)存。因此，一些基于網(wǎng)絡(luò)剪枝[73]、參數(shù)量化[74]和知識(shí)蒸餾[75]的模型壓縮方法逐漸出現(xiàn)。目前這些輕量化網(wǎng)絡(luò)在超分辨率重建上已有應(yīng)用，但在圖像去噪領(lǐng)域應(yīng)用較少，是后續(xù)可以研究的方向之一。