梁威鵬 洪盛偉

摘 ?要：把高頻的噪聲在傅里葉頻譜上和低頻的圖像很好地分離開。通過一系列高頻濾波的理論與技術(shù)，達到圖像降噪的目的。該文提出了一個基于GAN思想的編碼（encoder）-解碼（decoder）架構(gòu)來解決圖像去噪的問題。網(wǎng)絡(luò)由判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)組成，半監(jiān)督學(xué)習(xí)從噪聲圖像到去噪圖像的端到端的映射。在生成網(wǎng)絡(luò)中，在全卷積的情況下，噪聲一步步地被消除，最后得到去噪圖像。

關(guān)鍵詞：圖像去噪 ?GAN ?神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP39 ? 文獻標(biāo)識碼：A ? ? ? ? ? ?文章編號：1672-3791（2019）05（a）-0026-02

在城市夜景拍攝或者星空拍攝中，會產(chǎn)生大量的噪點，這是由于高ISO和弱光散粒形成的隨機噪點。圖像噪點很大一部分原因是感光元件造成的。例如照片曝光度不足、采取了過高的ISO值等都會導(dǎo)致圖像噪點的增多。

根據(jù)傅立葉定理，任何一個信號都可以由簡諧波相加得到。因此，一個信號可以分解成由多個頻率的簡諧波相加。組成信號的單個簡諧波，被稱為信號的一個分量。通過傅立葉變換，可以得到一個信號的不同頻率的分量。將各個頻率分量的強弱通過圖形表示出來，可以得出信號的頻譜。如圖1是圖像處理領(lǐng)域里經(jīng)典的一張圖像，其信號值可以用它的黑白分量代替。右邊是該圖像對應(yīng)的傅里葉頻譜。明暗程度表示頻率分量的振幅強弱。X軸、Y軸分別對應(yīng)表示圖像x方向的頻率和y方向上的頻率，值得注意的是，頻譜的中心位置亮點表示的是低頻信號的分量強弱，頻譜邊緣及四周表示的是高頻信號的分量強弱。

對該圖像加入隨機噪聲，我們發(fā)現(xiàn)，在圖像里，出現(xiàn)了很多和原圖像混在一起的小顆粒效果，這些“小顆?！闭亲钪庇^的圖像噪點的體現(xiàn)。此時，觀察噪點圖像的傅里葉頻譜圖可以發(fā)現(xiàn)，頻譜非中心區(qū)域明顯變亮，這說明圖像中的高頻分量有所增強。由此，可得出噪點正對應(yīng)著圖像中的高頻分量，而原圖像對應(yīng)著圖像中低頻分量的特性。噪點在空間上原本與原圖像混合在一起，難以去除。然而根據(jù)上述特性，我們可以把高頻的噪聲在傅里葉頻譜上和低頻的圖像很好地分離開。運用數(shù)學(xué)原理，建立合理的數(shù)學(xué)模型，即通過一系列高頻濾波的理論與技術(shù)，達到圖像降噪的目的。

近幾年來，針對這個圖像處理的經(jīng)典任務(wù)，有關(guān)研究人員發(fā)表了數(shù)千篇論文。在這些論文里，有利用偏微分方程思想，例如全變差法，還有從幾何學(xué)理論角度將圖像看做多維度空間處理等，提出了各種有效且精妙的數(shù)學(xué)思想。

在去噪任務(wù)中，有許多絕妙的數(shù)學(xué)原理被提出，其中小波理論和稀疏表征取得了重大突破。其他的精彩理論還包括非局部均值（NLP）和貝葉斯估計等。如圖2所示，左邊是原始圖像。中間是圖像增加了STD=100的高斯噪聲污染，右邊是由BM3D算法[1]實現(xiàn)的去噪圖片。

小波濾波雖然是目前圖像降噪的常見方法，但隨著ISP影像處理器的AI化，越來越多的深度學(xué)習(xí)方面的算法，被應(yīng)用到后端圖像處理上，來彌補因傳統(tǒng)感光元器件在夜景拍攝、自動美化方面的缺陷而造成的圖像噪點。傳統(tǒng)的圖像降噪方法是根據(jù)圖像噪聲類型的不同設(shè)計不同的濾波器，才能對圖像進行降噪。其局限性便體現(xiàn)在需要設(shè)計不同算法來針對不同的圖像噪聲。如果算法設(shè)計不當(dāng)，則會造成畫面變得過度平滑、細節(jié)信息丟失、對比度和質(zhì)感降低、顏色溢出、飽和度降低等問題[1]。

該文根據(jù)上述基礎(chǔ)，提出了一個基于GAN思想的編碼（encoder）-解碼（decoder）架構(gòu)來解決圖像去噪的問題。網(wǎng)絡(luò)由判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)組成，半監(jiān)督學(xué)習(xí)從受損圖像到原圖像的端到端的映射。判別網(wǎng)絡(luò)主要由多層卷積層和反卷積層構(gòu)成，負責(zé)特征提取，捕獲圖像內(nèi)容的抽象信息，判斷輸入圖片中是否含有大量噪聲。相對應(yīng)的，生成網(wǎng)絡(luò)中也采取了卷積層和反卷積層用來恢復(fù)圖像細節(jié)，同時提取并消除噪聲。除此之外，網(wǎng)絡(luò)中還加入了殘差網(wǎng)絡(luò)。我們通過向模型輸入一個帶有噪聲的圖片，在輸出端給模型沒有噪聲的圖片，讓模型通過卷積自編碼器去學(xué)習(xí)降噪的過程[2]。

在判別網(wǎng)絡(luò)中，卷積層（conv）的特征圖與跟其對應(yīng)的反卷積層（deconv）特征圖進行跳躍連接。對應(yīng)像素直接相加后經(jīng)過非線性函數(shù)激活層（可以是relu等激活函數(shù)），所得結(jié)果輸出到下一層。這樣做的目的是解決在深層網(wǎng)絡(luò)的情況下梯度彌散的問題。跳躍連接同時也加快了網(wǎng)絡(luò)的訓(xùn)練過程，使反向傳播（BP）的梯度更大。

在生成網(wǎng)絡(luò)中，在全卷積的情況下，噪聲一步步地被消除。經(jīng)過每次卷積后，噪聲信息減小，圖像內(nèi)容的細節(jié)雖可能會隨之丟失。但由于有判別網(wǎng)絡(luò)的存在，可以鑒別圖像的“真假優(yōu)劣”，生成網(wǎng)絡(luò)最后的輸出結(jié)果會保留主要的圖像內(nèi)容。并且在生成網(wǎng)絡(luò)中也加入反卷積層，用來補償細節(jié)信息。通過我們的去噪網(wǎng)絡(luò)，可以達到良好去噪效果的同時較好地保留圖像細節(jié)。網(wǎng)絡(luò)的架構(gòu)如圖4，其中判別網(wǎng)絡(luò)和生成網(wǎng)絡(luò)均為如圖4結(jié)構(gòu)。

解決圖像去噪這個經(jīng)典又困難的問題，還有很長的路要走。降噪一直是圖像視頻處理領(lǐng)域很基礎(chǔ)、很熱門的問題，雖然其有數(shù)以千計的論文的理論研究，但其基于深度學(xué)習(xí)的降噪技術(shù)卻極少在實際產(chǎn)品中有效地應(yīng)用，這方面的研究還需繼續(xù)深入開展。

參考文獻

[1] 張力娜，李小林.基于圖像分解與邊緣檢測的圖像去噪方法[J].咸陽師范學(xué)院學(xué)報，2014，29（2）：22-25.

[2] 王海武.基于生成對抗網(wǎng)絡(luò)的語音增強方法研究[D].南昌航空大學(xué)，2018.

[3] 楊大為.生成式對抗網(wǎng)絡(luò)GAN及應(yīng)用[J].信息系統(tǒng)工程，2018，294（6）：83-84.