黃穎聰，柳 偉

（1. 深圳信息職業(yè)技術(shù)學(xué)院計(jì)算機(jī)學(xué)院，廣東 深圳 518172；2. 深圳大學(xué)電子與信息工程學(xué)院，廣東 深圳 518060）

日常生活中，帶有內(nèi)置攝像頭的移動(dòng)設(shè)備的廣泛使用簡(jiǎn)化了捕捉和共享屏幕內(nèi)容的過(guò)程。然而，當(dāng)使用這些設(shè)備拍攝屏幕時(shí)，經(jīng)常會(huì)出現(xiàn)摩爾紋圖案，降低了圖像質(zhì)量和視覺(jué)體驗(yàn)。摩爾紋圖案是由相機(jī)濾色器陣列 (CFA) 和屏幕的子像素布局之間的頻率混疊產(chǎn)生的，通常表現(xiàn)為條紋、振蕩網(wǎng)格或曲線圖案。這些圖案會(huì)對(duì)后續(xù)的視覺(jué)理解任務(wù)造成影響，例如圖像編輯[1-2]和目標(biāo)檢測(cè)[3-5]等。因此，圖像去摩爾紋研究已成為視覺(jué)研究領(lǐng)域中的一個(gè)重要課題。

圖像去摩爾紋是一個(gè)不適定問(wèn)題，因?yàn)槊總€(gè)輸入可能有多個(gè)去摩爾紋解。隨著深度學(xué)習(xí)的蓬勃發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）的數(shù)據(jù)驅(qū)動(dòng)方法[6-7]在圖像去摩爾紋任務(wù)中取得了良好的成果。針對(duì)摩爾紋圖案的多頻率特性，Sun[8]等人提出了一種多分辨率網(wǎng)絡(luò)來(lái)消除不同頻率下的摩爾紋圖案。此后，越來(lái)越多的研究人員開(kāi)始用CNN模型進(jìn)行圖像去摩爾紋研究。為了更好地利用摩爾紋圖案的特征，He[9]等人引入了摩爾紋圖案去除深度神經(jīng)網(wǎng)絡(luò)（Moiré Pattern Removal Deep Neural Network, MopNet），該網(wǎng)絡(luò)專注于研究摩爾紋的頻率分布、邊緣強(qiáng)度和外觀類(lèi)別。然而，該網(wǎng)絡(luò)的設(shè)計(jì)過(guò)于復(fù)雜并且具有大量參數(shù)。

目前，摩爾紋去除性能的提升主要是由模型架構(gòu)創(chuàng)新驅(qū)動(dòng)，很少有工作專注于優(yōu)化損失函數(shù)來(lái)匹配摩爾紋圖案的頻率特性。大多數(shù)圖像去摩爾紋模型使用空間域像素?fù)p失或感知損失來(lái)優(yōu)化網(wǎng)絡(luò)。然而，使用空間域中定義的損失函數(shù)通常會(huì)存在頻譜偏差問(wèn)題[10-11]，即神經(jīng)網(wǎng)絡(luò)傾向于以有偏差的方式學(xué)習(xí)低頻。并且由于一般圖像的低頻部分比高頻部分具有更大的數(shù)量級(jí)，損失函數(shù)傾向于關(guān)注并更多地了解低頻。由于被摩爾紋圖案污染的圖像會(huì)在頻域中表現(xiàn)出大量的高頻噪聲，使用空間域損失進(jìn)行優(yōu)化無(wú)法完全去除這些高頻噪聲。因此，有必要針對(duì)這一問(wèn)題進(jìn)行解決，以產(chǎn)生具有良好視覺(jué)感知的圖像。

本文提出一種用于訓(xùn)練圖像去摩爾紋網(wǎng)絡(luò)的傅里葉空間損失（Fourier Space Loss, FSL），使用二維離散傅里葉變換分別將復(fù)原的圖像和Groundtruth圖像轉(zhuǎn)換為相應(yīng)的頻率表征并計(jì)算二者在頻域空間中的距離。通過(guò)使用FSL來(lái)引導(dǎo)去摩爾紋模型專注于解決圖像中對(duì)人類(lèi)感知最重要的部分，監(jiān)督恢復(fù)圖像的頻率信息。因此，通過(guò)這種指導(dǎo)可以更好地去除摩爾紋圖案，并且可以獲得具有高感知質(zhì)量和更少偽影的結(jié)果。與空間域損失優(yōu)化提供的局部指導(dǎo)不同，傅立葉變換引入的頻域損失提供了全局指導(dǎo)[12]。本文實(shí)驗(yàn)驗(yàn)證所提出的方法在公共數(shù)據(jù)集上實(shí)現(xiàn)了SOTA的結(jié)果，并且提出的損失可以和其他空間域損失進(jìn)行互補(bǔ)。

1 相關(guān)工作

1.1 圖像去摩爾紋

近年來(lái)，圖像去摩爾紋的方法得到了顯著的發(fā)展?，F(xiàn)有的方法可以大致分為兩類(lèi)：模型驅(qū)動(dòng)方法和數(shù)據(jù)驅(qū)動(dòng)方法。

模型驅(qū)動(dòng)方法采用濾波或圖像分解技術(shù)。 Wei等人[13]引入了中值高斯濾波方法來(lái)消除 X 射線顯微鏡圖像中的摩爾偽影。Liu等人[14]指出，摩爾紋圖案在頻域中的能量分布是集中的并且很少與紋理混合。他們通過(guò)在空間域中對(duì)紋理補(bǔ)丁實(shí)施低秩約束以及在 DCT 域中對(duì)摩爾紋圖案實(shí)施稀疏約束，將退化圖像分為紋理層和摩爾紋層。然而，這些模型驅(qū)動(dòng)的方法通常會(huì)導(dǎo)致恢復(fù)圖像過(guò)于平滑，缺乏精細(xì)的細(xì)節(jié)。

與模型驅(qū)動(dòng)方法不同，數(shù)據(jù)驅(qū)動(dòng)方法采用卷積神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)摩爾紋圖像到清晰圖像的轉(zhuǎn)換。例如，Sun等人引入一種非線性多分辨率全卷積神經(jīng)網(wǎng)絡(luò)，能夠解決不同頻段的摩爾紋圖案。他們還提出了第一個(gè)大規(guī)模的真實(shí)世界數(shù)據(jù)集，這激發(fā)了許多后續(xù)的研究。2019年，考慮到摩爾紋的動(dòng)態(tài)變化特性，Cheng等人[15]提出一種動(dòng)態(tài)特征編碼模塊，專門(mén)用于處理多尺度摩爾紋圖案。2020年，Zheng等人[16]提出一種多尺度帶通卷積神經(jīng)網(wǎng)絡(luò)，將圖像去摩爾紋任務(wù)分為紋理恢復(fù)任務(wù)和顏色恢復(fù)任務(wù)。他們采用兩步驟色調(diào)映射策略來(lái)進(jìn)行全局色偏校正。為了處理高分辨率圖像，He等人[17]則提出了一種全高清去摩爾紋網(wǎng)絡(luò)（Full High-Definition Demoireing Network, FHDe2Net），它利用兩個(gè)分別聚焦于全局和局部摩爾紋圖案的獨(dú)立網(wǎng)絡(luò)。Yang等人[18]則設(shè)計(jì)了一個(gè)高分辨率去摩爾紋網(wǎng)絡(luò)（High-Resolution Demoire Network, HRDN），它由并行高分辨率網(wǎng)絡(luò)、連續(xù)信息交換模塊和最終的特征融合層組成。2022年，Yu等人[19]提出了ESDNet，采用語(yǔ)義對(duì)齊的尺度感知來(lái)去除超高清圖像中的摩爾紋圖案。

1.2 頻域?qū)W習(xí)

近年來(lái)，出現(xiàn)了許多算法，通過(guò)從頻域提取信息來(lái)解決各種任務(wù)。例如，Liu等人[20]引入小波變換來(lái)取代傳統(tǒng)的圖像調(diào)整大小操作，提高了放大和縮小過(guò)程的質(zhì)量。另一種方法，F(xiàn)DIT[21]則有效地將圖像分解為低頻和高頻分量，從而增強(qiáng)了整體圖像生成過(guò)程。在圖像去模糊領(lǐng)域，SDWNet[22]已成功地將小波變換集成到深度神經(jīng)網(wǎng)絡(luò)中，從而實(shí)現(xiàn)了出色的去模糊效果。類(lèi)似地，Xue等人[23]提出了一個(gè)緊湊的頻域神經(jīng)網(wǎng)絡(luò)，通過(guò)具有激活函數(shù)的多個(gè)卷積層來(lái)學(xué)習(xí)低層結(jié)構(gòu)，最終在頻域中實(shí)現(xiàn)更高質(zhì)量的圖像重建?？傮w而言，這些方法顯示了卷積神經(jīng)網(wǎng)絡(luò) (CNN) 在頻域空間操作時(shí)的有效性。

1.3 圖像的傅里葉域表征

傅里葉變換是信號(hào)處理中廣泛使用的強(qiáng)大工具，它可以將信號(hào)從時(shí)域變換到頻域，將其分解為易于實(shí)現(xiàn)和具有可觀察特性的基本信號(hào)的總和。它實(shí)現(xiàn)了從時(shí)間基到頻率基的基變化。作為多維信號(hào)，圖像的頻率是衡量像素強(qiáng)度變化程度的指標(biāo)。圖像的二維離散傅立葉變換可以定義為：

式中，f(x,y)表示輸入圖像在位置(x,y)處的像素值，F(xiàn)(u,v)表示復(fù)頻率分量，M和N是輸入圖像的寬度和高度，i是虛數(shù)單位。離散傅里葉變換后得到的圖像，通常用幅度和相位來(lái)表示：

式中，Im和Re分別表示圖像傅立葉變換的虛部和實(shí)部。幅度譜表示圖像中不同頻率分量的強(qiáng)度，而相位譜表示這些分量在圖像中的位置和相對(duì)相位。

2 基于傅里葉域優(yōu)化的圖像去摩爾紋

2.1 圖像去摩爾紋方法建模

2.2 傅里葉空間損失

本文對(duì)不同損失函數(shù)進(jìn)行優(yōu)化的結(jié)果進(jìn)行了頻譜分析，結(jié)果如圖1所示?？梢钥闯?，Ground-truth圖像的大部分亮點(diǎn)都集中在頻譜圖的中心，即低頻部分。而摩爾紋圖像的頻譜有更加對(duì)稱的高頻噪聲分布，這表明摩爾紋大部分集中在高頻區(qū)域。圖1c-1e表明使用空間域損失優(yōu)化的圖像仍然具有一些無(wú)法去除的對(duì)稱細(xì)線形狀或點(diǎn)狀噪聲?；谶@一觀察，本文的動(dòng)機(jī)是通過(guò)頻譜正則化來(lái)學(xué)習(xí)更真實(shí)的圖像。

圖1 不同損失函數(shù)優(yōu)化結(jié)果的頻譜分析圖

因此，本文提出一種與模型無(wú)關(guān)的傅里葉空間損失來(lái)訓(xùn)練圖像去摩爾紋網(wǎng)絡(luò)，圖像傅里葉頻譜中的特定空間頻率在經(jīng)過(guò)傅里葉變換后取決于所有圖像像素，因此具有全局性質(zhì)。目標(biāo)是減少基于 CNN的方法產(chǎn)生的失真，并利用頻率信息作為圖像去摩爾紋的指導(dǎo)。對(duì)于深度網(wǎng)絡(luò)，傅立葉空間約束可以提供額外的監(jiān)督以實(shí)現(xiàn)更好的圖像恢復(fù)。受這種直觀理解的啟發(fā)，設(shè)計(jì)了傅里葉空間損失來(lái)抑制摩爾紋圖案的生成。具體來(lái)說(shuō)，使用快速傅立葉變換來(lái)將輸出和相應(yīng)的地面真實(shí)圖像轉(zhuǎn)換到頻域。在頻域中，和之間的實(shí)部和虛部的L1范數(shù)差值分別表示為L(zhǎng)F,Re和LF,Im?；贔(u,v)和，LF,Re和LF,Im計(jì)算如下：

由于圖像由多個(gè)顏色通道組成，因此分別計(jì)算每個(gè)通道的傅里葉變換并按通道執(zhí)行變換。公式中省略了通道的表示。最后，傅立葉空間損失定義為L(zhǎng)F,Re和LF,Im之和：

摩爾紋的產(chǎn)生是頻率混疊從而不滿足奈奎斯特采樣定理產(chǎn)生的，與圖像在空間域中的表示相反，這些高頻率的噪聲可以在頻率空間中清楚地分離。此外，傅立葉分量提供有關(guān)圖像的全局信息，而不是由空間域中的像素表示的局部信息。利用這些屬性來(lái)設(shè)計(jì)新的損失，以實(shí)現(xiàn)高效的感知去摩爾紋訓(xùn)練。算法的流程圖如圖2所示。

圖2 傅里葉損失優(yōu)化算法的框架流程圖

2.3 訓(xùn)練損失設(shè)置

本文將 FSL 作為空間域中定義的損失（例如L1 或 L2 損失等）的補(bǔ)充損失。完整的訓(xùn)練損失設(shè)置由空間域中的損失和提出的傅里葉域中的損失組成。如下式所示：

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

本文的實(shí)驗(yàn)是在三個(gè)可公開(kāi)訪問(wèn)的基準(zhǔn)數(shù)據(jù)集上進(jìn)行的：LCD-Moiré、TIP2018和FHDMi。LCD-Moiré數(shù)據(jù)集包含10200對(duì)合成生成的圖像。TIP2018數(shù)據(jù)集是從ImageNet中提取的真實(shí)照片的集合，每張照片的分辨率為400×400。它包含135000個(gè)圖像對(duì)，其中90%-10%分別用于訓(xùn)練和測(cè)試。FHDMi數(shù)據(jù)集包括9 981個(gè)用于訓(xùn)練的圖像對(duì)和2 019個(gè)用于測(cè)試的圖像對(duì)，所有圖像對(duì)的分辨率為1920×1080。為了進(jìn)行評(píng)估，本文采用三個(gè)廣泛使用的指標(biāo)：PSNR（峰值信噪比）、SSIM（結(jié)構(gòu)相似性）和LPIPS（學(xué)習(xí)感知圖像塊相似性）進(jìn)行全面的定量分析。

3.2 實(shí)驗(yàn)細(xì)節(jié)

本文選擇DMCNN（一種具有多尺度結(jié)構(gòu)的圖像去摩爾紋網(wǎng)絡(luò)）作為骨干網(wǎng)絡(luò)來(lái)評(píng)估提出方法的有效性。初始學(xué)習(xí)率設(shè)置為0.000 1，并使用循環(huán)余弦退火策略進(jìn)行調(diào)節(jié)，模型使用 Adam優(yōu)化器進(jìn)行優(yōu)化。對(duì)于FHDMi和LCD-Moiré數(shù)據(jù)集，本文從高清圖像中隨機(jī)裁剪512×512塊，并以batchsize為訓(xùn)練模型150個(gè)epoch。對(duì)于TIP2018數(shù)據(jù)集，本文使用batchsize為4訓(xùn)練模型70個(gè)epoch。

3.3 結(jié)果和分析

3.3.1 實(shí)驗(yàn)結(jié)果

本文對(duì)每個(gè)數(shù)據(jù)集都采用PSNR、SSIM和LPIPS進(jìn)行定量評(píng)估，驗(yàn)證了所提出方法所帶來(lái)的改進(jìn)。較高的PSNR和SSIM 值表示較好的圖像質(zhì)量，而較低的LPIPS值則表示圖像感知質(zhì)量更好，因?yàn)樗砻魃傻膱D像的感知質(zhì)量更接近干凈的圖像。對(duì)比實(shí)驗(yàn)結(jié)果如表1中所示，與僅使用L1損失相比，使用傅里葉空間損失優(yōu)化的模型所有數(shù)據(jù)集都有一致的性能提升。與其他損失相比，F(xiàn)SL在大多數(shù)指標(biāo)中實(shí)現(xiàn)了最佳性能。此外，本文還進(jìn)行了消融實(shí)驗(yàn)，以探究幅度和相位對(duì)圖像去摩爾紋網(wǎng)絡(luò)性能的影響。實(shí)驗(yàn)結(jié)果表明，從整體傅里葉空間損失中單一去除幅度或相位分量會(huì)顯著降低性能，這表明了同時(shí)考慮這兩個(gè)分量的重要性。值得注意的是，可以觀察到保留幅度信息的性能增益相對(duì)大于相位信息的性能增益，這是由于能量主要集中在振幅上。

表1 不同損失的性能比較

3.3.2 主觀質(zhì)量結(jié)果比較

本文還將提出的方法與廣泛使用的損失函數(shù)（包括 L1 loss, ASL, Perceptual loss and FFL）進(jìn)行主觀質(zhì)量結(jié)果比較。主觀質(zhì)量對(duì)比結(jié)果如圖3和圖4所示，顯示了提出方法的有效性。對(duì)于合成的 LCD-moiré數(shù)據(jù)集，可以觀察到使用傅里葉損失進(jìn)行優(yōu)化的復(fù)原結(jié)果比其他方法更自然，并且減輕了模糊性。對(duì)于第一張圖像，F(xiàn)SL顯著降低了在平坦區(qū)域中生成大面積偽影的風(fēng)險(xiǎn)，并有效去除了大多數(shù)高頻摩爾紋圖案，從而提高了圖像的感知質(zhì)量。在其他行中，提出的方法也比對(duì)比方法恢復(fù)得更好。使用傅里葉損失優(yōu)化的結(jié)果中的紋理細(xì)節(jié)清晰，沒(méi)有嚴(yán)重扭曲，而其他方法無(wú)法顯示出令人滿意的物體外觀。

圖3 不同損失函數(shù)合成LCD-Moiré上的主觀質(zhì)量結(jié)果

圖4 不同損失函數(shù)在真實(shí)FHDMi上的主觀質(zhì)量結(jié)果

對(duì)真實(shí)數(shù)據(jù)集 FHDMi 的主觀質(zhì)量結(jié)果分析表明，通過(guò)提出的方法進(jìn)行優(yōu)化的模型獲得的圖像在主觀上更令人愉悅。這也表明了提出方法具有很強(qiáng)的泛化能力，在不同的數(shù)據(jù)集和不同的場(chǎng)景下都能實(shí)現(xiàn)較好的性能提升。

3.3.3 消融實(shí)驗(yàn)

此外，本文還探究了了提出的FSL在不同網(wǎng)絡(luò)架構(gòu)中的適用性和通用性。表2中的結(jié)果表明，將FSL集成到各種架構(gòu)中可以一致地提高所有評(píng)價(jià)指標(biāo)的性能。這表明了FSL與模型無(wú)關(guān)的特性，從而驗(yàn)證了其在不同網(wǎng)絡(luò)結(jié)構(gòu)中使用的通用性。

表2 FSL用于不同網(wǎng)絡(luò)中的PSNR和SSIM性能對(duì)比

表3 不同λ取值的結(jié)果

表4 不同損失函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)配置的結(jié)果對(duì)比

3.3.5 驗(yàn)證與相關(guān)損失互補(bǔ)性

本文還進(jìn)行了一個(gè)實(shí)驗(yàn)來(lái)驗(yàn)證所提出的FSL和感知損失的互補(bǔ)性，結(jié)果如表 4所示。設(shè)置1至3表明，L1像素?fù)p失和FSL的組合可達(dá)到37.0480dB的性能，比單獨(dú)使用L1損失高出約2.46dB。這表明了提出的FSL在提高去摩爾紋圖像質(zhì)量方面的有效性。設(shè)置4和5顯示了所提出的FSL與感知損失的強(qiáng)大互補(bǔ)性，而設(shè)置6-8進(jìn)一步證實(shí)了FSL在較大模型中與感知損失結(jié)合使用時(shí)的有效性。

4 結(jié)語(yǔ)

本文介紹了一種新穎的損失函數(shù) FSL，旨在提高圖像去摩爾紋網(wǎng)絡(luò)的恢復(fù)質(zhì)量。通過(guò)使用傅立葉變換在頻域中進(jìn)行優(yōu)化，F(xiàn)SL 可以更精確地消除高頻摩爾紋圖案和大面積黑色偽影。將 FSL 集成到訓(xùn)練過(guò)程中可以顯著提高所需圖像的視覺(jué)質(zhì)量。本文的實(shí)驗(yàn)結(jié)果驗(yàn)證FSL 在定量指標(biāo)和視覺(jué)質(zhì)量方面都取得了較好的性能提升，證明了所提方法的有效性。