薛永航，白 帆，李 娜

（沈陽理工大學，遼寧 沈陽 110168）

0 引言

在實際工程中，圖像采集和傳輸過程中會受到外界因素干擾，尤其噪聲的影響，從而導致圖像特征提取不準確。因此，如何能夠有效去除圖像中的噪聲，在圖像處理領(lǐng)域具有重要意義。傳統(tǒng)去噪方法容易造成信息丟失、計算復雜度高和參數(shù)選擇困難等問題。隨著深度學習的發(fā)展[1]，從卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、到變分神經(jīng)網(wǎng)絡(luò)。這些方法從圖像特征角度處理噪聲，難以學習時頻圖像噪聲分布，由此導致時頻圖噪聲去除時邊緣信息丟失多，效果較差[2]。為了提高神經(jīng)網(wǎng)絡(luò)在時頻圖像的噪聲去除效果，通過Wigner-Ville（Wigner-Ville Distibution，WVD）分布算法[3]，提供了時頻圖像在時域和頻域上的局部信息，使得在時間和頻率上同時具有較高的分辨率[4]。讓網(wǎng)絡(luò)學習到噪聲圖像和無噪聲圖像的特征，極大降低了該算法在通用數(shù)據(jù)集上的敏感程度，有效提升了模型泛化能力。

本文通過基于LoRA 的擴散模型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[5]，將其應(yīng)用于時頻圖像去噪，解決了在復雜工況下時頻圖像噪聲難以去除的問題，通過學習含噪信號及無噪信號圖像概率分布，達到去除噪聲的目的。實驗結(jié)果表明，相對于傳統(tǒng)深度學習去噪模型，該模型能夠有效去除時頻圖像的噪聲。

1 算法原理

1.1 基于LoRA 的去噪擴散模型

該算法將擴散模型以及LoRA 網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合，用于時頻信號圖像的去噪，整個網(wǎng)絡(luò)分為兩大部分，訓練階段和采樣階段。

（1）訓練階段

首先，使用已預訓練的自編碼器將時頻圖像從像素空間映射到潛在空間，以學習時頻圖像的隱式表達，同時壓縮圖像尺寸，減少計算該網(wǎng)絡(luò)計算復雜度和模型的參數(shù)量。然后，由文本編碼器對含有噪聲的時頻圖像的提示文本進行編碼，生成大小為[B，K，E] 的嵌入文本詞。其中，B 表示批次大小，K 表示文本的最大編碼長度，E 表示嵌入的維度，嵌入文本能夠有效捕捉時頻圖像語義特征?；贚oRA 的擴散模型輸出噪聲?θ，通過計算時頻圖像與真實噪聲之間的誤差作為損失函數(shù)。通過反向傳播算法，更新模型中的參數(shù)。

（2）采樣階段

采樣階段包括對時頻圖像文本編碼和時頻圖像解碼過程。在文本編碼過程中，文本編碼器由輸入的描述文本標簽，對時頻圖像的描述文本進行編碼，包括時頻噪聲生成與恢復潛在表示，隨機產(chǎn)生大小為[B，Z，H/8，W/8] 的噪聲，利用訓練好的模型，對網(wǎng)絡(luò)中參數(shù)進行迭代，逐步去除時頻圖像中的噪聲，恢復時頻圖像的潛在表示。

1.2 LoRA 結(jié)構(gòu)應(yīng)用

LoRA 預訓練模型（Pretrianed Weight）可以用于時頻圖像去噪任務(wù)的模塊中，通過調(diào)整替換矩陣A和B，可以達到凍結(jié)共享模型的作用，能夠有效的切換不同訓練任務(wù)，即訓練時頻圖像和圖像描述文本，從而顯著的降低數(shù)據(jù)參數(shù)存儲需求，使得LoRA 的訓練更加有效。

通過訓練時頻圖像的提示文本，可以替代整個擴散模型的參數(shù)訓練，在原有對圖像特征提取的基礎(chǔ)上，可以使該算法識別到噪聲圖像的準確率有效提升。

圖1 LoRA 結(jié)構(gòu)

1.3 擴散過程

擴散過程中將隨機噪聲添加到數(shù)據(jù)中，從噪聲中構(gòu)造所需的數(shù)據(jù)樣本。與VAE 模型不同，擴散模型是通過固定過程學習，并且潛在變量具有與原始數(shù)據(jù)相同方法。

（1）前向過程

逐步添加高斯噪聲到圖像中，得到一個含有噪聲的時頻圖像。其中，Xt時刻的分布等于Xt-1時刻的分布加上高斯分布的噪聲。

式中：Xt表示t時刻圖像，其中t?[1，T]，αt是噪聲的衰減值，Z表示高斯噪聲。

重復迭代后，可由初始狀態(tài)X0得任意t時刻分布：

（2）逆向過程

在此過程中，逐步從噪聲中復原出原始時頻圖。由貝葉斯公式可知：

q（Xt-1|Xt）為給定Xt時Xt-1的概率分布，由于q（Xt-1）分布無法直接求取，因此用條件概率分布q（Xt-1|Xt，X0）近似求解，如（4）式所示。

在已知X0的情況下，可以求出Xt-1時刻的分布。

重復迭代后，最終可預測出X0時刻的分布。

式中：βt= 1 -αt，?θ（Xt，t）表示t時刻模型預測的噪聲，σt表示預測的噪聲方差。

2 實驗結(jié)果與分析

2.1 實驗流程

為了驗證該算法去噪性能，本次研究采用一組工況數(shù)據(jù)集，該數(shù)據(jù)是兩相電流信號，維度是2×10000，首先，對該數(shù)據(jù)維度進行處理，然后，將二維信號處理成一維信號，截取部分信號數(shù)據(jù)，通過WVD 算法，將該數(shù)據(jù)轉(zhuǎn)成時頻圖，以便于更好捕捉信號在不同頻率上的瞬時特性。并且，對原始數(shù)據(jù)添加均值為0.2 和標準差為0.35 的高斯噪聲，以驗證算法的可靠性。整個訓練過程，選擇Adam（Adaptive Moment Estimation）參數(shù)優(yōu)化器，學習率設(shè)置為0.001，訓練150 個周期。

2.2 評價指標

（1）峰值信噪比計算（Peak signal-to-noise ratio，PSNR）：

峰值信噪比通過均方差（MSE）進行定義，方差定義為：

由方差可知，峰值信噪計算公式如下：

（2）結(jié)構(gòu)相似度計算（Structural Similarity，SSIM）：

通過從圖像的亮度、對比度、結(jié)構(gòu)三個方面度量圖像相似性，計算如下：

其中，μX，μY分別表示圖像X和Y的均值，σX，σY分別表示圖像X和Y的方差，σX σY表示圖像X和Y的協(xié)方差，C1、C2、C3表示一個常數(shù)。SSIM 的取值范圍在[0，1]之間，它的值越大，表示圖像的失真越小。

2.3 實驗結(jié)果

通過WVD 算法處理后的時頻圖像，數(shù)據(jù)信息被壓縮，時頻圖像特征信息區(qū)分不明顯，在VAE 算法中，首先對原始時頻圖圖像進行編碼，輸入的時頻圖像X 通過編碼器輸出兩個M 維向量，這兩個向量是潛在空間Z 的兩個參數(shù)。其次，在潛在空間Z 中增加約束條件，這個約束條件迫使?jié)撛诳臻gZ 產(chǎn)生服從單位正態(tài)分布的潛在變量。最后，Z 通過解碼器生成一個樣本，由于是隨機采樣，從而導致潛在空間Z 的不確定性，變分后驗難以選擇。因此，當時頻圖像中噪聲分布不均勻時，實際輸出時頻圖像數(shù)據(jù)和輸入圖像數(shù)據(jù)出現(xiàn)較大偏差，導致VAE 難以學習原時頻圖像分布，無法近似真實后驗，網(wǎng)絡(luò)模型去噪效果差，且容易引入新的噪聲。由圖2 可知，a 圖噪聲去除但時頻信息損失較多，b 圖噪聲仍分布于中間區(qū)域，未去除完全。圖像的峰值信噪難以達到20，其結(jié)構(gòu)相似度低于0.9。

相較于VAE 算法，采用基于LoRA 的擴散模型去噪方法，先對隨機噪聲樣本進行采樣，通過逐步采樣噪聲樣本，將采樣后的噪聲樣本進行嵌入，包括時間嵌入以及文本嵌入，時間嵌入即上文提到的擴散過程，通過前向過程和逆向過程，對時頻圖像進行加噪和去噪，從而能夠有效還原時頻圖像的峰值信息，其次，文本嵌入引入LoRA 語言模型，極大增強了網(wǎng)絡(luò)對時頻圖像噪聲的理解，彌補了網(wǎng)絡(luò)在時頻圖像的低峰值區(qū)域的不敏感程度，使得該網(wǎng)絡(luò)能夠有效理解時頻圖像輸入信息以及噪聲水平，該方法在時頻圖像去噪中效果更好，通過將去噪圖像與原始噪聲圖像對比分析可知，該時頻圖像細節(jié)恢復較高，噪聲去除效果顯著。不同于VAE 算法中高斯采樣，基于LoRA 的擴散模型去噪方法采樣方式更多，有Euler 一階采樣器以及擴散概率模型求解器（Dirichlet Process Mixture，DPM），數(shù)據(jù)表明DPM++采樣方式效果最優(yōu)，該算法相較于VAE，峰值信噪比提升20.2%，結(jié)構(gòu)相似度提升11%，訓練時間縮短0.7 h。由圖3 可知，在a 圖及b圖中，該算法針對時頻信號圖像，去除了大部分噪聲并保留了原始圖像的邊緣信息。VAE 去噪算法以及基于LoRA 擴散模型去噪算法，計算峰值信噪比和結(jié)構(gòu)相似度指標見表1。該算法去噪效果見圖2 和圖3。

表1 VAE 及擴散模型在時頻信號圖中PSNR 和SSIM 指標

圖3 基于LoRA 的擴散模型去噪效果

3 結(jié)語

針對時頻圖像的噪聲分布，本研究采用基于LoRA 微調(diào)的擴散模型對時頻圖像去噪，在時頻圖像恢復中取得了顯著的效果。該模型通過深度神經(jīng)網(wǎng)絡(luò)模型，學習含有噪聲的時頻圖像分布，成功地降低了噪聲對時頻圖像的影響，并恢復了原始時頻圖像的細節(jié)，提高了時頻圖像的清晰度。

該算法在峰值信噪比和結(jié)構(gòu)相似度評價指標上表現(xiàn)出較為理想的結(jié)果，驗證了在時頻圖像去噪任務(wù)上的有效性和可靠性。通過對比原始噪聲圖像和去噪圖像，可以明顯看出時頻圖像噪聲顯著減少，去噪質(zhì)量顯著提高。在未來研究中可以考慮優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、增加訓練數(shù)據(jù)量、引入更多微調(diào)方式進行模型訓練，以進一步提升去噪效果。