李 楊,田 斌,楊 超

(武漢工程大學(xué)電氣信息學(xué)院,湖北 武漢 430205)

0 引言

磁信號傳感器已經(jīng)被廣泛應(yīng)用到航空航天、交通運輸、工業(yè)生產(chǎn)等領(lǐng)域中[1]。磁信號自身信號微弱且易受外界干擾的影響,導(dǎo)致傳感器測量的信號信噪比低且噪聲呈非線性與非高斯性。實測磁信號的該特性對后續(xù)信號的處理造成負(fù)面的影響,甚至進(jìn)一步可能導(dǎo)致檢測與測量任務(wù)的失敗[2]。因此,高效的實測磁信號去噪算法成為現(xiàn)今磁信號檢測與測量技術(shù)研究中的熱點問題[2]。

當(dāng)前常用的信號去噪算法可分為傳統(tǒng)信號去噪算法和基于深度學(xué)習(xí)的信號去噪方法兩類。文獻(xiàn)[3]提出了一種將高斯尺度小波變換混合模型和貝葉斯估計相結(jié)合的分?jǐn)?shù)階小波域模型來處理實測地震信號,實驗結(jié)果表明該方法可以有效地抑制地震信號中的隨機(jī)噪聲。文獻(xiàn)[4]針對傳統(tǒng)經(jīng)驗?zāi)B(tài)分解方法會產(chǎn)生目標(biāo)信息失真這一問題,提出了一種改進(jìn)經(jīng)驗?zāi)B(tài)分解方法來解決這個問題,改進(jìn)后的經(jīng)驗?zāi)B(tài)分解方法取得了良好的效果。文獻(xiàn)[5]分析了復(fù)雜的噪聲結(jié)構(gòu)和微弱信號特征,提出了一種模型約束下的在線字典學(xué)習(xí)去噪方法,該方法可以在高噪聲背景下有效地提取出微弱信號。上述方法雖然都取得了良好的實驗結(jié)果,但是存在泛用性差和需要人工設(shè)置的參數(shù)量多的問題,這些參數(shù)的質(zhì)量會影響最終算法的效果,且對于不同的數(shù)據(jù)類型最優(yōu)參數(shù)都不同。

因深度學(xué)習(xí)算法的發(fā)展,自適應(yīng)去噪算法研究成為當(dāng)前此類研究的熱點。如文獻(xiàn)[6]提出了模糊C均值深度信念網(wǎng)絡(luò)FCMDBN模型結(jié)構(gòu),使用該模型處理心電信號發(fā)現(xiàn)該模型具有較高的適應(yīng)性。文獻(xiàn)[7]使用長短時記憶(long short-term memory, LSTM)神經(jīng)網(wǎng)絡(luò)來處理地電場數(shù)據(jù),可以有效地處理地電場數(shù)據(jù)。文獻(xiàn)[8]提出了一種將遞增卷積和遞減卷積相結(jié)合的神經(jīng)網(wǎng)絡(luò)模型,利用該模型對含有高噪聲的信號進(jìn)行去噪,發(fā)現(xiàn)該模型可以有效地去除噪聲,并獲得更高的峰值信噪比和結(jié)構(gòu)相似度。文獻(xiàn)[9]提出了一種基于雙向LSTM神經(jīng)網(wǎng)絡(luò)來抑制信號中的噪聲,在非平穩(wěn)噪聲環(huán)境中,該算法可以獲得較好的特征提取效果。

上述方法雖然都在信號去噪領(lǐng)域中取得了成功,但是這些方法都使用了ReLU[10]激活函數(shù),ReLU激活函數(shù)會將特征圖中小于0的部分全部濾除。磁信號傳感器探測到的信號是矢量,具有方向信息,使用ReLU激活函數(shù)就會導(dǎo)致特征丟失,得到的去噪信號信噪比低。在某些無法得知信號中噪聲分布的情況下,使用傳統(tǒng)信號處理算法,就需要對探測環(huán)境進(jìn)行仿真,來得到純凈信號的理論值,而實際探測到的信號值往往與理論值不一致,因此在這種情況下人工設(shè)置的參數(shù)也不一定能得到正確的純凈信號。為解決上述問題,提出一種可用于磁信號去噪的激活函數(shù)APSTF。

1 理論知識

1.1 傳統(tǒng)軟閾值函數(shù)

軟閾值函數(shù)是信號去噪算法的重要組成部分[11-12],該函數(shù)能提高均方誤差信號的收斂速度,解決含已知分布噪聲的信號去噪問題。然而,在含分布未知噪聲的情況下,則需要模擬不含噪聲的理想信號為去噪算法提供參考。此類方法費時費力且效果不佳。深度學(xué)習(xí)提供了一個新的方法可以較好地解決此問題,神經(jīng)網(wǎng)絡(luò)可以通過梯度下降算法來自動學(xué)習(xí)如何選取合適的閾值。由于軟閾值函數(shù)可以和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)融合,形成APSTF,該函數(shù)可以抑制數(shù)據(jù)中的噪聲,并將數(shù)據(jù)中的有用信息提取出來,重建高質(zhì)量的特征。軟閾值函數(shù)的定義如下:

(1)

式(1)中,x是輸入特征圖,y是輸出特征圖,τ是閾值。利用軟閾值函數(shù)來替代ReLU作為神經(jīng)網(wǎng)絡(luò)的激活函數(shù),可以保證磁信號特征不會丟失,并可以有效地對其進(jìn)行去噪處理。由式(1)可知,軟閾值函數(shù)的導(dǎo)數(shù)不是0就是1,這可以有效地防止梯度消失,和ReLU具有類似的功能。

1.2 深度學(xué)習(xí)相關(guān)知識

卷積層是神經(jīng)網(wǎng)絡(luò)中不可或缺的一部分,與全連接層不同的是卷積層需要訓(xùn)練的參數(shù)量更少,可以有效地避免過擬合。卷積操作是卷積核與輸入特征圖的逐點相乘之和,再加上一個偏置項,其表達(dá)式為

(2)

式(2)中,xi是第i個通道的輸入特征圖,yj是第j個通道的輸出特征圖,k是卷積核,b是偏置項,Mj是通道數(shù)的集合。

ReLU激活函數(shù)被廣泛使用,因為它可以有效地防止梯度消失。ReLU激活函數(shù)的導(dǎo)數(shù)不是0就是1,當(dāng)在層與層之間傳播時,這種特性使特征圖的數(shù)值范圍不被改變,使得神經(jīng)網(wǎng)絡(luò)模型易于訓(xùn)練。ReLU激活函數(shù)公式為

y=max(0,x)。

(3)

全局平均池化(global average pooling, GAP)是一種將每個通道特征圖變?yōu)橐粋€平均值的操作。GAP可以減少輸出層的參數(shù),避免模型遇到過擬合問題。

MSE損失函數(shù)被廣泛應(yīng)用在回歸問題中,其數(shù)學(xué)表達(dá)式為

(4)

式(4)中,n代表輸入數(shù)據(jù)的長度,i代表當(dāng)前數(shù)據(jù)的索引。

2 基于APSTF的深度學(xué)習(xí)去噪算法

2.1 自適應(yīng)參數(shù)軟閾值函數(shù)及其實現(xiàn)

對噪聲和傳統(tǒng)信號處理算法進(jìn)行研究,發(fā)現(xiàn)大部分噪聲都是近0的,且軟閾值函數(shù)作為傳統(tǒng)信號處理算法的核心可以有效地對信號進(jìn)行去噪。受此啟發(fā),本文提出了一種可用于磁信號去噪的激活函數(shù)APSTF。

在傳統(tǒng)的信號處理算法中,人工設(shè)置合適的閾值是沒有通適性方法的。為了解決這個問題,本文將ECA模塊和軟閾值函數(shù)進(jìn)行了結(jié)合,形成了APSTF。

本文實驗將APSTF作為激活函數(shù),插入到神經(jīng)網(wǎng)絡(luò)框架中,閾值不需要人工設(shè)置,神經(jīng)網(wǎng)絡(luò)會根據(jù)不同的輸入數(shù)據(jù),自動地設(shè)置不同的閾值,達(dá)到最優(yōu)的特征提取效果。APSTF網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 APSTF網(wǎng)絡(luò)結(jié)構(gòu)

本文使用的改進(jìn)ECA模塊和原始ECA模塊不同的是原始ECA模塊將輸入特征圖和經(jīng)過Sigmoid激活函數(shù)的輸出進(jìn)行元素級乘法來得到輸出特征圖,而APSTF中的改進(jìn)ECA模塊令卷積的輸出和經(jīng)過Sigmoid激活函數(shù)的輸出進(jìn)行元素級乘法來得到軟閾值τ。在改進(jìn)ECA模塊中,GAP將輸入特征壓縮為全是正數(shù)的一維向量,然后將一維向量送入卷積層去獲得一組放縮系數(shù),在卷積層后面使用Sigmoid激活函數(shù),將卷積層得到的結(jié)果壓縮到0到1之間,確保這組放縮系數(shù)不會太大,若放縮系數(shù)過大,會使得最后得到的閾值τ過大,這樣就會將特征圖中所有特征過濾掉,但是噪聲通常是近0的,因此需要使用Sigmoid激活函數(shù)來壓縮放縮系數(shù)的值,使得閾值τ處于合理的范圍之內(nèi)。Sigmoid激活函數(shù)的數(shù)學(xué)表達(dá)式為

(5)

式(5)中,z是卷積層輸出的特征,α是對應(yīng)于特征圖中每個通道的放縮系數(shù)。在得到放縮系數(shù)α后,α乘平均值|x|來得到閾值。閾值τ的數(shù)學(xué)表達(dá)式為

τ=α×average|xi,j,c|,

(6)

式(6)中,i是特征圖x的行索引,j是特征圖x的列索引,c是特征圖的通道索引。通過式(6)可知,閾值τ處于一個合適的大小,不會將特征圖中所有的信息都置為0。在得到閾值后,將輸入特征圖分為正樣本特征圖和負(fù)樣本特征圖,正樣本特征圖是輸入特征圖中大于閾值τ的部分,負(fù)樣本特征圖是輸入特征圖中小于閾值-τ的部分,它們的數(shù)學(xué)表達(dá)式為

ypos=max(x,τ),

(7)

yneg=min(x,-τ),

(8)

式中,ypos是正樣本特征圖,yneg是負(fù)樣本特征圖。在得到正、負(fù)樣本特征圖后,讓正樣本減去閾值τ負(fù)樣本加上τ,它們的數(shù)學(xué)表達(dá)式為

y1=ypos-τ,

(9)

y2=yneg+τ,

(10)

式中,y1和y2分別是正樣本特征圖和負(fù)樣本特征圖經(jīng)過軟閾值化后的輸出。得到處理后的正負(fù)樣本特征圖后,將這兩個樣本特征圖進(jìn)行數(shù)值相加,就可以得到最終的輸出特征圖,數(shù)學(xué)表達(dá)式為

y=y1+y2,

(11)

式(11)中,y是最終的輸出特征圖。以上過程就是特征圖被軟閾值化的整個過程。

2.2 深度學(xué)習(xí)去噪算法

圖2為本文使用的U-Net網(wǎng)絡(luò)結(jié)構(gòu)。U-Net有編碼(下采樣)和解碼(上采樣)兩個過程,初始輸入為1×1 024的一維信號,在編碼過程中使用1×3大小的卷積核,使用了1×2大小卷積核的最大池化層對輸入信號進(jìn)行降維解碼處理。在每一個卷積層后都使用APSTF作為激活函數(shù)。在解碼過程中,使用上采樣操作對輸入特征圖進(jìn)行解碼處理。網(wǎng)絡(luò)接收到的特征圖經(jīng)過上采樣層后將特征圖的尺寸大小翻倍,同時與編碼過程中輸出的特征圖進(jìn)行合并,最終在網(wǎng)絡(luò)結(jié)構(gòu)的最后一層解碼出處理過后的一維信號,大小仍為1×1 024。使用的U-Net與原始U-Net網(wǎng)絡(luò)結(jié)構(gòu)總體一致,只是使用的激活函數(shù)不同。

圖2 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集建立及超參數(shù)選取

圖3所示的是實驗使用的三軸感應(yīng)式傳感器,傳感器探頭被黑框標(biāo)出。由于該傳感器具有硬件濾波電路,探測值近似于純凈信號,因此直接將其作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練標(biāo)簽數(shù)據(jù),對探測數(shù)據(jù)加入不同程度的高斯白噪聲(-5～5 dB)作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。

圖3 磁數(shù)據(jù)采集系統(tǒng)

本文實驗選用U-Net神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò),網(wǎng)絡(luò)內(nèi)部參數(shù)與原始U-Net保持一致,在訓(xùn)練模型時,采用了10折交叉驗證法,該方法是將訓(xùn)練數(shù)據(jù)集平均劃分為10份,其中9份用于訓(xùn)練,1份用于驗證,每訓(xùn)練完成1個epoch后,都會更新驗證集中的數(shù)據(jù)。

在訓(xùn)練模型最初的40個epoch中,初始學(xué)習(xí)率為10-3,在隨后的40個epoch中,學(xué)習(xí)率為10-4,在最后的20個epoch中,學(xué)習(xí)率為10-5,這么做的目的是為了讓模型在訓(xùn)練的后期可以找到最優(yōu)參數(shù)。

為了防止神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象,在網(wǎng)絡(luò)結(jié)構(gòu)中加入了L2正則化參數(shù)、早停技術(shù)和學(xué)習(xí)率自降低技術(shù)。L2參數(shù)可以將神經(jīng)網(wǎng)絡(luò)中的權(quán)重值壓縮到近0值,降低神經(jīng)網(wǎng)絡(luò)中參數(shù)的變化幅度。本文實驗將L2參數(shù)設(shè)置為10-5;學(xué)習(xí)率自降低技術(shù)是當(dāng)模型在訓(xùn)練幾個回合后,模型性能基本不變,這時就降低學(xué)習(xí)率來讓模型進(jìn)一步學(xué)習(xí);早停技術(shù)是當(dāng)模型在訓(xùn)練幾個回合后,性能基本不變,就停止模型進(jìn)一步訓(xùn)練。在本文實驗中,設(shè)置了連續(xù)3個訓(xùn)練回合loss不下降就讓學(xué)習(xí)率降低0.1,如從0.1自動更改為0.01,連續(xù)訓(xùn)練10輪數(shù)據(jù),loss不下降就讓模型早停,防止模型的訓(xùn)練不充分和過擬合。

3.2 實驗結(jié)果分析

建立了訓(xùn)練數(shù)據(jù)信噪比從-5～5 dB的10個訓(xùn)練數(shù)據(jù)集和與之對應(yīng)的測試集。實驗首先用訓(xùn)練數(shù)據(jù)信噪比為-5 dB的數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò),然后在與之對應(yīng)的測試集上驗證了APSTF的有效性,最后將10個訓(xùn)練數(shù)據(jù)集做成一個綜合數(shù)據(jù)集,利用綜合訓(xùn)練集訓(xùn)練神經(jīng)網(wǎng)絡(luò),在綜合測試集上進(jìn)一步驗證了APSTF的有效性。原始數(shù)據(jù)和加噪后的數(shù)據(jù)見圖4。

圖4 純凈信號和噪聲信號

本文實驗首先用信噪比為-5 dB的訓(xùn)練集作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù),且用與之對應(yīng)的驗證集分別驗證了ReLU[10]、ELU[13]、LeakyReLU[14]、PReLU[15]、APReLU[16]、DY-ReLU-A、DY-ReLU-B、DY-ReLU-C[17]和APSTF的性能,具體性能指標(biāo)如表1所示。

表1 訓(xùn)練數(shù)據(jù)信噪比為-5 dB時不同激活函數(shù)的性能

由表1可知,使用了APSTF的U-Net去噪效果最好,去噪后信號的平均信噪比比其他方法分別高了2.654 7、2.532 5、2.529 4、2.4、1.985 7、2.500 9、2.353 1、2.455 2 dB;訓(xùn)練誤差分別低了0.047、0.020、0.029、0.022、0.026、0.033、0.025、0.036;GPU延遲分別高了25、124、117、121、22、128、123、95 ms;參數(shù)量分別多了2.88倍、2.88倍、2.88倍、1.96倍、2.51倍、2.62倍、1.94倍、1.94倍。其中GPU延遲指的是神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和預(yù)測時,處理一批數(shù)據(jù)使用的時間。

為了說明本文方法的有效性,使用一組信噪比為-5 dB的信號分別輸入到APSTF和ReLU中,將這兩個神經(jīng)網(wǎng)絡(luò)倒數(shù)第二層的第一個通道得到的特征進(jìn)行可視化,輸出特征圖如圖5所示。

圖5 APSTF和ReLU輸出特征圖

由圖5細(xì)節(jié)圖可知,使用了ReLU的U-Net得到的輸出特征會將小于0的部分都置為0,只保留大于0的特征,使用了APSTF的U-Net不僅可以保留負(fù)值特征,還會將噪聲從信號中剔除出去,提取到的特征值與純凈信號值非常接近,這也為最后一層卷積還原純凈信號提供了堅實的基礎(chǔ)。

為了進(jìn)一步驗證本文方法的有效性,用綜合訓(xùn)練集作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù),在綜合測試集上分別驗證了小波變換、ReLU、ELU、LeakyReLU、PReLU、APReLU、DY-ReLU-A、DY-ReLU-B、DY-ReLU-C和APSTF的性能,具體性能指標(biāo)如表2所示。

表2 不同方法在綜合測試集上的性能

小波變換是信號處理中常用的算法,該算法可以達(dá)到較好的去噪效果,因此本文將小波去噪算法得到的結(jié)果作為基線。由表2可知,除了本文提出的APSTF,其他方法得到的結(jié)果均比基線低,進(jìn)一步驗證了APSTF的有效性。

使用不同的方法對同一組信號進(jìn)行去噪,得到去噪后的結(jié)果見圖6。

圖6 不同方法輸出信號圖

由圖6(a)可知,由小波去噪算法得到的還原信號的大部分值都在純凈信號和噪聲信號之間,這說明了去噪算法的有效性,但是少部分值要高于純凈信號,這部分值沒有還原得很好,造成了一些還原信號信噪比的損失。圖6(b)、(d)和(e)得到的還原信號較為相似,還原信號大于0部分的值幾乎都在純凈信號和含噪信號之間,去噪效果良好,但是ReLU和LeakyReLU基本把負(fù)值特征全部過濾掉了,因此在負(fù)值信號上的還原很差,造成了還原信號信噪比的損失,若將LeakyReLU中的α參數(shù)增大,可能會將噪聲包含進(jìn)來,造成信噪比的損失。圖6(c)得到的還原信號是比較差的,它將負(fù)值特征全部過濾掉,且在正值信號的還原上也比純凈信號的值高,這說明它過度地還原信號,反而為還原信號中加入了一些噪聲。圖6(f)在這組信號的還原上是最差的,為信號加入了很多噪聲,導(dǎo)致去噪后信號的值要遠(yuǎn)高于純凈信號值。圖6(g)得到的還原信號值在大于0部分的值都處于純凈信號和含噪信號之間,在小于0的部分,雖然有一定的去噪效果,但這仍比小波去噪的效果要差。圖6(h)和(i)得到的還原信號值是比較差的,去噪信號值要小于純凈信號值。而使用了APSTF激活函數(shù)的U-Net得到的去噪后信號的值在純凈信號和噪聲信號值之間,且與純凈信號值非常接近,完美地還原了純凈信號。

為了說明本文方法的訓(xùn)練難易程度,將ReLU的訓(xùn)練過程和本文方法的訓(xùn)練過程進(jìn)行對比,訓(xùn)練時loss對比圖見圖7,驗證時loss對比圖見圖8。

圖7 訓(xùn)練不同方法時的loss曲線

圖8 驗證不同方法時的loss曲線

由圖7可知,在訓(xùn)練時,使用ReLU的U-Net訓(xùn)練了65個回合后停止了訓(xùn)練,即此時模型已收斂,使用了APSTF的U-Net訓(xùn)練了66個回合后停止訓(xùn)練,在第10個回合的訓(xùn)練時,loss值出現(xiàn)了跳變,在跳變后loss繼續(xù)降低,下降的總體趨勢與ReLU一致。

由圖8可知,在驗證時,使用了APSTF的U-Net在第17訓(xùn)練回合結(jié)束后,在驗證集上的loss出現(xiàn)了跳變,而后驗證集loss持續(xù)降低,降低趨勢與ReLU一致。

雖然本文提出的APSTF會使神經(jīng)網(wǎng)絡(luò)的參數(shù)量增多,但是通過早停和學(xué)習(xí)率自降低這兩種輔助訓(xùn)練技術(shù),可以使神經(jīng)網(wǎng)絡(luò)正常訓(xùn)練,且獲得較好的性能。

4 結(jié)論

本文提出的APSTF可以提升神經(jīng)網(wǎng)絡(luò)在高噪聲特征圖中學(xué)習(xí)特征的能力,從而達(dá)到更好的去噪效果。該方法利用ECA模塊來自動地選取閾值τ,通過梯度下降算法訓(xùn)練神經(jīng)網(wǎng)絡(luò),使閾值τ逐漸向最優(yōu)值收斂。該方法不僅適用于含已知分布噪聲的信號去噪問題,還適用于分布未知噪聲的信號去噪問題,且無需將不含噪聲的理想信號作為參考信號,就可以得到最好的去噪效果。但是該方法仍然存在參數(shù)量大、單步訓(xùn)練時間長的問題。若是將該方法應(yīng)用在圖像識別任務(wù)中,會使模型的參數(shù)量成倍增加,這會引發(fā)過擬合現(xiàn)象。在未來的研究中,會考慮將深度可分離卷積融入到APSTF中,提出一種輕量級的APSTF方法,并為其設(shè)計一個合理的神經(jīng)網(wǎng)絡(luò)模型。