楊 健，李立新，廖晨茜，蔡晉輝，曾九孫

(1.中國(guó)計(jì)量大學(xué)，浙江 杭州 310018;2.中電?？导瘓F(tuán)有限公司，浙江 杭州 310000)

0 引 言

傳動(dòng)裝置在工業(yè)生產(chǎn)中是常用的機(jī)械設(shè)備，它的平穩(wěn)運(yùn)行離不開(kāi)軸承的正常工作。軸承一旦發(fā)生異常，有可能引發(fā)設(shè)備的故障，嚴(yán)重時(shí)還可能造成生命和財(cái)產(chǎn)的重大損失。為保障傳動(dòng)裝置的安全平穩(wěn)運(yùn)行，研究人員對(duì)軸承的故障診斷問(wèn)題進(jìn)行了大量研究。這些研究通常以軸承工作時(shí)采集到的振動(dòng)信號(hào)為基礎(chǔ)，并通過(guò)機(jī)器學(xué)習(xí)等方法進(jìn)行特征提取和故障診斷研究。

考慮到機(jī)械設(shè)備采集的時(shí)間信號(hào)易受外部干擾，因此需要尋找合適的方法從振動(dòng)信號(hào)中提取有用的信息，常見(jiàn)的方法如小波變換，傅里葉變換等。在提取了有效的特征之后，再利用支持向量機(jī)[1]、神經(jīng)網(wǎng)絡(luò)[2]等機(jī)器學(xué)習(xí)方法對(duì)故障數(shù)據(jù)進(jìn)行分類(lèi)，從而實(shí)現(xiàn)故障的診斷。此外，各種深度學(xué)習(xí)技術(shù)在故障診斷領(lǐng)域中得到了應(yīng)用并取得了良好的效果，如深度置信網(wǎng)絡(luò)[3]、卷積神經(jīng)網(wǎng)絡(luò)[4]等。這些方法在訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)具有相同分布時(shí)取得了較好的應(yīng)用效果。但在很多實(shí)際應(yīng)用中，訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集是在不同的工作條件中采集到的，此時(shí)現(xiàn)有方法難以獲得較好的識(shí)別效果。為解決該問(wèn)題，研究人員提出了基于遷移學(xué)習(xí)（transfer learning）的方法，這類(lèi)方法通過(guò)學(xué)習(xí)相關(guān)領(lǐng)域的特征來(lái)提高本領(lǐng)域中學(xué)習(xí)的表現(xiàn)，放寬了訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)同分布的要求，解決了測(cè)試數(shù)據(jù)不足產(chǎn)生的過(guò)擬合問(wèn)題[5]。

近年來(lái)，研究人員發(fā)現(xiàn)將對(duì)抗學(xué)習(xí)（adversarial learning）[6]與遷移學(xué)習(xí)結(jié)合，即利用對(duì)抗遷移學(xué)習(xí)，能夠更有效地減少源域和目標(biāo)域數(shù)據(jù)之間的分布偏差，從而有利于提高分類(lèi)準(zhǔn)確率。該方法由特征提取器，域判別器和分類(lèi)器組成，特征提取器用來(lái)提取原始數(shù)據(jù)樣本特征，域判別器用來(lái)判斷數(shù)據(jù)屬于源域還是目標(biāo)域，通過(guò)對(duì)抗訓(xùn)練不斷改善模型性能[7]?？紤]到現(xiàn)有對(duì)抗遷移學(xué)習(xí)方法的主要應(yīng)用領(lǐng)域在圖像處理，存在難以處理時(shí)間序列數(shù)據(jù)、易受梯度消失現(xiàn)象影響等問(wèn)題[8]，本文提出了一種改進(jìn)的基于對(duì)抗遷移學(xué)習(xí)的軸承故障診斷方法。在對(duì)抗遷移學(xué)習(xí)的基礎(chǔ)上，將特征提取器替換成一維卷積結(jié)構(gòu)，直接作用于時(shí)間信號(hào)，非常適用于振動(dòng)數(shù)據(jù)的處理；同時(shí)將域判別器中全連接網(wǎng)絡(luò)結(jié)構(gòu)替換成卷積結(jié)構(gòu)，減少了因?qū)訑?shù)限制導(dǎo)致的梯度消失等現(xiàn)象，增強(qiáng)了信息整合能力，實(shí)現(xiàn)了分類(lèi)精度的提高。

最后為了提高故障診斷效果，在不同數(shù)據(jù)集上進(jìn)行了試驗(yàn)，驗(yàn)證了該模型的有效性。

1 背景理論

1.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種新型的機(jī)器學(xué)習(xí)方法，通過(guò)將已訓(xùn)練好的模型參數(shù)遷移到新的模型，以加快并優(yōu)化新模型的訓(xùn)練，非常適用于解決故障診斷中的訓(xùn)練數(shù)據(jù)不足的問(wèn)題。

遷移學(xué)習(xí)由域和任務(wù)兩個(gè)概念組成，域包括特征空間 χ及總體概率分布p(x)，記為D={χ,p(x)}，其中(x1,x2···xn)∈χ為總體樣本。給定帶標(biāo)簽的源域數(shù)據(jù)DS={χs,p(xs)}及 不帶標(biāo)簽的目標(biāo)域數(shù)據(jù)Dt={χt,p(xt)}，由于工作環(huán)境的不同，兩個(gè)數(shù)據(jù)集之間的分布也不相同，即p(xs)≠p(xt)。遷移學(xué)習(xí)的任務(wù)是將源域數(shù)據(jù)xs和目標(biāo)域數(shù)據(jù)xt映射到相同的特征空間，通過(guò)尋找具有代表性的特征使源域和目標(biāo)域數(shù)據(jù)具有相同的分布。在建立起源域數(shù)據(jù)的分類(lèi)模型后，就可以對(duì)目標(biāo)域數(shù)據(jù)進(jìn)行準(zhǔn)確分類(lèi)。常用的映射函數(shù)包括核函數(shù)、卷積函數(shù)等，分類(lèi)模型通常采用全連接神經(jīng)網(wǎng)絡(luò)。其具體思路如圖1 所示。

圖1 遷移學(xué)習(xí)過(guò)程

1.2 對(duì)抗學(xué)習(xí)

對(duì)抗學(xué)習(xí)受生成對(duì)抗網(wǎng)絡(luò)[7]的思想啟發(fā)，通常用于生成接近于真實(shí)樣本的虛假數(shù)據(jù)，其結(jié)構(gòu)如圖2 所示。從圖2 可以看出，對(duì)抗學(xué)習(xí)的模型由生成器和判別器組成，通常均采用多層感知機(jī)。記生成器為G(·)，判別器為D(·)，對(duì)抗學(xué)習(xí)首先隨機(jī)生成一組噪聲變量n～pn(n)，通過(guò)生成器進(jìn)行訓(xùn)練得到一組虛假樣本G(n)，使其盡可能接近真實(shí)數(shù)據(jù)x～px(x)；同時(shí)還需要使得得到的虛假樣本G(n)和真實(shí)樣本x能夠有效地被判別器所鑒別。

圖2 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)圖

在模型的訓(xùn)練過(guò)程中，噪聲數(shù)據(jù)經(jīng)過(guò)生成器和判別器輸出概率值D(G(n))，D(G(n))等于1 表示虛假樣本G(n)與 真實(shí)樣本x來(lái)自同一分布，等于0 表示完全獨(dú)立。在生成器G(·)的優(yōu)化過(guò)程中，需要在判別器D(·) 確 定的情況下，讓D(G(n))盡可能接近1，從而使得噪聲生成的虛假樣本分布不斷接近真實(shí)樣本分布，其目標(biāo)函數(shù)為：

另一方面，在判別器D(·)的優(yōu)化過(guò)程中，希望真實(shí)樣本的輸出概率值D(x)盡量接近1，而噪聲數(shù)據(jù)生產(chǎn)的虛假樣本概率值D(G(n))盡量接近0，從而使得判別器能夠精確判斷數(shù)據(jù)的真假，其目標(biāo)函數(shù)如下:

需要指出的是，式（1）和式（2）兩個(gè)目標(biāo)函數(shù)是相互矛盾的，對(duì)抗學(xué)習(xí)通過(guò)生成器和判別器兩個(gè)目標(biāo)之間的相互博弈使虛假數(shù)據(jù)分布盡可能接近真實(shí)的數(shù)據(jù)分布，這樣噪聲生產(chǎn)的虛假數(shù)據(jù)就可以被當(dāng)作真實(shí)數(shù)據(jù)使用。綜合式（1）和式（2），模型總體目標(biāo)函數(shù)如下:

2 基于對(duì)抗遷移學(xué)習(xí)模型

近年來(lái)，人們通過(guò)將對(duì)抗學(xué)習(xí)的思路引入遷移學(xué)習(xí)，將目標(biāo)域的數(shù)據(jù)通過(guò)對(duì)抗學(xué)習(xí)使其分布盡可能接近源域數(shù)據(jù)，從而不受目標(biāo)域數(shù)據(jù)標(biāo)簽是否可用的限制，同時(shí)適合有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)應(yīng)用。其中具有代表性的方法是DANN (domain adversarial training of neural networks)網(wǎng)絡(luò)[9]。

和生成對(duì)抗網(wǎng)絡(luò)不同的是，基于對(duì)抗的遷移學(xué)習(xí)將隨機(jī)噪聲替換成了目標(biāo)域數(shù)據(jù)，免去了生成樣本的過(guò)程，此時(shí)生成器也不再用于生成新樣本，而是用于提取特征[10]。本文在文獻(xiàn)[9]的基礎(chǔ)上，提出了一種改進(jìn)的對(duì)抗遷移學(xué)習(xí)方法，通過(guò)將特征提取器和域判別器替換為一維卷積結(jié)構(gòu)，同時(shí)設(shè)置特征提取器為大小連續(xù)卷積核，使其適用于時(shí)間信號(hào)的處理。另一方面，考慮到不同維度的特征尺寸差別較大，模型的優(yōu)化過(guò)程容易受到梯度消失現(xiàn)象的影響，本文在卷積操作中加入LeakyRelu (LRelu)激活函數(shù)和批量歸一化操作，使劃分的特征更容易識(shí)別，能夠更好的解決訓(xùn)練過(guò)程中的梯度損耗問(wèn)題。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的改進(jìn)對(duì)抗遷移學(xué)習(xí)模型由特征提取器，域判別器和分類(lèi)器組成。其基本思路如圖3 所示，對(duì)帶標(biāo)簽的源域數(shù)據(jù)，經(jīng)過(guò)特征提取器后傳入分類(lèi)器分類(lèi)。再將帶標(biāo)簽的源域數(shù)據(jù)和未帶標(biāo)簽的目標(biāo)域數(shù)據(jù)傳入特征提取器，提取后的特征由域判別器判斷數(shù)據(jù)所屬域。訓(xùn)練過(guò)程中，特征提取器的作用是提取源域和目標(biāo)域數(shù)據(jù)的共同特征，域判別器的作用是正確判斷數(shù)據(jù)所屬域，通過(guò)特征提取器和域判別器之間的對(duì)抗訓(xùn)練，使目標(biāo)域數(shù)據(jù)分布不斷接近源域數(shù)據(jù)分布，從而提高模型的分類(lèi)精度。

圖3 基于對(duì)抗遷移學(xué)習(xí)模型網(wǎng)絡(luò)結(jié)構(gòu)

與傳統(tǒng)對(duì)抗遷移方法方法不同的是，本文將特征提取器替換成一維卷積結(jié)構(gòu)，該結(jié)構(gòu)第一層卷積可直接從時(shí)間信號(hào)提取特征，無(wú)需對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，同時(shí)設(shè)置較大的卷積核用于抑制高頻噪聲，利用卷積層提取振動(dòng)信號(hào)的淺層特征，再利用連續(xù)小卷積核擴(kuò)展網(wǎng)絡(luò)深度，提高網(wǎng)絡(luò)性能。

另外，本文對(duì)傳統(tǒng)方法中的域判別器結(jié)構(gòu)進(jìn)行改進(jìn)，以消除梯度消失現(xiàn)象。傳統(tǒng)的域判別器通常采用全連接神經(jīng)網(wǎng)絡(luò)，本文使用的域判別器由卷積層，LRelu 激活函數(shù)和批歸一化組成，在卷積操作中通過(guò)權(quán)重共享保留重要參數(shù)，使其能夠更好的判斷數(shù)據(jù)所屬域。通過(guò)將傳統(tǒng)方法中的Relu 激活函數(shù)替換成LRelu，避免了輸入信息為負(fù)時(shí)產(chǎn)生的梯度消失等現(xiàn)象，其公式如(4)所示，最后通過(guò)二分類(lèi)激活函數(shù)判斷數(shù)據(jù)屬于源域還是目標(biāo)域。

模型的分類(lèi)器采用全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于對(duì)源域數(shù)據(jù)進(jìn)行分類(lèi)。

2.2 優(yōu)化目標(biāo)

本文提出的基于對(duì)抗遷移學(xué)習(xí)模型包括對(duì)分類(lèi)損失Lcls和域判別器損失Ladv兩種損失函數(shù)，如下式所示：

其中 θf(wàn)，θy，θd為特征提取器，分類(lèi)器和域判別器的參數(shù)。

式（5）中第一個(gè)優(yōu)化目標(biāo)為最小化源域數(shù)據(jù)的分類(lèi)損失，采用交叉熵作為損失函數(shù)，定義如下：

式中：xi～φi——源域數(shù)據(jù)分布；

ff(xi)——源域數(shù)據(jù)經(jīng)過(guò)特征提取器后得到的特征；

gy(ff(xi))——分類(lèi)器得到的類(lèi)別概率；

yi?樣本xi的 類(lèi)別指示變量，當(dāng)類(lèi)別的估計(jì)值和觀測(cè)樣本xi的 真實(shí)值相同時(shí)為1，不相同則為0。

第二個(gè)目標(biāo)函數(shù)對(duì)應(yīng)于域判別器，其作用是判斷數(shù)據(jù)所屬域，并通過(guò)對(duì)抗訓(xùn)練減少源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間的分布差異，其損失如下式所示：

式中：xt～φt——目標(biāo)域數(shù)據(jù)分布；

gd(ff(xt))——域判別器的輸出；

di— —第i個(gè)樣本的二元標(biāo)簽值。

實(shí)驗(yàn)過(guò)程中，通過(guò)隨機(jī)梯度下降法(SGD)沿著梯度向量的相反方向?qū)μ卣魈崛∑骱陀蚺袆e器的參數(shù)進(jìn)行更新，以提高故障的分類(lèi)精度。

3 應(yīng)用結(jié)果

為驗(yàn)證本文提出的方法（AD+CNN），將其應(yīng)用于江南大學(xué)滾動(dòng)軸承數(shù)據(jù)庫(kù)和凱斯西儲(chǔ)大學(xué)數(shù)據(jù)庫(kù)。采用兩種方法進(jìn)行對(duì)比，第一種方法將特征提取器和分類(lèi)器相連，不添加域判別器，記為BASELINE[11]；第二種方法在對(duì)抗學(xué)習(xí)的基礎(chǔ)上添加了全連接網(wǎng)絡(luò)的域判別器[12]，記為AD+FC。

3.1 案例1（江南大學(xué)數(shù)據(jù)）

首先采用江南大學(xué)提供的滾動(dòng)軸承故障數(shù)據(jù)對(duì)本文提出的方法進(jìn)行驗(yàn)證[13]。除正常數(shù)據(jù)之外，還包括在內(nèi)圈、外圈、滾動(dòng)體故障下采集的振動(dòng)數(shù)據(jù)，采樣頻率50 kHz。在轉(zhuǎn)速600，800，1000 r/min時(shí)采集了4 組數(shù)據(jù)，其中每1024 個(gè)時(shí)間點(diǎn)為一個(gè)樣本數(shù)據(jù)，具體數(shù)據(jù)集如表1 所示。

表1 江南大學(xué)遷移任務(wù)數(shù)據(jù)集

考慮‘A-B’，‘A-C’，‘B-C’，‘C-A’，‘C-B’，‘B-A’ 6種遷移任務(wù)案例。利用本文提出的方法對(duì)這六種遷移任務(wù)進(jìn)行建模，訓(xùn)練過(guò)程中，單次訓(xùn)練樣本數(shù)為64，迭代次數(shù)為300，隨機(jī)梯度下降過(guò)程中，學(xué)習(xí)率為1×10–3，動(dòng)量為0.9 用于加速收斂，權(quán)重衰減系數(shù)為1×10–5用于防止過(guò)擬合，為消除隨機(jī)性，分別對(duì)每個(gè)遷移任務(wù)進(jìn)行五次測(cè)量取平均值得到最后的目標(biāo)域分類(lèi)準(zhǔn)確率，結(jié)果如表2 所示。從表2 可以看出，改進(jìn)后方法的平均準(zhǔn)確率達(dá)到96.7%，單次遷移任務(wù)的平均準(zhǔn)確率可達(dá)到98.5%。

表2 目標(biāo)域分類(lèi)準(zhǔn)確率

為進(jìn)一步顯示結(jié)果，圖4 給出以“A-C”遷移任務(wù)為例給出了不同算法準(zhǔn)確率變化隨迭代次數(shù)變化情況。其中綠色實(shí)線為AD+CNN 方法，橙色實(shí)線為AD+FC 方法，藍(lán)色實(shí)線為BASELINE 方法。從圖中可以看出，隨著迭代次數(shù)增加，不同方法的模型準(zhǔn)確率和損失值逐漸穩(wěn)定，其中本文提出的AD+CNN 方法的分類(lèi)準(zhǔn)確率明顯超過(guò)另外兩種。

圖4 不同方法分類(lèi)準(zhǔn)確率隨迭代次數(shù)變化圖

3.2 案例2（凱斯西儲(chǔ)大學(xué)數(shù)據(jù)）

采用凱斯西儲(chǔ)大學(xué)[14]添加噪聲信號(hào)之后的滾動(dòng)軸承數(shù)據(jù)進(jìn)行驗(yàn)證。該試驗(yàn)裝置由電動(dòng)機(jī)、扭矩傳感器、功率測(cè)試計(jì)和電子控制器組成。故障直徑為0.007，0.014，0.021，0.028 in (1 in=0.0254 m)，采樣頻率為12 kHz 和48 kHz，采樣轉(zhuǎn)速為1730，1750，1772 r/min，具體數(shù)據(jù)集如表3 所示。

表3 凱斯西儲(chǔ)大學(xué)遷移任務(wù)數(shù)據(jù)集

為了驗(yàn)證算法的魯棒性，選用了添加不同信噪比(SNR)的訓(xùn)練數(shù)據(jù)集，信噪比為信號(hào)功率和噪聲功率的比，值越大抗干擾能力越強(qiáng)。采用本文方法進(jìn)行遷移學(xué)習(xí)分類(lèi)，模型參數(shù)不變，表4 給出了不同卷積核尺寸和信噪比情況下本文提出方法的準(zhǔn)確性?？梢钥闯?，隨著卷積核逐漸變大，平均準(zhǔn)確率不斷提高，當(dāng)卷積核尺寸到達(dá)55 時(shí)，準(zhǔn)確率可達(dá)到最大值99.6%，之后呈下降趨勢(shì)，因此最后選用的卷積核尺寸為55。另一方面，比較不同信噪比下的分類(lèi)準(zhǔn)確率可以看出，本文提出的AD+CNN 方法在不同噪聲環(huán)境下均保持較高的準(zhǔn)確率。通過(guò)對(duì)比在不同卷積核以及不同噪聲環(huán)境下的分類(lèi)準(zhǔn)確率可以看出，大尺寸卷積核減少了噪聲的干擾，改善了模型的分類(lèi)精度。

表4 不同卷積核和信噪比環(huán)境下分類(lèi)準(zhǔn)確率

作為對(duì)比，表5 給出了本文提出的方法與BASELINE 方法和AD+FC 方法在目標(biāo)域的分類(lèi)準(zhǔn)確率對(duì)比。從表5 可以看出，本文的方法較其他方法相比均具有更高的準(zhǔn)確率，平均準(zhǔn)確率為99.1%，而B(niǎo)ASELINE 和AD+FC 方法的平均準(zhǔn)確率分別為97.7%和95.7%。上述實(shí)驗(yàn)可以看出，基于全連接神經(jīng)網(wǎng)絡(luò)的的域判別器受梯度消失現(xiàn)象的影響，分類(lèi)準(zhǔn)確率受到限制，將域判別器替換為卷積結(jié)構(gòu)后[15]，能夠更精準(zhǔn)的判斷數(shù)據(jù)所屬域，從而進(jìn)一步提高分類(lèi)精度。

表5 目標(biāo)域數(shù)據(jù)分類(lèi)準(zhǔn)確率

4 結(jié)束語(yǔ)

針對(duì)軸承故障診斷任務(wù)，本文提出了基于對(duì)抗的遷移學(xué)習(xí)模型，該模型將特征提取器和域判別器替換成一維卷積結(jié)構(gòu)，使其直接作用于時(shí)間信號(hào)，提高了故障診斷效率，減少了噪聲的干擾。同時(shí)添加了LRelu 激活函數(shù)和批量歸一化操作，解決了梯度損耗的問(wèn)題，并提高了分類(lèi)精度。

將本文改進(jìn)的方法應(yīng)用于江南大學(xué)故障數(shù)據(jù)和含有不同信噪比的凱斯西儲(chǔ)大學(xué)故障數(shù)據(jù)。結(jié)果表明，即使受到不同噪聲干擾，本文所改進(jìn)的模型依然可以保持較高的分類(lèi)準(zhǔn)確率，驗(yàn)證了該模型可以在故障診斷任務(wù)中保持良好的性能。