翟利志,任一夫,白 潔,高學攀,賈慶超,劉 強

(1.中國電子科技集團公司第五十四研究所,河北 石家莊 050081;2.河北省智能化信息感知與處理重點實驗室,河北 石家莊 050081;3.陸裝駐石家莊地區(qū)第一軍代室,河北 石家莊 050081)

0 引 言

大規(guī)模類別均衡的訓練故障樣本,是實現(xiàn)數(shù)據(jù)驅動故障診斷可靠建模的先決條件[1-6]。然而,受限于復雜的流程以及不穩(wěn)定的監(jiān)測環(huán)境,完備的樣本數(shù)據(jù)難以保證。這導致小樣本普遍存在,成為數(shù)據(jù)驅動建模發(fā)展的“卡脖子”問題[7-8]。因此,如何增強小樣本的數(shù)量和類型,獲得診斷精度高、泛化能力強的故障診斷模型,成為數(shù)據(jù)驅動故障診斷建模的重要課題。

近年來,樣本增強研究被業(yè)界和學術界廣泛關注。樣本增強方法大致可分為三類:采樣方法、深度網(wǎng)絡方法以及域適應方法。具體而言,對于采樣方法[9-10],過采樣策略通過直接擴充小樣本的數(shù)量實現(xiàn)樣本增強。然而,此類方法并沒有在小樣本中補充新的樣本知識,這會嚴重影響建模的泛化性。相反,深度網(wǎng)絡方法[11-13]在解決建模泛化性這一問題上取得了令人矚目的成果。具體而言,在文獻[11-12]中,迭代機制和對抗機制被設計,并用來增強建模的泛化性。然而,這些深度網(wǎng)絡方法的有效表現(xiàn),是建立在充足的訓練樣本,或是預先得到一個擁有龐大網(wǎng)絡結構的預訓練模型的基礎之上。眾所周知,受限于故障樣本的獲取難度,這些要求在實際領域幾乎不能滿足。因此,上述方法在實際樣本增強應用中難以普及。

隨著遷移學習受到更多關注,域適應方法為樣本增強提供了新思路。具體而言,域適應方法[14-17]通過降低源域和目標域之間的分布差異,從而允許其他域中的樣本知識增強小樣本。然而,此類方法在實際小樣本應用中依舊受限,這是因為:(1)區(qū)別于其他領域,故障樣本的獲取和標注成本更高,因此目標域中的小樣本問題更加嚴峻;(2)由于不明確的故障機理,難以根據(jù)專家經(jīng)驗選取與目標域工況相似的源域;(3)由于工況差異較大,缺乏有效的技術來探索異構域中的樣本,從而導致“負遷移”現(xiàn)象嚴重[14],建模準確性大打折扣[18-19]。受此啟發(fā),在文獻[20]中,提出一個用于工業(yè)故障診斷的通用遷移框架,通過故障相似性對源域故障樣本進行選擇性遷移,在實現(xiàn)目標域樣本增強的同時,緩解了“負遷移”。在文獻[21]中,多源遷移學習網(wǎng)絡被提出,通過遷移多源域的故障樣本實現(xiàn)目標域不可見故障的知識增強,成功解決了機器不可見故障的智能診斷,進一步拓展了遷移學習方法在工業(yè)故障診斷領域的應用范圍。

基于上述討論和分析,該文提出了一種基于傳遞式領域自適應的異構樣本增強方法。首先,借助公共特征,在私有特征維度探索異構域樣本。需要注意的是,在多源域傳遞式探索過程中,域內(nèi)部的有用信息也能夠被用來輔助探索異構域樣本,因此文中方法在樣本探索的同時,突破了源域選擇困難的局限性。此外,從目標域角度來看,源域樣本的介入,實質上增強了目標域樣本的數(shù)量和種類,即樣本增強。這一過程,由于只將源域樣本遷移到目標域并用于目標域建模,不會影響目標域的工況建模,這意味著目標域故障信息被最大程度保留,因此目標域的故障診斷建模精度被保證;此外,由于源域故障樣本的引入,目標域故障樣本的故障多樣性得到增強,所以目標域的建模泛化性得到提高。該文的主要創(chuàng)新點如下:

(1)針對異構域分布差異較大的問題,通過設計傳遞式探索策略以獲得豐富種類的樣本知識,從而提高了小樣本條件下建模的泛化性。

(2)針對異構域分布匹配困難的問題,通過聯(lián)合匹配源域和目標域的邊緣分布以及條件分布,實現(xiàn)異構域的可靠匹配,從而提高了小樣本條件下建模的準確性。

1 異構樣本傳遞式探索

在本節(jié),提出一種異構樣本傳遞式探索策略,通過學習異構域樣本之間的共享映射,從而使異構域樣本能夠被用來增強小樣本,因此提高建模的泛化性。對于異構域樣本的探索,該文設計了基于最相關域的傳遞式策略。具體而言,首先在多個源域中選擇與目標域最相關的源域,然后在公共特征的輔助下,設計支持域樣本,從而獲得這兩個域的共享空間表示。同理地,在剩余的多個源域中,繼續(xù)探索與當前已選擇源域最相關的源域,并學習它們之間的共享空間表示。最后,異構域樣本被傳遞式地探索,并用來增強小樣本的數(shù)量和種類[22-23]。

1.1 目標域-源域最相關樣本搜尋

(1)

(2)

然后,支持域樣本被設計用來學習目標域與源域的共享表示。支持域樣本可以看作匹配目標域與源域的橋梁。支持域通過公共特征,可支持源域樣本和目標域樣本的連接,并能傳遞源域和目標域的維度、分布信息,便于更好地匹配源域和目標域[26]。特征映射φs和φt用來連接公共特征和私有特征,優(yōu)化目標表示如下:

(3)

(4)

(5)

(6)

其中,ψT,S1表示目標域T和源域S1映射到共享空間的映射矩陣?！?‖H表示再生希爾伯特空間。

1.2 源域-源域最相關樣本傳遞式搜尋

(7)

(8)

(9)

(10)

(11)

同理,基于支持樣本可得到傳遞樣本,因此傳遞域表示如下:

(12)

由此,從T到SN的遙遠域傳遞式域適應優(yōu)化如下:

(13)

通過ψT,SN,遙遠域SN被探索并用于增強目標域小樣本的種類。

2 異構域樣本分布聯(lián)合匹配

在衡量域之間的分布差異時,邊緣分布和條件分布有著不同的影響權重。受此啟發(fā),為了獲得更可靠的分布匹配性能,提出了一種分布聯(lián)合匹配機制,該機制關注異構數(shù)據(jù)的邊緣分布和條件分布,并針對不同的數(shù)據(jù)集自適應調整兩個分布的權重。因此,所設計的分布聯(lián)合匹配機制在不同工況下會具有更強的適應性。將分布差異嵌入到最大均值差異模型,表示如下:

M(xSd,xTd)=

(14)

(15)

其中,p(λi)表示λi的先驗概率,z表示其他工況中樣本集的數(shù)量。p(DM)等價于系數(shù),可以通過核函數(shù)求得。

3 實驗驗證

在本節(jié),驗證了傳遞式探索策略以及工業(yè)小樣本增強的有效性。數(shù)據(jù)集來自世界公認的田納西-伊斯曼仿真工業(yè)流程數(shù)據(jù)集,該工業(yè)流程屬于分類建模[27]。實驗中使用的故障數(shù)據(jù)包括No.1,No.8,No.13,No.14和No.21,更多故障數(shù)據(jù)細節(jié)見文獻[28]。同時,參與訓練的源域樣本和目標域樣本分別為500個和30個,測試樣本為24個。為了避免隨機性,所有實驗結果都是取10次實驗結果的平均值作為最終結果。

實驗中,利用Accuracy,Recall和Precision評估文中方法的故障診斷表現(xiàn)。

(16)

其中,TP,TN,FP和FN分別表示真陽性、真陰性、假陽性和假陰性。

實驗設置:為了評估遙遠域傳遞式探索的表現(xiàn),將文中方法與各個領域具有代表性的域適應方法作對比:單源域適應、多源域適應以及遙遠域適應。為了避免不同數(shù)量的訓練樣本對方法評估產(chǎn)生影響,保證上述方法的訓練樣本數(shù)量是一致的。另外,對于單源域適應,選擇表現(xiàn)最好的域適應結果作為最終結果。對于多源域適應,采用了對不同數(shù)量的源域建模的策略。對于遙遠域適應,選擇不同的源域作為初始域來探索目標域[29]。

表1 對比方法在不同數(shù)據(jù)集下的故障診斷表現(xiàn)

從表1可以看出,在不同數(shù)據(jù)集下,文中方法與上述方法相比有很好的表現(xiàn),特別是當源域和目標域有顯著差異時。具體而言,從圖1(a)可以看出,數(shù)據(jù)No.1與數(shù)據(jù)No.13,No.14存在顯著差異,這導致上述提到的方法在這兩組數(shù)據(jù)集中有較差的域適應表現(xiàn)(No.1與No.13以及No.1與No.14)。相比之下,所提方法在這兩組數(shù)據(jù)集中的平均精度為78.65%,與文獻[18-19]相比分別提高了23.8%和14.0%。這歸功于傳遞式探索的策略,其利用了中間域的有用信息來輔助對遠域樣本的探索。值得注意的是,從圖1(b)可以看出,使用文中方法探索遙遠域后,所有源域與目標域之間的相關性都有所提高,特別是對于差異較大的域,這進一步驗證了文中方法的有效性。

(a)原始域

(b)使用文中方法探索后的域

4 結束語

通過提出基于傳遞式領域自適應的異構樣本增強方法,實現(xiàn)了異構場景下的小樣本增強。該網(wǎng)絡允許工況差異較大的異構源域樣本,借助中間領域的樣本知識,用于當前工況中目標域小樣本的增強。這也意味著,該方法拓展了領域自適應方法在小樣本增強領域的應用范圍。在田納西-伊斯曼仿真工業(yè)流程開展了對比實驗來驗證該方法的有效性。實驗結果表明,與最先進的方法相比,該方法在異構領域自適應以及小樣本增強的實驗中均取得了最優(yōu)表現(xiàn)。該方法能夠有效地實現(xiàn)異構域樣本遷移增強。