陳 浩,楊俊安,劉 輝

(國防科技大學電子對抗學院,安徽 合肥 230037)

0 引 言

隨著通信技術的不斷發(fā)展,各式各樣電臺的數(shù)目不斷增長,使得在戰(zhàn)場上對通信電臺的偵察和個體識別變得異常艱難。而作為信息化戰(zhàn)爭的關鍵環(huán)節(jié),如何高效可靠地對不同通信輻射源進行識別,有著非常重要的意義。通信輻射源設備由大量物理元器件組成,這些元器件在制造時會存在不同程度的誤差,加上設備內(nèi)部構造復雜,元器件對調(diào)制信號的非線性影響以及環(huán)境對器件工作參數(shù)的影響,使得即使是同廠家生產(chǎn)的同型號同批次設備,其調(diào)制信號也存在著細微差異[1]。由于信號中包含的輻射源個體信息屬于物理層特性,與發(fā)送內(nèi)容無關,所以可以作為不同輻射源個體的身份標識,被稱為指紋特征。該技術除了在軍事上是目標跟蹤識別系統(tǒng)的重要組成部分之外,在民用領域的頻譜管理、無線電安全等方面也有重要應用。

目前對于通信輻射源個體識別主要從兩個方面進行考慮——暫態(tài)信號和穩(wěn)態(tài)信號。相較于穩(wěn)態(tài)信號而言,暫態(tài)信號含有更豐富的輻射源個體特征,可以獲得較好的識別性能[2]。但是由于暫態(tài)信號持續(xù)時間很短,難以捕獲,且其特征與噪聲信號相似,這些都會給研究帶來極大困難。相比之下,穩(wěn)態(tài)信號可獲得的數(shù)據(jù)量較多,對檢測性能要求較低,更容易在實際中得到應用。本文就是對通信輻射源的穩(wěn)態(tài)信號進行研究。目前對穩(wěn)態(tài)信號的研究大多是基于高階譜[3-4]、時頻分布[5]等人工特征提取方法,在某些特定的情況下也許能夠有較好的識別準確率,但是實際情況一旦不滿足所需的限制條件,其識別準確率將會受到很大影響。

近年來,深度學習廣泛應用于圖像識別、語音識別、自然語言處理等領域,并成功顯示出了其強大的能力。同時,國內(nèi)外學者致力于將深度學習引入到通信輻射源識別上來[6-9]。文獻[6-8]分別使用了卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)、循環(huán)神經(jīng)網(wǎng)絡和深度殘差網(wǎng)絡對通信輻射源進行識別,結果也證明其有效性。文獻[9]利用大量無標簽數(shù)據(jù)通過自編碼器網(wǎng)絡來提取特征,利用少量有標簽數(shù)據(jù)進行校準,在實際數(shù)據(jù)上的實驗結果驗證了其可行性和有效性。

以上研究通常都是基于兩個假設開展工作:① 訓練數(shù)據(jù)(源域)和測試數(shù)據(jù)(目標域)具有相同的特征分布空間;② 有足夠多的可用樣本來建立可靠的分類模型。但是,在很多實際應用中,這些假設并不成立。遷移學習方法因能很好解決這些問題而引起廣泛關注,其可以有效地利用和遷移來自相似但不相同的標記源域數(shù)據(jù)知識來進行目標域?qū)W習。遷移學習已在很多領域得到應用,如圖像識別[10-11]、文本處理[12]、自動控制[13]等。也有學者把遷移學習應用到通信輻射源識別上,如文獻[14]就是利用不同場景下輻射源信號的數(shù)據(jù)結構信息,通過遷移學習方法實現(xiàn)對不同頻率輻射源個體的有效識別,但是該方法要求在源域和目標域中均有帶標簽的樣本。

在合作通信中,通信輻射源與通信信號的數(shù)量和種類愈發(fā)增多,對于不同的通信個體與通信信號的標記規(guī)則與方法也多種多樣。根據(jù)不同的方法來標記數(shù)據(jù)需要花費大量的人工與時間成本。在非合作通信中,對于不同的通信輻射源和通信信號,不能夠輕易獲取其詳細信息,進而對于數(shù)據(jù)的標記也是非常困難的。

為了解決傳統(tǒng)人工特征提取方法魯棒性不足和深度學習方法需要大量帶標簽目標域數(shù)據(jù)的問題,本文提出一種基于深度殘差適配網(wǎng)絡(deep residual adaptation network,DRAN)的遷移學習方法來進行通信輻射源個體識別。該方法只需要源域數(shù)據(jù)帶有標簽,而目標域數(shù)據(jù)無需標簽。利用源域和目標域數(shù)據(jù)的結構化信息,將源域和目標域數(shù)據(jù)特征映射到同一特征空間中,對其進行特征分布對齊,以解決不同數(shù)據(jù)分布情況下的通信輻射源識別問題。對實際采集的通信輻射源數(shù)據(jù)集進行了相關實驗,結果證明了該方法的可行性和有效性。

1 基于DRAN的輻射源個體識別

本文將深度適配網(wǎng)絡[15](deep adaptation network,DAN)的適配思想引入到通信輻射源識別領域中,提出了基于DRAN的通信輻射源個體識別方法。該方法將殘差神經(jīng)網(wǎng)絡[16](residual neural network,ResNet)與DAN的適配思想結合以解決傳統(tǒng)的人工特征提取方法魯棒性不足的問題。同時,該方法只需要帶標簽的源域數(shù)據(jù),目標域數(shù)據(jù)無需標簽。首先通過預處理將原始通信輻射源信號從時域變換成時頻域數(shù)據(jù),然后將其輸入DRAN網(wǎng)絡進行特征提取,把信號的隱藏表示嵌入到再生核希爾伯特空間(reproducing kernel Hilbert space,RKHS)中,通過多核最大均值差異(multi-kernel maximum mean discrepancy,MK-MMD)來衡量源域數(shù)據(jù)和目標域數(shù)據(jù)的差異,作為源域和目標域的分布距離,再將其與交叉熵損失函數(shù)的和作為優(yōu)化目標,通過對目標函數(shù)的不斷優(yōu)化,得到最后的分類模型。算法流程如圖1所示。

圖1 基于DRAN的輻射源個體識別算法流程Fig.1 Algorithm flow of transmitter individual identification based on DRAN

1.1 相關知識

1.1.1 希爾伯特空間嵌入

在希爾伯特空間嵌入分布中,每個分布由RKHS中的一個元素表示。X定義為具有域Ω和分布P(X)的一個隨機變量,其中x表示X中的一個個體。Hk定義為在域Ω中具有特征核k的RKHS,是具有內(nèi)積<·,·>Hk的函數(shù)f:Ω→R的希爾伯特空間,其元素k(x,·)滿足再生性:H=f(x)。換句話說,k(x,·)可被視為一個隱式特征映射φ(x),其中k(x,x′)=<φ(x),φ(x′)>H。核函數(shù)可以被定義在向量空間、圖形、時間序列和結構化對象上以處理各種應用程序。

通過由核k賦予的RKHS中的元素來表示概率分布P的過程叫做核嵌入,具體的公式為

(1)

式(1)具有以下特性:RKHS中的任意函數(shù)f的期望都可以用H中的內(nèi)積來表示,即?f∈H,<μx,f>H?Ex[f(X)]。在實際情況下P(X)難以獲得,可以利用有限的樣本來估計μx:

(2)

該理論已經(jīng)廣泛應用于許多任務,包括特征提取、密度估計、雙樣本測試等。

1.1.2 MMD

(3)

式中，f(·)是H中的任意函數(shù)。研究表明,若RKHSH中的函數(shù)類別足夠豐富,則可以區(qū)分任意兩個分布,MMD表示的是其嵌入均值之間的距離。當且僅當P=Q時,dH(P,Q)=0。實際上,MMD的估計值將經(jīng)驗核嵌入均值之間的平方距離作比較,表示為

(4)

MMD可以在高維空間中刻劃概率分布的任意階統(tǒng)計量,如一階統(tǒng)計量均值和二階統(tǒng)計量方差。也就是說,最小化MMD能將訓練數(shù)據(jù)和測試數(shù)據(jù)的概率分布P和Q通過各階統(tǒng)計量進行充分適配[18]。

1.1.3 Wasserstein距離

Wasserstein距離又稱為Earth-Mover距離,是由Yossi Rubner提出用于衡量兩個分布之間距離的量[19]。定義為

(5)

式中，x和y為聯(lián)合分布服從γ的樣本；∏(P1,P2)代表P1和P2分布所有可能的聯(lián)合分布的集合,在所有可能的聯(lián)合分布中能夠?qū)κ?5)中的期望值取到的下界就是Wasserstein距離。簡單地說,就是將一個分布搬移到另一個分布的最小距離。

1.2 DRAN

1.2.1 MK-MMD

域適應面對的挑戰(zhàn)主要是因為目標域不存在標簽。為了解決這個問題,許多方法希望通過將源域誤差加上源域和目標域之間的偏差度量來限制目標域的誤差。本文主要專注于MMD的多核變體——MK-MMD[15],其通過多核來構造總的核,對于不同的情況可以通過調(diào)整不同核的權重占比來進行更好的適配。

MK-MMD的定義由MMD引申而來,將概率分布p和q之間的MK-MMD記為dk(p,q),被定義為p和q的嵌入均值之間的RKHS距離,則MK-MMD的平方公式可定義為

(6)

與MMD不同的是,與特征映射φ,k(xs,x)=<φ(xs),φ(xt)>相關的特征核不是一個單個核,而是被定義為m個核{ku}的凸組合,即

(7)

其中,對系數(shù){βu}施加約束以確保生成更適合的多核k。Gretton等人的一項研究顯示,適用于p和q嵌入均值的核是確保低測試誤差的關鍵[17]。多核k可以利用不同的核來增強MK-MMD的能力,這就是優(yōu)化核選擇的原理方法。本文主要是利用MK-MMD來增強特征表示的遷移能力。

1.2.2 模型和優(yōu)化目標

本文通過基于MK-MMD的適應性學習思想,來學習深度網(wǎng)絡中的可轉(zhuǎn)移特征,并將其用于通信輻射源個體識別。從深度卷積神經(jīng)網(wǎng)絡開始,主要挑戰(zhàn)是目標域沒有或只有很少的標簽信息,因此直接將CNN通過微調(diào)應用到目標域上是不太合理并且很容易過擬合的。于是通過DRAN來降低數(shù)據(jù)帶來的限制,這個網(wǎng)絡既可以利用有標簽的源域數(shù)據(jù),也可以利用無標簽的目標域數(shù)據(jù)。

研究表明,深層網(wǎng)絡可以學習到比傳統(tǒng)人工特征更適合遷移的特征。本文通過深度神經(jīng)網(wǎng)絡來學習通信輻射源信號的可遷移特征以解決其無監(jiān)督域適應的問題。從零開始的深度神經(jīng)網(wǎng)絡訓練量巨大,所以本文采用已存在預訓練模型來解決,選用ResNet-50來提取深度特征。本文提出方法的模型如圖2所示。

圖2 DRAN模型Fig.2 Model of DRAN

CNN分類器f(x)在源域標記數(shù)據(jù)Dxs上的經(jīng)驗誤差為

(8)

研究表明,深度特征可以減少但是不能消除跨域分布差異,標準CNN的深度特征在網(wǎng)絡中總會從一般特征最終轉(zhuǎn)變?yōu)樘囟ㄌ卣?并且特征和分類器的可遷移性會隨著域差異的增加而降低。換句話說,全連接層是針對源任務而訓練出來的,其在目標任務上的性能并不理想,因此不能通過有限目標監(jiān)督的微調(diào)來直接遷移到目標域。本文在有標記的源域樣本上微調(diào)CNN,并要求源域樣本和目標域樣本的分布在全連接層的隱藏表示下變得相似。這可以通過將基于MK-MMD的多層自適應正則化器添加到CNN風險中來實現(xiàn)：

(9)

通過對DRAN風險函數(shù)(式(9))的優(yōu)化,可以學習從源域到目標域的可遷移特征,既可以從CNN受益,又可以通過MK-MMD來增強特征的可遷移性,從而達到最終遷移的目的。

1.2.3 核參數(shù)學習策略

本文采用MK-MMD的無偏估計：

(10)

計算復雜度為O(n)。

對β的學習主要是通過最大化雙樣本測試功效的同時，最小化II類誤差來優(yōu)化：

(11)

(12)

2 實驗結果與分析

2.1 實驗設置

為了評估基于DRAN的深度學習方法在通信輻射源個體識別領域的可行性和有效性,本文對實際的電臺通信信號進行了實驗,并與傳統(tǒng)的人工特征方法和一般的深度學習方法進行了比較。

實驗所采用的數(shù)據(jù)是在實際情況下由同一臺接收設備采集得到的,分別來自5個相同型號的輻射源個體,信號分為I-Q兩路。信號的具體參數(shù)如表1所示。

表1 信號參數(shù)Table 1 Signal parameters

2.1.1 數(shù)據(jù)預處理

先對接收信號按照固定長度分段,本文采用的分段長度為8 192個采樣點,再對分段信號進行篩選,舍棄靜默信號,然后對每個分段信號進行標準化處理(見圖3),再對處理后的信號作連續(xù)小波變換(continuous wavelet transform,CWT)得到尺度譜(見圖4),用于表示信號的時頻能量分布,最后對每個尺度譜進行標準化處理。

圖3 分段標準化后的I/Q信號數(shù)據(jù)Fig.3 I/Q signal data after segmented standardization

圖4 CWT后的尺度譜Fig.4 Scale spectrum after CWT

2.1.2 實驗相關設置

經(jīng)過預處理后,能夠得到兩個信號載頻下的每個輻射源個體有600個樣本,5個輻射源總共6 000個樣本。在DRAN算法的實驗過程中,對源域數(shù)據(jù)每個輻射源選取500個帶標簽的樣本,目標域數(shù)據(jù)每個輻射源選取500個未標記的樣本,兩者一起作為訓練集,一共5 000個樣本。將剩余的目標域數(shù)據(jù)作為測試集,一共500個樣本。在訓練過程中,使用了帶有標簽的源域數(shù)據(jù)及其標簽和未標記的目標域數(shù)據(jù),沒有用到目標域數(shù)據(jù)的標簽。所有的訓練集和測試集均為隨機選取。

將數(shù)據(jù)輸入DRAN中,根據(jù)算法更新網(wǎng)絡參數(shù)。本文網(wǎng)絡模型采用的是ResNet-50模型,優(yōu)化算法采用的是動量隨機梯度下降法,學習率lr=0.001,momentum=0.9,weight_decay=5×10-4，懲罰系數(shù)λ=1,激活函數(shù)為ReLU函數(shù)。

2.1.3 對比實驗

對照算法采用基于經(jīng)驗模態(tài)分解[21](empirical mode decomposition,EMD)、變分模態(tài)分解[22](variational mode decomposition,VMD)和固有時間尺度分解[5](intrinsic time-scale decomposition,ITD)的人工特征提取方法,遷移成分分析[23](transfer component analysis,TCA)、ResNet[8]算法和長短期記憶(long short-term memory,LSTM)算法[7]。

其中,EMD、VMD和ITD提取的特征一致,所采用的分類器均為是支持向量機(support vector machine,SVM)分類器;TCA方法是傳統(tǒng)的遷移學習算法,所用特征為上述3種人工特征;ResNet算法是僅使用ResNet網(wǎng)絡加上全連接層進行分類識別。

具體的實驗訓練集與測試集劃分與第2.1.2節(jié)中的一致,ResNet算法中的相關參數(shù)設置也與DRAN算法中的參數(shù)設置一致。其中EMD、VMD、ResNet和LSTM方法由于自身限制,訓練數(shù)據(jù)僅為帶標簽的源域數(shù)據(jù),未用到目標域數(shù)據(jù),測試數(shù)據(jù)為目標域數(shù)據(jù),是未進行遷移的方法。TCA方法是輸入為經(jīng)過提取的人工特征的傳統(tǒng)遷移方法。

2.2 結果與分析

對第2.1節(jié)中處理后的數(shù)據(jù)進行實驗,并與相關對照算法進行對比,得到不同方法的識別性能,如表2所示。表2中的左列表示源域數(shù)據(jù)載頻為450 MHz,目標域數(shù)據(jù)載頻為512 MHz,右列表示源域數(shù)據(jù)載頻為512 MHz,目標域數(shù)據(jù)載頻為450 MHz,箭頭表示遷移的方向?？梢钥吹?DRAN的遷移學習方法相較于利用人工特征進行TCA遷移方法具有更高的識別準確率,表明深度特征相較于人工特征具有更好的可遷移性。同時,經(jīng)過TCA遷移之后的準確率要低于僅利用SVM進行分類的結果,表明人工特征的可遷移性很差甚至不具備可遷移性。

表2 不同方法實驗結果對比Table 2 Experimental results comparison of different methods %

其中的LSTM和ResNet算法在源域數(shù)據(jù)上進行訓練和測試能夠達到99%以上的精度,但是將訓練好的模型在目標域數(shù)據(jù)上測試會發(fā)現(xiàn)識別精度明顯降低,尤其是LSTM算法,說明了深度學習網(wǎng)絡自身的泛化能力不足,導致當數(shù)據(jù)存在分布差異時,識別準確率顯著降低。將DRAN與未進行遷移的ResNet和LSTM算法進行結果比較,可以看出利用DRAN方法有利于解決數(shù)據(jù)分布差異的問題。原因是遷移學習方法雖然不需要利用目標域標簽,但是通過度量函數(shù)可以將目標域數(shù)據(jù)信息輔助訓練,而非遷移方法在訓練階段完全用不到目標域的數(shù)據(jù)信息。此外,DRAN在兩個方向上的遷移識別準確率都達到了90%以上,證明了其對于不同頻點下通信輻射源識別的可行性和有效性。

為了說明深度學習對于標簽的依賴性,本文將目標域數(shù)據(jù)加入DRAN模型進行了訓練與測試,實驗結果如表3所示。

表3 目標域有無標簽實驗結果對比Table 3 Comparison of experimental results with and without tags in target domain %

表3是最后的實驗結果,可以看到,當加入目標域標簽進行訓練時,不管遷移方向如何變化,識別準確率都能夠達到99%以上。經(jīng)分析,原因是將目標域標簽加入原模型中進行訓練,就相當于在同一個域上進行有監(jiān)督的訓練和測試,所以識別準確率接近完美是在可預見范圍之內(nèi)的。但是,同時可以看到目標域標簽的使用與否對于輻射源個體的識別準確率還是存在著一定的影響。如果缺乏目標域的標簽,將會對最后的識別精度產(chǎn)生一定的損失。

2.2.1 特征可視化

為了進一步了解本文提出方法所提取特征的可遷移性,本文還對ResNet和DRAN兩個網(wǎng)絡中學習到的深度特征(源域數(shù)據(jù)為450 MHz,目標域數(shù)據(jù)為512 MHz)進行了可視化,如圖5和圖6所示。其中,圖5是由ResNet提取特征的可視化圖,圖6是由DRAN提取特征的可視化圖。通過圖5和圖6可以觀察到:ResNet的特征中,源域和目標域之間的類別沒有很好地對齊,相較之下,DRAN特征域之間的類別對齊得更好,可以將目標域的通信輻射源目標更好地分類識別出來,說明DAN的適配思想對于通信輻射源識別的有效性,同時也可以看出DRAN可以學習可遷移特征,從而進行有效的領域適應。

圖5 ResNet的特征可視化Fig.5 ResNet feature visualization

圖6 DRAN的特征可視化Fig.6 DRAN feature visualization

2.2.2 Wasserstein距離

為了進一步說明DRAN算法對源域數(shù)據(jù)和目標域數(shù)據(jù)進行遷移的有效性,本文對未進行遷移和遷移之后源域與目標域的域間距離進行了計算和比較。結果如圖7所示。

圖7 Wasserstein距離Fig.7 Wasserstein distance

圖7中分別是ResNet和DRAN兩種方法中源域(512 MHz)和目標域(450 MHz)的Wasserstein距離,可以觀察到DRAN網(wǎng)絡的特征距離小于ResNet網(wǎng)絡中的特征距離,說明了經(jīng)過DRAN的網(wǎng)絡適配之后,能夠有效降低不同域之間的分布距離,使其在不同載頻的通信輻射源識別上表現(xiàn)很好。

2.2.3 分析與討論

以上的實驗結果說明了本文提出的DRAN算法對于通信輻射源個體識別是有效的,可以解決在缺乏目標域標簽的情況下,傳統(tǒng)人工特征方法數(shù)據(jù)分布差異和識別準確率低下的問題。DRAN通過源域向目標域進行遷移,從而不需要目標域數(shù)據(jù)的標簽,節(jié)省了人工標注數(shù)據(jù)的成本,可以為目標信號的跟蹤關聯(lián)等方面的研究提供一些啟發(fā)和思路。

DRAN算法也存在一定的局限性,雖然不需要目標域標簽,但是需要在訓練時用到目標域數(shù)據(jù)來衡量與源域數(shù)據(jù)之間的差異,只能做到標簽上的無監(jiān)督學習。此外,該方法的前提是源域和目標域數(shù)據(jù)分布具有一定的相似性,如果差異過大,可能出現(xiàn)負遷移的現(xiàn)象。在后續(xù)的研究發(fā)展中,可以進一步嘗試降低對于目標域數(shù)據(jù)的使用和依賴。

3 結 論

本文將DAN的適配思想引入通信輻射源識別領域,提出了一種基于DRAN的通信輻射源個體識別方法,該方法只需要利用源域數(shù)據(jù)和無標簽的目標域數(shù)據(jù)進行學習,從而實現(xiàn)由源域到目標域遷移的目的。對實際通信數(shù)據(jù)的實驗結果表明,深度特征相較于人工特征具有更強的魯棒性和可遷移性,本文中提出方法的識別準確率能夠達到90%以上,相較于傳統(tǒng)通信輻射源識別領域的人工特征方法對于不同頻點的輻射源具有更好的分類識別效果。