龐伊瓊, 許華, 張悅, 朱華麗, 彭翔

(空軍工程大學(xué) 信息與導(dǎo)航學(xué)院, 陜西 西安 710077)

0 引言

通信信號調(diào)制樣式識別是介于信號檢測與解調(diào)之間的關(guān)鍵步驟,在信息偵察、電子對抗、電磁頻譜監(jiān)測等領(lǐng)域都有著重大的研究意義。傳統(tǒng)通信信號調(diào)制識別通過對目標(biāo)信號進(jìn)行特征分析與提取,并以此為依據(jù)設(shè)計特定的分類器實現(xiàn)對信號的分類[1-3]。隨著現(xiàn)代通信技術(shù)的迅猛發(fā)展,傳統(tǒng)方法已無法適應(yīng)復(fù)雜電磁環(huán)境下的調(diào)制識別任務(wù),這促進(jìn)了以深度學(xué)習(xí)為基礎(chǔ)的新一代調(diào)制識別技術(shù)的發(fā)展。O’Shea等[4-5]首次采用深度學(xué)習(xí)技術(shù)解決調(diào)制識別問題,提出通過卷積神經(jīng)網(wǎng)絡(luò)(CNN)直接學(xué)習(xí)信號IQ序列樣本,完成對11類調(diào)制信號的識別任務(wù)。Kumar等[6]采用ResNet-50和Incepction V2網(wǎng)絡(luò)提取信號星座密度矩陣圖特征,并通過與前置噪聲濾波網(wǎng)絡(luò)結(jié)合實現(xiàn)對低信噪比數(shù)字調(diào)制信號的準(zhǔn)確識別。Liu等[7]將雙向長短時記憶(LSTM)網(wǎng)絡(luò)與CNN級聯(lián),在信噪比超過4 dB時對11類調(diào)制信號的識別率可達(dá)到90%。文獻(xiàn)[8]采用特征降維的方式控制CNN的運算開銷,對比傳統(tǒng)CNN,在降低94.44%計算量的同時實現(xiàn)了86.5%的識別準(zhǔn)確率,該算法有效提升了CNN網(wǎng)絡(luò)在調(diào)制識別領(lǐng)域的應(yīng)用價值。

雖然基于深度學(xué)習(xí)的調(diào)制識別方法取得了顯著的識別效果,但深度學(xué)習(xí)方法的成功往往都需要至少數(shù)千個帶標(biāo)簽訓(xùn)練樣本,訓(xùn)練樣本量不足會導(dǎo)致網(wǎng)絡(luò)出現(xiàn)過擬合問題。然而隨著實際應(yīng)用的不斷擴(kuò)展,通信信號環(huán)境所能提供的帶標(biāo)簽信號樣本很難滿足以上基于深度學(xué)習(xí)的調(diào)制識別方法的要求。

針對深度學(xué)習(xí)方法所需訓(xùn)練樣本過多的問題,遷移學(xué)習(xí)[9]將從源域中學(xué)到的知識遷移到對相關(guān)目標(biāo)域的學(xué)習(xí)過程中,有效降低了在目標(biāo)域訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)對樣本量的需求。在信號調(diào)制識別領(lǐng)域遷移學(xué)習(xí)技術(shù)已經(jīng)有了廣泛應(yīng)用,如文獻(xiàn)[10-12]采用遷移學(xué)習(xí)技術(shù)對網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練,在目標(biāo)數(shù)據(jù)集樣本量明顯減少的情況下保證了算法的識別準(zhǔn)確率。但遷移學(xué)習(xí)要實現(xiàn)較好的識別性能仍需至少幾百個目標(biāo)域信號樣本,針對僅有幾個帶標(biāo)簽信號樣本的調(diào)制識別任務(wù)無法直接采用遷移學(xué)習(xí)技術(shù),元學(xué)習(xí)[13-14]可采用基于任務(wù)的訓(xùn)練方式來解決僅有幾個帶標(biāo)簽訓(xùn)練樣本的信號識別問題。元學(xué)習(xí)的目標(biāo)是訓(xùn)練得到一個具有強(qiáng)泛化性能的基網(wǎng)絡(luò),該網(wǎng)絡(luò)通過從訓(xùn)練任務(wù)中積累的元知識指導(dǎo)對新任務(wù)的學(xué)習(xí),僅需極少量數(shù)據(jù)就可使網(wǎng)絡(luò)快速收斂。模型無關(guān)元學(xué)習(xí)(MAML)[15]在元訓(xùn)練過程中通過大量不同任務(wù)所產(chǎn)生的誤差的梯度信息學(xué)習(xí)基網(wǎng)絡(luò)的最優(yōu)初始化參數(shù)。在元測試時采用學(xué)習(xí)到的最優(yōu)網(wǎng)絡(luò)參數(shù)來初始化基網(wǎng)絡(luò)參數(shù),只需少量訓(xùn)練數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行微調(diào)就可快速適應(yīng)新任務(wù)。但MAML算法的基網(wǎng)絡(luò)通常只能采用淺層神經(jīng)網(wǎng)絡(luò),若直接采用較深的神經(jīng)網(wǎng)絡(luò)將會大幅提升網(wǎng)絡(luò)的訓(xùn)練難度,限制了網(wǎng)絡(luò)識別性能的進(jìn)一步提升。

本文提出一種基于遷移元學(xué)習(xí)的調(diào)制識別算法。為采用深度殘差神經(jīng)網(wǎng)絡(luò)作為MAML算法的基網(wǎng)絡(luò),針對所用信號樣本獨立同分布的數(shù)據(jù)特性,本文算法根據(jù)遷移學(xué)習(xí)思想首先在整個訓(xùn)練集上對基網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,在元學(xué)習(xí)階段中只保留基網(wǎng)絡(luò)特征提取部分,并通過設(shè)置兩個可學(xué)習(xí)的神經(jīng)元參數(shù)ψ1和ψ2對其預(yù)訓(xùn)練所得網(wǎng)絡(luò)參數(shù)θ1進(jìn)行縮放與偏移操作,即ψ1θ1+ψ2,從而實現(xiàn)網(wǎng)絡(luò)的遷移。元訓(xùn)練過程中將ψ1、ψ2以及基網(wǎng)絡(luò)分類部分的網(wǎng)絡(luò)初始參數(shù)θ2作為元知識,通過最小化識別任務(wù)中測試數(shù)據(jù)產(chǎn)生的損失來優(yōu)化ψ1、ψ2以及θ2,提高網(wǎng)絡(luò)對新類信號數(shù)據(jù)的泛化性能。元測試過程中將元訓(xùn)練得到的ψ1、ψ2以及最優(yōu)初始化參數(shù)θ2用于解決新類信號的識別任務(wù),只需通過少量訓(xùn)練數(shù)據(jù)對基網(wǎng)絡(luò)分類部分網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào),就能對新任務(wù)中待測信號的調(diào)制樣式實現(xiàn)準(zhǔn)確識別。

1 模型無關(guān)元學(xué)習(xí)算法

1.1 元學(xué)習(xí)基本思想

人類在學(xué)習(xí)新事物時可以運用之前學(xué)習(xí)過程中已經(jīng)掌握的一些技能,如認(rèn)識貓的兒童更容易理解老虎這個概念,可通過學(xué)習(xí)一張老虎圖片就快速認(rèn)出老虎。受此啟發(fā)提出元學(xué)習(xí)的概念,元學(xué)習(xí)通過對以往任務(wù)的學(xué)習(xí)積累元知識來指導(dǎo)對新任務(wù)的學(xué)習(xí),根據(jù)元知識的不同,可將元學(xué)習(xí)方法分為基于度量的元學(xué)習(xí)算法[16-19]、基于優(yōu)化策略的元學(xué)習(xí)算法[20]、基于最優(yōu)初始化參數(shù)的元學(xué)習(xí)算法[15]。元學(xué)習(xí)的實現(xiàn)分為元訓(xùn)練與元測試兩個過程,且都是基于任務(wù)進(jìn)行的,本文算法主要針對僅有幾個帶標(biāo)簽訓(xùn)練樣本的調(diào)制識別問題,則元訓(xùn)練與元測試過程中的任務(wù)都為信號識別任務(wù),且每個任務(wù)包含少量訓(xùn)練信號樣本與待測信號樣本。在元訓(xùn)練過程中通過學(xué)習(xí)訓(xùn)練任務(wù)積累元知識,元知識可用于提高基網(wǎng)絡(luò)的泛化性能,實現(xiàn)對元測試階段新類信號的信號識別任務(wù)的快速學(xué)習(xí)。

元訓(xùn)練與元測試過程中采樣的識別任務(wù)中的訓(xùn)練數(shù)據(jù)若包含C類信號,且每類信號擁有K個信號樣本,則將該識別任務(wù)稱為C-wayK-shot任務(wù)。為使網(wǎng)絡(luò)在元測試階段對僅有少量訓(xùn)練樣本的新類信號識別任務(wù)實現(xiàn)較高的識別準(zhǔn)確率,需要大量訓(xùn)練任務(wù)幫助網(wǎng)絡(luò)積累元知識,訓(xùn)練任務(wù)通常從一個包含大量信號樣本的數(shù)據(jù)集Dbase中采樣得來,假設(shè)Dbase由NC類信號組成(不包含測試任務(wù)中所含有的信號類別),采樣一個C-wayK-shot任務(wù)時首先從這NC類信號中隨機(jī)選取C類信號(C≤NC),然后從每類信號樣本中隨機(jī)采樣K+Nq個樣本,將這K+Nq個信號樣本中的K個樣本作為該任務(wù)的訓(xùn)練數(shù)據(jù),Nq個樣本作為該任務(wù)的測試數(shù)據(jù),通過該方式多次采樣本文所需的訓(xùn)練任務(wù)集。

1.2 MAML算法

(1)

(2)

MAML算法的訓(xùn)練過程分為外循環(huán)與內(nèi)循環(huán),在內(nèi)循環(huán)中尋找針對每個任務(wù)的最優(yōu)參數(shù)θ′i,在外循環(huán)中通過基網(wǎng)絡(luò)在最優(yōu)參數(shù)下的測試損失更新基網(wǎng)絡(luò)的初始參數(shù)θ。算法訓(xùn)練偽代碼如圖1所示。

根據(jù)文獻(xiàn)[13]的研究結(jié)論可知,MAML算法通過這種特殊的訓(xùn)練方式為網(wǎng)絡(luò)尋找到一個盡可能適應(yīng)所有任務(wù)的初始化參數(shù),使得網(wǎng)絡(luò)參數(shù)在面對新任務(wù)時能夠被更快、更容易地微調(diào),提升網(wǎng)絡(luò)快速學(xué)習(xí)新任務(wù)的能力。當(dāng)訓(xùn)練結(jié)束后,面對未經(jīng)訓(xùn)練的新類信號,只需微調(diào)一小部分網(wǎng)絡(luò)參數(shù)就可使網(wǎng)絡(luò)快速學(xué)習(xí)到可用于區(qū)分新類信號的關(guān)鍵特征。

輸入:任務(wù)分布集p(T);學(xué)習(xí)率:β、γ過程:1.使用隨機(jī)值θ初始化基網(wǎng)絡(luò)f參數(shù)2.while not done do3. 從p(T)中抽取一批任務(wù),即Ti～p(T)4. for all Ti do5. 計算Ti的訓(xùn)練損失:LTtri(fθ)6. 通過梯度下降得針對任務(wù)Ti的最優(yōu)參數(shù):θ′i=θ-βΔθLTtri(fθ)7. end8. 更新初始化參數(shù):θ←θ-γΔθ∑Ti～p(T)LTtei(fθ′i)9.end輸出:基網(wǎng)絡(luò)f的最優(yōu)初始化參數(shù)θ

MAML算法僅在傳統(tǒng)端到端網(wǎng)絡(luò)的輸出后增加了由測試集生成的損失函數(shù),其設(shè)計結(jié)構(gòu)具備很好的通用性與性能提升潛能。由于算法采用的基網(wǎng)絡(luò)僅需負(fù)責(zé)反向傳播以及輸出預(yù)測結(jié)果,在訓(xùn)練過程中不需要增加額外參數(shù),相比其他類型的元學(xué)習(xí)算法,MAML算法自適應(yīng)能力更強(qiáng),更適用于解決極少量樣本條件下的調(diào)制識別問題。

2 基于遷移元學(xué)習(xí)的調(diào)制識別算法

針對僅有幾個有標(biāo)簽信號樣本的調(diào)制識別問題,本文在MAML算法的基礎(chǔ)上做了進(jìn)一步的改進(jìn),如圖2所示,本文算法的實現(xiàn)過程分為遷移預(yù)訓(xùn)練階段和元學(xué)習(xí)階段。首先通過整個訓(xùn)練集預(yù)訓(xùn)練網(wǎng)絡(luò)模型,在元學(xué)習(xí)階段凍結(jié)網(wǎng)絡(luò)參數(shù)且只保留特征提取部分,并通過設(shè)置縮放偏移參數(shù)[ψ1,ψ2]將其遷移至小樣本識別任務(wù)的學(xué)習(xí)過程中,在元訓(xùn)練過程中采用MAML算法的雙層循環(huán)訓(xùn)練策略,將[ψ1,ψ2]以及新分類器的初始化參數(shù)θ2作為可學(xué)習(xí)的元知識進(jìn)行優(yōu)化訓(xùn)練,使得在元測試時基網(wǎng)絡(luò)可快速適應(yīng)新的小樣本識別任務(wù)。

圖2 算法流程圖Fig.2 Algorithm flow chart

2.1 算法實現(xiàn)過程

如圖2所示,在遷移預(yù)訓(xùn)練階段,本文通過訓(xùn)練集內(nèi)的所有信號樣本優(yōu)化網(wǎng)絡(luò)模型參數(shù),首先隨機(jī)初始化特征提取部分和分類器部分的網(wǎng)絡(luò)參數(shù)θ1和θ2,并通過梯度下降對[θ1;θ2]進(jìn)行優(yōu)化訓(xùn)練,即

(3)

式中:α表示學(xué)習(xí)率;D表示訓(xùn)練集;LD([θ1;θ2])表示訓(xùn)練集識別損失,可表示為

(4)

x表示信號樣本,y表示x對應(yīng)的信號標(biāo)簽,本文中l(wèi)(f[θ1;θ2](x),y)為交叉熵?fù)p失函數(shù)。

通過訓(xùn)練集內(nèi)所有信號樣本預(yù)訓(xùn)練得到網(wǎng)絡(luò)模型f[θ1;θ2],元學(xué)習(xí)過程基于多個信號識別任務(wù)進(jìn)行,由于訓(xùn)練集與信號識別任務(wù)內(nèi)待識別的信號類別數(shù)不相等,如本文中預(yù)訓(xùn)練得到的是10類別(10-way)信號分類器,而元學(xué)習(xí)過程中需要5類別(5-way)信號分類器,因此在后續(xù)的元學(xué)習(xí)過程中將只保留網(wǎng)絡(luò)模型的特征提取部分。在元學(xué)習(xí)階段凍結(jié)特征提取部分網(wǎng)絡(luò)參數(shù)θ1,并針對信號識別任務(wù)設(shè)置新的分類器。本文算法所用訓(xùn)練集與測試集內(nèi)包含的調(diào)制信號樣本來自同一信號數(shù)據(jù)集,所有信號樣本均服從同一分布,樣本間具備較高的相關(guān)性。根據(jù)遷移學(xué)習(xí)思想[7],預(yù)訓(xùn)練所得特征提取網(wǎng)絡(luò)不僅可以提取訓(xùn)練集內(nèi)信號樣本特征,還可有效實現(xiàn)對測試集內(nèi)信號樣本的特征提取,但由于預(yù)訓(xùn)練網(wǎng)絡(luò)是在整個訓(xùn)練集上進(jìn)行的,難以快速適應(yīng)只有幾個帶標(biāo)簽信號樣本的識別任務(wù)。因此本文算法在元學(xué)習(xí)階段通過設(shè)置可學(xué)習(xí)的縮放偏移參數(shù)[ψ1,ψ2]實現(xiàn)對特征提取部分網(wǎng)絡(luò)參數(shù)θ1的遷移,具體地,假定網(wǎng)絡(luò)參數(shù)的權(quán)值和偏差分別為W、b,則當(dāng)輸入為x時,網(wǎng)絡(luò)輸出可表示為

f[W;b;ψ{1;2}](x)=(W⊙ψ1)x+(b+ψ2)

(5)

在元訓(xùn)練前隨機(jī)設(shè)置分類器的初始參數(shù)θ2,ψ1和ψ2的初始值分別設(shè)置為1和0,在內(nèi)循環(huán)過程中針對小樣本識別任務(wù)T,通過Ttr訓(xùn)練優(yōu)化當(dāng)前基網(wǎng)絡(luò)分類器部分的參數(shù),則針對T的最優(yōu)網(wǎng)絡(luò)參數(shù)為

(6)

不同于式(3),此處θ2表示新分類器的網(wǎng)絡(luò)初始化參數(shù),外循環(huán)過程中通過得到的f[θ1;θ′2]網(wǎng)絡(luò)測試Tte,并由產(chǎn)生的識別損失優(yōu)化更新[ψ1,ψ2]以及基網(wǎng)絡(luò)分類器的初始化參數(shù)θ2,即

(7)

(8)

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文網(wǎng)絡(luò)模型的特征提取部分和分類器分別由卷積層和全連接層構(gòu)成,其中特征提取部分采樣深層殘差網(wǎng)絡(luò)ResNet,ResNet由多級殘差塊組成,每個殘差塊包含3層3×1卷積,通過1×1卷積使得輸入輸出的格式一致,實現(xiàn)跳層連接,最后再級聯(lián)一個2×1的最大池化層,殘差結(jié)構(gòu)可避免網(wǎng)絡(luò)過深導(dǎo)致的梯度消失問題。如圖4所示,圖4(a)為n級殘差塊結(jié)構(gòu),圖4(b)為ResNet網(wǎng)絡(luò)整體結(jié)構(gòu)。網(wǎng)絡(luò)分類器部分采用一層全連接網(wǎng)絡(luò)。

輸入:任務(wù)分布p(T)以及對應(yīng)訓(xùn)練集D;學(xué)習(xí)率:α、β、γ過程:1.隨機(jī)初始化基網(wǎng)絡(luò)f特征提取器部分和分類器的網(wǎng)絡(luò)參數(shù)θ1和θ22.for (x,y) in D do3. 計算損失:LD([θ1;θ2])=1|D|∑(x,y)∈Dl(f[θ1;θ2](x),y)4. 更新網(wǎng)絡(luò)參數(shù)θ和θ:[θ1;θ2]←[θ1;θ2]-αΔLD([θ1;θ2])5.end6.初始化ψ1值為1,ψ2值為07.根據(jù)識別任務(wù)設(shè)置新分類器并隨機(jī)初始化對應(yīng)參數(shù)θ8.while not done do9. 從p(T)中抽取一批任務(wù),即Ti～p(T)10. for all Ti do11. 計算Ti的訓(xùn)練損失:LTtr(f[θ1;θ2],ψ{1,2})12. 計算針對任務(wù)Ti的最優(yōu)參數(shù): θ′2=θ2-βΔθ2LTtr(f[θ1;θ2],ψ{1,2})13. end14. 更新分類器初始化參數(shù)θ2: θ2←θ2-γΔθ2∑T～p(T)LTte(f[θ1;θ′2],ψ{1,2})15. 更新[ψ1,ψ2]:ψi←ψi-γΔψi∑T～p(T)LTte(f[θ1;θ′2],ψ{1,2})16.end輸出:最優(yōu)初始化參數(shù)θ2、[ψ1,ψ2]

圖4 ResNet特征提取網(wǎng)絡(luò)Fig.4 ResNet feature extraction network

本文算法設(shè)置了兩個可學(xué)習(xí)的參數(shù)[ψ1,ψ2],其結(jié)構(gòu)隨著特征提取網(wǎng)絡(luò)參數(shù)結(jié)構(gòu)的變化而不同,如圖5所示當(dāng)特征提取網(wǎng)絡(luò)權(quán)重參數(shù)格式為C×Nk×k1×k2,則對應(yīng)放縮系數(shù)ψ1和平移系數(shù)ψ2格式分別為C×Nk×1×1和1×Nk×1×1。相對于一般MAML算法,本文算法在元學(xué)習(xí)階段只需更新參數(shù)[ψ1,ψ2],減少了網(wǎng)絡(luò)所需訓(xùn)練的參數(shù)量,降低了算法在小樣本條件下采用深度神經(jīng)網(wǎng)絡(luò)時的訓(xùn)練難度。

圖5 參數(shù)格式Fig.5 Parametric format

3 仿真實驗

3.1 實驗數(shù)據(jù)集與實驗參數(shù)設(shè)置

RadioML2018.01是Deepsig提出的調(diào)制識別公開數(shù)據(jù)集,數(shù)據(jù)集內(nèi)信號樣本通過從模擬的真實通信環(huán)境中采樣得來,隨機(jī)采樣下的所有信號樣本獨立同分布[5]。該數(shù)據(jù)集包含24類調(diào)制信號,本節(jié)實驗選取信噪比從-10 dB到20 dB的調(diào)制信號,信噪比分布間隔為2 dB,通過從每類信號的每個信噪比點的樣本中采樣1 000個樣本構(gòu)成本節(jié)仿真實驗所需數(shù)據(jù)集,信號數(shù)據(jù)格式為[1 024,2],表示序列長度為1 024的I、Q路分量。實驗中將數(shù)據(jù)集內(nèi)不同類調(diào)制信號劃分為訓(xùn)練集、驗證集以及測試集,3個數(shù)據(jù)集內(nèi)所包含信號調(diào)制樣本不相交,各個數(shù)據(jù)集的具體調(diào)制樣式如表1所示。在元學(xué)習(xí)過程中通過從這些數(shù)據(jù)集中隨機(jī)采樣出大量不同的C-wayK-shot識別任務(wù)來實現(xiàn)本文算法。

本節(jié)實驗采用Python軟件開發(fā)平臺下的Pytorch神經(jīng)網(wǎng)絡(luò)架構(gòu)搭建網(wǎng)絡(luò)模型,實驗在Windows 7系統(tǒng)、32 GB內(nèi)存、配備NVDIA P4000顯卡的服務(wù)器上進(jìn)行。

在預(yù)訓(xùn)練階段通過SGD算法優(yōu)化網(wǎng)絡(luò)參數(shù),初始學(xué)習(xí)率設(shè)置為0.01,訓(xùn)練迭代100個epoch,每經(jīng)過20個Epoch,學(xué)習(xí)率減小為原來的50%,選取驗證識別率最高的模型用于元學(xué)習(xí)階段。元訓(xùn)練階段采用Adam優(yōu)化算法,內(nèi)循環(huán)和外循環(huán)學(xué)習(xí)率分別設(shè)置為0.001和0.000 1,選取驗證識別率最高的模型作為最終訓(xùn)練模型。在元測試階段,通過和采樣訓(xùn)練任務(wù)一樣的方式從測試集中采樣600個測試識別任務(wù)來測試網(wǎng)絡(luò)模型的識別準(zhǔn)確率,將所有測試任務(wù)識別準(zhǔn)確率的平均值用于表征算法最終的識別性能。在每個識別任務(wù)中,每類信號選取15個信號樣本作為測試樣本。

3.2 遷移元學(xué)習(xí)算法性能分析

3.2.1 不同樣本量下算法性能分析

遷移元學(xué)習(xí)算法可解決極少量帶標(biāo)簽信號樣本條件下的調(diào)制識別問題,為驗證算法的識別性能,在不同樣本量條件下進(jìn)行仿真實驗,同時為證明遷移元學(xué)習(xí)算法的性能優(yōu)勢,實驗還選取了 3種不同的調(diào)制識別算法,分別為CNN[4]、遷移學(xué)習(xí)(TL)[11]和數(shù)據(jù)增強(qiáng)(DA)[21],對所有算法在不同樣本量下的性能差異進(jìn)行對比分析。遷移元學(xué)習(xí)算法特征提取網(wǎng)絡(luò)設(shè)置為ResNet網(wǎng)絡(luò),為保證實驗結(jié)果的可靠性,根據(jù)實驗單一變量原則,所有對比算法所用數(shù)據(jù)集均為表1所示的測試集,通過采樣該數(shù)據(jù)集中部分信號樣本訓(xùn)練3種對比算法的網(wǎng)絡(luò)參數(shù),將其余樣本用于測試算法識別性能。本文遷移元學(xué)習(xí)算法采用表1中數(shù)據(jù)集進(jìn)行仿真實驗。當(dāng)測試信號信噪比為20 dB時,不同算法識別準(zhǔn)確率隨每類信號訓(xùn)練樣本量的變化情況如圖6所示。

分析圖6中變化曲線可知:本文算法要達(dá)到最好的識別性能所需的樣本量只有20個,遠(yuǎn)遠(yuǎn)少于其他對比算法所需的樣本量;當(dāng)待測信號的訓(xùn)練樣本量只有幾個時,本文遷移元學(xué)習(xí)算法的識別性能明顯優(yōu)于對比算法,如當(dāng)每類信號訓(xùn)練樣本量為20時,對比基于CNN、TL、DA的3種調(diào)制識別方法,本文算法的識別準(zhǔn)確率分別提高了79.66%、72.42%、78.05%。

圖7分別展示了本文算法針對5-way 5-shot和5-way 1-shot測試任務(wù)以及3種對比算法的識別準(zhǔn)確率隨信噪比的變化曲線,圖7(a)中CNN、TL、DA 3種對比算法所用每類訓(xùn)練信號樣本量N=50,圖7(b)中N=100。從圖7中可以看出,當(dāng)對比算法的訓(xùn)練樣本量N為50個時,相對于其他對比算法,本文算法針對5-way 1-shot和5-way 5-shot測試任務(wù)均取得了最優(yōu)的識別效果;當(dāng)N=100個時,本文算法在測試信號信噪比大于0 dB時針對5-way 5-shot任務(wù)的識別性能依然優(yōu)于其他對比算法。圖6和圖7中實驗結(jié)果表明,本文遷移元學(xué)習(xí)算法在待測信號只有幾個訓(xùn)練樣本時仍能取得較高的識別準(zhǔn)確率,在所用樣本量遠(yuǎn)遠(yuǎn)少于其他對比算法時。本文遷移元學(xué)習(xí)算法可以實現(xiàn)更優(yōu)的識別性能,主要原因在于本文算法采用元學(xué)習(xí)策略優(yōu)化網(wǎng)絡(luò)模型,即在訓(xùn)練階段通過學(xué)習(xí)大量不同的小樣本識別任務(wù)來優(yōu)化模型網(wǎng)絡(luò)參數(shù)。通過這種跨任務(wù)的訓(xùn)練方式,使得網(wǎng)絡(luò)模型具備了“學(xué)會學(xué)習(xí)”的能力,可以實現(xiàn)對新任務(wù)的快速適應(yīng)。不同于元學(xué)習(xí)策略,對比算法則是直接學(xué)習(xí)信號樣本與對應(yīng)標(biāo)簽之間的映射關(guān)系,訓(xùn)練完成的網(wǎng)絡(luò)能夠直接識別新的待測信號樣本的調(diào)制樣式,然而網(wǎng)絡(luò)模型要掌握這種能力需要學(xué)習(xí)大量不同的信號樣本,當(dāng)訓(xùn)練樣本量不足時會導(dǎo)致識別性能的下降。從實驗結(jié)果中可以看出,本文算法即使在每類信號帶標(biāo)簽樣本量只有1個時也能保持較高的識別準(zhǔn)確率,相對于3種對比算法,本文算法有很大的性能優(yōu)勢。

圖7 不同算法識別性能變化曲線Fig.7 Variation curves of recognition performances of different algorithms

3.2.2 算法對比消融實驗

為進(jìn)一步提高網(wǎng)絡(luò)模型在帶標(biāo)簽信號樣本量只有幾個時的識別準(zhǔn)確率,在MAML算法的基礎(chǔ)上,本文遷移元學(xué)習(xí)算法增添了遷移預(yù)訓(xùn)練過程,并在元學(xué)習(xí)過程中設(shè)置可訓(xùn)練更新的縮放偏移參數(shù)[ψ1,ψ2]。為驗證這些改進(jìn)的有效性,本節(jié)在表1的數(shù)據(jù)集上進(jìn)行消融實驗,當(dāng)測試信號信噪比為20 dB時,針對5類調(diào)制信號識別任務(wù)(5-way)的實驗測試結(jié)果如表2所示,其中ConvNet表示5層的卷積神經(jīng)網(wǎng)絡(luò),且經(jīng)過遷移預(yù)訓(xùn)練的網(wǎng)絡(luò)在元學(xué)習(xí)階段將凍結(jié)特征提取部分的網(wǎng)絡(luò)參數(shù)。

表2 對比消融實驗結(jié)果Table 2 Comparison of ablation results %

從表2中可以看出,本文針對MAML算法的改進(jìn)都進(jìn)一步提高了網(wǎng)絡(luò)的識別準(zhǔn)確率。分析表2中的數(shù)據(jù)可知,當(dāng)MAML算法采用層數(shù)更深的ResNet作為特征提取網(wǎng)絡(luò)時,網(wǎng)絡(luò)的識別準(zhǔn)確率反而下降了。這是因為MAML算法針對每個識別任務(wù)都只有極少量的訓(xùn)練樣本(見圖8),當(dāng)采用較深的特征提取網(wǎng)絡(luò),如果直接更新整個網(wǎng)絡(luò)參數(shù),則難以訓(xùn)練網(wǎng)絡(luò)收斂,整個元訓(xùn)練過程中網(wǎng)絡(luò)的識別精度和損失都在劇烈波動,網(wǎng)絡(luò)無法實現(xiàn)一個較為穩(wěn)定的學(xué)習(xí)效果,導(dǎo)致網(wǎng)絡(luò)的識別性能顯著下降。

圖8 采用ResNet時MAML算法訓(xùn)練損失與訓(xùn)練精度Fig.8 Training loss and accuracy of MAML algorithm with ResNet

通過遷移預(yù)訓(xùn)練過程進(jìn)一步提升了ResNet網(wǎng)絡(luò)對同一分布信號樣本的特征提取能力,緩解了ResNet網(wǎng)絡(luò)在元學(xué)習(xí)階段的學(xué)習(xí)壓力,元學(xué)習(xí)過程中凍結(jié)特征提取部分的網(wǎng)絡(luò)參數(shù),這極大地減少了網(wǎng)絡(luò)所需學(xué)習(xí)更新的網(wǎng)絡(luò)參數(shù),降低了網(wǎng)絡(luò)訓(xùn)練的難度(見圖9)。遷移元學(xué)習(xí)算法在使用更深的ResNet特征提取網(wǎng)絡(luò)時,網(wǎng)絡(luò)經(jīng)過60次訓(xùn)練迭代就能使網(wǎng)絡(luò)收斂到最優(yōu)的狀態(tài)。同時在元學(xué)習(xí)階段凍結(jié)特征提取部分網(wǎng)絡(luò)參數(shù)還能使訓(xùn)練過程更注重對分類部分網(wǎng)絡(luò)參數(shù)的學(xué)習(xí),強(qiáng)化了分類網(wǎng)絡(luò)對提取到信號特征的敏感度。但從表2數(shù)據(jù)中還可以看出,當(dāng)ConvNet作為特征提取網(wǎng)絡(luò)時,通過遷移預(yù)訓(xùn)練操作沒有提高算法的信號識別準(zhǔn)確率。主要原因在于ConvNet網(wǎng)絡(luò)層數(shù)較淺,特征提取能力有限,無法提取到信號樣本間細(xì)致的特征差異。由于ConvNet網(wǎng)絡(luò)特征提取能力存在局限性,使得遷移預(yù)訓(xùn)練操作無法有效提升采用ConvNet作為特征提取網(wǎng)絡(luò)時的算法識別性能。采用另一方面設(shè)置可學(xué)習(xí)的縮放偏移參數(shù)[ψ1,ψ2]遷移特征提取部分的網(wǎng)絡(luò)參數(shù),通過元訓(xùn)練得到最優(yōu)的[ψ1,ψ2]可幫助特征提取網(wǎng)絡(luò)在元測試階段盡快適應(yīng)新類信號的識別任務(wù),進(jìn)一步提升網(wǎng)絡(luò)的識別性能。

圖9 遷移元學(xué)習(xí)算法訓(xùn)練損失與訓(xùn)練精度Fig.9 Training loss and accuracy of transfer meta-learning algorithm

3.2.3 不同元學(xué)習(xí)算法性能對比

為進(jìn)一步驗證遷移元學(xué)習(xí)算法的性能優(yōu)勢,本節(jié)另外選取5類元學(xué)習(xí)算法進(jìn)行對比實驗,包括原型網(wǎng)絡(luò)(PN)[16]、關(guān)系網(wǎng)絡(luò)(RN)[17]、匹配網(wǎng)絡(luò)(MN)[18]、孿生網(wǎng)絡(luò)(SN)[19]、Meta-learner LSTM[20],將這些元學(xué)習(xí)算法用于解決本文所提的只有幾個帶標(biāo)簽信號樣本時的調(diào)制識別問題,所有算法都在表3所示數(shù)據(jù)集上進(jìn)行仿真實驗,當(dāng)測試信號信噪比為20 dB時,以上算法在5-way 5-shot和5-way 1-shot識別任務(wù)上的測試結(jié)果如表3所示,從表3數(shù)據(jù)中可以看出,相對于其他算法,本文算法取得了更好的識別效果。

本文算法具有明顯的性能優(yōu)勢,在5-way 5-shot和5-way 1-shot識別任務(wù)中都取得了最優(yōu)的識別效果。在對比的5類元學(xué)習(xí)算法中,PN、RN、MN、SN都屬于基于度量的元學(xué)習(xí)算法,該類算法通過多個訓(xùn)練任務(wù)學(xué)習(xí)一個合適的特征度量空間,當(dāng)面對新類信號的識別任務(wù)時,不需要更新網(wǎng)絡(luò)參數(shù),只需將帶標(biāo)簽信號樣本與待測信號樣本映射到經(jīng)訓(xùn)練所得的特征度量空間中,通過某種距離度量函數(shù)計算樣本間的距離,尋找最近鄰的類別確定識別結(jié)果。

表3 不同元學(xué)習(xí)算法的性能對比Table 3 Performance comparison of different meta-learning algorithms %

由于樣本量的限制,基于度量的元學(xué)習(xí)算法很難學(xué)習(xí)到一個高效率的特征度量空間,對比本文遷移元學(xué)習(xí)算法,當(dāng)ResNet作為算法特征提取網(wǎng)絡(luò)時,這4類基于度量的元學(xué)習(xí)算法在5-way 5-shot識別任務(wù)上測試識別準(zhǔn)確率分別降低了8.61%、7.98%、18.48%、26.18%。

Meta-learner LSTM算法通過訓(xùn)練一個LSTM元網(wǎng)絡(luò)來學(xué)習(xí)基網(wǎng)絡(luò)參數(shù)的更新規(guī)則,當(dāng)面對新類信號的識別任務(wù)時,在LSTM元網(wǎng)絡(luò)指導(dǎo)下可以對網(wǎng)絡(luò)參數(shù)進(jìn)行更準(zhǔn)確地更新,以快速適應(yīng)新任務(wù),但該算法中基網(wǎng)絡(luò)訓(xùn)練損失和元網(wǎng)絡(luò)參數(shù)的梯度都依賴于元網(wǎng)絡(luò)的參數(shù),算法計算復(fù)雜度較高。當(dāng)ResNet作為基網(wǎng)絡(luò)時,本文算法在5-way 5-shot識別任務(wù)上的識別準(zhǔn)確率相對于Meta-learner LSTM算法提升了21.14%。本文算法通過遷移預(yù)訓(xùn)練操作降低了訓(xùn)練ResNet的難度,并通過引入可學(xué)習(xí)的偏移縮放參數(shù)將預(yù)訓(xùn)練所得的ResNet網(wǎng)絡(luò)參數(shù)遷移至元學(xué)習(xí)過程中,使得ResNet網(wǎng)絡(luò)能夠更快地適應(yīng)小樣本識別任務(wù),進(jìn)一步提高了網(wǎng)絡(luò)的識別性能,算法識別準(zhǔn)確率在5-way 1-shot識別任務(wù)上也遠(yuǎn)高于其他元學(xué)習(xí)算法。

4 結(jié)論

本文通過遷移預(yù)訓(xùn)練的方式降低MAML算法采用較深的特征提取網(wǎng)絡(luò)時的訓(xùn)練難度,提升網(wǎng)絡(luò)對信號特征的提取能力,同時為減少網(wǎng)絡(luò)面對新類信號識別任務(wù)時所需訓(xùn)練的參數(shù)量,在元學(xué)習(xí)階段凍結(jié)特征提取部分的網(wǎng)絡(luò)參數(shù),并通過引入縮放偏移參數(shù)將其遷移到對新任務(wù)的學(xué)習(xí)過程中,在元測試階段,網(wǎng)絡(luò)從通過元訓(xùn)練得到的最優(yōu)初始權(quán)重下開始微調(diào)分類部分的網(wǎng)絡(luò)參數(shù),僅需少量信號樣本就能快速適應(yīng)新類信號的識別任務(wù),通過對比實驗進(jìn)一步驗證了本文算法的可行性以及相較其他算法在極少量樣本條件下的性能優(yōu)勢。