陳澤盛，楊承志，曹鵬宇，邴雨晨，納 賢

(1.空軍航空大學(xué)，長春 130022;2.中國人民解放軍95510部隊(duì)，貴陽 550031)

0 引 言

隨著機(jī)載火控雷達(dá)(Airborne Fire Control Radar，AFCR)技術(shù)體制的不斷發(fā)展，其工作狀態(tài)更加復(fù)雜，波形單元更靈活多變，抗干擾能力更強(qiáng)[1]，傳統(tǒng)的基于人工加載的干擾樣式選擇方法[2]將失去用武之地。在加載干擾樣式正確的情況下干擾機(jī)可以產(chǎn)生干擾效果，一旦敵方采取抗干擾措施，我方缺乏先驗(yàn)知識(shí)將無法選擇合適的干擾樣式，作戰(zhàn)效能會(huì)大打折扣。強(qiáng)化學(xué)習(xí)由于無需先驗(yàn)知識(shí)，且其與環(huán)境交互的過程與雷達(dá)對抗相似，因此更適用于雷達(dá)干擾樣式選擇。

Q-學(xué)習(xí)是強(qiáng)化學(xué)習(xí)中的一種高效的免模型算法。文獻(xiàn)[3]設(shè)計(jì)了基于Q-學(xué)習(xí)的認(rèn)知雷達(dá)對抗過程，使雷達(dá)干擾系統(tǒng)通過自主學(xué)習(xí)實(shí)現(xiàn)高效干擾，但環(huán)境雷達(dá)的工作狀態(tài)較少。文獻(xiàn)[4]提出了智能雷達(dá)對抗(Intelligent Radar Countermeasure，IRC)方法，在工作模式數(shù)目未知的情況下通過Q-學(xué)習(xí)選擇最優(yōu)的干擾路徑。文獻(xiàn)[5]研究了對多功能雷達(dá)(Multifunctional Radar，MFR)的Q-學(xué)習(xí)認(rèn)知干擾決策方法，對仿真中各參數(shù)對實(shí)驗(yàn)的影響進(jìn)行分析，對比了該方法與其他傳統(tǒng)方法的優(yōu)勢。但基于Q-學(xué)習(xí)的認(rèn)知干擾決策方法在雷達(dá)任務(wù)較多的實(shí)戰(zhàn)條件下決策效率會(huì)明顯下降，因此文獻(xiàn)[6]使用深度Q神經(jīng)網(wǎng)絡(luò)(Deep Q Network，DQN)來應(yīng)對MFR任務(wù)較多的問題，但DQN算法存在計(jì)算Q值中“過估計(jì)”的問題[7]。為此，本文采用Double DQN算法，通過不同的網(wǎng)絡(luò)執(zhí)行動(dòng)作的評(píng)估與選擇，對這兩個(gè)部分進(jìn)行解耦來解決這一問題，對空戰(zhàn)中的干擾樣式選擇進(jìn)行研究。仿真結(jié)果顯示了本文算法的有效性。

1 干擾矩陣

現(xiàn)代空戰(zhàn)已經(jīng)進(jìn)入了超視距時(shí)代，AFCR已經(jīng)成為空戰(zhàn)中主要的作戰(zhàn)對象，發(fā)揮著不可替代的作用。AFCR要在不同的作戰(zhàn)環(huán)境中遂行多樣化的作戰(zhàn)任務(wù)，因此在雷達(dá)系統(tǒng)設(shè)計(jì)上會(huì)設(shè)定多種工作模式，不同的工作模式對應(yīng)著不同的威脅等級(jí)。空戰(zhàn)中使用較多的是空-空模式下的雷達(dá)工作模式，因此本文以AFCR的空-空雷達(dá)工作模式為主開展干擾研究。

在典型的空戰(zhàn)場景中，我方針對敵方的干擾實(shí)施流程如下：首先，我方通過偵察對敵AFCR的工作模式進(jìn)行識(shí)別[8]，之后通過干擾樣式選擇算法從干擾樣式集中選擇最優(yōu)干擾樣式對其進(jìn)行干擾，使其工作模式不斷轉(zhuǎn)換，直至轉(zhuǎn)換為對應(yīng)的威脅等級(jí)最低的狀態(tài)，達(dá)到預(yù)期干擾效果。

根據(jù)雷達(dá)的工作模式及其轉(zhuǎn)換關(guān)系和干擾樣式集可以構(gòu)建出干擾矩陣，將干擾矩陣作為算法輸入進(jìn)行干擾樣式選擇。

1.1 典型空-空雷達(dá)工作模式

空-空模式下AFCR的工作模式[9]主要包括搜索、跟蹤、格斗和識(shí)別等，每一類模式下又有多種子模式。

1.1.1 搜索模式

速度搜索(Velocity Search，VS)模式主要用于遠(yuǎn)距高速接近目標(biāo)的早期預(yù)警，威脅等級(jí)低。

邊搜索邊測距(Range While Search，RWS)模式可以在探測目標(biāo)的同時(shí)進(jìn)行測距，從而快速獲取潛在目標(biāo)的位置信息。

邊掃描邊跟蹤(Track While Scan，TWS)模式[10]主要用于對多個(gè)來襲目標(biāo)的探測和跟蹤。在檢測到目標(biāo)后火控計(jì)算機(jī)會(huì)建立跟蹤文件，再通過關(guān)聯(lián)算法來對目標(biāo)未來的參數(shù)進(jìn)行估計(jì)。

1.1.2 跟蹤模式

態(tài)勢感知(Situation Awareness Mode，SAM)模式是RWS模式下的一個(gè)子模式，可以在單目標(biāo)跟蹤(Single Target Tracking，STT)的方式下同時(shí)保持對多個(gè)目標(biāo)的探測，威脅等級(jí)較高。

高優(yōu)先級(jí)目標(biāo)(High Priority Target，HPT)模式是TWS模式的一個(gè)子模式，在TWS模式探測到的目標(biāo)中指定一個(gè)為HPT，威脅等級(jí)較高。

單目標(biāo)跟蹤模式是AFCR具有最高威脅等級(jí)的模式。在選定HPT、SAM模式以及空戰(zhàn)格斗模式下的子模式均可進(jìn)入STT模式。

1.1.3 空戰(zhàn)格斗模式

空戰(zhàn)格斗(Air Combat Mode，ACM)模式主要用于敵我近距離空戰(zhàn)，具有三種子模式。

機(jī)炮(Gun Acquire，GACQ)模式下，AFCR的平視顯示器(Heads Up Display，HUD)上會(huì)出現(xiàn)一個(gè)20°視角的虛線圓圈。垂直(Vertical Acquire，VACQ)模式下，HUD上會(huì)出現(xiàn)兩條距離5°視角的垂直虛線。這兩種模式如果探測到一個(gè)位于5 n mile內(nèi)的目標(biāo)，將自動(dòng)轉(zhuǎn)入STT模式。

準(zhǔn)星(Boresight，BST)模式下，HUD上的水線位置會(huì)出現(xiàn)一個(gè)3.4 °視角的虛線圓圈，如果探測到目標(biāo)并位于10 n mile內(nèi)，將自動(dòng)轉(zhuǎn)入STT模式。

1.1.4 識(shí)別模式

非合作目標(biāo)識(shí)別(Non-cooperative Target Recognition，NCTR)模式[11]是載機(jī)通過AFCR利用非合作目標(biāo)自身的反射特性對其進(jìn)行遠(yuǎn)距識(shí)別與分類。

1.2 干擾樣式集

雷達(dá)干擾樣式多種多樣，每種干擾樣式的原理又不盡相同，且對于不同的雷達(dá)工作模式作用效果也有所差別。我方機(jī)載干擾設(shè)備在作戰(zhàn)前會(huì)進(jìn)行干擾樣式的預(yù)加載，用于在作戰(zhàn)中的干擾樣式選擇。本文在干擾樣式集的建立上選擇了部分典型干擾樣式[12]，包括相參和非相參干擾樣式共10種：0是密集假目標(biāo)；1是窄帶噪聲調(diào)相；2是靈巧噪聲；3是相參梳狀譜；4是間歇采樣；5是距離-速度聯(lián)合拖引；6是多普勒噪聲；7是掃頻噪聲；8是全脈沖復(fù)制；9是移頻干擾。這些干擾樣式產(chǎn)生的干擾效果包括壓制、欺騙和壓制-欺騙聯(lián)合效果。

1.3 干擾矩陣構(gòu)建

干擾矩陣的構(gòu)建可以分為實(shí)時(shí)建立和非實(shí)時(shí)建立。實(shí)時(shí)建立是在作戰(zhàn)環(huán)境下，由機(jī)載偵察設(shè)備對敵方AFCR的工作狀態(tài)進(jìn)行偵察與識(shí)別，根據(jù)我方做出干擾樣式選擇之后敵方AFCR的模式變化來獲取雷達(dá)的工作模式轉(zhuǎn)換關(guān)系，再結(jié)合我方的干擾樣式集建立干擾矩陣。這種方式幾乎沒有任何先驗(yàn)知識(shí)，干擾樣式是否可以起到效果無法得知。非實(shí)時(shí)建立則是在非作戰(zhàn)環(huán)境下，依靠偵察設(shè)備在平時(shí)的戰(zhàn)略偵察，我方已對敵方AFCR的工作模式有一定了解，通過對偵察數(shù)據(jù)的情報(bào)分析，對其在一些干擾樣式作用下的工作模式轉(zhuǎn)換關(guān)系已有一定的先驗(yàn)知識(shí)，再通過仿真手段對其他干擾樣式進(jìn)行驗(yàn)證、更新，得到一個(gè)較為完善的干擾矩陣。

本文的干擾矩陣是在第二種方式下建立的，并且結(jié)合了部分先驗(yàn)知識(shí)和開源資料。如表1所示，左側(cè)一欄為威脅等級(jí)從高到低排列的工作模式，右側(cè)則是各種干擾樣式作用下的工作模式轉(zhuǎn)換關(guān)系。

表1 干擾矩陣表

2 基于Double DQN的干擾樣式選擇算法

2.1 DQN原理與Double DQN的改進(jìn)

2.1.1 DQN原理

DQN算法[13]是一種從高維的輸入學(xué)習(xí)控制策略的深度強(qiáng)化學(xué)習(xí)算法。和Q-學(xué)習(xí)算法相比，DQN將Q表的迭代更新過程轉(zhuǎn)化為一個(gè)函數(shù)擬合問題，通過用函數(shù)來代替Q表產(chǎn)生Q值。

在普通的Q-學(xué)習(xí)中，Q值更新公式如下：

Q(s,a)←Q(s,a)+α(r+γQ(s′,a′)-Q(s,a))。

(1)

式中：s代表智能體(Agent)當(dāng)前狀態(tài)，a′是Agent在下一個(gè)狀態(tài)s′下選擇的動(dòng)作，r表示Agent到達(dá)下一個(gè)狀態(tài)得到的獎(jiǎng)勵(lì)值，α∈[0,1]是Q值更新中的學(xué)習(xí)率，γ∈[0,1]是Q值更新中的折扣因子。Q(s,a)為Q現(xiàn)實(shí)值，r+γmaxa′Q(s′,a′)為Q估計(jì)值，通過對兩者之間的誤差學(xué)習(xí)來更新Q現(xiàn)實(shí)值。

在DQN算法中使用神經(jīng)網(wǎng)絡(luò)來對Q值進(jìn)行估計(jì)，相近的狀態(tài)得到相近的輸出動(dòng)作。通過更新網(wǎng)絡(luò)參數(shù)θ來使Q函數(shù)逼近最優(yōu)Q值，如式(2)所示：

Q(s,a;θi)≈Q(s,a)。

(2)

式中：θi是第i次迭代時(shí)的神經(jīng)網(wǎng)絡(luò)參數(shù)。

(3)

損失函數(shù)如下：

(4)

MainNet的參數(shù)是每次訓(xùn)練均在更新，每隔一定步數(shù)將網(wǎng)絡(luò)的參數(shù)值賦給TargetNet。在單步更新中TargetNet參數(shù)值不變，Q估計(jì)值也不變。

2.1.2 Double DQN的改進(jìn)

DQN中計(jì)算Q估計(jì)值時(shí)的最大化操作會(huì)使得估計(jì)的值函數(shù)比值函數(shù)的真實(shí)值大，即會(huì)產(chǎn)生非均勻的“過估計(jì)”，影響最終決策。作為一種離線學(xué)習(xí)的算法，DQN每次學(xué)習(xí)時(shí)不是使用下一次交互的真實(shí)動(dòng)作，而是使用當(dāng)前認(rèn)為價(jià)值最大的動(dòng)作來更新目標(biāo)值函數(shù)，但是對于真實(shí)的策略來說在給定的狀態(tài)下并不是每次都選擇使得Q值最大的動(dòng)作，所以目標(biāo)值直接選擇動(dòng)作最大的Q值往往會(huì)導(dǎo)致目標(biāo)值要高于真實(shí)值。

在Double DQN算法中動(dòng)作的選擇和動(dòng)作的評(píng)估分別用不同的值函數(shù)網(wǎng)絡(luò)來實(shí)現(xiàn)：首先，動(dòng)作的評(píng)估是根據(jù)MainNet得到下一狀態(tài)s′下的Q值最大的動(dòng)作Q(s′,a′;θi)；然后，將這個(gè)動(dòng)作作為計(jì)算TargetQ值的動(dòng)作，用TargetNet完成最優(yōu)動(dòng)作的選擇工作。Double DQN中TargetQ的計(jì)算式如下：

(5)

將上式帶入損失函數(shù)計(jì)算公式，得

Loss(θ)=E[(TargetQ-Q(s,a;θi))2]。

(6)

2.2 Double DQN干擾樣式選擇方法概述

本文將Double DQN的原理應(yīng)用于干擾樣式選擇，其算法模型的流程如圖1所示，其中，s∈S表示敵方AFCR在某時(shí)刻的工作狀態(tài)，S代表敵方AFCR的工作狀態(tài)集；a∈A表示干擾機(jī)在某時(shí)刻下選擇出的干擾樣式，A代表我方干擾樣式集。當(dāng)我方偵察設(shè)備通過雷達(dá)工作狀態(tài)識(shí)別得到s，將此狀態(tài)輸入到Double DQN網(wǎng)絡(luò)中，經(jīng)過神經(jīng)網(wǎng)絡(luò)擬合得到各個(gè)干擾樣式對應(yīng)的Q值，根據(jù)ε-greedy策略(該策略可以平衡探索與利用之間的關(guān)系來獲得累計(jì)最大回報(bào))來選取出一種干擾樣式a，作用于敵方AFCR。根據(jù)敵方AFCR的工作狀態(tài)轉(zhuǎn)換，我方進(jìn)行效果評(píng)估得到回報(bào)r∈。由于敵方AFCR與我方屬于非合作關(guān)系，我方可以根據(jù)遭受干擾后的雷達(dá)工作狀態(tài)的改變來確定干擾的有效性[14]，通過對AFCR的威脅等級(jí)判定來給出相應(yīng)的回報(bào)值r。干擾機(jī)根據(jù)回報(bào)值來更新Q值，決定下一工作狀態(tài)s′所要采取的干擾樣式，然后將上述的四個(gè)變量存入四元組樣本〈s,a,r,s′〉中，多條樣本組成樣本池D。在樣本池D中隨機(jī)抽取一定批量(minibatch)的樣本對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對網(wǎng)絡(luò)參數(shù)進(jìn)行更新，然后再進(jìn)行干擾樣式選擇，循環(huán)往復(fù)，直至達(dá)到終止?fàn)顟B(tài)。

圖1 算法流程圖

算法的偽代碼如下：

1 輸入：狀態(tài)空間S，動(dòng)作空間A，折扣因子γ，學(xué)習(xí)率α，迭代次數(shù)M

FORi=1:M

2 初始化網(wǎng)絡(luò)參數(shù)

FORs∈S

3 輸入偵察到的敵方AFCR工作狀態(tài)s

4 Double DQN計(jì)算Q值并依據(jù)ε-greedy策略給出干擾樣式a

5 我方通過偵察得到AFCR下一工作狀態(tài) ，進(jìn)行干擾評(píng)估得到獎(jiǎng)勵(lì)值r

6 將四元組 存入樣本池D，隨機(jī)抽取minibatch個(gè)樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，更新網(wǎng)絡(luò)參數(shù)

7s為終止?fàn)顟B(tài)；

END FOR

8 達(dá)到最大迭代次數(shù)M

END FOR

由于不同的干擾樣式產(chǎn)生的干擾效果不同，壓制性干擾樣式會(huì)使敵方AFCR的工作狀態(tài)朝著威脅等級(jí)降低的方向轉(zhuǎn)變；欺騙性干擾樣式會(huì)產(chǎn)生欺騙性干擾效果，部分干擾樣式可能會(huì)使其工作狀態(tài)的威脅等級(jí)朝著升高的方向變化。因此,回報(bào)值定義如下：

(7)

式中：TL→min表示AFCR的工作狀態(tài)威脅等級(jí)將至最低；TL↓,ASJ表示采取壓制性干擾樣式，工作狀態(tài)向威脅等級(jí)降低的方向轉(zhuǎn)換；TL↑,ADJ表示采取部分欺騙性干擾樣式時(shí)工作狀態(tài)威脅等級(jí)向升高方向轉(zhuǎn)換；TL?/TL表示工作模式之間沒有轉(zhuǎn)換；TL↑表示AFCR工作狀態(tài)向威脅等級(jí)升高的方向轉(zhuǎn)換。

3 仿真驗(yàn)證

本文仿真使用Tensorflow框架編寫。計(jì)算機(jī)配置如下：處理器采用Intel(R)Core(TM) i5-10200H；內(nèi)存為16 GB。

本文用兩個(gè)全連接層來近似Q函數(shù)Q(s,a;θi)。網(wǎng)絡(luò)的細(xì)節(jié)如圖2所示，該網(wǎng)絡(luò)由兩個(gè)全連接層組成。

圖2 值函數(shù)擬合神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

算法的訓(xùn)練參數(shù)如表2所示。

表2 參數(shù)設(shè)置

在兩個(gè)網(wǎng)絡(luò)的參數(shù)替換前先觀察300步，然后每隔5步將MainNet的參數(shù)賦給TargetNet；初始化的ε-greedy策略中ε的初始概率值為0.1，終止概率值為0.9，即初始時(shí)有90%的概率隨機(jī)選擇干擾樣式，最終有90%的概率選擇最優(yōu)干擾樣式，每一次學(xué)習(xí)都會(huì)將ε的值增大0.001，增加到終止值時(shí)停止，這樣的設(shè)置可以在訓(xùn)練的過程中使網(wǎng)絡(luò)逐漸收斂；每次從樣本池的2 000個(gè)樣本中隨機(jī)抽取64個(gè)樣本用于網(wǎng)絡(luò)訓(xùn)練。

圖3是Double DQN算法訓(xùn)練得到的損失圖。由于樣本量較少，在迭代中選擇隔5步交換一次網(wǎng)絡(luò)參數(shù)。在每隔5步交換網(wǎng)絡(luò)參數(shù)后，網(wǎng)絡(luò)訓(xùn)練損失值逐步下降，但由于初始時(shí)刻的ε探索值較低，隨機(jī)選擇干擾樣式會(huì)導(dǎo)致?lián)p失值產(chǎn)生波動(dòng)，但隨著訓(xùn)練的進(jìn)行，ε探索值逐漸變大，神經(jīng)網(wǎng)絡(luò)擬合的Q值越來越準(zhǔn)確，損失值在大約750步以后降至0附近，說明網(wǎng)絡(luò)訓(xùn)練完成。整個(gè)訓(xùn)練過程所花費(fèi)的平均時(shí)間為11.7 s，但在實(shí)際應(yīng)用時(shí)，網(wǎng)絡(luò)訓(xùn)練完成之后即可進(jìn)行干擾決策，所以在實(shí)際應(yīng)用中可以適當(dāng)減少迭代次數(shù)，這樣可以提高決策效率，使決策時(shí)間控制在秒級(jí)，滿足實(shí)戰(zhàn)要求。

圖3 網(wǎng)絡(luò)訓(xùn)練損失

將訓(xùn)練中每次用于干擾樣式選擇的Q值記錄下來，如圖4所示，可以看到兩種算法的Q值變化趨勢一致，在迭代5 500步后收斂至495附近。但是Double DQN算法的Q值消除了一部分過估計(jì)，相比DQN算法的Q值較低，計(jì)算Q值的平均值可以得到前者比后者低34.01。這也驗(yàn)證了Double DQN算法在解決Q值偏大和網(wǎng)絡(luò)訓(xùn)練的TargetQ值不準(zhǔn)確的問題上具有更良好的表現(xiàn)。

圖4 Q值對比

強(qiáng)化學(xué)習(xí)算法的最終目標(biāo)都是使總的目標(biāo)獎(jiǎng)勵(lì)最大化，因此，把迭代過程中每次干擾樣式選擇產(chǎn)生的獎(jiǎng)勵(lì)值相加得到總的獎(jiǎng)勵(lì)值，對比20次重復(fù)實(shí)驗(yàn)中DQN與Double DQN兩種算法得到的總獎(jiǎng)勵(lì)值，如圖5所示?？梢园l(fā)現(xiàn)，在絕大部分情況下Double DQN算法產(chǎn)生的總獎(jiǎng)勵(lì)值要高于DQN算法，這說明在干擾樣式選擇中選擇最優(yōu)動(dòng)作比次優(yōu)動(dòng)作會(huì)獲得更高的獎(jiǎng)勵(lì)值，從而驗(yàn)證了本文方法的有效性。

圖5 兩種算法的總獎(jiǎng)勵(lì)值對比

在參數(shù)選擇上，折扣因子γ是調(diào)節(jié)長期回報(bào)與即時(shí)回報(bào)的參數(shù)，在仿真中我們更注重長期回報(bào)，因此將γ設(shè)置為0.9；而學(xué)習(xí)率α一般取值為0.1，但由于本文仿真迭代次數(shù)較多，而且α值過大會(huì)引起損失函數(shù)劇烈波動(dòng)，所以經(jīng)過多次試驗(yàn)將α值設(shè)為0.005；樣本池的容量沒有固定的設(shè)置，當(dāng)訓(xùn)練步數(shù)恒定為2 000步時(shí)分別設(shè)置樣本池容量為1 000和2 000，對比兩種設(shè)置上的損失值情況，如圖6所示，可見樣本池容量設(shè)為2 000時(shí)損失值明顯高于容量為1 000時(shí)的。因此，在訓(xùn)練步數(shù)為2 000步時(shí)選擇樣本池容量為1 000。

圖6 樣本池容量對比

根據(jù)仿真結(jié)果可以得到如圖7所示的最優(yōu)干擾樣式選擇路徑，圖中以數(shù)字代表具體的干擾樣式，根據(jù)空戰(zhàn)的態(tài)勢和AFCR雷達(dá)的工作模式分為近距和遠(yuǎn)距兩類，分別如圖7(a)和圖7(b)所示。在不同的干擾樣式的作用下，AFCR的威脅等級(jí)由高到低逐漸下降；部分干擾樣式在不同的態(tài)勢和工作模式下產(chǎn)生的干擾效果也不盡相同。

圖7 最優(yōu)干擾樣式選擇路徑圖

4 結(jié)束語

隨著機(jī)載火控雷達(dá)技術(shù)體制的不斷進(jìn)步，現(xiàn)代空戰(zhàn)中敵我雙方的電子戰(zhàn)博弈也愈演愈烈。針對空戰(zhàn)場景中機(jī)載火控雷達(dá)與干擾機(jī)之間的對抗，本文提出了一種基于Double DQN干擾樣式選擇方法，在建立干擾矩陣的基礎(chǔ)上通過Double DQN算法選擇最優(yōu)干擾樣式，仿真實(shí)驗(yàn)分析了參數(shù)設(shè)置，對比DQN證明了其在解決“過估計(jì)”問題上的有效性，給出了不同態(tài)勢下的最優(yōu)干擾樣式選擇路徑。本文方法也可以為機(jī)載自衛(wèi)吊艙的干擾樣式選擇提供參考?？紤]到目前先進(jìn)戰(zhàn)機(jī)均為多用途戰(zhàn)機(jī)，還可以執(zhí)行對地、對海突擊任務(wù)，因此下一步研究中還需對AFCR更多作戰(zhàn)模式下的干擾樣式選擇問題進(jìn)行探索。