尚 熙，楊革文，戴少懷，蔣伊琳

（1.哈爾濱工程大學(xué)信息與通信工程學(xué)院，黑龍江哈爾濱 150001；2.上海機(jī)電工程研究所，上海 201109）

0 引言

目前，自適應(yīng)雷達(dá)對(duì)抗技術(shù)已經(jīng)成為現(xiàn)代電子對(duì)抗研究的重點(diǎn)問題。在飛機(jī)進(jìn)行突防的過程中，所面對(duì)的“地/海面雷達(dá)信號(hào)環(huán)境”大多是復(fù)雜、多變的；并且，隨著多功能雷達(dá)的發(fā)展，當(dāng)前雷達(dá)的工作模式可以發(fā)生較大的變化，單一干擾策略的壓制效果并不理想。當(dāng)干擾方對(duì)雷達(dá)方進(jìn)行干擾時(shí)，通常是處于信息非對(duì)稱的情形，這樣，就需要干擾方的干擾設(shè)備具有一對(duì)多的干擾能力?，F(xiàn)有的能夠動(dòng)態(tài)分配干擾資源策略且與環(huán)境進(jìn)行互動(dòng)變化的算法主要是強(qiáng)化學(xué)習(xí)，如：黃星源等對(duì)信息對(duì)稱情況下的多對(duì)多干擾資源分配問題進(jìn)行了研究，但未涉及一對(duì)多干擾資源分配問題；周彬等使用Q-learning 算法對(duì)無人機(jī)路徑規(guī)劃問題進(jìn)行了研究，但不適用于多狀態(tài)及動(dòng)作場景；劉松濤等在對(duì)自適應(yīng)干擾機(jī)的研究中，沒有引入干擾輻射能量低、突防距離遠(yuǎn)的干擾資源分配理念；現(xiàn)有的DQN（deep Q network）算法可應(yīng)用于多狀態(tài)及動(dòng)作場景，已經(jīng)被用于解決路徑規(guī)劃問題，但是對(duì)于雷達(dá)干擾資源的分配問題研究較少。

本文主要以突防距離比和干擾輻射能量比作為整個(gè)干擾對(duì)抗過程的評(píng)價(jià)標(biāo)準(zhǔn)，以要求突防距離最大和使用干擾輻射能量最少之間的反比關(guān)系互相牽制，采用引入動(dòng)態(tài)調(diào)整獎(jiǎng)勵(lì)值的DQN 和Dueling-DQN 算法，分別記作DQN（R）和Dueling-DQN（R），利用其合理地分配自適應(yīng)干擾機(jī)的干擾資源，使得實(shí)施一對(duì)多干擾時(shí)的整體效益最大化，即：在研究復(fù)雜電磁環(huán)境下實(shí)施一對(duì)多干擾的壓制效果基礎(chǔ)上，對(duì)能量損耗和突防距離的最大化效益進(jìn)行研究，并比較兩種強(qiáng)化學(xué)習(xí)算法的優(yōu)劣。

1 復(fù)雜電子對(duì)抗環(huán)境模型建立及資源分配評(píng)價(jià)標(biāo)準(zhǔn)

1.1 自適應(yīng)干擾機(jī)

與傳統(tǒng)干擾機(jī)相比，自適應(yīng)干擾機(jī)能夠隨著所接收到的參數(shù)信息實(shí)時(shí)地更改自身的干擾策略，合理、高效地對(duì)雷達(dá)實(shí)現(xiàn)壓制干擾，根據(jù)干擾方的需求，可以滿足干擾輻射總能量小、突防距離大的要求。傳統(tǒng)干擾機(jī)往往采用單一的干擾樣式和功率對(duì)雷達(dá)進(jìn)行壓制，只考慮壓制成功與否，這種固定的、單一的策略很容易因多功能雷達(dá)工作參數(shù)的改變而達(dá)不到理想的壓制效果，因此，自適應(yīng)干擾機(jī)更加符合當(dāng)前對(duì)抗技術(shù)的需求。自適應(yīng)干擾機(jī)可以被理解為一個(gè)智能體，其接收的數(shù)據(jù)和采用的策略則可以被認(rèn)為是與環(huán)境的交互，通過模擬人類大腦學(xué)習(xí)過程，對(duì)不同的事物做出不同的策略和自己的評(píng)價(jià)，最終使智能體可以面對(duì)任何環(huán)境做出合理的動(dòng)作和評(píng)價(jià)。自適應(yīng)干擾機(jī)的結(jié)構(gòu)框圖如圖1 所示，本文中干擾策略庫主要的干擾樣式有噪聲調(diào)幅、噪聲調(diào)頻、靈巧噪聲和密集假目標(biāo)壓制。

圖1 自適應(yīng)干擾機(jī)的結(jié)構(gòu)框圖Fig.1 Block diagram of the adaptive jammer

1.2 電子對(duì)抗場景

建立一對(duì)多的復(fù)雜電子對(duì)抗環(huán)境時(shí)，本文中進(jìn)行對(duì)抗的雷達(dá)模型有搜索、跟蹤、制導(dǎo)3 種工作狀態(tài)（具體狀態(tài)轉(zhuǎn)換關(guān)系見2.1 節(jié)），飛機(jī)突防開始狀態(tài)默認(rèn)雷達(dá)處于搜索狀態(tài)，飛機(jī)突防失敗狀態(tài)默認(rèn)雷達(dá)進(jìn)入制導(dǎo)狀態(tài)。因海雜波對(duì)雷達(dá)的探測性能影響較大，在整個(gè)突防的過程中引入海雜波的影響，可參考文獻(xiàn)［11］和文獻(xiàn)［12］。考慮到隨著自適應(yīng)干擾機(jī)離雷達(dá)越來越近，需要考慮干擾信號(hào)從旁瓣進(jìn)入的影響，可參考文獻(xiàn)［13］。

雷達(dá)在雜波與干擾環(huán)境下的最大探測距離，如式（1）所示。

式中：為玻爾茲曼常數(shù)；為標(biāo)準(zhǔn)室溫，通常取290K；為接收機(jī)內(nèi)部噪聲帶寬；為噪聲系數(shù)；為接收到的海雜波功率；()為接收機(jī)輸出端測量的信噪比，即個(gè)脈沖信噪比；為干擾機(jī)天線增益；()為在偏離雷達(dá)角度時(shí)的接收增益；為干擾機(jī)到雷達(dá)的徑向距離；為極化因子；為發(fā)射信號(hào)波長；為目標(biāo)散射截面積；為脈沖壓縮比；為雷達(dá)接收機(jī)損耗；為干擾功率；為雷達(dá)發(fā)射功率；為雷達(dá)天線增益；為雷達(dá)接收天線增益。此處認(rèn)為雷達(dá)接收信號(hào)方向?yàn)槔走_(dá)天線的主瓣方向，故而有==。

建立如圖2 所示的一對(duì)多情形下的電子對(duì)抗場景，其中，兩雷達(dá)之間相距為，3部雷達(dá)都建立在高為的小島頂部。飛機(jī)攜帶一部自適應(yīng)干擾機(jī)從遠(yuǎn)方突防而來，自適應(yīng)干擾機(jī)攜帶的干擾樣式有噪聲調(diào)幅干擾、噪聲調(diào)頻干擾、靈巧噪聲干擾及密集假目標(biāo)干擾。突防開始時(shí)，飛機(jī)與雷達(dá)2 相距為，飛機(jī)飛行速度為，飛行高度為，飛行航跡指向雷達(dá)2。以上述建立的電子對(duì)抗環(huán)境為背景，研究一部自適應(yīng)干擾機(jī)在一對(duì)多情況下的干擾資源分配策略。

圖2 整體電子對(duì)抗場景示意圖Fig.2 Schematic diagram of the overall electronic countermeasure scenario

1.3 干擾資源分配評(píng)價(jià)標(biāo)準(zhǔn)

對(duì)于飛機(jī)攜帶自適應(yīng)干擾機(jī)對(duì)雷達(dá)進(jìn)行突防的過程，需要考慮的是利用現(xiàn)有資源使干擾輻射能量最小、突防距離最大，合理、動(dòng)態(tài)完成干擾資源的分配。若整個(gè)需要突防的距離為，飛機(jī)速度為，則可以將整個(gè)過程分為=/步，每次重新分配干擾資源的時(shí)間步長為1 s，在該時(shí)間步長內(nèi)采用相同的干擾樣式進(jìn)行多次干擾。記～分別為整個(gè)過程中各種壓制的干擾輻射總能量，如表1 所示。其中，約束條件有：=+++，～分別為每種干擾樣式各自干擾的總時(shí)長；～分別為某一干擾樣式且不同功率下的干擾時(shí)長；～分別為不同時(shí)刻采取不同干擾樣式時(shí)選擇的干擾功率大小。

表1 整個(gè)過程中各種壓制的干擾輻射能量計(jì)算方法Tab.1 The calculation method of various suppressed interference radiation energy in the whole process

基于此，提出整體干擾輻射能量占比=/，其中：=+++，稱為實(shí)際干擾總能量，即突防過程中，干擾機(jī)總共輻射的干擾能量大?。?max()·(/)，稱為整體干擾總能量，即突防過程中總是施放干擾功率最大的干擾樣式產(chǎn)生的總干擾輻射能量大小。根據(jù)定義，0 ＜＜1，越大表明整個(gè)過程中干擾需要的總能量就越大，反之，需要的干擾總能量就越小。作為一對(duì)多干擾策略的目標(biāo)值，越小越好。

不能只從一個(gè)方面對(duì)整個(gè)雷達(dá)的壓制干擾效果進(jìn)行評(píng)價(jià)，因此，引入最大突防距離比=/，其中：表示戰(zhàn)斗機(jī)攜帶干擾吊艙突防的最大距離；表示整個(gè)突防的距離。作為干擾效果的目標(biāo)值，越大越好，與對(duì)的要求相反?？梢岳弥笜?biāo)和對(duì)干擾資源分配的結(jié)果進(jìn)行整體評(píng)價(jià)。

2 基于強(qiáng)化學(xué)習(xí)的干擾資源分配

2.1 馬爾可夫建模

在對(duì)雷達(dá)陣地的突防過程中，多功能雷達(dá)有多種工作模式。對(duì)于干擾方來說，多功能雷達(dá)主要有搜索模式、跟蹤模式和制導(dǎo)模式。搜索模式是初始狀態(tài)，制導(dǎo)模式是終止?fàn)顟B(tài)，進(jìn)入制導(dǎo)模式后結(jié)束本次迭代。多功能雷達(dá)的工作狀態(tài)變化可以用圖3 描述，記S（為雷達(dá)編號(hào)）為雷達(dá)狀態(tài)值，用來描述雷達(dá)所處工作模式，搜索、跟蹤、制導(dǎo)模式的S值分別取0、1、2。本文假設(shè)3部雷達(dá)不進(jìn)行組網(wǎng)，各自對(duì)目標(biāo)進(jìn)行獨(dú)立探測。對(duì)于每部雷達(dá)，狀態(tài)轉(zhuǎn)換依據(jù)為：

圖3 雷達(dá)的工作模式轉(zhuǎn)換及相應(yīng)Sri值變化示意圖Fig.3 Schematic diagram of radar working mode conversion and corresponding Sri changes

1）搜索狀態(tài)下，如果4次探測中雷達(dá)有3次探測到目標(biāo)，雷達(dá)狀態(tài)進(jìn)入跟蹤狀態(tài)，否則，保持搜索狀態(tài)。

2）跟蹤狀態(tài)下，如果3 次探測中雷達(dá)有2 次探測到目標(biāo)，雷達(dá)狀態(tài)從跟蹤狀態(tài)進(jìn)入制導(dǎo)狀態(tài)；若3次探測均未探測到目標(biāo)，雷達(dá)狀態(tài)返回搜索狀態(tài)；否則，保持在跟蹤狀態(tài)。

根據(jù)馬爾可夫模型建立狀態(tài)函數(shù)S

式中：表示飛機(jī)離雷達(dá)2 的徑向距離；=[，，]為1×3 的矩陣，包含3 部雷達(dá)當(dāng)前時(shí)刻各自的工作模式S，S對(duì)應(yīng)的值越大，則代表威脅等級(jí)越高，反之，則越??；CON(·)為連接函數(shù)。

干擾動(dòng)作主要從功率和干擾樣式進(jìn)行劃分，自適應(yīng)干擾機(jī)能夠有效干擾的功率范圍為～，若把有效干擾功率合理地劃分成個(gè)，那么，對(duì)于4 種壓制干擾樣式，自適應(yīng)干擾機(jī)可以采取的干擾動(dòng)作就有4種，每一種干擾動(dòng)作對(duì)應(yīng)不同功率下的某一種壓制干擾方式。根據(jù)馬爾可夫模型建立動(dòng)作函數(shù)，可表達(dá)為

式中：表示對(duì)第部雷達(dá)進(jìn)行干擾，本文的取值為1到3；a表示該時(shí)刻采取4中動(dòng)作的一種。因此，A表示對(duì)第部雷達(dá)所采取4中某一種干擾動(dòng)作，為1×2的矩陣。

當(dāng)獎(jiǎng)勵(lì)設(shè)置不合理時(shí)，會(huì)使得干擾策略分配難以快速收斂，導(dǎo)致智能體學(xué)習(xí)的速度大大降低，而合理的獎(jiǎng)勵(lì)值設(shè)置會(huì)使智能體可以快速地在與環(huán)境的交互中學(xué)習(xí)和收斂。因此，本文從3個(gè)方面設(shè)置獎(jiǎng)勵(lì)：每步干擾成功獎(jiǎng)勵(lì)、干擾功率獎(jiǎng)勵(lì)、干擾樣式能量最小化獎(jiǎng)勵(lì)。

每步干擾成功獎(jiǎng)勵(lì)設(shè)置為

干擾功率獎(jiǎng)勵(lì)設(shè)置為

式中：～取值范圍為[-0.5，+0.5]，～為正值，分別為-0.5、-0.4、-0.3、-0.2、-0.1，～為負(fù)值，分別為0.1、0.2、0.3、0.4、0.5。

干擾樣式能量最小化獎(jiǎng)勵(lì)設(shè)置為

式中：=(-)/，表示飛機(jī)飛行到步；～表示各個(gè)干擾樣式最大功率下對(duì)雷達(dá)旁瓣干擾時(shí)雷達(dá)最大探測距離（當(dāng)虛警概率為10、發(fā)現(xiàn)概率為0.5 時(shí)）。參考第三章仿真參數(shù)，帶入公式（1）可求得各種干擾下的雷達(dá)最大探測距離～，～分別為321 km、139 km、77 km、16 km。

綜上，我們可得每步的總獎(jiǎng)勵(lì)值為=++。

2.2 基于DQN與Dueling-DQN算法的干擾資源分配策略

DQN 算法是Q-Learning 算法的改進(jìn)，摒棄了QLearning 算法中的Q 表，利用深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）代替了Q 表，可以適用于多狀態(tài)-多動(dòng)作的強(qiáng)化學(xué)習(xí)模型。DQN 網(wǎng)絡(luò)主要由當(dāng)前網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)、環(huán)境、經(jīng)驗(yàn)回放池、DQN誤差函數(shù)構(gòu)成，如圖4所示。

圖4 本模型中DQN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 DQN network structure diagram in this model

如圖4所示，其中、、、分別代表狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)及網(wǎng)絡(luò)參數(shù)，采用隨機(jī)梯度下降法（stochastic gradient descent，SGD）更新網(wǎng)絡(luò)參數(shù)。DQN 內(nèi)部包含兩個(gè)網(wǎng)絡(luò)，分別是當(dāng)前網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)，這兩個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)一模一樣，均為DNN 網(wǎng)絡(luò)，把上文的狀態(tài)S和動(dòng)作A作為DNN 網(wǎng)絡(luò)的輸入得到該狀態(tài)和該動(dòng)作下的值函數(shù)?？刂颇繕?biāo)網(wǎng)絡(luò)的參數(shù)在一定的步數(shù)間隔內(nèi)保持不變，把當(dāng)前網(wǎng)絡(luò)的參數(shù)直接復(fù)制給目標(biāo)網(wǎng)絡(luò)，而不是每幀都更新，目的是去除目標(biāo)值和當(dāng)前值的相關(guān)性，解決訓(xùn)練不穩(wěn)定的問題，提高收斂成功率。其網(wǎng)絡(luò)中的相關(guān)參數(shù)有：（經(jīng)驗(yàn)回放集合尺寸）、（獎(jiǎng)勵(lì)折扣因子）、（學(xué)習(xí)率）、（-貪婪因子，以的概率選擇最優(yōu)動(dòng)作，（1-）的概率選擇隨機(jī)動(dòng)作）、（重置網(wǎng)絡(luò)權(quán)重步數(shù)）、（每次訓(xùn)練批量）。

結(jié)合建立模型的DQN 算法的具體實(shí)施步驟如圖5 所示，主要流程為：先對(duì)網(wǎng)絡(luò)進(jìn)行初始化；然后偵查獲得雷達(dá)當(dāng)前時(shí)刻狀態(tài)，使用貪婪策略以的概率選擇最優(yōu)動(dòng)作，以（1-）的概率選擇隨機(jī)動(dòng)作，與設(shè)定對(duì)抗環(huán)境進(jìn)行交互獲得下一時(shí)刻狀態(tài)，并對(duì)該動(dòng)作進(jìn)行打分操作，將上文中的狀態(tài)和動(dòng)作作為DNN 網(wǎng)絡(luò)的輸入，進(jìn)行值函數(shù)的計(jì)算，將當(dāng)前狀態(tài)下采取動(dòng)作的優(yōu)劣度以值函數(shù)的方式進(jìn)行表述；當(dāng)達(dá)到訓(xùn)練總步數(shù)后，將狀態(tài)和動(dòng)作信息存儲(chǔ)下來，用于自適應(yīng)干擾機(jī)的在線干擾資源學(xué)習(xí)和分配。

圖5 結(jié)合建立模型的DQN算法流程圖Fig.5 DQN algorithm flow chart combined with the establishment of the model

Dueling-DQN 算法與DQN 算法的不同點(diǎn)在于：DQN 神經(jīng)網(wǎng)絡(luò)輸出的是每種動(dòng)作的值，而Dueling-DQN每個(gè)動(dòng)作的值是由式（12）確定的，其余部分兩者完全相同。

式中：V(；)表示這個(gè)狀態(tài)下的值；(，；)表示每個(gè)動(dòng)作在這個(gè)狀態(tài)上的優(yōu)勢。因?yàn)橛袝r(shí)在某種狀態(tài)下，無論做什么動(dòng)作，對(duì)下一個(gè)狀態(tài)的影響均很小。通過這種方法就能大幅提升學(xué)習(xí)效果，加速收斂。

Dueling-DQN（R）算法與DQN（R）算法分別是在Dueling-DQN 算法與DQN 算法的基礎(chǔ)上，將動(dòng)態(tài)調(diào)整的獎(jiǎng)勵(lì)值引入其中。

3 仿真驗(yàn)證

3.1 干擾對(duì)抗場景及DQN網(wǎng)絡(luò)相關(guān)參數(shù)設(shè)置

雷達(dá)陣地與干擾機(jī)位置關(guān)系設(shè)置如圖6 所示，飛機(jī)攜帶自適應(yīng)干擾吊艙對(duì)準(zhǔn)雷達(dá)2 進(jìn)行飛行，速度為300 m/s，3 部雷達(dá)分別位于高度為1 000 m 的小島上，雷達(dá)陣地間隔為5 000 m，目標(biāo)散射截面積為6 m，雷達(dá)平均功率為77 kW，雷達(dá)天線增益為42 dB，脈沖寬度為6.4 us，接收機(jī)帶寬為40 MHz，載頻為8 GHz，雷達(dá)接收機(jī)損耗為6 dB，脈沖重復(fù)頻率為5 000 Hz；干擾機(jī)有效功率100～1 000 W，干擾機(jī)天線增益為15 dB，干擾機(jī)帶寬為400 MHz，為0.5 dB。海雜波環(huán)境中當(dāng)海面風(fēng)速為10～20 Kt（Kt 用來描述海況信息的風(fēng)速單位），即風(fēng)速為19～38 km/h，X 波段不同來源的海雜波σ的數(shù)據(jù)合成為-36 dB。3 部雷達(dá)為同一體制雷達(dá)，工作參數(shù)相近，均有3種工作模式。

圖6 雷達(dá)陣地與干擾機(jī)位置關(guān)系Fig.6 The relationship between the radar position and the jammer

經(jīng)驗(yàn)回放池大小為2 000，獎(jiǎng)勵(lì)折扣因子為0.9，學(xué)習(xí)率為0.001，-greedy 為0.9，重置網(wǎng)絡(luò)權(quán)重步數(shù)為1 200，每批次訓(xùn)練量為320。

DQN（R）算法和Dueling-DQN（R）算法訓(xùn)練結(jié)果對(duì)比如圖7～8所示。

由圖7可知：大約680次訓(xùn)練后Dueling-DQN（R）算法分配下的最大突防距離已經(jīng)基本穩(wěn)定，而DQN（R）算法則要經(jīng)過約1 000次訓(xùn)練才能達(dá)到Dueling-DQN（R）算法的效果。由圖8可知：引入干擾功率獎(jiǎng)勵(lì)值和干擾樣式能量最小化獎(jiǎng)勵(lì)值后，1 200次的訓(xùn)練后，每次突防的整體輻射能量占比在20%～50%之間，且Dueling-DQN（R）算法下的整體輻射能量占比基本上比DQN（R）算法的整體輻射能量小，即：就干擾輻射能量的損耗情況而言，Dueling-DQN（R）算法分配的干擾策略要優(yōu)于DQN（R）算法分配的干擾策略。

圖7 兩種算法下最大突防距離Fig.7 Maximum penetration distance of the two algorithms

圖8 兩種算法輻射能量占比Fig.8 The proportion of radiated energy of the two algorithms

DQN（R）算法與Dueling-DQN（R）算法訓(xùn)練至1 200次時(shí)干擾動(dòng)作分配如圖9～10所示。

圖9 DQN（R）算法訓(xùn)練1 200次時(shí)的動(dòng)作分配Fig.9 Action distribution when DQN（R）algorithm training reaches 1200 times

圖10 Dueling-DQN（R）算法訓(xùn)練1 200次時(shí)的動(dòng)作分配Fig.10 Action distribution when Dueling-DQN（R）algorithm training reaches 1200 times

由圖9～10 中可以看出，Dueling-DQN（R）算法的干擾動(dòng)作分配比較穩(wěn)定，而DQN（R）算法的分配結(jié)果較為多變，結(jié)合兩種算法的原理可知，這是因?yàn)镈ueling-DQN（R）算法去掉某一狀態(tài)下的不敏感動(dòng)作，使得其收斂能力較DQN（R）有明顯提升。并且，圖9～10 中，動(dòng)作數(shù)值越大表示其干擾功率越高，大部分動(dòng)作的選取所需的干擾功率未達(dá)到峰值，而較為獨(dú)立的峰值大都為雷達(dá)狀態(tài)改變的結(jié)果。

圖11 為3 種算法的損失函數(shù)對(duì)比，Dueling-DQN（R）算法大致在1 800 次網(wǎng)絡(luò)迭代后收斂，DQN（R）算法大致在4 000 次網(wǎng)絡(luò)迭代后收斂，而尋常DQN 算法大致在9 000 次網(wǎng)絡(luò)迭代后收斂。從其變化規(guī)律來看，3 種算法的收斂速度和穩(wěn)定性從優(yōu)到劣為：Dueling-DQN（R）算法、DQN（R）算法、DQN 算法，這是因?yàn)橐肓穗S環(huán)境動(dòng)態(tài)調(diào)整的獎(jiǎng)勵(lì)值的結(jié)果，提升了前兩種算法收斂的速度和穩(wěn)定性。而Dueling-DQN（R）算法、DQN（R）算法的收斂速度也從一定程度上佐證了圖7中曲線變化梯度。

圖11 3種算法的收斂曲線Fig.11 Convergence curves of the three algorithms

圖12是網(wǎng)絡(luò)迭代14 000次中Dueling-DQN（R）算法下不同時(shí)刻自適應(yīng)干擾機(jī)所選擇干擾的目標(biāo)雷達(dá)，可見在整個(gè)突防的過程，Dueling-DQN（R）算法實(shí)現(xiàn)了隨突防距離變化更改其一對(duì)多干擾策略的能力。

圖12 自適應(yīng)干擾機(jī)選擇干擾的雷達(dá)Fig.12 The adaptive jammer selects the radar to jam

4 結(jié)束語

為了研究一對(duì)多情形下的干擾資源的分配方法，本文提出了一種獎(jiǎng)勵(lì)值隨突防距離動(dòng)態(tài)調(diào)整的DQN干擾資源分配方法，以干擾、雜波下的雷達(dá)最大探測距離作為獎(jiǎng)勵(lì)值的調(diào)整標(biāo)準(zhǔn)，可以加快DQN算法和Dueling-DQN算法的收斂速度和穩(wěn)定性，使得干擾資源的分配更快地收斂。本文算法較為理想地完成了對(duì)不組網(wǎng)雷達(dá)陣地的一對(duì)多的干擾資源分配，對(duì)干擾輻射總能量小、突防距離大的認(rèn)知電子對(duì)抗以及非對(duì)稱下多機(jī)協(xié)同干擾的干擾資源分配具有一定的參考價(jià)值。