崔 偉，崔 鋼，房 磊

(空軍航空大學(xué)，吉林 長(zhǎng)春 130022)

0 引 言

建模的實(shí)質(zhì)就是用一定的數(shù)學(xué)語(yǔ)言及符號(hào)來(lái)描述和解決實(shí)際現(xiàn)象和問題。在數(shù)學(xué)領(lǐng)域中它不僅是一種思考并解決問題的方法，更是采用相關(guān)語(yǔ)言和數(shù)學(xué)工具，通過抽象和簡(jiǎn)化去近似解決客觀實(shí)際問題的一種措施。數(shù)學(xué)建模著重關(guān)注經(jīng)濟(jì)、社會(huì)、民生問題以及客觀前沿問題，而軍事建模則側(cè)重軍事領(lǐng)域中各類備戰(zhàn)與打仗問題，是集全軍上下官兵的智慧，應(yīng)用數(shù)學(xué)工具和計(jì)算機(jī)技術(shù)，采用定量分析的方法來(lái)解決影響戰(zhàn)斗力生成的瓶頸問題，為指揮機(jī)構(gòu)決策提供數(shù)量依據(jù)的一種科學(xué)方法。軍事建模的實(shí)質(zhì)是利用數(shù)學(xué)工具與數(shù)學(xué)思維定量分析軍事問題。以美國(guó)為代表的軍事強(qiáng)國(guó)，早已把建模仿真應(yīng)用在裝備研發(fā)、訓(xùn)練演習(xí)等各個(gè)方面，其在建模與仿真應(yīng)用中的經(jīng)驗(yàn)非常值得學(xué)習(xí)和借鑒。在軍事領(lǐng)域中，隨著信息技術(shù)的不斷發(fā)展，各類活動(dòng)與數(shù)學(xué)思維結(jié)合得空前緊密。任務(wù)規(guī)劃、輔助決策、裝備運(yùn)用以及作戰(zhàn)效能評(píng)估等過程和環(huán)節(jié)都需要準(zhǔn)確的計(jì)算與分析，這就要求我軍學(xué)會(huì)并善于運(yùn)用數(shù)學(xué)思維來(lái)分析和解決現(xiàn)實(shí)軍事問題。軍事建模的本質(zhì)是將軍事問題抽象為一個(gè)或多個(gè)數(shù)學(xué)問題，檢驗(yàn)運(yùn)用數(shù)學(xué)思維分析并解決具體軍事問題的能力。文獻(xiàn)[3]提出基于一體化的建模思想，而文獻(xiàn)[4]則分析了軍事系統(tǒng)與建模領(lǐng)域的發(fā)展，構(gòu)建出完整的軍事系統(tǒng)與建模領(lǐng)域知識(shí)圖譜。

1 基于算法戰(zhàn)的電子戰(zhàn)建模

基于人工智能的算法戰(zhàn)是美軍第三次抵消戰(zhàn)略中作戰(zhàn)創(chuàng)新發(fā)展領(lǐng)域之一，其主要目的就是利用智能化發(fā)展和技術(shù)突破，不斷中和甚至是抵消中俄等國(guó)與美軍在裝備規(guī)模和設(shè)備硬件水平等方面的代差，同時(shí)逐漸拉大武器裝備在智能領(lǐng)域的差距，不斷維持和擴(kuò)大在未來(lái)軍事上的優(yōu)勢(shì)。文獻(xiàn)[5]介紹了算法戰(zhàn)基本內(nèi)容并分析了美軍針對(duì)算法戰(zhàn)開展的一系列措施。文獻(xiàn)[6]討論分析了算法戰(zhàn)在空戰(zhàn)中的落腳應(yīng)用問題，有助于裝備升級(jí)和智能化轉(zhuǎn)型。

認(rèn)知電子戰(zhàn)能對(duì)各種電磁威脅目標(biāo)進(jìn)行自主預(yù)測(cè)、發(fā)現(xiàn)、識(shí)別、對(duì)抗并進(jìn)行評(píng)估。認(rèn)知電子戰(zhàn)能從偵收到的海量數(shù)據(jù)中快速準(zhǔn)確地分析出可用情報(bào)，從而可以智能選取最佳的電子攻擊方式，通過不斷感知來(lái)對(duì)電子攻擊的效能進(jìn)行整體評(píng)估和判斷，并且能根據(jù)評(píng)估結(jié)果的好壞程度來(lái)指導(dǎo)下一次電子行動(dòng)，是一個(gè)智能的、動(dòng)態(tài)的、整體自適應(yīng)系統(tǒng)。認(rèn)知電子戰(zhàn)的基本內(nèi)涵有2種表述:一是從其本身所具備的能力現(xiàn)狀和發(fā)展出發(fā)，主要強(qiáng)調(diào)其智能化、自適應(yīng)特性和自主能力，這種從事物發(fā)展進(jìn)程來(lái)理解的電子戰(zhàn)稱為認(rèn)知化電子戰(zhàn)；另一種則是從作戰(zhàn)對(duì)象與作戰(zhàn)過程中所面臨的威脅出發(fā)，強(qiáng)調(diào)電子戰(zhàn)能夠自主對(duì)抗各類新型電子系統(tǒng)，因此將這種認(rèn)知電子戰(zhàn)稱為認(rèn)知系統(tǒng)電子戰(zhàn)。可以看出，不論如何定義與描述認(rèn)知電子戰(zhàn)，其本質(zhì)都是不變的，那就是自主性與智能化。文獻(xiàn)[9]從體系對(duì)抗的高度以及作戰(zhàn)視角描述了認(rèn)知電子戰(zhàn)行動(dòng)的主要過程和環(huán)節(jié)。文獻(xiàn)[10]則對(duì)認(rèn)知干擾的建模與感知關(guān)鍵技術(shù)進(jìn)行了探討。

從最終作戰(zhàn)效果來(lái)看，軍事模型與算法戰(zhàn)中的算法是一脈相承的，都是為了實(shí)現(xiàn)作戰(zhàn)行動(dòng)或解決軍事問題而采取的一系列步驟與措施。算法戰(zhàn)就是要通過一系列的算法來(lái)解決軍事模型中所代表的具體問題。電子戰(zhàn)不僅是現(xiàn)代信息化作戰(zhàn)的重點(diǎn)元素與組成部分，在美軍的橙旗、黑旗演習(xí)中也將電子戰(zhàn)升級(jí)為一種典型的作戰(zhàn)行動(dòng)，因此利用算法戰(zhàn)的思想對(duì)電子戰(zhàn)進(jìn)行建模不僅十分有必要，而且可以使電子戰(zhàn)更加具有智能和敏捷的特征?；谶@種融合思想，就可以搭建出“算法戰(zhàn)-算法-模型-認(rèn)知電子戰(zhàn)建?！钡哪Ｐ玩湕l。算法戰(zhàn)以算法為驅(qū)動(dòng)，模型以算法為核心，認(rèn)知電子戰(zhàn)建模為實(shí)踐應(yīng)用，從而可以有效促進(jìn)算法戰(zhàn)與認(rèn)知電子戰(zhàn)的融合與滲透，將認(rèn)知電子戰(zhàn)升級(jí)為有核心算法支撐的智能化、敏捷性作戰(zhàn)行動(dòng)。

在此模型鏈條中，各元素相互作用，協(xié)同發(fā)展。首先，模型對(duì)算法具有拓展作用，模型作為實(shí)施算法行為的工具手段，它延伸了算法的空間范圍，同時(shí)模型簡(jiǎn)潔容易對(duì)算法也具促進(jìn)與改善作用。其次，算法戰(zhàn)的作戰(zhàn)需求對(duì)算法有指導(dǎo)性作用，算法可以將人們分析處理問題的方法和思路數(shù)字化，并通過程序來(lái)實(shí)現(xiàn)作戰(zhàn)意圖。同樣，算法對(duì)算法戰(zhàn)也具有強(qiáng)化支撐作用。在信息化時(shí)代，算法是解決海量數(shù)據(jù)的最優(yōu)工具。通過算法可將所有的作戰(zhàn)行動(dòng)以代碼與指令的方式來(lái)分析和處理，從而真正解決算法戰(zhàn)的核心問題。第三，算法對(duì)電子戰(zhàn)作戰(zhàn)模型具有驅(qū)動(dòng)作用。隨著現(xiàn)代戰(zhàn)爭(zhēng)智能化程度的提升，算法將逐漸成為控制和驅(qū)動(dòng)電子戰(zhàn)作戰(zhàn)模型的大腦，成為整個(gè)電子戰(zhàn)體系應(yīng)用的核心。它將會(huì)促進(jìn)與實(shí)現(xiàn)電子戰(zhàn)系統(tǒng)的智能化，幫助電子戰(zhàn)裝備實(shí)體實(shí)現(xiàn)極限作戰(zhàn)性能，全面提升電子戰(zhàn)整體效能。最后，算法是抽象的，不能單獨(dú)存在和運(yùn)用，必須依托一定的電子戰(zhàn)模型作為載體。在以算法戰(zhàn)為支撐的電子戰(zhàn)模型中，無(wú)論是各元素之間相互作用還是模型內(nèi)部之間的相互關(guān)系，都將不斷促進(jìn)整個(gè)電子戰(zhàn)體系的演變、優(yōu)化和創(chuàng)新，推進(jìn)電子戰(zhàn)作戰(zhàn)體系向著智能化的方向邁進(jìn)。

2 電子戰(zhàn)建模與算法內(nèi)核分析

對(duì)認(rèn)知電子戰(zhàn)來(lái)講，其核心本質(zhì)就是使己方有效利用電磁頻譜，同時(shí)拒止或中斷敵方接入和利用電磁頻譜的能力，進(jìn)而降低敵方利用電磁頻譜的效能與效率。認(rèn)知電子戰(zhàn)中的電子偵察、電子干擾和效能評(píng)估是電子戰(zhàn)的基本環(huán)節(jié)，不管是通信、雷達(dá)還是光電等領(lǐng)域的電子戰(zhàn)，這些基本環(huán)節(jié)和代表的作戰(zhàn)過程是不變的，完全可以構(gòu)建起相對(duì)完整的軍事模型。認(rèn)知電子戰(zhàn)的建模問題實(shí)際上就是關(guān)于電子戰(zhàn)作戰(zhàn)行動(dòng)的軍事建模問題。基于建模思想，實(shí)現(xiàn)算法戰(zhàn)與認(rèn)知電子戰(zhàn)的滲透與融合，可以從以下3個(gè)層面來(lái)具體實(shí)現(xiàn)。

(1) 對(duì)認(rèn)知偵察技術(shù)進(jìn)行建模。迅速、精確而又全面地從戰(zhàn)場(chǎng)環(huán)境中截獲各種信息，利用機(jī)器學(xué)習(xí)、向量機(jī)等方法來(lái)展開對(duì)認(rèn)知偵察技術(shù)的研究，建立自適應(yīng)算法實(shí)現(xiàn)威脅信號(hào)分選、識(shí)別和特征提取，在偵察工作過程中不斷積累和更新威脅信號(hào)，通過對(duì)數(shù)據(jù)庫(kù)中信號(hào)知識(shí)的不斷學(xué)習(xí)研究，從而實(shí)現(xiàn)提升認(rèn)知能力的目的，為后續(xù)決策、電子攻擊生成以及效能評(píng)估等過程提供支撐。認(rèn)知偵察的模型與算法流程圖如圖1所示。圖1中橫向?yàn)槟Ｐ土鞒?，縱向?yàn)樗惴鞒獭乃惴鞒虂?lái)看，認(rèn)知偵察主要包括2個(gè)方面內(nèi)容：一是先檢測(cè)未知輻射源，判斷當(dāng)前條件下是否出現(xiàn)未知目標(biāo)，針對(duì)未知目標(biāo)和已知目標(biāo)分別進(jìn)行目標(biāo)特征識(shí)別與狀態(tài)識(shí)別；二是針對(duì)每種威脅目標(biāo)識(shí)別其工作狀態(tài)，根據(jù)識(shí)別結(jié)果更新識(shí)別模型，并對(duì)未知目標(biāo)威脅等級(jí)進(jìn)行評(píng)估。同時(shí)，認(rèn)知偵察的輸出為認(rèn)知干擾模型提供作戰(zhàn)支援信息，干擾模型在實(shí)施干擾的過程中會(huì)根據(jù)對(duì)抗環(huán)境的變化不斷開窗進(jìn)行自適應(yīng)偵察。

圖1 認(rèn)知偵察模型與算法流程示意圖

(2) 對(duì)認(rèn)知電子干擾建模?；谥悄芑_發(fā)干擾技術(shù)優(yōu)化算法,著重考慮和研究目標(biāo)狀態(tài)與干擾策略、目標(biāo)威脅等級(jí)與對(duì)抗措施、不同類型對(duì)抗目標(biāo)的干擾參數(shù)設(shè)置以及干擾策略選擇等問題，從而達(dá)到所期望的最佳干擾效果。認(rèn)知干擾模型與算法流程圖如圖2所示。圖2中橫向?yàn)槟Ｐ土鞒?，縱向?yàn)樗惴鞒獭乃惴鞒虂?lái)看，模型首先接收認(rèn)知偵察算法的識(shí)別結(jié)果，如果當(dāng)前對(duì)抗場(chǎng)景中只有已知雷達(dá)狀態(tài)則直接調(diào)用學(xué)習(xí)算法，從而根據(jù)已知目標(biāo)的工作狀態(tài)來(lái)學(xué)習(xí)并確定最優(yōu)干擾樣式。假如出現(xiàn)未知識(shí)別結(jié)果，當(dāng)無(wú)法識(shí)別其工作狀態(tài)時(shí)隨機(jī)選擇干擾樣式。在偵察未知樣本積累到一定程度后，可利用雷達(dá)數(shù)據(jù)聚類分析來(lái)劃分出未知目標(biāo)類別，同時(shí)識(shí)別出未知雷達(dá)工作狀態(tài)，再次調(diào)用學(xué)習(xí)算法，對(duì)未知雷達(dá)的工作狀態(tài)進(jìn)行學(xué)習(xí)并確定出所需要的干擾樣式。算法收斂后便存儲(chǔ)多個(gè)雷達(dá)輻射源目標(biāo)不同工作狀態(tài)下的最優(yōu)干擾樣式，方便以后調(diào)用。

圖2 認(rèn)知干擾模型與算法流程示意圖

(3) 對(duì)認(rèn)知效能評(píng)估技術(shù)進(jìn)行建模，建立智能化效能評(píng)估模型與方法。通過分析目標(biāo)受干擾前后信號(hào)特征以及信號(hào)樣式的變化情況，綜合評(píng)估干擾樣式的有效性和針對(duì)性。對(duì)各類目標(biāo)工作狀態(tài)的差異、不同工作狀態(tài)時(shí)特征參數(shù)特性的不同進(jìn)行全面分析和詳細(xì)總結(jié)，在此基礎(chǔ)上形成智能化效能評(píng)估推理機(jī)制，以便能準(zhǔn)確推測(cè)目標(biāo)當(dāng)前所處的工作狀態(tài)，進(jìn)而不斷指導(dǎo)并優(yōu)化干擾措施合成，最終保證取得最佳的干擾效果。

3 基于強(qiáng)化學(xué)習(xí)的雷達(dá)對(duì)抗建模與實(shí)現(xiàn)

在Q學(xué)習(xí)雷達(dá)對(duì)抗模型與策略中，表示在某一時(shí)刻雷達(dá)的工作狀態(tài)，代表狀態(tài)改變時(shí)從外部環(huán)境獲得的獎(jiǎng)勵(lì)值，雷達(dá)對(duì)抗模型根據(jù)偵察到目前雷達(dá)的工作狀態(tài)，在正確判斷威脅等級(jí)的基礎(chǔ)上，利用Q學(xué)習(xí)算法推測(cè)出并選擇當(dāng)前狀態(tài)向量函數(shù)(,)最大時(shí)所對(duì)應(yīng)的干擾策略，并且根據(jù)外部環(huán)境的不斷變化和干擾效果及時(shí)調(diào)整相關(guān)參數(shù)，從而不斷選擇合適的干擾策略。

3.1 威脅等級(jí)模型

雷達(dá)威脅等級(jí)主要與雷達(dá)的威脅因素有關(guān)，而威脅因素又與雷達(dá)的工作參數(shù)密切相關(guān)。掌握了雷達(dá)的工作參數(shù)，就可以通過模型估計(jì)出雷達(dá)最可能的威脅等級(jí)。這些雷達(dá)的工作參數(shù)主要包括雷達(dá)瞬時(shí)帶寬、重頻以及脈寬等，威脅等級(jí)模型主要由威脅因素的隸屬度函數(shù)以及對(duì)應(yīng)權(quán)值構(gòu)成。權(quán)值反映了威脅因素對(duì)威脅等級(jí)的作用強(qiáng)度，而威脅因素隸屬度函數(shù)則代表了各威脅因素對(duì)威脅等級(jí)的影響程度，威脅程度評(píng)估模型為：

(1)

式中：()為威脅因素隸屬度函數(shù)；為威脅因素的權(quán)值。

考慮到實(shí)際雷達(dá)的工作情況，威脅因素隸屬度函數(shù)()主要包括脈寬隸屬度函數(shù)()、瞬時(shí)帶寬隸屬度函數(shù)()以及重頻隸屬度函數(shù)()，根據(jù)雷達(dá)威脅程度與參數(shù)的關(guān)系，隸屬度函數(shù)分別為：

(2)

()=1-e(-)

(3)

(4)

對(duì)威脅因素的權(quán)重而言，可利用環(huán)比評(píng)分法來(lái)確定:

(5)

(6)

式中：為威脅因素之間相互比較的重要性比率；為歸一化后的權(quán)值。

3.2 基于Q學(xué)習(xí)的干擾模型與策略

代表在時(shí)刻雷達(dá)的工作狀態(tài)，代表干擾機(jī)在時(shí)刻所采取的干擾策略或干擾樣式，當(dāng)雷達(dá)工作在狀態(tài)時(shí)，干擾機(jī)選擇干擾樣式并進(jìn)行干擾，干擾機(jī)在進(jìn)行干擾時(shí)干擾效能評(píng)估為，即干擾效果回報(bào)值，∈,為干擾效果回報(bào)值矩陣。同時(shí)雷達(dá)受到干擾后轉(zhuǎn)移到新的工作狀態(tài)+1，那么，根據(jù)Q學(xué)習(xí)算法的基本原理，工作狀態(tài)-干擾策略價(jià)值更新為：

(,)=(,)+[+1+

max((+1,′))-(,)]

(7)

式中：(,)為工作狀態(tài)-干擾策略價(jià)值矩陣；為折現(xiàn)因子；∈(0,1)，為學(xué)習(xí)因子。

Q學(xué)習(xí)中行為決策和值函數(shù)的迭代相互獨(dú)立，是一種離線算法，采用值函數(shù)最大值進(jìn)行迭代。

雷達(dá)存在多種工作狀態(tài)，干擾策略集合中包含多種干擾樣式，定義干擾效果回報(bào)值為：

(8)

式中：→min代表雷達(dá)威脅等級(jí)降到最低，這時(shí)獎(jiǎng)勵(lì)回報(bào)值為100；?(!→min)代表工作狀態(tài)除轉(zhuǎn)向最低威脅等級(jí)狀態(tài)之外的低威脅等級(jí)狀態(tài)的轉(zhuǎn)變；!?代表工作狀態(tài)的威脅等級(jí)不變或是升高，意味著干擾效果差，獎(jiǎng)賞值為-1。

干擾機(jī)存在多種干擾策略，但由于外界條件的不確定導(dǎo)致干擾樣式的選擇不一定與理論值完全匹配，這就意味著不能直接單一選擇某種干擾策略，干擾機(jī)需要在干擾策略的探索與利用之間進(jìn)行平衡，這時(shí)便可以采用-Greedy算法進(jìn)行干擾策略選擇?！?0，1)，為探索因子，如果某次干擾策略選擇的動(dòng)作為“探索”，那么干擾機(jī)會(huì)在所有可能干擾樣式中隨機(jī)選擇一種，執(zhí)行相應(yīng)的動(dòng)作后并記錄回報(bào)值;若某一次干擾策略選擇動(dòng)作為“利用”，干擾機(jī)會(huì)根據(jù)在探索過程中得到的經(jīng)驗(yàn)從干擾策略集合中選擇回報(bào)值最大的干擾策略并執(zhí)行。根據(jù)上面的分析，對(duì)抗模型與策略算法如下:

步驟1：初始化(,)矩陣和值矩陣為零矩陣，并初始化學(xué)習(xí)因子、折現(xiàn)因子和探索因子。

步驟2：根據(jù)偵察情況，估計(jì)識(shí)別雷達(dá)的工作模式并對(duì)威脅等級(jí)進(jìn)行估計(jì)，根據(jù)-Greedy算法選擇干擾策略。

步驟3：開始循環(huán)

(1) 對(duì)雷達(dá)的工作狀態(tài)進(jìn)行偵察，估計(jì)新狀態(tài)的威脅等級(jí)，若威脅等級(jí)發(fā)生變化則當(dāng)前狀態(tài)為新工作狀態(tài)+1，更新雷達(dá)數(shù)據(jù)庫(kù)；

(2) 增加(,)矩陣與相對(duì)應(yīng)的行和列，利用式(8)計(jì)算干擾效果回報(bào)值；

(3) 利用式(7)更新(,)矩陣；

(4) 進(jìn)行狀態(tài)更新=+1;

滿足條件，停止循環(huán)。

步驟4：輸出干擾策略、選擇方式和工作狀態(tài)。

仿真實(shí)驗(yàn)：

在實(shí)際條件下，雷達(dá)具有發(fā)現(xiàn)、識(shí)別、搜索、跟蹤、制導(dǎo)等多種工作模式，針對(duì)不同的作戰(zhàn)需求和作戰(zhàn)對(duì)象采用不同的工作模式。而針對(duì)雷達(dá)的這些工作模式狀態(tài)，可采用噪聲干擾、掃頻干擾、距離欺騙干擾、速度欺騙干擾以及假目標(biāo)干擾等多種干擾樣式。對(duì)干擾機(jī)來(lái)講，需要通過不斷學(xué)習(xí)來(lái)確定雷達(dá)工作狀態(tài)的威脅程度以及不同工作模式狀態(tài)之間的轉(zhuǎn)換，雷達(dá)根據(jù)任務(wù)需要以及外部干擾的變化也會(huì)不斷調(diào)整自身的工作狀態(tài)，因此不同時(shí)刻偵察機(jī)接收并判斷出雷達(dá)威脅等級(jí)和工作狀態(tài)是變化的，同時(shí)不斷選擇合適的干擾策略實(shí)施干擾，實(shí)時(shí)計(jì)算干擾回報(bào)矩陣與工作模式-干擾樣式矩陣。假定雷達(dá)有,,,,,6種不同的工作狀態(tài)，6種工作狀態(tài)對(duì)應(yīng)的典型信號(hào)參數(shù)分別為(PW,,)(PW,,)(PW,,)(PW,,)(PW,,)(,,)，在偵察機(jī)偵收到以上參數(shù)時(shí)，根據(jù)式(1)～(6)可以計(jì)算出6種工作狀態(tài)的威脅等級(jí)由高到低。

3.3 探索因子ε對(duì)決策性能的影響

由于采用-Greedy算法來(lái)進(jìn)行干擾策略選擇，首先分析對(duì)算法的影響，初始化學(xué)習(xí)因子=09、折現(xiàn)因子=08;假定分別等于0.1、0.3、0.7、0.9，每次仿真在‖-+1‖<0005時(shí)認(rèn)為算法趨于穩(wěn)定。最大值和迭代運(yùn)算次數(shù)以及隨變化的結(jié)果如圖4 所示。從圖4中可以看出，隨著迭代次數(shù)的不斷增加，值不斷增加并且逐漸趨于穩(wěn)定，也就意味著經(jīng)過迭代后可以得到最優(yōu)干擾策略。當(dāng)較小時(shí)，利用概率減小，探索概率增大，選擇最佳干擾樣式的概率也會(huì)逐漸增大，但此時(shí)所需要的時(shí)間也隨之增加。反之，利用概率會(huì)逐漸增大，探索概率逐漸減小，無(wú)法得到最佳干擾路徑。

圖3 收斂值隨循環(huán)次數(shù)的變化

圖4 Q值隨γ的變化

3.4 參數(shù)α和γ對(duì)算法性能影響分析

從算法本身可以看出，代表著模型對(duì)未來(lái)回報(bào)的重視程度。當(dāng)逐漸變小時(shí)，代表模型僅開始關(guān)注當(dāng)前出現(xiàn)的狀態(tài)，而未來(lái)可能出現(xiàn)的狀態(tài)對(duì)值的影響會(huì)越來(lái)越小。代表系統(tǒng)對(duì)每次增量的學(xué)習(xí)能力，取值越大代表學(xué)習(xí)能力越強(qiáng)。在=06時(shí)，隨著不斷增大，收斂的值也不斷增大，表示對(duì)未來(lái)的回報(bào)折扣越來(lái)越小，如圖5所示。此時(shí)隨著學(xué)習(xí)率的不斷增加，系統(tǒng)學(xué)習(xí)誤差的能力不斷下降，值完全收斂時(shí)(2次循環(huán)后值差為 0) 所需循環(huán)次數(shù)不斷減小，系統(tǒng)決策時(shí)間也不斷減少，如圖6所示。值應(yīng)越大越好，當(dāng)=1時(shí)，可能會(huì)存在“過學(xué)習(xí)”的風(fēng)險(xiǎn)。在實(shí)際作戰(zhàn)場(chǎng)景中，要根據(jù)現(xiàn)實(shí)情況的變化合理取值，在合理選擇干擾樣式的同時(shí)又能提升算法運(yùn)行速度。

圖5 Q值隨α的變化

4 結(jié)束語(yǔ)

認(rèn)知電子戰(zhàn)軍事建模的關(guān)鍵在于根據(jù)電子偵察、電子干擾、效果評(píng)估的軍事要求以及已知情報(bào)數(shù)據(jù)狀態(tài)和先驗(yàn)知識(shí)，構(gòu)建能夠解決對(duì)應(yīng)實(shí)戰(zhàn)電子戰(zhàn)問題的算法，而算法戰(zhàn)的核心內(nèi)容就是算法本身。因此，利用軍事建模的思想，實(shí)現(xiàn)算法戰(zhàn)與電子戰(zhàn)的深度融合，構(gòu)建智力超群、靈活敏捷、系統(tǒng)魯棒的認(rèn)知電子戰(zhàn)模型，對(duì)深化電子戰(zhàn)領(lǐng)域縱向研究、拓展電子戰(zhàn)研究?jī)?nèi)涵、為電子戰(zhàn)注入先進(jìn)算法、讓電子戰(zhàn)實(shí)體具備人類的智慧和獨(dú)立遂行任務(wù)的能力是可行的，也是十分有必要的。