況立群，李思遠，馮 利，韓 燮，徐清宇

1.中北大學 大數(shù)據(jù)學院，太原 030051

2.北方自動控制技術(shù)研究所 仿真裝備部，太原 030006

現(xiàn)代戰(zhàn)爭規(guī)模與復雜性不斷擴大，作戰(zhàn)方式日益復雜，面對瞬息萬變的戰(zhàn)場環(huán)境，僅靠人類決策行動已經(jīng)很難確保正確快速的軍事響應[1]。深度強化學習在解決序貫決策問題上做出了許多突出貢獻，契合了指揮員的經(jīng)驗學習與決策思維方式，二者相結(jié)合是現(xiàn)代智能軍事決策的發(fā)展方向。強化學習[2]具有魯棒性強[3]、獨立于環(huán)境模型和先驗知識等優(yōu)點，在運用于軍事作戰(zhàn)行動中常采用試錯法尋求最優(yōu)軍事決策序列。Q-Learning[4]是一種典型的強化學習方法，已被廣泛地研究并產(chǎn)生了SARSA[5]、深度Q網(wǎng)絡(luò)（DQN）[6]、Double-DQN[7]等改進算法。Q-Learning被大量應用于軍事決策中的部分環(huán)節(jié)中，如戰(zhàn)機路徑規(guī)劃[8]以及半自治坦克軍事決策[9]。2015年，DeepMind團隊提出了DQN算法，將深度卷積神經(jīng)網(wǎng)絡(luò)和Q學習結(jié)合到一起，在Atari系列游戲上達到了人類專家[10]的決策和控制水平，并且避免了Q表的巨大存儲空間；此外還利用經(jīng)驗回放記憶和目標網(wǎng)絡(luò)提高了訓練過程的穩(wěn)定性。陸軍工程大學依據(jù)該算法提出了一種基于DQN的逆向強化學習的陸軍分隊戰(zhàn)術(shù)決策技術(shù)框架[11]，在解決戰(zhàn)術(shù)行動決策上取得了一定的效果。

雖然DQN算法在離散行為決策方面取得了一系列成果[12]，但是難以實現(xiàn)高維的連續(xù)動作。如果連續(xù)變化的動作被無限分割，那么動作數(shù)量會隨著自由度的增加而成倍增加，這就導致了維度突變的問題，網(wǎng)絡(luò)將難以收斂。常見做法是對真實的作戰(zhàn)系統(tǒng)進行有限的網(wǎng)格化處理，形成若干離散的空間與動作，其弊端是大大降低了真實作戰(zhàn)環(huán)境的復雜性，丟失了很多環(huán)境與動作細節(jié)。例如，在人員移動方面只能產(chǎn)生離散的運動，難以準確地模擬真實戰(zhàn)場環(huán)境下的人員決策行為[13]。

2015年，Lillicrap等人[14]綜合DQN算法、經(jīng)驗回放緩沖區(qū)和目標網(wǎng)絡(luò)的優(yōu)點，提出了深度確定策略梯度（DDPG）算法來解決連續(xù)狀態(tài)行為空間中的深度強化學習問題。同時，采用基于確定性策略梯度的演員-評論家（Actor-Critic）算法使網(wǎng)絡(luò)輸出結(jié)果具有確定的動作值，保證了DDPG可以應用于連續(xù)動作空間領(lǐng)域[15]，彌補了DQN算法無法適用于連續(xù)動作空間的缺點。然而，由于DDPG算法中Actor網(wǎng)絡(luò)和Q函數(shù)之間的相互作用，使得算法通常難以達到穩(wěn)定，因此很難直接將DDPG算法應用到復雜的高維多智能體環(huán)境。在多智能體環(huán)境下，各個智能體之間會產(chǎn)生相互影響和制約[16]，引起環(huán)境的變化，導致算法難以收斂。陳亮等人[17]在DDPG算法的基礎(chǔ)上提出了一種改進DDPG的多智能體強化學習算法，該算法雖然構(gòu)建了一個允許任意數(shù)量智能體的靈活框架，但由于所有智能體共享當前環(huán)境的相同狀態(tài)，使得環(huán)境狀態(tài)維數(shù)增加，且環(huán)境會受到所有智能體策略動作的影響，導致算法收斂比較困難。趙毓等人[18]在多智能體環(huán)境下的無人機避碰計算制導方法中通過采用集中訓練-分布執(zhí)行來滿足多智能體算法穩(wěn)定收斂的要求，但是該算法只能局限于少量智能體參與，無法滿足任意數(shù)量智能體的策略學習。

綜上，為解決深度強化學習算法難以運用于高度復雜且連續(xù)決策的現(xiàn)代戰(zhàn)場環(huán)境，同時多智能體環(huán)境下算法難以收斂的問題，本文提出了一個改進的DDPG算法——單訓練模式雙噪聲DDPG算法（Single-mode and Double-noise DDPG，SD-DDPG），在經(jīng)驗采樣、獎勵函數(shù)[19]、探索策略[20]和多智能體框架[21]方面對DDPG算法進行改進?；趦?yōu)先級的經(jīng)驗重放技術(shù)[22]更加注重有價值經(jīng)驗的學習，提高算法的收斂速度；連續(xù)型獎勵函數(shù)突破稀疏獎勵長時間無法變化的困境；OU噪聲與高斯噪聲相結(jié)合的智能體探索策略，滿足連續(xù)決策與離散決策的探索要求；多智能體框架為每個作戰(zhàn)單位分配單獨的深度強化學習算法，采用單模式訓練策略來大大提高算法收斂的速率和穩(wěn)定性。

1 相關(guān)工作

DDPG是深度強化學習中一種可以用來解決連續(xù)動作空間問題的典型算法，可以根據(jù)學習到的策略直接輸出動作。確定性的目的是幫助策略梯度避免隨機選擇，并輸出特定的動作值。目前，DDPG算法在無人駕駛汽車和無人駕駛船舶領(lǐng)域有著較為成熟的應用，由于DDPG算法有著很強的序貫決策能力，恰好與軍事決策思維方式有很大的契合，因此將其應用在智能軍事決策領(lǐng)域具有重要價值。圖1為DDPG算法框架。

圖1 DDPG算法框圖Fig.1 DDPG algorithm block diagram

DDPG算法以初始狀態(tài)信息S t為輸入，輸出結(jié)果為算法計算出的動作策略μ(S t)。在動作策略中加入隨機噪聲，得到最終的輸出動作，這是一種典型的端到端學習模式。在啟動任務(wù)時，智能體（agent）根據(jù)當前狀態(tài)s t輸出一個動作，設(shè)計獎勵函數(shù)并對該動作進行評價，以驗證輸出動作的有效性，從而獲得環(huán)境的反饋獎賞r t。有利于agent實現(xiàn)目標的行為將得到積極獎勵，相反，給予消極懲罰。然后，將當前狀態(tài)信息、動作、獎勵和下一次的狀態(tài)信息(s t,a t,rt,s t+1)存儲在經(jīng)驗緩沖池中。同時，神經(jīng)網(wǎng)絡(luò)通過從經(jīng)驗緩沖池中隨機抽取樣本數(shù)據(jù)，訓練經(jīng)驗，不斷調(diào)整動作策略，更新網(wǎng)絡(luò)參數(shù)，進一步提高算法的穩(wěn)定性和準確性。

DDPG是較為先進的深度強化學習算法，具有處理高維連續(xù)動作空間的能力，然而DDPG算法中Actor網(wǎng)絡(luò)和Q函數(shù)之間的相互作用使得算法通常難以達到穩(wěn)定，且超參數(shù)的選擇也變得非常困難，因此難以直接將DDPG算法應用于軍事決策下的多智能體環(huán)境。

2 軍事決策環(huán)境狀態(tài)定義

2.1 仿真平臺設(shè)計

軍事決策領(lǐng)域涵蓋內(nèi)容非常廣泛，本文選取了藍軍步兵進攻紅軍軍事基地這一具體軍事作戰(zhàn)行動?；赨nity獨立開發(fā)了智能軍事決策仿真訓練環(huán)境，將藍軍步兵進攻紅軍軍事基地作戰(zhàn)行動映射到基于Unity的模擬環(huán)境中去，實現(xiàn)了作戰(zhàn)智能體在模擬環(huán)境下進行軍事決策行為的訓練學習。

為了更加高效地探究基于深度強化學習的智能軍事決策能力，本文對藍軍步兵進攻紅軍基地軍事行動定義如下規(guī)則。基于Unity搭建1 000 m×1 000 m作戰(zhàn)環(huán)境，預設(shè)6名藍軍步兵作為一個小隊進攻紅軍基地，作戰(zhàn)智能體可以在360°范圍內(nèi)進行移動與射擊操作，作戰(zhàn)智能體的個數(shù)在仿真環(huán)境接口中進行設(shè)定。在該模擬環(huán)境中預先設(shè)置多個障礙物，作為紅軍軍事基地的保護屏障，作戰(zhàn)智能體無法自由穿過障礙物，紅軍軍事基地坐落在障礙物后方。該軍事作戰(zhàn)模擬環(huán)境具有高度的自由性，障礙物的數(shù)量、位置以及基地的大小位置都可以自由設(shè)定，模擬環(huán)境中還搭建了山體、樹木、草地等易于作戰(zhàn)智能體隱蔽的區(qū)域，更加符合真實的作戰(zhàn)場景，滿足多種軍事作戰(zhàn)行動環(huán)境的要求。具體模擬環(huán)境如圖2所示。

圖2 模擬作戰(zhàn)環(huán)境Fig.2 Simulation environment

2.2 環(huán)境狀態(tài)數(shù)據(jù)提取

藍軍步兵進攻紅軍基地軍事作戰(zhàn)行動中的環(huán)境狀態(tài)信息涉及作戰(zhàn)智能體的位置信息、動作信息、障礙物及基地信息等。本文改進的DDPG算法中使用的環(huán)境狀態(tài)信息如表1所示。

表1 輸入變量定義Table 1 Input variable definition

在真實的藍軍步兵進攻紅軍基地軍事行動中，作戰(zhàn)人員會依據(jù)環(huán)境的特點選取一條最優(yōu)的行動路線，模擬環(huán)境中將作戰(zhàn)智能體與最優(yōu)決策路線的距離歸一化為

[-1,1]，距離越小表明學習到的策略越好。

由于作戰(zhàn)智能體獲得的是多個不同類型的環(huán)境狀態(tài)數(shù)據(jù)，信息具有多樣性與復雜性，因此需要進行有效融合與處理，作為環(huán)境的狀態(tài)輸入。具體操作為：

（1）收集所有不同類型的具有價值的環(huán)境狀態(tài)數(shù)據(jù)。

（2）對收集到的環(huán)境狀態(tài)數(shù)據(jù)進行分析，篩選特征值，剔除不合理的數(shù)據(jù)，合并具有共同描述特征的數(shù)據(jù)。

（3）歸一化處理狀態(tài)特征值，便于神經(jīng)網(wǎng)絡(luò)的處理與學習。

（4）對經(jīng)處理后不同目標的狀態(tài)值進行組合，設(shè)置為Numpy中ndarray對象格式，作為輸入狀態(tài)。

2.3 作戰(zhàn)規(guī)則約束

在真實戰(zhàn)場環(huán)境下，藍軍步兵進攻紅軍軍事基地，為保證藍軍步兵的隱蔽性，在距離紅軍軍事基地較遠距離時（直線距離大于200 m），不得執(zhí)行射擊動作。戰(zhàn)場環(huán)境中，軍事障礙物不可穿越，藍軍作戰(zhàn)單位應當繞過障礙物，占據(jù)優(yōu)勢位置后對紅軍基地發(fā)動攻擊。為保證軍事決策模擬的真實性，作戰(zhàn)單位執(zhí)行射擊操作有射程限制，該軍事行動中限制為200 m。

2.4 輸出動作控制

作戰(zhàn)智能體具有高度的靈活性，可以全方位自由運動與射擊，解決了傳統(tǒng)智能軍事決策算法只能執(zhí)行一定離散動作的問題，極大提高了軍事決策模擬的真實性。同時，這也涉及到更為精確的動作控制，包括作戰(zhàn)智能體的運動方向、運動速度、射擊操作。變量定義如表2所示。

表2 輸出動作變量定義Table 2 Output action variable definition

3 獎勵設(shè)計

DDPG算法采用連續(xù)的動作空間，一個任務(wù)回合內(nèi)需要采取的動作空間很大，離散的獎勵函數(shù)在一定的動作范圍內(nèi)只能給出相同的獎勵值，無法對動作的細微變化進行精確有效的評價，使得模型難以收斂。

針對以上問題，本文設(shè)計了具有持續(xù)獎勵支持的連續(xù)性獎勵函數(shù)。獎勵函數(shù)如公式（1）所示：

式（1）中，(x,y)是作戰(zhàn)智能體的位置坐標，r是方向弧度值。當作戰(zhàn)智能體越過環(huán)境邊界或者與障礙物相撞時，獎勵值設(shè)置為-200，給予懲罰。當作戰(zhàn)智能體執(zhí)行射擊動作但未擊中目標，則累加獎勵值-100。為了引導作戰(zhàn)智能體更快地學習到最優(yōu)軍事決策策略，設(shè)計連續(xù)性函數(shù)引導作戰(zhàn)智能體到達預先設(shè)立的區(qū)域，距離值越小獲得的獎勵值越大。到達指定區(qū)域附近后，將射擊點與紅軍基地的距離設(shè)為獎勵函數(shù)，引導作戰(zhàn)智能體向紅軍基地位置進行射擊。持續(xù)性的獎勵刺激可以更加高效地引導智能體快速學習到最優(yōu)決策序列。該作戰(zhàn)任務(wù)的最終目標是將紅軍基地摧毀，給予獎勵值+200。

4 SD-DDPG算法

本文提出一個改進的DDPG算法——單模式訓練雙噪聲DDPG算法（Single-mode and Double-noise DDPG，SD-DDPG），該算法構(gòu)建一個允許任意數(shù)量agent的靈活框架，所有agent共享當前環(huán)境的相同狀態(tài)空間，且每個作戰(zhàn)agent具有相同的動作空間，采用基于優(yōu)先級的經(jīng)驗重放技術(shù)和混合雙噪聲，以及增加單訓練模式來改進DDPG算法。SD-DDPG算法對比DDPG算法在智能軍事決策模擬環(huán)境中有更快的收斂性和更高的穩(wěn)定性。

4.1 基于優(yōu)先級的經(jīng)驗重放技術(shù)

原始的DDPG算法引入了經(jīng)驗重放機制，使用經(jīng)驗重放緩沖區(qū)消除輸入經(jīng)驗中存在的相關(guān)性，然而，該經(jīng)驗重放機制基于存儲在重放緩沖區(qū)中的所有經(jīng)驗都具有同等重要性的設(shè)定，因此隨機地對一小批經(jīng)驗進行采樣來更新網(wǎng)絡(luò)。這種設(shè)定有違常理，當人們學會做某事時，獲得巨大回報的經(jīng)驗和非常成功的嘗試或慘痛的教訓會在學習的過程中不斷地出現(xiàn)在他們的記憶中，因此這些經(jīng)驗更有價值。

在大多數(shù)強化學習算法中，TD-error經(jīng)常被用來矯正Q(s,a)函數(shù)。TD-error的值作為估計值的修正值反映了agent可以從中學習到正確策略的程度。TD-error的值越大，表明對期望動作值的修正越積極，在這種情況下高TD-error的經(jīng)驗更有可能具有更高的價值，并且與非常成功的嘗試緊密聯(lián)系。此外，TD-error為負的情況與非常失敗的嘗試緊密聯(lián)系，通過對非常失敗經(jīng)驗的學習可以逐步使agent避免再做出錯誤的行為，這些不好的經(jīng)驗同樣具有很高的價值。選取TD-error作為評價經(jīng)驗價值的標準，對經(jīng)驗j計算TD-error如公式（2）所示：

式中，Q′(s t+1,a t+1,w)是w參數(shù)化的critic目標網(wǎng)絡(luò)。抽樣經(jīng)驗的概率定義如公式（3）所示：

式中，P(j)表示對經(jīng)驗j進行抽樣的概率，其中D j=表示第j個經(jīng)驗在經(jīng)驗緩沖池中的位置排序。參數(shù)α決定了優(yōu)先級的使用程度，抽樣概率的定義可以被視為在經(jīng)驗選擇過程中加入隨機因素的方法，這可以使得TD-error值比較低的樣本仍然有機會被重放，從而保證了經(jīng)驗抽樣的多樣性，防止神經(jīng)網(wǎng)絡(luò)過度擬合。但是由于對具有高TD-error經(jīng)驗的頻繁重放，無疑改變了樣本的分布，這很可能導致模型收斂到不同的值或者訓練不收斂，所以需要選擇重要性采樣，這樣可以確保每個樣本被選到的概率是不同的，且對梯度下降具有相同的影響。重要性采樣權(quán)重如公式（4）所示：

式中，S是經(jīng)驗緩沖池的大小，P(j)是采樣經(jīng)驗j的概率，β是一個超參數(shù)，用來控制基于優(yōu)先級經(jīng)驗緩沖池重放程度，如果β=1，代表完全抵消優(yōu)先級經(jīng)驗緩沖池對收斂結(jié)果的影響。

4.2 基于混合雙噪聲的探索策略

DDPG算法中添加噪聲的動作策略與學習策略相互獨立，即DDPG是確定性策略，而探索噪聲可以自行設(shè)定。

原始DDPG算法采用OU（Ornstein-Uhlenbeck）噪聲，OU過程是一種隨機過程，其微分形式如公式（5）所示：

其中，μ是均值，θ表示噪聲趨于平均值的速度，σ表示噪聲的波動程度。OU噪聲是時序相關(guān)的探索噪聲，即前一步的噪聲會對后一步的噪聲產(chǎn)生影響，且是馬爾科夫模式的。正是基于OU噪聲時序相關(guān)的特性，對于慣性系統(tǒng)的探索效率會更高。而DDPG作為連續(xù)性算法的代表，非常適用于慣性系統(tǒng)。

許多強化學習算法也經(jīng)常采用高斯噪聲，將強化學習算法中策略網(wǎng)絡(luò)的輸出動作作為均值，直接疊加高斯分布ε～Ν(0,σ2)，作為強化學習算法的探索策略。區(qū)別于OU噪聲時序相關(guān)性，高斯噪聲不會受到之前動作的影響，所以對于不具備時序相關(guān)的決策動作非常適用于高斯噪聲。

在基于改進DDPG算法的藍軍步兵進攻紅軍軍事基地智能決策行動中，作戰(zhàn)智能體具有三個決策動作，其中速度與方向的控制適用于慣性系統(tǒng)，采用OU噪聲可以提高作戰(zhàn)智能體在速度控制與方向選擇策略的探索效率，但是針對作戰(zhàn)智能體的射擊動作，由于射擊動作的執(zhí)行在時序上不具備相關(guān)性，即前一步的射擊動作不會對后一步是否采取射擊動作產(chǎn)生影響，因此采用OU噪聲則會降低射擊決策動作的探索效率。由于高斯噪聲具有獨立噪聲的特點，所以在射擊決策上采用高斯噪聲無疑是最好的選擇。所以本文引入了OU+Gaussian的混合雙噪聲來改進DDPG算法，提高算法在軍事模擬環(huán)境中的探索效率和收斂速度。后續(xù)實驗結(jié)果表明，采用混合雙噪聲的改進DDPG算法具有更快的收斂速度和更高的穩(wěn)定性。OU噪聲參數(shù)設(shè)定如表3所示。

表3 OU噪聲參數(shù)設(shè)定表Table 3 OU noise parameter setting table

表3中，μ代表噪聲的平均值，θ代表趨于平均值的速度，σ為噪聲的波動程度。

4.3 增加單訓練模式下的多智能體框架

直接將DDPG算法應用于具有多智能體的軍事決策環(huán)境中，算法將很難收斂，因此本文設(shè)計了增加單模式下的多智能體靈活框架。在本文設(shè)計的多智能體框架中，每個作戰(zhàn)智能體獨立分配一個改進型DDPG算法，每個作戰(zhàn)智能體擁有獨立的神經(jīng)網(wǎng)絡(luò)和基于優(yōu)先級的經(jīng)驗緩沖池。每個作戰(zhàn)智能體在與環(huán)境的交互中，接收全局的環(huán)境狀態(tài)信息，即將全局環(huán)境狀態(tài)作為Actor網(wǎng)絡(luò)的輸入，Critic網(wǎng)絡(luò)則獨立地對本智能體決策動作進行評價和訓練。

由于環(huán)境中同時存在多個作戰(zhàn)智能體，且依據(jù)時間步循環(huán)對每一個作戰(zhàn)智能體進行訓練，這會導致環(huán)境的動態(tài)變化，降低了算法的收斂速率和穩(wěn)定性，使算法難以收斂。針對以上問題，本文提出了增加單模式下的多智能體框架。即在多智能體框架中加入單模式控制模塊，對每一個作戰(zhàn)智能體在特定時間步內(nèi)增加單訓練模式。單訓練模式下，算法指定的單作戰(zhàn)智能體獨立地與環(huán)境交互，學習決策策略，其他作戰(zhàn)智能體臨時進入休眠狀態(tài)，不會對環(huán)境產(chǎn)生影響。退出單訓練模式，則多個智能體同時對環(huán)境進行探索，學習多智能體協(xié)作策略。增加了單模式的多智能體框架，可以大幅提高算法收斂的穩(wěn)定性和速率，既保證了多智能體間可以學習到一定的協(xié)作策略，又可以使每個作戰(zhàn)智能體具有一定的獨立性。

在藍軍步兵進攻紅軍基地智能決策行動中，SDDDPG算法可以穩(wěn)定且高效的收斂。SD-DDPG框架結(jié)構(gòu)如圖3所示。

圖3 SD-DDPG框架圖Fig.3 SD-DDPG frame diagram

5 實驗結(jié)果與仿真

本文采用自主研發(fā)的基于Unity的智能軍事決策模擬環(huán)境作為訓練平臺，該平臺具有高度的仿真性和靈活性，采用三維模式構(gòu)建，定義了一些通用的接口，通過這些接口可以自由設(shè)定滿足特定軍事任務(wù)的仿真環(huán)境，并且大部分經(jīng)典算法都可以在該環(huán)境中進行測試。深度強化學習中，將累計獎勵值作為評價深度強化學習算法收斂性與穩(wěn)定的標準。

5.1 連續(xù)性智能軍事決策

目前很少有研究將DDPG算法應用于智能軍事決策領(lǐng)域。由于DDPG具有強化的深度神經(jīng)網(wǎng)絡(luò)函數(shù)擬合能力和較好的廣義學習能力，且其決策動作空間具有連續(xù)性特點。本文選擇DDPG算法作為智能軍事決策的基礎(chǔ)算法。

DQN算法在離散行為方面取得了很大的成功，但是很難實現(xiàn)高維的連續(xù)動作。此外，如果簡單地將操作離散化會過濾掉有關(guān)操作域結(jié)構(gòu)的重要信息，所以離散型的強化學習算法無法用于更為精確的模擬智能軍事決策行為。圖4是DQN算法在智能軍事決策模擬圖。

圖4 應用DQN的離散軍事決策模擬圖Fig.4 Discrete military decision simulation chart based on DQN

DQN算法在藍軍步兵進攻紅軍基地軍事決策中，只能輸入離散的動作來適應網(wǎng)格化的地圖環(huán)境，雖然算法得到了收斂，但是網(wǎng)格化的地圖環(huán)境以及離散的動作控制大大降低了軍事決策模擬難度，忽略了真實軍事環(huán)境下作戰(zhàn)單位執(zhí)行動作的高維性?；贒DPG算法的改進算法則可以依據(jù)更強大的神經(jīng)網(wǎng)絡(luò)以及連續(xù)的動作控制，更加真實的對藍軍步兵智能軍事決策行為進行模擬，圖5是基于SD-DDPG算法的連續(xù)型軍事決策模擬圖。

圖5 基于SD-DDPG算法的連續(xù)型軍事決策模擬圖Fig.5 Continuous military decision simulation chart based on SD-DDPG algorithm

實驗結(jié)果表明，基于SD-DDPG算法的智能軍事決策能夠穩(wěn)定且高效地執(zhí)行連續(xù)型動作控制，每個作戰(zhàn)智能體在連續(xù)型獎勵函數(shù)的引導下，快速且穩(wěn)定地繞過軍事障礙物到達指定隱蔽區(qū)域，之后智能執(zhí)行射擊動作，進攻紅軍軍事基地，快速完成藍軍步兵進攻紅軍軍事基地作戰(zhàn)任務(wù)。對比離散型DQN算法，SD-DDPG算法應用于智能軍事決策行為更具真實性與高效性，克服了目前在軍事決策領(lǐng)域只能網(wǎng)格化作戰(zhàn)環(huán)境與執(zhí)行簡單離散動作的弊端，是連續(xù)性動作控制在智能軍事決策領(lǐng)域的一次全新嘗試，為后續(xù)探索智能軍事決策領(lǐng)域提供了全新的視野與方法。

5.2 SD-DDPG算法的性能測試

SD-DDPG算法是DDPG算法的改進算法，通過引入基于優(yōu)先級的經(jīng)驗重放技術(shù)，解決了原始經(jīng)驗緩沖池中所有經(jīng)驗都具有同等重要性的弊端，通過加入OU與Gaussian混合雙噪聲來提高算法的探索能力，最后在多智能體框架下增加單訓練模式，提高了多智能體與環(huán)境交互的穩(wěn)定性，使算法能夠快速且高效地收斂。

以DDPG算法作為基準算法，加入OU+Gaussian混合雙噪聲后，使決策動作的探索更加高效，算法收斂的穩(wěn)定性有一定程度的提高。

圖6在不同噪聲環(huán)境下通過迭代訓練300回合（episode）進行對比，每個回合最大訓練次數(shù)為5 000次。實驗結(jié)果表明，對速度控制和方向控制疊加OU噪聲，以及對射擊動作控制疊加Gaussian噪聲后，DDPG算法在該軍事決策模擬環(huán)境下具有更高的穩(wěn)定性。

圖6 OU噪聲與OU+Gaussian混合噪聲的獎勵對比Fig.6 Comparison of OU noise and OU+Gaussian mixed noise

針對多智能體框架下，由于環(huán)境的動態(tài)變化而導致的算法不穩(wěn)定且難以收斂的問題，本文增加了單訓練模式，圖7表示了增加單模式下的DDPG（Single-mode DDPG，S-DDPG）算法收斂速度與收斂穩(wěn)定性都明顯提升。

圖7 增加單模式下DDPG算法與原始算法獎勵對比Fig.7 Comparison of DDPG algorithm and original algorithm in single-mode

為最終驗證SD-DDPG算法的先進性，本文選取Actor-Critic（演員-評論家）[23]、DDPG、PER-DDPG（基于優(yōu)先級經(jīng)驗重放技術(shù)的DDPG）[22]等3種連續(xù)性深度強化學習算法與之比較，結(jié)果如圖8所示。

圖8 SD-DDPG算法與其他算法獎勵對比Fig.8 Comparison between SD-DDPG algorithm and other algorithms

Actor-Critic算法由actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)兩部分構(gòu)成，可以執(zhí)行連續(xù)的控制操作，也是DDPG算法的基本框架。PER-DDPG算法對原始算法進行了改進，使其具備了優(yōu)先級的經(jīng)驗回放，能夠更加高效地從經(jīng)驗中學習策略。圖8中對比結(jié)果表明，本文采取的SD-DDPG算法比其他連續(xù)性算法具有更高的回合獎勵和更快的收斂穩(wěn)定性。

綜上所述，在藍軍步兵進攻紅軍軍事基地智能軍事決策環(huán)境中，設(shè)定的6名作戰(zhàn)智能體在SD-DDPG算法的指揮控制下，能夠自主規(guī)劃最佳路徑，且在合適的時機下對紅軍基地實施火力打擊，以最快的速度完美地完成了作戰(zhàn)任務(wù)。SD-DDPG算法的超參數(shù)設(shè)置如表4所示。

表4 SD-DDPG算法超參數(shù)Table 4 Super parameter of SD-DDPG algorithm

表4中超參數(shù)數(shù)值的選擇依據(jù)反復實驗與經(jīng)驗所得。批尺寸的大小一般為8、16、32、64等，大的批尺寸能夠使模型更準確地朝著極值所在的方向更新，但批尺寸的選擇也會受到計算機內(nèi)存大小的限制，通過實驗并結(jié)合計算機硬件實際條件，選擇批尺寸大小為32。折扣系數(shù)反映了對未來獎勵的期望程度，藍軍步兵進攻紅軍基地軍事行動更關(guān)注于最終的戰(zhàn)果，因此設(shè)置折扣系數(shù)為0.99。圖7中算法在150個回合后趨于穩(wěn)定，圖6與圖8表明算法在250個回合后趨于穩(wěn)定，因此選擇回合數(shù)為300以及每回合最大步數(shù)為5 000可以保證算法在最短時間內(nèi)收斂，且不會因為過多的回合訓練造成過擬合現(xiàn)象。噪聲的探索次數(shù)根據(jù)回合數(shù)與每回合最大步數(shù)得出。經(jīng)驗緩沖池存儲供網(wǎng)絡(luò)訓練的樣本數(shù)據(jù)，過小的緩沖池必然會使一部分經(jīng)驗被丟棄，而過大的緩沖池又會受到計算機內(nèi)存與性能的限制，通過多次實驗，選擇緩沖池大小為350 000。SD-DDPG算法通過軟更新來更新目標網(wǎng)絡(luò)參數(shù)，通常設(shè)定目標網(wǎng)絡(luò)超參數(shù)為0.001。alpha與beta參數(shù)分別控制優(yōu)先級經(jīng)驗重放程度與重要性采樣程度，通過權(quán)衡攻擊性與魯棒性[24]，確定alpha與beta的數(shù)值為0.6與0.4。

學習率的選擇是所有超參數(shù)調(diào)整中最為重要的，它會對模型的收斂性與學習速率產(chǎn)生重要影響。LRA與LRC的選擇通常為0.01、0.001、0.000 1等。選擇較大學習率可能導致模型不收斂，而選擇較小學習率雖然會提高模型收斂的概率，但會影響模型的收斂速度。SD-DDPG算法中，critic網(wǎng)絡(luò)對actor網(wǎng)絡(luò)進行評價，通常需要更快的學習率。圖9表明，學習率參數(shù)選擇0.001數(shù)量級時，模型難以收斂，而LRA與LRC分別為0.000 1與0.000 2具有更快的收斂速度與穩(wěn)定性。

圖9 學習率參數(shù)對模型性能影響Fig.9 Influence of learning rate parameters on model performance

6 結(jié)語

本文以DDPG算法為基礎(chǔ)，提出了SD-DDPG算法并應用于解決智能軍事決策問題。通過引入基于優(yōu)先級的經(jīng)驗重放技術(shù)、混合雙噪聲以及增加單訓練模式來提高算法在軍事決策問題上的收斂穩(wěn)定性和收斂速度，是連續(xù)性軍事決策智能生成的一次成功探索。實驗結(jié)果表明，SD-DDPG算法具有更高的回合獎勵、更快的收斂速度和更好的穩(wěn)定性，可以有效地提升智能軍事決策效率。但SD-DDPG算法弱化了多智能體間的交流協(xié)作，只能實現(xiàn)一定程度的交流協(xié)作能力，它更注重任務(wù)的快速完成。下一步將拓展研究范圍，加強對以多智能體之間的通信為基礎(chǔ)的多agent算法研究。