徐志雄 王鋒

（陸軍邊海防學(xué)院，陜西 西安710100）

1 引言

近年來，DARPA 發(fā)布游戲AI 技術(shù)征詢啟事并資助《星際爭(zhēng)霸》游戲AI 研究，美國(guó)海軍陸戰(zhàn)隊(duì)研發(fā)“雅典娜”戰(zhàn)爭(zhēng)游戲，蘭德公司探索人工智能輔助任務(wù)規(guī)劃，從中可以看出，美軍正在關(guān)注智能博弈對(duì)抗技術(shù)的發(fā)展，為獲取未來智能化戰(zhàn)爭(zhēng)中的決策優(yōu)勢(shì)提供理論支撐和技術(shù)儲(chǔ)備。這對(duì)我軍發(fā)展軍事人工智能具有重要的借鑒意義。國(guó)內(nèi)采用智能方法進(jìn)行指揮決策問題研究也取得很多成果。文獻(xiàn)［1］［2］基于模型分析和仿真評(píng)估研制了聯(lián)合作戰(zhàn)方案生成與評(píng)估系統(tǒng)、空軍戰(zhàn)役智能決策支持系統(tǒng)。文獻(xiàn)［3］～［5］從信息、決策、資源和結(jié)構(gòu)四個(gè)方面對(duì)方案進(jìn)行建模，可以對(duì)方案執(zhí)行效果實(shí)時(shí)跟蹤。文獻(xiàn)［6］基于多Agent 智能技術(shù)和行動(dòng)方案生成專家系統(tǒng)開發(fā)了作戰(zhàn)計(jì)劃協(xié)同制定系統(tǒng)。文獻(xiàn)［7］研究了制導(dǎo)航彈的任務(wù)規(guī)劃系統(tǒng)，提出了一種任務(wù)規(guī)劃系統(tǒng)的設(shè)計(jì)方案，但并未對(duì)該方案予以實(shí)現(xiàn)和驗(yàn)證。文獻(xiàn)［8］提出了基于陸軍指揮所模型的作戰(zhàn)計(jì)劃獨(dú)立生成方法，研究了基于大數(shù)據(jù)的軍事情報(bào)分析與服務(wù)系統(tǒng)體系結(jié)構(gòu)。文獻(xiàn)［9］開發(fā)了人工智能程序“CASIA-先知v1.0”，利用知識(shí)和數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)架構(gòu)，構(gòu)建了戰(zhàn)術(shù)團(tuán)隊(duì)的智能作戰(zhàn)行為模型。

目前，國(guó)內(nèi)大部分研究工作采用有監(jiān)督或半監(jiān)督的機(jī)器學(xué)習(xí)方法。然而當(dāng)前我軍缺乏實(shí)戰(zhàn)數(shù)據(jù)，且作戰(zhàn)裝備訓(xùn)練數(shù)據(jù)數(shù)量有限，這一現(xiàn)實(shí)條件限制了以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)方法在作戰(zhàn)實(shí)體行為建模問題上的進(jìn)一步應(yīng)用。相比之下，以強(qiáng)化學(xué)習(xí)方法為代表的人工智能技術(shù)在作戰(zhàn)實(shí)體博弈行為建模應(yīng)用方面有了長(zhǎng)足發(fā)展，為下一步突破作戰(zhàn)實(shí)體智能決策的“瓶頸”提供了可能。

2 基于加權(quán)梯度更新的無(wú)模型元深度強(qiáng)化學(xué)習(xí)方法

2.1 算法設(shè)計(jì)思路

基于深度強(qiáng)化學(xué)習(xí)方法的智能博弈對(duì)抗是利用以深度強(qiáng)化學(xué)習(xí)為代表的智能技術(shù)，訓(xùn)練出具有認(rèn)知能力的智能體，可對(duì)環(huán)境進(jìn)行感知與認(rèn)知，利用規(guī)則和學(xué)到的經(jīng)驗(yàn)知識(shí)，通過與對(duì)手的對(duì)抗性博弈，實(shí)現(xiàn)對(duì)最優(yōu)行為的選擇。

作戰(zhàn)博弈對(duì)抗過程中，基于強(qiáng)化學(xué)習(xí)方法的指揮作戰(zhàn)實(shí)體，在參與博弈過程中不斷試錯(cuò)，與戰(zhàn)場(chǎng)環(huán)境持續(xù)交互，通過行動(dòng)探索學(xué)習(xí)決策經(jīng)驗(yàn)，從而循環(huán)更新自身策略網(wǎng)絡(luò)來不斷調(diào)整其作戰(zhàn)行動(dòng)。強(qiáng)化學(xué)習(xí)訓(xùn)練得到的策略網(wǎng)絡(luò)，可以理解為作戰(zhàn)人員決策經(jīng)驗(yàn)知識(shí)的隱性表達(dá)，是指揮決策思維過程的表征。然而，在此過程中還存在諸多難題。傳統(tǒng)深度強(qiáng)化學(xué)習(xí)模型在解決博弈對(duì)抗決策問題時(shí)，初始策略模型是從隨機(jī)初始化后的網(wǎng)絡(luò)上開始訓(xùn)練的，由于復(fù)雜戰(zhàn)場(chǎng)環(huán)境下的狀態(tài)和動(dòng)作維度高，采樣低效，且訓(xùn)練時(shí)作戰(zhàn)行動(dòng)的效果反饋稀疏或反饋不準(zhǔn)確，即在采取一定的戰(zhàn)術(shù)決策后，無(wú)法對(duì)當(dāng)前決策進(jìn)行及時(shí)、準(zhǔn)確的評(píng)價(jià)，需要進(jìn)行到一定階段后，才會(huì)得到一個(gè)整體的反饋信息。這導(dǎo)致基于傳統(tǒng)深度強(qiáng)化學(xué)習(xí)方法的初始策略模型的優(yōu)化存在冷啟動(dòng)問題。針對(duì)這一問題，提出基于歷史行動(dòng)軌跡梯度的元深度強(qiáng)化學(xué)習(xí)方法，通過為初始策略模型提供一種高效的網(wǎng)絡(luò)初始化辦法來解決冷啟動(dòng)問題，提高學(xué)習(xí)效率和模型性能。

元學(xué)習(xí)的最新進(jìn)展為深度強(qiáng)化學(xué)習(xí)方法提供了一種新的學(xué)習(xí)方式。通過在任務(wù)分布上進(jìn)行訓(xùn)練，學(xué)習(xí)元知識(shí)，元深度強(qiáng)化學(xué)習(xí)方法可以憑借很少的交互數(shù)據(jù)解決新的任務(wù)。目前基于梯度的元學(xué)習(xí)方法不僅在強(qiáng)化學(xué)習(xí)領(lǐng)域取得了很大成功，而且在監(jiān)督學(xué)習(xí)任務(wù)上也獲得了顯著成效。

基于梯度的元學(xué)習(xí)方法的核心思想是通過利用多個(gè)歷史行動(dòng)軌跡中的梯度特征學(xué)習(xí)來得到網(wǎng)絡(luò)初始化參數(shù)和初始化模型，以便策略模型能夠高效地解決新任務(wù)［10～15］。然而，目前已經(jīng)提出的基于梯度的元深度強(qiáng)化學(xué)習(xí)中普遍存在的問題是，訓(xùn)練得到的初始的基于梯度的網(wǎng)絡(luò)模型可能會(huì)偏向于某些任務(wù)，特別是元訓(xùn)練階段性能較好的一些任務(wù)。在這種情況下，最終訓(xùn)練得到的實(shí)際上是有偏的基于梯度的網(wǎng)絡(luò)模型。有偏的初始化模型對(duì)新任務(wù)的泛化能力差，特別是那些與元訓(xùn)練任務(wù)有較大差別的新任務(wù)。針對(duì)這一問題，本文提出了一種通用的元權(quán)值（Meta Weight Learning，MWL）學(xué)習(xí)方法，通過直接最小化不同任務(wù)間的性能差異來訓(xùn)練一個(gè)無(wú)偏的初始網(wǎng)絡(luò)模型，使基于梯度的元深度強(qiáng)化學(xué)習(xí)方法對(duì)新的任務(wù)有更強(qiáng)的泛化能力，同時(shí)提供一種更加高效的網(wǎng)絡(luò)初始化辦法來解決策略模型訓(xùn)練前期冷啟動(dòng)問題，提高學(xué)習(xí)效率和模型性能。

本文提出的基于元權(quán)值學(xué)習(xí)的無(wú)模型元學(xué)習(xí)算法（Meta Weight Learning based Model-Agnostic Meta-Learning，MWL-MAML）的網(wǎng)絡(luò)架構(gòu)是在基于梯度的無(wú)模型元學(xué)習(xí)方法基礎(chǔ)上，結(jié)合元權(quán)值學(xué)習(xí)機(jī)制構(gòu)建而成。此外，本文還設(shè)計(jì)了一種端到端的訓(xùn)練方法，來高效地訓(xùn)練權(quán)值和網(wǎng)絡(luò)模型初始化參數(shù)。

2.2 無(wú)模型元學(xué)習(xí)算法

本文以無(wú)模型元學(xué)習(xí)（Model-Agnostic Meta-Learning，MAML）［16］為視角，重點(diǎn)研究元深度強(qiáng)化學(xué)習(xí)的目標(biāo)。MAML 的目標(biāo)是在從策略πθ下采集得到的K條軌跡中學(xué)習(xí)之后找到一個(gè)策略πφ，該策略能夠最小化新任務(wù)分布D（T）上的預(yù)期損失。具體來說，MAML 通過使用損失函數(shù)的梯度來優(yōu)化策略πφ的參數(shù)φ：

式（1）中，θ，φ分別代表策略πθ、策略πφ的參數(shù)，β是元學(xué)習(xí)率，表示K條軌跡的平均損失函數(shù)。

2.3 基于元權(quán)值學(xué)習(xí)的無(wú)模型元學(xué)習(xí)方法

MAML 算法更新目標(biāo)函數(shù)中的平均方法實(shí)際上并不能解決策略模型在某些任務(wù)上過優(yōu)化的問題，訓(xùn)練最終得到的仍然是一個(gè)有偏的初始化網(wǎng)絡(luò)模型［17］。

為了解決這一問題，本文提出了一種加權(quán)梯度更新機(jī)制來最小化初始網(wǎng)絡(luò)模型對(duì)任意給定任務(wù)的偏差。

具體來說，給每個(gè)軌跡一個(gè)梯度更新的權(quán)重。為了滿足權(quán)重歸一化的條件，假設(shè)第k條軌跡的權(quán)重為：

MAML 算法中目標(biāo)函數(shù)更新為：

本文通過梯度更新權(quán)重代替人工設(shè)置權(quán)重。權(quán)重的更新目標(biāo)是將w的值設(shè)置為在下一次迭代中使目標(biāo)函數(shù)的值最小化的值w*。在上一時(shí)間步的權(quán)重值基礎(chǔ)上執(zhí)行一個(gè)梯度下降步驟，梯度計(jì)算為：

因此，下一時(shí)刻權(quán)值更新估計(jì)為：

式（6）中，δ是權(quán)值w的學(xué)習(xí)率。需要注意的是，梯度的計(jì)算要根據(jù)批次測(cè)試集上的損失大小，依據(jù)更新目標(biāo)函數(shù)來完成。具體地說，由MAML訓(xùn)練的初始網(wǎng)絡(luò)模型可能偏向于某些任務(wù)，并且可能無(wú)法有效地解決與元訓(xùn)練任務(wù)有很大偏離的新任務(wù)，而本文提出的MWL-MAML 算法通過對(duì)不同訓(xùn)練任務(wù)的軌跡在更新時(shí)賦予權(quán)值來提高對(duì)不同任務(wù)的適應(yīng)性。MAML 和MWL-MAML 算法的更新過程比較如圖1 所示。

圖1 MAML 和MWL-MAML 方法參數(shù)更新過程比較

MWL-MAML 的訓(xùn)練思想是對(duì)初始網(wǎng)絡(luò)模型進(jìn)行無(wú)偏訓(xùn)練，通過直接最小化模型在元訓(xùn)練階段中不同任務(wù)上損失的不平衡性，使得元學(xué)習(xí)器能夠?qū)W習(xí)一個(gè)無(wú)偏的初始網(wǎng)絡(luò)模型，而不會(huì)在某些特定的任務(wù)上產(chǎn)生過優(yōu)化問題。MWL-MAML 算法的端到端的訓(xùn)練方法見表1。

表1 MWL-MAML 算法流程

MAML 旨在找到對(duì)任務(wù)變化敏感的模型參數(shù)，當(dāng)模型參數(shù)在訓(xùn)練任務(wù)的損失梯度方向上改變時(shí)，參數(shù)的微小變化將對(duì)任何從D（T）中采樣的任務(wù)產(chǎn)生很大的影響，MWL-MAML 的目標(biāo)就是增強(qiáng)這種模型參數(shù)的敏感性，并在參數(shù)空間中找到一組參數(shù)，使得模型不僅能夠適應(yīng)不同任務(wù)，而且能夠高效地解決所有任務(wù)（使用很少的交互數(shù)據(jù)）。

本文提出的MWL-MAML 算法只使用了學(xué)習(xí)過程中采集的軌跡數(shù)據(jù)，并沒有為MAML 算法中引入額外的需要精調(diào)的超參數(shù)，這確保了提出的方法能夠完全基于歷史軌跡來自動(dòng)調(diào)整學(xué)習(xí)方向，一定程度上減少了人工調(diào)整帶來的不確定性。通過從歷史軌跡的梯度特征中最大化提煉知識(shí)來調(diào)整未來的學(xué)習(xí)方向，提高學(xué)習(xí)效率。

3 無(wú)人化裝備博弈對(duì)抗驗(yàn)證

本節(jié)選用無(wú)人坦克作戰(zhàn)行動(dòng)序列優(yōu)化問題進(jìn)行實(shí)驗(yàn)測(cè)試。以國(guó)際公測(cè)平臺(tái)Robocode 為實(shí)驗(yàn)平臺(tái)，分別利用多種基于學(xué)習(xí)算法的智能坦克（紅方）和基于專家系統(tǒng)的規(guī)則坦克（藍(lán)方）進(jìn)行對(duì)戰(zhàn)，采用2V2 無(wú)人坦克對(duì)戰(zhàn)模式，來驗(yàn)證本文所提方法在博弈對(duì)抗任務(wù)中的有效性和健壯性。

3.1 對(duì)抗場(chǎng)景

Robocode［18～20］是由美國(guó)IBM 發(fā)布的先進(jìn)仿真實(shí)驗(yàn)平臺(tái)。在Robocode 中，無(wú)人坦克分為3 個(gè)部件：機(jī)身（Vehicle）、炮塔（Gun）、雷達(dá)（Radar）。

仿真對(duì)戰(zhàn)場(chǎng)景為1 200×1 200 單位像素的2D環(huán)境，坦克自身大小為36×45 個(gè)單位像素。

Robocode 中一場(chǎng)戰(zhàn)斗開始時(shí)，每一個(gè)機(jī)器人都能得到100 個(gè)單位能量，在不同的狀態(tài)下，如撞墻、撞到機(jī)器人、打中敵人和被敵人打中時(shí)，機(jī)器人的能量都會(huì)發(fā)生改變，而且不同的狀態(tài)都有不同的能量轉(zhuǎn)換規(guī)則。

（1）發(fā)射炮彈能量大?。禾箍藱C(jī)器人在開始時(shí)能以不同的能量發(fā)射炮彈，炮彈能量在0.1～3 之間。

（3）當(dāng)坦克機(jī)器人被敵人炮彈打中時(shí)：如果敵人炮彈的能量小于等于1，能量損傷度計(jì)算公式為4×power；如果敵人炮彈能量大于1，則能量損傷度計(jì)算方式為4× power +2×（power-1）。

（4）本文為每回合每輛坦克設(shè)置的炮彈數(shù)量為100。

每個(gè)回合開始時(shí)，紅藍(lán)雙方坦克位置隨機(jī)分配，雙方坦克能量值均為100，若其中一方坦克能量值低于0，則坦克被摧毀，回合結(jié)束并重新初始化開始下一輪。

3.2 紅藍(lán)對(duì)抗智能設(shè)計(jì)

紅藍(lán)無(wú)人坦克對(duì)抗模式包含了2V2 紅藍(lán)坦克協(xié)同對(duì)戰(zhàn)模式。用2V2 坦克協(xié)同對(duì)戰(zhàn)模式來驗(yàn)證基于歷史行動(dòng)軌跡梯度的策略模型優(yōu)化方法的有效性。采用的學(xué)習(xí)算法有近端策略優(yōu)化（PPO）算法、MAML（基于探索的無(wú)模型元學(xué)習(xí)）算法、EMAML 算法以及MWL-MAML 算法。藍(lán)方坦克為一系列基于專家系統(tǒng)的規(guī)則坦克的集合，每次對(duì)抗時(shí)，敵方坦克從集合中隨機(jī)選取一種規(guī)則坦克進(jìn)行對(duì)戰(zhàn)，集合中的坦克有Walls 坦克、Fire 坦克、Spinbot 坦克、Crazy 坦克以及JuniorRobot 坦克。坦克對(duì)抗設(shè)計(jì)見表2。

表2 坦克對(duì)抗設(shè)計(jì)

Walls 坦克運(yùn)動(dòng)的基本規(guī)則是躲藏在戰(zhàn)場(chǎng)邊緣進(jìn)行隨機(jī)移動(dòng)，雷達(dá)對(duì)戰(zhàn)場(chǎng)進(jìn)行分區(qū)域掃描，一旦掃描到敵方坦克，獲取當(dāng)前幀的敵人位置和自己位置以及射擊的角度、子彈的速度，當(dāng)有足夠多的數(shù)據(jù)后，根據(jù)當(dāng)前的位置和角度，獲取最有可能打中敵方的攻擊方式。Fire 坦克的對(duì)戰(zhàn)策略是在對(duì)戰(zhàn)前期保持車身靜止不動(dòng)，同時(shí)雷達(dá)和炮管協(xié)同轉(zhuǎn)動(dòng)，轉(zhuǎn)動(dòng)范圍是0～360°，一旦發(fā)現(xiàn)目標(biāo)就采取攻擊，發(fā)射炮彈，當(dāng)自身受到攻擊時(shí)，立刻進(jìn)行隨機(jī)移動(dòng)。Spinbot 坦克的對(duì)戰(zhàn)策略是始終進(jìn)行圓周運(yùn)動(dòng)，如果運(yùn)動(dòng)過程中受到攻擊，立即變化圓周運(yùn)動(dòng)的方向和半徑大小，同時(shí)雷達(dá)和炮管協(xié)同轉(zhuǎn)動(dòng)，轉(zhuǎn)動(dòng)范圍是0～180°，一旦發(fā)現(xiàn)目標(biāo)立即采取攻擊。Crazy 坦克的對(duì)戰(zhàn)策略是在對(duì)戰(zhàn)的過程中一直保持高速的隨機(jī)運(yùn)動(dòng)，同時(shí)保持機(jī)身的加速度時(shí)刻處于變化之中，同時(shí)雷達(dá)和炮管協(xié)同轉(zhuǎn)動(dòng)，發(fā)現(xiàn)目標(biāo)時(shí)立即射擊。JuniorRobot 坦克的對(duì)戰(zhàn)策略是保持機(jī)身始終以蹺蹺板的運(yùn)動(dòng)方式移動(dòng)，當(dāng)它看不到任何敵人坦克時(shí)，會(huì)保持在機(jī)身左右兩端旋轉(zhuǎn)雷達(dá)，當(dāng)發(fā)現(xiàn)敵方坦克時(shí)，立刻轉(zhuǎn)動(dòng)炮管開火。

3.3 算法參數(shù)設(shè)置

對(duì)于MWL-MAML 方法，超參數(shù)的具體設(shè)置見表3。

表3 MWL-MAML 方法中超參數(shù)設(shè)置

此外，PPO，MAML，E-MAML 方法的超參數(shù)設(shè)置見文獻(xiàn)［21］～［23］。

訓(xùn)練和測(cè)試時(shí)，MWL-MAML 算法坦克、EMAML 算法坦克、MAML 算法坦克、PPO 算法坦克分別與基于專家系統(tǒng)的規(guī)則坦克進(jìn)行對(duì)戰(zhàn)。每次從集合中隨機(jī)選取一種規(guī)則坦克，每種對(duì)戰(zhàn)設(shè)置為50 000 回合，以100 回合為一個(gè)學(xué)習(xí)周期，共有500個(gè)學(xué)習(xí)周期，每個(gè)學(xué)習(xí)周期結(jié)束后記錄一次算法坦克得分。每個(gè)學(xué)習(xí)周期結(jié)束后，清零雙方得分，開始下一個(gè)學(xué)習(xí)周期的得分統(tǒng)計(jì)。

3.4 仿真結(jié)果分析

根據(jù)前面設(shè)置的實(shí)驗(yàn)場(chǎng)景進(jìn)行實(shí)驗(yàn)。坦克總得分由坦克存活得分和炮彈擊中得分相加而來，每一個(gè)學(xué)習(xí)周期記錄一次坦克總得分。綜合四種算法實(shí)驗(yàn)結(jié)果，得到四種算法坦克得分結(jié)果如圖2 所示。

圖2 四種算法坦克得分對(duì)比

由圖2 可知，四種算法中，MWL-MAML 算法的最終平均得分最高。收斂速度方面，MWLMAML 算法和MAML 算法略高于E-MAML 算法，明顯快于PPO 算法。表4 記錄了四種學(xué)習(xí)算法收斂后的平均得分和標(biāo)準(zhǔn)差。MWL-MAML 算法相比PPO 算法、MAML 算法、E-MAML 算法而言，平均得分提高了48.7%，14.1%，7.1%；在算法穩(wěn)定性上，標(biāo)準(zhǔn)差分別減小了22.8%，10.8%，4.5%?？梢钥闯?，基于歷史行動(dòng)軌跡梯度的策略模型優(yōu)化方法有效地提高了基于學(xué)習(xí)算法坦克對(duì)抗策略的勝率，即使在2V2 坦克對(duì)戰(zhàn)想定中，狀態(tài)和動(dòng)作空間維度急劇增大的情況下，仍然能夠提升學(xué)習(xí)效率和算法性能。

表4 2V2 坦克對(duì)戰(zhàn)想定下算法平均得分和標(biāo)準(zhǔn)差

圖3 為2V2 坦克對(duì)戰(zhàn)想定下四種學(xué)習(xí)算法的臨界差分圖（Critical Difference Diagrams），可以看出，MWL-MAML 的平均得分確實(shí)高于其他比較算法。

圖3 四種學(xué)習(xí)算法平均得分臨界差分圖

仿真顯示，在紅方與藍(lán)方坦克對(duì)戰(zhàn)時(shí)（選取Crazy 坦克作為對(duì)手進(jìn)行測(cè)試），紅方坦克最終學(xué)習(xí)得到了兩種博弈對(duì)抗策略：當(dāng)紅方坦克處于對(duì)抗優(yōu)勢(shì)時(shí)（能量值較高且彈藥充足），紅方兩輛坦克能夠迅速針對(duì)敵方一輛坦克采取前后夾攻的策略進(jìn)行攻擊；當(dāng)紅方坦克處于對(duì)抗弱勢(shì)時(shí)（能量值較低或彈藥缺乏），紅方兩輛坦克能夠主動(dòng)找到戰(zhàn)場(chǎng)邊緣處進(jìn)行防守，同時(shí)雷達(dá)能夠分區(qū)域掃描，協(xié)同防御藍(lán)方坦克。

綜合以上實(shí)驗(yàn)結(jié)果表明，基于歷史行動(dòng)軌跡梯度的策略模型優(yōu)化方法進(jìn)一步提高了深度強(qiáng)化學(xué)習(xí)方法的健壯性和學(xué)習(xí)效率。該方法對(duì)優(yōu)化無(wú)人坦克博弈對(duì)抗策略具有重要作用，坦克作戰(zhàn)能力得到有效提升。

4 結(jié)束語(yǔ)

本文提出了一種基于元權(quán)值學(xué)習(xí)的無(wú)模型元學(xué)習(xí)算法，用少量交互數(shù)據(jù)就能高效訓(xùn)練新任務(wù)，提升對(duì)新任務(wù)的泛化能力。同時(shí)，引入了端到端的訓(xùn)練方法，直接通過從多個(gè)歷史行動(dòng)軌跡的梯度特征，來學(xué)習(xí)訓(xùn)練初始網(wǎng)絡(luò)參數(shù)，優(yōu)化初始策略模型，解決模型訓(xùn)練存在的冷啟動(dòng)問題。實(shí)驗(yàn)結(jié)果表明，該算法提升了模型前期采樣效率，縮短了訓(xùn)練時(shí)長(zhǎng)，同時(shí)提升了模型最終性能。