OODA-L模式下的智能無人集群作戰(zhàn)仿真建?？蚣?/h1>
2021-08-24 03:17鄒立巖張明智柏俊汝
國防科技大學(xué)學(xué)報 2021年4期
鄒立巖，張明智，柏俊汝
(國防大學(xué) 聯(lián)合作戰(zhàn)學(xué)院， 北京 100091)
隨著人工智能(Artificial Intelligence, AI)技術(shù)的不斷發(fā)展，智能無人裝備將成為未來智能化戰(zhàn)爭中的新興作戰(zhàn)力量。與此同時，隨著分布式作戰(zhàn)概念的提出和發(fā)展[1]，以一定數(shù)量的智能無人裝備組成無人集群來遂行特定的作戰(zhàn)任務(wù)，被認為是未來智能化戰(zhàn)爭的典型作戰(zhàn)樣式，也是當前軍事理論研究的前沿和熱點問題。由于目前智能無人集群作戰(zhàn)尚處于概念研究階段，因此采用建模仿真方法率先對這一新型作戰(zhàn)樣式進行前瞻性和探索性研究，可以為未來智能無人集群作戰(zhàn)力量的發(fā)展和運用提供理論支撐，具有重要的現(xiàn)實意義。本文首先分析了智能無人仿真實體的智能特性需求，在此基礎(chǔ)上提出一種將學(xué)習(xí)過程顯性化的OODA-L模式及其擴展形式；然后給出了智能無人仿真實體的總體描述；最后提出智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)。上述內(nèi)容，旨在從高層上探討如何對具有較高自主能力的智能無人集群進行作戰(zhàn)建模與仿真的理論和方法。
1 智能無人集群作戰(zhàn)的相關(guān)概念
1.1 無人系統(tǒng)及無人集群
無人系統(tǒng)(unmanned systems)[2-3]是指在陸、海、空、天各作戰(zhàn)域內(nèi)執(zhí)行任務(wù)的戰(zhàn)場機器人系統(tǒng)，如無人車、無人艇、無人潛航器、無人機等無人裝備。智能無人系統(tǒng)(intelligent unmanned systems)是指具備一定感知、判斷、決策以及自主行為能力的無人系統(tǒng)。無人集群(unmanned swarms)是指由一定數(shù)量的無人系統(tǒng)組成的集群，具有網(wǎng)絡(luò)化溝通、自適應(yīng)協(xié)同和集群智能三大基本特征[4]，在接到指令后能夠自主完成任務(wù)，因此也稱為智能無人集群。無人集群在內(nèi)涵上與機器人集群(robotic swarms)[5]、集群機器人(swarm robotics)[6-7]、智能集群(intelligent swarms)[5，8]以及群化武器[9]等概念相似，可以認為是同一概念在不同研究視角和不同發(fā)展時期的不同表述方式。
1.2 集群作戰(zhàn)及智能無人集群作戰(zhàn)
一般而言，集群作戰(zhàn)(swarming)具有下列特點[10]：一是以破壞對手的戰(zhàn)斗力聚合為主要作戰(zhàn)目的；二是作戰(zhàn)單元主要以小型化、分散化、能互聯(lián)、具有自主或半自主能力的機動單元為主，且作戰(zhàn)單元之間能夠互相協(xié)作；三是要求集成指揮、控制、通信、情報、監(jiān)視、偵察等能力，并具備待命、包圍并發(fā)動持續(xù)的脈沖式攻擊的能力；四是強調(diào)采取分布式的隊形，以靈活的協(xié)同方式和精心設(shè)計的組織架構(gòu)，采取中心化的戰(zhàn)略和去中心化的戰(zhàn)術(shù)，從多個方向?qū)ψ鲬?zhàn)目標發(fā)起全面攻擊。
根據(jù)上述集群作戰(zhàn)的特點，將其延伸到以智能無人系統(tǒng)為主要作戰(zhàn)單元的集群當中，便可演繹出智能無人集群作戰(zhàn)的概念，其主要優(yōu)勢體現(xiàn)在：經(jīng)濟優(yōu)勢、數(shù)量優(yōu)勢、協(xié)同與情報優(yōu)勢[11]、速度優(yōu)勢等方面。
2 OODA-L模式的提出
在智能無人集群作戰(zhàn)仿真建模中，對智能無人仿真實體建模的重點和難點是其較高的智能水平，而傳統(tǒng)的無人集群作戰(zhàn)模型中經(jīng)常采用的自上而下的集中控制思想通常難以表達智能無人仿真實體高度智能化的戰(zhàn)場適應(yīng)能力和協(xié)同能力。為此，提出一種具有學(xué)習(xí)、進化特征的智能無人仿真實體的智能特性表達模式——觀察-判斷-決策-行動-學(xué)習(xí)(Observe, Orient, Decide, Act and Learning, OODA-L)模式。
2.1 智能無人仿真實體的智能特性需求
智能無人仿真實體的顯著特征是擁有較高的自主能力和適應(yīng)能力，低級別智能區(qū)別于高級別智能的標志在于智能體是否具有感知、理解、決策和學(xué)習(xí)等能力[10]。自主能力表現(xiàn)在：智能無人仿真實體能夠感知不斷變化的自身性能、任務(wù)目標、限制條件以及所處的戰(zhàn)場環(huán)境，及時地做出新的行為規(guī)劃或?qū)υ瓉淼囊?guī)劃進行重規(guī)劃。同時，在涉及集群作戰(zhàn)時，行為規(guī)劃和執(zhí)行是一個協(xié)同處理的過程，智能作戰(zhàn)仿真實體不僅要具有自主規(guī)劃能力，而且要能夠推斷自身決策對其他仿真實體產(chǎn)生的影響[8]，從而衡量自身決策的正確與否。適應(yīng)能力表現(xiàn)在：智能無人仿真實體具備能夠與環(huán)境以及其他仿真實體進行交互作用的一種能力。在這種持續(xù)的交互作用過程中，主體不斷學(xué)習(xí)或積累經(jīng)驗，并根據(jù)學(xué)到的經(jīng)驗改變自身的結(jié)構(gòu)和行為方式[12]，其核心是學(xué)習(xí)能力。
自主能力與適應(yīng)能力之間是相輔相成、循環(huán)演進的關(guān)系，這是復(fù)雜適應(yīng)系統(tǒng)(Complex Adaptive System, CAS)的重要特征。在作戰(zhàn)仿真建模中，智能問題通常以規(guī)則為基礎(chǔ)，以各種適合規(guī)則的方法表達，很多情況下是用“If-then-else”的形式表示[13]。因此，基于規(guī)則的智能特性主要表現(xiàn)為：智能無人仿真實體通過對當前環(huán)境的感知，從現(xiàn)有規(guī)則集中選擇某一自主行為去執(zhí)行，而后通過與環(huán)境的交互作用，學(xué)習(xí)產(chǎn)生新的規(guī)則并對原有規(guī)則集進行更新，進而調(diào)整自身行為，這一過程循環(huán)往復(fù)進行，如圖1所示。
圖1 自主能力與適應(yīng)能力的相互作用Fig.1 Interactions between autonomous capability and adaptive capability
2.2 智能無人仿真實體的智能特性表達
由2.1節(jié)可知，智能特性表達應(yīng)當著重反映自主能力和適應(yīng)能力，兩種能力都是在與作戰(zhàn)環(huán)境的互動過程中不斷進化的。但傳統(tǒng)的作戰(zhàn)仿真實體建模，大多是基于預(yù)先、固定的規(guī)則來表達智能問題，難以體現(xiàn)“智能”的學(xué)習(xí)及進化特征。為解決這一問題，提出一種將OODA循環(huán)與學(xué)習(xí)過程相融合的智能特性表達模式，簡稱OODA-L模式。OODA循環(huán)之所以可以用于表達上述智能特性，是由于OODA循環(huán)描述的作戰(zhàn)過程本身與CAS產(chǎn)生適應(yīng)性的過程具有相似性。實際上，OODA循環(huán)的提出者博伊德也是CAS理論的堅定支持者，OODA循環(huán)的概念不僅被用于說明戰(zhàn)爭的勝利往往取決于更快地完成OODA循環(huán)的能力，同樣也與CAS模式的作用、進化及適應(yīng)過程有緊密聯(lián)系[14]。OODA循環(huán)中的“觀察”等同于智能無人仿真實體對環(huán)境的感知；“判斷”等同于將感知到的信息進行處理并與規(guī)則集進行匹配的過程；“決策”等同于根據(jù)所匹配的規(guī)則選擇自主行為的過程；“行動”等同于決策之后對自主行為的執(zhí)行過程。OODA循環(huán)還隱含了一個十分重要的步驟，即“學(xué)習(xí)”的過程。學(xué)到的經(jīng)驗將會對“判斷”和“決策”產(chǎn)生指導(dǎo)作用，這也是戰(zhàn)爭系統(tǒng)能夠產(chǎn)生適應(yīng)性以及智能無人仿真實體產(chǎn)生“智能”的根本原因。其中，“學(xué)習(xí)”的方式包括無人干預(yù)的學(xué)習(xí)即完全自主產(chǎn)生新的規(guī)則，有人干預(yù)的學(xué)習(xí)即由人類總結(jié)新規(guī)則并納入規(guī)則集，以及兩者相結(jié)合的方式。在OODA-L模式下，通過將“學(xué)習(xí)”過程顯性化，可以表示智能無人仿真實體的智能特性演進的完整過程，如圖2所示。
圖2 OODA-L循環(huán)與智能特性的演進過程Fig.2 Evolution of OODA-L cycles and intelligent features
值得注意的是，OODA-L模式下的智能特性，不再是一種靜態(tài)屬性，而是一個不斷發(fā)展變化的動態(tài)過程?！爸悄堋睉?yīng)當視為在周期過程中逐漸演進的一種特性，而非固定不變的特性。OODA-L模式下的智能特性如圖3所示，智能無人仿真實體在初始階段僅具備一定的初始自主能力，但是隨著OODA-L循環(huán)的大量迭代運行，其自主能力不斷提升，適應(yīng)能力不斷增強。最終，無人仿真實體的智能特性體現(xiàn)為一個非線性的上升過程，其智能水平在逐漸加強過程中趨于收斂。
圖3 OODA-L模式下的智能特性Fig.3 Intelligent features under OODA-L pattern
2.3 智能無人仿真實體的集群協(xié)同模式
集群行為在本質(zhì)上是一種自組織活動，它是由一定數(shù)量的相對簡單的個體通過相互關(guān)聯(lián)、互相協(xié)作而形成的有機整體，能夠在宏觀層面涌現(xiàn)出群體智能(swarm intelligence)[18]，從而具備更高級、多樣化的功能，進而完成更加綜合、復(fù)雜的任務(wù)。這里的“簡單”是相對整體而言，并不排除個體本身具有一定的復(fù)雜性，需要視具體的集群類型而定。傳統(tǒng)上的集群行為建模主要受到生物集群的啟發(fā)，并從中抽象出相應(yīng)的自組織行為規(guī)則。典型代表如Reynolds[19]等提出的“類鳥群”模型，每個“類鳥”通過感知鄰居行為以作出反應(yīng)，在遵循凝聚性(cohesion)、分離性(seperation)和對齊性(alignment)三條基本規(guī)則的前提下，整個類鳥群將展現(xiàn)出如同真實鳥群一般的一致行為。將上述思想用于集群作戰(zhàn)仿真建模，一般需要預(yù)先對集群個體的行為能力和行為規(guī)則作出適當?shù)暮喕⒊橄蠛图僭O(shè)。例如在作戰(zhàn)仿真平臺ISSAC[20]和EINSTein[21]中，驅(qū)動Agent運行的局部感知和交互機制，就是受到類鳥群行為的啟發(fā)擴展而來的[22]。這一建模方法在后來出現(xiàn)的許多更加復(fù)雜的基于Agent的作戰(zhàn)仿真平臺如MANA[23]、WISDOMⅡ[24]、SEAS[25]中均被廣泛地應(yīng)用于集群作戰(zhàn)行為涌現(xiàn)機理的研究。
然而，這種依據(jù)“簡單”規(guī)則的集群行為建模方法，本身較難適用于復(fù)雜多變的戰(zhàn)場環(huán)境，且隨著AI技術(shù)的進步，更難以體現(xiàn)智能無人集群作戰(zhàn)的高度自主協(xié)同特點。因此，在2.2節(jié)的基礎(chǔ)上，進一步將OODA-L模式擴展為Co-OODA-L(Cooperative OODA-L)模式，用于描述智能無人仿真實體的集群協(xié)同模式，如圖4所示。
在圖4中，智能無人Agent代表一個智能無人仿真實體，集群之間存在協(xié)同觀察、協(xié)同判斷、協(xié)同決策、協(xié)同行動、協(xié)同學(xué)習(xí)的交互性關(guān)系。將智能無人集群視為一個整體，相當于形成一個具有全局視角的虛擬全局智能體，它存在于每個智能無人Agent的本地，與集群內(nèi)其他Agent之間通過數(shù)據(jù)鏈共享信息。全局智能體在觀察、判斷、決策和行動過程中，以全局為中心，在集群整體的角度進行綜合權(quán)衡和協(xié)調(diào)，如圖5所示[26]。其最終在集群個體的作戰(zhàn)行為產(chǎn)生的效果不一定最優(yōu)，但集群整體作戰(zhàn)行為產(chǎn)生的效果卻為最佳，相當于具有了群體智能。
圖4 智能無人集群的Co-OODA-L循環(huán)Fig.4 Co-OODA-L cycle of intelligent unmanned swarm
值得注意的是，虛擬全局智能體區(qū)別于自上而下的全局控制，其職能是輔助集群內(nèi)的個體獲取和處理全局信息，并在集群內(nèi)進行溝通和協(xié)調(diào)，并非如自上而下的全局控制一般要取代個體作出決策，其具體的行為決策還是由智能無人Agent自行作出，只不過這種決策在虛擬全局智能體的輔助下更具宏觀視角。
3 智能無人仿真實體的總體描述
3.1 智能無人仿真實體的數(shù)學(xué)抽象
將智能無人仿真實體統(tǒng)一抽象為智能體Agent，則Agent的作戰(zhàn)活動可以表示為馬爾可夫決策過程(Markov Decision Process, MDP)[15-16]，每個Agent用四元組〈S,A,T,R〉[10]表示，其中：
S表示Agent的狀態(tài)空間，包括智能無人仿真實體所能感知到的自身狀態(tài)信息和環(huán)境狀態(tài)信息，對應(yīng)于OODA-L模式中的“觀察”和“判斷”環(huán)節(jié)。
A表示Agent的動作空間，包括智能無人仿真實體可以采取的各種動作(作戰(zhàn)行為)，對應(yīng)于OODA-L模式中的“行動”環(huán)節(jié)。
T為S×A×S→[0,1]，表示Agent的狀態(tài)轉(zhuǎn)移函數(shù)，是智能無人仿真實體從一個狀態(tài)轉(zhuǎn)移到另一個狀態(tài)的概率。
R為S×A→，表示Agent的獎勵函數(shù)，是智能無人仿真實體在每個狀態(tài)上采取某個作戰(zhàn)行為之后，作戰(zhàn)仿真環(huán)境給予的反饋值。
在MDP中，Agent的目標是找到一個最優(yōu)的作戰(zhàn)行為策略π*，使它在任意狀態(tài)s和任意時間步t下的長期累積折扣獎勵和最大。
(1)
式中：π為S×A→[0,1]，表示Agent的作戰(zhàn)行為策略，對應(yīng)于OODA-L模式中的“決策”環(huán)節(jié)，是Agent用于決策的“大腦”；Eπ表示策略π下的期望值；γ∈[0,1]為折扣率；k為未來某一時刻的時間步序號；rt+k為Agent在時間步t+k上獲得的即時獎勵。式(1)代表智能無人仿真實體在作戰(zhàn)仿真環(huán)境中進行學(xué)習(xí)的目標，可等價地表示為：
(2)
式中，Q*(s,a)表示“狀態(tài)-動作”對(s,a)在最優(yōu)策略下所獲得的長期累積折扣獎勵。式(1)中的V*(s)和式(2)中的Q*(s,a)分別稱為MDP的最優(yōu)狀態(tài)值函數(shù)和最優(yōu)動作值函數(shù)，而最優(yōu)策略π*則可以通過計算V*(s)或Q*(s,a)得到。
智能無人仿真實體的動作尋優(yōu)原理如圖6所示。從某一初始值函數(shù)V和初始策略π出發(fā)，智能無人仿真實體通過策略評估學(xué)習(xí)到π的狀態(tài)值函數(shù)Vπ并賦值給V，而后根據(jù)V的值取貪心策略后，又可以通過策略改進得到新的π，每次迭代的過程對應(yīng)于OODA-L模式中的“學(xué)習(xí)”環(huán)節(jié)。經(jīng)過多次迭代，V和π將最終收斂到最優(yōu)值V*和π*，從而得到智能無人仿真實體的最優(yōu)作戰(zhàn)行為策略。
3.2 智能無人仿真實體的組成結(jié)構(gòu)
傳統(tǒng)上，作戰(zhàn)仿真建模中的Agent具有如圖7所示結(jié)構(gòu)。
圖7 Agent的一般結(jié)構(gòu)Fig.7 General structure of Agent
在圖7中，Agent的智能特性表達是通過知識庫、推理機和學(xué)習(xí)模塊組成的專家系統(tǒng)構(gòu)成，屬于人工智能中符號主義學(xué)派[17]的觀點即知識表示，但該結(jié)構(gòu)中的知識庫構(gòu)建一般較為困難。而OODA-L模式，屬于人工智能中行為主義學(xué)派[17]的觀點，無須構(gòu)建過于復(fù)雜的知識庫和推理機。同時，借鑒CAS理論中的“開放”理念，強調(diào)將Agent視為一個開放的子系統(tǒng)，其智能特性是在與外界復(fù)雜環(huán)境建立起“觀察-判斷-決策-行動”的高級行為機制基礎(chǔ)上，通過Agent不斷地與仿真環(huán)境交互迭代，以此進化出“智能”的作戰(zhàn)行為。
為實現(xiàn)OODA-L模式，提出智能無人Agent建模的四個基本思路：①智能無人Agent所具有的基本行為能力，應(yīng)當依據(jù)現(xiàn)實中無人作戰(zhàn)裝備的基本組成結(jié)構(gòu)和功能配置，進一步抽象而來。②智能無人Agent應(yīng)當由相互分離的底層技能模型、中層行為模型和高層智能模型組成。③智能無人Agent的某一具體行為可由單個或多個技能模型組成，智能模型可視為Agent在時序范圍內(nèi)，依據(jù)策略對作戰(zhàn)行為的選擇和運用。④智能無人Agent應(yīng)當是一種開放、可擴展的模型，可以根據(jù)需要對技能模型、行為模型進行擴充。基于上述四點，構(gòu)建智能無人Agent的三域分層結(jié)構(gòu)，如圖8所示。
圖8 智能無人Agent的三域分層結(jié)構(gòu)Fig.8 Three-domain hierarchical structure of intelligent unmanned Agent
在圖8中：①智能模型對應(yīng)于認知域，該模型主要是根據(jù)上級指控信息、預(yù)定的作戰(zhàn)任務(wù)以及對作戰(zhàn)態(tài)勢的認知，對下一步應(yīng)當采取的作戰(zhàn)行為作出決策。同時，智能無人Agent的狀態(tài)在執(zhí)行某一行為時，也隨之改變。②行為模型對應(yīng)于信息域，該模型主要描述智能無人Agent的行為能力，這里將行為模型視為信息行為，主要是因為信息域充當了認知域與物理域之間的媒介，起著“黏合劑”的作用，如圖8左側(cè)的圖例所示。從建模角度，行為模型承擔的功能是將物理域模型的輸出值進行綜合并以信息交互的方式反饋給智能模型，從作用的本質(zhì)上看，它是將OODA循環(huán)的各個環(huán)節(jié)連接起來的中介，仍然是一種信息行為。另外，由于通信行為和感知行為屬于智能無人Agent的常態(tài)行為，比較特殊，故單獨列出，以區(qū)別于其他行為。③技能模型對應(yīng)于物理域，該模型更加貼近于裝備的硬件層面，強調(diào)對物理實體功能的描述，是能夠直接與外界環(huán)境或其他Agent發(fā)生交互的物理仿真模型，如雷達的探測模型、導(dǎo)彈的毀傷模型、飛機的空氣動力模型、武器的控制模型等。技能模型比行為模型粒度更細，一個行為模型包含一定量的先驗知識，可以看作某個行為對基礎(chǔ)技能的一種調(diào)用，它由多個技能的序列、算法或規(guī)則集組成。
綜上所述，可以將智能無人Agent的組成結(jié)構(gòu)特點總結(jié)為：智能模型是學(xué)習(xí)出來的，行為模型是抽象或規(guī)劃出來的，技能模型是相對固定的。智能模型決定智能無人Agent該“做”什么，行為模型決定“做”的具體內(nèi)容和方式，技能模型負責將“做”貫徹落實。
4 智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)
協(xié)同行為是智能無人集群作戰(zhàn)仿真建模的關(guān)鍵所在，結(jié)合2.3節(jié)提出的Co-OODA-L模式，提出智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)，如圖9所示。
在圖9中，設(shè)定智能無人集群采用分布式集群架構(gòu)，各Agent之間相互獨立，集群內(nèi)部可通過數(shù)據(jù)鏈實現(xiàn)信息共享。該體系結(jié)構(gòu)的運行過程為：①智能無人Agent通過協(xié)同感知外部環(huán)境，使全局戰(zhàn)場狀態(tài)信息在集群內(nèi)部共享。②各智能無人Agent結(jié)合自身視角，利用人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)構(gòu)成的態(tài)勢認知網(wǎng)絡(luò)，對全局戰(zhàn)場狀態(tài)進行協(xié)同“思考”。③各智能無人Agent將“思考”后的信息，通過通信層/集群作戰(zhàn)協(xié)調(diào)層(兼虛擬全局智能體)，進行充分的溝通和協(xié)調(diào)，該層也由ANN構(gòu)成，在具體實現(xiàn)上可采用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)及其變體或替代形式。④將溝通和協(xié)調(diào)后的信息反饋給同樣由ANN構(gòu)成的策略網(wǎng)絡(luò)，各Agent按照策略網(wǎng)絡(luò)的輸出選擇相應(yīng)的作戰(zhàn)行為，并在作戰(zhàn)仿真環(huán)境中具體執(zhí)行。⑤智能模型對協(xié)同作戰(zhàn)行為的執(zhí)行效果進行綜合評估，并改進和優(yōu)化智能無人Agent的作戰(zhàn)行為選擇。上述過程，將通過人不在回路的作戰(zhàn)仿真環(huán)境進行大量迭代運行，直至智能無人Agent學(xué)習(xí)到滿足要求的智能模型。相比傳統(tǒng)的集群行為建模方法，該體系結(jié)構(gòu)具有下列特點：
圖9 智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)Fig.9 Architecture of cooperative operation modeling of intelligent unmanned swarm
1)各智能無人Agent共用相同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(包括態(tài)勢認知網(wǎng)絡(luò)、策略網(wǎng)絡(luò)和通信網(wǎng)絡(luò))及參數(shù)，可適用于可變Agent數(shù)量的集群；另外，由于采用了分布式結(jié)構(gòu)，可同時適用于同構(gòu)或異構(gòu)集群的建模，在經(jīng)過充分的訓(xùn)練和學(xué)習(xí)后，智能無人Agent將會產(chǎn)生高度自主的集群協(xié)同作戰(zhàn)能力。
2)各智能無人Agent的行為決策，并非簡單的“If-then-else”式結(jié)構(gòu)，不單純追求集群行為的一致性，而是通過對外部環(huán)境的感知和思考，同時兼顧其他Agent可能采取的行為，進而推理出自身的行為決策，從而使智能無人Agent個體具有了一種全局思維能力。
3)智能無人Agent的策略網(wǎng)絡(luò)經(jīng)過作戰(zhàn)仿真環(huán)境的訓(xùn)練而不斷優(yōu)化，因而每個Agent都具有自學(xué)習(xí)和自成長特性，相比基于固定規(guī)則的Agent而言，具有更好的適應(yīng)能力和泛化性能，能夠應(yīng)對未知環(huán)境的不確定性，后續(xù)還能夠通過不斷地自我學(xué)習(xí)來進一步提升自身的智能水平。
5 結(jié)論
建模框架是從高層對仿真建?；顒犹峁┑姆椒ㄖ笇?dǎo)。本文針對智能無人仿真實體的智能特性需求，提出一種能夠反映智能無人仿真實體自主能力和適應(yīng)能力的OODA-L模式，并將其擴展為適用于集群做的Co-OODA-L模式。在OODA-L模式下，采用MDP對智能無人Agent進行數(shù)學(xué)描述，并給出智能無人Agent的三域分層結(jié)構(gòu)描述。在Co-OODA-L模式下，探討了分布式體系結(jié)構(gòu)下智能無人集群協(xié)同作戰(zhàn)建模的(神經(jīng))網(wǎng)絡(luò)結(jié)構(gòu)及其特點。下一步，將根據(jù)所提建?？蚣?，重點結(jié)合具體的智能無人集群作戰(zhàn)任務(wù)背景，搭建仿真實驗環(huán)境和智能無人Agent模型，構(gòu)建相關(guān)算法，開展細化研究。
猜你喜歡
前海自貿(mào)區(qū)：金融服務(wù)實體中國外匯(2019年18期)2019-11-25 海上小型無人機集群的反制裝備需求與應(yīng)對之策研究軍事運籌與系統(tǒng)工程(2019年4期)2019-09-11 無人戰(zhàn)士無人車小哥白尼(軍事科學(xué))(2019年2期)2019-04-17 反擊無人機小哥白尼·趣味科學(xué)畫報(2019年12期)2019-02-28 一種無人機集群發(fā)射回收裝置的控制系統(tǒng)設(shè)計電子制作(2018年11期)2018-08-04 實體的可感部分與實體——兼論亞里士多德分析實體的兩種模式哲學(xué)評論(2017年1期)2017-07-31 Python與Spark集群在收費數(shù)據(jù)分析中的應(yīng)用中國交通信息化(2017年3期)2017-06-08 兩會進行時：緊扣實體經(jīng)濟“釘釘子”領(lǐng)導(dǎo)決策信息(2017年9期)2017-05-04 振興實體經(jīng)濟地方如何“釘釘子”領(lǐng)導(dǎo)決策信息(2017年9期)2017-05-04 詩到無人愛處工岷峨詩稿(2017年4期)2017-04-20
鄒立巖，張明智，柏俊汝
(國防大學(xué) 聯(lián)合作戰(zhàn)學(xué)院， 北京 100091)
隨著人工智能(Artificial Intelligence, AI)技術(shù)的不斷發(fā)展，智能無人裝備將成為未來智能化戰(zhàn)爭中的新興作戰(zhàn)力量。與此同時，隨著分布式作戰(zhàn)概念的提出和發(fā)展[1]，以一定數(shù)量的智能無人裝備組成無人集群來遂行特定的作戰(zhàn)任務(wù)，被認為是未來智能化戰(zhàn)爭的典型作戰(zhàn)樣式，也是當前軍事理論研究的前沿和熱點問題。由于目前智能無人集群作戰(zhàn)尚處于概念研究階段，因此采用建模仿真方法率先對這一新型作戰(zhàn)樣式進行前瞻性和探索性研究，可以為未來智能無人集群作戰(zhàn)力量的發(fā)展和運用提供理論支撐，具有重要的現(xiàn)實意義。本文首先分析了智能無人仿真實體的智能特性需求，在此基礎(chǔ)上提出一種將學(xué)習(xí)過程顯性化的OODA-L模式及其擴展形式；然后給出了智能無人仿真實體的總體描述；最后提出智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)。上述內(nèi)容，旨在從高層上探討如何對具有較高自主能力的智能無人集群進行作戰(zhàn)建模與仿真的理論和方法。
1 智能無人集群作戰(zhàn)的相關(guān)概念
1.1 無人系統(tǒng)及無人集群
無人系統(tǒng)(unmanned systems)[2-3]是指在陸、海、空、天各作戰(zhàn)域內(nèi)執(zhí)行任務(wù)的戰(zhàn)場機器人系統(tǒng)，如無人車、無人艇、無人潛航器、無人機等無人裝備。智能無人系統(tǒng)(intelligent unmanned systems)是指具備一定感知、判斷、決策以及自主行為能力的無人系統(tǒng)。無人集群(unmanned swarms)是指由一定數(shù)量的無人系統(tǒng)組成的集群，具有網(wǎng)絡(luò)化溝通、自適應(yīng)協(xié)同和集群智能三大基本特征[4]，在接到指令后能夠自主完成任務(wù)，因此也稱為智能無人集群。無人集群在內(nèi)涵上與機器人集群(robotic swarms)[5]、集群機器人(swarm robotics)[6-7]、智能集群(intelligent swarms)[5，8]以及群化武器[9]等概念相似，可以認為是同一概念在不同研究視角和不同發(fā)展時期的不同表述方式。
1.2 集群作戰(zhàn)及智能無人集群作戰(zhàn)
一般而言，集群作戰(zhàn)(swarming)具有下列特點[10]：一是以破壞對手的戰(zhàn)斗力聚合為主要作戰(zhàn)目的；二是作戰(zhàn)單元主要以小型化、分散化、能互聯(lián)、具有自主或半自主能力的機動單元為主，且作戰(zhàn)單元之間能夠互相協(xié)作；三是要求集成指揮、控制、通信、情報、監(jiān)視、偵察等能力，并具備待命、包圍并發(fā)動持續(xù)的脈沖式攻擊的能力；四是強調(diào)采取分布式的隊形，以靈活的協(xié)同方式和精心設(shè)計的組織架構(gòu)，采取中心化的戰(zhàn)略和去中心化的戰(zhàn)術(shù)，從多個方向?qū)ψ鲬?zhàn)目標發(fā)起全面攻擊。
根據(jù)上述集群作戰(zhàn)的特點，將其延伸到以智能無人系統(tǒng)為主要作戰(zhàn)單元的集群當中，便可演繹出智能無人集群作戰(zhàn)的概念，其主要優(yōu)勢體現(xiàn)在：經(jīng)濟優(yōu)勢、數(shù)量優(yōu)勢、協(xié)同與情報優(yōu)勢[11]、速度優(yōu)勢等方面。
2 OODA-L模式的提出
在智能無人集群作戰(zhàn)仿真建模中，對智能無人仿真實體建模的重點和難點是其較高的智能水平，而傳統(tǒng)的無人集群作戰(zhàn)模型中經(jīng)常采用的自上而下的集中控制思想通常難以表達智能無人仿真實體高度智能化的戰(zhàn)場適應(yīng)能力和協(xié)同能力。為此，提出一種具有學(xué)習(xí)、進化特征的智能無人仿真實體的智能特性表達模式——觀察-判斷-決策-行動-學(xué)習(xí)(Observe, Orient, Decide, Act and Learning, OODA-L)模式。
2.1 智能無人仿真實體的智能特性需求
智能無人仿真實體的顯著特征是擁有較高的自主能力和適應(yīng)能力，低級別智能區(qū)別于高級別智能的標志在于智能體是否具有感知、理解、決策和學(xué)習(xí)等能力[10]。自主能力表現(xiàn)在：智能無人仿真實體能夠感知不斷變化的自身性能、任務(wù)目標、限制條件以及所處的戰(zhàn)場環(huán)境，及時地做出新的行為規(guī)劃或?qū)υ瓉淼囊?guī)劃進行重規(guī)劃。同時，在涉及集群作戰(zhàn)時，行為規(guī)劃和執(zhí)行是一個協(xié)同處理的過程，智能作戰(zhàn)仿真實體不僅要具有自主規(guī)劃能力，而且要能夠推斷自身決策對其他仿真實體產(chǎn)生的影響[8]，從而衡量自身決策的正確與否。適應(yīng)能力表現(xiàn)在：智能無人仿真實體具備能夠與環(huán)境以及其他仿真實體進行交互作用的一種能力。在這種持續(xù)的交互作用過程中，主體不斷學(xué)習(xí)或積累經(jīng)驗，并根據(jù)學(xué)到的經(jīng)驗改變自身的結(jié)構(gòu)和行為方式[12]，其核心是學(xué)習(xí)能力。
自主能力與適應(yīng)能力之間是相輔相成、循環(huán)演進的關(guān)系，這是復(fù)雜適應(yīng)系統(tǒng)(Complex Adaptive System, CAS)的重要特征。在作戰(zhàn)仿真建模中，智能問題通常以規(guī)則為基礎(chǔ)，以各種適合規(guī)則的方法表達，很多情況下是用“If-then-else”的形式表示[13]。因此，基于規(guī)則的智能特性主要表現(xiàn)為：智能無人仿真實體通過對當前環(huán)境的感知，從現(xiàn)有規(guī)則集中選擇某一自主行為去執(zhí)行，而后通過與環(huán)境的交互作用，學(xué)習(xí)產(chǎn)生新的規(guī)則并對原有規(guī)則集進行更新，進而調(diào)整自身行為，這一過程循環(huán)往復(fù)進行，如圖1所示。
圖1 自主能力與適應(yīng)能力的相互作用Fig.1 Interactions between autonomous capability and adaptive capability
2.2 智能無人仿真實體的智能特性表達
由2.1節(jié)可知，智能特性表達應(yīng)當著重反映自主能力和適應(yīng)能力，兩種能力都是在與作戰(zhàn)環(huán)境的互動過程中不斷進化的。但傳統(tǒng)的作戰(zhàn)仿真實體建模，大多是基于預(yù)先、固定的規(guī)則來表達智能問題，難以體現(xiàn)“智能”的學(xué)習(xí)及進化特征。為解決這一問題，提出一種將OODA循環(huán)與學(xué)習(xí)過程相融合的智能特性表達模式，簡稱OODA-L模式。OODA循環(huán)之所以可以用于表達上述智能特性，是由于OODA循環(huán)描述的作戰(zhàn)過程本身與CAS產(chǎn)生適應(yīng)性的過程具有相似性。實際上，OODA循環(huán)的提出者博伊德也是CAS理論的堅定支持者，OODA循環(huán)的概念不僅被用于說明戰(zhàn)爭的勝利往往取決于更快地完成OODA循環(huán)的能力，同樣也與CAS模式的作用、進化及適應(yīng)過程有緊密聯(lián)系[14]。OODA循環(huán)中的“觀察”等同于智能無人仿真實體對環(huán)境的感知；“判斷”等同于將感知到的信息進行處理并與規(guī)則集進行匹配的過程；“決策”等同于根據(jù)所匹配的規(guī)則選擇自主行為的過程；“行動”等同于決策之后對自主行為的執(zhí)行過程。OODA循環(huán)還隱含了一個十分重要的步驟，即“學(xué)習(xí)”的過程。學(xué)到的經(jīng)驗將會對“判斷”和“決策”產(chǎn)生指導(dǎo)作用，這也是戰(zhàn)爭系統(tǒng)能夠產(chǎn)生適應(yīng)性以及智能無人仿真實體產(chǎn)生“智能”的根本原因。其中，“學(xué)習(xí)”的方式包括無人干預(yù)的學(xué)習(xí)即完全自主產(chǎn)生新的規(guī)則，有人干預(yù)的學(xué)習(xí)即由人類總結(jié)新規(guī)則并納入規(guī)則集，以及兩者相結(jié)合的方式。在OODA-L模式下，通過將“學(xué)習(xí)”過程顯性化，可以表示智能無人仿真實體的智能特性演進的完整過程，如圖2所示。
圖2 OODA-L循環(huán)與智能特性的演進過程Fig.2 Evolution of OODA-L cycles and intelligent features
值得注意的是，OODA-L模式下的智能特性，不再是一種靜態(tài)屬性，而是一個不斷發(fā)展變化的動態(tài)過程?！爸悄堋睉?yīng)當視為在周期過程中逐漸演進的一種特性，而非固定不變的特性。OODA-L模式下的智能特性如圖3所示，智能無人仿真實體在初始階段僅具備一定的初始自主能力，但是隨著OODA-L循環(huán)的大量迭代運行，其自主能力不斷提升，適應(yīng)能力不斷增強。最終，無人仿真實體的智能特性體現(xiàn)為一個非線性的上升過程，其智能水平在逐漸加強過程中趨于收斂。
圖3 OODA-L模式下的智能特性Fig.3 Intelligent features under OODA-L pattern
2.3 智能無人仿真實體的集群協(xié)同模式
集群行為在本質(zhì)上是一種自組織活動，它是由一定數(shù)量的相對簡單的個體通過相互關(guān)聯(lián)、互相協(xié)作而形成的有機整體，能夠在宏觀層面涌現(xiàn)出群體智能(swarm intelligence)[18]，從而具備更高級、多樣化的功能，進而完成更加綜合、復(fù)雜的任務(wù)。這里的“簡單”是相對整體而言，并不排除個體本身具有一定的復(fù)雜性，需要視具體的集群類型而定。傳統(tǒng)上的集群行為建模主要受到生物集群的啟發(fā)，并從中抽象出相應(yīng)的自組織行為規(guī)則。典型代表如Reynolds[19]等提出的“類鳥群”模型，每個“類鳥”通過感知鄰居行為以作出反應(yīng)，在遵循凝聚性(cohesion)、分離性(seperation)和對齊性(alignment)三條基本規(guī)則的前提下，整個類鳥群將展現(xiàn)出如同真實鳥群一般的一致行為。將上述思想用于集群作戰(zhàn)仿真建模，一般需要預(yù)先對集群個體的行為能力和行為規(guī)則作出適當?shù)暮喕⒊橄蠛图僭O(shè)。例如在作戰(zhàn)仿真平臺ISSAC[20]和EINSTein[21]中，驅(qū)動Agent運行的局部感知和交互機制，就是受到類鳥群行為的啟發(fā)擴展而來的[22]。這一建模方法在后來出現(xiàn)的許多更加復(fù)雜的基于Agent的作戰(zhàn)仿真平臺如MANA[23]、WISDOMⅡ[24]、SEAS[25]中均被廣泛地應(yīng)用于集群作戰(zhàn)行為涌現(xiàn)機理的研究。
然而，這種依據(jù)“簡單”規(guī)則的集群行為建模方法，本身較難適用于復(fù)雜多變的戰(zhàn)場環(huán)境，且隨著AI技術(shù)的進步，更難以體現(xiàn)智能無人集群作戰(zhàn)的高度自主協(xié)同特點。因此，在2.2節(jié)的基礎(chǔ)上，進一步將OODA-L模式擴展為Co-OODA-L(Cooperative OODA-L)模式，用于描述智能無人仿真實體的集群協(xié)同模式，如圖4所示。
在圖4中，智能無人Agent代表一個智能無人仿真實體，集群之間存在協(xié)同觀察、協(xié)同判斷、協(xié)同決策、協(xié)同行動、協(xié)同學(xué)習(xí)的交互性關(guān)系。將智能無人集群視為一個整體，相當于形成一個具有全局視角的虛擬全局智能體，它存在于每個智能無人Agent的本地，與集群內(nèi)其他Agent之間通過數(shù)據(jù)鏈共享信息。全局智能體在觀察、判斷、決策和行動過程中，以全局為中心，在集群整體的角度進行綜合權(quán)衡和協(xié)調(diào)，如圖5所示[26]。其最終在集群個體的作戰(zhàn)行為產(chǎn)生的效果不一定最優(yōu)，但集群整體作戰(zhàn)行為產(chǎn)生的效果卻為最佳，相當于具有了群體智能。
圖4 智能無人集群的Co-OODA-L循環(huán)Fig.4 Co-OODA-L cycle of intelligent unmanned swarm
值得注意的是，虛擬全局智能體區(qū)別于自上而下的全局控制，其職能是輔助集群內(nèi)的個體獲取和處理全局信息，并在集群內(nèi)進行溝通和協(xié)調(diào)，并非如自上而下的全局控制一般要取代個體作出決策，其具體的行為決策還是由智能無人Agent自行作出，只不過這種決策在虛擬全局智能體的輔助下更具宏觀視角。
3 智能無人仿真實體的總體描述
3.1 智能無人仿真實體的數(shù)學(xué)抽象
將智能無人仿真實體統(tǒng)一抽象為智能體Agent，則Agent的作戰(zhàn)活動可以表示為馬爾可夫決策過程(Markov Decision Process, MDP)[15-16]，每個Agent用四元組〈S,A,T,R〉[10]表示，其中：
S表示Agent的狀態(tài)空間，包括智能無人仿真實體所能感知到的自身狀態(tài)信息和環(huán)境狀態(tài)信息，對應(yīng)于OODA-L模式中的“觀察”和“判斷”環(huán)節(jié)。
A表示Agent的動作空間，包括智能無人仿真實體可以采取的各種動作(作戰(zhàn)行為)，對應(yīng)于OODA-L模式中的“行動”環(huán)節(jié)。
T為S×A×S→[0,1]，表示Agent的狀態(tài)轉(zhuǎn)移函數(shù)，是智能無人仿真實體從一個狀態(tài)轉(zhuǎn)移到另一個狀態(tài)的概率。
R為S×A→，表示Agent的獎勵函數(shù)，是智能無人仿真實體在每個狀態(tài)上采取某個作戰(zhàn)行為之后，作戰(zhàn)仿真環(huán)境給予的反饋值。
在MDP中，Agent的目標是找到一個最優(yōu)的作戰(zhàn)行為策略π*，使它在任意狀態(tài)s和任意時間步t下的長期累積折扣獎勵和最大。
(1)
式中：π為S×A→[0,1]，表示Agent的作戰(zhàn)行為策略，對應(yīng)于OODA-L模式中的“決策”環(huán)節(jié)，是Agent用于決策的“大腦”；Eπ表示策略π下的期望值；γ∈[0,1]為折扣率；k為未來某一時刻的時間步序號；rt+k為Agent在時間步t+k上獲得的即時獎勵。式(1)代表智能無人仿真實體在作戰(zhàn)仿真環(huán)境中進行學(xué)習(xí)的目標，可等價地表示為：
(2)
式中，Q*(s,a)表示“狀態(tài)-動作”對(s,a)在最優(yōu)策略下所獲得的長期累積折扣獎勵。式(1)中的V*(s)和式(2)中的Q*(s,a)分別稱為MDP的最優(yōu)狀態(tài)值函數(shù)和最優(yōu)動作值函數(shù)，而最優(yōu)策略π*則可以通過計算V*(s)或Q*(s,a)得到。
智能無人仿真實體的動作尋優(yōu)原理如圖6所示。從某一初始值函數(shù)V和初始策略π出發(fā)，智能無人仿真實體通過策略評估學(xué)習(xí)到π的狀態(tài)值函數(shù)Vπ并賦值給V，而后根據(jù)V的值取貪心策略后，又可以通過策略改進得到新的π，每次迭代的過程對應(yīng)于OODA-L模式中的“學(xué)習(xí)”環(huán)節(jié)。經(jīng)過多次迭代，V和π將最終收斂到最優(yōu)值V*和π*，從而得到智能無人仿真實體的最優(yōu)作戰(zhàn)行為策略。
3.2 智能無人仿真實體的組成結(jié)構(gòu)
傳統(tǒng)上，作戰(zhàn)仿真建模中的Agent具有如圖7所示結(jié)構(gòu)。
圖7 Agent的一般結(jié)構(gòu)Fig.7 General structure of Agent
在圖7中，Agent的智能特性表達是通過知識庫、推理機和學(xué)習(xí)模塊組成的專家系統(tǒng)構(gòu)成，屬于人工智能中符號主義學(xué)派[17]的觀點即知識表示，但該結(jié)構(gòu)中的知識庫構(gòu)建一般較為困難。而OODA-L模式，屬于人工智能中行為主義學(xué)派[17]的觀點，無須構(gòu)建過于復(fù)雜的知識庫和推理機。同時，借鑒CAS理論中的“開放”理念，強調(diào)將Agent視為一個開放的子系統(tǒng)，其智能特性是在與外界復(fù)雜環(huán)境建立起“觀察-判斷-決策-行動”的高級行為機制基礎(chǔ)上，通過Agent不斷地與仿真環(huán)境交互迭代，以此進化出“智能”的作戰(zhàn)行為。
為實現(xiàn)OODA-L模式，提出智能無人Agent建模的四個基本思路：①智能無人Agent所具有的基本行為能力，應(yīng)當依據(jù)現(xiàn)實中無人作戰(zhàn)裝備的基本組成結(jié)構(gòu)和功能配置，進一步抽象而來。②智能無人Agent應(yīng)當由相互分離的底層技能模型、中層行為模型和高層智能模型組成。③智能無人Agent的某一具體行為可由單個或多個技能模型組成，智能模型可視為Agent在時序范圍內(nèi)，依據(jù)策略對作戰(zhàn)行為的選擇和運用。④智能無人Agent應(yīng)當是一種開放、可擴展的模型，可以根據(jù)需要對技能模型、行為模型進行擴充。基于上述四點，構(gòu)建智能無人Agent的三域分層結(jié)構(gòu)，如圖8所示。
圖8 智能無人Agent的三域分層結(jié)構(gòu)Fig.8 Three-domain hierarchical structure of intelligent unmanned Agent
在圖8中：①智能模型對應(yīng)于認知域，該模型主要是根據(jù)上級指控信息、預(yù)定的作戰(zhàn)任務(wù)以及對作戰(zhàn)態(tài)勢的認知，對下一步應(yīng)當采取的作戰(zhàn)行為作出決策。同時，智能無人Agent的狀態(tài)在執(zhí)行某一行為時，也隨之改變。②行為模型對應(yīng)于信息域，該模型主要描述智能無人Agent的行為能力，這里將行為模型視為信息行為，主要是因為信息域充當了認知域與物理域之間的媒介，起著“黏合劑”的作用，如圖8左側(cè)的圖例所示。從建模角度，行為模型承擔的功能是將物理域模型的輸出值進行綜合并以信息交互的方式反饋給智能模型，從作用的本質(zhì)上看，它是將OODA循環(huán)的各個環(huán)節(jié)連接起來的中介，仍然是一種信息行為。另外，由于通信行為和感知行為屬于智能無人Agent的常態(tài)行為，比較特殊，故單獨列出，以區(qū)別于其他行為。③技能模型對應(yīng)于物理域，該模型更加貼近于裝備的硬件層面，強調(diào)對物理實體功能的描述，是能夠直接與外界環(huán)境或其他Agent發(fā)生交互的物理仿真模型，如雷達的探測模型、導(dǎo)彈的毀傷模型、飛機的空氣動力模型、武器的控制模型等。技能模型比行為模型粒度更細，一個行為模型包含一定量的先驗知識，可以看作某個行為對基礎(chǔ)技能的一種調(diào)用，它由多個技能的序列、算法或規(guī)則集組成。
綜上所述，可以將智能無人Agent的組成結(jié)構(gòu)特點總結(jié)為：智能模型是學(xué)習(xí)出來的，行為模型是抽象或規(guī)劃出來的，技能模型是相對固定的。智能模型決定智能無人Agent該“做”什么，行為模型決定“做”的具體內(nèi)容和方式，技能模型負責將“做”貫徹落實。
4 智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)
協(xié)同行為是智能無人集群作戰(zhàn)仿真建模的關(guān)鍵所在，結(jié)合2.3節(jié)提出的Co-OODA-L模式，提出智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)，如圖9所示。
在圖9中，設(shè)定智能無人集群采用分布式集群架構(gòu)，各Agent之間相互獨立，集群內(nèi)部可通過數(shù)據(jù)鏈實現(xiàn)信息共享。該體系結(jié)構(gòu)的運行過程為：①智能無人Agent通過協(xié)同感知外部環(huán)境，使全局戰(zhàn)場狀態(tài)信息在集群內(nèi)部共享。②各智能無人Agent結(jié)合自身視角，利用人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)構(gòu)成的態(tài)勢認知網(wǎng)絡(luò)，對全局戰(zhàn)場狀態(tài)進行協(xié)同“思考”。③各智能無人Agent將“思考”后的信息，通過通信層/集群作戰(zhàn)協(xié)調(diào)層(兼虛擬全局智能體)，進行充分的溝通和協(xié)調(diào)，該層也由ANN構(gòu)成，在具體實現(xiàn)上可采用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)及其變體或替代形式。④將溝通和協(xié)調(diào)后的信息反饋給同樣由ANN構(gòu)成的策略網(wǎng)絡(luò)，各Agent按照策略網(wǎng)絡(luò)的輸出選擇相應(yīng)的作戰(zhàn)行為，并在作戰(zhàn)仿真環(huán)境中具體執(zhí)行。⑤智能模型對協(xié)同作戰(zhàn)行為的執(zhí)行效果進行綜合評估，并改進和優(yōu)化智能無人Agent的作戰(zhàn)行為選擇。上述過程，將通過人不在回路的作戰(zhàn)仿真環(huán)境進行大量迭代運行，直至智能無人Agent學(xué)習(xí)到滿足要求的智能模型。相比傳統(tǒng)的集群行為建模方法，該體系結(jié)構(gòu)具有下列特點：
圖9 智能無人集群協(xié)同作戰(zhàn)建模的體系結(jié)構(gòu)Fig.9 Architecture of cooperative operation modeling of intelligent unmanned swarm
1)各智能無人Agent共用相同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(包括態(tài)勢認知網(wǎng)絡(luò)、策略網(wǎng)絡(luò)和通信網(wǎng)絡(luò))及參數(shù)，可適用于可變Agent數(shù)量的集群；另外，由于采用了分布式結(jié)構(gòu)，可同時適用于同構(gòu)或異構(gòu)集群的建模，在經(jīng)過充分的訓(xùn)練和學(xué)習(xí)后，智能無人Agent將會產(chǎn)生高度自主的集群協(xié)同作戰(zhàn)能力。
2)各智能無人Agent的行為決策，并非簡單的“If-then-else”式結(jié)構(gòu)，不單純追求集群行為的一致性，而是通過對外部環(huán)境的感知和思考，同時兼顧其他Agent可能采取的行為，進而推理出自身的行為決策，從而使智能無人Agent個體具有了一種全局思維能力。
3)智能無人Agent的策略網(wǎng)絡(luò)經(jīng)過作戰(zhàn)仿真環(huán)境的訓(xùn)練而不斷優(yōu)化，因而每個Agent都具有自學(xué)習(xí)和自成長特性，相比基于固定規(guī)則的Agent而言，具有更好的適應(yīng)能力和泛化性能，能夠應(yīng)對未知環(huán)境的不確定性，后續(xù)還能夠通過不斷地自我學(xué)習(xí)來進一步提升自身的智能水平。
5 結(jié)論
建模框架是從高層對仿真建?；顒犹峁┑姆椒ㄖ笇?dǎo)。本文針對智能無人仿真實體的智能特性需求，提出一種能夠反映智能無人仿真實體自主能力和適應(yīng)能力的OODA-L模式，并將其擴展為適用于集群做的Co-OODA-L模式。在OODA-L模式下，采用MDP對智能無人Agent進行數(shù)學(xué)描述，并給出智能無人Agent的三域分層結(jié)構(gòu)描述。在Co-OODA-L模式下，探討了分布式體系結(jié)構(gòu)下智能無人集群協(xié)同作戰(zhàn)建模的(神經(jīng))網(wǎng)絡(luò)結(jié)構(gòu)及其特點。下一步，將根據(jù)所提建?？蚣?，重點結(jié)合具體的智能無人集群作戰(zhàn)任務(wù)背景，搭建仿真實驗環(huán)境和智能無人Agent模型，構(gòu)建相關(guān)算法，開展細化研究。
猜你喜歡
中國外匯(2019年18期)2019-11-25
軍事運籌與系統(tǒng)工程(2019年4期)2019-09-11
小哥白尼(軍事科學(xué))(2019年2期)2019-04-17
小哥白尼·趣味科學(xué)畫報(2019年12期)2019-02-28
電子制作(2018年11期)2018-08-04
哲學(xué)評論(2017年1期)2017-07-31
中國交通信息化(2017年3期)2017-06-08
領(lǐng)導(dǎo)決策信息(2017年9期)2017-05-04
領(lǐng)導(dǎo)決策信息(2017年9期)2017-05-04
岷峨詩稿(2017年4期)2017-04-20
