李 樾，韓 維，仲維國

（1. 海軍航空大學航空基礎學院，煙臺264001；2. 海軍航空大學91206部隊，青島266108）

1 引 言

有人機/無人機協(xié)同作戰(zhàn)是指在信息化、網(wǎng)絡化及體系對抗環(huán)境下，有人機與無人機聯(lián)合實施攻擊的作戰(zhàn)方式［1］。該協(xié)同方式通過平臺及載荷類型的相互補充、平臺性能的優(yōu)勢互補特別是對當前無人機自主水平的彌補，將無人機無縫融入到現(xiàn)代作戰(zhàn)體系之中，同時有效提高了作戰(zhàn)資源利用率、任務成功率、平臺生存性，并縮短觀察-調整-決策-行動（Oberve-Orient-Decide-Act，OODA）環(huán)路，最終提升協(xié)同作戰(zhàn)系統(tǒng)的效費比，是潛在的第六代穿透型戰(zhàn)機的發(fā)展方向之一［2］。該協(xié)同系統(tǒng)與其他編隊系統(tǒng)的區(qū)別之處主要體現(xiàn)在以下兩方面：一是有人機在協(xié)同系統(tǒng)中的安全性至關重要，無人機要不惜犧牲自己的方式保護有人機；二是有人機飛行員在作戰(zhàn)中的作用更加關鍵，其不僅要控制有人機，還要依靠機載通訊網(wǎng)絡兼顧指揮無人機，為其下達作戰(zhàn)指令。

目前，對有人機/無人機協(xié)同系統(tǒng)的探索和研究是一個熱點，文獻［3-5］列出了該協(xié)同系統(tǒng)作戰(zhàn)的幾大關鍵技術和研究現(xiàn)狀，主要包含有人機/無人機協(xié)同交互控制技術、協(xié)同態(tài)勢感知技術、協(xié)同任務分配技術、協(xié)同航跡控制技術和協(xié)同效能評估技術等，但由于公開的關于有人機/無人機協(xié)同系統(tǒng)的技術研究較少，目前缺乏對上述關鍵技術的具體探討和分析?；诖?，本文從飛行動力學與控制學科角度出發(fā)，結合本課題組的一些最新研究成果，對有人機/無人機協(xié)同系統(tǒng)航跡控制這一關鍵技術進行梳理和總結。

2 有人機/無人機協(xié)同系統(tǒng)航跡控制關鍵技術

首先，協(xié)同航跡規(guī)劃是航跡控制的重要基礎，是發(fā)揮系統(tǒng)聯(lián)合突防作用的有效保證，其按照航跡生成的實時性可分為離線航跡規(guī)劃和在線航跡規(guī)劃。對于異構機群離線航跡規(guī)劃，需要結合任務規(guī)劃指標、飛行約束條件和戰(zhàn)場環(huán)境等因素，設計協(xié)同飛行航路，以優(yōu)化總體作戰(zhàn)效能，這是一個具有復雜性和耦合性的多約束、多目標優(yōu)化決策問題［6］。針對有人機/無人機協(xié)同系統(tǒng)，在考慮同構機群航跡規(guī)劃的基礎上，還應該著重考慮有人機的安全性和特殊性，為此可首先對有人機航跡進行規(guī)劃，充分確保其飛行安全和任務實現(xiàn)，進而將有人機的航跡作為已知條件輸入到無人機航跡規(guī)劃器中，并重點設計和引入時空約束，即考慮無人機與有人機到達目標區(qū)域的時序約束、無人機終端狀態(tài)量關系約束及其與有人機的防碰撞約束等，以確保無人機與有人機的有效協(xié)同。

在離線航跡規(guī)劃的基礎上，還需要考慮異構機群在線航跡機動調整技術，其主要應對中遠程突發(fā)的機動障礙或內部隊形調整等情況，這一技術可以有效保證協(xié)同系統(tǒng)航跡的靈活性變換。具體針對于有人機/無人機協(xié)同系統(tǒng)，應突出有人機的絕對領導地位，確保其在線機動調整的絕對安全。為此，還應當引入一定的在線調整策略，即通行法則。其思想是令無人機群為有人機航跡調整“讓步”，優(yōu)先調整有人機航跡，令有人機僅考慮外部障礙等不可控威脅，降低其機動帶來的風險和難度，在此基礎上進一步考慮無人機的機動調整。值得一提的是，必要時可令無人機選擇“自殺”的方式抵消外部威脅，以確保有人機的安全。

其次，通過經(jīng)典的OODA 作戰(zhàn)理論［7］可以看出，決策環(huán)節(jié)對航跡控制起著關鍵作用，并且會影響整個作戰(zhàn)平臺的空戰(zhàn)水平［8］。其中，近距空戰(zhàn)中異構機群的智能機動決策技術，具有重要的研究價值，但同時也是一個難點。與異構機群在線航跡機動調整主要考慮中遠距且機動性較弱、規(guī)律性較強的障礙不同，在近距空戰(zhàn)中，敵我機群的機動變化劇烈，戰(zhàn)場態(tài)勢更迭迅速，對決策的實時性和智能程度要求更高。近年來，隨著人工智能技術的普及，特別是深度強化學習理論的迅速發(fā)展，其憑借著不需要先驗知識輸入，僅依靠與環(huán)境交互“試錯”實現(xiàn)自我學習的特點而具備了與近距空戰(zhàn)決策進行結合的可能，同時該技術的運用可以極大地緩解有人機飛行員決策的壓力，為其爭取更多的時間去指揮調度整個有人機/無人機協(xié)同系統(tǒng)，從而最大限度地發(fā)揮協(xié)同系統(tǒng)的作戰(zhàn)效力。

最后，在上述研究的基礎上，研究風場環(huán)境下異構機群隊形魯棒控制技術，該技術是協(xié)同系統(tǒng)航跡控制的最終落腳點。按照無人機是否以伴飛的形式跟蹤有人機，可以分為編隊保持控制器的設計和單機航跡跟蹤控制器的設計兩個子關鍵技術。當無人機執(zhí)行實時避障、空戰(zhàn)打擊等非伴飛任務時，其與有人機的地位是近乎平等的，可統(tǒng)一為單機航跡魯棒控制器設計的問題，其目標是實現(xiàn)在風場影響下對已知航跡的快速穩(wěn)定跟蹤；當無人機協(xié)同有人機巡航或以固定編隊隊形執(zhí)行其他伴飛任務時，有人機作為長機，其飛行航跡通過單機航跡魯棒控制器實現(xiàn)，而無人機作為僚機，需設計魯棒性較好的編隊保持控制器以實現(xiàn)對有人機的跟蹤。

3 關鍵技術的研究現(xiàn)狀

3.1 基于時空約束的異構機群離線航跡規(guī)劃技術

目前，機群離線航跡規(guī)劃從建模的方式上可分為兩種，一種是基于加速度或過載等控制量來建立微分運動方程，將航跡規(guī)劃作為最優(yōu)控制問題進行研究；另一種是基于轉彎角、航段長度而建立代數(shù)運動方程，相應的規(guī)劃方法主要有圖搜索、樹搜索、勢場法等［9］。由于利用前者進行建模的方式更容易與動力學控制接軌，因而在實際工程領域受到了更廣泛的關注，其求解思路主要分為直接法和間接法。直接法將最優(yōu)控制問題轉化為有限維參數(shù)優(yōu)化問題，用非線性規(guī)劃方法進行求解，其缺點是求解精度不高；間接法則重點研究最優(yōu)控制問題的一階必要條件并將其轉化為哈密頓邊值問題，其缺點是收斂半徑較小，對初值要求較高［10］。近年來，凸優(yōu)化理論得到不斷地完善，特別是在求解多維最優(yōu)控制問題方面優(yōu)勢明顯［11］，其本質上屬于直接法的一種，主要采用內點法進行求解［12］，該理論在星際軌道轉移、多智能體航跡規(guī)劃以及無人機編隊隊形重構等領域均有應用。文獻［13］以四旋翼為研究對象，將最優(yōu)控制問題轉化為若干二階錐規(guī)劃的子問題，并利用內點法求解機體避障航跡；文獻［14］利用序列凸規(guī)劃思想，將非凸最優(yōu)控制問題近似為一系列凸優(yōu)化子問題，解決了多無人機編隊重構問題。

另一方面，對于機群時空約束的研究有以下方法：文獻［15］針對無人機編隊控制，研究了可行拓撲圖的特征值分布規(guī)律，并以此解決了編隊控制和觀測信息時空一致性的問題；文獻［16］設計了“時空解耦”特性的多分散控制體系結構，其將空間任務-路徑跟蹤和時間任務-協(xié)調編隊進行了解耦；文獻［17］針對復雜環(huán)境中的機器人的時空約束進行了研究，提出了一種具有時間約束的與或（And/OR）任務樹方法對任務進行建模，并利用市場拍賣機制，解決了網(wǎng)絡分區(qū)引起的候選者缺席問題。然而，目前針對基于時空約束的有人機/無人機機群離線航跡規(guī)劃技術的研究較少，具有代表性的是文獻［18］根據(jù)協(xié)同系統(tǒng)中有人機與無人機的任務特點，分別設計航跡規(guī)劃器與編隊規(guī)劃器，并在編隊規(guī)劃器中引入?yún)f(xié)同時空約束條件，進而對兩規(guī)劃器模型進行近似與凸化，利用凸優(yōu)化算法進行求解，并通過對比仿真，驗證了凸優(yōu)化算法在求解成功率和效率上的優(yōu)勢，并且驗證了協(xié)同時空約束對提高系統(tǒng)飛行安全性的作用。

從上述分析中可以看出，將機群離線航跡規(guī)劃問題視為最優(yōu)控制問題進行求解是一個趨勢，可采用的方法較多且不同程度的適用于有人機/無人機協(xié)同系統(tǒng)。同時，時空約束是異構機群離線航跡規(guī)劃中需要著重考慮的約束是實現(xiàn)異構機群協(xié)同的重要保障，但目前該約束與有人機/無人機協(xié)同系統(tǒng)的結合還缺乏深入的研究，主要表現(xiàn)為對約束過于理想化的處理導致問題研究與實際工程脫軌、系統(tǒng)的異構特點特別是有人機的地位未能突顯等，這些不足是該關鍵技術亟待解決的問題。

3.2 基于通行法則的異構機群中遠距在線航跡機動調整技術

交互避障法是目前最常用的一種在線航跡機動調整的方法，主要包括勢能域法、幾何引導法。幾何引導法又包括威脅錐法［19］、速度障礙物法［20］和幾何微分法［21］等。由于速度障礙物法更為適用于復雜環(huán)境下的多障礙物避障，且對計算要求不高，因此該方法在單智能體實時避障的研究中被廣泛采用。文獻［22］根據(jù)機器人和障礙物的實時狀態(tài)量，采取傳統(tǒng)的速度障礙法對動態(tài)環(huán)境下的機器人進行航跡規(guī)劃，文獻［23］改進了速度障礙法，并將其運用到無人機領域，著重考慮了“潛在危險障礙”的影響和多障礙避障的問題，為無人機自主避障提供了依據(jù)。從目前文獻來看，研究協(xié)同系統(tǒng)特別是有人機/無人機協(xié)同在線航跡機動調整的成果不多，主要受限于避障空間多停留在二維、對障礙物機動性的影響缺乏預測以及針對多機異構系統(tǒng)缺乏一套完整的通行法則等。其中，通行法則的設定也是為了保障有人機在實時航跡機動調整中的絕對優(yōu)勢地位，使得在遇到突發(fā)戰(zhàn)場情況時，能首先保證協(xié)同系統(tǒng)中有人機飛行的安全，對于這方面的研究有：文獻［24］在二維平面內根據(jù)飛機間的相對位置確定相應的通行法則，以確保同一空域內多機的飛行安全，不足之處在于未考慮外部障礙對系統(tǒng)中飛機的影響；文獻［25］提出一種有人機/無人機協(xié)同系統(tǒng)的三維實時避障方法，其思想是將三維空間離散成若干避障平面，通過設定系統(tǒng)遭遇機動障礙時的通行法則，選擇飛行模式，進而確定最佳的避障平面以實現(xiàn)有人機與無人機的協(xié)同避障。

從上述分析可以看出，在線航跡機動調整的關鍵是算法的效率和避障的效果，速度障礙法作為目前處理在線機動的典型算法，受到了廣泛的關注。針對異構機群，通行法則的設定有利于提高協(xié)同系統(tǒng)機動調整的有序性，減少算法的求解空間，降低航跡的優(yōu)化難度，提高求解效率。但目前的研究中，通行法則的設定還不夠深入和系統(tǒng)，缺少一套權威的、專門適用于異構機群的通行法則，并且從現(xiàn)有的公開文獻中，我們發(fā)現(xiàn)對于機動威脅的處理，還存在過于簡化的情況，今后應在機動威脅的建模上花費更多精力。

3.3 基于深度強化學習理論的異構機群近距智能機動決策技術

目前空戰(zhàn)機動決策的方法可大致分為兩大類［26］：一類是以微分對策和專家系統(tǒng)為代表的傳統(tǒng)方法；另一類是以遺傳算法、影響圖法、蟻群算法、人工免疫系統(tǒng)等為代表的智能方法。機動決策的核心在于預測未來的空戰(zhàn)狀態(tài)，但上述方法在長期預測方面不能取得良好的效果，主要受限于計算的復雜性等因素。近年來，人工智能技術在機動決策領域的應用得到了越來越多學者的關注，比較有代表性的有：2016年，美國辛辛那提大學研發(fā)了名為Alpha 的智能空戰(zhàn)系統(tǒng)，其采用了遺傳模糊隨機樹的思想，并在與著名的美國空軍上校Gene Lee 的模擬空戰(zhàn)對抗中取得了完勝［27］；在同一年，美軍提出了Commander′s Virtual Staff 項目［28］，具體通過融合人工智能和信息系統(tǒng)的方式來減輕空戰(zhàn)中指揮官在識別和認知戰(zhàn)場態(tài)勢方面的負擔；2019年8月，美國空軍研究實驗室和DZYNE 公司聯(lián)合開發(fā)了ROBOpilot 項目［29］，其研發(fā)人員利用相機收集飛機儀表板數(shù)據(jù)，并使用機械傳輸設備控制操縱桿、踏板和開關等，以代替飛行員操縱指揮和分析飛行數(shù)據(jù)，進而與飛機進行交互；美國在2015年提出的忠誠僚機計劃，旨在為飛行員提供合理且快速地空戰(zhàn)建議［30］。但綜合看來，目前人工智能技術在機動決策領域的應用主要存在以下三個不足：一是由動作空間離散化或者獎勵函數(shù)簡化等導致的決策模型失真的問題［31］。文獻［32］提出了一種基于強化學習方法的無人機短程空戰(zhàn)自主機動決策模型，根據(jù)離散控制的要求，采用了一種傳統(tǒng)的求解離散空間的深度強化學習方法——深度Q 網(wǎng)絡（DQN）算法，雖然該成果是對強化學習與空戰(zhàn)決策相結合的一次有效探索，但決策模型過于理想化，導致結果與真實空戰(zhàn)決策仍有差距。第二個不足是雖然不少學者通過改進提高了強化學習方法的效率，但面對高維復雜空戰(zhàn)問題，仍存在計算效率問題。在這一方面比較有代表性的探索包括：DeepMind 公司在2016年提出了一種求解連續(xù)控制模型的算法——深度確定性策略梯度（DDPG）算法［33］。在此之后，2017年7月，OpenAI 公司引入了近端策略優(yōu)化（PPO）方法［34］，該方法是對策略優(yōu)化體系的延伸，該方法具有信任區(qū)域策略優(yōu)化的一些優(yōu)點，但實現(xiàn)簡單得多，效率更高。之后，DeepMind 公司在PPO方法的基礎上又提出了分布式近端策略優(yōu)化方法（DPPO）［35］。第三個不足是智能體機動決策的任務和目標相對單一，如無人機多以實現(xiàn)空戰(zhàn)打擊、無人車多以實現(xiàn)安全駕駛為目標，缺乏人為的有效干預和引導，不能充分發(fā)揮人在協(xié)同系統(tǒng)中的指揮協(xié)調作用，針對這一問題，文獻［36］將標準Q 學習中狀態(tài)到動機的二層映射，轉變?yōu)閯訖C引導的Q 學習狀態(tài)-動機-動作的三層映射，并且用模擬退火算法的思想對強化學習過程進行了優(yōu)化，但在動機層以及動機到動作規(guī)則的設計上采用的是IF-THEN 規(guī)則，具有較大的主觀性，仍有改進空間。

就目前的研究現(xiàn)狀而言，將深度強化學習與有人機/無人機智能決策理論相結合的研究相對較少，特別是對二者之間的適用性和可行性方面的研究更是比較匱乏，較為有代表性的是文獻［37］將深度強化學習理論與有人/無人智能空戰(zhàn)決策模型相結合，并創(chuàng)新地提出了四種典型的作戰(zhàn)意圖，具體包括：強攻、逃離、追擊和能量積蓄，這四種意圖分別對應不同的優(yōu)化模型；該文獻對傳統(tǒng)的DDPG 算法進行了結構改進，主要針對經(jīng)驗池進行了重構設計，具體表現(xiàn)為增加了經(jīng)驗判斷機制和改良了經(jīng)驗取樣策略，其對于神經(jīng)網(wǎng)絡訓練的收斂和穩(wěn)定有積極作用；同時，該文獻設計了空戰(zhàn)自我博弈環(huán)節(jié)，通過不同意圖之間的反復對抗訓練，有效地提升了空戰(zhàn)智能決策水平，這對于訓練深度神經(jīng)網(wǎng)絡和最終實現(xiàn)真正的智能空戰(zhàn)有著重要的指導意義。

綜合上述分析，我們發(fā)現(xiàn)將深度強化學習理論與異構機群近距智能機動決策相結合是當今的研究熱點和趨勢，各軍事強國都在大力推進相關技術的發(fā)展與研究，并取得了一定的成果。深度強化學習理論仍在不斷發(fā)展之中，將其最新的理論成果運用到異構機群決策技術之中，降低飛行員的指揮難度，即達到僅在必要時刻才需要飛行員干預和決策的目的，以實現(xiàn)真正的智能空戰(zhàn)，是今后的研究目標。

3.4 基于風場影響的異構機群隊形魯棒控制技術

當無人機協(xié)同有人機執(zhí)行非伴飛任務時，可將二者視為相互獨立、地位平等的單智能體，此時研究隊形控制時，只需設計單機航跡跟蹤控制器?？v觀飛行控制技術的發(fā)展，PID 控制作為經(jīng)典理論控制方法的代表，被廣泛運用到各類飛行器控制中，但該方法的參數(shù)調節(jié)是一個復雜繁瑣的過程，特別是當無人機遇到外界擾動時，其控制精度較差。針對這一問題，現(xiàn)代控制技術中的魯棒控制理論逐漸興起，其能夠有效應對包括外界干擾（如風場）及模型攝動引起的系統(tǒng)不確定性問題［38］。該理論包含Kharitonov 區(qū)間理論、H∞控制理論和結構奇異值理論（μ 理論）等，其中H∞控制理論通過設計反饋控制器，使閉環(huán)系統(tǒng)穩(wěn)定且閉環(huán)傳遞函數(shù)陣的H∞范數(shù)最小或小于某一給定值，以達到被控對象滿足理想性能要求的目標，這一理論應用最為廣泛［39］：如文獻［38］為解決無人機飛行過程中由于外界干擾及被控對象模型攝動引起的系統(tǒng)不確定性問題，對魯棒H∞控制器進行了模型降階和離散化，并通過半物理仿真驗證了其良好的控制效果；文獻［40］利用魯棒H∞模型對其進行改進，設計了一種基于魯棒H∞/S 面模型的控制方法，并針對該控制方法，以某型無人機為例進行了縱向飛行仿真試驗、橫側向飛行仿真試驗和模型參數(shù)不確定性的研究；文獻［41］基于狀態(tài)反饋H∞最優(yōu)控制，對于小擾動假設下的無人機縱向飛行和無人機橫側向飛行的動態(tài)方程分別設計了對應的反饋控制器并擬通過頻域分析的方式對其魯棒穩(wěn)定性進行分析。隨著計算機硬件水平的不斷提升，限制魯棒控制理論應用的計算量較大的問題已逐漸解決，因而針對風場影響下的單機航跡跟蹤控制器設計問題，運用魯棒H∞等控制理論進行研究，是一個不錯的選擇。

另一方面，當無人機協(xié)同有人機進行伴飛時，無人機作為僚機，需設計魯棒性較好的編隊保持控制器以實現(xiàn)對長機即有人機的跟蹤。目前，以有人機/無人機為研究對象的編隊保持研究不是很多，我們可以從現(xiàn)有的多智能體編隊控制中提取相關技術經(jīng)驗，如：文獻［42］基于動態(tài)面方法設計了自主水下航行器編隊控制律，使得自主水下航行器之間保持期望的距離，達到編隊控制的目的；文獻［43］針對多無人機集結期望的隊形和達到穩(wěn)態(tài)速度緩慢影響作戰(zhàn)效率，基于反步推演法設計了一種協(xié)同導引控制律，用于解決多無人機快速隊形重構和快速達到穩(wěn)定狀態(tài)；文獻［44］針對四旋翼無人機群在軌跡跟蹤過程中易受外界干擾而引起跟蹤誤差的問題，首先通過積分反步法（IBS）對所建四旋翼飛行器模型設計leader 無人機的軌跡跟蹤控制器，其次設計了基于滑模法的控制器（SMC）以控制leader 與follower 無人機實現(xiàn)期望的編隊隊形并同時跟蹤參考軌跡。從上述研究可以看出，現(xiàn)代控制方法中典型代表之一——反步法，在多智能體隊形保持控制器設計上應用廣泛，其以李雅普（Lyapunov）理論為基礎，設計子系統(tǒng)期望的虛擬輸入信號，然后反饋給控制器得到真實子系統(tǒng)的控制輸入。該控制方法在處理非線性、不確定性影響問題時有良好的效果，并且收斂速度很快。

綜上可知，異構機群隊形魯棒控制技術包含單機航跡跟蹤控制器設計和編隊保持控制器設計兩個子技術。現(xiàn)代控制技術中一些相對成熟的控制理論可以引入到兩類控制器的設計中。目前，國內關于有人機/無人機異構機群隊形魯棒控制的飛行試驗成果尚屬空白。實驗室仿真與真實的風場等不確定環(huán)境下的飛行試驗，這兩者在驗證控制方法效果上還有一定的差距，今后應重點開展利用飛行試驗驗證相關關鍵技術的研究。

4 結束語

有人機/無人機協(xié)同系統(tǒng)的研究是新興的一大熱點，其符合未來戰(zhàn)爭的發(fā)展方向。本文從飛行動力學與控制學科的角度出發(fā)，對協(xié)同系統(tǒng)的航跡控制問題進行了探討，對其中的關鍵技術進行了梳理和總結。研究發(fā)現(xiàn)，該協(xié)同系統(tǒng)與現(xiàn)有的多智能體編隊在航跡控制方面既有聯(lián)系又有不同。聯(lián)系在于二者之間的關鍵技術有相通之處，許多已有的求解思路和成熟理論可以在有人機/無人機協(xié)同系統(tǒng)中得以借鑒和使用；而不同之處在于，有人機/無人機協(xié)同系統(tǒng)的航跡控制更為復雜，需要考慮的約束更多，特別是該系統(tǒng)中有人機的地位特殊，一方面要充分考慮其飛行安全，另一方面，又要通過設計輔助決策系統(tǒng)，協(xié)助有人機飛行員指揮控制整個系統(tǒng)的航跡，進而發(fā)揮聯(lián)合作戰(zhàn)的優(yōu)勢，為打贏未來高技術局部戰(zhàn)爭打下基礎。

在今后有人機/無人機協(xié)同系統(tǒng)航跡控制領域，還可以針對特殊機型研究大迎角、過失速的機動，以完成特殊的空戰(zhàn)任務，增加戰(zhàn)術的多樣性；另外，可以對面向作戰(zhàn)的有人機引導下的大規(guī)模無人機編隊的航跡控制進行探索，即“蜂群戰(zhàn)術”，這需要在建立通信拓撲的基礎上，設計更為復雜和龐大的控制系統(tǒng)，這都是未來有人機/無人機協(xié)同系統(tǒng)航跡控制發(fā)展的新挑戰(zhàn)。