吳兆香 歐陽權(quán) 王志勝 馬瑞 叢玉華

摘要：區(qū)域偵察是無人機(jī)研究領(lǐng)域的一個重要分支。由于實(shí)際任務(wù)和環(huán)境十分復(fù)雜，區(qū)域偵察控制方法必須具備較快的計(jì)算速度、較強(qiáng)的自主性和智能性。人工智能因具有學(xué)習(xí)能力強(qiáng)、效率高、融合度高等特性被應(yīng)用于區(qū)域偵察任務(wù)中。本文系統(tǒng)介紹了區(qū)域偵察問題的背景并綜述了基于人工智能解決該問題的方法，主要分為構(gòu)造并優(yōu)化目標(biāo)函數(shù)的啟發(fā)式算法和求解最優(yōu)價(jià)值或策略的深度強(qiáng)化學(xué)習(xí)方法這兩類。通過對上述方法的全方位比較，發(fā)現(xiàn)深度強(qiáng)化學(xué)習(xí)因具有自學(xué)習(xí)和在線學(xué)習(xí)的性能，能很好地適應(yīng)復(fù)雜、未知環(huán)境進(jìn)而能快速、準(zhǔn)確解決區(qū)域偵察問題。此外，本文還探討了無人機(jī)區(qū)域偵察技術(shù)的發(fā)展趨勢及深度強(qiáng)化學(xué)習(xí)面臨的挑戰(zhàn)。

關(guān)鍵詞：人工智能；區(qū)域偵察；深度強(qiáng)化學(xué)習(xí)；啟發(fā)式算法；自主智能

中圖分類號：TP18文獻(xiàn)標(biāo)識碼：ADOI：10.19452/j.issn1007-5453.2020.10.010

基金項(xiàng)目：江蘇省高校自然科學(xué)研究面上項(xiàng)目（18KJB520023）；南京理工大學(xué)紫金學(xué)院?？蒲许?xiàng)目（2019ZRKX0401006）

無人機(jī)因具有機(jī)動性高、隱蔽性好、生存能力強(qiáng)、成本低等特點(diǎn)，被廣泛應(yīng)用于救災(zāi)搶險(xiǎn)、環(huán)境監(jiān)測、監(jiān)控搜尋、航空記錄等領(lǐng)域，無人機(jī)區(qū)域偵察是其中一項(xiàng)重要的任務(wù)。隨著環(huán)境和任務(wù)的日漸復(fù)雜，單個無人機(jī)因完成任務(wù)載荷低、計(jì)算能力弱、感知范圍小已不能滿足人們的需求。因而，無人機(jī)“集群”概念隨即產(chǎn)生，越來越智能化和體系化，無人機(jī)群協(xié)同偵察也成為當(dāng)下的一個研究熱點(diǎn)[1-2]。

無人機(jī)區(qū)域偵察的核心任務(wù)是獲取一個或多個目標(biāo)位置信息，可分為目標(biāo)位置信息已知和目標(biāo)位置信息未知兩種情形。早期的研究[3-5]多是針對目標(biāo)信息已知的情況，此時無人機(jī)需要規(guī)劃航路抵達(dá)目標(biāo)所在位置，從而獲取更詳細(xì)的信息或者監(jiān)視跟蹤它。V. K. Shetty等[3]基于優(yōu)先級將目標(biāo)分配給無人機(jī)，用禁忌搜索啟發(fā)式算法協(xié)調(diào)分解問題，用歐幾里得（Euclid）公式計(jì)算距離代價(jià)函數(shù)，從而完成多無人機(jī)的路徑規(guī)劃。但隨著任務(wù)環(huán)境日趨復(fù)雜化，無人機(jī)無法獲得目標(biāo)的具體信息[6-8]。因此，需要研究無人機(jī)在目標(biāo)位置信息未知的情況下執(zhí)行區(qū)域偵察任務(wù)，即通過算法規(guī)劃出無人機(jī)航路使其偵察覆蓋率最大，從而能大范圍、快速搜索到目標(biāo)以獲取信息。J. Tisdale等[6]設(shè)計(jì)了一個基于視覺的傳感系統(tǒng)，該系統(tǒng)允許在同一個框架中進(jìn)行目標(biāo)搜索和定位，無人機(jī)之間傳遞似然函數(shù)，協(xié)同搜索目標(biāo)。

值得注意的是，現(xiàn)實(shí)場景和任務(wù)會遇到通信存在干擾甚至通信拒止的情況。這種情況下，無人機(jī)無法實(shí)時接收到系統(tǒng)發(fā)出的控制指令，需要無人機(jī)具備自主控制的能力從而獨(dú)立或者協(xié)同完成目標(biāo)搜索任務(wù)。沈延航等[9]基于搜索域上的“回報(bào)率”狀態(tài)圖，研究了多無人機(jī)協(xié)同搜索規(guī)劃方法并將其與隨機(jī)搜索進(jìn)行比較，協(xié)同搜索方法明顯更優(yōu)。楊少環(huán)等[10]根據(jù)無人機(jī)和目標(biāo)的行為建立了博弈模型，以掃描方式規(guī)范路徑，實(shí)現(xiàn)待搜索區(qū)域的完全覆蓋。

目前，用來求解目標(biāo)搜索問題的方法種類繁多，如何判斷這些算法的優(yōu)劣也成為一個問題。一般而言，評價(jià)指標(biāo)有完成區(qū)域偵察所需時間、區(qū)域覆蓋率、無人機(jī)數(shù)量、航路長短、能量損耗等。參考文獻(xiàn)[11]采用多無人機(jī)斜線編隊(duì)的方式對任務(wù)區(qū)域進(jìn)行偵察，以覆蓋率為指標(biāo)函數(shù)，避免無人機(jī)并行造成的面積重疊問題并提高了搜索效率。參考文獻(xiàn)[12]將區(qū)域遍歷搜索問題轉(zhuǎn)化為最優(yōu)問題，即使最后完成任務(wù)的無人機(jī)花費(fèi)的時間最小化，并結(jié)合一些約束條件，最終達(dá)成無人機(jī)數(shù)量最少、路徑最短、時間最短的搜索目的。實(shí)質(zhì)上，這些評價(jià)指標(biāo)都是基于算法的偵察代價(jià)函數(shù)而言的，函數(shù)考慮的因素越多，約束越復(fù)雜，實(shí)現(xiàn)后的效果越優(yōu)越。

總之，在無人機(jī)區(qū)域偵察領(lǐng)域，主要研究有單/多無人機(jī)、靜態(tài)/動態(tài)目標(biāo)[13]、無人機(jī)自主/協(xié)同控制、性能指標(biāo)優(yōu)化、航跡規(guī)劃等，研究寬泛而復(fù)雜，對方法要求越來越高。近年來，由于人工智能[14-17]能夠模仿人的思維進(jìn)行思考，甚至是做出決策，在某些方面超過人的智能，所以學(xué)者們對其展開大量理論研究和實(shí)際應(yīng)用，使其發(fā)展迅速并逐漸深入人們的生活，在現(xiàn)代科技領(lǐng)域有著廣泛的應(yīng)用和廣闊的前景。用人工智能方法求解無人機(jī)區(qū)域偵察問題確實(shí)能使無人機(jī)自主協(xié)同、高效率、低成本地完成任務(wù)，具有極高的研究意義。

本文分類整理了人工智能在無人機(jī)區(qū)域偵察上的應(yīng)用，比較了各方法的性能優(yōu)劣，以便研究者們能夠快速掌握無人機(jī)區(qū)域偵察的研究現(xiàn)狀，從而進(jìn)一步展開深層次的研究。

1問題概述

無人機(jī)被任意部署在特定任務(wù)區(qū)域周圍，并對這個區(qū)域進(jìn)行偵察，在滿足無人機(jī)控制的基礎(chǔ)上實(shí)現(xiàn)短時間內(nèi)區(qū)域覆蓋最大、目標(biāo)確認(rèn)最多的目的，并計(jì)算完成任務(wù)區(qū)域完全覆蓋、目標(biāo)全部確認(rèn)的總時間。無人機(jī)區(qū)域偵察任務(wù)環(huán)境示意圖如圖1所示。

任務(wù)區(qū)域可能是布滿高樓大廈的陸地，或者是廣闊遼遠(yuǎn)的海面；區(qū)域內(nèi)沒有障礙物或者障礙物是隱性的等，這都是由現(xiàn)實(shí)情況所定的?，F(xiàn)實(shí)環(huán)境隨機(jī)變化的復(fù)雜性要求算法有一定的智能性、自主性，能夠識別環(huán)境特征、躲避障礙物，實(shí)現(xiàn)區(qū)域偵察、快速覆蓋。

此外，無人機(jī)進(jìn)行區(qū)域偵察的終極目的是找到任務(wù)區(qū)域內(nèi)的目標(biāo)，并將其位置、動態(tài)信息反饋給控制中心以便分配下一任務(wù)。而目標(biāo)在區(qū)域內(nèi)的位置也是任意的，包括已知或未知、靜止或動態(tài)、普通或高級等情況。這就導(dǎo)致算法需要具備更高的性能才能快速、高效、準(zhǔn)確地搜索到目標(biāo)。

人工智能因具有搜索技術(shù)、知識庫技術(shù)、歸納技術(shù)等基本技術(shù)在求解區(qū)域偵察問題上具有一定的優(yōu)越性。所以，本文致力于研究人工智能求解無人機(jī)區(qū)域偵察問題，具體框架圖如圖2所示。將基于人工智能處理區(qū)域偵察問題的方法分成兩類：一類是構(gòu)造目標(biāo)函數(shù)并進(jìn)行優(yōu)化的啟發(fā)式算法；另一類是求解最優(yōu)價(jià)值或策略并實(shí)施在線獎懲的深度強(qiáng)化學(xué)習(xí)方法。

2傳統(tǒng)方法

在人工智能方法還未普及之前，學(xué)者們把區(qū)域當(dāng)作研究突破點(diǎn)，即將區(qū)域劃分成小塊分配給每個無人機(jī)。那么問題就轉(zhuǎn)化為單無人機(jī)規(guī)劃問題：每架無人機(jī)在各自領(lǐng)域內(nèi)進(jìn)行航跡規(guī)劃，搜索所在區(qū)域的目標(biāo)，降低了問題的復(fù)雜性。

為了追求均衡，一般是將任務(wù)區(qū)域等面積劃分。每個無人機(jī)分得相同面積的區(qū)域，然后規(guī)劃如何在該區(qū)域內(nèi)快速找到目標(biāo)。高春慶等[18]先將任務(wù)區(qū)域劃分為小網(wǎng)格，每4個小網(wǎng)格匯聚成一個方格，基于方格劃分區(qū)域進(jìn)而優(yōu)化每個無人機(jī)的偵察路徑。但是方格數(shù)量不一定會使每個無人機(jī)分配到的搜索面積完全相等，存在近似情況。基于面積均衡原則，戴健等[19]研究了凸多邊形和非凸多邊形的區(qū)域劃分。依據(jù)無人機(jī)來向，將凸多邊形區(qū)域劃分為n等份（n為無人機(jī)數(shù)量）；利用區(qū)域分割線平行于某一邊界的原則[20]在區(qū)域凹口處進(jìn)行凸分解，再進(jìn)行凸等分。

上述文獻(xiàn)區(qū)域內(nèi)沒有禁飛區(qū)或者障礙且沒有考慮到無人機(jī)的初始位置；將無人機(jī)任務(wù)區(qū)域固定沒有充分考慮區(qū)域形狀對無人機(jī)轉(zhuǎn)彎的影響，導(dǎo)致無人機(jī)執(zhí)行時會有難度。參考文獻(xiàn)[21]依據(jù)無人機(jī)初始位置進(jìn)行Voronoi圖[22]（V圖）劃分，每走完一步就進(jìn)行V圖更新。每個無人機(jī)在各自的V圖區(qū)域內(nèi)進(jìn)行偵察搜索。隨著搜索的進(jìn)行，任務(wù)區(qū)域的不確定度就會不斷降低。

上述方法雖然各有優(yōu)點(diǎn)，但也存在相應(yīng)問題：未考慮無人機(jī)轉(zhuǎn)彎數(shù)從而增加執(zhí)行難度；最優(yōu)解難以求得，計(jì)算復(fù)雜，而且還存在區(qū)域重復(fù)偵察的情況。最主要的問題是無人機(jī)只負(fù)責(zé)各自分得的區(qū)域獨(dú)立完成任務(wù)，相互之間沒有信息交流、協(xié)同合作。然而，每個區(qū)域內(nèi)的目標(biāo)數(shù)量是不一樣的、復(fù)雜度也不統(tǒng)一，易出現(xiàn)無人機(jī)先完成目標(biāo)搜索然后在此區(qū)域內(nèi)重復(fù)搜索的情況，導(dǎo)致資源利用不合理、不充分而大量浪費(fèi)，經(jīng)濟(jì)效益不高。所以，需要研究更智能的算法：不需要區(qū)域劃分，無人機(jī)直接偵察區(qū)域；無人機(jī)能夠根據(jù)具體情況實(shí)時、自主采取措施；無人機(jī)之間相互配合協(xié)同工作，更合理、更智能、更快速地實(shí)現(xiàn)區(qū)域偵察任務(wù)。

3人工智能方法

人工智能作為計(jì)算機(jī)科學(xué)的一部分，研究如何表示、獲得、運(yùn)用知識，通過模擬人的思維方式并將其應(yīng)用到機(jī)器中，使機(jī)器具有智能性。無人機(jī)在執(zhí)行區(qū)域偵察任務(wù)時，由于環(huán)境復(fù)雜多變很可能發(fā)生無人機(jī)無法做出及時、準(zhǔn)確的判斷而導(dǎo)致任務(wù)失敗的情況。因此，需要深入研究如何讓無人機(jī)具備一定的自主性。這與人工智能方法的特點(diǎn)是相呼應(yīng)的，所以將人工智能應(yīng)用在無人機(jī)區(qū)域偵察問題上具有極高的現(xiàn)實(shí)、實(shí)用意義。

3.1目標(biāo)函數(shù)優(yōu)化——啟發(fā)式算法

20世紀(jì)80年代，啟發(fā)式算法一出現(xiàn)就成為一個新興領(lǐng)域，成為人工智能以及經(jīng)濟(jì)、社會、生物等交叉學(xué)科的研究熱點(diǎn)。在沒有集中控制和全局模型的前提下，自然界中簡單的個體通過組織和相互協(xié)作做出群體智能行為，具有天然的自組織特征，為解決復(fù)雜問題提供新的求解思路。啟

發(fā)式算法主要有蟻群算法[23-24]（ACO）、粒子群算法[25-26]（PSO）、遺傳算法[27-28]（GA）等，通過構(gòu)造無人機(jī)區(qū)域偵察問題的目標(biāo)函數(shù)，用啟發(fā)式算法的智能性來求解，有一定的研究意義。

3.1.1基于蟻群算法求解區(qū)域偵察

螞蟻是自然界中的一種微小、弱勢的群體，單獨(dú)的螞蟻沒有太多智能行為，但當(dāng)多個螞蟻一起工作時，它們可以沿著最優(yōu)的路徑尋找、搬運(yùn)食物，具有良好的協(xié)同性、智能性。具體蟻群尋找最優(yōu)路徑的過程如圖3所示。圖3（a）表示蟻群遇到一個分叉路口，需要做出選擇；圖3（b）表示上下兩條路徑長度是不等的，螞蟻隨機(jī)選擇一條；圖3（c）表示選擇下面這條路的螞蟻先到達(dá)目的地，沿原路返回并釋放更多的信息素；圖3（d）表示下面路徑積累的信息素比上面路徑更多，螞蟻傾向于選擇下面這條路，也就是信息素多的路徑（圖3中的虛線表示信息素）。

同樣，將蟻群尋找最優(yōu)路徑的想法應(yīng)用到無人機(jī)區(qū)域偵察上面，能優(yōu)化各個無人機(jī)的路徑，減少能量損失。

參考文獻(xiàn)[29]將任務(wù)區(qū)域分為8個子區(qū)域，采用蟻群算法使得每個區(qū)域的飛行路線最優(yōu)，從而求得最佳偵察方案；參考文獻(xiàn)[30]提出多群體蟻群算法來優(yōu)化多無人機(jī)協(xié)同目標(biāo)搜索算法。不再局限于一個蟻群群體，而是拓展至多個蟻群群體，與多無人機(jī)的編隊(duì)相呼應(yīng)，比較適用于多無人機(jī)編隊(duì)執(zhí)行區(qū)域偵察任務(wù)。

多群體蟻群算法求解多無人機(jī)區(qū)域偵察問題的思路如下：增加蟻群群體，多群體蟻群共同解決更復(fù)雜的多無人機(jī)區(qū)域偵察問題；處于不同群體具有相同編號的螞蟻之間信息素相互排斥，增加負(fù)反饋機(jī)制；螞蟻之間的組合方式多樣，增加系統(tǒng)的穩(wěn)定性；確定下一步動作時使用輪盤賭選擇法；每次迭代結(jié)束后只更新全局最優(yōu)的路徑，加快算法的收斂速度；根據(jù)代價(jià)函數(shù)及時計(jì)算已搜索目標(biāo)的收益，減少重復(fù)率。

此外，該算法還考慮了無人機(jī)的禁飛區(qū)：通過探測是否到達(dá)禁飛區(qū)并判斷哪個方向是不會進(jìn)入禁飛區(qū)的。因此，在含有禁飛區(qū)的任務(wù)區(qū)域內(nèi)，該算法使無人機(jī)能夠自主避開所有禁飛區(qū)，最終得到無人機(jī)數(shù)量少、時間短、路線優(yōu)的區(qū)域偵察方案。

蟻群算法因其多元性、整體性、相關(guān)性、分布式計(jì)算、自組織、正反饋等特征而被廣泛應(yīng)用于組合優(yōu)化問題上，可以用來求解區(qū)域偵察無人機(jī)航跡規(guī)劃問題。

3.1.2基于粒子群算法求解區(qū)域偵察

PSO算法流程如下：（1）粒子群初始化：包括種群規(guī)模、權(quán)重系數(shù)、速度位置信息等；（2）計(jì)算每個粒子的適應(yīng)度值，找出個體最優(yōu)值和全局最優(yōu)值；（3）判斷是否是最優(yōu)解：若是最優(yōu)解或者達(dá)到迭代次數(shù)，則輸出該解。否則根據(jù)式（2）更新粒子的速度和位置信息；（4）更新速度和位置并返回第（2）步，進(jìn)行新一輪的迭代。

上述流程可以看出，PSO算法簡單易實(shí)現(xiàn)，并且不需要調(diào)整太多的參數(shù)，計(jì)算量小，收斂速度快，特別適合求解優(yōu)化問題。

許友平[31]用粒子群算法求解目標(biāo)搜索階段的航路規(guī)劃問題，使無人機(jī)在較短的時間內(nèi)遍歷任務(wù)區(qū)域，從而偵察到更多的目標(biāo)，降低區(qū)域信息的不確定度。參考文獻(xiàn)[32]用粒子群算法為每架無人機(jī)規(guī)劃航路，在求解過程中，將其他無人機(jī)考慮進(jìn)目標(biāo)函數(shù)，從而實(shí)現(xiàn)多無人機(jī)的協(xié)同搜索，如圖4所示。

3.1.3基于遺傳算法求解區(qū)域偵察

遺傳算法[33]是一種模擬自然界生物進(jìn)化的迭代進(jìn)化算法，依據(jù)“優(yōu)勝劣汰，適者生存”的原則對種群進(jìn)行篩選，經(jīng)過選擇、交叉、變異操作，不斷接近最優(yōu)解直至求得最優(yōu)解[34]。圖5解釋了遺傳算法的主要過程。主要思想是：將可能解看作種群中的個體，并對其編碼；基于適應(yīng)度函數(shù)對個體進(jìn)行評價(jià)；接著選擇、復(fù)制優(yōu)良個體（適應(yīng)度函數(shù)值較高的個體）；交叉、變異產(chǎn)生新的個體，更新種群。重復(fù)以上操作，直至滿足終止條件，從而求得最優(yōu)解，具有良好的全局搜索能力。

參考文獻(xiàn)[35]采用經(jīng)典的遺傳算法求解多無人機(jī)進(jìn)行區(qū)域監(jiān)視的航路規(guī)劃問題，具體步驟如下：

（1）基因編碼[36]：對無人機(jī)的轉(zhuǎn)彎角進(jìn)行編碼而不是直接對無人機(jī)的位置進(jìn)行編碼，一方面是更新后的位置可能違背無人機(jī)的飛行約束條件；另一方面在計(jì)算量上有明顯的優(yōu)勢。

（2）初始化種群：種群用矩陣表示，矩陣大小是s×N，種群個體為s，即無人機(jī)群的協(xié)同飛行方式；N是無人機(jī)數(shù)量。

（3）適應(yīng)度函數(shù)[37]：無人機(jī)群在下一時刻的區(qū)域面積覆蓋率，用無人機(jī)的偵察面積除以任務(wù)區(qū)域的總面積。

（4）選擇：采用輪盤賭選擇法[38]，適應(yīng)度值越大的個體被選擇的概率就大。

（5）交叉與變異[39-40]：基于交叉概率兩兩配對進(jìn)行轉(zhuǎn)彎角互換；基于變異概率隨機(jī)對某個轉(zhuǎn)彎角變異。

（6）判斷是否滿足最大迭代次數(shù)，若滿足則輸出整個過程中適應(yīng)度值最大的個體；若不滿足則轉(zhuǎn)到（4）繼續(xù)。

經(jīng)過以上遺傳操作，依次得到無人機(jī)接下來每一步的轉(zhuǎn)彎角，再將其轉(zhuǎn)換為無人機(jī)的位置和航向信息，一個個節(jié)點(diǎn)連接起來便形成各架無人機(jī)的航跡。從而實(shí)現(xiàn)滿足任務(wù)區(qū)域覆蓋最大的航跡規(guī)劃。

參考文獻(xiàn)[41]針對傳統(tǒng)遺傳算法耗時長、易陷入局部最優(yōu)解的缺點(diǎn)，在傳統(tǒng)的遺傳算法上做了改進(jìn)，加入了反向思想[42]，提高種群的多樣性并提高解的質(zhì)量。

除了以上三種啟發(fā)式算法，還有很多算法被用來求解區(qū)域偵察問題，如參考文獻(xiàn)[43]采用離散布谷鳥搜索算法[44-45]來求解如何使得遍歷全部偵察區(qū)域的航程最短、時間最少、偵察收益最大，并通過仿真驗(yàn)證其有效性和可行性。

上述啟發(fā)式算法求解無人機(jī)區(qū)域偵察問題的出發(fā)點(diǎn)是建立無人機(jī)偵察過程中的目標(biāo)函數(shù)，將問題轉(zhuǎn)化為優(yōu)化問題，然后用這些算法來求解目標(biāo)函數(shù)，即求得最優(yōu)解，再實(shí)現(xiàn)無人機(jī)的航跡規(guī)劃。但如果這些目標(biāo)函數(shù)考慮的全面而復(fù)雜、無人機(jī)數(shù)量較多時，維數(shù)增加，計(jì)算量會很龐大；約束條件增多，求解困難甚至可能求不出解。所以，還需研究更智能、更強(qiáng)大的算法來解決這些問題。

3.2策略優(yōu)化——深度強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)[46-47]是機(jī)器學(xué)習(xí)的一種，其本質(zhì)是描述智能體不斷與環(huán)境交互進(jìn)行策略學(xué)習(xí)，解決如何使環(huán)境回報(bào)值最大或?qū)崿F(xiàn)特定目標(biāo)的問題。具體的模型如圖6所示。

智能體在當(dāng)前狀態(tài)執(zhí)行動作a，環(huán)境接受該動作后賦予智能體新的狀態(tài)s并反饋一個回報(bào)r給智能體，智能體根據(jù)回報(bào)r調(diào)整策略并重復(fù)學(xué)習(xí)，不斷得到狀態(tài)-動作值關(guān)系對，直至任務(wù)完成并產(chǎn)生一個最優(yōu)的策略。

強(qiáng)化學(xué)習(xí)由于其試錯搜索、延遲獎賞的特點(diǎn)，被用來訓(xùn)練無人機(jī)的自主性，能使無人機(jī)完成一些復(fù)雜決策的任務(wù)。但在面對復(fù)雜高維環(huán)境時，狀態(tài)矩陣的維度會非常大，無法找到最佳的狀態(tài)-動作關(guān)系，導(dǎo)致智能體不能做出正確的動作。而深度學(xué)習(xí)[48-49]模仿人腦對數(shù)據(jù)進(jìn)行處理，給出解釋，自主性更強(qiáng)。用函數(shù)擬合問題替代強(qiáng)化學(xué)習(xí)中的狀態(tài)-動作值函數(shù)矩陣更新問題，狀態(tài)相近輸出也相近，進(jìn)而解決復(fù)雜環(huán)境下的決策問題。

因此，將深度神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)融合起來構(gòu)成深度強(qiáng)化學(xué)習(xí)[50]，汲取兩者的優(yōu)勢、補(bǔ)足相應(yīng)的不足，在計(jì)算機(jī)視覺、游戲、機(jī)器人等領(lǐng)域取得較大的突破，正逐步成為機(jī)器學(xué)習(xí)、人工智能領(lǐng)域最火熱的應(yīng)用方向，具有極高的研究價(jià)值。當(dāng)然，深度強(qiáng)化學(xué)習(xí)在無人機(jī)方面的技術(shù)也越來越成熟，關(guān)于區(qū)域偵察任務(wù)也有所涉及。

3.2.1基于深度Q網(wǎng)絡(luò)求解區(qū)域偵察

深度Q網(wǎng)絡(luò)[51]（deep Q-network，DQN）將深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）與強(qiáng)化學(xué)習(xí)中的Q-Learning結(jié)合在一起。利用CNN處理大規(guī)模輸入數(shù)據(jù)，輸出提取到的特征，并發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律；然后用Q-Learning通過馬爾可夫決策建立模型，不斷更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，從而實(shí)現(xiàn)對Q表的擬合。具體算法原理如圖7所示。

DQN強(qiáng)大的兩個因素是經(jīng)驗(yàn)回放和兩個神經(jīng)網(wǎng)絡(luò)。從經(jīng)驗(yàn)池里隨機(jī)抽取數(shù)據(jù)進(jìn)行估計(jì)網(wǎng)絡(luò)，減少數(shù)據(jù)間的關(guān)聯(lián)性[52]；估計(jì)值網(wǎng)絡(luò)訓(xùn)練出值函數(shù)的估計(jì)值，目標(biāo)值網(wǎng)絡(luò)訓(xùn)練出值函數(shù)的期望值，計(jì)算兩者的差值再利用隨機(jī)梯度下降更新估計(jì)值網(wǎng)絡(luò)的參數(shù)，進(jìn)行新一輪的訓(xùn)練。估計(jì)值網(wǎng)絡(luò)和目標(biāo)值網(wǎng)絡(luò)是兩個完全一樣的網(wǎng)絡(luò)，只是網(wǎng)絡(luò)參數(shù)更新步調(diào)不一致，相差一個步長。這種延遲更新參數(shù)的方式也減少了相關(guān)性。

李艷慶[35]用DQN解決多無人機(jī)協(xié)同區(qū)域監(jiān)視的航路規(guī)劃問題，在一定程度上解決多無人機(jī)對任務(wù)區(qū)域的覆蓋問題，主要關(guān)鍵點(diǎn)如下。

（1）確定無人機(jī)狀態(tài)和動作

每架無人機(jī)的狀態(tài)包括三個元素：位置橫坐標(biāo)、位置縱坐標(biāo)、速度方向；在小于最大轉(zhuǎn)彎角的前提下對可到達(dá)位置圓弧進(jìn)行均分，確定可選擇的動作。

（2）確定獎賞函數(shù)

針對多無人機(jī)區(qū)域偵察問題，將無人機(jī)群的監(jiān)視面積覆蓋率作為獎勵函數(shù)。

（3）訓(xùn)練網(wǎng)絡(luò)

通過以上步驟對估計(jì)值網(wǎng)絡(luò)和目標(biāo)值網(wǎng)絡(luò)進(jìn)行訓(xùn)練，采用梯度下降方法不斷逼近目標(biāo)值、更新網(wǎng)絡(luò)參數(shù)，使得各個無人機(jī)執(zhí)行訓(xùn)練得到的動作，進(jìn)而形成航路來進(jìn)行區(qū)域偵察任務(wù)。

3.2.2基于近端策略優(yōu)化算法求解區(qū)域偵察

近端策略優(yōu)化算法[53]（proximal policy optimization，PPO）也是深度強(qiáng)化學(xué)習(xí)的一種，是基于策略梯度的異策略學(xué)習(xí)算法。它不同于DQN，因?yàn)镈QN是通過估計(jì)最優(yōu)價(jià)值函數(shù)來求得最優(yōu)策略；而PPO試圖用含參函數(shù)近似最優(yōu)策略，通過迭代更新參數(shù)值。簡言之，DQN是一種最優(yōu)價(jià)值算法，PPO是一種策略梯度算法。

PPO算法本質(zhì)上是Actor-Critic算法，Actor網(wǎng)絡(luò)輸入是智能體的狀態(tài)，輸出是智能體采取行為的概率分布；Critic網(wǎng)絡(luò)輸入是Actor網(wǎng)絡(luò)選擇動作后的下一狀態(tài)，輸出是狀態(tài)的價(jià)值。Critic計(jì)算下一狀態(tài)的價(jià)值加上環(huán)境給的回報(bào)與當(dāng)前狀態(tài)的價(jià)值的差值，即時間差分（temporal-difference error，TD-error），如果下一狀態(tài)值大于當(dāng)前狀態(tài)值，則critic會告訴actor當(dāng)前狀態(tài)下的動作選擇的概率應(yīng)該增加，否則減小，并且概率變化的幅度由TD-error決定。具體原理圖如圖8所示。

參考文獻(xiàn)[54]用PPO算法來解決室內(nèi)無人機(jī)隨機(jī)搜索目標(biāo)問題，提出一種基于位置標(biāo)注的好奇心驅(qū)動的PPO算法，提高了算法的搜索效率和準(zhǔn)確度，縮小訓(xùn)練周期。

無人機(jī)的動作有前進(jìn)、后退、左移、右移、左轉(zhuǎn)、右轉(zhuǎn)、上升、下降和無動作共9種。獎勵規(guī)則[54]見表1。

將PPO算法和基于空間位置標(biāo)注好奇心探索的算法結(jié)合起來，展示一個無人機(jī)如何在室內(nèi)以較快速度進(jìn)行目標(biāo)搜索的過程，并獲得了在陌生區(qū)域隨機(jī)搜索目標(biāo)、躲避障礙物和實(shí)時調(diào)整高度的技能，很好地解決了無人機(jī)在搜索過程中陷入局部區(qū)域出不來的問題，具有高準(zhǔn)確性、短訓(xùn)練周期、高智能水平等特點(diǎn)。

將深度學(xué)習(xí)的擬合函數(shù)、神經(jīng)網(wǎng)絡(luò)與強(qiáng)化學(xué)習(xí)的試錯搜索、延遲獎賞結(jié)合起來形成深度強(qiáng)化學(xué)習(xí)，并將其應(yīng)用在無人機(jī)區(qū)域偵察問題上有助于訓(xùn)練無人機(jī)的自主性，使其自主決策完成復(fù)雜任務(wù)[55]。然而，現(xiàn)有的深度強(qiáng)化學(xué)習(xí)算法大多數(shù)采用無模型的結(jié)構(gòu)，雖然簡化了算法的復(fù)雜度，但需要大量的樣本數(shù)據(jù)和較長的訓(xùn)練時間。此外，獎勵函數(shù)設(shè)計(jì)比較困難，稀疏的獎勵使得學(xué)習(xí)經(jīng)驗(yàn)難以穩(wěn)固，訓(xùn)練困難，難以收斂而積極地獎勵，智能體容易鉆空子，產(chǎn)生預(yù)期外的結(jié)果。目前深度強(qiáng)化學(xué)習(xí)還很不穩(wěn)定，超參數(shù)的設(shè)置直接影響訓(xùn)練結(jié)果，調(diào)參困難，延展性不好，適用性不強(qiáng)。通過研究基于模型的深度強(qiáng)化學(xué)習(xí)方法[56]不僅能夠解決訓(xùn)練時間長的問題，還能提高數(shù)據(jù)利用效率、增強(qiáng)網(wǎng)絡(luò)的泛化性，使其有效應(yīng)用在現(xiàn)實(shí)任務(wù)場景中。

4比較和展望

4.1比較

對上面介紹的主要技術(shù)進(jìn)行了各方面的比較，結(jié)果見表2。算法的差異主要體現(xiàn)在離線/在線、評價(jià)指標(biāo)、經(jīng)濟(jì)性和自主性上面。

傳統(tǒng)方法和啟發(fā)式算法都是離線規(guī)劃無人機(jī)的航路的，而深度強(qiáng)化學(xué)習(xí)方法能夠?qū)崿F(xiàn)在線規(guī)劃、實(shí)時調(diào)整無人機(jī)航路，具有較優(yōu)的性能。隨著研究的深入，無人機(jī)執(zhí)行任務(wù)過程中考慮的因素越來越多，約束條件和目標(biāo)函數(shù)越來越復(fù)雜，算法性能也就越來越好。相較于傳統(tǒng)方法，人工智能方法的經(jīng)濟(jì)性更高、評價(jià)指標(biāo)更豐富、更全面。啟發(fā)式算法在面對解空間變大問題時只能擴(kuò)大算法的搜索空間再將其離散化尋找最優(yōu)解，因而導(dǎo)致算法計(jì)算時間變長甚至是找不到全局最優(yōu)解，陷入局部最優(yōu)解。而基于策略梯度的深度強(qiáng)化學(xué)習(xí)能適應(yīng)連續(xù)的動作空間，可選擇的動作數(shù)不勝數(shù)但能輸出最優(yōu)的那個動作值，在這方面是優(yōu)于啟發(fā)式算法。此外，在無人機(jī)自主性這方面，目前只有深度強(qiáng)化學(xué)習(xí)方法涉及，其他方法還不能實(shí)現(xiàn)無人機(jī)自主完成任務(wù)的目的。

綜上，人工智能算法在無人機(jī)區(qū)域偵察問題上的研究越來越深入，尤其是深度強(qiáng)化學(xué)習(xí)方法。不僅在已有方法的基礎(chǔ)上從單/多無人機(jī)、區(qū)域內(nèi)有/無障礙物、離線/在線規(guī)劃航路、評價(jià)指標(biāo)約束多少、經(jīng)濟(jì)性等方面不斷提高算法性能，還開始研究無人機(jī)的自主性，促使研究更全面、性能更優(yōu)、效率更高、更智能。

4.2展望

隨著無人機(jī)的應(yīng)用需求不斷擴(kuò)大，人工智能技術(shù)不斷革新，人工智能在無人機(jī)各領(lǐng)域的應(yīng)用將日趨增加。而無人機(jī)在區(qū)域偵察方面的技術(shù)由于無人機(jī)自身飛行約束條件頗多、任務(wù)環(huán)境越來越復(fù)雜等因素還需進(jìn)一步發(fā)展，未來發(fā)展趨勢[57]如圖9所示，主要包括以下4個方面：

（1）高效率是未來區(qū)域偵察技術(shù)發(fā)展的重要方向：快速、高效的計(jì)算能力使得無人機(jī)在執(zhí)行區(qū)域偵察任務(wù)時能更精準(zhǔn)地找到區(qū)域內(nèi)的目標(biāo)，從而反饋信息給控制中心，方便控制中心及時做出判斷，發(fā)布下一任務(wù)。

（2）多智能體是未來區(qū)域偵察技術(shù)發(fā)展的必要方向：隨著任務(wù)區(qū)域的擴(kuò)大化，單架無人機(jī)已不能滿足偵察需求，需要多架無人機(jī)一起協(xié)同搜索區(qū)域。

（3）動態(tài)實(shí)時性是未來區(qū)域偵察技術(shù)發(fā)展的生存保證：由于任務(wù)區(qū)域內(nèi)的目標(biāo)信息越來越不可預(yù)知，目標(biāo)具有一定的反抗攻擊能力也是有可能的。這時就需要無人機(jī)在飛行過程中能夠?qū)崟r改變航向，躲避障礙物。此外，在線規(guī)劃比離線規(guī)劃更符合未來發(fā)展需求。

（4）自主性、智能性是未來區(qū)域偵察技術(shù)發(fā)展的最終目標(biāo)：在通信不暢甚至阻斷的環(huán)境中，無人機(jī)接收不到控制中心發(fā)出的指令，需要無人機(jī)針對現(xiàn)場環(huán)境自主控制，做出如何飛行的判斷從而自主完成偵察任務(wù)。

目前，學(xué)者們針對無人機(jī)偵察效率、多無人機(jī)協(xié)同完成任務(wù)已經(jīng)做了大量研究，研究成果較多；但是無人機(jī)動態(tài)實(shí)時規(guī)劃航路和自主完成任務(wù)這兩個方面的研究還是淺層次的。因?yàn)榛趩l(fā)式算法的人工智能技術(shù)已趨于飽和而基于深度強(qiáng)化學(xué)習(xí)的人工智能技術(shù)才剛剛開始，不夠深入，具體的研究難點(diǎn)有：（1）將深度強(qiáng)化學(xué)習(xí)對應(yīng)到人腦機(jī)理的生理學(xué)基礎(chǔ)；（2）將知識遷移技術(shù)運(yùn)用到深度強(qiáng)化學(xué)習(xí)中；（3）將更多的深度學(xué)習(xí)模型運(yùn)用到深度強(qiáng)化學(xué)習(xí)中。

由此可見，無人機(jī)區(qū)域偵察和深度強(qiáng)化學(xué)習(xí)相結(jié)合是未來研究趨勢，著重攻破上述深度強(qiáng)化學(xué)習(xí)存在的難點(diǎn)并將其應(yīng)用在區(qū)域偵察上，實(shí)現(xiàn)實(shí)時規(guī)劃、調(diào)整無人機(jī)的航路及無人機(jī)智能控制、自主完成任務(wù)的最終目標(biāo)。

5結(jié)束語

本文針對無人機(jī)區(qū)域偵察任務(wù)進(jìn)行了相關(guān)研究，介紹了求解該問題的主要方法包括傳統(tǒng)算法和人工智能算法并詳細(xì)闡述各種算法是如何應(yīng)用在區(qū)域偵察問題上的。此外，還概括以上算法的特性和優(yōu)缺點(diǎn)，對比算法的優(yōu)劣性。結(jié)果表明人工智能方法相比于傳統(tǒng)方法更智能，無人機(jī)不再是獨(dú)立完成各自的任務(wù)而是產(chǎn)生信息交互，能夠協(xié)同完成任務(wù)；深度強(qiáng)化學(xué)習(xí)算法比啟發(fā)式算法更自主，深度強(qiáng)化學(xué)習(xí)訓(xùn)練得到的策略具有在線規(guī)劃特性，能夠根據(jù)現(xiàn)實(shí)場景實(shí)時改變航向，更符合現(xiàn)實(shí)任務(wù)要求。最后，對未來區(qū)域偵察技術(shù)發(fā)展做了幾點(diǎn)延伸并闡明深度強(qiáng)化學(xué)習(xí)存在的應(yīng)用難點(diǎn)，可供研究者們開展更為深入的研究。

參考文獻(xiàn)

[1]Sonia T. UAV cooperative decision and control：challenges and practical approaches[J]. IEEE Control Systems Magazine，2010，30（2）：104-107.

[2]Ren W，Beard R W. Distributed consensus in multi-vehicle cooperative[M]. London：Springer，2008.

[3]Shetty V K，Sudit M，Nagi R，et al. Priority-based assignment and routing of a fleet of unmanned combat aerial vehicle[J]. Computers & Operations Research，2008，35（6）：1813-1828.

[4]Koopman B O. The theory of search，II. target dection[J]. Operations Research，1956，4（5）：503-531.

[5]Koopman B O. The theory of search：optimum distribution of searching effort[J]. Operations Research，1957，5（5）：613-626.

[6]Tisdale J，Kim Z，Hedrick J，et al. Autonomous UAV path planning and estimation[J]. IEEE Robotics & Automation Magazine，2009，16（2）：35-42.

[7]Bertuccelli L F，How J P. Search for dynamic targets with uncertain probability maps[C]//In proceeding of the American Control Conference，2006.

[8]Bourgault F，F(xiàn)urukawa T，Durrant-Whyte H F. Decentralized bayesian negotiation for cooperative search[C]//Proceeding of the International Conferenc on Intelligent Robots and Systems，2004.

[9]沈延航，周洲，祝小平.基于搜索理論的多無人機(jī)協(xié)同控制方法研究[J].西北工業(yè)大學(xué)學(xué)報(bào)， 2006（3）： 367-370. Shen Yanhang， Zhou Zhou， Zhu Xiaoping. Research on cooperative control method of multiple UAVs based on search theory[J]. Journal of Northwestern Polytechnical University， 2006（3）：367-370.（in Chinese）

[10]楊少環(huán)，高曉光，符小衛(wèi).基于博弈論的無人機(jī)搜索路徑規(guī)劃[J].系統(tǒng)工程與電子技術(shù)，2011，33（10）：2254-2257. Yang Shaohuan， Gao Xiaoguang， Fu Xiaowei. UAV search path planning based on game theory[J]. Systems Engineering and Electronics， 2011，33（10）： 2254-2257.（in Chinese）

[11]王勛，姚佩陽，梅權(quán).多無人機(jī)協(xié)同運(yùn)動目標(biāo)搜索問題研究[J].電光與控制， 2016， 23（8）： 18-22. Wang Xun， Yao Peiyang， Mei Quan. Research on multi-UAV cooperative moving target search[J]. Electronics Optics and Control， 2016， 23（8）： 18-22.（in Chinese）

[12]Brown S S. Optimal search for a moving target in discrete time and space[J]. Operations Research，1980，28（6）：1275-1289.

[13]Washburn A R. Search for a moving target：the FAB algorithm[J]. Operations Research，1983，31（4）：739-751.

[14]王文杰.人工智能原理與應(yīng)用[M].北京：人民郵電出版社， 2004. Wang Wenjie. Principles and applications of artificial intelligence[M]. Beijing： Posts and Telecom Press， 2004.（in Chinese）

[15]王萬良.人工智能及其應(yīng)用[M].北京：高等教育出版社， 2005. Wang Wanliang. Artificial intelligence and its applications[M]. Beijing： Higher Education Press， 2005.（in Chinese）

[16]馬騁乾，謝偉，孫偉杰.強(qiáng)化學(xué)習(xí)研究綜述[J].指揮控制與仿真， 2018（6）： 68-72. Ma Pinqian， Xie Wei， Sun Weijie. A review on reinforcement learning[J]. Command Control and Simulation， 2018（6）： 68-72.（in Chinese）

[17]王宇樓.人工智能的現(xiàn)狀及今后的發(fā)展趨勢展望[J].科技展望， 2016， 26（22）： 299. Wang Yulou. The current situation of artificial intelligence and its development trend in the future[J]. Technology Outlook， 2016，26（22）： 299.（in Chinese）

[18]高春慶，寇英信，李戰(zhàn)武，等.小型無人機(jī)協(xié)同覆蓋偵察路徑規(guī)劃[J].系統(tǒng)工程與電子技術(shù)， 2019，41（6）： 1294-1299. Gao Chunqing， Kou Yingxin， Li Zhanwu， et al. Cooperative coverage reconnaissance path planning for small UAVs[J]. Systems Engineering and Electronics， 2019， 41（6）： 1294-1299.（in Chinese）

[19]戴健，許菲，陳琪鋒.多無人機(jī)協(xié)同搜索區(qū)域劃分與路徑規(guī)劃研究[J].航空學(xué)報(bào)， 2020， 41（S1）：723770. Dai Jian， Xu Fei， Chen Qifeng. Study on multi-UAV cooperative search on region division and path planning [J]. ActaAeronautica et Astronautica Sinica， 2020， 41（S1）： 723770.（in Chinese）

[20]Yan Li，Hai Chen，Meng J E，et al. Coverage path planning for UAVs based on enhanced exact cellular decomposition method[J]. Mechatronics，2011（21）：876-885.

[21]朱利，符小衛(wèi).基于Voronoi圖質(zhì)心的多無人機(jī)協(xié)同區(qū)域搜索算法[J].無人系統(tǒng)技術(shù)，2019（2）：39-51. Zhu Li， Fu Xiaowei. Multi-UAV cooperative area search algorithm based on Voronoi diagram center of mass[J]. Unmanned System Technology， 2019（2）： 39-51.（in Chinese）

[22]Breitenmoser A，Schwager M，Metzger J C，et al. Voronoi coverage of non-convex environments with a group of network robots[C]//2010 IEEE International Conference on Robotics andAutomation，2010：4982-4989.

[23]Dorigo M，Gambardella L M. Ant colony system：a cooperative learning approach to the traveling salesman problem[J]. IEEE Transactions on Evolutionary Computation，1997（1）：53-66.

[24]Wu H，Li H，Xiao R，et al. Modeling and simulation of dynamic ant colonys labor division for task allocation of UAV swarm[J]. Physica A：Statistical Mechanics and its Applications，2018，491：127-141.

[25]Kennedy J，Everhart R. A new optimizer using particle swarm theory[C]//Proceedings of the sixth International Symposium on Micro Machine and Human Science，1995：39-43.

[26]James K，Russell E. Particle swarm optimization[C]//1995 IEEE International Conference on Neural Networks，1995：1942-1948.

[27]雷德明，嚴(yán)新平.多目標(biāo)智能優(yōu)化算法及其應(yīng)用[M].北京：科學(xué)出版社，2009. LeiDeming，YanXinping.Multi-objectiveintelligent optimization algorithm and its application[M]. Beijing： Science Press， 2009.（in Chinese）

[28]張瑩瑩，周德云，夏歡.不確定環(huán)境下多無人機(jī)協(xié)同搜索算法研究[J].電光與控制， 2012， 19（2）： 5-8. Zhang Yingying， Zhou Deyun， Xia Huan. Research on multiUAV cooperative search algorithm in uncertain environment[J]. Electronics Optics and Control， 2012， 19（2）： 5-8. （in Chinese）

[29]孫純嶺，李影，任磊磊，等.無人機(jī)災(zāi)情巡查區(qū)域搜索的建模與求解[J].數(shù)學(xué)的實(shí)踐與認(rèn)識，2018，48（15）：83-93. Sun Chunling， Li Ying， Ren Leilei， et al. Modeling and solving of UAV disaster patrol area search[J]. Mathematics in Practice and Theory， 2018， 48（15）： 83-93.（in Chinese）

[30]薛政鋼.基于多群體蟻群算法的多無人機(jī)協(xié)同搜索方法研究[D].開封：河南大學(xué)，2018. Xue Zhengang. Research on multi-UAV cooperative search method based on multi-colony ant colony algorithm[D]. Kaifeng： Henan University， 2018.（in Chinese）

[31]許友平.無人機(jī)對地偵察/攻擊航路規(guī)劃軟件系統(tǒng)的研制與開發(fā)[D].南京：南京航空航天大學(xué)，2013. Xu Youping. The research and development of the software system of UAV reconnaissance/attack route planning[D]. Nanjing： Nanjing University of Aeronautics and Astronautics， 2013.（in Chinese）

[32]鄭宏捷.無人機(jī)區(qū)域偵察航路規(guī)劃研究[D].長沙：國防科學(xué)技術(shù)大學(xué)，2011. Zheng Hongjie. Research on regional reconnaissance route planning of UAV[D]. Changsha： National University of Defense Technology， 2011.（in Chinese）

[33]Taylor C E. Adaptation in natural and artificial systems：an introductory analysis with applications to biology，control，and artificial intelligence. complex adaptive systems[J]. The Quarterly Review of Biology，1994，69（1）：88-89.

[34]李敏強(qiáng)，寇紀(jì)淞，林丹，等.遺傳算法的基本理論與應(yīng)用[M].北京：科學(xué)出版社， 2002. Li Minqiang， Kou Jisong， Lin Dan， et al. The basic theory and application of genetic algorithm[M]. Beijing：Science Press，2002.（in Chinese）

[35]李艷慶.基于遺傳算法和深度強(qiáng)化學(xué)習(xí)的多無人機(jī)協(xié)同區(qū)域監(jiān)視的航路規(guī)劃[D].西安：西安電子科技大學(xué)，2018. Li Yanqing. Route planning of multi-UAV cooperative regional surveillancebasedongeneticalgorithmanddeep reinforcement learning[D]. Xian： Xidian University， 2018.（in Chinese）

[36]朱春媚，莫鴻強(qiáng).一類適應(yīng)度函數(shù)的遺傳算法編碼[J].計(jì)算機(jī)應(yīng)用， 2017（7）： 1972-1976. Zhu Chunmei， Mo Hongqiang. Genetic algorithm coding of fitness function[J]. Journal of Computer Applications， 2017（7）： 1972-1976.（in Chinese）

[37]常佳佳，郭百巍，王星德.基于遺傳算法的模型辨識[J].計(jì)算機(jī)仿真， 2015（2）： 102-105. Chang Jiajia， Guo Baiwei， Wang Xingde. Model identification based on genetic algorithm[J]. Computer Simulation， 2015（2）： 102-105. （in Chinese）

[38]Goldberg D. Genetic algorithms in search，optimization and learning[M].Addison-Weseley，1989.

[39]李翠翠.混合自進(jìn)化遺傳算法的矢量場校正研究[D].哈爾濱：哈爾濱工程大學(xué)， 2016. Li Cuicui. Vector field correction based on hybrid selfevolutionary genetic algorithm[D]. Harbin： Harbin Engineering University， 2016.（in Chinese）

[40]Larra A P，Kuijpers C M H，Murga R H，et al. Genetic algorithms for the travelling salesman problem：a review of representations and operators[J]. Artificial Intelligence Review，1999，13（2）：129-170.

[41]溫永祿.不同信息條件下的多無人機(jī)協(xié)同區(qū)域搜索航跡規(guī)劃研究[D].北京：北京理工大學(xué)， 2016. Wen Yonglu. Research on cooperative regional search track planningofmultipleUAVunderdifferentinformation conditions[D]. Beijing： Beijing Institute of Technology， 2016.（in Chinese）

[42]Rahnamayan S，Tizhoosh H R，Salama M M A. Oppositionbaseddifferentialevolution[J].IEEETransactionson Evolutionary Computation，2008，12（1）：64-79.

[43]張耀中，陳嵐，張蕾，等.一種改進(jìn)CSA算法的UAV多任務(wù)區(qū)偵察決策問題研究[J].電光與控制， 2018， 25（5）： 1-6. Zhang Yaozhong， Chen Lan， Zhang Lei， et al. An improved CSA algorithm for UAV reconnaissance decision in multiple mission area[J]. Electronics Optics and Control， 2018， 25（5）： 1-6.（in Chinese）

[44]Yang X S，Deb S. Engineering optimization by cuckoo search[J]. International Journal of Mathematical Modelling and Numerical Optimization，2010，1（4）：330-343.

[45]Yang X S，Deb S. Cuckoo search：recent advances and applications[J]. Neural Computing and Applications，2014，24（1）：169-174.

[46]譚民，王碩，曹志強(qiáng).多機(jī)器人系統(tǒng)[M].北京：清華大學(xué)出版社， 2005. Tan Min， Wang Shuo， Cao Zhiqiang. Multiple robotic systems[M]. Beijing： Tsinghua University Press， 2005.（in Chinese）

[47]David S. Smooth UCT search incomputer poker[C]// Proceedings of International Joint Conference on Artificial Intelligence，2015：554-560.

[48]Bengio Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning，2009，2（1）：1-12.

[49]Hinton G E，Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science，2006，313（5786）：504-507.

[50]Mnih V，Kavukcuoglu K，Silver D，et al. Playing Atari with deep reinforcement learning[C]//Proceedings of fine NIPS Workshop on Deep Learning，2013.

[51]褚偉，茹琦，任明侖.結(jié)合先驗(yàn)知識的深度Q神經(jīng)網(wǎng)絡(luò)算法研究[J].合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2019， 42（7）： 901-905. Chu Wei， Ru Qi， Ren Minglun. Research on deep Q network algorithm based on prior knowledge[J]. Journal of Hefei university of technology （Natural Science）， 2019， 42（7）： 901-905.（in Chinese）

[52]Lin L J. Reinforcement learning for robots using neural works[D]. Pittsburgh：Carnegie Mellon University，1993.

[53]Schulman J，Wolski F，Dhariwal P，et al. Proximal policy optimization algorithms[D]. New York：Cornell University，2017.

[54]賴俊，饒瑞.深度強(qiáng)化學(xué)習(xí)在室內(nèi)無人機(jī)目標(biāo)搜索中的應(yīng)用[EB/OL]. （2020-05-25）.Http：//kns. cnki. net/kcms/detail/11. 2127.TP.20191113.1528.014.html. Lai Jun， Rao Rui. Application of deep reinforcement learning in indoor UAV target search[EB/OL]. （2020-05-25）. Http：//kns. cnki. net/kcms/detail/11.2127. TP. 20191113.1528.014. html. （in Chinese）

[55]李文正.無人機(jī)發(fā)展芻議[J].航空科學(xué)技術(shù)， 2012（4）：11-13. Li Wenzheng. Discussion on UAV development[J]. Aeronautical Science & Technology， 2012（4）： 11-13.（ in Chinese）

[56]Doll B B，Simon D A，Daw N D. The ubiquity of model-based reinforcement learning[J]. Current Opinion in Neurobiology，2012，22（6）：1075-1081.

[57]蔣浩，高鑫.人因工程在無人機(jī)中的應(yīng)用及展望[J].航空科學(xué)技術(shù)，2019，30（5）：9-13. Jiang Hao， Gao Xing. Application and prospect of human cause engineering in UAV[J]. Aeronautical Science & Technology， 2019， 30（5）： 9-13.（ in Chinese）（責(zé)任編輯王為）

作者簡介

吳兆香（1995-）女，碩士研究生。主要研究方向：無人機(jī)集群控制。

Tel：18851172812E-mail：wuzhaoxiang@nuaa.edu.cn

歐陽權(quán)（1991-）男，博士，講師。主要研究方向：無人機(jī)飛行控制、電池管理等。

Tel：15968118392E-mail：ouyangquan@nuaa.edu.cn

王志勝（1970-）男，博士，教授。主要研究方向：信息融合，無人機(jī)蜂群控制、計(jì)算機(jī)視覺等。

Tel：13813019305E-mail：wangzhisheng@nuaa.edu.cn馬瑞（1997-）男，碩士研究生。主要研究方向：深度強(qiáng)化學(xué)習(xí)。

Tel：17806258833

E-mail：maruinuaa@nuaa.edu.cn

叢玉華（1981-）女，博士研究生，講師。主要研究方向：跨域協(xié)同、無人機(jī)飛行控制等。

Tel：13913981289

E-mail：28989116@qq.com

Status and Development of Regional Reconnaissance Methods of UAV Based on Artificial Intelligence

Wu Zhaoxiang1，Ouyang Quan1，*，Wang Zhisheng1，Ma Rui1，Cong Yuhua1，2

1. Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China

2. Nanjing University of Science and Technology，Nanjing 210023，China

Abstract： Regional reconnaissance is an important branch of unmanned aerial vehicle（UAV） research. Due to the complexity of the actual mission and environment， the control method of regional reconnaissance must be provided with fast calculation speed， strong autonomy and intelligence. Artificial intelligence has been used in regional reconnaissance because of its strong learning ability， high efficiency， and high degree of integration. This paper systematically introduces the background of the regional reconnaissance problem and summarizes the methods based on artificial intelligence to solve this problem， which are mainly divided into two categories： heuristic algorithms for constructing and optimizing the objective function and deep reinforcement learning methods for solving the optimal value or strategy. Given by a comprehensive comparison of the above methods， it is found that deep reinforcement learning performs self-learning and online learning well， which can adapt to complex and unknown environments，and further it can quickly and accurately solve regional reconnaissance problems. In addition， this paper also discusses the development trend of regional reconnaissance technology and the challenges faced by deep reinforcement learning.

Key Words：artificial intelligence； regional reconnaissance； deep reinforcement learning； heuristic algorithm； autonomous intelligence