房建武，李旭陽，杜 凱，薛建儒

(1.長安大學運輸工程學院，西安 710061；2.長安大學電子與控制工程學院，西安 710061；3.西安交通大學人工智能學院，西安 710061)

0 引言

利用無人機對地面目標進行觀測是當前無人系統(tǒng)技術研究領域的重要任務。目標的軌跡預測可以為目標的運動趨勢以及潛在碰撞風險提供線索，在軍事、農(nóng)業(yè)、交通等領域應用廣泛。相較于車輛等地面設備，無人機在條件允許的情況下可以采集更大視野的復雜環(huán)境場景數(shù)據(jù)。由于無人機體積小、機動性高，增強了執(zhí)行任務的能力。同時，由于無人機視角相對穩(wěn)定、視野內(nèi)目標尺度變化小，可高精度提取動靜目標軌跡數(shù)據(jù)，進而對目標的未來軌跡做出預測?，F(xiàn)有基于無人機視角的軌跡預測方法大多依賴單一無人機的固定視角，所觀測場景存在幅寬局限性，軌跡數(shù)據(jù)缺乏長時連續(xù)性。同時建筑物和大尺度障礙物的視野干擾因素制約著大范圍、精準的地面目標軌跡預測技術的發(fā)展。

近年來，基于無人機集群技術對目標進行聯(lián)合監(jiān)測的研究取得了一定的進展，研究問題主要集中于多無人機對觀測目標的跟蹤上。在目標軌跡跟蹤方面，一般根據(jù)目標歷史數(shù)據(jù)，估計下一個時刻的目標位置，進而調(diào)整無人機集群策略。一些方法通過快速更新歷史數(shù)據(jù)、逐步預測的形式，提高了跟蹤的精確度和實時性。在長期觀測和追蹤時，考慮動態(tài)避障所帶來的短時間目標丟失問題，跟蹤器應具有自檢測能力，能夠通過檢測器重新檢測到再次出現(xiàn)的目標，并繼續(xù)完成任務。此外，人工勢場法為多無人機下的目標跟蹤提供了搜索范圍限制，能及時調(diào)整無人機姿態(tài)和飛行策略，從而實現(xiàn)長時間精準跟蹤。例如，在人工勢場法的基礎上，基于模糊控制決策對動態(tài)目標進行預測跟蹤，通過設計無人機速度跟蹤控制器，依據(jù)目標軌跡實現(xiàn)無人機集群的速度控制，完成持續(xù)目標跟蹤。此外，各類通信設施的發(fā)展，提升了無人機的靈活性及環(huán)境適用性，從而為多無人機的集群策略提供了更多的可能性。地面目標和多架無人機可以通過配備超寬帶(Ultra Wide Band，UWB)模塊，測量無人機間的相對距離，并將各無人機的定位信息發(fā)送至服務器，服務器依據(jù)跟蹤目標的歷史數(shù)據(jù)對其未來軌跡做出估計，并將目標下一時刻的定位信息返回至各無人機，使得無人機群可以形成固定隊列，如正多邊形，并將目標對象置于多邊形的正中心?？紤]到現(xiàn)實環(huán)境中存在大尺度障礙物或者大型建筑，在采用超寬帶模塊等通信技術的基礎上，文獻[5]將無人機對目標監(jiān)測到的測量數(shù)據(jù)分為視距測量和非視距測量，通過測量來估計目標位置，并對目標未來短時軌跡做出預測，進而提升跟蹤性能，此強化學習方法可使多無人機在不同環(huán)境下學習到最佳的集群策略。

上述研究成果促進了無人機集群的發(fā)展，但沒有對環(huán)境的復雜性做出更深的探討，尤其是在對于目標對象的穩(wěn)定軌跡預測以及未來長時間的位置估計上研究不足。為了更好地探討群體視角下的軌跡預測問題，本文通過多架無人機的不同觀測視角確定目標位置，并對目標未來軌跡做出長時預測。受無人機集群技術發(fā)展的啟發(fā)，本文將討論無人機集群技術在軌跡預測領域面臨的挑戰(zhàn)和解決思路。

1 無人機群體視角較之單視角的優(yōu)勢

單無人機視角下的運動目標觀測，一般存在以下幾點問題：

1)受場景中障礙物影響嚴重。在無人機采集目標軌跡數(shù)據(jù)集時，一般將拍攝的圖像按幀抽取，并以一定的間隔提取參與者的坐標信息。為了保證軌跡的連貫性，要求能夠持續(xù)地觀測參與者的活動，使得單一視角在執(zhí)行上述任務時需要選取足夠空曠的場景；而在有障礙物覆蓋的空域內(nèi)，如樹木遮蔽，監(jiān)測性能受影響嚴重。由此，在類似場景下采集數(shù)據(jù)時，單一視角存在兩個局限性：

a)受到地面建筑物和其他障礙物的影響，在城市等建筑高密度區(qū)域使用受限，對觀測行人這類目標，很容易受到遮擋干擾；

b)為保證數(shù)據(jù)質(zhì)量，往往需要降低無人機高度，這會減小拍攝范圍，不能長遠地追蹤某個目標。如圖1(a)所示，對于行人對象，右側(cè)無人機在單獨拍攝時，會受到樹木遮擋嚴重影響；而對于無人機集群而言，左側(cè)的無人機可以很好地補充左側(cè)視野的盲區(qū)，如圖1(b)所示。

(a) 存在障礙物遮擋示意圖

(b) 交叉視角觀測目標示意圖圖1 障礙物存在遮擋及交叉視角觀測目標示意圖Fig.1 Schematic diagram of obstacle presence with occlusion in the views of UAVs, and the observation by UAVs with cross views

2)對目標位置的確定受視角傾斜及地面起伏影響較大。在無人機觀測視角與水平線夾角(定義為觀測夾角)較大時(垂直地面觀測具有最大的觀測夾角)，由于圖像尺寸和縱深畸變，對于視野邊緣的目標位置識別能力差；同時，同類目標中的不同個體，由于視角限制只能觀測到目標局部，如行人頭部，不利于區(qū)分不同個體。當觀測夾角較小時(與地面平行具有最小的觀測夾角)，受環(huán)境變化和無人機動作調(diào)整等因素影響，會降低拍攝的目標清晰度，或?qū)е履繕顺叽缭诙虝r間內(nèi)急劇變化，從而影響對目標的觀測。而當不同無人機處于不同觀測夾角時，如圖2所示，可以分別從多個側(cè)面對目標進行觀測，通過它們視野的交叉可以更精準地確定目標位置。

圖2 無人機的不同觀測夾角示意圖及觀測畫面案例，其中右側(cè)圖來自于文獻[10]Fig.2 Schematic diagram and typical observed examples of different observation perspectives, with image on the right adapted from reference NO.10

3)對目標丟失情況的處理效果差。在對目標進行軌跡預測時，需要控制無人機處于較好位置，以獲取清晰圖像。然而，由于環(huán)境復雜多變，在無人機規(guī)避障礙物時，有可能丟失目標，且當目標有意識地擺脫無人機時，目標丟失的概率急劇增大。在此情形下，采用無人機集群可以擴大整體的觀測范圍，在目標被遮擋時執(zhí)行不同的策略以降低風險。

2 無人機群體視角帶來的問題和挑戰(zhàn)

相較于單無人機視角下的軌跡預測，在無人機群體視角下進行軌跡預測時，除了對移動目標的軌跡預測外，還需要關注無人機集群的協(xié)同控制，以保持整個無人機集群的穩(wěn)定，規(guī)避碰撞等安全問題。近十年內(nèi)，協(xié)同導航技術得到了快速發(fā)展，得益于多無人機定位精度的提高和多無人機編隊穩(wěn)定性的提升，無人機集群的應用范圍得到了極大擴展。無人機群在執(zhí)行觀測任務時，各無人機處于不同的視角，能夠獲取的目標特征也有所不同。因此，圖3所示為無人機群體視角下軌跡預測所面臨的問題和挑戰(zhàn)，其中交叉定位基本原理中坐標系的說明見2.1節(jié)。以下將問題進一步細分為五點進行闡述：1)交叉視角下目標定位問題；2)多視角下目標再關聯(lián)問題；3)無人機集群自身的軌跡預測問題；4)面向軌跡預測的集群感知問題；5)目標軌跡預測問題。

2.1 交叉視角下目標定位問題

傳統(tǒng)的單無人機一般結合角度測量和測距來獲取目標的位置信息，而多無人機在觀測時則形成了一個基于集群的協(xié)同觀測系統(tǒng)，具有多傳輸和多集合的特點。將各無人機作為不同的收發(fā)單元，由于收發(fā)單元的空間幾何結構，目標坐標的確定可以融合更多信息。如圖3所示，由無人機航拍圖像中的坐標到具體目標的坐標之間，往往要經(jīng)過若干個坐標系的轉(zhuǎn)換和輔助，例如，利用全球定位系統(tǒng)(Glo-bal Positioning System，GPS)進行目標定位時，由緯度()、經(jīng)度()和距離地面高度()表征目標空間位置;同時，過渡到無人機機載相機坐標系(,,)，軸為視軸線方向，形成右手坐標系法則;再過渡到圖像坐標系(,,)，其中圖像坐標系原點為拍攝圖像左上方，、分別與、平行。在無人機群執(zhí)行觀測任務時，由于其空間分布比較廣泛，各個無人機對目標的觀測距離和視角皆不相同，獲取的圖像在尺寸和清晰度上也有區(qū)分。而由于集群協(xié)作的復雜性和目標軌跡預測的實時性要求，為無人機集群執(zhí)行相應任務帶來了挑戰(zhàn)。

圖3 多無人機面臨的挑戰(zhàn)問題Fig.3 Challenges faced by multi-UAVs

目前，關于無人機群協(xié)同觀測的研究并不多。從整體的地面目標定位系統(tǒng)出發(fā)，通過機載的光電測量系統(tǒng)可以實現(xiàn)基礎的定位功能，而進一步的目標定位則取決于傳感器的分辨率以及數(shù)據(jù)鏈的延遲和坐標系變換等其他因素，在此基礎上，構建多無人機偵察平臺對目標進行定位。該方法以及一些傳統(tǒng)方法依賴于光電測量系統(tǒng)獲取光測距信息，提高了無人機集群的整體成本。而隨著深度學習等技術的發(fā)展，可以通過基于深度學習的檢測網(wǎng)絡對無人機航拍的圖像進行數(shù)據(jù)提取，獲取圖像坐標系下的目標位置信息，之后再進行坐標系轉(zhuǎn)換，從而能夠在不依賴光電測量系統(tǒng)的基礎上對目標進行定位。上述方法在進行目標坐標系轉(zhuǎn)換時，沒有進一步探討對環(huán)境的約束。從環(huán)境的復雜程度出發(fā)，在城市等多約束條件下，可以基于分布式無人機集群策略，結合多個優(yōu)化目標的不同重要性，能夠獲得同時滿足目標優(yōu)化和重要性等級要求的最佳無人機群路徑，從而更好地獲取目標位置信息。此外，從檢測和定位算法出發(fā)，將多機聯(lián)合最大似然估計算法應用于分布式無人機集群協(xié)同檢測，可以降低定位的誤差。

無人機群在完成對目標的定位之后，需要一定的評估方法對定位精準度進行評價。使用不同的設備組合進行目標定位時，評估方法存在差異。無人機觀測對象的不同和場景的變化也會產(chǎn)生不同的評估指標要求。因此，需要明確技術指標要求，規(guī)范測試方法,使得無人機群在執(zhí)行不同的觀測任務時，對目標的定位具有更好的適用性。

2.2 多視角下目標再關聯(lián)問題

當目標處于無人機群共同視野內(nèi)時，可以通過交叉視角定位來鎖定目標；而當各無人機的視野沒有重疊時，判斷目標從一個視野轉(zhuǎn)到另一個視野內(nèi)，就需要應用目標檢測和目標再關聯(lián)技術進行同一目標的重識別。隨著計算機視覺技術的不斷發(fā)展，行人和車輛再關聯(lián)問題在領域內(nèi)取得了優(yōu)異的成果。然而，當無人機集群在野外場景下執(zhí)行任務時，受到視角改變、光照等因素的影響，目標前后的差異可能要大于不同目標間的差異。在軌跡預測領域，目標再關聯(lián)技術主要應用于目標丟失后的再次定位以及不同相機內(nèi)的模型遷移。

2.3 無人機集群自身的軌跡預測問題

無人機集群主要通過通信的方式獲取彼此的實時位置，在規(guī)避障礙物或穿越復雜地形時，集群的隊形會發(fā)生變化，而在環(huán)境惡劣時，會導致通信能力下降。為了保證集群內(nèi)相對穩(wěn)定，避免部分無人機脫節(jié)，在無人機群對目標進行軌跡預測時，需要對其他無人機進行軌跡預測，綜合之后做出路徑規(guī)劃。這時無人機集群的目標觀測任務需要根據(jù)不同情形，在時間以及任務上進行自主分配。而在對其他無人機觀測時，勢必需要調(diào)整觀測視角，以免造成視角有限。此時需要根據(jù)無人機的主從關系進行觀測視角層的協(xié)同，確保觀測全面。

2.4 面向軌跡預測的集群感知問題

無人機群在執(zhí)行觀測任務時，往往處于未知的復雜環(huán)境，并且由于目標活動的不確定性，觀測任務是高度動態(tài)的，即任務本身由對目標和環(huán)境的感知需求而驅(qū)動。隨著集群技術的發(fā)展，無人機集群的應用場景得到了擴展，一些信號和光源缺失的惡劣環(huán)境對集群的感知提出了新的挑戰(zhàn)。視覺和激光雷達是常用的感知技術?；谝曈X和激光雷達的環(huán)境感知、自主導航等技術存在著比較顯著的機理差異，傳感器的不同是產(chǎn)生差異的直接原因。早先的一些工作考慮了任務需求和傳感器的要求，對面向感知的多Agent(Perception Oriented Cooperation Agent，POCA)的概念和模型做出了闡述，主要包括多無人機感知規(guī)劃和調(diào)度Agent，但仍然缺乏能夠?qū)崿F(xiàn)以上功能的可靠機制。近年來的一些工作主要聚焦于環(huán)境重建、降維等方法，以感知充分的場景信息。無人機在執(zhí)行任務時，由于機載傳感器的限制，獲取的環(huán)境信息以圖像為主，但高維的圖像數(shù)據(jù)不能直接作為環(huán)境狀態(tài)的直接表示，此時，可以提取高維數(shù)據(jù)中的關鍵特征，實現(xiàn)數(shù)據(jù)降維，從而從原始的感知信號(圖像等)中學習到環(huán)境的狀態(tài)空間表示，通過結合自編碼結構，適應更加復雜的環(huán)境。同樣地，基于降維的方法，可以通過雙目攝像頭實時重建環(huán)境外部的3D點云信息，進而將3D信息映射到2D平面，提取平面mask，能夠更好地引導無人機群在特殊情況下(如目標丟失、無人機故障等)進行自主著陸。此外，當面臨其他的一些特殊情況，如目標丟失、無人機受到阻擋等時，無人機群通過感知決策機制能夠識別周圍實時的障礙物空間，進而設計出避讓路徑。

上述方法采用的感知機制都基于傳感器獲取不同的場景數(shù)據(jù)，通過對數(shù)據(jù)做變換處理，以指導集群下一步的移動路徑。然而，不同的環(huán)境對各類傳感器的需求也有所不同，不同傳感器所獲取的數(shù)據(jù)也要做不同的處理?？紤]到軌跡預測任務的實時性要求，如何設計無人機集群的感知機制既是重點也是難點。

2.5 目標軌跡預測問題

近年來，關于目標軌跡預測的研究主要集中在行人和車輛目標上。受客觀環(huán)境的影響，行人、車輛以及其他交通參與者間的交互關系建模是軌跡預測所面臨的重點問題之一。隨著深度學習的發(fā)展，各類深度神經(jīng)網(wǎng)絡方法在軌跡預測領域取得了長足發(fā)展。長短期記憶(Long Short Term Memory，LSTM)網(wǎng)絡、生成對抗網(wǎng)絡(Generative Adversarial Networks，GAN)和圖卷積網(wǎng)絡(Graph Convolution Network，GCN)成為軌跡預測建模的主要模型。

2.5.1 行人軌跡預測

針對行人軌跡預測的研究，主要關注于網(wǎng)絡設計和方法模型兩方面。在網(wǎng)絡模型的設計上，軌跡預測模型一般將行人歷史軌跡、場景語義信息或兩者結合作為模型的輸入。在方法模型上，針對行人軌跡的時序性特征，循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Networ-ks，RNN)以及其變體LSTM、門控循環(huán)遞歸單元(Gated Recurrent Unit，GRU)在序列學習上具有強大的適應能力。早先在學習行人的社會行為時，基于人群場景中的行人軌跡預測，一般采用數(shù)據(jù)驅(qū)動的社會交互建模方法，如采用交互關系優(yōu)化的LSTM網(wǎng)絡(State Refinement LSTM， SR-LSTM),在考慮臨近(一定半徑范圍內(nèi))行人的影響時，引入了一個社會感知信息的選擇機制,以篩選更加有用的信息。而關于軌跡預測的合理性，在采用LSTM模型時，可以考慮交互關系、區(qū)域交叉和場景語義三個因素對軌跡的影響，并采用多個池化機制以引入相應的特征信息。此外，行人的潛在目的地對其運動路徑選擇產(chǎn)生影響，按照路線類別(Routine Class，RC)對行人軌跡進行分類，基于軌跡聚合得到的RC和LSTM模型，能夠分兩個階段先后預測目標區(qū)域和相對應的軌跡。

先前的大部分軌跡預測研究集中于預測一條輸出軌跡，由于軌跡預測的不確定性，多模態(tài)軌跡預測開始受到廣泛關注。在此情形下，一些研究采用GAN以展示所有可能的未來軌跡，克服了以往方法只預測一條軌跡的不足。將序列預測和GAN進行結合，通過循環(huán)的序列到序列(Sequence to Sequence)模型觀察目標過去的軌跡，通過對抗性訓練生成多樣化的未來軌跡。但由于GAN不易收斂，當生成器和判別器不平衡時，其梯度會消失，且容易受到模型崩潰的影響。考慮到傳統(tǒng)GAN的上述局限性，J.Amirian 等實現(xiàn)了一個Info-GAN架構，基于學習數(shù)據(jù)輸入的解耦表示，并引入新的編碼變量作為輸入，通過真實和合成數(shù)據(jù)集驗證，證明了Info-GAN在保持預測分布的基礎上，可以生成更多樣的樣本,而隨著圖注意力網(wǎng)絡(Graph Attention Network，GAT)研究的發(fā)展，發(fā)現(xiàn)其能夠更好地模擬行人間的復雜交互。因此，將GAN與GAT進行結合，通過STI-GAN捕捉行人軌跡的不確定性，生成多模態(tài)樣本，并通過GAT對行人交互進行建模，進而考慮時空上的交互信息，顯著提升了軌跡預測的準確度。

由于行人交互關系的復雜性，除了從時間上探索行人的運動規(guī)律外，還需要考慮空間上的影響關系。為了更好地模擬行人在時間和空間兩個維度上的復雜交互，很多研究嘗試將時空圖應用于行人軌跡預測領域。在考慮視覺注意力和軌跡多模態(tài)的基礎上，通過LSTM節(jié)點可以將人與環(huán)境交互的時空圖轉(zhuǎn)換為特征編碼，并通過全局節(jié)點來整合場景信息，從而獲取豐富的混合特征。先前的大多數(shù)研究往往采用聚合的方法對行人交互進行建模，在社會時空圖卷積神經(jīng)網(wǎng)絡(Social Spatio-Temporal Graph Convolutional Neural Network，Social-STGCNN)中，則通過圖的方法代替聚合方法，在模型架構中采用一個核函數(shù)將行人間的社交互動嵌入到鄰接矩陣中，繼承了行人軌跡間可以預期的行為。同時，該模型僅采用20%的訓練數(shù)據(jù)，便可以超過現(xiàn)有大部分工作的平均位移誤差指標。

從軌跡預測選用的模型來講，現(xiàn)有的大部分工作是基于LSTM模型的，但由于其迭代的訓練方式，在對模型訓練時不夠高效。近年來逐漸興起的Transformer模型由于其并行的訓練方式，在軌跡預測研究中表現(xiàn)出良好的性能。STAR是一個時空圖Transformer框架，其僅通過注意力機制對行人交互進行建模，并通過在時間Transformer和空間Transformer之間交錯以捕獲行人間復雜的時空交互，STAR在5個常用的行人軌跡預測數(shù)據(jù)集中實現(xiàn)了最先進的性能。

2.5.2 車輛軌跡預測

與RNN應用于行人軌跡預測所衍生的問題相似，在車輛軌跡預測問題上，許多研究采用LSTM解決RNN導致的梯度消失和梯度爆炸問題。但現(xiàn)有的LSTM模型在密集交通中進行長期軌跡預測時，不能描述不同車輛間的空間相互作用以及相應軌跡間的時間關系。因此，戴盛哲等提出了基于時空關系的改進LSTM模型(Spatial-Temporal-LSTM， ST-LSTM)。如圖4所示，一方面將空間交互嵌入到LSTM模型中，另一方面引入兩個連續(xù)的LSTM層處理梯度消失?？紤]到一些特殊情況，如交通擁擠時，處于擁堵中的車輛在相對較短的距離內(nèi)，可能存在很多其他車輛，但只有一小部分會對其未來軌跡造成較大影響，因此將具有共享權重的LSTM對車輛動力學進行編碼，同時用簡單的卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks，CNN)便可以提取交互特征。對于車輛運動軌跡的預測研究，大部分工作聚焦于對交互關系進行建模，而在車輛軌跡預測中嵌入駕駛意圖或行駛動機，并通過LSTM開發(fā)預測網(wǎng)絡，可以實現(xiàn)軌跡預測中的行駛區(qū)域上下文推理，并通過軌跡解碼器輸出非線性的軌跡。

圖4 車輛軌跡預測中的交互關系建模示意圖Fig.4 Schematic diagram of interaction relation modeling in vehicle trajectory prediction

對于車輛未來軌跡的多模態(tài)性質(zhì)，近年來也引起了一定的關注。由于車輛更易受到場景約束，在不同的道路場景下，網(wǎng)絡設計的關注點也有所不同。在交叉路口等混合場景下，場景中的參與者交互十分復雜，對目標車輛的軌跡預測需要充分考慮與其他參與者的交互關系。而在高速公路、環(huán)島等結構化場景下，則以車輛間的交互為主，此時應該更多地關注車輛間的超車、換道等行為。

在對行人及車輛的軌跡預測分析的基礎上，無人機集群視角下的行人及車輛的軌跡預測問題涉及目標軌跡的跨視角聯(lián)動、運動區(qū)域的多視野配準及融合以及目的地等多視野內(nèi)上下文信息的綜合利用，這些問題都會催生新的理論以及研究方法。

3 群體視角下軌跡預測的設計思路

依據(jù)觀測目標的差異，群體視角下的軌跡預測大致可以分為兩類：1)以區(qū)域為導向的巡航拍攝視角下的軌跡預測(無人機位置穩(wěn)定)；2)以目標為導向的追蹤拍攝視角下的軌跡預測(無人機位置機動)。

3.1 以區(qū)域為導向的巡航拍攝視角下的軌跡預測

鑒于無人機集群的視野優(yōu)勢，其可以獲取地面目標交互較為豐富的區(qū)域數(shù)據(jù)，從而研究更加復雜的軌跡預測問題。在進行巡航觀測時，無人機群有如下特點：1)無人機集群速度相對較慢，相機抖動幅度小，目標尺寸變化較??；2)無人機集群可按照一定隊形進行編隊飛行，集群內(nèi)的軌跡預測要求較低。

以行人軌跡預測為例，無人機在航拍行人軌跡數(shù)據(jù)時，一般是統(tǒng)計行人在不同時間點的、坐標，以視頻幀ID的間隔表示相距的時間步長，用不同的ID進行編號。為了減少位置標注的誤差，要求圖像足夠清晰。對于未受遮擋的行人，可通過交叉定位以獲得更準確的目標位置。而當目標行人在部分無人機視野中被遮擋時，可通過目標再關聯(lián)技術，將未受遮擋時無人機視野中的目標軌跡與先前的軌跡進行結合，以獲取完整的行人軌跡數(shù)據(jù)。

在此情形下，研究的側(cè)重點可以圍繞目標再關聯(lián)問題和交叉定位問題展開。首先，依據(jù)場景特點做宏觀上的無人機集群路徑規(guī)劃。其次，設置合適的高度以獲取清晰圖像。當行人消失后，對目標的丟失程度進行判斷，部分受遮擋時，通過交叉定位繼續(xù)鎖定該行人；若行人丟失，則考慮目標再關聯(lián)技術。無人機集群在進行觀測時，將各無人機拍攝的圖像按幀抽取并進行畫面拼接，可得到集群下的大范圍參與者軌跡圖像。如圖5所示，在各無人機視野緊密貼合的理想情況下，通過圖像拼接技術，集群能夠獲得更大的觀測視野。但實際中，各無人機的觀測視野會有或多或少的重疊，且視野重疊部分的形狀也會隨時發(fā)生改變。圖6所示為簡化了的無人機拍攝圖像重疊部分示意圖，通過將重疊部分作為錨點，可以校正并匹配各無人機視野中目標的相對位置，同時交叉視野中的目標位置會更加精準。當行人消失在重合區(qū)域時，其他無人機可以繼續(xù)觀測；當行人消失在非重疊區(qū)域時，該無人機需要通過再關聯(lián)算法保存其特征，通過目標自檢測算法進行目標再現(xiàn)時的捕捉和識別。

圖5 無人機群采集的圖像Fig.5 Images collected by UAV group

圖6 圖像視野重疊示意圖Fig.6 Schematic diagram of vision view overlap of UAVs

3.2 以目標為導向的追蹤拍攝視角下的軌跡預測

以目標為導向的無人機觀測是時下無人機領域的重點研究方向之一。具體而言，首先提取目標特征，確定要觀測的目標之后，對目標未來軌跡做出預測。其中，保持對目標的跟蹤是持續(xù)進行目標軌跡預測的前提。目前的跟蹤算法雖然在精度上有了較大的提升，但目標丟失和遮擋仍是重要的挑戰(zhàn)因素。無人機集群的設置主要用于解決此類干擾因素。

3.2.1 主、次無人機的設置

在對目標進行軌跡預測時，需要持續(xù)、穩(wěn)定地觀測。為了降低目標丟失的風險，需要盡可能地擴大集群觀測范圍。在為無人機集群設計策略時，可將其中一架無人機作為主無人機，其余無人機作為僚機。如圖7所示，在觀測目標時，主無人機應盡可能從上空接近目標，而僚機則以一定的隊形排列在主無人機周圍，從側(cè)面觀測目標。

圖7 無人機集群中主、次無人機示意圖Fig.7 Schematic diagram of the primary and secondary UAV in UAV Group

3.2.2 集群內(nèi)的軌跡預測

以目標觀測為導向時，無人機集群會存在協(xié)同移動問題，此時，如果無人機集群內(nèi)的通信手段因為復雜環(huán)境影響發(fā)生中斷或者失效時，則需要為無人機布設對周圍其他無人機的軌跡預測方法。無人機集群內(nèi)的軌跡預測，主要是為了保證無人機集群內(nèi)相對穩(wěn)定。而無人機集群在進行各自視野內(nèi)的軌跡預測時，需要充分考慮無人機集群內(nèi)的協(xié)同定位問題。當前利用衛(wèi)星導航系統(tǒng)(GPS)獲知無人機的精準位置是重要的手段之一。通過將來自GPS的無人機位置導航解決方案組合在一起，再基于歐洲地球靜止導航重疊服務和色容差進行定位融合，能夠顯著提升定位的準確度,但衛(wèi)星導航系統(tǒng)也會導致成本過高。除此以外，可以通過基于數(shù)學模型的導航定位算法設計對無人機進行定位。而由于無人機群具有共同的行為和動力學，也可以對無人機集群之間的交互行為動力學方程進行分析。在此基礎上，通過映射表建立無人機集群之間的交互關系，并結合神經(jīng)網(wǎng)絡關系推理模型，可以對無人機群未來軌跡進行預測?；蛘?，采用誤差區(qū)間傳播方法計算飛行軌跡的置信區(qū)間，在飛行期間使用傳入的 GPS 測量值進行更新，以完善其位置估計。

在完成無人機集群的定位問題后，需要依據(jù)各無人機的相對位置，對集群的未來路徑進行規(guī)劃。目前仍然比較缺乏無人機群相對位置的算法，尤其是分布式相對位置估計。因此，文獻[36]設計了一種基于分布式超寬帶的相對定位框架，驗證了影響相對定位估計與實際位置誤差的因素，對未來探討無人機協(xié)同飛行優(yōu)化位置具有重要的實用價值。此外，為了更加便捷地研究無人機群的集群策略，可以將集群間的運動分為吸引力和排斥力，與主、次無人機設置原則相同，將集群中的一架視為領導者，其余無人機視為成員。同時，在增設引力和斥力的基礎上，也可將無人機群的前置形心作為另一個引力源，以打破無人機的受力平衡，使無人機朝目標的方向移動，在無人機群飛行過程中，前置形心可以依據(jù)障礙物的大小進行調(diào)整，能夠較好地適用于障礙物環(huán)境。無人機群中，領導者與成員的關系并非固定。當目標短時間內(nèi)速度和方向大幅改變時，以視野和距離為基準，更換主無人機，原先的無人機變?yōu)榇螣o人機。如圖8所示，目標汽車的速度在短時間內(nèi)大幅改變，主無人機由a號無人機變?yōu)閎號無人機。

圖8 主無人機變更示意圖Fig.8 Schematic diagram for the change of dominant right of UAV group

通常，在理想空曠場景下，無人機集群只需根據(jù)目標在方向、速度上的改變，對自身做出同樣策略的調(diào)整。然而，實際情況中環(huán)境的復雜多變使得無人機群應具備更智能的集群策略。集群策略的目標為：在最短時間內(nèi)，依據(jù)環(huán)境的實時變化改變策略，實現(xiàn)動態(tài)的集群穩(wěn)定，以穩(wěn)定持續(xù)地進行目標觀測。在現(xiàn)實情形下，環(huán)境對無人機的影響是多方面的。雨雪霧等天氣會削弱目標的能見度，同時影響無人機的正常姿態(tài)，造成相機抖動、機身失控等問題，天氣等帶來的影響主要可通過無人機自身對極端天氣的適應性能提升來克服。此外，極端天氣下，場景中的障礙物和遮擋更為常見，目標不可見會對后續(xù)的觀測任務造成影響。無人機集群相對于單一無人機設備能更好地處理目標被遮擋的情況，但根據(jù)不同環(huán)境需要設計不同的集群策略。

3.2.3 依據(jù)目標遮擋程度調(diào)節(jié)無人機集群策略

場景中障礙物的遮擋會使目標外觀不完整，也可能給目標區(qū)域帶來背景干擾。如何應對由于障礙物遮擋導致的目標丟失，是現(xiàn)有目標跟蹤的主要挑戰(zhàn)之一。

1)當目標未受遮擋時，無人機群的首要任務為追蹤。為了獲取較好的觀測視野，需要依據(jù)目標運動狀態(tài)規(guī)劃無人機的運動路徑。Dubins曲線是常用的路徑規(guī)劃方法，可以對不同的地面移動目標進行仿真驗證。而在觀測單個目標的基礎上，考慮到協(xié)調(diào)多架無人機進行觀測的問題，可以通過協(xié)作算法來預測目標的軌跡。實際中的觀測目標以行人和車輛居多，對于行人的觀測，如果可以獲取高精度的圖像，便可以將面部特征作為顯著的區(qū)分點。Quadrotor 無人機可以拍攝高清的人臉影像，將其發(fā)送至Wi-Fi連接的計算機，通過Viola Jones算法檢測人臉，使得無人機可以繼續(xù)識別目標的人臉特征。對于移動中的車輛，可以提煉出緊致表觀特征。例如，對于移動中的車輛，將汽車分割得到目標的質(zhì)心作為追蹤的輸入，并通過卡爾曼濾波估計目標的動態(tài)狀態(tài)。在完成對目標的跟蹤后，即無人機群可以持續(xù)、穩(wěn)定地觀測目標時，就可以獲取目標坐標和實時的場景圖。在搭建軌跡預測模型時，將目標歷史軌跡和場景語義信息作為輸入，通過時空關系、語義信息及交互關系等對目標的未來軌跡做出預測。因此，目標未受遮擋時，具體的方案設計可以分為以下幾個步驟：

a)集群內(nèi)通過協(xié)作算法以規(guī)避碰撞。次無人機根據(jù)主無人機的歷史軌跡數(shù)據(jù)，對主無人機的未來軌跡做出預測，進而修正自身的運動狀態(tài)。

b)提取高保真及區(qū)分性強的目標特征，保證無人機集群對目標的跟蹤穩(wěn)定性。通過設計速度跟蹤器保證集群與目標間相對位置穩(wěn)定，減少因相機抖動對于觀測質(zhì)量造成的影響。

c)通過目標的觀測影像，獲取準確歷史軌跡，進而通過時空關系、語義信息及交互關系等建模，約束軌跡預測中的不確定性。將預測的目標位置及時發(fā)送至主無人機，主無人機根據(jù)預測結果調(diào)整自身運動狀態(tài)。

2)當目標部分遮擋，即部分無人機視野中仍能正常觀測時。丟失目標的無人機調(diào)整飛行策略，其余無人機繼續(xù)觀測，并將預測的軌跡共享給丟失目標的無人機。先前大部分工作中，無人機通過基于視覺的障礙物識別來感知環(huán)境。一些研究嘗試直接使用場景深度圖，通過邊緣信息對原有的匹配方法進行改進，能夠提升對于室內(nèi)多障礙物環(huán)境下的適應性，但沒有考慮障礙物檢測失敗對無人機路徑規(guī)劃的影響。同樣基于立體視覺，可以引入多傳感設備，用于彌補單一傳感檢測失敗的情況，進而更完整地獲取環(huán)境特征。從環(huán)境因素考慮，室內(nèi)的光照等條件較為簡單，而室外的復雜環(huán)境會對影像質(zhì)量產(chǎn)生較大影響，上述獲取場景立體深度的方法在更復雜的室外環(huán)境下受到限制?；诖祟悜脠鼍?，衍生了一種機載攝像機視覺目標跟蹤算法，在無人機與目標相對位置發(fā)生動態(tài)變化時，生成偽濾波器，進而提高無人機視覺追蹤的穩(wěn)定性。同時，針對障礙環(huán)境下多無人機協(xié)同追蹤問題，可以通過無人機制導律控制無人機規(guī)避障礙物，并設計相位控制以保持對目標追蹤的合適角度。而各無人機在規(guī)避障礙物時也存在碰撞的風險，尤其是集群內(nèi)的無人機數(shù)目較多或者飛行區(qū)域比較狹小的情況下。因此，針對無人機間的協(xié)同避障問題，可以考慮將避障制導過程轉(zhuǎn)化為序列問題，由馬爾可夫博弈理論建立數(shù)學模型，基于神經(jīng)網(wǎng)絡實現(xiàn)無人機自主避障。綜上，目標部分受遮擋時的方案設計如下：

a)通過設計無人機制導律，控制受障礙物阻擋的無人機繞開障礙物；

b)正常觀測的無人機獲取觀測對象的特征信息，并發(fā)送至受阻擋無人機，受阻擋無人機在繞開障礙物后通過目標再關聯(lián)技術重新追蹤目標，并結合其他無人機觀測視野中的目標位置，校驗目標識別結果；

c)受阻擋無人機在規(guī)避障礙物時，自身的高度、速度等會發(fā)生變化，由于目標觀測需要良好的角度，因此可設計相位控制，在目標再識別成功后，調(diào)節(jié)無人機的觀測角度；

d)當觀測目標不再受遮擋時，依據(jù)無遮擋情形下的策略繼續(xù)對目標做軌跡預測。

3)當目標完全被遮擋，即所有無人機均丟失目標時。集群從原先的追蹤任務，轉(zhuǎn)變?yōu)樗阉?再識別任務，此時需要對區(qū)域搜索問題進行研究?，F(xiàn)有的方法以提升搜索的速度和精度為主。執(zhí)行任務時，可將最后丟失目標的無人機作為主無人機，調(diào)整其余僚機的高度和相對位置。綜上，目標完全被遮擋時的方案設計如下：

a)將最后失去目標視野的無人機作為主無人機，依據(jù)目標最近時刻的速度和方向前進，其余無人機調(diào)整飛行策略，以主無人機為中心散開；

b)將對目標的搜索問題轉(zhuǎn)化為代價函數(shù)的優(yōu)化問題，設計算法，輔助調(diào)整次無人機運動狀態(tài)；

c)當某無人機視野中出現(xiàn)特征匹配度較高的對象時，控制該無人機靠近目標以獲取更好的觀測質(zhì)量，若目標匹配程度高于一定閾值，則視為目標再識別成功，此時，將該無人機轉(zhuǎn)變?yōu)橹鳠o人機，其余無人機以主無人機為中心，調(diào)整自身運動狀態(tài)；

d)當觀測目標不再受遮擋時，依據(jù)最初策略繼續(xù)對目標做軌跡預測。

4 未來研究展望

通過本文的討論，針對無人機自身的性能和特點，考慮其集群下的軌跡預測問題的各個環(huán)節(jié)，結合可能存在的干擾因素，設計了相關解決思路?；诖?，對未來相關的研究做出以下展望：

1)大規(guī)模無人機集群感知數(shù)據(jù)平臺開發(fā)。現(xiàn)有研究中，無人機對地觀測的數(shù)據(jù)平臺已經(jīng)廣泛存在，但是公開、可用的多無人機集群數(shù)據(jù)集非常稀缺。近年來，關于多智能體感知的相關研究開始采用Airsim模擬器衍生無人機集群數(shù)據(jù)集，即通過飛行控制器和PX4進行軟件和硬件的開發(fā)，抓取攝像頭所拍攝的圖像信息。其中，Airsim-MAP數(shù)據(jù)集是近年規(guī)模最大的多無人機虛擬數(shù)據(jù)集。通過模擬仿真若干架無人機，操縱無人機群進行拍攝，并將各無人機拍攝的畫面同步顯示出來。如圖9所示，數(shù)據(jù)集中包含5～6架無人機獲取的RGB圖像、點云圖、相機姿態(tài)以及語義分割標簽。該數(shù)據(jù)集可以進一步研究多Agent感知的解決方案。

圖9 Airsim-MAP 數(shù)據(jù)集示意圖Fig.9 Schematic diagram of Airsim-MAP dataset

2)無人機具有靈活性高、易于操縱的特點，鑒于其機身體積小，不能承載過于復雜的算法，藉由服務器等設備作為信息處理的橋梁是時下常用的手段之一，但信息的交換具有延時性。因此，從無人機本身性能考慮，未來的研究可以從硬軟件著手，硬件上搭載更豐富的傳感器以提升無人機的適用性，軟件上對算法做輕量化處理。

3)從單一無人機到無人機集群，需要額外考慮集群內(nèi)的通信和策略問題。依據(jù)觀測目標所處環(huán)境的不同，無人機和無人機之間、無人機集群和目標之間以及無人機集群和地面系統(tǒng)之間需要進行有機協(xié)調(diào)。此外，考慮到軌跡預測的實時性和安全性，要求未來的集群發(fā)展在網(wǎng)絡通信技術上實現(xiàn)突破。

4)除了提升無人機自身的性能之外，可以考慮與其他設備進行聯(lián)合，以處理因無人機穩(wěn)定性不足而難以適應的環(huán)境。一般選取地面設備和無人機進行聯(lián)合，以車載設備為例，藉由車載的傳感器和雷達等，能夠獲取詳盡的周邊信息，彌補無人機在數(shù)據(jù)細節(jié)上的不足，進而獲取更為豐富的環(huán)境信息和目標特征。

5)在無人機執(zhí)行觀測任務時，復雜的環(huán)境仍會對無人機造成干擾。未來的無人機研究需要發(fā)展感知技術，使得無人機能夠自主地對目標周邊環(huán)境進行建模，加強對三維護環(huán)境特征的提取，從而更好地實現(xiàn)軌跡預測。

6)無人機群體視角下的軌跡預測在實際設計時，是一個復雜的系統(tǒng)，包含但不限于協(xié)同技術、通信技術、目標再識別技術和軌跡預測技術等。將各項技術的最新成果結合應用，是群體視角下軌跡預測發(fā)展所要面臨的挑戰(zhàn)。因此，未來應以任務為中心，重視各項技術的協(xié)調(diào)發(fā)展。

5 總結

隨著無人機技術的發(fā)展，無人機在多個領域已經(jīng)進行了成功應用。無人機集群技術應用在地面目標軌跡預測領域，可以以更大視野、更長時間獲取場景內(nèi)的軌跡和交互信息。本文主要論述了無人機群體視角下的軌跡預測在具體實現(xiàn)上存在的挑戰(zhàn)以及相應的解決方案設計思路，并根據(jù)當下的研究進展，展望了未來無人機集群技術與軌跡預測結合的發(fā)展趨勢。本文希望以上述討論和展望，為未來無人機集群下的軌跡預測問題提供幫助。