牛文龍，樊銘瑞，李 運，彭曉東，謝文明，任敬義，楊 震

(1. 中國科學院國家空間科學中心 復雜航天系統(tǒng)電子信息技術重點實驗室， 北京 100190； 2. 中國科學院大學， 北京 100049)

隨著人工智能與機器人技術的快速發(fā)展，智能機器人應用范圍已經(jīng)從搬運、安裝等生產(chǎn)活動，擴展到引導、陪護、交流等生活活動，再到排雷、偵察、打擊等軍事活動，滲透到了人類的方方面面。因此，人與智能機器人的共生協(xié)同將成為未來工作生活的新常態(tài)，在未來相當長一段時間內(nèi)，在現(xiàn)有的技術體系基礎上構建“以人為中心的有人/無人協(xié)作智能”就成為一種必然且可行的方向選擇。不論是美軍2015年提出的“半人馬”模式、美國國防部高級研究計劃局(Defense Advanced Research Projects Agency, DARPA)從“AI”到“IA”技術布局轉變，還是人機技術領域提出的“Human-Center Computing”“Human-Engage Computing”等人機有機協(xié)同新概念，以及我國2018年“智能機器人”重點專項中的對“人-機器人智能融合技術”方向的布局，都反映出該人機協(xié)同技術的重要性與迫切性。但是，從當前的工業(yè)、服務、軍事應用機器人的使用情況來看，在控制方式上大多還屬于遙操作，不利于人員快速與多個無人系統(tǒng)進行協(xié)同配合，在信息交互手段上多以手持終端為主，不利于危險或應急情況下人員對局勢的快速掌控與決策，因此需要一種新的人機協(xié)作信息應用模式與方法。

現(xiàn)代化軍事作戰(zhàn)中，多樣化的偵察與反偵察手段使得戰(zhàn)場變得更加復雜。如何在復雜環(huán)境下快速、準確地感知己方及敵方的戰(zhàn)場態(tài)勢顯得十分重要[1-2]。一方面，作戰(zhàn)人員在高度對抗狀態(tài)下，除要完成自身的戰(zhàn)術動作外，還要對戰(zhàn)斗環(huán)境中的敵我部署、火力布置、威脅來源等態(tài)勢信息進行現(xiàn)場收集分析并完成決策。另一方面，戰(zhàn)場環(huán)境復雜、形式多變，作戰(zhàn)個體多數(shù)情況下無法在視距范圍內(nèi)直接觀察敵方行為，作戰(zhàn)計劃往往陷入被動。這對作戰(zhàn)人員的作戰(zhàn)能力提出了新的挑戰(zhàn)。

針對復雜戰(zhàn)場下作戰(zhàn)人員對態(tài)勢全方面感知的迫切需求，為進一步增強作戰(zhàn)人員對遠程態(tài)勢的感知能力以及協(xié)同作戰(zhàn)能力，本文構建了一種人機共融的遠程態(tài)勢感知系統(tǒng)，該系統(tǒng)在室內(nèi)等無GPS的條件下，利用靈活、易于操作的無人機/無人車等無人平臺[3]，搭載場景智能感知設備，來實時獲取遠程的環(huán)境及目標信息，將所獲取的信息通過無線網(wǎng)絡實時傳輸?shù)椒掌鞫诉M行融合處理，實現(xiàn)對遠程態(tài)勢的三維重構，并將重構結果發(fā)送到作戰(zhàn)人員所佩戴的增強現(xiàn)實設備中進行顯示，與人的視覺信息進行一致性融合。本文介紹了系統(tǒng)所涉及的基于視覺的人機協(xié)同定位技術、實時三維場景重建技術和場景一致性融合方法等關鍵技術和流程，并構建了以機器人操作系統(tǒng)(Robot Operating System, ROS)為基礎的系統(tǒng)實現(xiàn)架構，對定位精度進行了實際實驗分析。

1 單兵態(tài)勢感知系統(tǒng)發(fā)展現(xiàn)狀

早在20世紀80年代，美國就率先提出了單兵信息化系統(tǒng)的概念，并于90年代啟動“陸地勇士”計劃，該計劃借助微型計算機、傳感器、通信導航設備等硬件裝備嵌入至單兵可穿戴系統(tǒng)中[4-5]。隨后，英、俄、法、德、日等國也相繼推出各自的“未來士兵”計劃[6-7]：如英國的“重拳”系統(tǒng)、法國的FELIN系統(tǒng)、德國的Idz-es系統(tǒng)及日本的“下一代近戰(zhàn)信息共享研究”單兵作戰(zhàn)系統(tǒng)等。這些系統(tǒng)使用不同功能的顯示設備以獲取戰(zhàn)場態(tài)勢信息，但皆存在與真實場景分離的缺陷：顯示器的二維信息和真實的三維場景不盡相同，士兵需要在真實環(huán)境和手持/頭戴設備之間頻繁切換，造成了士兵注意力的分散和實時反應能力難度的增加。同時，以上系統(tǒng)均只能探測可視范圍，無法感知更遠距離的威脅。

增強現(xiàn)實(Augmented Reality, AR)技術能讓士兵視覺感知到經(jīng)過處理后的態(tài)勢信息與真實場景一致性融合的畫面，使得作戰(zhàn)變得更加高效和便捷[8-9]。增強現(xiàn)實眼鏡可以將戰(zhàn)場態(tài)勢信息自然疊加在士兵的前方視野，并結合語音和手勢等交互方式進行控制。2000年，美國推出了第一個戰(zhàn)場增強現(xiàn)實原型系統(tǒng)(Battlefield Augmented Reality System, BARS)[10]，并在此基礎上啟動了“ULTRA-Vis(urban leader tactical response, awareness & Visualization)”項目[11]，旨在研發(fā)適用于戰(zhàn)場環(huán)境的AR軟硬件。該項目設想不用離開當前視野，系統(tǒng)就可以在AR眼鏡上為指揮員實時顯示隊員位置[12]，并能為作戰(zhàn)人員標記目標區(qū)域。ULTRA-Vis項目研發(fā)的“軍用增強現(xiàn)實軟件系統(tǒng)”(Augmented Reality Command Control Communicate Coordinate, ARC4)[13]，主要負責完成士兵戶外位姿跟蹤、地理配準與可視化以及網(wǎng)絡通信管理等工作。2017年美國陸軍發(fā)布了“TAR(tactical augmented reality)”，一款更側重于室內(nèi)環(huán)境的單兵戰(zhàn)術增強現(xiàn)實概念系統(tǒng)[14]。2019年美國陸軍公開了一款基于增強現(xiàn)實眼鏡設備HoloLens 2的軍用集成視覺增強系統(tǒng)“IVAS(integrated visual augmentation system)”，其透過AR眼鏡能看到疊加在真實環(huán)境上顯示敵我位置的場景三維地圖，并能實現(xiàn)隨眼鏡的位置和姿態(tài)實時更新地圖的功能[15]。綜上所述，現(xiàn)有的基于增強現(xiàn)實的作戰(zhàn)手段主要側重于通過增強現(xiàn)實眼鏡在真實環(huán)境上通過加標簽等方式疊加信息層，并不具備對遠程場景的三維感知能力以及協(xié)同定位能力。

作為單兵態(tài)勢感知系統(tǒng)的重要組成，無人機/無人車等無人平臺具有體積輕小、行動靈活、易于操控、隱蔽性好等特點，通過搭載場景感知設備，廣泛應用在單兵協(xié)同作戰(zhàn)以及作戰(zhàn)偵察中[15-16]。以指針(Pointer) 、大烏鴉(Raven) 、龍眼(Dragon Eye)等為代表的小型無人機，可由單兵隨身攜帶[17]，起飛后可自主導航至目標區(qū)域，并靠機身的光學、紅外等傳感器進行探測，再將獲取的信息進行回傳。

未來信息化戰(zhàn)場必將是單兵結合各類傳感器與其他作戰(zhàn)單元進行全方位、高時效、高動態(tài)的協(xié)同作戰(zhàn)。目前，美軍正在加緊研發(fā)利用先進傳感器和無人設備，并結合人機協(xié)同、增強現(xiàn)實、態(tài)勢感知等技術的“SXCT(squad X core technologies)”項目[18]，但其具體作戰(zhàn)能力和戰(zhàn)術指標并未公開。隨著各國單兵作戰(zhàn)能力的快速提升，研發(fā)我國自主的人機共融遠程態(tài)勢感知系統(tǒng)是面向未來信息化戰(zhàn)場的必然發(fā)展趨勢。

2 人機共融的遠程態(tài)勢智能感知系統(tǒng)架構

針對遠程態(tài)勢感知中無人設備與作戰(zhàn)人員協(xié)同精準配合及態(tài)勢融合顯示的迫切需求，設計人機共融遠程態(tài)勢感知系統(tǒng)總體架構圖如圖1所示。

所設計的系統(tǒng)架構被劃分為三個層次，分別是應用層、數(shù)據(jù)層、邏輯層。應用層由遠程無人設備端、服務器端、增強現(xiàn)實設備端構成，其中無人設備配備機載雙目相機和便攜式的處理器，服務器端完成數(shù)據(jù)處理和場景重構，增強現(xiàn)實設備端主要裝備智能可穿戴單兵系統(tǒng)，并將服務器端重構的場景由AR眼鏡進行顯示。服務器與遠程無人設備、AR眼鏡與服務器之間均通過WiFi連接，數(shù)據(jù)使用傳輸控制協(xié)議(Transmission Control Protocol, TCP)傳輸。系統(tǒng)主要實現(xiàn)過程如下：

1)遠程無人設備端：無人設備端的便攜計算機完成初始化相對定位后，前往未知環(huán)境中獲取前方態(tài)勢信息。當無人設備進入目標區(qū)域，其使用機載相機獲取目標場景雙目圖像和圖像RGB值，利用視覺同時定位與建圖(Simultaneous Localization And Mapping, SLAM)技術計算自身與環(huán)境的相對定位實現(xiàn)自主導航和避障，并通過機載處理器實時生成環(huán)境稠密點云。所獲取的場景三維結構和目標狀態(tài)，能協(xié)助用戶完成目標區(qū)域的偵察。

2)服務器端：以上數(shù)據(jù)傳輸?shù)椒掌鞫?，由服務器端提供算力輔助，結合無人機的位姿和場景深度信息，以粗精度重構目標場景，并檢測和標注目標物體，進而幫助作戰(zhàn)人員在復雜戰(zhàn)場環(huán)境中快速獲取前方環(huán)境及人員情況。

3)增強現(xiàn)實設備端：AR設備在初始化定位后，顯示由服務器所提供的三維場景重建和目標識別結果，與AR設備所在真實場景和人的視覺信息進行一致性融合，呈現(xiàn)出“穿障礙”的虛實效果。

由于整個系統(tǒng)的數(shù)據(jù)交互比較復雜，故通過ROS的消息發(fā)布訂閱機制簡化數(shù)據(jù)交互的邏輯，降低各模塊間的耦合度。ROS是一個開源的機器人操作系統(tǒng)，為軟件開發(fā)人員提供了許多用于機器人實際應用的軟件包和算法庫，例如導航、定位、路徑規(guī)劃等功能。ROS最大的特點就是復用性，它能夠設置不同功能的節(jié)點，多個節(jié)點之間以統(tǒng)一的消息格式來訂閱和發(fā)布話題，從而降低機器人開發(fā)過程中硬件及接口的不一致性對其造成的影響。

系統(tǒng)構建了以ROS為基礎的系統(tǒng)實現(xiàn)架構，所構建的ROS節(jié)點關系如圖2所示，表1列舉了各節(jié)點發(fā)布和訂閱的話題。圖像接收節(jié)點的作用是從無人機基站獲取雙目圖像數(shù)據(jù)；特征點計算節(jié)點的作用是從圖像中提取特征點；位姿估計局部建圖回環(huán)檢測節(jié)點計算無人機的位置和姿態(tài)變化矩陣；深度估計節(jié)點用于計算深度圖和點云數(shù)據(jù)；實時建模節(jié)點使用深度圖、點云數(shù)據(jù)、RGB圖片和相機內(nèi)參對點云進行網(wǎng)格化，并且實時輸出整個場景的三維場景。

圖2 重構后ROS節(jié)點關系圖Fig.2 Relationship of ROS nodes

表1 ROS節(jié)點發(fā)布與訂閱話題

3 人機共融的遠程態(tài)勢智能感知系統(tǒng)實現(xiàn)

人機共融的遠程態(tài)勢感知系統(tǒng)主要包括遠程無人設備端的基于視覺的人機協(xié)同定位、服務器端的實時三維場景重建和增強現(xiàn)實設備端的場景一致性融合。

系統(tǒng)使用指定基準，并通過基于視覺特征的初始化相對定位的方式對無人設備和增強現(xiàn)實設備進行初始協(xié)同定位。如圖3所示，無人設備在未知環(huán)境中使用SLAM進行實時定位，并利用雙目立體視覺估計深度數(shù)據(jù)，通過ROS消息映射到服務器端。服務器端接收到無人機端發(fā)送的數(shù)據(jù)后，進行解壓處理并通過截斷符號距離函數(shù)[19](Truncated Signed Distance Function, TSDF)進行點云快速融合，然后使用體素化網(wǎng)格的方法實現(xiàn)點云的快速網(wǎng)格化生成網(wǎng)格模型，形成便于觀察的可視化地圖。最后在AR設備端完成實時顯示，通過增強現(xiàn)實跟蹤和注冊技術實現(xiàn)一致性融合等功能。

圖3 人機共融的遠程態(tài)勢智能感知技術流程圖Fig.3 Flowchart of human-machine integration remote situation intelligent perception technology

3.1 基于視覺的人機協(xié)同定位

基于視覺的人機協(xié)同定位技術采用計算機視覺算法，可在無GPS的室內(nèi)環(huán)境中實現(xiàn)無人機與AR設備間的實時相對定位。這使得無人機拍攝到的場景隨著二者的移動仍能精確地注冊到佩戴者所看到的真實場景中，實現(xiàn)“穿障礙，跨視距”的融合效果。

3.1.1 基于視覺特征的初始化相對定位

系統(tǒng)采用已知位置和大小的視覺基準碼對設備進行初始化相對定位。具體流程如圖4所示，在初始化相對定位前需標定和校準無人機與AR眼鏡上用于定位的機載相機內(nèi)參H1、H2，并測量機載相機在設備上的具體位置，即相對于設備質心的位置。隨后，確定世界坐標系，測量已知的基準碼大小和其在世界坐標系下的位置，并分別求得無人機和AR眼鏡相對于基準碼的相對位姿，進一步可得二者的相對定位。

圖4 AR眼鏡和無人機的初始相對定位流程Fig.4 Initial relative positioning process of AR glasses and drones

常見的基準有ARToolkit[20]、ARTag[21]、AprilTag[22]等?？紤]到速率與魯棒性，系統(tǒng)采用AprilTag碼對無人機與AR設備進行初始相對位置定位。AprilTag視覺定位方法包括檢測線段、檢測方形、單應性矩陣估計三個步驟。

1)檢測線段：計算圖像中每個像素梯度的大小和方向，再將梯度方向和大小相近的像素聚集到一起。聚類時首先創(chuàng)建一個圖，將圖像中的每個像素表示成圖中的一個節(jié)點，相鄰節(jié)點間建立一條邊，邊的權重為沿梯度方向的兩像素之間的差異。對于每個邊，判斷相應像素間是否應當連接在一起。將每個邊按權重排序，以判斷連通分支是否可以合并。

2)檢測方形：采用深度優(yōu)先策略進行四輪搜索。第一輪搜索時，找到每一條線段，后面每一輪都搜索起始位置與上一輪搜索到線段的結束位置接近的線段。

3)單應性矩陣估計：最后利用直接線性變換(Direct Linear Transform，DLT)算法計算單應性矩陣。

本實驗中，無人機和增強現(xiàn)實眼鏡位置與真實位置精度誤差控制在1 cm以內(nèi)，基本可以滿足定位精度要求。

3.1.2 基于雙目視覺的實時定位

未知環(huán)境中運動的相機或者機器人可依賴SLAM算法通過對環(huán)境的觀測確定自身的運動軌跡，并同時構建連續(xù)地圖。

視覺SLAM主要分為兩個流派：特征點法和直接法?；谔卣鼽c法的ORB-SLAM2[23]算法流程如圖5所示，其采用ORB特征作為視覺特征，匹配相鄰幀的對應特征點，根據(jù)圖像的變化反向計算出相機的運動，實現(xiàn)室內(nèi)場景下以高精度實現(xiàn)設備自身的定位和建圖功能，具有性能高且適用于計算資源小的設備等優(yōu)點。

ORB-SLAM2在TX2可以通過ROS和C++兩種方式編譯運行，并實現(xiàn)厘米級別的準確定位。整個系統(tǒng)分為追蹤、局部建圖、回環(huán)檢測3個并行處理的線程。

圖5 ORB-SLAM2算法流程Fig.5 ORB-SLAM2 algorithm flowchart

3.2 實時三維場景重建

3.2.1 基于雙目立體視覺的深度估計

稠密的三維場景重建需要計算場景中像素點的深度信息，僅由特征點法得到的稀疏地圖是遠遠不夠的。通過結構光或飛行時間(Time-of-Fly, ToF)等直接測量物體深度的方法易受到光照影響，且探測范圍有限。故本系統(tǒng)采用基于雙目立體視覺的深度估計算法，這部分在無人機端進行，其中無人機攜帶的雙目攝像頭為 ZED 立體相機，隨后將估計得到的深度信息傳給服務器端進行進一步的點云融合和三維重建。

一般基于雙目的深度估計主要包括極線搜索、立體匹配、視差輸出和深度信息提取四個步驟。本系統(tǒng)的立體匹配算法采用半全局塊匹配[24](Semi-Global Block Matching, SGBM)算法，其優(yōu)勢是視差效果好且運算速度快。SGBM選取匹配的像素點和其周圍的像素點計算它們的視差，并構成視差圖。建立視差圖的能量函數(shù)，并求解其最小值。其中能量函數(shù)為：

(1)

式中：D是視差圖；E(D)為視差圖的能量函數(shù)；p、q為像素點；Np為像素點p附近的像素點；P1、P2是兩個懲罰系數(shù)；I[·]判斷函數(shù)的真假，若為真，則返回1，反之返回0。兩個正則項可以平滑視差圖和控制圖像邊緣位置不連續(xù)性。

通過對每個像素點進行上述操作，得到像素點的視差圖，結合雙目相機的基線便可估計得到深度值。

3.2.2 基于TSDF的快速點云融合

TSDF是一種對空間體素進行描述來計算空間中物體表面位置的方法，可以在GPU顯存中并行計算，具有時間和空間的高效性。系統(tǒng)利用TSDF使用點云構造體素的方法快速融合點云，同時根據(jù)TSDF構建過程中更新權重的方法來實時更新融合后的點云分布結果，并據(jù)此構建體素模型。

符號距離函數(shù)(Signed Distance Function，SDF)用來重建三維空間模型，使用大小相同的體素來構成三維空間。如圖6所示，x表示某體素中心，P為相機光心O經(jīng)體素x的射線與障礙物表面的交點，sdf(x)表示該體素中心與最近物體表面沿相機光軸的帶符號距離。其中，物體外體素的距離值為正，物體內(nèi)體素的距離值為負；i表示第i次的觀測值。

圖6 TSDF示例Fig.6 TSDF sample

根據(jù)圖6中關系，sdfi(x)可表示為：

sdfi(x)=depthi(pic(x))-camz(x)

(2)

其中，pic(x)表示某體素中心x到深度圖的投影，depthi(pic(x))為相機射出的光線經(jīng)過x到達最近物體表面點P的測量深度，camz(x)為該體素沿相機光軸到相機的距離。

由于在空間中，大部分體素并不在物體表面，故使用TSDF，設定固定的截斷距離t，避免對距離表面較遠的體素進行計算帶來的不必要時間和空間浪費。對于該體素的第i次觀測可表示為：

(3)

因為單次計算準確度并不高，且視場有限，空間存在大量未被定義的體素，故需要隨著相機的移動不斷更新空間中體素的截斷距離，更新后的截斷距離表示為TSDFi(x)。從相機視點使用光線投射，找到TSDF符號變化附近的體素并對其進行空間中的三線性插值，即可得到精確的物體表面點的位置。

3.2.3 基于體素的實時表面重建

經(jīng)過TSDF處理過后的三維場景只是離散的點云集合，不能顯式地表達場景的表面信息，因此與正?？梢暬晳T存在較大差異。為了能將前方態(tài)勢信息實時顯示在用戶視野，考慮到現(xiàn)有增強現(xiàn)實眼鏡處理器的性能限制，本系統(tǒng)使用對點云空間快速劃分的方法——對融合后的點云通過體素化網(wǎng)格的方式實現(xiàn)表面重建。該方法對全局的點云空間進行三維體素柵格處理(文中采用0.05 m大小的三維立方體)，如圖7所示，并用不同顏色區(qū)分不同深度區(qū)域，實現(xiàn)對空間的劃分和表面信息的表達。在實時顯示場景的同時，也能盡量擬合物體表面形狀，達到提升效率和提高地圖可視化能力的效果。

圖7 實際的三維重建效果圖Fig.7 Effect diagram of actual 3D reconstruction

3.3 場景一致性融合

基于頭戴式AR眼鏡的場景一致性融合可以將重建場景顯示在AR眼鏡視野的對應位置，便于用戶的查看和交互，實現(xiàn)穿越障礙感知場景態(tài)勢的目標。這其中包括增強現(xiàn)實的注冊和跟蹤技術。增強現(xiàn)實的注冊技術能將重建場景由其所在的坐標系轉換到眼鏡坐標系。跟蹤技術可以保障用戶在運動過程中，跟蹤觀察者不斷變化的視點并實時更新坐標系的對應關系，這就需要眼鏡要根據(jù)周圍環(huán)境和自帶傳感器的變化不斷估計自身位姿。

場景一致性融合流程圖如圖8所示，無人機通過指定路徑到達陌生的待重建環(huán)境之后，根據(jù)指令進行三維場景重建。通過SLAM自主定位算法，無人機便可得知機載相機和重建的三維模型在每個時刻的實時相對位姿。由于在初始化定位部分完成了無人機和AR眼鏡的相對定位并統(tǒng)一了二者的坐標系，重建后的真實場景便可以對應顯示在AR眼鏡視野中：如目標場景在用戶左前方，觀察左前方視野便能看到重建后的場景疊加在真實環(huán)境之上，達到場景的一致性顯示效果。

圖8 場景一致性融合流程圖Fig.8 Flowchart of scene consistency fusion technology

由于場景大小不定，用戶可能需要轉動頭部甚至在周圍活動才能完整地觀察到整個模型的細節(jié)。系統(tǒng)使用的AR眼鏡Microsoft Hololens攜帶有4個環(huán)境感知攝像頭、1個深度攝像頭、1個慣性測量單元，這些傳感器對 Hololens的自主定位起到主要作用。當相機在場景中移動時，需要實時獲取變化后的相機位姿。由于AR系統(tǒng)帶有慣性傳感器，因此可以采用基于慣性的跟蹤技術，通過慣性傳感器來獲取AR系統(tǒng)中攝像機位姿的實時變化量，通過累積的方式求解每個時刻點的相機位姿。這種跟蹤技術所需要的數(shù)據(jù)量較少，實時性能較好，但隨著時間的累積，精確度會有所下降。為了彌補慣性傳感器的累積誤差，通過SLAM算法實時構圖并解析攝像機位置對慣性傳感器的結果進行修正。

4 實驗與分析

真實應用場景中，便攜式計算設備需要利用無人機進行搭載，而為了測試易于操作，實驗采用三角支架代替無人機平臺。為便于誤差估計，三角支架與待重建目標距離為1 m，支架所支撐的相機高度設置為1.6 m——近似人眼高度。另外，真實應用場景中重建目標與AR眼鏡佩戴者之間應存在障礙物遮擋，而為了測試的可行性，實驗中使重建目標位于AR眼鏡佩戴者視野范圍內(nèi)。便攜式計算設備采用NVIDIA Jetson TX2，雙目相機采用ZED立體相機，AR眼鏡采用Microsoft Hololens，服務器和以上硬件的參數(shù)設置如表2所示。其中，TX2和服務器設備均為Ubuntu16.04操作系統(tǒng)，ROS平臺版本為Kinetic。

表2 實驗硬件設備參數(shù)設置

實驗中，在TX2上連接ZED相機進行圖像和深度數(shù)據(jù)的采集，并發(fā)送給服務器做信息融合處理，并對所處場景進行多分辨率重構及對自身進行高精度定位，之后將處理結果通過網(wǎng)絡發(fā)送給增強顯示設備進行一致性融合展示，原型系統(tǒng)的功能及性能指標通過展示結果來驗證。結合實驗場地的實際范圍，本文搭建了三個不同測試距離的場景對無人機協(xié)同定位精度進行測試與分析，如圖9所示。

(a) 場地一(a) Site 1(b) 測試立柱(b) Test pillar

(c) 場地二遠景(c) Long shots of site 2(d) 場地二近景(d) Close shots of site 2

(e) 場地三(e) Site 3圖9 實驗場景設置Fig.9 Experimental scenario

實驗中，觀察者佩戴AR眼鏡觀察作為目標的2 m×0.3 m×0.3 m黃色立柱，并在黃色立柱的各個棱線及中間張貼黑黃相間的條紋以對結果進行分析。白色墻壁特征點稀疏的問題可通過在立柱兩側的墻壁上隨機張貼黑黃相間的條紋來解決。如圖10所示，在場地一中測量觀察者與目標距離分別為3 m、5 m、8 m、10 m和20 m，在場地二中測量觀察者與目標距離分別為30 m、45 m、60 m，場地三中為100 m。對于每個距離，觀察者在所處位置左右適當范圍內(nèi)移動，同時錄制視頻記錄AR眼鏡觀察到的畫面。對于每一個視頻，隨機提取20張不同視角的圖片作為該位置點的采樣圖片用來計算定位誤差。

圖10 場景重建的實驗采樣結果Fig.10 Sampling results of scene reconstruction

場地一近距離的采樣圖片如圖10中的(a)～(c)所示，其采樣距離分別為3 m、5 m、8 m，由于在此距離下可清晰觀察到黃色立柱旁邊設定的最小刻度為2.5 cm的標尺，故利用標尺上的刻度求得虛實立柱之間的實際距離偏差為：

δ1=2.5×a/b

(4)

其中，a為虛實立柱之間偏差的像素數(shù)，b為刻度在圖像中所占的像素數(shù)。

場地一中等距離的采樣圖片如圖10(d)～(e)所示，其采樣距離分別為10 m、20 m，由于此距離下在AR眼鏡中已無法清晰觀察黃色立柱旁的標尺，故利用虛擬場景中邊長均為5 cm的立方體模塊求得虛實立柱之間的實際距離偏差為：

δ2=5×a/c

(5)

其中，c為立方體水平邊在圖像中所占的像素數(shù)。

場地二、場地三中遠距離的采樣圖片如圖10(f)～(i)所示，其采樣距離分別為30 m、45 m、60 m、100 m，由于立柱旁門框的實測寬度為1.5 m，故可得虛實立柱之間的實際距離偏差為：

δ3=150×a/d

(6)

其中，d為門框的水平邊在圖像中所占的像素數(shù)。

通過以上計算可得到AR眼鏡與立柱不同距離下的計算定位誤差，如表3所示。定位誤差隨距離變化趨勢如圖11所示。從圖11和表3可以看出，AR眼鏡視場范圍 20 m 以內(nèi)所構建的虛擬場景與真實環(huán)境之間的空間位置誤差小于10 cm，20 m至100 m 范圍內(nèi)所構建的虛擬場景與真實環(huán)境之間的空間位置誤差小于 35 cm。

表3 誤差與距離關系

實驗結果表明，協(xié)同定位誤差隨著AR眼鏡與前端感知設備距離的增加而逐漸增加，主要原因在于當二者的距離變大時，前端無人感知設備和AR眼鏡之間的累計誤差也會逐漸增大，該誤差一方面是由于慣性傳感器等硬件造成的漂移，另一方面是因為定位算法本身的累積誤差。當重建好的三維場景不能按照坐標系的轉換關系準確地疊加在眼鏡視野上，就會出現(xiàn)匹配不準的情況。

圖11 定位誤差與測試距離關系Fig.11 Relationship between positioning error and test distance

上述實驗中，從前端的無人機定位到服務器端重建再到AR眼鏡端顯示這一過程的平均處理速度總計為15幀/s，定位和建圖效率基本可以滿足實時性的要求。

5 結論

針對復雜戰(zhàn)場環(huán)境下作戰(zhàn)人員的態(tài)勢感知需求，本文設計了一種人機共融的遠程態(tài)勢感知系統(tǒng)，并進行了初步的系統(tǒng)實現(xiàn)和關鍵技術驗證。實驗結果表明，所構建的系統(tǒng)能夠在近距離時有較好的協(xié)同定位精度，定位精度隨著距離的增加而減小。本文的工作能夠為人機融合作戰(zhàn)系統(tǒng)的設計提供一定的啟示作用，但是為了適應大場景作戰(zhàn)的應用需求，在未來的工作中將從以下三點展開更完善的系統(tǒng)研究工作：①分布式多節(jié)點的態(tài)勢融合，實現(xiàn)多無人設備協(xié)同探測及信息融合處理；②加入對環(huán)境中關鍵目標的識別能力，并對系統(tǒng)延遲進行統(tǒng)一分析；③本文演示系統(tǒng)中所使用的是WiFi無線通信，但是在真實戰(zhàn)場環(huán)境中，為了保證無線通信的安全性、即時性和可靠性，則更多使用軍用通信系統(tǒng)，包括衛(wèi)星通信、4 G以及正在發(fā)展的5 G技術，后續(xù)將對無線通信系統(tǒng)進行進一步的完善。