賀媛媛，何 歡，竇雪倩，徐 晶

（中國電子科技集團(tuán)公司第二十九研究所，四川 成都 610036）

0 引言

隨著傳感器、軍事通信、信息網(wǎng)絡(luò)技術(shù)的發(fā)展，雷達(dá)、紅外、光電、偵察、干擾等各種傳感器在陸、海、空、天多維空間立體化部署，戰(zhàn)場電磁環(huán)境日益復(fù)雜［1-2］。高效地匯集處理各方資源、為指揮員展示直觀的戰(zhàn)場態(tài)勢，輔助指揮員做出有效決策是態(tài)勢系統(tǒng)面臨的首要任務(wù)［3］。而數(shù)據(jù)量、數(shù)據(jù)屬性與數(shù)據(jù)維度的不斷增加，數(shù)據(jù)關(guān)系的愈加復(fù)雜使得傳統(tǒng)的平面可視化面臨巨大的危機(jī)和挑戰(zhàn)［4］，這些危機(jī)與挑戰(zhàn)主要是平面可視化呈現(xiàn)形式難以表達(dá)復(fù)雜、高維的數(shù)據(jù)集，傳統(tǒng)桌面端受到設(shè)備尺寸限制使得平面可視化協(xié)作性大大降低［5］。近年來，沉浸式技術(shù)的發(fā)展為態(tài)勢可視化分析提供了一類新的交互設(shè)備，所提供的交互界面具有沉浸感和參與感［6］，如更加廣闊的視野和具象化的交互設(shè)計，沉浸式技術(shù)正逐步向著為用戶提供更加接近真實物理環(huán)境的虛擬交互空間邁進(jìn)［7］。美軍高度重視戰(zhàn)場環(huán)境仿真和可視化技術(shù)，戰(zhàn)場三維環(huán)境可視化技術(shù)給訓(xùn)練帶來“實境式”體驗，并且在地形分析研究與部隊訓(xùn)練中發(fā)揮著越來越重要的作用［8］。2021 年美軍與微軟簽訂4.8 億美元合同，打造基于混合現(xiàn)實的戰(zhàn)略決策、戰(zhàn)役規(guī)劃、戰(zhàn)術(shù)實施三層協(xié)同作戰(zhàn)決策與訓(xùn)練系統(tǒng)［9］。2022 年3 月美軍宣布“數(shù)字孿生全息實驗室”在空軍基地建成并啟用，該實驗室能夠以數(shù)字模型的形式展示空軍基地，使飛行員在虛擬環(huán)境中測試各種技術(shù)，并將成果轉(zhuǎn)化為可實戰(zhàn)的技術(shù)［10］。

當(dāng)前的混合現(xiàn)實技術(shù)欠缺對戰(zhàn)場電磁態(tài)勢的建模與顯示。常規(guī)的電子沙盤一定程度上能展現(xiàn)出戰(zhàn)場的三維態(tài)勢與軍事部署，但缺乏對大規(guī)模作戰(zhàn)環(huán)境電磁維度信息的展示，缺少對多用戶以不同全局視角同時觀察戰(zhàn)場態(tài)勢的研究，限制了指揮人員的協(xié)同作戰(zhàn)能力與指揮效率。

因此，本文針對400 km×400 km 超大規(guī)模復(fù)雜戰(zhàn)場環(huán)境，提出了基于增強(qiáng)現(xiàn)實顯示技術(shù)的電子沙盤電磁態(tài)勢展示技術(shù)解決方案，結(jié)合圖像識別定位、視覺跟蹤與重定位技術(shù)展開研究，嘗試解決多人以不同視角實時協(xié)同作戰(zhàn)情境下戰(zhàn)場復(fù)雜電磁態(tài)勢的多維、分層同屏展示。

1 典型需求分析

電磁態(tài)勢建模要素數(shù)量多、種類豐富、電磁維度信息復(fù)雜多變，為支持不同用戶以不同視角同時觀察電磁態(tài)勢，對增強(qiáng)現(xiàn)實三維地圖識別與跟蹤能力提出了較高的要求?；趫D像識別跟蹤的增強(qiáng)現(xiàn)實電子沙盤電磁態(tài)勢展示技術(shù)，通過對二維地圖模板進(jìn)行局部特征提取、匹配，定位增強(qiáng)現(xiàn)實數(shù)字內(nèi)容的位置，采用視覺信息和慣性測量單元（IMU）緊耦合優(yōu)化策略進(jìn)行持續(xù)的6DOF 跟蹤定位，采用重定位技術(shù)消除因累計誤差造成的增強(qiáng)現(xiàn)實內(nèi)容定位偏移問題，從而準(zhǔn)確地將三維戰(zhàn)場環(huán)境地形和電子沙盤上的二維地圖模板對應(yīng)，并保證精確跟蹤。

基于圖像識別跟蹤的增強(qiáng)現(xiàn)實電子沙盤電磁態(tài)勢展示技術(shù)有2 個核心技術(shù)點，分別為：三維地圖識別能力和位移變換后的視覺準(zhǔn)確性跟蹤能力。通過對以上技術(shù)點的突破，實現(xiàn)對大規(guī)模地形環(huán)境的準(zhǔn)確識別定位，為向用戶提供新穎的、沉浸式的作戰(zhàn)體驗奠定基礎(chǔ)，從而將各類戰(zhàn)場要素準(zhǔn)確、形象地展現(xiàn)在三維增強(qiáng)現(xiàn)實虛擬模型中，超越了傳統(tǒng)二維/三維態(tài)勢系統(tǒng)的人機(jī)交互體驗。

2 架構(gòu)設(shè)計

基于圖像識別跟蹤的增強(qiáng)現(xiàn)實電子沙盤電磁態(tài)勢展示技術(shù)，對大規(guī)模戰(zhàn)場環(huán)境中敵對雙方海、陸、空、天各型裝備作戰(zhàn)能力作用下的復(fù)雜電磁環(huán)境進(jìn)行研究，對雙方各型裝備及其獨立作戰(zhàn)能力和聯(lián)合作戰(zhàn)能力進(jìn)行三維立體建模，以二維和增強(qiáng)現(xiàn)實相結(jié)合的方式分層、多維全景展示戰(zhàn)場環(huán)境中分布的各維度信息。并結(jié)合指揮員作戰(zhàn)需求，研究多人以不同全局視角同時觀察增強(qiáng)現(xiàn)實電子沙盤或某一指揮員與增強(qiáng)現(xiàn)實電子沙盤交互時增強(qiáng)現(xiàn)實電子沙盤的實時切換與電磁態(tài)勢展示能力。

本文的研究架構(gòu)如圖1 所示，主要包括電子沙盤、增強(qiáng)現(xiàn)實眼鏡與增強(qiáng)現(xiàn)實管理服務(wù)。其中，圖像識別跟蹤技術(shù)通過對二維電子沙盤地圖模板圖像進(jìn)行局部特征提取、匹配，定位增強(qiáng)現(xiàn)實數(shù)字內(nèi)容的位置，采用視覺信息和慣性測量單元（IMU）緊耦合優(yōu)化策略進(jìn)行持續(xù)的6DOF 跟蹤定位，采用重定位技術(shù)消除因累計誤差造成的增強(qiáng)現(xiàn)實數(shù)字內(nèi)容定位偏移問題，從而持續(xù)準(zhǔn)確地將三維虛擬電磁態(tài)勢和電子沙盤上的地圖地形對應(yīng)，保證精確跟蹤。增強(qiáng)現(xiàn)實管理服務(wù)后臺程序通過數(shù)據(jù)的接入、二三維轉(zhuǎn)換、圖層管理與通信等實現(xiàn)對電子沙盤端與增強(qiáng)現(xiàn)實眼鏡端數(shù)據(jù)的推送。本技術(shù)通過圖像識別跟蹤定位技術(shù)支持用戶直接與電子沙盤進(jìn)行交互，支持用戶通過增強(qiáng)現(xiàn)實眼鏡與電子沙盤進(jìn)行交互，支持多用戶圍繞電子沙盤移動觀察增強(qiáng)現(xiàn)實電磁態(tài)勢。

圖1 增強(qiáng)現(xiàn)實電磁態(tài)勢實現(xiàn)框架

3 關(guān)鍵技術(shù)實現(xiàn)

為滿足多人同時觀看大規(guī)模電磁態(tài)勢虛擬內(nèi)容需求并保證各增強(qiáng)現(xiàn)實眼鏡中呈現(xiàn)的數(shù)字內(nèi)容的位置保持一致，需要實時定位跟蹤虛擬內(nèi)容在真實空間中的具體位置。三維地圖AR 圖像識別跟蹤過程如圖2 所示，首先計算電子沙盤與虛擬內(nèi)容的相對位置，確定虛擬內(nèi)容在真實環(huán)境的準(zhǔn)確初始位置，以保證多人在不同視角下觀察數(shù)字內(nèi)容的初始位置具備一致性。初始位置確定后，采用VIO 跟蹤技術(shù)，解決當(dāng)用戶圍繞電子沙盤大尺度自由移動觀察電磁態(tài)勢時虛擬內(nèi)容能持續(xù)穩(wěn)定地定位在初始位置的問題。最后針對系統(tǒng)長時間運行導(dǎo)致的位置偏移問題，采用重定位技術(shù)修正累積誤差，確保用戶長時間移動觀察增強(qiáng)現(xiàn)實電磁態(tài)勢時虛擬內(nèi)容定位的準(zhǔn)確性。

圖2 圖像識別跟蹤過程

3.1 三維地圖識別能力

增強(qiáng)現(xiàn)實三維地圖識別技術(shù)基于局部特征匹配算法對電子沙盤的二維地圖進(jìn)行識別定位，核心過程如圖3 所示，依次包括生成多分辨率高斯差分金字塔、DOG 局部極值檢測、特征點主方向確定及描述子的生成。

圖3 AR 圖像識別過程

1） 生成多分辨率高斯差分金字塔

首先定義圖像的尺度空間L(x，y，σ)為原始圖像I(x，y)與可變尺度的二維高斯函數(shù)G(x，y，σ)的卷積。二維高斯函數(shù)G(x，y，σ)中（x，y）表示圖像像素的位置：

則尺度空間表示為：

為實現(xiàn)不同的尺度空間搜索且保障尺度體系連續(xù)性，對圖像做不同尺度的高斯模糊和降采樣。為有效提取穩(wěn)定的關(guān)鍵點，利用不同尺度的高斯差分核與卷積生成DOG 高斯差分金字塔，即將圖像在不同參數(shù)下的高斯濾波結(jié)果相減，得到DOG圖像，從而觀察圖像上的像素值變化情況。DOG 函數(shù)為：

2） DOG 局部極值檢測

為確保在圖像空間和尺度空間都能檢測到極值點，DOG 局部極值點檢測不但包括與本層臨近同尺度的8 個相鄰點像素之間相互比較，還需要和上下兩層相鄰尺度對應(yīng)的9×2 個像素點相互比較，一共需要比較 8+2×9 =26 個像素。然后通過擬合三維二次函數(shù)來精確確定關(guān)鍵點的位置和尺度，同時因為DOG 算子會產(chǎn)生較強(qiáng)的邊緣效應(yīng)，所以需要去除對比度低的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點。

3） 特征點主方向確定

通過高斯差分金字塔、DOG 極值檢測算法已經(jīng)找到了在不同尺度下都存在的特征點，為了實現(xiàn)圖像旋轉(zhuǎn)不變性，需要對特征點的方向進(jìn)行賦值。本文利用特征點鄰域像素的梯度來確定其方向參數(shù)，再利用圖像的梯度直方圖求取關(guān)鍵點局部結(jié)構(gòu)的穩(wěn)定方向。首先使用有限差分，計算以特征點為中心，以3×1.5σ為半徑的區(qū)域內(nèi)圖像梯度的幅值m(x，y)和方向θ(x，y)。然后使用梯度方向直方圖統(tǒng)計鄰域內(nèi)像素對應(yīng)的梯度方向和幅值，當(dāng)存在一個相當(dāng)于主峰值能量80%的峰值時，將這個方向認(rèn)為是該特征點的輔方向。一個特征點可能檢測到多個方向，這可以增強(qiáng)匹配的魯棒性。獲得圖像特征點主方向后，每個特征點有3 個信息：位置、尺度、方向，由此可以確定一個特征區(qū)域。

4） 生成描述子

對關(guān)鍵點周圍圖像區(qū)域分塊，計算塊內(nèi)梯度直方圖，生成具有唯一性的該區(qū)域圖像信息的描述子。假設(shè)將關(guān)鍵點的尺度空間劃分為d×d個子區(qū)域，每個子區(qū)域作為一個種子點，每個點有8 個方向的梯度信息，最終共有d×d×8 個數(shù)據(jù)，形成d×d×8 維特征矢量。除去光照變化影響，進(jìn)一步對特征向量門限化、歸一化，生成描述子。

在AR 圖像識別定位技術(shù)中，預(yù)先將電子沙盤呈現(xiàn)的戰(zhàn)場二維地形圖通過電子沙盤與虛擬內(nèi)容定位技術(shù)生成可供識別的模板描述子集合。當(dāng)用戶佩戴AR 眼鏡或者手持設(shè)備對電子沙盤呈現(xiàn)的戰(zhàn)場二維地形進(jìn)行圖像識別時，通過當(dāng)前電子設(shè)備Camera 圖像數(shù)據(jù)的輸入實時計算當(dāng)前設(shè)備鏡頭圖像的實時描述子，并建立實時描述子集合，然后通過匹配兩集合內(nèi)關(guān)鍵點描述子的相似性完成目標(biāo)識別。具體模板描述子與實時描述子匹配算法為：

模板圖中關(guān)鍵點描述子：

實時圖中關(guān)鍵點描述子：

任意兩描述子相似性度量：

配對的關(guān)鍵點描述子需滿足：

本文采用平衡二叉樹數(shù)據(jù)結(jié)構(gòu)完成關(guān)鍵點匹配算法搜索，搜索的內(nèi)容以目標(biāo)圖像的關(guān)鍵點為基準(zhǔn)，搜索與目標(biāo)圖像的特征點最鄰近的原圖像特征點和次鄰近的原圖像特征點。然后對特征點匹配集合利用隨機(jī)抽樣一致（RANSAC）濾除錯誤匹配。最后通過特征點準(zhǔn)確的匹配關(guān)系進(jìn)行三維位姿估算，計算出AR 內(nèi)容應(yīng)該呈現(xiàn)的正確位置。

3.2 位移變換后的視覺準(zhǔn)確性跟蹤

通過增強(qiáng)現(xiàn)實三維地圖識別技術(shù)可以正確計算出AR 眼鏡與電子沙盤的相對初始位置，但增強(qiáng)現(xiàn)實展示內(nèi)容以86 寸沙盤為基礎(chǔ)，作戰(zhàn)單元種類多、分布廣，電磁覆蓋展示范圍大，用戶在固定位置無法全方位、直觀地觀看整個增強(qiáng)現(xiàn)實電磁態(tài)勢，需要圍繞電子沙盤移動式觀看電子沙盤，會存在走近、走遠(yuǎn)，仰視、俯視等多種觀察方式。因此本文采用視覺信息和慣性測量單元（IMU）緊耦合的6DOF 優(yōu)化策略，實現(xiàn)位移變換后增強(qiáng)現(xiàn)實虛擬內(nèi)容的準(zhǔn)確性跟蹤與重定位。實現(xiàn)過程如圖4 所示，包括數(shù)據(jù)預(yù)處理、后端非線性優(yōu)化和重定位檢測。

圖4 位移變換后的準(zhǔn)確性跟蹤過程

1） 數(shù)據(jù)預(yù)處理

利用KLT 稀疏光流法對每一個地理環(huán)境新圖像存在的特征點進(jìn)行跟蹤。同時，檢測新的角點特征以保證每幅圖像特征的最小數(shù)目，利用基本矩陣模型的RANSAC 算法進(jìn)行外點剔除。為獲得每個圖像幀對應(yīng)的IMU 數(shù)據(jù)，對2 個圖像幀之間的IMU 數(shù)據(jù)進(jìn)行積分，實現(xiàn)圖像幀和IMU 數(shù)據(jù)的意義配對。同時，使用IMU 預(yù)積分，當(dāng)圖中某個狀態(tài)量發(fā)生變化時，直接通過預(yù)積分的值更新之后的每個關(guān)鍵幀的狀態(tài)量。

2） 后端非線性優(yōu)化

基于滑動窗口的緊耦合后端非線性優(yōu)化：在目標(biāo)函數(shù)中對視覺約束、IMU 約束、閉環(huán)約束進(jìn)行非線性優(yōu)化，求出滑動窗口中所有幀的PVQ、bias，得到最后姿態(tài)的最優(yōu)解。狀態(tài)向量共包括滑動窗口內(nèi)的n+1個所有相機(jī)的狀態(tài)（包括位置、朝向、速度、加速度計bias 和陀螺儀 bias）、相機(jī)到 IMU 的外參、m+1 個3D點的逆深度：

目標(biāo)函數(shù)如式（13）所示，其中三個殘差項分別為邊緣化的先驗信息、IMU 測量殘差、視覺的重投影殘差。

3） 重定位檢測

采用 BRIEF 描述子的DBOW2 詞袋進(jìn)行重定位檢測，前端識別的 Harris 角點數(shù)量通常只有70 個，對于閉環(huán)檢測遠(yuǎn)遠(yuǎn)不夠，因此會對新來的幀即后端非線性優(yōu)化剛處理完的關(guān)鍵幀再重新閉環(huán)檢測500 個FAST 角點，同時對所有新、老特征點進(jìn)行 BRIEF 描述。然后計算當(dāng)前幀與詞袋的相似度分?jǐn)?shù)，并與關(guān)鍵幀數(shù)據(jù)集合中所有幀進(jìn)行對比，通過閉環(huán)一致性檢測得到閉環(huán)候選幀。最后利用 BRIEF 描述子對閉環(huán)中老幀的500 個FAST 角點和當(dāng)前幀的70 個Harris 角點進(jìn)行基于描述子的鄰域匹配并利用 RANSAC 算法剔除誤配點，當(dāng)剔除后的匹配點仍超過閾值時，判定該候選幀是一個正確的重定位幀，即可將當(dāng)前的姿態(tài)更新為重定位姿態(tài)。

通過采用視覺信息和IMU 信息緊耦合的優(yōu)化方案，大幅提升了位移變換時AR 圖像跟蹤的穩(wěn)定性、準(zhǔn)確性，滿足了多用戶以不同視角同時移動觀看增強(qiáng)現(xiàn)實電磁態(tài)勢需求。

4 工程應(yīng)用驗證

4.1 三維地圖識別能力

三維地圖識別能力的試驗原理和驗證過程如圖5所示，通過對識別模板虛擬模型的準(zhǔn)確位姿與虛擬模型的識別位姿進(jìn)行對比，計算得出多用戶、多視角觀察前提下電子沙盤戰(zhàn)場地圖的識別誤差。

圖5 三維地圖識別能力驗證過程

首先輸入待識別地圖圖片，使用open cv 的slove-PNP 方法利用圖片四個角的位置計算出增強(qiáng)現(xiàn)實相機(jī)識別的初始模型的位姿POSE，記錄此時人工識別的位姿信息POSE 為準(zhǔn)確位姿。使用識別算法對待識別地圖圖像進(jìn)行三維地圖識別，得到三維地圖虛擬模型的識別位姿。隨意選取4 張識別地圖模板，分別進(jìn)行試驗計算地圖模板的識別位姿與準(zhǔn)確位姿的誤差（識別位姿的位置與準(zhǔn)確位姿的位置做算術(shù)平方根，識別位姿的姿態(tài)與準(zhǔn)確位姿的姿態(tài)做算術(shù)平方根），分別得到4 張地圖模板的位移誤差在1%～2%之間，旋轉(zhuǎn)誤差（姿態(tài)的歐拉角誤差）在1%度～2%度之間，如表1 所示。實驗證實，本技術(shù)使用的增強(qiáng)現(xiàn)實三維地圖識別算法能夠準(zhǔn)確地對地圖模板進(jìn)行識別定位，同時用戶佩戴增強(qiáng)現(xiàn)實眼鏡觀察電磁態(tài)勢時能夠看到準(zhǔn)確識別定位的虛擬內(nèi)容，用戶體驗良好。

表1 識別定位誤差表

4.2 位移變換后的視覺準(zhǔn)確性跟蹤

用戶在觀察增強(qiáng)現(xiàn)實電子沙盤時會不斷變化自己的位置，為了使用戶能持續(xù)看到精準(zhǔn)定位的增強(qiáng)現(xiàn)實虛擬模型，虛擬世界與現(xiàn)實世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系要不斷地根據(jù)用戶的觀察位置和角度來做出相應(yīng)的、實時的改變，即要同時確定不同用戶觀察的位置和角度并改變坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。

本實驗通過日志方式，記錄用戶佩戴AR 眼鏡圍繞電子沙盤移動觀察增強(qiáng)現(xiàn)實電磁態(tài)勢時三維虛擬電磁態(tài)勢模型的識別位置和用戶的位移，計算相對用戶位移的識別誤差。如表2 所示，計算用戶在不同位置的觀察時模型的算術(shù)平方根，用該算術(shù)平方根除以用戶在這2 個觀察點之間的位移，得到三維識別模型的視覺跟蹤與重定位誤差在0.008%～1%之間，位移變換后的視覺準(zhǔn)確性跟蹤精度較高，用戶佩戴增強(qiáng)現(xiàn)實眼鏡圍繞電子沙盤移動觀察電子沙盤電磁態(tài)勢時能夠看到準(zhǔn)確識別定位的虛擬內(nèi)容，用戶體驗良好。

表2 位移變換誤差表

4.3 效果驗證

基于圖像識別跟蹤的增強(qiáng)現(xiàn)實電子沙盤電磁態(tài)勢展示技術(shù)效果如圖6 所示。經(jīng)驗證，本技術(shù)在三維立體層次分層、多維、直觀地展示了戰(zhàn)場電磁態(tài)勢，支持多用戶以不同全局視角移動、協(xié)同觀察大規(guī)模復(fù)雜戰(zhàn)場電磁態(tài)勢，用戶體驗新穎。

圖6 增強(qiáng)現(xiàn)實電磁態(tài)勢效果圖

5 結(jié)束語

本文提出了一種基于圖像識別跟蹤的增強(qiáng)現(xiàn)實電子沙盤電磁態(tài)勢展示技術(shù)，依托400 km×400 km 真實戰(zhàn)場環(huán)境探索了電磁態(tài)勢的三維全景增強(qiáng)現(xiàn)實表現(xiàn)手段。實驗證明，該技術(shù)的識別定位精度、位移跟蹤進(jìn)度準(zhǔn)確，更直觀地表現(xiàn)了三維電磁信號在空間的分布，用戶體驗新穎、視覺效果顯著?！?/p>