摘" 要：針對航空裝備艦基修理過程中時間緊、難度大和人員培養(yǎng)慢等問題，基于增強現(xiàn)實技術(shù)設(shè)計開發(fā)AR輔助維修引導(dǎo)系統(tǒng)。以移動智能終端為硬件平臺，利用ORB-SLAM2方法實現(xiàn)運動跟蹤，結(jié)合觸摸屏技術(shù)、語音識別、震動反饋實現(xiàn)人機交互，并以某型光電雷達的電子部件拆卸步驟為例，進行功能驗證。分析結(jié)果發(fā)現(xiàn)，系統(tǒng)在縮短維修時間和減少差錯次數(shù)方面表現(xiàn)較好，能夠為航空裝備艦基修理能力的生成起到一定的促進作用。

關(guān)鍵詞：增強現(xiàn)實；航空裝備；艦基修理；人機交互；運動跟蹤

中圖分類號：TP391" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2025）05-0027-05

Abstract： To address the challenges of limited time， complexity， and slow personnel trainning in the ship-based repair of aviation equipment， an AR-assisted maintenance guidance system is developed based on augmented reality technology. Taking a mobile smart terminal as a hardware platform， the ORB-SLAM2 method is used to achieve motion tracking， based on touch screen technology， voice recognition， and vibration feedback to achieve human-computer interaction， and taking the dismantling steps of electronic components of a certain type of optoelectronic radar as an example to perform functional verification. The analysis results show that the system performs well in shortening maintenance time and reducing the number of errors， and can play a certain role in promoting the generation of ship-based repair capabilities of aviation equipment.

Keywords： augmented reality; aviation equipment; ship-based repair; human-computer interaction; motion tracking

作為航母戰(zhàn)斗力生產(chǎn)的關(guān)鍵，如何保持艦載機在駐艦期間的狀態(tài)完好已經(jīng)成為航空裝備維修保障領(lǐng)域的重要課題之一。傳統(tǒng)陸基維修保障模式采用三級維修體制，而對于執(zhí)行遠海任務(wù)的艦載機，在駐艦期間更加依賴艦基修理力量[1]。而且遠海條件下，能夠用于維修保障的資源有限，空間局限，技術(shù)受限，加之可能出現(xiàn)的疑難故障、戰(zhàn)場搶修、復(fù)雜工藝等情況，使裝備修理的難度直線上升。這事實上也對維修保障人員能力水平和維修手段方法提出了更高的要求。但目前維修能力與保障需求之間還存在差距，具體表現(xiàn)有人員培養(yǎng)周期長；技術(shù)要求高；維修易出錯。常規(guī)的維修方法依靠查閱使用說明書、電子手冊、故障匯編等技術(shù)資料，但大多效率不高，無法滿足艦基修理的現(xiàn)實需求。

近年來，基于增強現(xiàn)實（Augmented Reality，AR）的輔助維修技術(shù)逐漸被運用在復(fù)雜裝備的維修工作中。通過計算機[2]對虛擬的圖形數(shù)據(jù)進行實時處理，再與真實場景相匹配。維修人員通過屏幕既能觀察現(xiàn)實世界，又能掌握虛擬的維修信息，起到了信息增強的效果。國外團隊對于增強現(xiàn)實技術(shù)的研究起步較早，1968年，美國哈佛大學(xué)研發(fā)的The Sword of Damocles系統(tǒng)第一次使用光學(xué)透視頭戴式顯示器，展示了在真實世界中疊加虛擬物體的畫面。1990年，美國波音公司研究員Tom Caudell在美國達拉斯召開的SIGGRAPH會議上，明確提出了增強現(xiàn)實這個概念，隨后在制造DART510型航空發(fā)動機過程中，利用AR技術(shù)輔助飛機的裝配工作，能夠節(jié)省56%的維修時間[3]。2015年，NASA嘗試將AR技術(shù)用于宇航員的空間站修理能力訓(xùn)練，成果降低了學(xué)習(xí)成本[4]。目前國內(nèi)AR技術(shù)研究也取得一定成果，2017年李佳寧[5]團隊著重研究了AR系統(tǒng)中的VSLAM關(guān)鍵技術(shù)。2023年崔海清等[6]基于HoloLens增強現(xiàn)實眼鏡開發(fā)了維修指導(dǎo)系統(tǒng)。這些研究成果證明，AR技術(shù)在輔助維修方面潛力巨大。但是目前應(yīng)用的案例大多針對工業(yè)生產(chǎn)領(lǐng)域和部分傳統(tǒng)軍事裝備，應(yīng)用于艦基修理方面的研究較少。本文以某型光電雷達艦基修理為例，嘗試將增強現(xiàn)實技術(shù)與艦基修理相結(jié)合，設(shè)計開發(fā)AR輔助維修引導(dǎo)系統(tǒng)。通過虛實結(jié)合的方式，可為維修人員面對復(fù)雜、緊急的維修任務(wù)時提供輔助引導(dǎo)，從而提高維修效率。

1" 系統(tǒng)設(shè)計

1.1" 總體思路

AR輔助維修引導(dǎo)系統(tǒng)采用模塊化設(shè)計，總體包含運動跟蹤模塊、數(shù)字資源管理模塊、人機交互模塊和數(shù)據(jù)存儲模塊4個模塊。

運動跟蹤模塊：運動跟蹤是不斷跟蹤增強現(xiàn)實設(shè)備的位置和姿態(tài)，其是虛實模型與現(xiàn)實場景結(jié)合的基礎(chǔ)，是影響使用者增強現(xiàn)實觀感最關(guān)鍵的因素。該模塊可持續(xù)跟蹤設(shè)備相對于周圍環(huán)境的位置和姿態(tài)變化軌跡，負責建立虛擬世界與真實事件的統(tǒng)一幾何空間。

數(shù)字資源管理模塊：數(shù)字資源是以增強現(xiàn)實形式展現(xiàn)的虛擬場景，是輔助維修的重要信息，包括文字、視頻、語音和3D模型等。該模塊負責將不同格式的數(shù)據(jù)進行統(tǒng)一管理，按照不同的維修階段呈現(xiàn)對應(yīng)的維修信息。

人機交互模塊：人機交互是維修人員對虛擬維修信息的交互控制。傳統(tǒng)的交互方式是采用鼠標和鍵盤輸入指令，增強現(xiàn)實技術(shù)更加注重交互的視、聽、觸覺體驗，除了構(gòu)建可漫游的虛擬場景，還能對場景進行編輯，交互的方式有手勢、觸摸屏、語音和震動反饋等。

數(shù)據(jù)存儲模塊：數(shù)據(jù)存儲是將每次維修的相關(guān)數(shù)據(jù)進行記錄，包括設(shè)備編號、維修日期、維修情況等等。這類數(shù)據(jù)是重要的維修輔助資料，分類存儲在系統(tǒng)本地，還可以通過數(shù)據(jù)傳輸共享至其他終端。維修人員可以通過查詢數(shù)據(jù)快速掌握待修設(shè)備的履歷記錄，同時還能進行故障統(tǒng)計分析，為預(yù)防性維修提供參考。

1.2" 框架設(shè)計

針對某型光電雷達艦基修理的檢查和維修兩方面的需求，本文設(shè)計了AR輔助維修引導(dǎo)系統(tǒng)的框架結(jié)構(gòu)，如圖1所示。

用戶層是維修人員直接操作的界面，主要展示各項功能，要求簡潔、美觀、易用。通過點擊、滑動屏幕或者用語音等方式，控制系統(tǒng)完成不同功能，界面呈現(xiàn)相應(yīng)維修信息。

業(yè)務(wù)層是系統(tǒng)的主要功能，按照需求劃分為4個部分：信息查詢允許維修人員通過編號查詢光電雷達的基本信息，初步掌握設(shè)備基本情況、維修歷史等，功能類似電子履歷本；日常檢查是在接收光電雷達以后，按照系統(tǒng)提供的操作清單，逐項檢查待修光電雷達的狀態(tài)；維修引導(dǎo)是系統(tǒng)的核心功能，根據(jù)故障現(xiàn)象選擇對應(yīng)檢查的部位，系統(tǒng)能夠以增強現(xiàn)實的方式顯示維修信息；日志記錄是在維修結(jié)束以后，將排故的具體情況記錄在案，便于后期故障數(shù)據(jù)分析。

工具層為業(yè)務(wù)層各項功能提供軟件支撐，涉及數(shù)字資源管理、交互控制和數(shù)據(jù)庫操作。

服務(wù)層是系統(tǒng)各項功能實現(xiàn)的基礎(chǔ)，負責提供底層服務(wù)，例如運動跟蹤的算法、圖像渲染的標準圖形庫、傳感器的信號輸出等，該層更加貼近設(shè)備硬件。

2" 系統(tǒng)實現(xiàn)

2.1" 功能模塊交聯(lián)關(guān)系

從艦基修理的實際應(yīng)用場景出發(fā)，考慮到設(shè)備便攜性要求，開發(fā)平臺選用華為移動智能終端，運行環(huán)境為HarmonyOS系統(tǒng)。為避免可能出現(xiàn)的電子干擾、電磁壓制等特殊情況的影響，系統(tǒng)設(shè)計了離線單機獨立運行的模式，不依賴遠程支援。系統(tǒng)各個模塊之間的相互關(guān)系如圖2所示。

2.2" 底層技術(shù)

2.2.1" 運動跟蹤

增強現(xiàn)實對運動跟蹤要求很高，包括準確性、實時性、魯棒性和可移動性等，優(yōu)秀的運動跟蹤能力是增強現(xiàn)實沉浸感的關(guān)鍵。目前增強現(xiàn)實完成運動跟蹤可以采用光學(xué)、慣性和混合測量等[7]。本系統(tǒng)采用ORB-SLAM2實現(xiàn)運動跟蹤，基于PTAM框架，在無標志場景中根據(jù)攝像頭拍攝的視頻實時計算移動智能終端姿態(tài)。由于ORB-SLAM2能夠處理環(huán)境光線影響，經(jīng)過跟蹤、建圖和回環(huán)檢測3個程序，其環(huán)境適應(yīng)性較好。

2.2.2" 人機交互

1）本系統(tǒng)硬件平臺集成有電容式觸摸屏，因此觸摸屏技術(shù)作為主要的交互手段。用戶通過觸摸屏選取興趣點，配合點擊、輸入、滑動等操作，實現(xiàn)控制系統(tǒng)進行工作的目的。此外基于觸摸屏的命中檢測是人機交互的重要部分。將屏幕中的興趣點映射到現(xiàn)實空間中的興趣點，命中檢測可使維修人員通過點擊屏幕選取現(xiàn)實空間中的興趣點，從而實現(xiàn)與虛擬物體的交互操作。

2）為輔助觸摸屏操作，增加語音識別功能。目前有多款成熟的語音交互技術(shù)解決方案，如Google語音識別、百度語音識別、科大訊飛語音識別等。從離線運行的需求考慮，本系統(tǒng)采用了科大訊飛語音識別方案?？拼笥嶏w語音交互技術(shù)包括語音識別、自然語言處理和語音合成等，在人工智能技術(shù)的推動下，語言交互技術(shù)的準確性和響應(yīng)速度有了質(zhì)的飛躍。

3）觸覺反饋技術(shù)能通過作用力和振動等增加使用者的觸感，是智能設(shè)備交互中一種重要的反饋形式。借助本系統(tǒng)硬件平臺集成的震動馬達實現(xiàn)震動觸覺反饋。目的是在虛擬場景中營造“真實”的體驗感，能夠更有效地增強現(xiàn)實。利用觸覺反饋充分調(diào)動人的感官，在視覺或聽覺受到干擾時，能夠有效幫助使用者獲取信息。

2.2.3" 虛實結(jié)合

虛擬場景的構(gòu)建需要借助三維圖形繪制技術(shù)，借助于高性能計算機已經(jīng)可以渲染出清晰、逼真的虛擬環(huán)境。目前主流的三維圖形繪制技術(shù)有多個方案可選，結(jié)合本系統(tǒng)的開發(fā)平臺，需要考慮移動智能終端硬件計算能力。OpenGL ES是針對嵌入式、移動平臺設(shè)計開發(fā)的標準三維圖形標準，具有開發(fā)、靈活、跨平臺等優(yōu)點。本系統(tǒng)采用OpenGL ES繪制虛擬場景，著重解決繪制的真實感問題，即如何保持虛擬物體與真實環(huán)境的一致性。從兩方面考慮：一是幾何一致性問題，虛擬物體與真實環(huán)境之間要考慮遮擋關(guān)系[8]；二是光照一致性問題，虛擬物體要呈現(xiàn)正確的光照效果，確保明暗效果與現(xiàn)實物體保持同步。

2.2.4" 電子手冊

除了基礎(chǔ)的運動跟蹤和顯示處理等技術(shù)，與維修相關(guān)的需重點考慮的問題是修理工藝問題。復(fù)雜裝備的修理包括分解、清洗、檢查、修理、裝配、調(diào)試和質(zhì)量檢驗等流程，其中涉及大量的維修信息。對維修信息的組織管理和展現(xiàn)形式是增強現(xiàn)實維修的重要一環(huán)。目前基于電子信息技術(shù)開發(fā)的交互式電子手冊，在裝備維修領(lǐng)域應(yīng)用較多，其可以將文字、圖片或者視頻等信息統(tǒng)一保存和管理，并提供維修數(shù)據(jù)的快速查詢，但無法主動根據(jù)當前維修步驟自動給出操作提示。因此，需要對傳統(tǒng)交互式電子手冊技術(shù)重新設(shè)計，使其與增強現(xiàn)實修理過程進行耦合。本系統(tǒng)基于鴻蒙系統(tǒng)開發(fā)數(shù)字資源管理模塊，用于統(tǒng)一存儲和管理維修相關(guān)信息。

3" 應(yīng)用與效果評價

3.1" 應(yīng)用步驟

系統(tǒng)以某型光電雷達整體組件中的電子部件拆卸為例進行功能驗證。電子部件是光電雷達整體組件的重要組成部分，能夠根據(jù)探測器的測量信號計算目標的方位和俯仰坐標，其與整體組件之間共有3種連接關(guān)系：通過螺絲進行固定連接；通過搭鐵線進行搭鐵連接；通過插頭插座進行電氣連接。組成結(jié)構(gòu)如圖3所示。

本次任務(wù)為拆卸電子部件，點擊維修引導(dǎo)系統(tǒng)首先進行環(huán)境掃描。按照維修信息的指引，拆卸遵循三解除原則。第一步，解除外圍。使用一字解刀擰下固定螺絲，取下搭鐵線。第二步，解除連接。用手握住插頭，逆時針擰松并取下插頭。第三步，解除固定。使用十字解刀，沿對角方向依次擰下固定螺絲，取下電子部件。維修引導(dǎo)信息及提示信息同步顯示在屏幕中，效果如圖5所示。

3.2" 效果評價

為了檢驗AR輔助維修引導(dǎo)系統(tǒng)在提升維修效率方面的有效性，分別從維修工廠和基層單位選取6名維修人員進行測試，其中入職1年以下和1年以上各3名。將12名測試人員按照入職年限分為2組，入職1年以下的為A組，入職1年以上的為B組。操作中分別使用紙質(zhì)維修工卡和AR輔助維修引導(dǎo)系統(tǒng)，以電子部件拆卸為例，記錄維修時間和差錯次數(shù)[9]，結(jié)果見表1和表2。

另外，參考趙守偉等[2]提出的評價方法，從滿意度、直觀度、舒適度3個方面對系統(tǒng)進行了主觀評價。評價分數(shù)針對5級態(tài)度“很滿意”“滿意”“一般”“不滿意”“很不滿意”，分別賦分5、4、3、2、1，最終2種維修輔助方式平均分比較，見表3。

根據(jù)維修結(jié)果，A組使用AR輔助維修引導(dǎo)系統(tǒng)以后，維修時間縮短了10.9%，差錯次數(shù)減小了45.4%。B組維修時間縮短了4.2%，差錯次數(shù)減小了25.4%。這說明AR輔助維修引導(dǎo)系統(tǒng)能夠在一定程度上縮短維修時間并有效降低差錯次數(shù)，而且在入職年限較短的維修人員中表現(xiàn)更加明顯。同時通過對比2種方式主觀評價指標，可以看出使用AR輔助維修引導(dǎo)系統(tǒng)進行維修，更加直觀和舒適。

4" 結(jié)束語

本文從艦基修理的需求出發(fā)，設(shè)計并實現(xiàn)了AR輔助維修引導(dǎo)系統(tǒng)。系統(tǒng)通過虛實結(jié)合的方式，可為維修人員提供一種新的輔助維修途徑。從實驗驗證的結(jié)果分析，一方面系統(tǒng)初步實現(xiàn)了縮短維修時間目的，同時能夠有效降低維修差錯次數(shù)；另一方面，借助增強現(xiàn)實技術(shù)，維修引導(dǎo)信息能夠直觀展示，減輕了維修人員認知負荷。因此系統(tǒng)適用于復(fù)雜裝備緊急條件下的維修，對于艦基修理能力的生成具有促進作用。但目前系統(tǒng)只設(shè)計開發(fā)了離線工作模式，在故障智能診斷方面能力不足，還需結(jié)合人工智能算法進一步開發(fā)和完善。

參考文獻：

[1] 張帥，糜玉林，孫媛，等．基于備件短缺數(shù)的艦載機修理級別分析[J]．電光與控制，2015，22（7）：115-119.

[2] 趙守偉，王凱，張勇，等．增強現(xiàn)實輔助維修系統(tǒng)的評價方法研究[J]．火炮發(fā)射與控制學(xué)報，2016，37（2）：82-87．

[3] TECCHIA F．Fundamentals of wearable computers and augmented reality，second edition[J]．Presonce： Virtual and Augmented Reality，2016，25（1）：78-79．

[4] 靳冬冬，王崴，劉曉衛(wèi)，等．增強現(xiàn)實誘導(dǎo)維修在外軍的發(fā)展現(xiàn)狀和趨勢[J]．現(xiàn)代防御技術(shù)，2014，42（6）：134-139．

[5] 李佳寧．基于RGB-D攝像機的增強現(xiàn)實系統(tǒng)關(guān)鍵技術(shù)研究[D]．杭州：浙江大學(xué)，2017．

[6] 崔海青，張旭鵬，詹湘琳，等．基于HoloLens的飛機維修遠程指導(dǎo)系統(tǒng)[J].計算機測量與控制，2023，31（5）：214-220.

[7] 張雷，馬金盾，郭理彬，等．增強現(xiàn)實在裝甲裝備基層級維修中的應(yīng)用[J]．兵器裝備工程學(xué)報，2020，41（12）：268-274．

[8] 鄭毅．增強現(xiàn)實虛實遮擋方法評述與展望[J]．系統(tǒng)仿真學(xué)報，2014，26（1）：1-10．

[9] 白柯萌，王崴，瞿玨，等．多傳感器式誘導(dǎo)維修系統(tǒng)的設(shè)計與實現(xiàn)[J]．火力與指揮控制，2017，42（2）：102-108．