国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

高精度增強(qiáng)現(xiàn)實(shí)輔助裝配空間定位技術(shù)研究與應(yīng)用

2022-12-09 04:10:54霍志宇
航空制造技術(shù) 2022年18期
關(guān)鍵詞:關(guān)鍵幀位姿標(biāo)志物

霍志宇

(中國(guó)航空制造技術(shù)研究院,北京 100024)

飛機(jī)裝配過程中人工的介入必不可少。因此,提高人工環(huán)節(jié)的效率和質(zhì)量對(duì)于飛機(jī)裝配全過程的效率和質(zhì)量有顯著的提升作用。人工裝配中將裝配指令更加直觀、準(zhǔn)確地向作業(yè)人員傳遞是提升裝配效率的關(guān)鍵,也是保證裝配質(zhì)量的核心。增強(qiáng)現(xiàn)實(shí)(Augmented reality,AR)技術(shù)可以將虛擬模型疊加顯示至真實(shí)場(chǎng)景以對(duì)場(chǎng)景中的重要信息進(jìn)行提示和標(biāo)注,這種功能被稱為虛實(shí)融合。利用AR技術(shù)建立具備虛實(shí)融合功能的輔助裝配系統(tǒng),將可視化的產(chǎn)品裝配指令疊加顯示在目標(biāo)位置,使裝配人員更加直觀地獲得裝配所需的工件、工具和裝配工藝、裝配工序等信息,從而提高人工裝配作業(yè)速度并防止錯(cuò)裝、漏裝問題的發(fā)生。國(guó)內(nèi)外航空制造領(lǐng)域?qū)R輔助裝配技術(shù)進(jìn)行了深入研究和廣泛實(shí)踐。美國(guó)波音公司運(yùn)用谷歌眼鏡研發(fā)能在工人視野中疊加布線路徑和文字信息的AR系統(tǒng),從而協(xié)助飛機(jī)制造中電力線纜的連接和接線器裝配工作[1];洛克希德·馬丁公司利用微軟Hololens AR眼鏡將獵戶座飛船的數(shù)字模型疊加顯示在被裝配的船體上,以對(duì)人工裝配任務(wù)進(jìn)行可視化引導(dǎo)[1];國(guó)內(nèi)上海交通大學(xué)、西北工業(yè)大學(xué)均對(duì)飛機(jī)裝配中的AR輔助裝配技術(shù)進(jìn)行研究并測(cè)試了原型產(chǎn)品[2–3]。

AR眼鏡、智能手機(jī)等AR設(shè)備采用相機(jī)等傳感器追蹤環(huán)境中形態(tài)穩(wěn)定、特征明顯的目標(biāo)以實(shí)時(shí)估計(jì)自身六自由度(6DoF)位置和姿態(tài),進(jìn)而利用相機(jī)位姿信息將虛擬模型渲染為圖像,實(shí)現(xiàn)虛實(shí)融合效果。被追蹤的目標(biāo)可為二維碼、條形碼、圖片等平面標(biāo)志物[4]或通過物體CAD模型和三維掃描結(jié)果所生成的點(diǎn)云模型[5],AR設(shè)備可在追蹤后直接將虛擬內(nèi)容疊加顯示在目標(biāo)上。這類方法的精度較高,但需要追蹤時(shí)將目標(biāo)保持在AR設(shè)備的視野內(nèi)且目標(biāo)的外形特征需保持穩(wěn)定。輔助裝配任務(wù)中標(biāo)記被遮擋或裝配對(duì)象的外形變化都會(huì)導(dǎo)致跟蹤失敗。因此當(dāng)前增強(qiáng)現(xiàn)實(shí)輔助裝配的應(yīng)用中多采用同時(shí)定位與建圖(Simultaneous localization and Mapping,SLAM)[6]的方法實(shí)現(xiàn)空間定位。首先通過觀察標(biāo)志物或匹配局部點(diǎn)云的方式獲取AR設(shè)備初始位置,隨后通過SLAM在線建立包含場(chǎng)景中特征點(diǎn)信息的AR地圖,并通過跟蹤AR地圖持續(xù)定位。然而這種方法中初始定位誤差以及特征跟蹤和特征點(diǎn)位置測(cè)量所產(chǎn)生誤差會(huì)在SLAM系統(tǒng)運(yùn)行中不斷累計(jì),使AR系統(tǒng)的空間定位精度和虛實(shí)融合效果下降。當(dāng)前基于SLAM方法的AR系統(tǒng)的空間定位誤差普遍在1 cm以上,難以滿足AR輔助裝配的需求。

針對(duì)這一問題,本文提出一種基于平面標(biāo)志物信息約束的SLAM空間定位方法,實(shí)現(xiàn)AR系統(tǒng)高精度的空間定位。該方法在不依賴平面標(biāo)志物跟蹤和場(chǎng)景高精度點(diǎn)云模型初始化場(chǎng)景的情況下,利用SLAM過程中觀測(cè)到的平面標(biāo)志物信息約束和重置SLAM地圖,從而生成輔助裝配所需的高質(zhì)量AR地圖,并可適應(yīng)動(dòng)態(tài)場(chǎng)景。該方法擴(kuò)大了增強(qiáng)現(xiàn)實(shí)輔助裝配技術(shù)的應(yīng)用范圍,提升了航空制造中人工裝配環(huán)節(jié)的質(zhì)量和效率,并在某型發(fā)動(dòng)機(jī)外涵道機(jī)匣人工裝配站位環(huán)境中進(jìn)行驗(yàn)證。

1 相關(guān)技術(shù)

1.1 SLAM

SLAM是指根據(jù)傳感器的信息,一邊計(jì)算自身位置,一邊構(gòu)建環(huán)境地圖的過程,其目的為在缺乏或僅有極少量先驗(yàn)信息的情況下實(shí)現(xiàn)在環(huán)境中持續(xù)的自定位[6]。SLAM過程可分為初始化、位姿估計(jì)、地圖建立3個(gè)步驟(圖1)。初始化即通過匹配已知場(chǎng)景或三角測(cè)量創(chuàng)建地圖的方式建立初始地圖并為之后的跟蹤提供初始位姿狀態(tài)信息;位姿跟蹤即通過圖像匹配的方式不斷跟蹤地圖中已知位置的特征點(diǎn)來實(shí)時(shí)估計(jì)相機(jī)自身6DoF位姿;地圖建立即相機(jī)運(yùn)動(dòng)時(shí)通過檢測(cè)、跟蹤、測(cè)量環(huán)境中新的特征點(diǎn)并將其加入地圖,從而擴(kuò)展可追蹤地圖區(qū)域以擴(kuò)大SLAM的空間定位范圍。

圖1 SLAM系統(tǒng)過程原理圖Fig.1 Diagram of process of SLAM system

1.2 平面標(biāo)志物的識(shí)別和跟蹤

本文中使用圖2所示的平面標(biāo)志物。該標(biāo)志物由ArUco碼[7]和圓形標(biāo)記組合而成。ArUco碼由寬的黑色邊框和確定其標(biāo)識(shí)符的內(nèi)部二進(jìn)制矩陣組成,具有很高的辨識(shí)度。通過文獻(xiàn)[7]中的方法可以快速識(shí)別ArUco碼的標(biāo)識(shí)符信息并通過4個(gè)角點(diǎn)計(jì)算出標(biāo)記相對(duì)于相機(jī)的位姿。然而由于圖像噪聲的緣故,角點(diǎn)的識(shí)別在距離較遠(yuǎn)時(shí)會(huì)存在較大誤差。圓形標(biāo)記中由于圓心位置可以利用圓形邊緣的全部像素參與計(jì)算,因此其計(jì)算精度一般要高于角點(diǎn)。由此本研究利用ArUco碼標(biāo)識(shí)標(biāo)志物,而將圓形標(biāo)記用于位姿計(jì)算,從而結(jié)合二者的優(yōu)勢(shì)實(shí)現(xiàn)標(biāo)志物的快速檢測(cè)和精確定位。在圖像中識(shí)別標(biāo)志物時(shí),首先識(shí)別平面定位標(biāo)記中的ArUco碼,隨后根據(jù)二維碼4個(gè)角點(diǎn)的方向通過文獻(xiàn)[8]中的霍夫變換方法搜索識(shí)別4角方向的4個(gè)橢圓形(圓形標(biāo)記通常會(huì)投影成橢圓形)標(biāo)記并計(jì)算標(biāo)記的圓心位置。

圖2 平面標(biāo)志物 Fig.2 Planar marker

2 空間定位過程

AR輔助裝配中,AR設(shè)備空間定位過程分為建立AR地圖、空間注冊(cè)、視點(diǎn)跟蹤3個(gè)步驟,各步驟間關(guān)系如圖3所示,最終實(shí)現(xiàn)AR設(shè)備在業(yè)務(wù)場(chǎng)景中6DoF位姿的實(shí)時(shí)定位。

圖3 AR輔助裝配中AR設(shè)備空間定位過程示意圖Fig.3 Diagram of process of localization of AR device for AR-based assembly

步驟1:建立AR地圖。首先將平面標(biāo)志物布設(shè)在輔助裝配場(chǎng)景坐標(biāo)系中的已知位置,隨后啟動(dòng)AR設(shè)備SLAM功能掃描環(huán)境區(qū)域并使AR設(shè)備視野覆蓋平面標(biāo)志物所在位置。掃描時(shí)通過SLAM方法生成包含多個(gè)互相關(guān)聯(lián)的關(guān)鍵幀和三維地圖點(diǎn)信息的初始AR地圖(圖4),該地圖坐標(biāo)系由SLAM算法根據(jù)設(shè)備起始位置和姿態(tài)隨機(jī)建立。最后通過對(duì)AR地圖關(guān)鍵幀圖像中標(biāo)志物的識(shí)別、跟蹤和基于集束約束(Bundle adjustment,BA)[9]的優(yōu)化過程,將關(guān)鍵幀和地圖點(diǎn)位姿轉(zhuǎn)換至輔助裝配場(chǎng)景坐標(biāo)系中并優(yōu)化其位姿生成高質(zhì)量的AR地圖。坐標(biāo)系轉(zhuǎn)換和地圖優(yōu)化方法將在下文中詳細(xì)描述。

圖4 AR地圖Fig.4 AR map

步驟2:空間注冊(cè)??臻g注冊(cè)指AR設(shè)備將所感知的場(chǎng)景信息與上一步中所生成的AR地圖相匹配,確定自身在業(yè)務(wù)場(chǎng)景坐標(biāo)系下的初始位姿[10]。首先,計(jì)算AR地圖中所有關(guān)鍵幀中特征點(diǎn)的描述子(如BRIEF[12]等),并通過文獻(xiàn)[11]中的詞袋模型方法,將描述子信息構(gòu)建成為每一幀的特征向量。隨后利用特征向量距離比較、特征點(diǎn)匹配的方法匹配AR地圖中的關(guān)鍵幀和地圖點(diǎn)。最后通過求解3D到2D點(diǎn)對(duì)運(yùn)動(dòng)的方法(Perspective-n-points,PnP)[13]求得當(dāng)前AR設(shè)備在業(yè)務(wù)場(chǎng)景中的6DoF初始位姿狀態(tài)。

步驟3:視點(diǎn)跟蹤。視點(diǎn)定位指AR設(shè)備通過跟蹤AR地圖不斷實(shí)時(shí)更新自身6DoF位姿以計(jì)算業(yè)務(wù)場(chǎng)景中視點(diǎn)的位置和姿態(tài),從而以此為根據(jù)渲染虛擬場(chǎng)景。同時(shí),以步驟1中所生成的AR地圖為初始場(chǎng)景,通過SLAM算法在AR設(shè)備運(yùn)動(dòng)中不斷擴(kuò)展AR地圖范圍,以保證AR設(shè)備不間斷的自定位。

3 基于平面標(biāo)志物信息的AR地圖坐標(biāo)系 變換和優(yōu)化

通過SLAM所生成的AR地圖會(huì)發(fā)生誤差累計(jì)現(xiàn)象[14],從而影響AR系統(tǒng)的虛實(shí)融合效果。此外,僅有單相機(jī)傳感器的AR設(shè)備生成的AR地圖具有尺度不確定性問題[15]。將識(shí)別位姿已知的平面標(biāo)志物位姿狀態(tài)作為先驗(yàn)信息約束AR地圖中的關(guān)鍵幀和地圖點(diǎn)位姿信息,可以優(yōu)化地圖并將地圖坐標(biāo)系的原點(diǎn)、方向和尺度變換至標(biāo)志物所在的輔助裝配場(chǎng)景坐標(biāo)系。定義AR地圖中所有n個(gè)關(guān)鍵幀的圖像集合為I ={i1,i2,…,in},位姿集合為Ζ ={ζ1,ζ2,…,ζn},m個(gè)地圖點(diǎn)坐標(biāo)集合為P ={p1,p2,…,pm},k個(gè)平面標(biāo)志物所包含的4×k個(gè)圓形標(biāo)記在業(yè)務(wù)場(chǎng)景下的位姿為H ={η1,η2,…,η4k}。利用平面標(biāo)志物信息對(duì)AR地圖進(jìn)行優(yōu)化和坐標(biāo)變換的過程如下(圖5)。

圖5 基于平面標(biāo)志物信息的AR地圖的優(yōu)化和地圖坐標(biāo)系變換過程示意圖Fig.5 Process of using the information of planar marker to optimize and transform an AR map

(1)首先通過裝配場(chǎng)景數(shù)?;?qū)?biāo)志物位置進(jìn)行測(cè)量的方法獲得平面標(biāo)志物(包括標(biāo)志物中圓形標(biāo)記)在場(chǎng)景中的6DoF位姿信息。

(2)在AR地圖的關(guān)鍵幀圖像集合I中識(shí)別出平面標(biāo)志物1~k和其4角方向圓形標(biāo)記。通過文獻(xiàn)[7]中的方法計(jì)算出標(biāo)志物中ArUco碼與AR設(shè)備的相對(duì)距離和角度,僅當(dāng)相對(duì)距離<0.5 m、角度<15°且4個(gè)圓形標(biāo)記均可見時(shí)保留識(shí)別結(jié)果。對(duì)于4×k個(gè)圓形標(biāo)記,獲得其在可見的關(guān)鍵幀圖像上的像素位置。假設(shè)第j個(gè)圓形標(biāo)記在I′={ia,ib}兩個(gè)關(guān)鍵幀中的像素坐標(biāo)為U ={uja,ujb},通過直接線性轉(zhuǎn)換(DLT)[16]的方法利用像素坐標(biāo)信息和關(guān)鍵幀位姿信息構(gòu)建A矩陣,并用奇異值分解(SVD)方法計(jì)算出該圓形標(biāo)記在原始AR地圖坐標(biāo)系上的位置p′j=[pxj,pyj,pzj],式(1)為DLT方法過程:

式中,A為像素坐標(biāo)和位姿信息所構(gòu)成的矩陣,A通過SVD分解的方法得到U×sigma×Vt。

(3)原始AR地圖坐標(biāo)x′到AR業(yè)務(wù)場(chǎng)景坐標(biāo)x間的變換T用相似變換[16]描述為

式中,R為旋轉(zhuǎn)矩陣;t為平移向量;s為尺度因子??紤]到部分圓形標(biāo)記在原始AR地圖坐標(biāo)系上的位置計(jì)算可能存在誤差,因此使用非線性優(yōu)化算法求解T中參數(shù)。定義該優(yōu)化問題的目標(biāo)函數(shù)為圓形標(biāo)記變換后位置與真實(shí)位置之差的平方和,即

利用Levenberg–Marquardt(L–M)非線性優(yōu)化方法[17]估計(jì)T中的R、t、s參數(shù)使T = argmin(O(T))最小化O(T)。隨后利用相似變換T將AR地圖中所有關(guān)鍵幀和地圖點(diǎn)的位置和姿態(tài)轉(zhuǎn)換至業(yè)務(wù)場(chǎng)景坐標(biāo)系中。

(4)利用平面標(biāo)志物信息優(yōu)化AR地圖中部分關(guān)鍵幀的位姿。首先挑選出識(shí)別到2個(gè)以上非共線平面標(biāo)志物的關(guān)鍵幀(為保證精度,圖像中平面標(biāo)志物連線所成多邊形面積應(yīng)占圖像總面積的1/4以上)。然后利用標(biāo)志物上已知的圓形標(biāo)記圓心三維空間位置和其在關(guān)鍵幀圖像上的投影位置,通過PnP算法求解并重置這些關(guān)鍵幀在AR地圖中的6DoF位姿。

(5)重新計(jì)算上一步被優(yōu)化關(guān)鍵幀中觀察數(shù)量多于1次的地圖點(diǎn)的坐標(biāo),重置這些地圖點(diǎn)從而獲得精度較高的子地圖。

(6)最后利用BA的方法優(yōu)化其他關(guān)鍵幀和地圖點(diǎn)。構(gòu)建優(yōu)化問題時(shí)將高精度子地圖中的關(guān)鍵幀和地圖點(diǎn)信息邊緣化,即將這些信息轉(zhuǎn)化為對(duì)地圖中其他關(guān)鍵幀和地圖點(diǎn)構(gòu)成的先驗(yàn)約束,從而糾正地圖中的累計(jì)誤差因素。優(yōu)化問題的目標(biāo)函數(shù)定義為

式中,π(ζ,p)代表坐標(biāo)為p的地圖點(diǎn)在位姿為ζ的關(guān)鍵幀上所計(jì)算出的重投影坐標(biāo),ν代表該地圖點(diǎn)在此關(guān)鍵幀圖像上所觀察到的投影。目標(biāo)函數(shù)由3部分相加而成,分別為G個(gè)高精度子地圖上的地圖點(diǎn)在A個(gè)未優(yōu)化關(guān)鍵幀上重投影誤差平方之和;H個(gè)未優(yōu)化地圖點(diǎn)在B個(gè)高精度子地圖關(guān)鍵幀上重投影誤差平方之和;以及L個(gè)未優(yōu)化地圖點(diǎn)在C個(gè)未優(yōu)化關(guān)鍵幀上重投影誤差平方之和。通過L–M方法求解優(yōu)化函數(shù)每1項(xiàng)中的ζa、ph、ζc、pl使得O(Z,P)的值最小化,最終獲得如圖6所示的高質(zhì)量AR地圖。

圖6 AR地圖的優(yōu)化和坐標(biāo)系變換Fig.6 Optimization and transform for AR map

4 應(yīng)用驗(yàn)證

4.1 驗(yàn)證過程

對(duì)空間定位方法在輔助裝配場(chǎng)景中進(jìn)行驗(yàn)證,驗(yàn)證中使用手機(jī)相機(jī)作為AR設(shè)備傳感器平臺(tái),連接工作站作為計(jì)算單元(配置為Windows10系統(tǒng)、Intel i5處理器、8 GB內(nèi)存),場(chǎng)景為某型發(fā)動(dòng)機(jī)外涵道機(jī)匣人工裝配站位,以數(shù)字模型為基礎(chǔ)建立輔助裝配場(chǎng)景坐標(biāo)系。為確保定位效果,需將平面標(biāo)志物安裝在剛度好、距離裝配基準(zhǔn)點(diǎn)近的位置。既要覆蓋業(yè)務(wù)場(chǎng)景范圍以保證AR地圖的優(yōu)化效果,又要盡量避免對(duì)人工裝配工作造成干擾。由于裝配場(chǎng)景中工件和工裝的相對(duì)位置固定,因此將標(biāo)志物固定在工裝的基準(zhǔn)位置附近(圖7)并通過測(cè)量獲得安裝位置。

圖7 驗(yàn)證場(chǎng)景Fig.7 Scenario for validation

驗(yàn)證時(shí)首先啟動(dòng)AR設(shè)備,通過ORB–SLAM2方法[18]建立業(yè)務(wù)場(chǎng)景的AR地圖。ORB–SLAM2方法是SLAM研究領(lǐng)域精度、穩(wěn)定性最好的算法之一,也是多種AR產(chǎn)品空間定位功能的原型系統(tǒng)。驗(yàn)證中使用者移動(dòng)AR設(shè)備建立覆蓋場(chǎng)景內(nèi)所有區(qū)域的AR地圖,并在掃描場(chǎng)景時(shí)遍歷所有的標(biāo)志物使其盡可能多地出現(xiàn)在AR地圖中關(guān)鍵幀的視野中。然后啟動(dòng)地圖坐標(biāo)系變換和優(yōu)化程序并保存變換后的AR地圖。最后,啟動(dòng)AR設(shè)備的空間定位功能,利用變換、優(yōu)化后的AR地圖信息實(shí)現(xiàn)空間注冊(cè)和視點(diǎn)跟蹤。

驗(yàn)證中共進(jìn)行10次空間定位軌跡數(shù)據(jù)采集,每次AR系統(tǒng)首先掃描場(chǎng)景并通過本文方法和ORB–SLAM2方法分別建立AR地圖,然后再次啟動(dòng)AR系統(tǒng),通過不同的AR地圖進(jìn)行空間注冊(cè)和視點(diǎn)定位并獲得兩條相應(yīng)的空間定位軌跡。最后將兩條軌跡與通過紅外標(biāo)記跟蹤方式獲取的真實(shí)值(誤差<0.2 mm)相比較計(jì)算絕對(duì)軌跡誤差(Absolute trajectory error,ATE)。軌跡信息和測(cè)試結(jié)果如表1所示。圖8為其中1次測(cè)試中使用本文方法所生成的軌跡和ORB–SLAM2方法所生成的軌跡的對(duì)比。

圖8 本文方法與ORB–SLAM2所生成的軌跡對(duì)比(真實(shí)軌跡為兩圖中的藍(lán)色軌跡)Fig.8 Comparison of trajectories of method in the paper and ORB–SLAM2 (blue trajectories in both figures are ground truth)

表1 本文方法與ORB–SLAM2方法結(jié)果對(duì)比Table 1 Comparison of metrics between method in the paper and ORB–SLAM2

4.2 驗(yàn)證結(jié)果分析

驗(yàn)證中建立AR地圖用時(shí)平均為15 s,AR地圖優(yōu)化和變換過程用時(shí)平均為0.44 s。使用本方法進(jìn)行空間定位所獲得的絕對(duì)軌跡誤差為0.0046 m,作為對(duì)照的ORB–SLAM2方法(利用ArUco碼初始定位)為0.0163 m,本方法誤差明顯低于對(duì)照方法。根據(jù)空中客車公司的一項(xiàng)研究,AR系統(tǒng)的空間定位誤差<0.01 m時(shí),可滿足航空制造人工裝配任務(wù)中可視化引導(dǎo)的最低要求[19],因此本方法可用于實(shí)現(xiàn)部分輔助裝配任務(wù)AR可視化引導(dǎo)功能。圖9展示了使用本方法在驗(yàn)證場(chǎng)景和模擬試驗(yàn)件上所獲得的虛實(shí)融合效果,其中圖9(a)為在裝配場(chǎng)景中疊加顯示裝配對(duì)象的效果,圖9(b)為在模擬試驗(yàn)件上顯示待裝配零件模型的效果。

圖9 人工裝配場(chǎng)景中的AR虛實(shí)融合Fig.9 AR mixture reality in scenario of assembly

通過分析軌跡數(shù)據(jù)總結(jié)ORB–SLAM2方法誤差較大的原因在于: (1)通過觀察單個(gè)ArUco碼所獲得的空間定位結(jié)果精度不足,產(chǎn)生了初始位姿的誤差,這個(gè)誤差無法通過ORB–SLAM2系統(tǒng)中自身的局部或全局地圖優(yōu)化機(jī)制消除; (2)ORB–SLAM2系統(tǒng)地圖擴(kuò)展時(shí)產(chǎn)生的累計(jì)誤差會(huì)隨AR設(shè)備與初始位置距離增加而增大; (3)ORB–SLAM2所建立的AR地圖中地圖點(diǎn)的位置信息缺乏可靠的約束進(jìn)行修正,導(dǎo)致依賴這些地圖點(diǎn)的定位結(jié)果誤差較大。

5 結(jié)論

(1)本文提出的方法融合標(biāo)志物定位和SLAM定位兩種空間定位方法的技術(shù)特點(diǎn),實(shí)現(xiàn)了輔助裝配場(chǎng)景下高精度的定位效果。AR設(shè)備在輔助裝配任務(wù)中無需時(shí)刻追蹤平面標(biāo)志物也可依靠標(biāo)志物信息約束建立的AR地圖實(shí)現(xiàn)精確的空間定位。文中設(shè)計(jì)了ArUco碼和圓形標(biāo)記相結(jié)合的平面標(biāo)志物,通過對(duì)不同類型標(biāo)記的組合滿足了平面標(biāo)志物辨識(shí)度與跟蹤精度的要求。該方法不依賴特定的設(shè)備或平臺(tái),對(duì)于基于單目、多目視覺的AR系統(tǒng)均能適用。

(2)對(duì)于飛機(jī)裝配等復(fù)雜的人工裝配任務(wù),可在裝配場(chǎng)景中的工裝、工件中的某些基準(zhǔn)位置布設(shè)平面標(biāo)志物,利用本方法在裝配任務(wù)開始前快速建立SLAM定位所需的高精度AR地圖,從而實(shí)現(xiàn)各類AR設(shè)備(手持AR平板、AR眼鏡等)的空間定位功能。

(3)針對(duì)復(fù)雜裝備裝配過程中場(chǎng)景形態(tài)變化較大的問題,由于本方法以預(yù)先定位的平面標(biāo)志物進(jìn)行AR地圖的優(yōu)化和坐標(biāo)系變換,因此只需保持裝配過程中平面標(biāo)志物相對(duì)于裝配對(duì)象基準(zhǔn)點(diǎn)位置關(guān)系的穩(wěn)定,即使由于裝配對(duì)象外形變化造成AR地圖中特征點(diǎn)丟失引起空間定位失敗,系統(tǒng)也能快速將AR地圖重置于原坐標(biāo)系下,恢復(fù)AR可視化引導(dǎo)功能。

(4)該項(xiàng)技術(shù)僅需通過模型或測(cè)量的方式獲得平面標(biāo)志物在輔助裝配場(chǎng)景坐標(biāo)系下的位姿信息即可實(shí)現(xiàn)高精度的空間定位,對(duì)于缺乏高保真三維數(shù)字模型的裝配場(chǎng)景或裝配對(duì)象也可實(shí)現(xiàn)高質(zhì)量的AR虛實(shí)融合功能,縮短了用于輔助裝配的AR工具的開發(fā)周期,擴(kuò)大了AR技術(shù)的應(yīng)用范圍。

猜你喜歡
關(guān)鍵幀位姿標(biāo)志物
基于改進(jìn)關(guān)鍵幀選擇的RGB-D SLAM算法
基于共面直線迭代加權(quán)最小二乘的相機(jī)位姿估計(jì)
基于CAD模型的單目六自由度位姿測(cè)量
基于相關(guān)系數(shù)的道路監(jiān)控視頻關(guān)鍵幀提取算法
膿毒癥早期診斷標(biāo)志物的回顧及研究進(jìn)展
小型四旋翼飛行器位姿建模及其仿真
基于聚散熵及運(yùn)動(dòng)目標(biāo)檢測(cè)的監(jiān)控視頻關(guān)鍵幀提取
冠狀動(dòng)脈疾病的生物學(xué)標(biāo)志物
腫瘤標(biāo)志物在消化系統(tǒng)腫瘤早期診斷中的應(yīng)用
MR-proANP:一種新型心力衰竭診斷標(biāo)志物
泗阳县| 都兰县| 勃利县| 健康| 通海县| 东台市| 黔东| 荥阳市| 四会市| 西乌珠穆沁旗| 宜兰市| 南康市| 曲阜市| 始兴县| 大悟县| 汉川市| 莲花县| 宁阳县| 逊克县| 通州市| 宣武区| 花莲县| 莱西市| 全南县| 航空| 临沂市| 房产| 榕江县| 寿光市| 阿克陶县| 独山县| 通化县| 尼玛县| 铁力市| 太湖县| 贡觉县| 津南区| 内丘县| 台南市| 扎囊县| 广汉市|