孫增玉 高 越
(北京航天計量測試技術(shù)研究所,北京 100076)
基于視覺技術(shù)的非合作航天器相對位姿測量方法
孫增玉 高 越
(北京航天計量測試技術(shù)研究所,北京 100076)
提出一種基于特征信息融合的非合作目標(biāo)相對位姿測量方法,該方法以航天器自有的特征信息作為識別目標(biāo),采用橢圓輪廓和特征角點相結(jié)合的方法對非合作目標(biāo)特征進行識別,解決了位姿測量中無合作標(biāo)志器提供理想特征信息的問題。針對典型的衛(wèi)星目標(biāo)模型,進行了非合作目標(biāo)相對位置姿態(tài)測量方法的驗證試驗,實驗結(jié)果表明:該方法可以成功識別目標(biāo)物體并對目標(biāo)物體進行準(zhǔn)確定位。
非合作航天器 位姿測量 視覺技術(shù)
隨著近些年計算機技術(shù)、機器人技術(shù)和傳感技術(shù)的迅猛發(fā)展,以航天器在軌維護、廢棄航天器清理、空間攻防、交會對接等為目的的空間目標(biāo)姿態(tài)測量技術(shù)成為了空間機器人領(lǐng)域的熱點研究方向??臻g目標(biāo)相對位姿參數(shù)的測量主要是利用裝載在飛行器上的各種攝影測量系統(tǒng)、光電傳感器及光電跟蹤設(shè)備完成目標(biāo)飛行器的相對距離、姿態(tài)的測量,而絕大部分的目標(biāo)飛行器都沒有輔助測量的標(biāo)志器,即非合作目標(biāo)[1~3]。
在非合作目標(biāo)位姿測量的目標(biāo)逼近階段大多采用視覺系統(tǒng)進行位姿測量,對于高精確末端測量任務(wù),還需進行高精度的激光測距。我國在空間非合作目標(biāo)捕獲方面的研究起步較晚,目前還沒有公布相關(guān)計劃。
本文以典型的衛(wèi)星目標(biāo)模型為研究對象,在充分借鑒國內(nèi)外研究經(jīng)驗的基礎(chǔ)上,開展針對基于立體視覺的位姿測量方法研究,采用橢圓輪廓和特征角點相結(jié)合的方法對非合作目標(biāo)特征進行識別,并結(jié)合雙緩存并行處理技術(shù),保證識別效果的同時實現(xiàn)了在線位姿解算,降低時間延遲對測量精度的影響。
立體視覺測量相對位姿是由雙目相機采集得到的像平面二維信息,通過空間中各坐標(biāo)系間的轉(zhuǎn)換關(guān)系得到目標(biāo)在笛卡爾空間的三維坐標(biāo)信息來實現(xiàn)的。其系統(tǒng)構(gòu)成簡單、功耗小,僅由兩臺測量相機及圖像采集解算計算機組成,固定安裝在本體衛(wèi)星上。
測量系統(tǒng)的數(shù)學(xué)模型如圖 1所示。首先建立5個空間坐標(biāo)系,即本體衛(wèi)星坐標(biāo)系O0-X0Y0Z0、空間目標(biāo)坐標(biāo)系OP-XPYPZP、相機坐標(biāo)系OL-XLYLZL和OR-XRYRZR、相機圖像坐標(biāo)系OL-xLyL以及OR-xRyR和測量坐標(biāo)系OM-XMYMZM。
相機成像模型是相機圖像平面與真實三維世界間聯(lián)系的紐帶,建立了真實世界中3D坐標(biāo)(單位:mm)與相機中2D坐標(biāo)(單位為像素)之間的轉(zhuǎn)換關(guān)系。
空間點P在左右兩個相機上成像,像點為pL和pR,每個相機的鏡頭光學(xué)中心(OL和OR)和像點均能確定一條射線(分別為OLpL和ORpR),兩條射線的交點即是被測空間點(P)。
設(shè)左相機坐標(biāo)系OL-XLYLZL為測量坐標(biāo)系,右相機坐標(biāo)系OR-XRYRZR相對于測量坐標(biāo)系的空間關(guān)系可用旋轉(zhuǎn)矩陣R和平移矩陣T表示,左、右圖像的像點坐標(biāo)分別為(xL,yL)和(xL,yL),則空間點P的三維坐標(biāo)(X,Y,Z)可表示為
(1)
式中:fL、fR——分別表示左、右相機的有效焦距。矩陣R和T為
R、T即為雙目立體視覺系統(tǒng)的外部參數(shù),通過外部參數(shù)標(biāo)定可以獲得,進行精確的視覺測量還需要考慮相機的鏡頭畸變等因素,可以通過建立非線性模型并進行內(nèi)部參數(shù)標(biāo)定來實現(xiàn)。
在合作目標(biāo)位姿測量中,利用上述原理解算目標(biāo)航天器上合作目標(biāo)特征點的空間三維坐標(biāo),當(dāng)特征點個數(shù)大于3個時,基于剛體變換原理,可以解算航天器在測量坐標(biāo)系下的位置和姿態(tài)。再利用雙目測量系統(tǒng)與本體衛(wèi)星的位置關(guān)系,即可解算獲得被測航天器與本體衛(wèi)星的相對位姿。
而非合作目標(biāo)位置測量技術(shù)的難點在于:在沒有合作識別標(biāo)志器的情況下,如何提取特征信息,進而解算位置和姿態(tài)。本文針對遠距離和近距離兩種情況,分別提出了非合作目標(biāo)的特征提取策略和位姿解算方法。
3.1非合作目標(biāo)的外形特征分析
如圖2所示為典型的衛(wèi)星目標(biāo)模型,對它們的外形特征進行分析,可以發(fā)現(xiàn)最典型的幾何特征為圓特征和角點特征。
對于具體可供測量的特征來說:
(1)衛(wèi)星本體。常見衛(wèi)星本體的形狀以圓柱體、長方體和多面體為主。其中圓柱體的截面為圓面,它為觀測提供了圓面特征。本目標(biāo)衛(wèi)星本體為長方體,在二維圖中很容易出現(xiàn)角點特征。
(2)太陽能帆板。除少數(shù)表面貼太陽能片的衛(wèi)星外,多數(shù)衛(wèi)星都采用太陽能帆板的形式為整個衛(wèi)星供電。太陽能帆板一般為長方形,這為測量提供了角點特征。
(3)發(fā)動機噴嘴和星箭對接環(huán)。噴嘴和對接環(huán)都是圓環(huán)型,是典型的可被測量的圓面特征。
(4)通信天線。大部分通信天線是喇叭形的,最外部的輪廓為圓形,并且它們常常掛在外面,因此它們也是可被測量的候選目標(biāo)。
在本文中選擇太陽能帆板和對接框作為測量特征,在遠距離位姿測量時,可以觀察到整個目標(biāo)衛(wèi)星外形輪廓可以通過提取太陽能帆板邊緣角點作為測量特征;在近距離位姿測量時,可以觀測到衛(wèi)星局部細節(jié),提取衛(wèi)星對接框圓形特征,進而根據(jù)非合作圓面的位姿測量算法,解算衛(wèi)星姿態(tài)。
3.2角點檢測
將太陽能帆板最外側(cè)的四個角點作為提取和識別的特征,角點是二維圖像亮度變化劇烈的點或圖像邊緣曲線上曲率極大值的點[4]。從這兩個定義出發(fā)角點檢測通常是著眼于圖像的灰度或邊緣,基于直接灰度計算方法考察的是每個像素點及其領(lǐng)域的灰度信息,利用這些灰度信息進行CRF函數(shù)計算,它并不依賴邊緣和數(shù)學(xué)模型,這里采用Harris角點檢測方法。
Harris算子的思想是,在角點處,圖像的灰度梯度是不連續(xù)的,而且在角點臨近的區(qū)域,梯度有兩個或兩個以上的不同值。算法定義了一個與自相關(guān)函數(shù)相關(guān)聯(lián)的矩陣M。M的特征值與自相關(guān)函數(shù)的一階曲率有關(guān)聯(lián),如果M的兩個特征值都很大,那么就認為該點是角點。Harris角點檢測的原理就是利用選定的窗口在圖像不同區(qū)域移動時灰度值變化的不同決定窗口的中心點是否為角點。例如,當(dāng)窗口在圖像的平滑區(qū)域移動的時候,窗口在各個方向上的亮度值沒有太大變化的;當(dāng)窗口在邊緣區(qū)域移動的時候,在邊緣方向上的亮度值沒有太大變化的;而當(dāng)窗口在角點處移動的時候,窗口在各個方向的亮度都有變化。
算法為圖像內(nèi)的每一點定義自相關(guān)函數(shù),如式(2)所示
c(x,y)=∑WI(xi,yi)-I(xi+Δx,yi+Δy)2
(2)
式中:(Δx,Δy)T——給定的位移;(xi,yi)——窗口W內(nèi)的點。按照一階泰勒級數(shù)展開,圖像位移近似值如式(3)所示
(3)
(4)
此方法提出一種圖像點局部結(jié)構(gòu)思想,根據(jù)特征值可以分為如下幾類:
a) 如果兩個特征值都比較小,即為平坦區(qū)域;
b) 如果特征值中有一個值比較小,而另一個值比較大,即為邊緣;
c) 如果兩個特征值都很大,那么該點就是角點。
Harris算法還增加了高斯平滑的步驟,用以減小噪聲對角點檢測結(jié)果的影響。由于圖像噪聲的影響,左右相機提取的角點位置匹配誤差較大,從而使最終解算獲得的姿態(tài)結(jié)果誤差偏大,為此,通過增大Harris算法中的高斯濾波窗口參數(shù),獲得了更穩(wěn)定的角點位置,降低了左右相機對應(yīng)角點的匹配誤差,提高了姿態(tài)解算精度。參數(shù)改變前后,角點位置的變化情況如圖3所示,其中圖3(a)為參數(shù)較小時提取角點的位置,很容易受到邊緣像素的影響而變化,圖3(b)為參數(shù)增大后提取到的角點位置。
3.3圓面特征識別
圓形特征是二次曲線特征的一個特例,因為它在任意方向上的透視投影都是一個橢圓,精確估計一個橢圓形狀的基本參數(shù)對于圓形特征三維模型的精度來說是至關(guān)重要的。通常,二次曲線可以由如下基本方程表示
Ax2+Bxy+Cy2+Dx+Ey+F=0
(5)
如圖4所示,平面中任意的橢圓可以通過橢圓中心位置(xc,yc),橢圓長半軸a,短半軸b,以及長軸的轉(zhuǎn)角θ來表示。其數(shù)學(xué)表達式可寫為
(6)
橢圓的 5 個幾何參數(shù)和一般方程中 6 個參數(shù)有如下轉(zhuǎn)換關(guān)系
(7)
(8)
(9)
(10)
(11)
最小二乘是一種基于隨機誤差服從正態(tài)分布的最優(yōu)估計方法,利用該方法擬合橢圓時,得到一組參數(shù)集合使樣本點到橢圓的距離度量最小。
Pi(xi,yi) (i=1,2,…,N)為輪廓上的N個點(Ngt;6),根據(jù)最小二乘法,通過求目標(biāo)函數(shù)
(12)
的最小值來確定參數(shù)A,B,C,D,E和F,再通過式(7)至(11)便可求得橢圓的幾何參數(shù)。
根據(jù)提取的目標(biāo)特征不同,位姿解算分為基于特征點的位姿解算和基于圓面特征的位姿解算?;谔卣鼽c的位姿解算應(yīng)用在可以獲得飛行器太陽能帆板角點特征的場合,基于剛體變換原理,利用被測物體上特征點的空間位置和其光學(xué)成像位置間的對應(yīng)性求解物體的6自由度姿態(tài)參數(shù),該方法為位姿解算的經(jīng)典方法,此處不再贅述,本文將重點闡述基于圓面特征的位姿解算算法。
在立體視覺測量中兩個攝像機的光軸夾角一般不大,如圖5所示,圖像上的極線更偏向于水平方向,所以當(dāng)極線趨向于橢圓曲線的中間區(qū)域時,可以采用極線約束和左右一致性原則進行立體匹配;當(dāng)極線趨向于弧頂區(qū)域和弧底區(qū)域時,極線和橢圓曲線相交產(chǎn)生的兩個交點十分接近[5],單純采用上述很容易引起匹配錯誤。本文針對平面圓立體匹配問題,將左圖的橢圓分為三個區(qū)域,如圖6所示分別為弧頂區(qū)、中間區(qū)和弧底區(qū),將橢圓分為四條曲線l1、l2、l3和l4,匹配時避開容易引起錯誤匹配的區(qū)域,分段進行立體匹配,只匹配解算l2、l3,即可獲取平面圓曲線上大部分點的三維坐標(biāo),可以通過后續(xù)方法恢復(fù)出完整的平面圓特征,并解算圓心坐標(biāo)和法線方向,即對接框的位置和姿態(tài)。
通過搭建1∶50的縮比模型地面原理驗證試驗對本方法的測量精度進行了驗證,試驗系統(tǒng)如圖7所示,將1∶50的衛(wèi)星模型固定在精密多齒分度臺的工作臺面上,多齒分度臺固定在直線導(dǎo)軌的移動滑塊上,模型可隨著滑塊在導(dǎo)軌上作直線移動,視覺測量系統(tǒng)在距離模型約2m處對試驗系統(tǒng)進行測量,模擬實際測量中100m的測量距離。該試驗系統(tǒng)中由經(jīng)過標(biāo)定的多齒分度臺提供標(biāo)準(zhǔn)姿態(tài)值,直線導(dǎo)軌提供標(biāo)準(zhǔn)位移值,對視覺測量系統(tǒng)進行驗證。該驗證系統(tǒng)雖然只提供了一維直線運動和單軸的角度運動,但由于視覺測量系統(tǒng)與試驗裝置并非正交放置,所有測量參數(shù)的解算均通過空間三維坐標(biāo)獲取后進行坐標(biāo)轉(zhuǎn)換和姿態(tài)反解獲得,因此,可以通過本裝置全面驗證位姿測量方法的準(zhǔn)確性。
試驗中直線導(dǎo)軌滑臺以0.5m/s的速度進行運動,視覺測量系統(tǒng)以20幀/s的速度進行動態(tài)圖像采集,分別采用角點特征和圓面特征兩種提取方法進行位置測量,特征提取效果如圖8所示,其中測量結(jié)果如表1所示,試驗表明本系統(tǒng)位置測量誤差不大于0.5mm,角度測量誤差不大于0.27°,優(yōu)于實際空間位姿測量中提出的位置測量誤差不大于2mm,角度測量誤差不大于1°的測量要求。
序號標(biāo)準(zhǔn)值測量值位移/mm角度/(°)位移/mm角度/(°)xyzjxjyjzxyzjxjyjz100000-10-0.3-0.100.00020.041-9.9928200000-15-0.1-0.20-0.0063-0.0531-14.970930000050.50.100.00430.00825.11054-500000-4.8000.0010.1798-0.00865-1000000-9.700-0.00090.0617-0.00476100000010.10-0.1-0.00020.21520.028371000001510.40.30.10.0294-0.105215.08748100000-139.8-0.100.0034-0.2504-12.94079100000-259.8-0.3-0.1-0.0005-0.0177-25.015210200000020.10-0.10.00020.513-0.013611300000030.100-0.0059-0.27510.0121240000004000-0.0081-0.260.0568
本文所介紹的系統(tǒng)可以實現(xiàn)非合作目標(biāo)航天器相對運動位置姿態(tài)的實時測量,測量系統(tǒng)地面驗證試驗結(jié)果表明測量精度較高、魯棒性和實時性好,可以滿足非合作目標(biāo)捕獲、交會對接等任務(wù)中非合作航天器的相對位姿測量的要求。且該方法涉及的非合作目標(biāo)特征提取、相對位姿解算等關(guān)鍵技術(shù),同樣可以應(yīng)用于汽車、船舶等測量領(lǐng)域,具有較好的適應(yīng)性,有著較好的應(yīng)用前景。
[1] 王德海,洪偉,程群哲等. 基于雙目立體視覺的目標(biāo)識別與定位[J]. 吉林大學(xué)學(xué)報,2016 ,34(2):289~295.
[2] 溫聚英,路鷹等.基于立體視覺的飛行器運動姿態(tài)測量技術(shù)及其應(yīng)用[J]. 宇航計測技術(shù), 2013(2):12~15.
[3] 張學(xué)武.視覺檢測技術(shù)及智能計算[M].北京: 電子工業(yè)出版社,2013.
[4] 王向軍,王研,李智.基于特征角點的目標(biāo)跟蹤和快速識別算法研究[J]. 光學(xué)學(xué)報, 2007, 27(02):360~363.
[5] 陳靜,湯衛(wèi)紅.機器視覺中圓形特征的三維模型分析研究[J]. 應(yīng)用光學(xué), 2009,30(6):964~968.
RelativePositionandAttitudeMeasurementforNon-CooperativeSpacecraftbasedonBinocularVision
SUN Zeng-yu GAO Yue
(Beijing Aerospace Institute for Metrology and Measurement Technology,Beijing 100076,China)
A method based on multi-feature fusion was proposed to measure the relative position and attitude for non-cooperative spacecraft. The method solved the problem of no cooperative object in position and attitude measurement by extracting the characteristic information of the Spacecraft self,such as ellipse, corner. In order to validate the method,the non-cooperative target position and attitude measurement experiment aimed at the typical satellite model was carried into execution .Experiments show that the porposed method can recognize object successfully and locate the object accurately.
Non-Cooperative spacecraft Position and attitude measurement Binocular vision
2016-09-07,
2016-11-14
孫增玉(1984-),女,高級工程師,主要研究方向:幾何量測量、攝影測量技術(shù)研究。
1000-7202(2017) 04-0001-06
10.12060/j.issn.1000-7202.2017.04.01
P236
A