楊長(zhǎng)才,魏麗芳,周術(shù)誠(chéng),田金文

(1.福建農(nóng)林大學(xué)計(jì)算機(jī)與信息學(xué)院 ,福建福州350002；2.華中科技大學(xué)自動(dòng)化學(xué)院 ,多譜信息處理技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室 ,湖北武漢430074)

基于單目視覺(jué)的空間非合作目標(biāo)相對(duì)姿態(tài)估計(jì)方法

楊長(zhǎng)才1,魏麗芳1,周術(shù)誠(chéng)1,田金文2

(1.福建農(nóng)林大學(xué)計(jì)算機(jī)與信息學(xué)院 ,福建福州350002；2.華中科技大學(xué)自動(dòng)化學(xué)院 ,多譜信息處理技術(shù)國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室 ,湖北武漢430074)

提出一種基于單目視覺(jué)的連續(xù)多幀空間非合作目標(biāo)姿態(tài)估計(jì)算法.根據(jù)目標(biāo)主體主軸方向和太陽(yáng)能帆板方向?qū)⒛繕?biāo)姿態(tài)切分成姿態(tài)子空間 ,采用方向Chamfer匹配在姿態(tài)子空間中搜尋與目標(biāo)匹配的候選姿態(tài).通過(guò)連續(xù)多幀候選姿態(tài)的方向Chamfer匹配代價(jià)和轉(zhuǎn)移代價(jià)來(lái)構(gòu)建軌跡的總代價(jià) ,采用動(dòng)態(tài)規(guī)劃對(duì)軌跡代價(jià)進(jìn)行優(yōu)化.結(jié)果表明該算法求解精度高 ,魯棒性好.

單目視覺(jué)；空間非合作目標(biāo)；相對(duì)姿態(tài)估計(jì)；姿態(tài)子空間；動(dòng)態(tài)規(guī)劃

機(jī)動(dòng)平臺(tái)與目標(biāo)航天器之間的相對(duì)姿態(tài)估計(jì)是空間交會(huì)對(duì)接、在軌服務(wù)等航天任務(wù)的關(guān)鍵技術(shù).在很多情況下(如目標(biāo)航天器特征光標(biāo)損壞或敵方航天器) ,空間目標(biāo)無(wú)法提供點(diǎn)、線特征之間的相互關(guān)系 ,這種空間目標(biāo)稱為空間非合作目標(biāo).近年來(lái) ,空間非合作目標(biāo)相對(duì)姿態(tài)估計(jì)逐漸成為國(guó)內(nèi)外研究的熱點(diǎn).

文獻(xiàn)[1]利用目標(biāo)航天器已知的結(jié)構(gòu)模型信息 ,推導(dǎo)了利用單個(gè)光學(xué)相機(jī)實(shí)現(xiàn)空間非合作目標(biāo)相對(duì)位姿參數(shù)估計(jì)的迭代算法 ,然而 ,該方法未考慮到特征點(diǎn)提取和特征匹配.利用兩幀以上的觀測(cè)圖像估計(jì)出空間非合作目標(biāo)相對(duì)運(yùn)動(dòng)參數(shù)[2],這種算法是基于已知的特征對(duì)應(yīng).特征匹配是非合作目標(biāo)姿態(tài)估計(jì)的難點(diǎn) ,文獻(xiàn)[1－2]方法的可靠性和適用性尚有待進(jìn)一步驗(yàn)證.通常 ,為了使空間目標(biāo)的太陽(yáng)能帆板能充分發(fā)電 ,太陽(yáng)能帆板需要對(duì)日定向.

基于已知詳細(xì)幾何信息的空間非合作目標(biāo) ,本文提出了一種基于單目視覺(jué)的空間非合作目標(biāo)估計(jì)方法.為了消除太陽(yáng)能帆板對(duì)姿態(tài)估計(jì)的影響 ,將空間目標(biāo)分成太陽(yáng)能帆板和主體兩部分 ,根據(jù)目標(biāo)太陽(yáng)能帆板和主體的方向?qū)ψ藨B(tài)空間進(jìn)行切分；采用方向Chamfer匹配算法[3]計(jì)算目標(biāo)與姿態(tài)子空間中目標(biāo)主體模板之間的匹配代價(jià)來(lái)搜尋最佳候選姿態(tài).對(duì)于系列圖像 ,采用動(dòng)態(tài)規(guī)劃對(duì)連續(xù)目標(biāo)成像系列中每一幀的候選姿態(tài)進(jìn)行優(yōu)化.

1 空間目標(biāo)姿態(tài)子空間切分

太陽(yáng)能帆板不是固定在目標(biāo)主體上 ,其法線指向太陽(yáng).如果將太陽(yáng)能帆板和目標(biāo)主體作為一個(gè)整體進(jìn)行姿態(tài)估計(jì) ,不僅需要考慮目標(biāo)主體三軸旋轉(zhuǎn) ,也要考慮太陽(yáng)能帆板的旋轉(zhuǎn) ,以增加姿態(tài)維度 ,使原本高維姿態(tài)空間的估計(jì)變得更加復(fù)雜.太陽(yáng)能帆板通常是目標(biāo)上的最大部件 ,呈長(zhǎng)方形 ,大部分空間目標(biāo)有2個(gè)太陽(yáng)能帆板 ,且安裝在目標(biāo)的兩側(cè).為了降低空間目標(biāo)姿態(tài)估計(jì)的難度 ,首先將空間目標(biāo)分成太陽(yáng)能帆板和主體兩部分 ,然后進(jìn)一步利用目標(biāo)主體估計(jì)姿態(tài).然而并不是所有姿態(tài)的目標(biāo)成像圖都能分成主體和太陽(yáng)能帆板.比如 ,當(dāng)觀測(cè)點(diǎn)在太陽(yáng)能帆板一側(cè)時(shí) ,目標(biāo)主體遮擋了另一側(cè)的太陽(yáng)能帆板 ,導(dǎo)致另一側(cè)的太陽(yáng)能帆板無(wú)法提取.因此 ,首先采用文獻(xiàn)[4]的方法將目標(biāo)圖像分成可提取太陽(yáng)能帆板和不可提取太陽(yáng)能帆板 ,將姿態(tài)空間劃分成2個(gè)大的子空間.

式中:P為目標(biāo)姿態(tài)空間 ,Ps為可提取太陽(yáng)能帆板的目標(biāo)成像圖所對(duì)應(yīng)的姿態(tài)子空間 ,Pws為無(wú)法提取太陽(yáng)能帆板的目標(biāo)成像圖所對(duì)應(yīng)的姿態(tài)子空間.

目標(biāo)的主體可由目標(biāo)減去太陽(yáng)能帆板尺寸得到.利用霍夫變換和霍特林變換計(jì)算目標(biāo)主體的方向[4].雖然目標(biāo)太陽(yáng)能帆板對(duì)日定向 ,但是太陽(yáng)能帆板的中軸與主體之間的關(guān)系始終保持一致.目標(biāo)主體主軸方向和太陽(yáng)能帆板中軸方向均包含豐富的姿態(tài)信息 ,因此可利用目標(biāo)主體主軸方向和太陽(yáng)能帆板方向縮小目標(biāo)所在姿態(tài)子空間Ps

式中:為目標(biāo)的所在姿態(tài)子空間 ,θo和θs分別為目標(biāo)主體主軸和太陽(yáng)能帆板的方向 ,to和ts分別為目標(biāo)主體主軸方向和太陽(yáng)能帆板方向的對(duì)應(yīng)閾值 ,ε為任意一個(gè)大于零的常數(shù).to和ts由目標(biāo)模板的姿態(tài)間距決定.

2 空間非合作目標(biāo)姿態(tài)估計(jì)

對(duì)于一幅已知姿態(tài)子空間的待估計(jì)目標(biāo)圖像 ,從姿態(tài)子空間中搜索最佳的匹配模板.太陽(yáng)能帆板使得目標(biāo)模板難以匹配 ,因此姿態(tài)子空間的模板僅使用目標(biāo)主體.采用快速方向Chanfer匹配算法[3]在姿態(tài)子空間中搜索與待估計(jì)目標(biāo)圖像相匹配的目標(biāo)主體模板.

2.1 快速方向Chamfer匹配

設(shè)U＝{ui}和V＝{vi}分別是模板和檢索圖像邊緣映射集合.U與V之間的Chamfer距離為每個(gè)點(diǎn)ui∈U與V距其最近的平均距離 ,表示為

Chamfer匹配提供了一個(gè)適當(dāng)?shù)墓狡交瑴y(cè)度 ,能夠適應(yīng)小的旋轉(zhuǎn)、偏差、遮擋以及變形.通過(guò)距離變換圖像快速計(jì)算匹配代價(jià).距離變換圖像指每個(gè)像素與V距其最近的邊緣像素的距離.距離變換能夠在2個(gè)通道計(jì)算 ,式(3)的代價(jià)函數(shù)能夠通過(guò)以線性時(shí)間O(n)估計(jì).

為了匹配方向邊緣像素 ,文獻(xiàn)[4]將Chamfer距離推廣到R3上的點(diǎn).每一個(gè)邊緣點(diǎn)引入方向項(xiàng)?(x) ,則方向Chamfer匹配代價(jià)函數(shù)為

式中 ,λ為位置與方向項(xiàng)之間的權(quán)重因子.以π為模計(jì)算方向?(x) ,方向誤差給出2個(gè)方向之間的最小循環(huán)方差

2.2 基于快速方向Chamfer匹配的目標(biāo)姿態(tài)識(shí)別

基于快速方向Chamfer匹配的非合作目標(biāo)姿態(tài)估計(jì)算法由姿態(tài)空間切分和姿態(tài)估計(jì)組成.圖1為非合作目標(biāo)姿態(tài)估計(jì)算法的框架 ,算法的具體步驟如下:

(1)姿態(tài)空間切分:

(a)使用天基光學(xué)成像系統(tǒng)空間目標(biāo)和背景特性演示系統(tǒng)[4]生成目標(biāo)和目標(biāo)主體模板 ,滾轉(zhuǎn)角、俯仰角和偏航角按等間隔取值.

(b)利用霍夫變換將目標(biāo)模板分成可提取和不可提取太陽(yáng)能帆板.對(duì)于可以提取太陽(yáng)能帆板的目標(biāo)模板 ,計(jì)算目標(biāo)主體主軸和太陽(yáng)能帆板方向的θo和θs,建立目標(biāo)姿態(tài)θo與θs之間多對(duì)一的映射關(guān)系.

(2)姿態(tài)識(shí)別:

(a)對(duì)于一幅待識(shí)別目標(biāo) ,首先判斷目標(biāo)是屬于Ps還是Pws.如果目標(biāo)屬于Ps,計(jì)算目標(biāo)主體主軸和太陽(yáng)能帆板方向的θo和θs,并利用式(2)縮小目標(biāo)所在的姿態(tài)子空間.

(b)采用式(4)計(jì)算待識(shí)別目標(biāo)和姿態(tài)子空間中目標(biāo)主體模板之間的匹配代價(jià)dDCM.dDCM越小 ,目標(biāo)主體模板對(duì)應(yīng)姿態(tài)為待識(shí)別目標(biāo)姿態(tài)的概率越大.選擇dDCM最小的若干姿態(tài)作為待識(shí)別目標(biāo)的候選姿態(tài).

通過(guò)姿態(tài)子空間劃分不僅能降低DCM的搜索速度 ,而且可以減少姿態(tài)估計(jì)的歧義性.然而 ,由于空間目標(biāo)呈弱對(duì)稱性 ,僅通過(guò)DCM估計(jì)的目標(biāo)姿態(tài)的準(zhǔn)確率很低.對(duì)于系列圖像 ,采用了動(dòng)態(tài)規(guī)劃算法進(jìn)一步優(yōu)化目標(biāo)姿態(tài).

(c)通常 ,連續(xù)的幾幀目標(biāo)的姿態(tài)不會(huì)發(fā)生突變.從t幀到t＋1幀的轉(zhuǎn)移代價(jià)為

式中 ,s(t)為第t幀中已選為估計(jì)結(jié)果的姿態(tài)在第t幀候選姿態(tài)集中的索引 ,為第t幀中第s(t)個(gè)候選姿態(tài)的旋轉(zhuǎn)角與第t＋1幀中第s(t＋1)個(gè)候選姿態(tài)的旋轉(zhuǎn)角差值.文獻(xiàn)[5]通過(guò)求解系列圖像的最小轉(zhuǎn)移代價(jià)來(lái)優(yōu)化人的姿態(tài)估計(jì).目標(biāo)姿態(tài)轉(zhuǎn)移的一個(gè)軌跡S＝s(1) ,s(2) ,? ,s(T) ,參考文獻(xiàn)[5]將軌跡S的代價(jià)定義為所有經(jīng)過(guò)的姿態(tài)的轉(zhuǎn)移代價(jià)以及dDCM(S)的總和.

式中 ,dDCM(s(t))為第t幀待估計(jì)目標(biāo)與第t幀候選姿態(tài)中第s(t)個(gè)候選目標(biāo)主體模板之間的Chamfer匹配代價(jià) ,γp為轉(zhuǎn)移代價(jià)的權(quán)重.γp用于調(diào)節(jié)dDCM(s(t))和轉(zhuǎn)移代價(jià)Os(t) ,s(t＋1)之間的權(quán)重.當(dāng)γp為0時(shí) ,軌跡的代價(jià)由dDCM(s(t))決定；當(dāng)γp為無(wú)窮大時(shí) ,軌跡的代價(jià)由Os(t) ,s(t＋1)決定.

圖1 基于DCM算法的目標(biāo)姿態(tài)估計(jì)框架Fig.1 Flowchart based on proposed attitude estimation method

3 結(jié)果與分析

為了測(cè)試所提出算法的性能 ,采用天基光學(xué)成像系統(tǒng)空間目標(biāo)和背景特性演示系統(tǒng)仿真系列圖像 ,并作為目標(biāo)模板和測(cè)試數(shù)據(jù) ,圖像大小為1024×1024.假設(shè)目標(biāo)的外形為神舟七號(hào) ,目標(biāo)模板按2°間隔生成.按1°間隔制作的三軸旋轉(zhuǎn)角為[5.2° ,23.8° ,55.1°]、[6.2° ,24.8° ,56.1°]、…、[34.2° ,52.8° ,84.1°]的空間目標(biāo)仿真圖如圖2所示 ,共30幅.將本文方法與Chamfer算法[3]和基于特征的算法[5 ,6]進(jìn)行比較.

對(duì)于可提取太陽(yáng)能帆板的目標(biāo)圖像 ,首先根據(jù)式(2)確定每一幀目標(biāo)所在的姿態(tài)子空間；然后利用方向Chamfer匹配計(jì)算每一幀待識(shí)別圖像與對(duì)應(yīng)姿態(tài)子空間中目標(biāo)主體的匹配代價(jià) ,每一幀均保留10個(gè)最佳的候選姿態(tài)；最后利用式(6)從每一幀保留的10個(gè)候選姿態(tài)中搜尋出連續(xù)系列最佳的姿態(tài).采用標(biāo)準(zhǔn)差來(lái)評(píng)估算法的性能

圖2 空間目標(biāo)成像模擬Fig.2 Simulated space target images

表1 目標(biāo)姿態(tài)估計(jì)結(jié)果Table 1 Attitude estimation results on the space target dataset

從表1可以看出 ,采用本文方法估計(jì)的α旋轉(zhuǎn)角標(biāo)準(zhǔn)差為0.7° ,小于Chamfer算法和基于特征的算法估計(jì)的標(biāo)準(zhǔn)差(1.0°和1.2°).類似于α旋轉(zhuǎn)角估計(jì)的結(jié)果 ,采用本文方法估計(jì)的β、γ旋轉(zhuǎn)角標(biāo)準(zhǔn)差均小于Chamfer算法和基于特征的算法.采用Chamfer算法估計(jì)的第25幀β旋轉(zhuǎn)角的精度偏離理論值 ,主要是由于目標(biāo)的對(duì)稱性導(dǎo)致姿態(tài)產(chǎn)生歧義.本文算法通過(guò)姿態(tài)空間切分和動(dòng)態(tài)規(guī)劃來(lái)消除姿態(tài)的歧義.通過(guò)以上分析可知 ,采用本文方法估計(jì)姿態(tài)的精度優(yōu)于Chamfer算法和基于特征的算法.

4 小結(jié)

本文提出一種針對(duì)連續(xù)系列空間非合作目標(biāo)姿態(tài)的估計(jì)算法.首先將目標(biāo)姿態(tài)劃分成可提取太陽(yáng)能帆板以及不可提取太陽(yáng)能帆板這2個(gè)大的姿態(tài)子空間；然后根據(jù)目標(biāo)主體主軸方向和太陽(yáng)能帆板將目標(biāo)姿態(tài)子空間縮小在小范圍內(nèi) ,采用方向Chamfer匹配在候選子姿態(tài)中搜尋最佳的匹配姿態(tài)；最后采用動(dòng)態(tài)規(guī)劃來(lái)優(yōu)化連續(xù)系列中每一幀的候選姿態(tài).對(duì)神舟七號(hào)連續(xù)系列圖像的姿態(tài)估計(jì)結(jié)果表明 ,該方法測(cè)量的姿態(tài)角方差在1°左右.

[1]張世杰 ,曹喜濱 ,陳閩.非合作航天器間相對(duì)位姿的單目視覺(jué)確定算法[J].南京理工大學(xué)學(xué)報(bào) ,2006 ,(30)5:564－568.

[2]郝剛濤 ,杜小平.基于單目視覺(jué)圖像序列的空間非合作目標(biāo)相對(duì)姿態(tài)估計(jì)[J].航天控制 ,2014 ,32(2):60－67.

[3]LIU M Y ,TUZEL O ,VEERAGHAVAN A ,et al.Fast directional chamfer matching[C].ERIC M ,MING H Y.Proceedings of computer vision and pattern recognition.San Francisco:Institute of Electrical and Electronics Engineers ,2010:696－1703.

[4]楊長(zhǎng)才 ,田金文 ,葉瑾 ,等.天基光學(xué)成像系統(tǒng)空間目標(biāo)成像模擬技術(shù)[J].紅外激光與工程 ,2012 ,41(9):2410－2414.

[5]CHEN C ,YANG Y ,NIE F ,et al.3D human pose recovery from image by efficient visual feature selection[J].Computer Vi-sion and Image Understanding ,2011 ,115:290－299.

[6]王春雪.基于圖像的空間目標(biāo)三維姿態(tài)估計(jì)研究[D].北京:中國(guó)科學(xué)院大學(xué) ,2014.

(責(zé)任編輯:葉濟(jì)蓉)

Monocular vision-based relative attitude estimation for non-cooperative space targets

YANG Chang-cai1,WEI Li-fang1,ZHOU Shu-cheng1,TIAN Jin-wen2
(1.College of Computer and Information Sciences ,Fujian Agriculture and Forestry University ,Fuzhou ,Fujian 350002 ,China；2.School of Automation ,National Key Laboratory of Science and Technology on Multi-Spectral Information Processing ,Huazhong University of Science and Technology ,Wuhan ,Hubei 430074 ,China)

In order to minimize the interference of solar array on attitude estimation ,a novel relative attitude estimation approach based on monocular vision was proposed for non-cooperative space targets.Space targets were firstly divided to post-subspace of re-trievable and irretrievable solar array ,then reduce the size of the pose-subspaces by the principal axis of the target and solar array. Subsequently ,fast direction Chamfer matching was adopted to obtain the matched pose with the same shape of frame from the sub-space pose dataset ,which was followed by being recovered to a continuous pose sequence by dynamic programming.Experimental re-sults showed that standard deviations of rotation angle ,and based on the proposed approach were all lower than those of Chamfer method and feature-based method.To summarize ,the proposed approach has high accuracy and robustness.

monocular vision；non-cooperative space target；relative attitude estimation；pose-subspace；dynamic programming

TP391

A

1671-5470(2015)06-0657-05

10.13323/j.cnki.j.fafu(nat.sci.).2015.06.017

2015－04－20

2015－08－10

國(guó)家自然科學(xué)基金資助項(xiàng)目(61273279、61501120)；中國(guó)博士后科學(xué)基金資助項(xiàng)目(2013M540582、2014T70702)；福建農(nóng)林大學(xué)杰出青年科研人才計(jì)劃項(xiàng)目(XJQ201514)

楊長(zhǎng)才(1981－) ,男 ,講師 ,博士.研究方向:計(jì)算機(jī)視覺(jué)、圖像處理.Email:changcaiyang＠gmail.com.通訊作者周術(shù)誠(chéng)(1965－) ,男 ,教授 ,碩士生導(dǎo)師.研究方向:計(jì)算機(jī)視覺(jué)、圖像處理.Email:zhoushuch＠sohu.com.