国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于三維點云模型的空間目標光學圖像生成技術(shù)

2020-03-11 12:59陸婷婷李瀟張堯閻巖楊衛(wèi)東
北京航空航天大學學報 2020年2期
關(guān)鍵詞:隕石坑像素點攝像機

陸婷婷,李瀟,張堯,閻巖,楊衛(wèi)東

(1.中國運載火箭技術(shù)研究院 研究發(fā)展部,北京100176;2.河南工業(yè)大學 糧食信息處理與控制教育部重點實驗室,鄭州450001)

隨著空間探測技術(shù)的快速發(fā)展,世界各主要航天強國均開展了大量的空間探測活動,美國政府更是發(fā)布了重返月球并最終前往火星的太空政策指令。對于空間探測活動中執(zhí)行交會對接、空間碎片清理、空間目標跟蹤、行星軟著陸等任務(wù)的空間飛行器而言,其通常需要利用自身攜帶的光學攝像機獲取目標的光學圖像,并利用計算機視覺、人工智能等技術(shù)手段從中提取目標的狀態(tài)信息或者自身的位置和姿態(tài)信息[1-5]。這些視覺算法的設(shè)計、驗證和評估需要以容量巨大(足以評估算法的泛化能力)、信息完備(必須包含拍攝圖像的光學攝像機的內(nèi)外參數(shù)信息)、種類多樣(能夠適應不同的探測任務(wù))的光學圖像數(shù)據(jù)集作為支撐。雖然當前在人工智能領(lǐng)域出現(xiàn)了大量可用的光學圖像數(shù)據(jù)集,但這些數(shù)據(jù)集通常僅包含一些生活場景的圖像,且每幅圖像所能夠提供的信息十分有限,無法有效應用于深空探測任務(wù)視覺算法的測試和評估。為此,亟需一種能夠用于快速、高效生成空間目標光學圖像的方法。

當前,國外許多空間探測機構(gòu)都通過在地面建立半物理仿真實驗室的方式獲取空間目標光學圖像。例如,為了有效模擬生成行星表面光學圖像,歐洲航天局(ESA)[6]、德國宇航局[7]、加拿大NGC航空航天公司[8]等均搭建了行星表面半物理仿真實驗室,利用大尺度平面沙盤模擬星體表面,利用機械臂攜帶的攝像機模擬導航攝像機。雖然利用這種半物理仿真實驗室能夠?qū)崿F(xiàn)對各種導航控制算法的測試和驗證,但實驗室建設(shè)費用成本高,改造不靈活,并且構(gòu)造的星體表面區(qū)域大小受到實驗場地的限制,無法高效靈活實現(xiàn)對任何需求目標的圖像的生成[9]。為此,大量研究機構(gòu)和學者均開展了空間目標仿真圖像全數(shù)字仿真生成技術(shù)的研究。

英國鄧迪大學在歐洲航天局的資助下開發(fā)了一套星體環(huán)境仿真模擬軟件PANGU[10],其利用真實數(shù)據(jù)或者合成數(shù)據(jù)對星體(火星、月球、水星及小行星等)自然地質(zhì)環(huán)境進行建模,并能夠?qū)崿F(xiàn)對光學攝像機、激光雷達等傳感器的建模,從而生成相應的仿真圖像。PANGU可以滿足絕大多數(shù)的空間探測算法的研發(fā)與測試需求,但并不支持對航天飛機、衛(wèi)星等空間目標仿真圖像的生成能力,且PANGU是一個商業(yè)軟件,收費昂貴,算法的具體實現(xiàn)原理和源代碼均沒有公開,在國內(nèi)擁有PANGU軟件的單位并不多。同時,PANGU功能繁多,應用背景復雜,對于簡單的視覺算法研發(fā)和快速驗證效率不高。

除PANGU外,目前針對空間目標圖像生成的研究主要以星體表面隕石坑生成為主[11-12]。這些方法主要基于解析方法對空間目標進行建模[13-14],并通過計算導航攝像機的光線反投影與空間目標解析模型的交點的方式生成空間目標光學圖像,該過程涉及復雜的多元變量優(yōu)化問題,求解過程效率低,容易陷入局部最優(yōu)解,導致仿真圖像無法有效生成。

因此,針對傳統(tǒng)空間目標光學圖像生成技術(shù)存在的模型復雜、求解效率低的問題,本文創(chuàng)新性地提出了一種基于三維點云模型和射影變換基本理論的空間目標(小行星、航天器、無人機、航天飛機等)光學圖像生成技術(shù),并利用大量仿真實驗驗證了所生成的仿真圖像可以有效地被用于測試和評估空間探測任務(wù)中的態(tài)勢感知、視覺導航等核心算法。

1 空間目標光學圖像生成總體框架

本文提出的空間目標光學圖像生成技術(shù)總體框架如圖1所示,由仿真參數(shù)設(shè)置層、仿真圖像生成層和仿真圖像輸出層構(gòu)成。首先,在仿真參數(shù)設(shè)置層對仿真攝像機內(nèi)參數(shù)和外參數(shù)進行設(shè)置,指定需要生成仿真圖像的空間目標,并給定空間目標所處空間環(huán)境中的太陽光照方向。然后,在仿真圖像生成層,基于仿真參數(shù)設(shè)置層提供的參數(shù)構(gòu)建仿真攝像機模型和空間目標三維點云模型;并通過仿真攝像機像平面幾何反投影計算得到投影圖像中每個像素點與空間目標三維點云模型頂點的對應關(guān)系,再結(jié)合給定的太陽光照方向和投影圖像中每個像素點對應的模型空間點處的法向量,計算投影圖像中每個像素點的灰度值,該過程稱為投影圖像著色。最后,在仿真圖像輸出層得到空間目標光學圖像。圖1所示的仿真圖像生成框架能夠逼真地模擬攝像機“看”到的場景,從而為空間碎片清理、空間航天器交會對接、行星探測器軟著陸等應用場景提供大量可用的光學圖像數(shù)據(jù)集。

圖1 空間目標光學圖像生成技術(shù)總體框架Fig.1 Overall framework of space object optical image generation technique

在空間目標光學圖像生成技術(shù)總體框架中,仿真圖像生成層是其核心所在,其中,仿真攝像機模型構(gòu)建、仿真攝像機像平面幾何反投影、投影圖像著色是最核心的問題,也是本文關(guān)注的重點,而空間目標的三維點云模型構(gòu)建可由NASA 3D模型資源網(wǎng)獲取,所以本文對三維點云模型構(gòu)建不進行詳細分析。

2 仿真攝像機模型構(gòu)建

圖2 仿真攝像機模型及相關(guān)坐標系定義Fig.2 Simulated camera imaging model and definition of relevant coordinate systems

空間目標光學圖像生成技術(shù)總體框架中所使用的仿真攝像機模型為圖2所示的針孔成像模型,該模型有效地表征了三維空間到二維平面的中心投影關(guān)系。為有效利用代數(shù)形式對該投影模型進行描述,先對仿真攝像機模型涉及的3個坐標系(世界坐標系、攝像機坐標系和圖像坐標系)進行定義。世界坐標系(簡記為WCS)為空間目標所處的坐標系,其原點ow位于空間某固定位置點,WCS的3個坐標軸xw、yw、zw分別指向ow處的東、北、天方向。攝像機坐標系(簡記為CCS)的原點oc位于仿真攝像機光心位置,其zc軸與光軸重合,并指向仿真攝像機像平面,xc軸和yc軸分別與仿真攝像機像平面的矩形邊平行。圖像坐標系(簡記為ICS)是定義在仿真攝像機像平面上的一個二維坐標系,其原點oi位于圖像像平面左下角,2個坐標軸ui和vi分別與圖像像平面的橫向和縱向平行。

給定一個三維空間點X,其在WCS中的齊次坐標為XWCS=[x y z 1]T,點X在仿真攝像機透視投影矩陣P=K[R t]的作用下被變換為圖像點x(t為平移向量,R為三維旋轉(zhuǎn)矩陣),并且點x在ICS中的齊次坐標為xICS=[u v 1]T,則XWCS和xICS之間的關(guān)系可描述為

式中:s為一個非零尺度因子,表征了空間點X的深度信息;矩陣K為仿真攝像機的內(nèi)參數(shù)矩陣,其形式為

其中:參數(shù)f為攝像機的焦距;[u0v0]T為仿真攝像機主點在ICS下的非齊次坐標;f、u0和v0都以像素為量綱。

本文假定仿真攝像機的質(zhì)量較好,不存在畸變,并且像素為長寬相等的矩形,所以K僅有3個自由度,由此仿真攝像機得到的仿真圖像尺寸為2u0×2v0。

式(1)中的平移向量t和三維旋轉(zhuǎn)矩陣R分別表征了CCS和WCS之間的位置和方位信息。其中,t為WCS的原點ow在CCS下的非齊次坐標;R的3個列向量r1、r2、r3分別為WCS的3個坐標軸xw、yw、zw在CCS中的方向向量,利用R可以將WCS下的方向向量轉(zhuǎn)換到CCS下。假定仿真攝像機光心oc在WCS下的非齊次坐標為oWCS=[x0y0h]T,h為oc與xwyw平面的距離,[x0y0]T為oc在xwyw平面的投影點的非齊次坐標。那么,t和oWCS具有如下關(guān)系:

此時,可以得到仿真攝像機透視投影矩陣P的另外一種形式:

基于仿真攝像機模型,得到仿真攝像機成像基本流程,如圖3所示。

圖3 仿真攝像機模型構(gòu)建基本流程Fig.3 Basic process for constructing simulated camera imaging model

首先,設(shè)定仿真攝像機的焦距f及像平面主點的非齊次坐標[u0v0]T,并利用式(2)得到仿真攝像機的內(nèi)參數(shù)矩陣K。

然后,給定仿真攝像機光心oc在WCS下的非齊次坐標oWCS=[x0y0h]T及仿真攝像機的CCS相對于CCS0的3個歐拉角α、β、γ,規(guī)定由CCS0向CCS的轉(zhuǎn)動按照z-x-y順序(見圖3)。CCS0是為了使3個歐拉角α、β、γ具有更加明顯的幾何意義而引入的中間坐標系,CCS0的原點與CCS相同,3個坐標軸xc0、yc0和zc0分別指向xw、-yw和zw方向。那么,仿真攝像機旋轉(zhuǎn)矩陣R和平移向量t分別為

式中:

3 仿真攝像機像平面幾何反投影

仿真攝像機像平面幾何反投影的根本目的是找到投影圖像中每個像素點與空間目標三維點云模型之間的對應關(guān)系。其中,空間目標三維點云模型由一組屬于該目標表面的空間點構(gòu)成,并且3個點構(gòu)成一個三角面片,圖4給出了一個典型空間目標(月球表面某區(qū)域)三維點云模型??梢钥吹?,該模型的基本構(gòu)成元素為點和三角面片,這種模型不具有解析形式。

圖4 月球表面三維點云模型示意圖Fig.4 Schematic diagram of 3D point cloud model of lunar surface

實際上,仿真攝像機對空間模型成像的過程就是將空間三維點云模型投影到仿真攝像機二維圖像平面上的過程,并且只有落入仿真攝像機視場范圍內(nèi)的模型部分才會被投影到圖像平面。另外,三維點云模型的不同區(qū)域可能會被投影到像平面的某一個相同區(qū)域,該區(qū)域呈現(xiàn)的是距離仿真攝像機光心最近的那部分模型。

基于以上思想,仿真攝像機像平面幾何反投影的基本思路為:給定圖像上某個像素點q,首先,計算像素點q的反投影光線;然后,計算該反投影光線與空間三維點云模型的所有可能交點;最后,將距離仿真攝像機光心最近的那一個交點確定為圖像點q對應的模型空間點Q。由于三維點云模型的表面是由一系列三角面片構(gòu)成的,所以幾何反投影僅涉及反投影光線與空間三角面片的交點,下面給出具體方法。

對于圖像上的像素點q,為了高效計算其所對應的模型空間點,先排除不可能與像素點q的反投影線ocq相交的三角面片,再計算ocq與所有可能與其相交的三角面片的交點,則距離仿真攝像機光心最近的那一個交點即為像素點q對應的空間點Q。

為了排除不可能與反投影線ocq相交的三角面片,應先將三維空間中所有三角面片投影到圖像平面上,得到圖像三角面片,再利用圖像三角形的外接矩形排除不可能包含點q的圖像三角形。如圖5所示,以點a、b、c為頂點的圖像三角形△abc為例,其外接矩形D1D2D3D4的4個頂點D1、D2、D3、D4的非齊次坐標分別定義為

式中:[xa,ya]T、[xb,yb]T、[xc,yc]T分別為點a、b、c的非齊次坐標;max{}和min{}分別表示求取給定集合中所有元素的最大值和最小值。

圖5 圖像三角面片及其外接矩形Fig.5 Imaged triangle patch and its circumscribed rectangle

對于像素點 q,如果它沒有落入矩形D1D2D3D4(通過簡單的坐標比較即可判斷得到),就一定不可能被圖像三角形△abc包含。對于圖5所給出的示例,由于矩形框2、3并不包含像素點q,則q一定不會落入圖像三角形2、3中,而像素點q落入了矩形框1、4、5中,那么,圖像三角形1、4、5可能會包含像素點q。

利用凸錐的性質(zhì)[15]對圖像三角形是否會包含像素點q進行判斷。仍以圖5中的圖像三角形△abc為例,其3個頂點的齊次坐標分別為ah=[xa,ya,za]T、bh=[xb,yb,zb]T、ch=[xc,yc,zc]T,由這3個齊次坐標向量的非負組合構(gòu)成的集合Ω是一個凸錐。如果像素點q位于△abc內(nèi)部(包括頂點和邊),其齊次坐標向量qh一定可以由齊次坐標向量ah、bh、ch非負線性表示;反之,如果齊次坐標向量qh不能由齊次坐標向量ah、bh、ch非負線性表示,那么點q一定位于△abc外部。所以,為了判別點q是否位于△abc內(nèi)部,應先計算齊次坐標qh由齊次坐標向量ah、bh、ch的線性表出系數(shù)向量λ,如果λ中存在小于零的元素,則點q一定位于△abc外部。λ的計算方式為

對于圖5中圖像三角形1,由它的3個頂點構(gòu)造的凸錐并不包含點q,所以,像素點q一定不會落在圖像三角形1中,從而,像素點q的反投影線ocq只可能與圖像三角形4、5對應的空間三角面片相交。

假設(shè)圖像三角形△abc包含像素點q,且其齊次坐標向量qh=[uqvq1]T,需要計算點q反投影線ocq與△abc對應的空間三角面片△ABC的交點Q??臻g三角面片△ABC的3個頂點A、B、C在WCS下的齊次坐標分別為AWCS、BWCS、CWCS,則根據(jù)式(1)所描述的仿真攝像機模型,可以得到這3個空間點在CCS下的齊次坐標ACCS、BCCS、CCCS為

從而,由空間點A、B、C所張成的平面ABC的法向量n在CCS下的非齊次坐標為

對于像素點q,其在CCS下的非齊次坐標為

那么,反投影線ocq在CCS下的Plucker坐標Loq為[16]

分別將式(12)~式(15)代入式(16),并進行整理,可以得到

那么,點Q在CCS下的非齊次坐標為

空間點Q和仿真攝像機光心oc之間的距離d為

4 投影圖像著色

在仿真攝像機像平面幾何反投影階段,已經(jīng)獲得了仿真圖像平面每個像素點與模型空間點的對應關(guān)系,為了得到最終的空間目標光學圖像,需要為像平面每個像素點賦予一個灰度值,這一過程即為圖像著色。每個像素點的灰度值可以由其相應的模型空間點的輻射熱能確定,這主要取決于太陽光照方向、空間模型法向量方向及材料的光學性質(zhì)[17]。

太陽光照方向會對空間目標光學圖像的光照強度和陰影方向產(chǎn)生影響,所以,必須充分分析太陽的光照方向。本文使用平行光模擬空間目標所處環(huán)境中的太陽光照,每條光線都來自于無窮遠處,并且具有相同的傳播方向。規(guī)定太陽光線的方向向量是一個與太陽光線實際傳播方向相同的向量s,其主要由2個參數(shù)決定:太陽高度角η和太陽方位角θ,它們的幾何意義如圖6所示。太陽高度角指太陽光照方向與WCS的xwyw平面的夾角,這里設(shè)定取值范圍為[0°,90°];方位角指在xwyw平面上,由軸yw順時針轉(zhuǎn)至太陽光照方向在xwyw平面的投影線所經(jīng)過的角度(即WCS原點ow處的北偏東方向),取值范圍為[0°,360°]。那么,在WCS中,太陽光線的方向向量s為

圖6 太陽高度角和方位角示意圖Fig.6 Schematic diagram of solar elevation and azimuth

除了太陽光照外,本文忽略了其他光照(如環(huán)境光照)的影響,并認為所有接收不到太陽光照的區(qū)域灰度值均為零。對于能夠接收到光照的模型空間點,利用僅含有漫反射(Lambertian漫反射模型[17])分量的光照模型計算其光照強度。具體地,對于像素點q所對應的模型空間點Q,其輻射能量iq為

式中:參數(shù)ζ為控制輻射能量取值的系數(shù);nQ為空間目標三維點云模型在點Q處的法向量。

5 仿真實驗

圖7 空間目標仿真圖像生成系統(tǒng)軟件示意圖Fig.7 Schematic diagram of software of space object simulated image generation system

本節(jié)通過仿真實驗手段對提出的基于三維點云模型的空間目標光學圖像生成算法的有效性進行驗證。整個仿真過程在具有W indows10操作系統(tǒng)的臺式計算機上完成。為了使得空間圖像仿真系統(tǒng)便于操作,根據(jù)本文算法開發(fā)了空間目標仿真圖像生成系統(tǒng)軟件,該軟件的具體示意圖如圖7所示,整個仿真實驗過程中,均利用該軟件實現(xiàn)仿真圖像的生成。

在整個實驗過程中,始終使用相同的仿真攝像機,不改變仿真攝像機內(nèi)參數(shù),令仿真攝像機焦距f=700像素,像平面主點為(u0,v0)=(320像素,240像素),圖像分辨率為640×480,而仿真攝像機外參數(shù)和太陽光照方向?qū)㈦S著具體實驗內(nèi)容的不同而被設(shè)置為不同取值。對于空間目標的三維點云數(shù)據(jù),實驗將使用NASA 3D模型資源網(wǎng)提供的各種空間目標模型作為輸入,圖8分別給出了Triana衛(wèi)星、某航天飛機等典型空間目標三維點云模型。

為了有效評價本文提出的空間目標光學圖像生成技術(shù)所產(chǎn)生的圖像的真實性和有效性,設(shè)計了3組實驗,如圖9所示。首先,利用本文算法產(chǎn)生典型空間目標的光學圖像,從視覺效果上對本文算法進行評估;然后,分析仿真參數(shù)取值的不同對本文算法的影響;最后,分別將基于本文算法生成的仿真圖像應用于橢圓擬合、著陸器視覺導航、航天器交會對接、隕石坑檢測、空間目標跟蹤等典型空間探測任務(wù)中,通過評估相應任務(wù)完成的優(yōu)劣實現(xiàn)對本文算法的評估。

圖8 典型空間目標三維點云模型Fig.8 Three-dimensional point cloud model of typical space objects

圖9 仿真實驗驗證內(nèi)容Fig.9 Verified concepts of simulation experiments

5.1 仿真圖像生成

在仿真圖像生成實驗中,利用本文提出的空間目標光學圖像生成技術(shù)分別產(chǎn)生行星表面、航天飛機、衛(wèi)星、著陸器等典型空間目標的仿真圖像,從視覺角度定性實現(xiàn)對本文算法的評估。

首先,分別生成Vesta小行星[18]和Eros小行星[19]的仿真圖像,實驗結(jié)果如圖10所示,其中,星體表面的真實圖像分別來自于美國今日太空網(wǎng)[20]和行星學會[21]。

由于仿真攝像機與獲取真實圖像的真實攝像機具有不同的拍攝視角和成像光照條件(包括太陽光照強度和太陽光照方向),所得到的仿真圖像和真實圖像所對應的行星表面區(qū)域并不完全一致。為便于分析,分別在圖10所示的仿真圖像和真實圖像中利用橢圓形曲線標注了兩者存在重合的區(qū)域,并統(tǒng)計在重合區(qū)域內(nèi)仿真圖像和真實圖像所包含的隕石坑的對應關(guān)系。圖10中利用直線連接了仿真圖像和真實圖像中的相對應隕石坑。根據(jù)結(jié)果可以看到,在仿真圖像和真實圖像的重合區(qū)域(即對應于行星表面的同一個區(qū)域),仿真圖像與真實圖像所包含的典型隕石坑數(shù)量和相對之間的構(gòu)型完全一致,從而有效地說明了本文算法可以生成逼真度較高的小行星圖像。

然后,分別基于不同的仿真條件生成航天飛機、Aurora衛(wèi)星、Triana衛(wèi)星、阿波羅著陸器、全球鷹無人機的仿真圖像,實驗結(jié)果如圖11所示,(a)~(e)分別給出了相應模型在不同的仿真攝像機外參數(shù)條件下生成的仿真圖像結(jié)果,可以看到,本文算法可以生成逼真度較高的空間目標仿真圖像。

另外,為了分析本文算法與解析算法[11]之間的性能差異,分別利用這2種算法生成包含多個隕石坑的星體表面圖像,從視覺和算法運行時間2個方面對比2種算法。實驗結(jié)果如圖12所示,根據(jù)實驗結(jié)果可見,本文算法生成的圖像具有更好的真實性和普適性,在視覺效果上更接近于真實空間目標圖像,并且其運行速度要快于解析算法。這是因為三維點云模型主要由大量三角面片構(gòu)成,在計算光線與模型交點時,只涉及到直線和平面的交點,而基于三維解析模型的算法需要多次計算光線和二維曲面的交點。

圖10 本文算法生成的Vesta小行星和Eros小行星仿真圖像與真實圖像對比Fig.10 Comparison between simulated images generated by proposed algorithm and true images of Vesta asteroid and Eros asteroid

5.2 仿真參數(shù)影響

本節(jié)實驗主要分析不同仿真參數(shù)對空間目標光學圖像生成技術(shù)的影響。具體地,分別討論太陽光照方向、仿真攝像機與空間目標三維點云模型之間距離、仿真攝像機姿態(tài)等參數(shù)對仿真圖像生成的影響。實驗所使用的空間目標三維點云模型為NASA 3D模型資源網(wǎng)公布的灶神星北半球的Snowman隕石坑區(qū)域模型,該區(qū)域的數(shù)據(jù)由美國黎明號行星探測器獲取。圖13(a)給出了Snowman隕石坑區(qū)域的三維點云模型及仿真攝像機的模型,圖13(b)給出了黎明號行星探測器對Snowman隕石坑區(qū)域的真實成像結(jié)果,該圖像來自于NASA的圖像庫。

首先,分析太陽光照方向?qū)Ρ疚乃惴ǖ挠绊?。固定仿真攝像機外參數(shù),令仿真攝像機光心在WCS下的非齊次坐標為[-50,-70,275]Tm,CCS三個坐標軸的歐拉角分別為:α=5°、β=7°、γ=6°。利用該仿真攝像機生成9幅隕石坑仿真圖像,每幅圖像對應的太陽高度角和方位角依次為{(10°,10°),(20°,20°),…,(90°,90°)}(變化間隔為(10°,10°)),從而模擬太陽光照方向的變化,實驗結(jié)果如圖14所示??梢钥吹剑S著太陽高度角的增加,隕石坑圖像的灰度值逐漸增加,對比度變?nèi)?,而太陽方位角僅影響導航圖像中的陰影方向。

圖11 空間目標仿真圖像生成實驗結(jié)果Fig.11 Experimental results of simulation image generation of space objects

圖12 不同算法仿真圖像生成對比實驗結(jié)果Fig.12 Comparison of experimental results of simulation image generation between different algorithms

圖13 Snowman隕石坑區(qū)域三維點云模型及真實圖像Fig.13 Three-dimensional point cloud model and true image of Snowman crater area

圖14 隕石坑仿真圖像與太陽光照方向關(guān)系實驗結(jié)果Fig.14 Experimental results of relationship between crater simulated image and sunlight illumination direction

然后,討論仿真攝像機高度對本文算法的影響。實驗中,固定太陽光照方向和除仿真攝像機光心高度外的其他所有仿真攝像機外參數(shù)。令η=45°,θ=45°,CCS三個坐標軸的歐拉角分別為:α=20°、β=5°、γ=2°,仿真攝像機光心在WCS下的非齊次坐標為[-50m,-70m,h]T,產(chǎn)生8幅仿真圖像,每幅圖像的光心高度h分別?。?00m,450m,…,150m}(取值間隔為50m)。實驗結(jié)果如圖15所示,從圖像序列可以看到,仿真圖像有效模擬了著陸器的著陸過程。隨著仿真攝像機距離星體表面越來越近,出現(xiàn)在仿真攝像機像平面上的星體表面區(qū)域范圍變得越來越小,但相應的圖像隕石坑尺寸越來越大。應該注意,在仿真攝像機距離星體表面距離較遠時,其視場內(nèi)包含的星體表面區(qū)域較大,超出了給定的三維點云模型,所以圖15中的前幾幅圖像中會出現(xiàn)部分黑色區(qū)域。

最后,驗證仿真攝像機姿態(tài)的變化對本文算法的影響。與前2組實驗相似,本組實驗將固定太陽的光照方向和除zc軸的歐拉角α之外的其他所有仿真攝像機外參數(shù)。令η=45°,θ=45°,xc軸和yc軸的歐拉角分別為β=5°和γ=2°,仿真攝像機光心在WCS下的非齊次坐標為[0m,0m,200m]T,產(chǎn)生11幅圖像,每幅圖像對應的zc軸的歐拉角α分別取{30°,60°,…,330°}(取值間隔為30°)。圖16給出了實驗結(jié)果,圖像序列模擬了仿真攝像機繞zc軸進行的一組360°偏航運動的操作,由于每幅圖像的光照方向完全一致,它們的陰影方向和灰度值分布基本相同。

圖15 隕石坑仿真圖像與仿真攝像機高度關(guān)系實驗結(jié)果Fig.15 Experimental results of relationship between crater simulated image and simulated camera height

5.3 仿真圖像應用

在仿真圖像應用實驗中,利用本文提出的空間目標光學圖像生成技術(shù)產(chǎn)生隕石坑仿真圖像、衛(wèi)星仿真圖像和行星表面仿真圖像,并應用于橢圓擬合、著陸器視覺導航、航天器交會對接、隕石坑檢測、空間目標跟蹤等典型應用場景,通過將實驗結(jié)果與各應用場景原始實驗結(jié)果進行對比,實現(xiàn)對本文算法的驗證。

首先,分別生成月球Snowman隕石坑區(qū)域(2個視角)、Aurora衛(wèi)星、神舟飛船仿真圖像,結(jié)果如圖17所示。利用文獻[22]所提方法對圖17(a)、(b)中的仿真圖像進行橢圓擬合,利用文獻[23]所提方法對圖17(c)、(d)中的仿真圖像進行橢圓擬合,擬合結(jié)果如圖17中的橢圓曲線所示。可以看到,仿真圖像中的典型橢圓均被正確擬合,從而有效驗證了本文算法對橢圓擬合算法驗證的可靠性和準確性。

圖16 隕石坑仿真圖像與仿真攝像機姿態(tài)關(guān)系實驗結(jié)果Fig.16 Experimental results of relationship between crater simulated image and simulated camera attitude

圖17 橢圓擬合算法驗證實驗結(jié)果Fig.17 Experimental results of ellipse fitting algorithm verification

其次,生成Rheasilvia小行星、月球近地表面仿真圖像,并利用生成的圖像對基于隕石坑的著陸器視覺導航算法[24]進行驗證,具體的實驗結(jié)果如圖18所示,相應的導航算法位置和姿態(tài)計算誤差如表1所示??梢钥吹?,著陸器視覺導航算法[24]能夠精確地實現(xiàn)基于仿真圖像的著陸階段視覺導航信息獲取,并且與原文的評估結(jié)果基本一致,從而有效驗證了本文算法的有效性。

圖18 著陸器視覺導航算法驗證實驗結(jié)果Fig.18 Experimental results of lander visual navigation algorithm verification

表1 著陸器視覺導航算法驗證實驗精度Tab le 1 Experim ental accuracy of lander visual navigation algorithm verification

再次,生成Triana衛(wèi)星和Aurora衛(wèi)星仿真圖像,并利用生成的仿真圖像驗證航天器交會對接算法[25]的有效性。基于仿真圖像計算得到的空間飛行器導航信息結(jié)果如圖19所示,相應的位置和姿態(tài)解算誤差如表2所示,與航天器交會對接算法的原始實驗結(jié)果基本一致,從而驗證了本文算法對航天器交會對接算法驗證的可靠性和有效性。

然后,利用本文算法生成仿真圖像構(gòu)造隕石坑圖像數(shù)據(jù)集和空間飛行器圖像數(shù)據(jù)集,其中,隕石坑圖像數(shù)據(jù)集包括12000個樣本(6000個正樣本和6 000個負樣本),空間飛行器圖像數(shù)據(jù)集包括24000個樣本(4種不同類型飛行器)。分別基于深層神經(jīng)網(wǎng)絡(luò)方法[26]和AdaBoost方法[27]構(gòu)造隕石坑分類器和飛行器分類器,利用訓練數(shù)據(jù)實現(xiàn)對分類器模型的訓練,并利用測試數(shù)據(jù)集實現(xiàn)對算法的驗證。為了比較不同算法的精度,本文利用查準率P、查全率R和F1來評估算法的泛化能力,它們是分類問題中最常用性能度量。

圖19 航天器交會對接算法驗證實驗結(jié)果Fig.19 Experimental results of spacecraft rendezvous and docking algorithm verification

表2 航天器交會對接算法驗證實驗精度Tab le 2 Experim ental accuracy of spacecraft rendezvous and dock ing algorithm verification

式中:TP、FN、FP分別為真實的正例、錯誤的負例、錯誤的正例。

實驗結(jié)果如表3所示??梢钥吹?,CNN方法對于隕石坑圖像數(shù)據(jù)集和飛行器圖像數(shù)據(jù)集的分類準確性要明顯高于AdaBoost方法,這與文獻[26]的實驗結(jié)果完全一致,從而有效驗證了本文算法生成的仿真圖像的有效性。

最后,利用本文算法生成Triana衛(wèi)星運動視頻數(shù)據(jù),運動視頻時長129 s,包含50幀灰度圖像。利用空間目標跟蹤算法[2]實現(xiàn)對Triana衛(wèi)星的三維跟蹤,即實時計算得到跟蹤攝像機相對于Triana衛(wèi)星的相對位置和姿態(tài),并利用計算得到的位姿信息將Triana衛(wèi)星三維模型投影到相應幀灰度圖像上。典型圖像幀投影結(jié)果如圖20中的綠色曲線所示,可以看到,Triana衛(wèi)星的三維模型投影結(jié)果與Triana仿真圖像邊緣完全重合,實現(xiàn)了對Triana衛(wèi)星的精準三維跟蹤,驗證了空間目標跟蹤算法[2]的準確性,從而也充分說明了本文算法的有效性。

表3 不同分類器在隕石坑圖像數(shù)據(jù)集和飛行器圖像數(shù)據(jù)集上的分類結(jié)果Tab le 3 C lassification resu lts of different classifiers on crater dataset and spacecraft dataset

圖20 空間目標跟蹤算法驗證實驗結(jié)果Fig.20 Experimental results of space object tracking algorithm verification

6 結(jié) 論

在典型空間探測任務(wù)中,基于光學圖像的態(tài)勢感知和視覺導航算法的設(shè)計、驗證和評估對空間目標光學圖像的質(zhì)量、數(shù)量和信息完備性等均提出了較高的要求。本文基于空間目標三維點云模型和射影變換基本理論,設(shè)計了空間目標光學圖像生成技術(shù),通過充分的定性和定量仿真實驗,驗證了所生成的空間目標仿真圖像的有效性,得到以下結(jié)論:

1)可以快速高效生成典型空間目標仿真圖像,能夠滿足橢圓擬合、隕石坑檢測、著陸器視覺導航、航天器交會對接、空間目標跟蹤等典型空間應用算法的定性和定量評估需求。

2)可以實現(xiàn)行星表面隕石坑、空間飛行器等典型圖像樣本數(shù)據(jù)集的生成,能夠滿足空間智能化技術(shù)對訓練數(shù)據(jù)集和測試數(shù)據(jù)集的需求。

3)可以生成空間目標運動視頻,能夠滿足空間目標跟蹤算法驗證的需求。

4)在生成圖像的真實性、普適性、快速性等方面均優(yōu)于基于解析模型的仿真圖像生成技術(shù)。

本文主要針對空間目標的灰度圖像進行仿真生成,這與當前目標空間應用對空間目標圖像需求一致,但隨著空間應用的發(fā)展,未來可能對RGB彩色圖像提出需求,所以,需要開展空間目標RGB彩色圖像仿真生成技術(shù)研究,這將是下一步研究工作中的重點。

猜你喜歡
隕石坑像素點攝像機
基于局部相似性的特征匹配篩選算法
地球上的美麗傷痕
科學家在黑龍江新發(fā)現(xiàn)隕石坑
隕石坑里藏著什么
用迷你攝像機代替眼球
一種X射線圖像白點噪聲去除算法
基于canvas的前端數(shù)據(jù)加密
圖像采集過程中基于膚色理論的采集框自動定位
高清新陣營
看透佳能心FS11攝像機構(gòu)造揭秘