(北京衛(wèi)星環(huán)境工程研究所,北京100094)
航空航天領(lǐng)域?qū)懿考M(jìn)行相對姿態(tài)測量時往往借助于立方鏡,利用立方鏡相鄰之間嚴(yán)格垂直的鏡面,通過高準(zhǔn)確度的電子經(jīng)緯儀對其自準(zhǔn)直測量即可建立該立方鏡坐標(biāo)系,從而確定其相對于其他坐標(biāo)系的姿態(tài)關(guān)系[1]。在對實(shí)際立方鏡進(jìn)行準(zhǔn)直測量時,通常是利用兩臺電子經(jīng)緯儀對立方鏡的相鄰兩個反射面進(jìn)行自準(zhǔn)直測量,得到立方鏡的兩個相鄰反射鏡面的法線矢量[2]。
現(xiàn)有的光電自準(zhǔn)直經(jīng)緯儀作為高精度測量儀器,測角精度高,但測量范圍較小 (約±17′),因此需要輔助準(zhǔn)直手段來引導(dǎo)目標(biāo)進(jìn)入準(zhǔn)直儀視場。輔助準(zhǔn)直可采用手動與自動兩種方式,手動方式就是人工觀察引導(dǎo)目標(biāo)進(jìn)入準(zhǔn)直儀視場,自動方式是采用輔助的測量手段自動引導(dǎo)目標(biāo)進(jìn)入準(zhǔn)直儀視場,自動方式具有更高的測量效率。
單目視覺測量是指僅利用一臺視覺傳感器采集圖像,對物體的幾何尺寸或者物體在空間的位置、姿態(tài)等信息進(jìn)行測量[3]。因?yàn)閮H需一臺視覺傳感器,所以該方法的優(yōu)點(diǎn)是結(jié)構(gòu)簡單、相機(jī)標(biāo)定方便,同時還避免了立體視覺中的視場小、立體匹配難等不足[4]。
相較于準(zhǔn)直儀,視覺測量具有較廣的視場范圍,容易將目標(biāo)設(shè)置在相機(jī)的視場范圍內(nèi)。立方鏡通常為正方體,具有相互垂直的棱邊與面,理論上通過單目立體視覺測量即可得到立方鏡的空間位置和姿態(tài)。對于具有3條相互垂直直線幾何體的單目位姿估計,已有相關(guān)的研究成果[5]。因此,可利用單目視覺測量估計立方鏡的位置姿態(tài),進(jìn)而可以自動引導(dǎo)使立方鏡進(jìn)入光電自準(zhǔn)直經(jīng)緯儀的視場范圍,提高準(zhǔn)直效率。
本文面向?qū)α⒎界R單目視覺測量的需求,研究立方鏡圖像處理技術(shù),即從立方鏡圖像中獲取立方鏡棱邊、角點(diǎn)等特征在圖像中的位置信息,為進(jìn)一步的立方鏡位姿計算提供基礎(chǔ)數(shù)據(jù)。
通過視覺傳感器采集得到的立方鏡照片如圖1所示。由于實(shí)際立方鏡的角點(diǎn)并不是理想的尖角,且在圖像中特征不明顯,因此在圖像處理中未直接采用角點(diǎn)識別的方法。研究中采用的方案為:提取圖像中立方鏡的棱邊,對棱邊進(jìn)行直線擬合,進(jìn)而獲得棱邊在圖像中的角度及位置信息,對棱邊對應(yīng)直線求交點(diǎn)獲得立方鏡角點(diǎn)在圖像中的位置信息,這些信息可用于后續(xù)立方鏡空間位姿的計算。
圖1 立方鏡照片F(xiàn)ig.1 Image of a cubic prism
圖像處理的主要流程如圖2所示。首先通過邊緣提取獲取圖像中的邊緣特征,對獲得的邊緣進(jìn)行輪廓分析,將立方鏡棱邊對應(yīng)的直線特征較為顯著的輪廓提取出來。而后根據(jù)立方鏡棱邊的空間角度及位置特點(diǎn),對提取得到的直線按照角度、位置進(jìn)行劃分聚類與排序。最后按照聚類排序結(jié)果,對直線進(jìn)行配對計算角點(diǎn)位置。
圖2 圖像處理流程Fig.2 Flow of image processing
邊緣為圖像中灰度發(fā)生急劇變化的區(qū)域邊界,邊緣點(diǎn)能夠給出目標(biāo)輪廓的位置。邊緣檢測是圖像處理與理解的重要部分,最終的結(jié)果對圖像分析和圖像理解有重要影響。邊緣檢測的本質(zhì)是利用各種算法得到圖像中對象與背景之間的相交線,常見的邊緣檢測算子有 Roberts算子[6]、Sobel算子[7]、 Prewitt 算 子[8]、 Laplacian 算 子[9]、 LOG 算子[10]、 Canny 算子[11]等。
研究中,邊緣檢測采用Canny算子。Canny算子具有很好的信噪比和檢測精度,對含有白噪聲的階梯型邊緣檢測圖像效果最好。Canny算子得到的邊緣與真實(shí)邊緣間的偏差很小,檢測到的虛假邊緣較少,漏檢率較小。該算法的主要步驟包括:Gauss平滑、梯度檢測、沿梯度方向的非極大值抑制和雙閾值邊緣檢測連接算法。Canny算子檢測的邊緣是閉合的、單像素寬的,能比較精確地定位圖像中的邊緣。邊緣檢測結(jié)果如圖3所示。
圖3 Canny邊緣檢測結(jié)果Fig.3 Result of Canny edge detector
如圖3所示,邊緣檢測的結(jié)果中除立方鏡棱邊對應(yīng)的邊緣外,還得到了其他邊緣,這些對立方鏡特征的識別測量造成了干擾。從圖3中容易看出,立方鏡棱邊邊緣與其他邊緣的主要特征區(qū)別在于:立方鏡棱邊直線程度明顯,而其他干擾邊緣為曲線。因此,可以直線檢測算法分析邊緣檢測結(jié)果中輪廓的直線程度,利用邊緣直線程度的不同將立方鏡棱邊對應(yīng)的邊緣提取出來。常用的直線檢測算法有最小二乘法、最小距離法、Radon 變換法及 Hough 變換法等[12]。
研究中,采用Hough變換法進(jìn)行直線檢測。Hough變換是將圖像的空間域變換到參數(shù)空問,使原圖上給定形狀的幾何曲線上的點(diǎn),經(jīng)過變換以后都集中到變換空間的某些位置,在變換空間上形成峰點(diǎn),通過檢測變換空間中的峰值點(diǎn),來找出原圖中給定形狀曲線的參數(shù)方程[13]。Hough變換將Descartes空間上滿足特定參數(shù)的數(shù)據(jù)在參數(shù)空間上以累加器的形式反映出來[14],對于區(qū)域邊界被噪聲干擾或因其他目標(biāo)引起邊界發(fā)生某些間斷的情況,具有很好的容錯性和魯棒性。
輪廓分析借助于Hough變換進(jìn)行,分析的主要任務(wù)是對每條輪廓包含的直線信息進(jìn)行分析統(tǒng)計,剔除直線特征不明顯的輪廓,得到立方鏡棱邊對應(yīng)的直線信息。輪廓分析的主要步驟如下:
1)對Canny邊緣檢測的結(jié)果圖像中每一條連續(xù)的輪廓,單獨(dú)進(jìn)行Hough直線檢測,為Hough直線檢測設(shè)定一個與直線特征強(qiáng)弱程度相關(guān)的閾值,高于該閾值的認(rèn)為是直線。
2)對相近位置處檢測到多條直線的情況,按直線偏角和位置進(jìn)行聚類,并對同類的直線求平均合并為1條直線。
輪廓按直線程度強(qiáng)弱的分類結(jié)果如圖4所示,紅色部分為直線特征明顯的輪廓,而藍(lán)色部分為直線特征不明顯的部分。可以看到,立方鏡棱邊對應(yīng)的輪廓很好地被區(qū)分出來,對應(yīng)的檢測到的直線如圖5所示。
圖4 輪廓按直線程度強(qiáng)弱的分類結(jié)果Fig.4 Result of edges classified by straightness
圖5 立方鏡輪廓直線檢測結(jié)果Fig.5 Result of straight-line features
由圖5可以看到,輪廓分析得到了立方鏡棱邊對應(yīng)的6條直線,包括3條橫線以及3條豎線。立方鏡角點(diǎn)位置可以通過對應(yīng)位置相交的直線求交點(diǎn)獲得,但得到的直線中任意兩條的交點(diǎn)不一定是立方鏡的角點(diǎn),例如圖5中最上方橫線與最左側(cè)豎線的交點(diǎn)實(shí)際并不在立方鏡上。因此,需要對檢測得到的直線按照角度及位置進(jìn)行聚類排序,而后根據(jù)先驗(yàn)知識獲取立方鏡實(shí)際角點(diǎn)在圖中對應(yīng)的配對相交直線,進(jìn)而求交點(diǎn)得到角點(diǎn)位置。
對直線聚類排序的步驟如下:
1)對所有直線按偏角進(jìn)行聚類,得到立方鏡平行棱邊對應(yīng)的兩組直線。以圖5為例,一組為“橫線”,即圖中接近橫向的3條直線歸為一類;另一組為 “豎線”,即圖中接近豎直的3條直線歸為一類。
2)對同類直線按截距進(jìn)行排序,并按順序編號。以圖5為例,“橫線”由上至下排序,“豎線”由右到左排序。
經(jīng)過直線的排序、求交點(diǎn)后的圖像結(jié)果如圖6所示。黃色直線為聚類得到的橫線,紅色直線為聚類得到的豎線。
圖6 立方鏡頂點(diǎn)計算結(jié)果Fig.6 Calculation result of vertices of the cubic prism
根據(jù)立方鏡頂點(diǎn)的位置,在兩類直線中找出在該點(diǎn)相交的直線,求出兩條直線的交點(diǎn)坐標(biāo)作為立方鏡頂點(diǎn)坐標(biāo)。以圖6為例,最上的橫線與最右的豎線求交點(diǎn)可以得到立方鏡右上后方的頂點(diǎn)坐標(biāo),第二條橫線與第二條豎線求交點(diǎn)可以得到立方鏡右上前方的頂點(diǎn)坐標(biāo)。
圖6中藍(lán)色的點(diǎn)標(biāo)記為通過直線排序、對應(yīng)、求交點(diǎn)得到的立方鏡頂點(diǎn),頂點(diǎn)在圖像中的像素坐標(biāo)如表1所示。
表1 立方鏡頂點(diǎn)的圖像坐標(biāo)Table 1 Image pixel coordinates of the vertices of the cubic prism
光電自準(zhǔn)直經(jīng)緯儀測量范圍較小,手動引導(dǎo)立方鏡進(jìn)入準(zhǔn)直儀視場的效率較低,通過單目視覺對立方鏡位姿進(jìn)行測量,可以自動引導(dǎo)立方鏡進(jìn)入準(zhǔn)直儀視場。本文面向單目視覺輔助光電準(zhǔn)直儀對立方鏡進(jìn)行準(zhǔn)直的需求,研究針對立方鏡圖像的數(shù)字圖像處理技術(shù)。
1)研究中采用Canny邊緣檢測方法得到灰度圖像中的邊緣信息,借助Hough變換按照直線程度的強(qiáng)弱對邊緣信息進(jìn)行分類提取,有效排除了不需要的邊緣,得到圖像中立方鏡棱邊對應(yīng)的邊緣及直線信息。進(jìn)一步按照偏角與截距對棱邊直線進(jìn)行分類排序,結(jié)合先驗(yàn)知識得到了立方鏡角點(diǎn)對應(yīng)的配對相交直線,對配對直線求交點(diǎn)最終得到了立方鏡角點(diǎn)在圖像中的位置。
2)研究得出的立方鏡處理方法實(shí)用有效,得到的立方鏡棱邊及角點(diǎn)信息為后續(xù)的立方鏡位姿計算提供了基礎(chǔ)數(shù)據(jù)。
[1]楊振,李廣云,范百興,等.多種互瞄條件下立方鏡準(zhǔn)直傳遞方法研究[J].宇航計測技術(shù), 2013,33(6):10-12.YANG Zhen, LI Guang-yun, FAN Bai-xing, et al.Cubic prism collimation vector delivery methods under various aiming conditions[J].Journal of Astronautic Metrology and Measurement, 2013, 33 (6): 10-12.
[2]Kumar H N S, Nataraju B S, Joseph P G, et al.Precise alignment of spacecraft antenna using theodolite based hardware and software interface[J].IETE Technical Review, 2003, 20 (5): 471-476.
[3]Marr D.Vision: a computational investigation into the human representation and processing of visual information[M].The MIT Press, 1982.
[4]王鵬,孫長庫,張子淼.單目視覺位姿測量的線性求解[J]. 儀器儀表學(xué)報, 2011, 32 (5): 1126-1131.WANG Peng, SUN Chang-ku, ZHANG Zi-miao.Linear pose estimation with a monocular vision system [J].Chinese Journal of Scientific Instrument, 2011, 32 (5):1126-1131.
[5]劉昶,朱楓,歐錦軍.基于三條相互垂直直線的單目位姿估計[J].模式識別與人工智能, 2012,25(5):737-744.LIU Chang, ZHU Feng, OU Jin-jun.Monocular pose determination from three perpendicular lines[J].Pattern Recognition and Artificial Intelligence, 2012, 25 (5):737-744.
[6]Roberts L G.Machine perception of three-dimensional solids[D].Massachusettes Institute of Technology, 1963.
[7]Sobel I.Camera models and machine perception[D].Stanford University,1970.
[8]Prewitt J M.Object enhancement and extraction[M].New York: Academic Press, 1970.
[9]Gonzalez R C.數(shù)字圖像處理 (第2版)[M]. 北京: 電子工業(yè)出版社,2003.Gonzalez R C.Digital image processing (2nd)[M].Beijing: Electronics Industry Press, 2003.
[10]Marr D, Hildreth E.Theory of edge detection[C].Proceedings of the Royal Society of London(Biological Sciences), 1980, 207 (1167): 187-217.
[11]Canny J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8 (6): 679-698.
[12]Xu L, Oja E.Randomized Hough transform (RHT):basic mechanism,algorithms,and computational complexities[J].CVGIP: Image Understanding, 1993, 57 (2):131-154.
[13]許強(qiáng),陳震,危水根.圖像序列直線提取和匹配時Hough變換的應(yīng)用研究[J].南昌航空工業(yè)學(xué)院學(xué)報(自然科學(xué)版), 2007, 21 (1): 43-47.
XU Qiang, CHEN Zhen, WEI Shui-gen.Application study of Hough transform when image array straight line is extracted and mating[J].Journal of Nanchang Hangkong University (Natural Sciences), 2007, 21 (1): 43-47.
[14]Jiang T Z.Ma S D.Geometric primitive extraction using tabu search[C].Proceedings of the 13thInternational Conference on Pattern Recognition, 1996: 266-279.