佘彩云, 胡賢洪, 唐 坤
(上海無線電設(shè)備研究所,上海200090)
空間交會對接測量技術(shù)是指兩航天器在空間交會對接時,采用測量敏感器對相對位置和相對姿態(tài)進行測量及其他相關(guān)的技術(shù)[1]。兩飛行器在距離較近時,相對于雷達和其他方法,采用光學成像和圖像信息處理的方法,識別和跟蹤性能好,且能夠反近距射頻干擾。通常,逼近段目標位置姿態(tài)的估計主要由光學成像敏感器完成[2-3]。
本文介紹了一種對近距離目標實現(xiàn)快速定位的多目視覺測距系統(tǒng)設(shè)計。系統(tǒng)硬件采用低成本、小型化、低功耗的CMOS傳感器實現(xiàn)數(shù)據(jù)采集,采用低功耗的高性能信號處理器完成圖像處理與目標位置的精確測量。
系統(tǒng)由三個攝像頭模塊組成,采用了共線構(gòu)型的布局,任意兩個攝像頭模塊都可以組成一個雙目視覺系統(tǒng)。相比于雙目視覺系統(tǒng),由三個攝像頭組成的多目視覺系統(tǒng)很好地解決了測量精度與測量范圍之間的矛盾。
雙目視覺測距原理是利用目標在成像平面之間投影位置的不同,解算深度信息或三維坐標。
圖1 雙目立體成像示意圖
圖1為平視雙目立體成像原理圖[5],左攝像機坐標系為OC1X1Y1Z1,圖像坐標系為O1U1V1;右攝像機坐標系為OC2X2Y2Z2,圖像坐標系為O2U2V2。左攝像機光心OC1和右攝像機光心OC2的連線距離即為基線b,兩個攝像機的焦距為f??臻g點P 在左圖像和右圖像中投影坐標分別為(u1,v1)和(u2,v2),P1和P2為空間點P 的匹配點對。
假定兩攝像機的圖像在同一平面上,由三角幾何關(guān)系可得
式中:(x,y,z)為點P 在左攝像機坐標系中的坐標;b為基線距;f 為兩個攝像機的焦距。
視差為某一點在兩幅圖像中相應(yīng)點的位置差,可表示為
由式(1)和式(2),可導出空間某點P 在左攝像機坐標系中的坐標
由此可見,只需找出同一空間點在左、右圖像中對應(yīng)的匹配點對,即可得到目標的位置信息。
由上節(jié)的模型分析可知,利用雙目視覺原理進行測距的關(guān)鍵就是求出兩匹配點對的坐標信息[4]。系統(tǒng)設(shè)計采用基于Harris算子的角點檢測算法提取特征點[6],采用灰度相關(guān)匹配法進行特征點匹配。
(1)基于Harris算子的角點檢測算法
基于Harris 算子的角點檢測法包括三個步驟。
步驟1:對灰度圖像上的每個像素點計算其在橫向和縱向的一階導數(shù)及兩者的乘積。對應(yīng)值分別為gx、gy和gxgy,其中g(shù)x為x 方向的梯度,gy為y 方向的梯度。
步驟2:對灰度圖像上的每個像素點進行高斯濾波得到Harris自相關(guān)矩陣。矩陣表達式為
式中:G(ˉs)為高斯濾波模板;?為卷積符號。
步驟3:計算每個像素點的興趣值R。興趣值表達式為
式中:det(M)表示矩陣M 的行列式;k 為權(quán)值系數(shù),取值0.04~0.06;trace(M)表示矩陣M 的跡。
設(shè)M 具有 特征值r1、r2,當r1和r2都很大,對應(yīng)像素點為角點,對應(yīng)Harris算子的興趣值R值大。因此篩選出函數(shù)R 的局部極大值點所對應(yīng)的像素點即為Harris角點。
(2)灰度相關(guān)匹配法
相關(guān)匹配法通過計算特征點周圍像素的相似度來計算匹配度,當兩像素相似度最大且大于設(shè)定的閾值則認為兩特征點匹配?;叶认嚓P(guān)函數(shù)表達式為
式中:A 為以左圖像中的特征點為中心的m×n區(qū)域的灰度窗口;A-為窗口A 內(nèi)的灰度均值;B 為以右圖像的特征點為中心的m×n區(qū)域的灰度窗口;B-為窗口B 內(nèi)的灰度均值。
窗口完全相似時,相關(guān)分數(shù)值為1,本系統(tǒng)將相關(guān)分數(shù)閾值設(shè)為0.9,即大于0.9 的點被認為是候選匹配點。此外,利用圖像匹配約束條件可以提高匹配的速度和準確性。雙目視覺特征匹配的主要約束條件:
a)極線約束,左圖像上的任一點,在右圖像上的對應(yīng)點只可能位于一條特定的被稱為極線的直線上;
b)唯一性約束,左圖像上的一個特征點只與右圖像的特征點唯一對應(yīng);
c)位置約束,左圖像上的特征點必須位于右圖像上特征點的右邊,即右圖像上的特征點的橫坐標必須小于左圖像上的特征點的橫坐標。
系統(tǒng)硬件主要由CMOS光電傳感器、高速可讀寫存儲器SRAM、基于數(shù)字信號處理器DSP和現(xiàn)場可編程門陣列FPGA 構(gòu)成。
CMOS光電傳感器實現(xiàn)對圖像進行感應(yīng)并轉(zhuǎn)化為數(shù)字信號;FPGA 負責圖像數(shù)據(jù)的采集、預處理、存儲以及與其它模塊的通信;DSP 為主控芯片,負責圖像處理算法和三維信息計算,以及對存儲和通信模塊的控制。系統(tǒng)框圖如圖2所示。
圖2 系統(tǒng)框圖
在雙目視覺系統(tǒng)中,當攝像頭的視角范圍固定時,攝像頭之間基線越長,測量的精度越高,但盲區(qū)越大。為了兼顧測量精度與測量范圍,系統(tǒng)設(shè)計采用左、中、右三個攝像頭,并采用共線構(gòu)型的攝像頭模塊布局。
為了提高測量精度,左、右兩攝像頭基線設(shè)計為結(jié)構(gòu)小型化允許最大尺寸100mm。為了保證左、中攝像頭的視場重疊盡可能大,同時考慮攝像頭模塊的體積大小,左、中兩攝像頭基線設(shè)計為30mm。目標為邊長不大于150 mm 的立方體,位于左、中兩個攝像頭的正前方,左、右兩個攝像頭組成的雙目視覺系統(tǒng)只能獲取到與基線的距離大于458mm 的目標整體輪廓。因此,系統(tǒng)設(shè)計在目標距離基線500mm 以上時,左、右兩個攝像頭工作;目標距離基線100mm~500mm 時,左、中兩個攝像頭工作。
如圖3所示,目標距離攝像頭基線100 mm時,左、右兩個攝像頭不能獲取目標的共同邊沿特征,也無法在左、右攝像頭視場重疊部分利用目標的特征點進行測距。但此時采用左、中攝像頭工作,能夠利用兩個攝像頭視場重疊部分的目標特征點進行測距。
相比于雙目視覺系統(tǒng),由三個攝像頭組成的多目視覺系統(tǒng)有三個優(yōu)勢:
a)增加特征點匹配的約束條件;
b)擴大測量范圍;
c)提高測量精度。
圖3 多目視覺系統(tǒng)的作用范圍示意圖
視頻數(shù)據(jù)采集模塊為系統(tǒng)提供原始視頻數(shù)據(jù),主要由三個攝像頭模塊組成。每個攝像頭模塊包括一個鏡頭和一個CMOS 圖像傳感器MT9D112。MT9D112是由Micron公司生產(chǎn)的一款1/4英寸、200萬像素的CMOS圖像傳感器,集成自動聚焦和光學變焦、片內(nèi)10位ADC 以及兩線串行的控制接口。
整個系統(tǒng)級芯片SoC 可以在低照度條件下具備卓越的性能,同時功耗較低。FPGA 通過I2C 總線對三個攝像頭模塊的輸出格式、縮放大小和特殊效果進行控制,三個攝像頭模塊分別輸出10位數(shù)字信號Dout、隨路時鐘PIXCLK 以及對應(yīng)的同步信號FRAME_VALID 和LINE_VALID,實現(xiàn)圖像數(shù)據(jù)的采集功能。
多目視覺三維測距系統(tǒng)的工作過程由DSP芯片主控。DSP 對當前存儲的兩個攝像頭圖像數(shù)據(jù)進行獲取、分析處理,計算出當前目標的距離,并進行分析,選擇下一次需要進行圖像存儲的兩個攝像頭,以便FPGA 對這兩個攝像頭的圖像數(shù)據(jù)進行存儲。
測距控制流程圖如圖4所示。
圖4 測距控制示意圖
多目視覺三維測距系統(tǒng)與主控計算機間采用422接口全雙工通訊方式。共采用兩個422接口:一個422接口的通訊內(nèi)容為系統(tǒng)發(fā)送給主控計算機的測量數(shù)據(jù)幀,包括相對位置、相對角度、方位角、高低角、攝像日期和時間;另一個422接口的通訊內(nèi)容為系統(tǒng)發(fā)送給主控計算機的圖像數(shù)據(jù)幀。為了減少通信接口的數(shù)據(jù)傳輸量,系統(tǒng)設(shè)計先對圖像數(shù)據(jù)進行壓縮,數(shù)據(jù)傳輸完成后,再在主控計算機上恢復圖像。該系統(tǒng)的圖像數(shù)據(jù)壓縮率為1/64,有效地減少了數(shù)據(jù)傳輸量。
在室內(nèi)布置一個黑背景,將邊長為150 mm的立方體置于多目視覺三維測距系統(tǒng)前,目標與背景如圖5所示。
圖5 目標與背景實物圖
由近及遠多次改變目標距離進行測試。實驗測量結(jié)果如表1所示。測試表明,該測距系統(tǒng)在近距離測量目標時,能夠準確測量出目標位置信息。
表1 距離測量結(jié)果
本文介紹了一種基于CMOS視覺傳感器、現(xiàn)場可編程門陣列FPGA 和DSP 信號處理器的多目視覺三維測距系統(tǒng)的設(shè)計。設(shè)計和研制結(jié)果表明,該系統(tǒng)具有體積小、重量輕、功耗小等優(yōu)點。靜態(tài)實物測距試驗表明,系統(tǒng)具有較高的測距精度,能夠滿足航天器對空間非合作目標的相對位置測量要求,對航天器的在軌實時測距,具有應(yīng)用價值。
[1] 任行行.空間交會接近視覺測量方法研究[D].哈爾濱:哈爾濱工業(yè)大學,2008.
[2] 高雷.交會對接逼近階段飛行器空中位置和姿態(tài)的視覺測量[D].長沙:國防科技大學,2010.
[3] 岳曉奎.基于Rodrigues參數(shù)的視覺相對位姿確定算法[J].宇航學報,2010,32(1).
[4] 邱河波.基于DSP 的移動機器人雙目視覺技術(shù)研究[D].成都:電子科技大學,2013.
[5] 劉凱.非合作目標視覺測量方法研究及系統(tǒng)實現(xiàn)[D].西安:西安電子科技大學,2011.
[6] 于浛.非合作航天器雙目視覺位姿估計算法研究[D].哈爾濱:哈爾濱工業(yè)大學,2011.