馮 萍,劉 震

(北京航空航天大學(xué) 精密光機(jī)電一體化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,北京 100191)

舵面角度測量中結(jié)構(gòu)光光條圖像自動(dòng)定位方法

馮 萍*,劉 震

(北京航空航天大學(xué) 精密光機(jī)電一體化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,北京 100191)

本文提出了一種在舵面角度測量中多平面結(jié)構(gòu)光光條的自動(dòng)定位方法。該方法首先基于Steger方法提取舵面中多個(gè)平面的光條圖像中心；然后基于直線約束和距離約束提取出各小直線段，并根據(jù)各直線段的直線方向?qū)⒏餍≈本€段歸類為最后的光條直線；最后根據(jù)光條直線的位置判斷各光條直線所在光平面及所在舵平面。經(jīng)實(shí)驗(yàn)驗(yàn)證，本文方法切實(shí)有效，具有較高的魯棒性。

結(jié)構(gòu)光；光條圖像；角度測量；平面識(shí)別

1 引言

飛行器主要依靠舵面來控制飛行姿態(tài)。實(shí)時(shí)動(dòng)態(tài)測量舵面轉(zhuǎn)動(dòng)角度，對(duì)飛行器的研制和生產(chǎn)具有重要意義。

目前，飛行器舵面轉(zhuǎn)動(dòng)角度測量主要有兩種：第一種是采用人工手動(dòng)測量。該方法通過卡尺手動(dòng)測量舵面上標(biāo)記點(diǎn)的位置來計(jì)算舵面轉(zhuǎn)動(dòng)角，但該方法只能實(shí)現(xiàn)靜態(tài)角度測量，并存在人為誤差，測量精度差、效率低。第二種是依靠飛行器內(nèi)部的角位移傳感器。但由于舵機(jī)和舵面之間依靠機(jī)械傳動(dòng)裝置聯(lián)接，機(jī)械聯(lián)接裝置之間存在間隙，因此角位移傳感器測量舵面轉(zhuǎn)動(dòng)角度存在誤差。基于圖像的光學(xué)檢測技術(shù)［1-4］具有自動(dòng)化程度高、速度快、非接觸等優(yōu)點(diǎn)，可實(shí)現(xiàn)舵偏角度的動(dòng)態(tài)測量［5-9］。但由于被測舵面較復(fù)雜(由多個(gè)平面構(gòu)成)，給舵面光條圖像中光條直線的自動(dòng)提取帶來一定難度。在處理舵面光條圖像時(shí)，需要自動(dòng)區(qū)分不同平面上光條，確定中心平面區(qū)域內(nèi)的光條直線。

本文針對(duì)以上問題，提出一種舵面角度測量中多平面光條中心的自動(dòng)提取方法。該方法采用Steger方法［10］提取出舵面中多個(gè)平面的光條圖像中心，以直線約束和距離約束連接出小直線段，最后根據(jù)各直線段的直線方向?qū)⒏餍≈本€段歸類為多個(gè)光條直線，并判斷各光條直線所在光平面及所測舵面平面。

2 光條圖像中心點(diǎn)亞像素定位

為了保證舵面角度測量精度，舵面光條中心點(diǎn)的提取精度需要達(dá)到亞像素級(jí)。Steger博士提出了一種光條圖像中心快速提取方法，它首先利用Hessian矩陣確定圖像中線條中心的法線方向，再通過求解法線方向上的極值點(diǎn)得到線條邊緣的亞像素級(jí)位置，該算法具有很高精度。本文采用該方法提取光條圖像中光條中心點(diǎn)。

計(jì)算像素P的Hessian矩陣：

式中：rxx，rxy和ryy是二維圖像灰度函數(shù)I(x，y)的二階偏導(dǎo)數(shù)。

H(x，y)最大特征值對(duì)應(yīng)的特征向量表示光條的法線方向，用n(t)=(nx，ny)T表示。利用(x，y)作為參考點(diǎn)，則光條中心的亞像素坐標(biāo)(px，py)可以表示為：

如果-0.5≤tnx≤0.5，-0.5≤tny≤0.5，則一階導(dǎo)數(shù)為零的點(diǎn)位于當(dāng)前像素內(nèi)，且(nx，ny)T方向的二階方向?qū)?shù)大于指定的閾值，則認(rèn)為該點(diǎn)(px，py)為光條中心點(diǎn)。詳細(xì)算法可見文獻(xiàn)［5］。在實(shí)際使用中，卷積計(jì)算可以通過GPU實(shí)現(xiàn)，這會(huì)大大提高光條中心點(diǎn)的提取速度。

3 多平面光條直線連接

舵面圖像光條中心點(diǎn)主要包括多平面上光條中心點(diǎn)(如圖1中1)、背景的光條中心點(diǎn)(如圖1中2)、光條尾部虛假光條中心點(diǎn)(如圖1中3)。針對(duì)舵面圖像光條中心點(diǎn)特點(diǎn)，在光條中心點(diǎn)連接階段，加入直線性約束和方向性約束，用以去除虛假光條中心點(diǎn)，將滿足約束條件的光條中心點(diǎn)連接成小的光條直線段，再將同一條光條直線上的所有小的光條直線段連接在一起，以此提取出所需光條直線。

圖1 光條圖像中直線段分布示意圖Fig.1 Distribution diagram of stripes in the image

下面詳細(xì)介紹多平面光條直線的連接過程。

(1)直線性約束

光條圖像中舵平面上光條為直線，光條中心點(diǎn)的法線方向變化相對(duì)很小，加入直線約束可以將法線方向滿足一定條件的光條中心點(diǎn)連接在一起，剔除不滿足約束條件的光條中心點(diǎn)。光條中心點(diǎn)的線條法線方向是Hessain矩陣絕對(duì)值最大的特征值對(duì)應(yīng)的特征向量。首先在圖像中，由左至右、由上到下的順序依次搜索舵面光條圖像。以第一個(gè)光條中心點(diǎn)作為光條直線初始點(diǎn)，在該點(diǎn)鄰域內(nèi)搜索光條中心點(diǎn)。如果沒有光條中心點(diǎn)，重新搜索，繼續(xù)尋找下一個(gè)光條直線初始點(diǎn)。如果存在光條中心點(diǎn)，比較兩點(diǎn)法線方向，如果兩點(diǎn)法線方向夾角小于事先設(shè)定的閾值(實(shí)際使用中閾值設(shè)為0.1°)，則將該點(diǎn)設(shè)為光條直線連接點(diǎn)，再在光條直線連接點(diǎn)鄰域內(nèi)繼續(xù)搜索下一個(gè)光條直線連接點(diǎn)，直到在光條直線連接點(diǎn)鄰域沒有找到下一個(gè)連接點(diǎn)為止。

在直線連接中相鄰兩點(diǎn)需滿足兩個(gè)條件：

①兩點(diǎn)的線條法向方向夾角小于閾值；

②兩點(diǎn)之間距離小于閾值，在連接中如果出現(xiàn)多個(gè)候選點(diǎn)，距離光條直線連接點(diǎn)最近的點(diǎn)作為下一個(gè)光條直線連接點(diǎn)。

結(jié)束了一個(gè)直線段的連接后，繼續(xù)依次搜索圖像，尋找下一個(gè)光條直線初始點(diǎn)。重復(fù)以上步驟，直到完成整個(gè)圖像搜索。

圖2為通過直線約束提取光條直線的示意圖。直線段1和直線段2為不同平面上的光條直線。直線段2和直線段3為一個(gè)同一條直線，因?yàn)橹虚g有圖像缺陷，所以連接成2個(gè)小直線段，直線段2和直線段3。直線段4的連接過程顯示了直線約束對(duì)去除了虛假光條中心點(diǎn)的有效性。

圖2 直線約束后提取光條結(jié)果Fig.2 Extracted stripes after line constraints

(2)方向性約束

根據(jù)實(shí)際測量條件，各光條直線一般在一定范圍內(nèi)變化。完成直線連接后，根據(jù)經(jīng)驗(yàn)設(shè)定直線方向閾值，可將不滿足直線方向約束的光條去除，可有效去除背景光條。

(3)光條直線擬合

經(jīng)過直線性約束和方向約束后，舵面光條直線被分割為很多小的直線段。通過計(jì)算直線方程，將屬于一條直線的多個(gè)小直線段合并在一起。具體實(shí)現(xiàn)過程如下：

①擬合連接成的各直線段，確定直線段的直線方程，得到直線段的斜率k和截距b。

②選取直線段中點(diǎn)數(shù)最多的直線段為初始直線段。分別針對(duì)k、b設(shè)置兩閾值tk、tb。在其余直線段中選擇可以合并的直線段，該直線段的斜率kn和截距bn需滿足|kn-k＜tk|和|bn-b|＜tb。將2個(gè)直線段合并，重新計(jì)算k、b，再在剩余線段中尋找下一個(gè)可以合并的直線段，直到全部找完為止，這就完成了一個(gè)直線的合并工作。

③在剩余線段中再選擇一個(gè)點(diǎn)數(shù)最多的直線段作為下一個(gè)直線的初始直線段，再重復(fù)②的過程，直到擬合完全部的光條直線為止。

如圖3，直線段1和直線段3分別為光條直線1、2的初始直線段。直線段1、2擬合確定為光條直線1，直線段3、4擬合確定為光條直線2。

圖3 多平面光條直線擬合示意圖Fig.3 Multi-planar strip after linear fitting

4 光條直線所在光平面識(shí)別

統(tǒng)計(jì)在3節(jié)中各光條直線擬合后的光點(diǎn)數(shù)量，根據(jù)光點(diǎn)數(shù)量完成各光條直線排序，再根據(jù)激光光平面數(shù)量按照排序先后選取所需直線段。例如激光光平面有2個(gè)，舵面由2個(gè)平面構(gòu)成，則直接選取4個(gè)點(diǎn)數(shù)最多的光條線段，根據(jù)各直線段中心上下左右位置之間的關(guān)系確定光條所屬光平面及舵平面。如果舵平面由一個(gè)主要平面構(gòu)成，則直接選取2個(gè)點(diǎn)數(shù)最多的光條線段，根據(jù)光條中心的上下位置確定光條所屬光平面。

5 實(shí)驗(yàn)

為了驗(yàn)證本文算法的有效性，本文采用一個(gè)由2只激光器和一個(gè)攝像機(jī)構(gòu)成的激光視覺傳感器測量一個(gè)有2個(gè)平面的舵面的轉(zhuǎn)動(dòng)角度。激光視覺傳感器如圖4，其中攝像機(jī)為DH SV-1410FM CCD數(shù)碼攝像機(jī)，鏡頭為Computar TEC-M55焦闌鏡頭，激光器為兩只StockYale SNF-701L-660-35-30°單線激光器。

圖4 激光視覺傳感器Fig.4 Laser vision sensor

本實(shí)驗(yàn)的主要測量原理是：在舵面轉(zhuǎn)角中，根據(jù)視覺傳感器標(biāo)定結(jié)果，分別計(jì)算兩個(gè)平面上2個(gè)光條直線上各點(diǎn)在視覺傳感器坐標(biāo)系下的三維坐標(biāo)，再通過平面擬合計(jì)算2個(gè)平面在視覺傳感器坐標(biāo)系下的法向矢量，將2個(gè)平面法向矢量的矢量合定義為舵面在視覺傳感器坐標(biāo)系下的法向矢量，根據(jù)不同舵面位置的法向矢量計(jì)算舵面轉(zhuǎn)動(dòng)角度。具體舵面情況見圖5。

下面是采用文獻(xiàn)［11-12］中的標(biāo)定方法完成視覺傳感器標(biāo)定：

攝像機(jī)內(nèi)參標(biāo)定結(jié)果：

圖5 舵面上光條圖像處理結(jié)果圖Fig.5 Processing results of strip image on rudder planar

光平面標(biāo)定結(jié)果：

圖5(a)為拍攝的激光光條圖像，圖5(b)為提取的光條圖像中心點(diǎn)的圖像，圖5(c)為經(jīng)過直線擬合和定位的光條直線。由圖5可以看出該方法有效地分割出不同平面的光條直線，其中紅色為舵面左平面上的光條直線，黑色為舵面右平面上的光條直線。

激光視覺傳感器根據(jù)標(biāo)定結(jié)果計(jì)算不同光條直線的三維坐標(biāo)，并計(jì)算出舵面的法向矢量，進(jìn)而計(jì)算出舵面轉(zhuǎn)動(dòng)角度。在實(shí)驗(yàn)中，舵面在周期為6 s、幅值為30°的正弦轉(zhuǎn)動(dòng)，圖6和7分別為舵面舵控信號(hào)角度與測量的舵面轉(zhuǎn)動(dòng)角度的對(duì)比圖和偏差圖。由圖6和7中可以看出本文介紹的光條提取方法切實(shí)有效，通過將測量角度數(shù)據(jù)與控制角度數(shù)據(jù)進(jìn)行比對(duì)，得出系統(tǒng)角度測量的RMS誤差優(yōu)于0.1°。

圖6 舵面舵控信號(hào)角度與測量的舵面轉(zhuǎn)動(dòng)角度的對(duì)比結(jié)果Fig.6 Comparison results between control angle and measurement angle

6 結(jié)論

圖7 舵面舵控信號(hào)角度與測量的舵面轉(zhuǎn)動(dòng)角度的偏差圖Fig.7 Errors between control angle and measurement angle

本文針對(duì)不規(guī)則舵面上結(jié)構(gòu)光光條圖像定位困難問題，提出了一種結(jié)構(gòu)光光條圖像自動(dòng)定位方法。由于舵面不同平面之間角度很小，且舵面加工精度原因，舵面平面并不是嚴(yán)格平面，采用Hough變換方法無法分割出不同平面的直線段。本文方法采用Steger方法得到亞像素級(jí)的光條中心點(diǎn)及線條矢量方向。采用該矢量方向，通過比較不同點(diǎn)之間的矢量方向，去除直線中的噪聲點(diǎn)，將符合要求的直線段連接在一起，得到平面上的光條直線。該方法可以準(zhǔn)確、靈活的去除噪聲點(diǎn)、區(qū)分不同平面上的光條直線，提高角度測量精度。目前，本文方法已在多套視覺測量系統(tǒng)中得到應(yīng)用［8］。

［1］趙海麗，姜會(huì)林，王曉曼，等.空間光通信中高幀頻相機(jī)動(dòng)態(tài)調(diào)光技術(shù)研究［J］.液晶與顯示，2012，27(2)：267-270.

ZHAO H L，JIANG H L，WANG X M，et al..Dynamic light-adjusting technology of high frame frequency CCD camera in space optical communication system［J］.Chinese J.Liquid Crystals and Displays，2012，27(2)：267-270.(in Chinese)

［2］唐艷秋，張星祥，李新娥，等.基于人眼視覺灰度識(shí)別特性的圖像動(dòng)態(tài)范圍小波變換處理方法［J］.液晶與顯示，2012，27(3)：385-390.

TANG Y Q，ZHANG X X，LI X E，et al..Image processing method of dynamic range with wavelet transform based on human visual gray recognition characteristics［J］.Chinese J.Liquid Crystals and Displays，2012，27(3)：385-390.(in Chinese)

［3］馮小勇，趙忠華，劉新明.日間恒星實(shí)時(shí)探測的視頻圖像處理［J］.中國光學(xué)，2011，4(6)：622-628.

FENG X Y，ZHAO ZH H，LIU X M.Video image processing of real-time star detection in day light［J］.Chinese Optics，2011，4(6)：622-628.(in Chinese)

［4］馬慶坤，喬彥峰，王曉明，等.基于光學(xué)測量手段實(shí)時(shí)動(dòng)態(tài)測量船體水平姿態(tài)［J］.中國光學(xué)，2012，5(2)：189-193.

MA Q K，QIAO Y F，WANG X M，et al..Real-time measurement of dynamic horizontal attitudes of ships based on optical method［J］.Chinese Optics，2012，5(2)：189-193.(in Chinese)

［5］金占雷，劉雪峰.多目標(biāo)探測的擺鏡動(dòng)態(tài)角位置測量方法［J］.光學(xué)與光電技術(shù)，2012，10(1)：18-21.

JIN ZH L，LIU X F.Dynamic angle measurement method for swing mirror based on multi-targets detection［J］.Optics Optoelectronic Technology，2012，10(1)：18-21.(in Chinese)

［6］張廣軍，劉震，魏振忠，等.基于線結(jié)構(gòu)光的四通道舵偏角同步動(dòng)態(tài)測量系統(tǒng)［J］.儀器儀表學(xué)報(bào)，2010，31(8)：1910-1915.

ZHANG G J，LIU ZH，WEI ZH ZH，et al..Four-channel synchronous dynamic measurement system for elevator angles based on line structured light［J］.Chinese J.Scientific Instrument，2010，31(8)：1910-1915.

［7］李磊剛，梁晉，唐正宗，等.飛機(jī)結(jié)構(gòu)件運(yùn)動(dòng)數(shù)據(jù)的動(dòng)態(tài)視覺測量系統(tǒng)［J］.光學(xué)精密工程，2012，20(9)：1929-1938.

LI L G，LIANG J，TANG ZH Z，et al..Optical and dynamic measuring system for movement data of aircraft structural parts［J］.Opt.Precision Eng.，2012，20(9)：1929-1938..

［8］胡浩，梁晉，唐正宗，等.數(shù)字圖像相關(guān)法測量金屬薄板焊接的全場變形［J］.光學(xué)精密工程，2012，20(7)：1636-1644.

HU H，LIANG J，TANG ZH Z，et al..Measurement of full-field deformations in metal sheet welding processes by image correlation method［J］.Opt.Precision Eng，，2012，20(7)：1636-1644.(in Chinese)

［9］胡文川，裘祖榮，張國雄.大尺寸空間異面直線夾角的檢測［J］.光學(xué)精密工程，2012，20(7)：1427-1433.

HU W C，QIU Z R，ZHANG G X.Measurement of large-scale space angle formed by non-uniplanar lines［J］.Opt.Precision Eng.，2012，20(7)：1427-1433.(in Chinese)

［10］STEGER C.An unbiased detctor of curvilinear structures［J］.IEEE，1998，20(2)：113-125.

［11］ZHANG Z Y.A flexible new technique for camera calibration［J］.IEEE，2000，22(11)：1330-1334.

［12］ZHOU F Q，ZHANG G J.Complete calibration of a structured light stripe vision sensor through planar target of unknown orientations［J］.Image and Vision Computing，2005，23：59-67.

Automatic localization method of the multi-planar strip in rudder angle measurement

FENG Ping*，LIU Zhen
(Key Laboratory of Precision Opto-mechatronics Technology，Ministry of Education，Beijing University of Aeronautics&Astronautics，Beijing 100191，China)

An automatic localization method of light strips in multi-planar structures is proposed in order to solve the problem that it is difficult to distinguish light strip regions of irregular surface in rudder angular measurement based on the vision system of line-structured light.Firstly，the sub-pixel centers of curvilinear structures are extracted by Steger algorithm.Secondly，pieces of line segments are detected and labeled using line constraints and distance constraints to calculate the distances and orientations of points.Finally，different planes are located according to light strips positions.Experimental results show that the presented method is convenient and effective.

structured light；strip image；angle measurement；planar recognition

TP391

A

10.3788/CO.20140706.0911

2095-1531(2014)06-0911-06

馮 萍(1982—)，女，山東青島人，碩士，助理實(shí)驗(yàn)師，2009年于北京科技大學(xué)獲得碩士學(xué)位，主要從事精密測量及實(shí)驗(yàn)方面的研究。E-mail：fengping@buaa.edu.cn

劉 震(1975—)，男，遼寧沈陽人，博士，講師，2010年于北京航空航天大學(xué)獲得博士學(xué)位，主要從事光電檢測及計(jì)算機(jī)視覺方面的研究。E-mail：liuzhen008@buaa.edu.cn

2014-08-17；

2014-10-19

國家自然科學(xué)基金資助項(xiàng)目(No.51175027)；北京市自然科學(xué)基金資助項(xiàng)目(No.3132029)

*Corresponding author，E-mail：fengping@buaa.edu.cn