王金橋,段發(fā)階,伯 恩,劉博文,馮 帆

(天津大學(xué)精密測試技術(shù)及儀器國家重點(diǎn)實(shí)驗(yàn)室,天津 300072)

?

線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化標(biāo)定*

王金橋,段發(fā)階*,伯 恩,劉博文,馮 帆

(天津大學(xué)精密測試技術(shù)及儀器國家重點(diǎn)實(shí)驗(yàn)室,天津 300072)

為了精確快捷地標(biāo)定線結(jié)構(gòu)光掃描傳感器的結(jié)構(gòu)參數(shù),提出了一種線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化現(xiàn)場標(biāo)定的新方法,建立了線結(jié)構(gòu)光掃描傳感器的數(shù)學(xué)模型,根據(jù)張正友攝像機(jī)標(biāo)定思想結(jié)合L-M非線性優(yōu)化算法能快速精確地完成攝像機(jī)內(nèi)外參數(shù)的標(biāo)定,在此基礎(chǔ)上,引入輔助線激光,通過反復(fù)多次提取兩激光交點(diǎn)完成對線結(jié)構(gòu)光平面精確標(biāo)定。文章還介紹了如何獲取激光交點(diǎn)以及精確提取交點(diǎn)坐標(biāo)的方法,通過設(shè)計(jì)相關(guān)實(shí)驗(yàn)驗(yàn)證了本文方法的可行性,使系統(tǒng)精度優(yōu)于24 μm,能滿足實(shí)際測量要求。

線結(jié)構(gòu)光;攝像機(jī)標(biāo)定;光條中心提取;光平面標(biāo)定

隨著工業(yè)生產(chǎn)對非接觸式測量需求日益增加,對檢測的效率和精度也提出了越來來高的標(biāo)準(zhǔn)。線結(jié)構(gòu)光掃描測量是一種基于激光三角法的先進(jìn)的三維檢測技術(shù),它具有測量范圍廣、效率高、便于操作以及精度適中的優(yōu)點(diǎn),在工業(yè)測量領(lǐng)域中有著廣闊的應(yīng)用前景[1-2]。線結(jié)構(gòu)光掃描測量的核心技術(shù)就在于系統(tǒng)標(biāo)定算法的性能,其中主要包含三方面算法:攝像機(jī)內(nèi)外參數(shù)標(biāo)定算法、光條中心提取算法、線結(jié)構(gòu)光平面標(biāo)定算法。攝像機(jī)標(biāo)定是視覺測量的基礎(chǔ),常規(guī)的標(biāo)定算法已經(jīng)比較成熟,大部分研究集中在根據(jù)實(shí)際應(yīng)用場合不同而對現(xiàn)有標(biāo)定技術(shù)的改進(jìn)[3-4]。光條中心的提取算法根據(jù)系統(tǒng)設(shè)計(jì)參數(shù)的不同實(shí)際效果會有很大差異,要滿足線結(jié)構(gòu)光掃描系統(tǒng)實(shí)時在線測量的要求,同時又要保證較高的精度,對光條中心的提取算法就提出了更高的要求,目前大部分算法只能滿足速度和精度的其中一個方面,所以在現(xiàn)有技術(shù)基礎(chǔ)上加以整合改進(jìn)兼顧速度和精度,是線結(jié)構(gòu)光掃描測量必須解決的難題[5-6]。光平面標(biāo)定方法根據(jù)靶標(biāo)的不同分為三維標(biāo)定[7]和二維標(biāo)定[8]2種類型,三維標(biāo)定方法具有一定的精度,但由于三維靶標(biāo)制作成本和工藝要求較高,應(yīng)用場合受到一定限制;二維標(biāo)定方法的靶標(biāo)制作簡單、效率高,并且隨著二維標(biāo)定算法的不斷完善,標(biāo)定的精度也往往能滿足不同場合測量需要,有著廣泛的應(yīng)用前景。目前,國內(nèi)對這些算法的研究大多集中在對單一方面的某些性能的研究,綜合三方面算法而對系統(tǒng)標(biāo)定算法的研究較少[9-12]。

本文在此基礎(chǔ)上,根據(jù)實(shí)際測量要求,對線結(jié)構(gòu)光掃描測量系統(tǒng)各方面技術(shù)做了大量的研究測試,提出了一套能滿足線結(jié)構(gòu)光測量高標(biāo)準(zhǔn)的系統(tǒng)方案,并從原理和實(shí)驗(yàn)2個角度驗(yàn)證了系統(tǒng)標(biāo)定方法的高效和高精度的特性。文章在攝像機(jī)標(biāo)定上采用文獻(xiàn)[13]的思想結(jié)合LM非線性優(yōu)化算法有效標(biāo)定攝像機(jī)內(nèi)外參數(shù),利用文獻(xiàn)[8]中在光條中心提取時加入直線性約束結(jié)合文獻(xiàn)[14]的方法能快速準(zhǔn)確提取光條中心線,提出了基于二維棋盤格的光平面標(biāo)定方法,引入輔助激光,通過準(zhǔn)確提取雙激光條交點(diǎn)坐標(biāo)來精確標(biāo)定光平面在攝像機(jī)坐標(biāo)系下的方程。由于這三方面的算法是緊密相連的,要保證系統(tǒng)的整體精度必須確保各方面算法的精度,文章通過設(shè)計(jì)相關(guān)實(shí)驗(yàn)驗(yàn)證各算法的可行性,以及系統(tǒng)的整體精度。

圖1 線結(jié)構(gòu)光掃描傳感器工作原理

1 線結(jié)構(gòu)光掃描傳感器系統(tǒng)模型

在線結(jié)構(gòu)光視覺傳感器系統(tǒng)中,激光器將激光投射到平面標(biāo)定板上,形成一高亮激光條,通過提取光條中心,準(zhǔn)確獲取光條中心點(diǎn)在圖像坐標(biāo)系下的坐標(biāo),通過攝像機(jī)投影模型轉(zhuǎn)換到攝像機(jī)坐標(biāo)系下的坐標(biāo)。由于激光器與攝像機(jī)之間的空間位置關(guān)系是固定的,通過光平面標(biāo)定我們可以知道線結(jié)構(gòu)光平面在攝像機(jī)坐標(biāo)系下的平面方程,二維靶標(biāo)上的線結(jié)構(gòu)光條是激光平面與靶標(biāo)面的交線,結(jié)合光條中心點(diǎn)在攝像機(jī)坐標(biāo)下的坐標(biāo),從而獲取某一時刻光條中心線所在平面處在攝像機(jī)坐標(biāo)系下的坐標(biāo),當(dāng)傳感器以非固定的速率向一個方向移動時,線結(jié)構(gòu)光光條會掃描靶標(biāo)平面,同時攝像機(jī)以一定的采樣頻率獲取任意時刻光條中心所在靶標(biāo)位置,將攝像機(jī)采集到的各幀圖像光條中心位置拼合,形成離散化的點(diǎn)云數(shù)據(jù),再經(jīng)過適當(dāng)處理,從而實(shí)現(xiàn)了線結(jié)構(gòu)光視覺傳感器的掃描測量功能。圖1表示本文所設(shè)計(jì)的線結(jié)構(gòu)光視覺傳感器系統(tǒng)工作原理圖。

1.1 攝像機(jī)投影模型

(1)

(2)

(3)

(4)

如上所示,以P點(diǎn)為例,式(1)表示攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的投影轉(zhuǎn)換關(guān)系,即攝像機(jī)外部參數(shù)模型;式(2)表示像素坐標(biāo)系下的投影點(diǎn)p″與世界坐標(biāo)系轉(zhuǎn)換;式(3)表示攝像機(jī)內(nèi)部參數(shù)標(biāo)定模型;式(4)表示攝像機(jī)畸變模型。R、T分別是旋轉(zhuǎn)平移矩陣;s是比例因子,與攝像機(jī)相對靶標(biāo)位置有關(guān);fx、fy、u0、v0表示攝像機(jī)內(nèi)參;k1、k2表示攝像機(jī)徑向畸變系數(shù),p1、p2表示切向畸變系數(shù)。本文基于文獻(xiàn)[10]攝像機(jī)標(biāo)定方法,采用11×12的棋盤格作為標(biāo)定板,每個方格的尺寸為6 mm×6 mm,利用棋盤格角點(diǎn)作為特征點(diǎn),在不考慮畸變模型的情況下利用最小二乘法求解,再將包含畸變參數(shù)在內(nèi)的所有參數(shù)作為初始值放到LM非線性優(yōu)化算法中進(jìn)行優(yōu)化,得到最終的所有優(yōu)化解,算法中的目標(biāo)函數(shù)為:

(5)

其中:mij→(u,v);M→(xw,yw)。

1.2 線結(jié)構(gòu)光平面標(biāo)定

光平面標(biāo)定的模型參數(shù)主要包括攝像機(jī)內(nèi)部參數(shù)和光平面與攝像機(jī)之間的相對位置關(guān)系,在1.1中筆者已經(jīng)完成對攝像機(jī)內(nèi)參數(shù)的標(biāo)定,而光平面與攝像機(jī)之間的位置關(guān)系實(shí)際上是光平面在攝像機(jī)坐標(biāo)系下的方程,并設(shè)方程為:

zC=AxC+ByC+C

(6)

因此,要完成線結(jié)構(gòu)光平面的標(biāo)定只要確定系數(shù)A、B、C即可。從1.1中推理可知,式(1)和式(2)就是激光器光平面標(biāo)定的數(shù)學(xué)模型,通過這2個式子可以得到激光光條上的點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo),即要由(u,v)得到對應(yīng)的(XC,YC,ZC),雖然式(3)表示出了上面2種坐標(biāo)的轉(zhuǎn)換關(guān)系,但是對于比例系數(shù)s是未知的,所以我們需要(XW,YW)來做一個中間的轉(zhuǎn)換,即先由(u,v)根據(jù)式(2)得到(XW,YW),再由(XW,YW)根據(jù)式(1)得到(XC,YC,ZC)。

圖2 光平面標(biāo)定系統(tǒng)示意圖

為了使整個標(biāo)定過程盡可能簡便,筆者采用與攝像機(jī)標(biāo)定同時進(jìn)行,如上圖2所示,激光器Ⅰ與攝像機(jī)集成在測頭中,測頭與上位機(jī)相連可實(shí)時觀測圖像質(zhì)量,激光器Ⅱ可調(diào)整角度自由移動。通過引入輔助激光條Ⅱ與原激光條Ⅰ相交,精確提取交點(diǎn)坐標(biāo),保持靶標(biāo)位置不動,改變激光Ⅱ投射位置,反復(fù)進(jìn)行多次,這樣就可以獲得同一靶標(biāo)姿態(tài)下多個雙激光交點(diǎn)坐標(biāo),再改變一下靶標(biāo)位置,重復(fù)上述過程,這樣就獲得靶標(biāo)在不同姿態(tài)下的多組雙激光交點(diǎn)。

1.3 激光交點(diǎn)的精確提取

由以上分析可知,要保證光平面標(biāo)定精度,關(guān)鍵在于準(zhǔn)確獲取兩激光交點(diǎn)坐標(biāo),筆者采用先分別提取兩激光條的中心,擬合兩條直線方程,通過求解兩直線交點(diǎn)來獲取特征點(diǎn)坐標(biāo)。因此問題的關(guān)鍵在于如何精確提取光條中心。

目前國內(nèi)外學(xué)者提出的光條中心提取方法有很多,但結(jié)合筆者設(shè)計(jì)的線結(jié)構(gòu)光掃描測頭對測量速度和精度實(shí)際需要(速度50幀/s,精度優(yōu)于30 μm),并且考慮到系統(tǒng)在測量時受到環(huán)境光、材質(zhì)、背景色以及被掃描工件表面三維形貌調(diào)制影響,大部分算法不是提取精度不夠高就是響應(yīng)時間太長,不能滿足工程實(shí)際需要。本文采用文獻(xiàn)[8]中提出的在光條中心點(diǎn)鏈接階段加入直線性約束的思想,結(jié)合文獻(xiàn)[14]分別提取激光Ⅰ與激光Ⅱ的光條中心,擬合直線方程求交點(diǎn),從而獲得兩激光交點(diǎn)的精確坐標(biāo)值。如圖3所示,為實(shí)驗(yàn)過程中采集的不同角度激光交線圖樣。

值得注意的是,如果直接提取兩激光條中心,由于相互干擾且交點(diǎn)處誤差最大,這樣提取的交點(diǎn)坐標(biāo)誤差會非常大,所以筆者采用的方法是先求取激光條L1的中心線,然后關(guān)閉激光器Ⅰ,打開激光器Ⅱ,并求取激光條L2的中心線,計(jì)算兩條中心線的交點(diǎn)。如圖4是對圖3c姿態(tài)下分別提取的光條中心圖樣。

圖3 雙激光交點(diǎn)獲取

圖4 雙激光交點(diǎn)提取過程

2 實(shí)驗(yàn)部分

實(shí)驗(yàn)中,攝像機(jī)采用型號為MU3E200M(EGYYO)USB3.0工業(yè)相機(jī),像素分辨率1600x1200,像元尺寸4.5 μm×4.5 μm,鏡頭采用日本的Computer 8 mm鏡頭,激光器波長635 nm,功率5 mW。定制的11×12陶瓷棋盤格,每格標(biāo)準(zhǔn)長度6 mm,精度為1 μm,系統(tǒng)結(jié)構(gòu)如圖5所示。

圖5 系統(tǒng)實(shí)驗(yàn)

2.1 攝像機(jī)標(biāo)定

本文利用基于張正友標(biāo)定原理和L-M非線性優(yōu)化算法的方法標(biāo)定的攝像機(jī)內(nèi)外參數(shù)結(jié)果如表1所示,再結(jié)合式(4)完成對攝像機(jī)的畸變校正。

2.2 光平面標(biāo)定

按照上文所述的方法固定安裝好實(shí)驗(yàn)各部分,調(diào)整好實(shí)驗(yàn)裝置后,在不打開激光的情況下拍攝1幅棋盤圖像,保持各部分不動,根據(jù)上述已經(jīng)完成的攝像機(jī)標(biāo)定可以得到棋盤在攝像機(jī)坐標(biāo)系下的投影關(guān)系。打開激光器Ⅰ,利用本文算法獲取激光條L1的中心線,關(guān)閉激光器Ⅰ,打開激光器Ⅱ,同理獲取激光條L2的中心線,并計(jì)算兩中心線交點(diǎn)坐標(biāo),再調(diào)整激光器Ⅱ,得到一組交點(diǎn)坐標(biāo),再移動棋盤位置,重復(fù)以上步驟,最終獲取棋盤在12個位姿下的共計(jì)96個點(diǎn)的攝像機(jī)坐標(biāo)系下的坐標(biāo)。表2列出了其中一組數(shù)據(jù)分別在圖像坐標(biāo)系和攝像機(jī)坐標(biāo)系下的不同值。

表1 攝像機(jī)內(nèi)參數(shù)及畸變系數(shù)標(biāo)定結(jié)果

表2 標(biāo)定特征點(diǎn)在2個不同坐標(biāo)系下的坐標(biāo)值

圖6 光平面標(biāo)定結(jié)果分析

對獲取得到的96個點(diǎn)進(jìn)行平面擬合,得激光器光平面在攝像機(jī)坐標(biāo)系下的平面方程為:

zC=2.0975xC-0.0521yC+210.0125

圖6(a)為利用實(shí)測值擬合的激光平面,圖6(b)為所有特征點(diǎn)到擬合光平面上的距離,所有點(diǎn)到光平面的平均距離為0.026 mm,具有較高精度。

2.2 系統(tǒng)精度驗(yàn)證

為驗(yàn)證系統(tǒng)精度,設(shè)計(jì)如下實(shí)驗(yàn),基本原理是在光平面內(nèi)測量棋盤格的尺寸。通過攝像機(jī)獲取棋盤圖像并提取棋盤的所有角點(diǎn),根據(jù)每一行的角點(diǎn)的坐標(biāo)進(jìn)行直線擬合,如下圖中的Fit line 1。打開激光器,在棋盤上投射出一條激光光條出來,取激光光條上的一串點(diǎn)進(jìn)行光條直線擬合,如下圖中的Fit Laser center line。Fit Laser center line與Fit Line 1是垂直的,其垂直度可根據(jù)兩條直線的斜率來判斷。實(shí)驗(yàn)情況下計(jì)算的兩者的角度在89.76°,基本滿足垂直條件。計(jì)算Fit Laserline與Fit Line 1的交點(diǎn)A,同樣方法求出Fit Laserline與Fit Line 2的交點(diǎn)B,以此類推?？梢詮挠杀疚姆椒?biāo)定的攝像機(jī)直接讀出各點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo),再計(jì)算出AB、BC、CD…長度。棋盤格標(biāo)準(zhǔn)規(guī)格是6 mm(精度1μ),將實(shí)際測得的長度與標(biāo)準(zhǔn)長度比較。原理圖如下圖7所示:a表示實(shí)驗(yàn)原理示意圖,b為實(shí)際擬合出交點(diǎn)坐標(biāo)。

圖7 系統(tǒng)精度驗(yàn)證實(shí)驗(yàn)

在不同姿態(tài)下反復(fù)進(jìn)行10次試驗(yàn),試驗(yàn)結(jié)果統(tǒng)計(jì)如下表3所示。從表中可知,系統(tǒng)精度優(yōu)于24 μm。

表3 系統(tǒng)精度實(shí)驗(yàn)結(jié)果分析

3 總結(jié)

文章提出了一種線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化現(xiàn)場標(biāo)定的新方法,建立了線結(jié)構(gòu)光掃描傳感器的數(shù)學(xué)模型,根據(jù)張正友攝像機(jī)標(biāo)定思想結(jié)合LM優(yōu)化算法能快速精確地完成攝像機(jī)內(nèi)外參數(shù)的標(biāo)定,在此基礎(chǔ)上,引入輔助線激光,通過反復(fù)多次提取兩激光交點(diǎn)來實(shí)現(xiàn)線結(jié)構(gòu)光平面準(zhǔn)確標(biāo)定。本文綜合三方面算法完成線結(jié)構(gòu)光掃描傳感器結(jié)構(gòu)參數(shù)一體化標(biāo)定,并從實(shí)驗(yàn)的角度論證了算法的可行性,使系統(tǒng)精度優(yōu)于24 μm,能滿足實(shí)際測量要求。

[1] 孫長庫. 激光測量技術(shù)[M]. 天津:天津大學(xué)出版社,2008:155-156.

[2]Seokbae S,Hyunpung P,Kuanh H L. Automated Laser Scanning System for Reverse Engineering and Inspection[J]. International Journal of Machine Tools and Manufacture,2002,42(8):889-897.

[3]劉濤,賈剛,王宗義. 一種基于運(yùn)動的線結(jié)構(gòu)光視覺測量系統(tǒng)標(biāo)定方法[J]. 傳感技術(shù)學(xué)報(bào),2011,24(4):624-628.

[4]Jorge Santolaria,Juan-Jose Aguilar. A Crenellated-Target-Based Calibration Method for Laser Triangulation Sensors Integration in Articulated Measurement Arms[J]. Robotics and Computer-Integrated Manufacturing,2011,27:282-291.

[5]Zhou F,Zhang G. Complete Calibration of a Structured-Light Strip Vision Sensor Through Planar of Unknown Orientations[J]. Image and Vision Computing,2005,(23):59-67.

[6]Wu B,Xue T,Zhang T,et al. A Novel Method for Round Steel Measurement with a Multi-Line Structured Light Vision Sensor[J]. Measurement Science and Technology,2010,21(2):025204-025209.

[7]段發(fā)階,劉鳳梅,葉聲華. 一種新型線結(jié)構(gòu)光傳感器結(jié)構(gòu)參數(shù)標(biāo)定方法[J]. 儀器儀表學(xué)報(bào),2000. 21(1):108-110.

[8]劉震,張廣軍. 一種高精度線結(jié)構(gòu)光傳感器視覺傳感器現(xiàn)場標(biāo)定方法[J]. 光學(xué)學(xué)報(bào),2009,29(11):3124-3128.

[9]Nick Van Gestel,Steven Cuypers,Philip Bleys. A Performance Evaluation Test for Laser Line Scanner on CMMS[J]. Optical and Lasers in Engineering,2009,(47):336-342.

[10]吳慶華,何濤,史鐵林. 一種基于平面標(biāo)靶的線結(jié)構(gòu)光視覺傳感器標(biāo)定方法[J]. 光電子·激光,2013,24(2):297-301.

[11]許麗,張之江. 基于共面靶標(biāo)的結(jié)構(gòu)光標(biāo)定方法[J]. 光電子·激光,2009,20(8):1063-1069.

[12]張超,段發(fā)階,董宇青,等. 自動編程器視覺定位算法研究[J]. 傳感技術(shù)學(xué)報(bào),2011,24(3):382-385.

[13]Zhang Zhengyou. A Flexible New Technique for Camera Calibration[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[14]趙博華,王伯雄,楊博淙,等. 混合反射特性表面形貌測量中光刀條紋的提取方法[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,51(8):1084-1088.

王金橋(1989-),男,廣西桂林人,碩士研究生,主要研究方向?yàn)橛?jì)算機(jī)視覺檢測,jqw@tju.edu.cn;

段發(fā)階(1968-),男,湖南郴州人,博導(dǎo),教授,主要從事測試計(jì)量技術(shù)及儀器,激光測試技術(shù),計(jì)算機(jī)視覺檢測技術(shù)和光纖傳感技術(shù)等方面研究,fjduan@tju.edu.cn。

CalibrationofLineStructuredLightScanningSensorStructureParameterIntegration*

WANGJinqiao,DUANFajie*,BOEn,LIUBowen,FENGFan

(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)

In order to mark line structured light scanning sensor structure parameters accurately,this paper presents a new method for the integration structure parameters calibration of line structure light scanning sensor and establishes the mathematical model of line structured light scanning sensor. According to the Zhang Zhengyou camera calibration based L-M algorithm,this algorithm can complete the intrinsic and extrinsic parameters of the camera quickly and accurately. On this basis,author introduces auxiliary line laser and extracts two laser intersection to finish lines structure light plane calibration repeatedly. This paper also introduces the method of obtaining the laser point and accurately extracting the intersection point coordinate. Relevant experimental results verify the feasibility of this method. The system accuracy is better than 24 μm,meeting the requirement of actual measurement.

line structure light;calibration of camera;extraction of light center;calibration of light plane

項(xiàng)目來源:國家“863”計(jì)劃項(xiàng)目(2013AA102402);國家自然基金項(xiàng)目(51275349)

2014-06-06修改日期:2014-07-22

10.3969/j.issn.1004-1699.2014.09.009

TP391

:A

:1004-1699(2014)09-1196-06