張　鈞　盧莉莎　田金文

(華中科技大學(xué)自動(dòng)化學(xué)院　武漢　430074)

基于激光斑標(biāo)定的圓柱面上缺陷尺寸測(cè)量

張鈞盧莉莎田金文

(華中科技大學(xué)自動(dòng)化學(xué)院武漢430074)

摘要在視頻測(cè)量檢查的實(shí)際運(yùn)用中,通常被檢測(cè)缺陷位于圓柱面上而非平面。為滿足測(cè)量缺陷的精度要求,論文根據(jù)在視頻檢測(cè)設(shè)備上安裝的激光槍打在缺陷檢查面上的圖像信息和其實(shí)際的安裝位置,構(gòu)建了相機(jī)標(biāo)定模型。并沿過(guò)圓柱體中心線的平面剖開圓柱面,將對(duì)缺陷的測(cè)量由三維空間轉(zhuǎn)化到二維空間,從而在平面上求解出缺陷的最小矩形包絡(luò)。文章還針對(duì)帶缺陷的測(cè)量試板對(duì)該模型進(jìn)行結(jié)果驗(yàn)證,實(shí)驗(yàn)表明利用文中所構(gòu)建的模型所測(cè)量缺陷的結(jié)果滿足規(guī)定范圍的精度要求。

關(guān)鍵詞視頻測(cè)量; 圓柱面; 激光槍; 相機(jī)標(biāo)定; 測(cè)量缺陷

Class NumberTP391

1引言

在視頻測(cè)量檢查的實(shí)際應(yīng)用中,傳統(tǒng)的視頻檢查設(shè)備和技術(shù)只能夠清晰檢查出設(shè)備的缺陷,但對(duì)于缺陷的尺寸卻無(wú)法精確測(cè)量。為此,在視頻檢查設(shè)備上安裝激光槍,根據(jù)拍攝的激光槍打在缺陷檢查面上的圖像信息[1]和其實(shí)際安裝位置可以構(gòu)建相機(jī)標(biāo)定[2～5]模型;再通過(guò)一些常用的邊緣提取方法,如:Canny[6],LiveWire[7～8]等在圖像上提取缺陷輪廓;利用構(gòu)建的相機(jī)標(biāo)定模型可以解算出圖像上缺陷的實(shí)際大小。然而在很多實(shí)際情況下,要測(cè)量的缺陷位于圓柱面上,如大型壓力容器罐壁,而不是平面。若將大型壓力容器罐壁近似簡(jiǎn)化為平面來(lái)完成這一測(cè)量過(guò)程,往往滿足不了對(duì)測(cè)量精度的要求。故本文提出了一種基于激光斑標(biāo)定的圓柱面上缺陷尺寸測(cè)量的方法,直接根據(jù)實(shí)際的被檢測(cè)圓柱面構(gòu)建相機(jī)定標(biāo)模型,再沿過(guò)圓柱體中心線所在的平面剖開圓柱面構(gòu)建測(cè)量模型,從而實(shí)現(xiàn)對(duì)圓柱面上缺陷的測(cè)量。

2相機(jī)標(biāo)定

相機(jī)標(biāo)定[2～5]的實(shí)質(zhì)是構(gòu)建世界坐標(biāo)系和像平面坐標(biāo)系之間的關(guān)系模型,其中涉及到三維空間中的場(chǎng)景在二維相機(jī)圖像平面上的成像過(guò)程。下面以實(shí)際視頻測(cè)量應(yīng)用中的空間模型介紹一下像平面坐標(biāo)系,像空坐標(biāo)系和世界坐標(biāo)系之間的關(guān)系。

2.1像平面坐標(biāo)系與像空坐標(biāo)系

以圖像中的第0行第0列的像素所在的位置為原點(diǎn)O1,圖像中列增加的方向?yàn)閁軸正向,圖像中行增加的方向?yàn)閂軸正向可構(gòu)建如圖1所示的以像素為單位的像平面坐標(biāo)系O1-UV,且設(shè)相機(jī)光軸和成像面的交點(diǎn)(圖像的主點(diǎn))在該坐標(biāo)系中的像素坐標(biāo)為(u0,v0);以圖像的主點(diǎn)為原點(diǎn)O,圖像中列增加的方向?yàn)閄軸正向,圖像中行增加的方向?yàn)閅軸正向可構(gòu)建如圖1所示的以毫米為單位的像平面坐標(biāo)系O-XY。

對(duì)像平面坐標(biāo)系O-XY中的任意一點(diǎn)P的坐標(biāo)為(x,y),其對(duì)應(yīng)在像平面坐標(biāo)系O1-UV中的坐標(biāo)為(u,v),則

x=(u-u0)gu

y=(v-v0)gv

(1)

其中,gu和gv分別表示相機(jī)的水平格網(wǎng)間距和豎直格網(wǎng)間距(格網(wǎng)間距表示圖像上1個(gè)像素所對(duì)應(yīng)的物理距離,即單位為毫米/像素)

以相機(jī)光心為原點(diǎn)Oc,圖像中列增加的方向?yàn)閄c軸正向,圖像中行增加的方向?yàn)閅c軸正向,相機(jī)光軸上由原點(diǎn)指向被檢面的方向?yàn)閆c軸正向可構(gòu)建如圖2所示的以毫米為單位像空坐標(biāo)系Oc-XcYcZc。

圖1　像平面坐標(biāo)系

圖2　像空坐標(biāo)系

假設(shè)圖像上的點(diǎn)P在像空坐標(biāo)系中的坐標(biāo)為(xc,yc,zc)T,因在實(shí)際應(yīng)用中都采用針孔成像模型作為相機(jī)成像模型,則

(2)

其中,f為相機(jī)焦距。

由式(1),式(2)可得

(3)

式(3)給出了物點(diǎn)P在像空坐標(biāo)系中的坐標(biāo)和物點(diǎn)P所對(duì)應(yīng)像點(diǎn)的像素坐標(biāo)之間的變換公式。

2.2像平面坐標(biāo)系與世界坐標(biāo)系

在拍攝圖像的過(guò)程中可以調(diào)整相機(jī)的姿態(tài),為簡(jiǎn)化模型,調(diào)整相機(jī)姿態(tài),使相機(jī)光軸與被檢測(cè)圓柱面切平面的法向量平行。故可建立與像空坐標(biāo)系重合的以毫米為單位世界坐標(biāo)系Ow-XwYwZw。

· 當(dāng)相機(jī)位于圓柱體內(nèi),圓柱面在物理坐標(biāo)系Ow-XwYwZw中的方程為

[Zw-(d-r)]2+Xw2=r2

(4)

此時(shí)

(5)

其中,r為待檢測(cè)圓柱體的半徑,d為被檢弧面到相機(jī)光心的距離。

· 當(dāng)相機(jī)位于圓柱體外,圓柱面在物理坐標(biāo)系Ow-XwYwZw中的方程為

[Zw-(d+r)]2+Xw2=r2

(6)

此時(shí)

(7)

其中,r為待檢測(cè)圓柱體的半徑,d為被檢弧面到相機(jī)光心的距離。

下面僅以被檢面為圓柱面內(nèi)側(cè)進(jìn)行討論,設(shè)圖像上的被檢面上的點(diǎn)P在世界坐標(biāo)系中的坐標(biāo)為(xw,yw,zw)T,因世界坐標(biāo)系與像空坐標(biāo)系重合,則由式(3)和式(5)可得

(8)

(9)

式(8)和式(9)分別給出了物點(diǎn)P在世界坐標(biāo)系中的坐標(biāo)和物點(diǎn)P所對(duì)應(yīng)像點(diǎn)的像素坐標(biāo)之間的相互變換公式。

3缺陷測(cè)量

3.1像平面坐標(biāo)系與測(cè)量坐標(biāo)系

由式(9)可將圖像上提取缺陷的像素坐標(biāo)轉(zhuǎn)化為其在物理空間中的實(shí)際位置,而由于這些缺陷位于圓柱面上,可將對(duì)缺陷的測(cè)量轉(zhuǎn)換到圓柱體的測(cè)量坐標(biāo)系Om-XmYmZm中,為方便測(cè)量坐標(biāo)系和世界坐標(biāo)系中的坐標(biāo)轉(zhuǎn)換按如圖3所示方式構(gòu)建測(cè)量坐標(biāo)系。

圖3　圓柱面測(cè)量坐標(biāo)系示意圖

其中,Om為相機(jī)光軸與圓柱中心軸的交點(diǎn),Xm軸正向,Ym軸正向,Zm軸正向分別與世界坐標(biāo)系Ow-XwYwZw中Xw軸正向,Yw軸正向,Zw軸正向相同。

則

(10)

由式(9)和式(10)可以得到物點(diǎn)在測(cè)量坐標(biāo)系中的坐標(biāo)和物點(diǎn)所對(duì)應(yīng)像點(diǎn)的像素坐標(biāo)之間的如下變換公式:

(11)

3.2測(cè)量坐標(biāo)系三維到二維的轉(zhuǎn)換

在實(shí)際應(yīng)用中,往往需要測(cè)量缺陷的最小矩形包絡(luò),而在圓柱面上完成這一測(cè)量過(guò)程比較困難?？赏ㄟ^(guò)將圓柱面沿過(guò)其中心線的平面剖開,將對(duì)缺陷的測(cè)量由三維空間轉(zhuǎn)化為二維空間。

圖4　坐標(biāo)系XtOtYt示意圖

假設(shè)圓柱面上任意一點(diǎn)的坐標(biāo)為(xm1,ym1,zm1)T,將該圓柱面沿平面YmOmZm剖開會(huì)得到一平面,針對(duì)該平面創(chuàng)建如圖4所示的坐標(biāo)系XtOtYt。

假設(shè)圓柱面上的點(diǎn)在創(chuàng)建的平面坐標(biāo)系XtOtYt中的坐標(biāo)為(xt1,yt1),則有如下的坐標(biāo)轉(zhuǎn)換關(guān)系:

yt1=ym1

(12)

3.3缺陷測(cè)量步驟

由上面的公式推導(dǎo)可得如下缺陷測(cè)量的步驟:

1) 已知參數(shù)d,r;

2) 已知第i個(gè)激光槍的物理安裝位置(xwi,ywi,0)T;

3) 利用單個(gè)閉環(huán)反饋方法提取第i個(gè)激光光斑中心所對(duì)應(yīng)的像點(diǎn)的像素坐標(biāo)(ui,vi);

4) 根據(jù)激光槍的物理安裝位置(xwi,ywi,0)T計(jì)算第i個(gè)激光光斑在圓柱面上的物理坐標(biāo)(xwi,ywi,zwi)T;

5) 根據(jù)(ui,vi)和(xwi,ywi,zwi)T,結(jié)合式(8)求解參數(shù)f/gu,f/gv;

6) 利用Canny算法提取圖像中的缺陷邊緣,再結(jié)合式(11)將缺陷邊緣在像平面坐標(biāo)系中的像素坐標(biāo)轉(zhuǎn)化為其在測(cè)量坐標(biāo)系中的坐標(biāo)。

7) 利用式(12)將被檢圓柱面上缺陷區(qū)域的外輪廓點(diǎn)上的物理坐標(biāo)信息轉(zhuǎn)換為平面坐標(biāo)系XtOtYt中的信息來(lái)獲得缺陷區(qū)域的二維物理尺度測(cè)量。

4實(shí)驗(yàn)結(jié)果

利用安裝有四個(gè)激光槍的相機(jī)對(duì)如圖5所示的外徑為497.5mm的測(cè)量試板上的缺陷進(jìn)行測(cè)量。

圖5　測(cè)量試板缺陷示意圖

圖6　激光槍安裝示意圖

其中缺陷1和缺陷2的尺寸分別為28.5*1.3,1.2*28.5(單位:mm)。

四個(gè)激光槍的安裝位置如圖6所示。

按照缺陷測(cè)量的步驟對(duì)測(cè)試試板上的缺陷進(jìn)行測(cè)量,下面以當(dāng)相機(jī)與測(cè)試試板之間的距離為300mm時(shí)的情況為例進(jìn)行說(shuō)明。

1) 獲取含缺陷的圖像信息如圖7;

圖7　含缺陷的圖像

2) 提取圖像上的激光光斑如圖8,并計(jì)算其像素坐標(biāo)見圖9;

圖8　提取激光光斑后的結(jié)果圖像

圖9　提取激光光斑的像素坐標(biāo)

3) 根據(jù)激光光斑的像素坐標(biāo)及激光槍安裝的位置坐標(biāo)確定相機(jī)標(biāo)定模型參數(shù);

4) 利用Canny或LiveWire算法提取測(cè)量試板上的缺陷輪廓見圖10;

圖10　提取缺陷輪廓后的結(jié)果圖像

5) 利用測(cè)量模型分別計(jì)算出缺陷1,缺陷2的最小矩形包絡(luò)。

圖11　缺陷的最小矩形包絡(luò)

調(diào)整相機(jī)與測(cè)量試板之間的距離,使其分別為400mm,500mm,按照如上的測(cè)量步驟對(duì)測(cè)量試板上的缺陷進(jìn)行測(cè)量,測(cè)量結(jié)果如表1所示。

表1　缺陷測(cè)量結(jié)果(單位:mm)

因缺陷1和缺陷2的實(shí)際尺寸分別為28.5*1.3,1.2*28.5(單位:mm),由表1可得如表2所示的測(cè)量結(jié)果誤差表。

表2　缺陷測(cè)量誤差(單位:mm)

5結(jié)語(yǔ)

為了滿足在視頻測(cè)量檢查的實(shí)際應(yīng)用中,對(duì)壓力容器罐壁上缺陷測(cè)量的精度要求,本文提出了一種基于激光光斑標(biāo)定的圓柱面上缺陷尺寸測(cè)量的方法。首先利用安裝激光槍的相機(jī)獲取含缺陷的圖像,再提取激光槍打在待檢測(cè)圓柱面上激光光斑在圖像中的像素坐標(biāo),由此可以根據(jù)拍攝的激光槍打在缺陷檢查面上的圖像信息和其實(shí)際安裝位置構(gòu)建相機(jī)標(biāo)定模型;然后通過(guò)一些常用的邊緣提取方法在圖像上提取缺陷輪廓,再利用所構(gòu)建的相機(jī)標(biāo)定模型和測(cè)量模型測(cè)量出缺陷的最小矩形包絡(luò);最后通過(guò)測(cè)量測(cè)量試板上的缺陷尺寸對(duì)本文提出方法的正確性進(jìn)行了驗(yàn)證,實(shí)驗(yàn)結(jié)果表明采用文中提出的方法,當(dāng)缺陷尺寸小于1.5mm時(shí),測(cè)量精度為0.2mm;當(dāng)缺陷尺寸大于25mm時(shí),測(cè)量精度為1.0mm。

參 考 文 獻(xiàn)

[1] Jun Zhang, Dandan Tian, Xiaomao Liu, et al. Laser beam based calibration[C]//Proc. SPIE 8004, MIPPR 2011: Pattern Recognition and Computer Vision, 80040T (December 02, 2011).

[2] 馬頌德,張正友.計(jì)算機(jī)視覺(jué)[M].北京:科學(xué)出版社,1997:46-49.

MA Songde, ZHANG Zhengyou. Computer Vision[M]. Beijing: Science Press,1997:46-49.

[3] 張廣軍.機(jī)器視覺(jué)[M].北京:科學(xué)出版社,2006:103-104.

ZHANG Guangjun. Machine Vision[M]. Beijing: Science Press,2006:103-104.

[4] 胡國(guó)元,何平安,等.視覺(jué)測(cè)量中的相機(jī)標(biāo)定問(wèn)題[J].光學(xué)與光電技術(shù),2004(3):9-12.

HU Guoyuan, HE Pingan, et al. Camera calibration problem in visual measurement[J]. Optics and Optoelectronic Technology,2004(3):9-12.

[5] 吳文琪,孫增圻.機(jī)器視覺(jué)中的攝像機(jī)定標(biāo)方法綜述[J].計(jì)算機(jī)應(yīng)用研究,2004(2):4-6.

WU Wenqi, SUN Zengqi. A survey of camera calibration methods in machine vision[J]. Computer Application Research,2004(2):4-6.

[6] Canny J. A computational approach to edge detection[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[7] Jianwu Dang, Fang Zhang. Research and improvement of Live-Wire interactive algorithm for medical image segmentation[J]. Application Reasearch of Computers,2008,25(8):915-917.

[8] Jun Zhang, Rong Yang, Xiaomao Liu, et al. Livewire based single still image Segmentation[C]//Proc. SPIE. 8002, MIPPR 2011: Multispectral Image Acquisition, Processing, and Analysis, 80021M. (November 20, 2011).

Defect Measurement on Cylinder Based on Laser Beam Calibration

ZHANG JunLU LishaTIAN Jinwen

(School of Automation, Huazhong University of Science and Technology, Wuhan430074)

AbstractIn practical application of the video measurement, the defect is usually located on the cylinder instead of the plane. To satisfy accuracy requirements, camera calibration model is constructed, using image, with laser spots in defect inspection surface, and installation positions of laser guns. Then, cylindrical surface along its center line is spilted, transforming defect measurement from three-dimensional space to two-dimensional space, and defects’ smallest rectangle envelopes in the place is solved. In addition, using test plate with defects verified model. The result indicates that defect measurement can meet accuracy requirements through this method.

Key Wordsvideo measurement, cylinder, laser, camera calibration, defect measurement

收稿日期:2015年12月12日,修回日期:2016年1月24日

作者簡(jiǎn)介:張鈞,男,博士,副教授,研究方向:機(jī)器視覺(jué)與機(jī)器學(xué)習(xí)。盧莉莎,女,碩士,研究方向:計(jì)算機(jī)視覺(jué)與模式識(shí)別。田金文,男,博士,教授,研究方向:遙感圖像信息處理。

中圖分類號(hào)TP391

DOI:10.3969/j.issn.1672-9722.2016.06.037