姚海濱,姜 濤,崔海華,卞新光
(1.揚(yáng)州市職業(yè)大學(xué)電氣與汽車工程學(xué)院, 江蘇 揚(yáng)州 225009)(2.南京航空航天大學(xué)機(jī)電學(xué)院,江蘇 南京 210016)
零件的三維尺寸測(cè)量技術(shù)是數(shù)字化設(shè)計(jì)制造、工業(yè)自動(dòng)化的關(guān)鍵基礎(chǔ)技術(shù)之一[1]。隨著制造水平的提高,零件為滿足功能性需求通常具有特殊結(jié)構(gòu),且精度要求高,這為零件的尺寸檢測(cè)和質(zhì)量評(píng)估帶來(lái)了挑戰(zhàn)。蝶形彈簧[2]是一種特殊的彈簧,由沖壓、淬火、噴丸或噴砂等多道工序制造而成,具有極強(qiáng)的吸震能力,尤其適用于軸向變形量小而承受載荷大的場(chǎng)合,在航空航天器、大型機(jī)床等設(shè)備中應(yīng)用廣泛。但是,受到復(fù)雜制造工序的影響,蝶形彈簧的廢品率非常高。成批生產(chǎn)的蝶形彈簧必須檢測(cè)合格才能使用,迫使部分廠家將大量的人力成本投入到尺寸檢測(cè)中,但較低的檢測(cè)效率對(duì)自動(dòng)化尺寸檢測(cè)提出了需求。
雙目視覺(jué)三維測(cè)量技術(shù)是一種基于計(jì)算機(jī)視覺(jué)方法的非接觸式測(cè)量技術(shù),其利用雙目工業(yè)CCD(charge coupled device,電荷耦合器件)相機(jī)動(dòng)態(tài)獲取零件的圖像數(shù)據(jù),通過(guò)特征提取與立體匹配獲得零件的三維信息[3-4]。但是當(dāng)前雙目視覺(jué)測(cè)量中還存在不少需要改進(jìn)的地方,特別是在特征提取和立體匹配的精度方面依舊有很大的提升空間。在圓、角點(diǎn)、直線等特征檢測(cè)方面,張虎等[5]利用Harris算子提取工件表面特征,但該方法精度較低;李亮等[6]提出了用于圓筒形鍛件在線測(cè)量的方法,該方法可以實(shí)現(xiàn)鍛件長(zhǎng)度和直徑的測(cè)量,但是不能用于精度要求高的場(chǎng)合,并且在復(fù)雜背景下提取精度不高;Gadelmawla[7-8]提出了一種重建齒輪輪廓的雙目視覺(jué)方法,該方法的關(guān)鍵是在對(duì)圖像閾值化之后進(jìn)行邊緣檢測(cè),這也使得閾值的選擇對(duì)測(cè)量精度影響較大,導(dǎo)致系統(tǒng)整體魯棒性差。
本文分別從蝶形彈簧結(jié)構(gòu)及測(cè)量原理、蝶形彈簧圖像特征提取及匹配、測(cè)量實(shí)驗(yàn)及結(jié)果分析3個(gè)方面介紹蝶形彈簧尺寸測(cè)量的過(guò)程,以此證明采用本文的方法能夠顯著提升測(cè)量精度,滿足自動(dòng)化生產(chǎn)的要求。
圖1為DIN 2093—2013(GB/T 1972—2005)規(guī)格的蝶形彈簧零件圖,需要檢測(cè)的尺寸參數(shù)包括內(nèi)徑、外徑和高度。視覺(jué)測(cè)量系統(tǒng)包括以下組成部分:雙目CCD相機(jī)、高功率LED(light emitting diode,發(fā)光二極管)光源、漫反射毛玻璃、千兆數(shù)據(jù)傳輸網(wǎng)線、交換機(jī)、圓形標(biāo)志點(diǎn)。毛玻璃上粘貼有圓形標(biāo)記點(diǎn),將蝶形彈簧放置在毛玻璃上,雙目相機(jī)實(shí)時(shí)采集圖像數(shù)據(jù),通過(guò)數(shù)據(jù)傳輸網(wǎng)線和交換機(jī)傳輸?shù)接?jì)算機(jī)。在計(jì)算機(jī)上編寫(xiě)基于MFC(Microsoft foundation classes,微軟基礎(chǔ)類庫(kù))的對(duì)話框界面,實(shí)時(shí)處理圖像數(shù)據(jù)并顯示測(cè)量結(jié)果。
圖2為本系統(tǒng)實(shí)現(xiàn)蝶形彈簧三維重建的原理圖。在測(cè)量平面上粘貼標(biāo)志點(diǎn),分別提取標(biāo)志點(diǎn)圓心和蝶形彈簧上頂圓圓心,實(shí)現(xiàn)三維重建和尺寸計(jì)算。
圖1 蝶形彈簧示意圖
圖2 測(cè)量系統(tǒng)原理圖
雙目視覺(jué)測(cè)量的基本原理是視差原理,即空間一點(diǎn)在雙目圖像投影點(diǎn)存在視差,利用鏡頭小孔成像原理便可以計(jì)算出物體三維特征??臻g一點(diǎn)PW(XW,YW,ZW)成像在左右圖像平面中的點(diǎn)分別為p1(x1,y1)和pr(xr,yr),左右相機(jī)內(nèi)參矩陣分別為K1和Kr,世界坐標(biāo)系原點(diǎn)在左相機(jī)光心,左右相機(jī)坐標(biāo)系旋轉(zhuǎn)平移矩陣M1r=[R|t],其中R=(rij)3×3,t=(tx,ty,tz)T,則有:
p1=K1PW
(1)
pr=KrPW=K1M1rPW
(2)
將式(1)、(2)展開(kāi)并根據(jù)矩陣運(yùn)算可以求解出點(diǎn)PW的世界坐標(biāo):
(3)
式中:tx為旋轉(zhuǎn)矩陣在X方向上的平移距離;tz為旋轉(zhuǎn)矩陣在Z方向上的平移距離;A=(x1-u1)/f1,B=(y1-v1)/f1,C=(xr-ur)/fr,其中(u1,v1)和(ur,vr)為左右圖像主點(diǎn)坐標(biāo),f1為左相機(jī)的焦距,fr為右相機(jī)的焦距。
蝶形彈簧內(nèi)外徑測(cè)量原理如下:先從圖像中提取蝶形彈簧上下圓的圖像特征,獲得像素坐標(biāo),然后用像素坐標(biāo)擬合橢圓,根據(jù)二次曲線成像變換的不變性,可以判定橢圓長(zhǎng)軸即為蝶形彈簧的直徑。
蝶形彈簧高度測(cè)量原理如下:在本系統(tǒng)中,用雙目視覺(jué)先重建出圓形標(biāo)志點(diǎn),再利用標(biāo)志點(diǎn)擬合測(cè)量平面。假設(shè)測(cè)量平面π方程為PX=1,其中P為三維點(diǎn)集合,標(biāo)記點(diǎn)空間坐標(biāo)為Pi(Xi,Yi,Zi),X=(x1,x2,x3)為系數(shù)矩陣,同時(shí)為平面法向量。根據(jù)最小二乘原理可得X=(PTP)-1PT。蝶形彈簧放置在測(cè)量平面上,若測(cè)得彈簧上頂圓圓心三維坐標(biāo)為P0(x0,y0,z0),則彈簧的高度H為
(4)
式中:δ為在法線方向的補(bǔ)償量,用于補(bǔ)償因圓形標(biāo)記點(diǎn)的厚度造成的高度偏差。
在測(cè)量橢圓內(nèi)外徑時(shí),需要利用彈簧輪廓擬合橢圓,因而邊緣檢測(cè)是影響測(cè)量精度的主要因素之一。相機(jī)采集的圖像為8位灰度圖像,256個(gè)灰度級(jí),采用背光照射后,背景接近白色,而彈簧上頂圓接近黑色,彈簧側(cè)面為灰度過(guò)渡,采用閾值化處理會(huì)造成邊緣的擴(kuò)大或縮小。本文利用機(jī)器學(xué)習(xí)中聚類的思想,將彈簧圖像按照灰度聚為3類,即Ci(i=1,2,3),再進(jìn)行邊緣檢測(cè)。K均值聚類目標(biāo)函數(shù)如下:
(5)
4)重復(fù)步驟2),遍歷所有像素點(diǎn)后結(jié)束程序。
受到圖像噪聲影響,灰度聚類后并不能完全分割出蝶形彈簧的邊緣,進(jìn)一步將灰度梯度作為聚類對(duì)象,將其聚類成兩類:黑色向灰度過(guò)渡類S1、灰度向白色過(guò)渡類S2。判定彈簧邊緣的依據(jù)為:屬于C1∩S1的像素為碟簧上邊緣;屬于(C2∩S1)∪(C2∩S2)的像素為碟簧側(cè)面;屬于C3∩S2的像素為碟簧下邊緣。
獲得左右圖像輪廓點(diǎn)后需要進(jìn)行對(duì)應(yīng)輪廓匹配,計(jì)算視差并進(jìn)行三維重建,由于蝶形彈簧為橢圓,僅利用極線約束匹配會(huì)產(chǎn)生一對(duì)多和多對(duì)一匹配錯(cuò)誤。本文提出基于特征模板的輪廓匹配方法,自主構(gòu)建立體匹配點(diǎn)。為輪廓特征建立描述向量D={i∈N|di},其中d1為輪廓包圍面積;d2為輪廓長(zhǎng)度;d3為輪廓主方向向量,為二維向量;d4為輪廓主方向極限點(diǎn),為二維坐標(biāo)點(diǎn);d5為輪廓Hu矩,為7維向量;d6為輪廓形心,為二維坐標(biāo)點(diǎn)。設(shè)定輪廓特征向量閾值ε,若‖D1-Dr‖2≤ε,則判定左右輪廓為相同輪廓,其中方向向量不要求一致,只需要偏轉(zhuǎn)方向同為順時(shí)針或逆時(shí)針。
為重建輪廓邊緣,在輪廓線上主動(dòng)設(shè)定匹配點(diǎn)。設(shè)左圖像匹配點(diǎn)集為pi,輪廓形心e坐標(biāo)為(xe,ye),則
pi=e+eki
(6)
式中:ki為形心e到點(diǎn)pi的方向向量。輪廓完全匹配后,主方向向量d3已知,設(shè)定偏角為Δθ,則可根據(jù)主方向向量求解主動(dòng)添加點(diǎn)的方向向量ki=d3cos(iΔθ),i每次循環(huán)加1,即可獲得新點(diǎn)的方向約束,加上新點(diǎn)作為增加的約束條件,此條件必須滿足在檢測(cè)的輪廓上的點(diǎn)數(shù)據(jù),便可以求出所有匹配點(diǎn)坐標(biāo)。對(duì)左右圖像做相同處理,即可獲得立體匹配點(diǎn)。
在實(shí)驗(yàn)中,工業(yè)相機(jī)型號(hào)為IMAGESOURCE DMK23G455,系統(tǒng)搭建在支撐架上。圓形標(biāo)志點(diǎn)直徑為3mm,蝶形彈簧標(biāo)準(zhǔn)尺寸為內(nèi)徑16.42mm、外徑31.35mm、高度2.80mm。系統(tǒng)搭建完成后,調(diào)整好相機(jī)位置,使用平面圓標(biāo)定靶標(biāo)進(jìn)行系統(tǒng)標(biāo)定。測(cè)量系統(tǒng)硬件平臺(tái)如圖3所示。
圖3 測(cè)量系統(tǒng)實(shí)物圖
本文采集圖像后,利用均值濾波和高斯濾波濾除椒鹽噪聲和高斯噪聲,然后采用K均值聚類算法進(jìn)行灰度聚類,圖像處理結(jié)果如圖4所示。
圖4 K均值聚類圖像處理
圖4(b)為利用K均值聚類方法獲得的三類灰度空間,與原圖比較可以看出,聚類結(jié)果將蝶形彈簧上頂圓與灰度側(cè)面分割出來(lái),使圖像邊緣更加接近真實(shí)邊緣。圖4(c)是灰度直方圖統(tǒng)計(jì)結(jié)果,可以看出,三維灰度空間區(qū)分明顯,聚類效果較好。對(duì)左右圖像均進(jìn)行灰度聚類處理,然后利用Canny算子進(jìn)行邊緣檢測(cè)即可獲得清晰輪廓。對(duì)邊緣輪廓擬合二次曲線,并根據(jù)輪廓特征描述向量生成主動(dòng)匹配點(diǎn),處理結(jié)果如圖5所示。
圖5 左右圖像匹配點(diǎn)獲取
聚類分析后利用Canny算子求解邊緣輪廓,計(jì)算輪廓的特征描述向量后進(jìn)行匹配即可生成一系列空間匹配點(diǎn)。立體匹配完成后,利用雙目視差原理可重建蝶形彈簧輪廓點(diǎn)。根據(jù)蝶形彈簧的測(cè)量原理,橢圓長(zhǎng)軸即為蝶形彈簧的直徑,頂圓的圓心到測(cè)量平面的距離為彈簧的高度。
開(kāi)發(fā)基于MFC的測(cè)量界面,調(diào)用相機(jī)采集的圖像數(shù)據(jù)(設(shè)置幀率為30幀/s),每次采集后即進(jìn)行三維重建和尺寸計(jì)算,根據(jù)蝶形彈簧的尺寸標(biāo)準(zhǔn)和公差許用范圍判定尺寸是否合格。軟件界面和測(cè)量結(jié)果如圖6和表1所示。
圖6 基于MFC蝶形彈簧測(cè)量系統(tǒng)界面
表1 蝶形彈簧尺寸測(cè)量結(jié)果
由表1可以看出,測(cè)量系統(tǒng)的尺寸精度較高,最大誤差不超過(guò)0.02mm,且動(dòng)態(tài)測(cè)量穩(wěn)定性高,適用于在線檢測(cè)和自動(dòng)化測(cè)量。
蝶形彈簧的三維尺寸采用人工通規(guī)和止規(guī)的方式測(cè)量,效率低,人力成本高。而本文提出的基于雙目CCD相機(jī)的蝶形彈簧三維尺寸測(cè)量系統(tǒng),不僅提高了蝶形彈簧輪廓的提取精度,還降低了雙目錯(cuò)誤匹配率,可為蝶形彈簧自動(dòng)化測(cè)量提供解決方案。