游秋香， 趙棋唯， 諶永祥， 李永橋

(1．西南科技大學(xué) 制造科學(xué)與工程學(xué)院,四川 綿陽 621010；2．西南科技大學(xué)城市學(xué)院,四川 綿陽 621010)

0 引 言

隨著現(xiàn)代工業(yè)的飛速發(fā)展，鉚接工藝是先進(jìn)制造業(yè)的一個重要環(huán)節(jié)。在民用企業(yè)中，對于大尺寸鈑金件多采用具有自動出釘?shù)牧⑹姐T釘機(jī)進(jìn)行人工鉚接，這種操作方式自動化程度低、穩(wěn)定性差、生產(chǎn)率低?；诠I(yè)機(jī)器人和十字滑臺設(shè)計的小型半自動送料裝置[1]，實現(xiàn)了送料過程的自動化，成為目前研究的熱點。

現(xiàn)有薄板鉚接孔定位不具備實時性，需要人輸入薄板孔位置到控制程序中，進(jìn)行運(yùn)動路徑規(guī)劃。雙目立體視覺技術(shù)具有非接觸、測量速度快、精度高、自動化程度高、結(jié)構(gòu)簡單等優(yōu)點，被廣泛應(yīng)用于國內(nèi)外各個行業(yè)，如焊接焊縫缺陷檢測、大型農(nóng)機(jī)熱鍛件尺寸測量、醫(yī)療機(jī)器人手術(shù)定位導(dǎo)航[2]、農(nóng)作物識別、魚苗生長尺寸測量[3]等。

基于雙目視覺的鉚釘機(jī)自動鉚接，主要是配合小型半自動送料裝置和立式鉚釘機(jī)，用兩臺同型號的相機(jī)獲取代加工薄板的圖像后，采用形態(tài)學(xué)算子去噪平滑圖像和Hough變換[4]提取薄板邊緣，根據(jù)薄板形狀與環(huán)境的差異分割出薄板，通過計算孔位圓近似比提取圓心坐標(biāo)?；凇盎亍弊中问降奈恢眉s束匹配，實現(xiàn)了特征點匹配，所提出的方法為高精度坐標(biāo)為自動鉚接奠定了基礎(chǔ)。

1 雙目視覺原理

雙目立體視覺技術(shù)[5]基于視差原理，用兩臺同型號的攝像機(jī)模擬人眼在同一時間不同方位對同一個目標(biāo)分別獲取圖像信息，計算兩幅圖像間對應(yīng)像素點的位置偏差來獲取目標(biāo)物體的三維空間信息。

圖1 平行雙目視覺原理

圖1為理想的平行雙目視覺原理模型，圖中兩攝像機(jī)的內(nèi)參一樣，焦距為f，基矩B為兩個攝像機(jī)光心的間矩，兩攝像機(jī)光軸平行并與像平面的交點為OL,OR，左右兩像平面重合。空間中一點P(x,y,z)在兩攝像機(jī)的像平面的投影為PL(XL,YL),PR(XR,YR)。由透視變換幾何關(guān)系可知點P,PL,PR之間的數(shù)學(xué)關(guān)系如下

(1)

從式(1)中可以看出PL,PR兩點只在橫坐標(biāo)存在視差D=XL-XR，由此可知P點的三維坐標(biāo)為

(2)

因此，根據(jù)雙目立體視覺原理可知，兩攝像機(jī)內(nèi)參一致，一臺攝像機(jī)像平面上的任意一點只要能在另一臺攝像機(jī)像平面上找到匹配點，就能確定該點的空間坐標(biāo)。

2 鉚釘薄板圖像處理算法

2.1 薄板區(qū)域的提取

兩臺同型號的像機(jī)獲取的左右圖像受到外界環(huán)境的噪音干擾，不能直接用于薄板孔心定位，需要先對兩幅圖像進(jìn)行濾波、去噪、灰度化、二值化等預(yù)處理。

分析獲取的圖像及薄板自身的特點可知：1)薄板與背景亮度差異較大，采用閾值的方法將獲取兩幅圖像轉(zhuǎn)換為具有完整薄板信息的二值圖;2)薄板區(qū)域連通性好，對獲取的二值圖取反并采用形態(tài)學(xué)填充空洞和膨脹處理，能使薄板信息更詳細(xì)，用Canny邊緣提取算子獲取薄板輪廓信息;3)鉚釘薄板形狀為矩形，根據(jù)四條邊的直線特性，采用Hough變換檢測邊緣的直線特征，結(jié)合薄板是由規(guī)則四條邊圍成的區(qū)域的線性約束條件，可將薄板從復(fù)雜的背景中分割出來，為圓心的提取做準(zhǔn)備。根據(jù)上述方法對左右兩幅圖處理結(jié)果圖2所示。

圖2 薄板區(qū)域分割結(jié)果

2.2 目標(biāo)孔區(qū)域提取

1)形態(tài)學(xué)運(yùn)算消除干擾。從圖2(b)和圖2(d)可以發(fā)現(xiàn)提取的薄板區(qū)域圖中有不屬于目標(biāo)圓孔特征的干擾信息，需要進(jìn)一步去噪。遍歷薄板分割圖，計算所有8連通區(qū)域的像素值，記為Ia(a=1，2…，b)，代入式(3)中，將滿足的連通區(qū)域灰度值置為與背景一致，則消除了干擾信息

(3)

2)目標(biāo)孔區(qū)域面積及周長計算。計算目標(biāo)孔區(qū)域內(nèi)各個像素的8鄰域，若領(lǐng)域內(nèi)像素值均為1，則權(quán)值為1，對權(quán)值求和即為目標(biāo)孔區(qū)域的面積，記為Sn(n為目標(biāo)孔個數(shù)，n=1，2…，m)。采用差分法求各個目標(biāo)孔區(qū)域周長，即計算每個目標(biāo)孔區(qū)域邊界的相鄰兩像素的距離，累加距離求和，記為Cn(n為目標(biāo)孔個數(shù)，n=1,2…，m)。

3)計算目標(biāo)孔區(qū)域的圓度，判斷是否為圓形。將Sn,Cn代入式(4)，計算目標(biāo)孔的圓度Tn

(4)

根據(jù)Tn值是否大于0.92判定目標(biāo)孔是否滿足圓的要求，保存滿足目標(biāo)孔，結(jié)果如圖3所示。

圖3 目標(biāo)孔區(qū)域圓度與質(zhì)心

2.3 獲取圓孔心坐標(biāo)

圓孔中心的提取主要分為橢圓擬合法[6,7]和質(zhì)心法[8,9]。由于獲取的目標(biāo)圖像中目標(biāo)圓孔只是類似于橢圓，采用橢圓擬合法時會造成中心偏移，不能滿足工業(yè)要求，故采用質(zhì)心法獲取圓孔心坐標(biāo)。質(zhì)心法包括傳統(tǒng)質(zhì)心算法、加權(quán)質(zhì)心算法、閾值質(zhì)心算法以及距離質(zhì)心算法，由于獲取的薄板二值圖已將目標(biāo)孔與背景完全分離，且目標(biāo)孔邊緣清晰完整，故采用傳統(tǒng)質(zhì)心法。

傳統(tǒng)質(zhì)心算法[10]獲取圓孔心的坐標(biāo)，是先對連通區(qū)域內(nèi)各個像素點對應(yīng)灰度值求面積，再求和，最后在該連通區(qū)域內(nèi)作面積平均。在圖像坐標(biāo)中，一個柵格代表一個像元，一個像元的寬度、高度分別對應(yīng)x軸、y軸的單位坐標(biāo)。令xi=i，yi=j，其中i=0,1,…，j=0,1,…；可知第i行第j列像元坐標(biāo)為(xi,yj)，灰度值為I(xi,yj)，則質(zhì)心可以表示為

(5)

(6)

如圖3所示，用上述方法對左右兩幅圖獲取的目標(biāo)孔質(zhì)心用黑色“.”表示。

3 特征點匹配

立體匹配[11,12]是對空間一點，求在同一時刻、同一位置由左右相機(jī)獲取的兩幅圖片中的對應(yīng)點，并進(jìn)一步求得視差圖。本文是對鉚接板件孔中心點的三維重建，需要對20個特征點進(jìn)行匹配，屬于稀疏特征點的三維重建。對于鉚接板件孔位定位不僅要考慮精度，還需要實時定位，結(jié)合薄板形狀規(guī)則且孔位分布具有規(guī)律，故提出一種基于位置約束“回”字形的立體匹配方法。

板件孔位分布如圖4，將四個頂點記為A,B,C,D，每個孔從1～20依此編號。要使左右兩幅圖的孔位特征點一一匹配，只需要將特征點與孔的編號一一對應(yīng)。由于左圖與右圖的計算方式一樣，在此用右圖進(jìn)行方法說明。

圖4 板件孔位分布圖

兩點的距離公式為

(7)

點到直線的距離公式為

(8)

步驟如下：1)根據(jù)四個端點坐標(biāo)求出直線AB，BC，CD、DA的方程。2)用式(7)計算20個特征點分別與4個頂點的距離，求出4個點對應(yīng)距離最小的點，將頂點A對應(yīng)的特征點標(biāo)記為1，頂點B對應(yīng)的特征點標(biāo)記為4，頂點C對應(yīng)的特征點標(biāo)記為20，頂點D對應(yīng)的特征點標(biāo)記為17。

3)用式(8)計算剩余的16個特征點分別到四條直線的距離，找到分別與直線AD,BC距離最小的三個點，找到分別與直線AB，CD距離最小的兩個點。求直線AD對應(yīng)的三個點與點1的距離，按照距離由小到大將三個點標(biāo)記為5,9,13；求直線BC對應(yīng)的三個點與點4的距離，按照距離由小到大將其標(biāo)記為8,12,16；求直線AB對應(yīng)的兩個點與點4的距離，按照距離由小到大將其標(biāo)記為3,2；求直線CD對應(yīng)的兩個點與點20的距離，按照距離由小到大將其標(biāo)記為19,18。4)用式(8)計算剩下的6個特征點分別到直線AD，BC的距離，找到分別與直線AD,BC距離最小的三個點。求直線AD對應(yīng)的三個點與點2的距離，按照距離由小到大將三個點標(biāo)記為6,10,14；求直線BC對應(yīng)的三個點與點3的距離，按照距離由小到大將其標(biāo)記為7,11,15。

用這種方法對左圖和右圖的特征點以“回”字形一一標(biāo)記，通過位置約束的方式完成立體匹配，這種方法既不需要解復(fù)雜的方程，且易于實現(xiàn)，處理結(jié)果如圖5所示。從圖5中可以看出兩幅圖的特征點是按照設(shè)定的順序一一排列，可見匹配率達(dá)到了100 %。

圖5 匹配結(jié)果

4 實驗及誤差分析

4.1 平臺搭建

基于雙目視覺的鉚釘機(jī)自動鉚接平臺結(jié)構(gòu)如圖1。整個平臺主要由小型半自動送料裝置、兩臺高分辨率的工業(yè)相機(jī)、光源、待加工薄板、計算機(jī)等組成，其中小型半自動送料裝置是為了裝夾及運(yùn)送待加工薄板，相機(jī)是為了獲取板件圖像，計算機(jī)是為了對獲取的圖像進(jìn)行處理。鉚接薄板是金屬且光澤較亮，光源過亮?xí)a(chǎn)生衍射現(xiàn)象使板件的某些孔位信息缺失，且考慮到經(jīng)濟(jì)實用選用熒光燈作為光源。兩臺CMOS相機(jī)的分辨率為2 592 像素×19 44l 像素，像元尺寸為2.2 μm×2.2 μm，鏡頭焦距為8 mm。

4.2 相機(jī)標(biāo)定

本文選用與板件大小差距較小、角點間距為30 mm的矩形棋盤格標(biāo)定版，為使標(biāo)定結(jié)果理想，標(biāo)定時只取其中6行9列作為標(biāo)定區(qū)域。結(jié)合張正友標(biāo)定法，經(jīng)過多次調(diào)整相機(jī)與標(biāo)定板間的距離等，標(biāo)定結(jié)果如表1所示。

表1 標(biāo)定結(jié)果

4.3 誤差分析

根據(jù)雙目重建原理，對匹配后的特征點重建得到所有特征點的三維坐標(biāo)。實驗獲得三維坐標(biāo)分別從x軸、y軸與實際坐標(biāo)的計算坐標(biāo)相對偏差，結(jié)果如圖6所示。從圖中可以看出x方向偏差大多在-0.2～0.3 mm內(nèi)，y方向偏差大多在-0.2～0.2 mm內(nèi)。計算得到在x方向絕對平均偏差為0.195 mm，y方向絕對平均偏差為0.170 mm。

圖6 圓孔質(zhì)心坐標(biāo)偏差

誤差產(chǎn)生的主要原因有：薄板孔在加工時的精度誤差與薄板形變誤差；搭建的雙目平臺位置誤差；圖像處理中圓度計算精度有待提高。

5 結(jié) 論

本文根據(jù)實際板件特性分析，采用Hough變換與線性約束相結(jié)合的方法提取目標(biāo)鉚接板件。為了獲得目標(biāo)孔邊緣，采用形態(tài)學(xué)去噪平滑圖像，用Canny算法提取孔的邊緣，結(jié)合連通區(qū)域面積閾值去除干擾信息，采用傳統(tǒng)質(zhì)心法和圓近似度判別提取孔的質(zhì)心。用以“回”字形式的位置約束方法對兩幅圖像的特征點匹配，該法計算簡單，速度快，無需解復(fù)雜的方程。實驗結(jié)果顯示，基于雙目視覺的鉚接孔定位誤差為0.2587 mm，而鉚接行業(yè)中對于薄板鉚接中心定位精度在0.1～0.3 mm以內(nèi)，該方法滿足行業(yè)要求。