曹學(xué)鵬 樊 豪 馮艷麗 王德碩

（①長(zhǎng)安大學(xué)工程機(jī)械學(xué)院機(jī)電液一體化研究所，陜西 西安 710064；②西安航天時(shí)代精密機(jī)電有限公司，陜西 西安 710100）

傳統(tǒng)的焊接方法以人工焊接為主，在非標(biāo)焊件中有一定的優(yōu)勢(shì)，不過也存在成本高、效率低以及對(duì)人體有害等缺點(diǎn)。焊接機(jī)器人具有效率高、非接觸以及部署靈活等特點(diǎn)，在自動(dòng)化焊接中起著關(guān)鍵作用[1]。

目前，焊縫的識(shí)別以及焊接路徑規(guī)劃大多依賴于操作人員的經(jīng)驗(yàn)[2]，在機(jī)器人焊接作業(yè)中，廣泛采用“示教-再現(xiàn)”的工作方式，但該方法缺乏對(duì)環(huán)境的感知，無法滿足自動(dòng)化焊接的要求[3]。某些焊接系統(tǒng)為了提高軌跡規(guī)劃精度、減少焊接前準(zhǔn)備時(shí)間，采用激光傳感器采集焊縫坡口中心點(diǎn)坐標(biāo)，但仍需要操作機(jī)器人示教器使焊縫坡口處于激光傳感器的掃描范圍內(nèi)[4-6]。因此，采用傳感技術(shù)，免除焊接路徑規(guī)劃中的示教環(huán)節(jié)，對(duì)于提高焊接系統(tǒng)的效率有著重要的意義。

機(jī)器視覺具有非接觸、獲取信息豐富以及結(jié)構(gòu)簡(jiǎn)單等優(yōu)點(diǎn)[7-8]，采用視覺識(shí)別焊縫是一種較好的自動(dòng)化焊接方法[9]。在實(shí)際應(yīng)用中，焊接現(xiàn)場(chǎng)存在光學(xué)干擾復(fù)雜、光照不均衡和坡口灰度值不一致等問題，導(dǎo)致圖像中混雜大量噪聲，增加了焊縫提取的難度。采用特定算法消除圖像中的噪聲并提取完整焊縫圖像，成為采用工業(yè)相機(jī)進(jìn)行焊縫識(shí)別及特征點(diǎn)提取的重要研究方向。

劉濤等[10]設(shè)計(jì)了一種基于被動(dòng)雙目視覺的環(huán)形焊縫定位與跟蹤系統(tǒng)，通過霍夫變換提取ROI、運(yùn)用最小二乘法擬合焊縫直線、利用雙目視覺模型和基于極線的立體匹配方式計(jì)算焊點(diǎn)的空間坐標(biāo)。范明洋等[11]提出一種基于線結(jié)構(gòu)光的曲線焊縫焊接技術(shù)，通過中值濾波、ROI 區(qū)域提取、圖像二值化、圖像腐蝕和圖像細(xì)化等操作得到條紋區(qū)域。通過三維重構(gòu)得到基坐標(biāo)系下的特征點(diǎn)，并利用B 樣條曲線插值算法擬合曲線。潘海鴻等[12]利用激光視覺系統(tǒng)獲得焊接工件的圖像，利用焊縫特征點(diǎn)模型得到參考點(diǎn)信息，實(shí)現(xiàn)了多層多道焊接各焊道的路徑規(guī)劃。張國強(qiáng)等[13]搭建了雙目立體視覺系統(tǒng)，解決了焊接過程中發(fā)生板件翹曲變形時(shí)無法對(duì)示教路線進(jìn)行實(shí)時(shí)調(diào)整的問題。王天琪等[14]通過建立經(jīng)過初始焊位點(diǎn)的直線方程，求取兩條直線的交點(diǎn)，來確定初始焊位在機(jī)器人基坐標(biāo)系下的三維坐標(biāo)。

以上方法解決了部分工件的免示教問題，提高了焊接效率。但當(dāng)現(xiàn)場(chǎng)光照復(fù)雜或當(dāng)工件為復(fù)雜焊縫時(shí)，不能得到理想的結(jié)果。為免除焊接路徑規(guī)劃中的示教環(huán)節(jié)，本文通過圖像處理算法，為機(jī)器人提供用戶坐標(biāo)系下的特征點(diǎn)。本文采用雙邊濾波作為圖像預(yù)處理方法。采用Sobel 算子提取邊界并標(biāo)記完整焊縫。運(yùn)用閉運(yùn)算填充細(xì)小孔洞并連接間斷的輪廓線。采用輪廓跟蹤濾波消除圖像上的細(xì)小噪聲，完成焊縫輪廓的精確提取。運(yùn)用相機(jī)標(biāo)定的結(jié)果將從圖像上提取的特征點(diǎn)轉(zhuǎn)換到用戶坐標(biāo)系下。最后通過實(shí)驗(yàn)測(cè)試焊縫提取和特征點(diǎn)提取效果，分別驗(yàn)證焊縫提取算法的有效性以及特征點(diǎn)提取方法的準(zhǔn)確性。

1 基于視覺檢測(cè)的機(jī)器人焊接平臺(tái)

針對(duì)薄板平面對(duì)接焊縫的自動(dòng)化焊接需求，設(shè)計(jì)基于視覺檢測(cè)的機(jī)器人自動(dòng)焊接系統(tǒng)。該系統(tǒng)包括相機(jī)、視覺處理單元、光源、操作臺(tái)以及電源等。相機(jī)采用?？低昅V-CE200-10GC 2000 工業(yè)相機(jī)，分辨率為5 472×3 648，視覺處理程序基于C#.NET框架，采用C#語言開發(fā)并在i7-6700CPU 上運(yùn)行。焊接機(jī)器人采用西安航天精密機(jī)電研究所自主研制的20 kg 六關(guān)節(jié)串聯(lián)機(jī)器人。該系統(tǒng)組成如圖1 所示。

圖1 自動(dòng)焊接平臺(tái)

相機(jī)固定在工件上方，與操作臺(tái)的位置保持不變。圖2 所示為相機(jī)所拍攝的放置在工作臺(tái)上的工件照片，本文的方法為通過特定算法，從相機(jī)拍攝的原圖中識(shí)別并定位焊縫，提取機(jī)器人用戶坐標(biāo)系下的特征點(diǎn)，并完成路徑規(guī)劃。

圖2 相機(jī)拍攝原圖

具體流程：通過預(yù)處理獲得平滑圖像，并盡可能地抑制噪聲；采用梯度算子標(biāo)記圖像上梯度高于特定值的像素；運(yùn)用閉運(yùn)算填充細(xì)小孔洞，增強(qiáng)算法的魯棒性；最后借助輪廓跟蹤濾波消除圖像上微小的噪聲，獲得僅存在焊縫輪廓的二值圖像；采用相機(jī)標(biāo)定結(jié)果，將特征點(diǎn)轉(zhuǎn)換到用戶坐標(biāo)系下；運(yùn)用平滑樣條插值法完成路徑規(guī)劃。

2 圖像預(yù)處理

2.1 雙邊濾波

圖像中包含的紋理和細(xì)節(jié)會(huì)對(duì)邊緣檢測(cè)造成困難，因此在檢測(cè)邊緣前應(yīng)先平滑圖像。常用的圖像平滑方法有均值濾波、高斯濾波、中值濾波和雙邊濾波等[15]。雙邊濾波不僅包含像素在空間距離上的關(guān)系，同時(shí)也考慮像素間灰度值的相似性，能在消除圖像上噪聲的同時(shí)，較好地保存邊緣。雙邊濾波模板中的權(quán)重系數(shù)可表示為

式中：f(i,j)、f(k,l)為像素的灰度值；σd為坐標(biāo)空間標(biāo)準(zhǔn)方差；σr為灰度空間標(biāo)準(zhǔn)方差。

2.2 二值化

圖像的邊緣是圖像最基本的特征，是灰度不連續(xù)的表現(xiàn)。梯度算子可以檢測(cè)出圖像中各像素的梯度，對(duì)梯度圖像二值化即可檢測(cè)出有效的邊緣。

常用的梯度算子有Robert 算子、Sobel 算子和Laplace 算子等。四方向Sobel 算子計(jì)算量小、運(yùn)行速度快，對(duì)噪聲的抑制效果較好[16]，因此本文采用四方向Soble 算子計(jì)算梯度圖像。

圖像二值化時(shí)，閾值選擇過高，將造成焊縫部分缺失。本文的閾值采取經(jīng)雙邊濾波后圖像的平均灰度值，該值由計(jì)算機(jī)程序計(jì)算得到。使用該值作為閾值，可以在消除大量噪聲的同時(shí)，標(biāo)記出完整的焊縫。圖3 所示為不同光照條件下，工件圖像的二值化處理結(jié)果，由計(jì)算機(jī)程序得到的閾值分別為：34、15 和5。

圖3 不同光照條件下的二值化結(jié)果

3 焊縫完整輪廓的提取方法

從圖3 可見，雖然圖像已經(jīng)過平滑處理，但在二值圖像上，仍存在許多噪聲。

傳統(tǒng)的濾波方法很難在消除所有噪聲的同時(shí)，標(biāo)記出完整的焊縫。改進(jìn)Canny 算子是一種較好的邊緣檢測(cè)算法[17]。使用改進(jìn)Canny 算子處理圖2 得到的結(jié)果如圖4 所示。觀察A 區(qū)域，焊縫周圍出現(xiàn)假邊緣，且焊縫不連續(xù)；觀察B 區(qū)域，圖像上仍存在較多噪聲。

圖4 改進(jìn)Canny 算子結(jié)果

3.1 閉運(yùn)算

采取閉運(yùn)算處理圖像，以填充細(xì)小孔洞，消除細(xì)小毛刺，連接間斷的輪廓線。閉運(yùn)算可看作對(duì)圖像先進(jìn)行膨脹運(yùn)算，再對(duì)圖像完成腐蝕運(yùn)算，其定義為

式中：X為圖像；S為結(jié)構(gòu)元素；⊕為膨脹運(yùn)算；⊕為腐蝕運(yùn)算。本文先采用3×3 的矩形算子進(jìn)行膨脹運(yùn)算，后采用1×3 的矩形算子進(jìn)行腐蝕運(yùn)算。

3.2 輪廓跟蹤濾波

輪廓跟蹤是在二值圖像上按逆時(shí)針或順時(shí)針方向進(jìn)行邊界跟蹤提取的過程。通常采用通用性更高的8 方向碼進(jìn)行輪廓跟蹤。

對(duì)二值圖像上的像素按以下規(guī)則分類：

（1）若某像素為黑色像素，記為0 型像素。

（2）若為白色像素，且其上、下、左、右4個(gè)像素均為白色像素，則記為0 型像素。

（3）若為白色像素，其上、下、左、右4 個(gè)像素中存在至少1 個(gè)黑色像素，則記為I 型像素。

圖5a 所示為一個(gè)有孔洞的噪聲，圖中◆像素為當(dāng)前點(diǎn)，★為下一邊界點(diǎn)，○為已跟蹤輪廓點(diǎn)。

圖5 對(duì)有孔洞噪聲輪廓跟蹤的過程

從左到右逐行掃描圖像，尋找輪廓跟蹤起始點(diǎn)，如圖5a 中◆像素所示。從起始點(diǎn)的左下位置開始，逆時(shí)針方向搜索，第一個(gè)I 型點(diǎn)，就是下一個(gè)邊界點(diǎn)。

圖5b 為輪廓跟蹤中間步示意，圖中◆像素為當(dāng)前像素。以當(dāng)前像素為中心，從上一個(gè)邊界點(diǎn)開始逆時(shí)針方向搜索到的第一個(gè)I 型點(diǎn)即為下一個(gè)邊界點(diǎn)，如圖5d 中★像素所示。

孔洞邊界的跟蹤如圖5c 所示，通過對(duì)像素點(diǎn)的重新定義，可使用相同的方法跟蹤孔洞邊界。跟蹤結(jié)果如圖5d 所示，至此，噪聲的內(nèi)外邊界均得到標(biāo)記。

對(duì)圖5 某一特征而言，從其某一邊界點(diǎn)(x,y)出發(fā)，沿著邊界搜索前進(jìn)，經(jīng)過一定的步數(shù)，總能回到起始點(diǎn)(x,y)，稱該步數(shù)為搜索步數(shù)。經(jīng)過閉運(yùn)算后，焊縫的搜索步數(shù)遠(yuǎn)大于噪聲的搜索步數(shù)，可利用該特點(diǎn)區(qū)分焊縫與噪聲。

4 特征點(diǎn)的提取方法

4.1 像素坐標(biāo)系下特征點(diǎn)的提取方法

經(jīng)過輪廓跟蹤濾波后，可獲得無噪聲干擾的焊縫圖像，此時(shí)可采取平均法在像素坐標(biāo)系下提取特征點(diǎn)，其原理如圖6 所示。

圖6 平均法示意圖

平均法可表示為

在提取特征點(diǎn)時(shí)，每取一個(gè)新點(diǎn)，即計(jì)算該點(diǎn)與上一點(diǎn)間的市區(qū)距離。若兩相鄰點(diǎn)間的市區(qū)距離大于設(shè)定值L，說明兩點(diǎn)間的焊縫斜率的絕對(duì)值較大，需要在這兩點(diǎn)間繼續(xù)取點(diǎn)，直到任意相鄰兩點(diǎn)間的市區(qū)距離小于L/3。L的計(jì)算方法如式（4）所示。

式中：Pv表示圖像在v方向的像素個(gè)數(shù)；N表示提取特征點(diǎn)的總數(shù)。

像素坐標(biāo)系下，兩點(diǎn)P(x,y)和Q(u,v)間的市區(qū)距離定義為

4.2 像素坐標(biāo)系到用戶坐標(biāo)系間的轉(zhuǎn)換

4.1 節(jié)提取的特征點(diǎn)是像素坐標(biāo)系下的二維坐標(biāo)，需要經(jīng)過相機(jī)標(biāo)定，將其轉(zhuǎn)換到基坐標(biāo)系或用戶坐標(biāo)系下。

相機(jī)的成像模型如圖7 所示，圖中一共有4 個(gè)坐標(biāo)系：

圖7 相機(jī)成像模型

(xc,yc,zc,Oc)為相機(jī)坐標(biāo)系，原點(diǎn)Oc為相機(jī)的光心；(xi,yi,Oi)為圖像坐標(biāo)系，原點(diǎn)Oi在攝像機(jī)光軸與圖像平面的交點(diǎn)，一般位于圖像中心處；(xp,yp,Op)為像素坐標(biāo)系，原點(diǎn)在圖像左上方角點(diǎn)的像素上；(x,y,z,O)是用戶坐標(biāo)系，原點(diǎn)由用戶定義，本系統(tǒng)中，用戶坐標(biāo)系原點(diǎn)在操作臺(tái)的右下角。

平面矩形W與用戶坐標(biāo)系的xOy面重合，是相機(jī)在xOy平面內(nèi)的掃描范圍。

用戶坐標(biāo)系和像素坐標(biāo)系的轉(zhuǎn)換關(guān)系可以表示為

式中：Zc為目標(biāo)點(diǎn)距離相機(jī)光心的距離；(u,v)為像素坐標(biāo)系下某點(diǎn)坐標(biāo)；dx、dx為單位像素的長(zhǎng)度；(u0,v0)為像素坐標(biāo)系中主點(diǎn)的坐標(biāo)；f為相機(jī)焦距；R為相機(jī)旋轉(zhuǎn)矩陣；t相機(jī)平移向量；(X,Y,Z)為用戶坐標(biāo)系下某點(diǎn)坐標(biāo)；M1為相機(jī)內(nèi)參矩陣；M2為相機(jī)外參矩陣。

本文采用MATLAB 進(jìn)行相機(jī)標(biāo)定，以獲得相機(jī)的內(nèi)參數(shù)矩陣M1、外參數(shù)矩陣M2與畸變矩陣。

確定相機(jī)坐標(biāo)系和用戶坐標(biāo)系后，通過測(cè)量可得到相機(jī)旋轉(zhuǎn)矩陣R與相機(jī)平移向量t。

可將式（6）表示如下：

式中：M為3×4 矩陣，稱為投影矩陣。對(duì)平面焊縫，特征點(diǎn)在用戶坐標(biāo)系下的Z軸坐標(biāo)均相等，此時(shí)可將M矩陣的第三列刪除，并記為Ad。將式（7）等式右邊的列向量的第三個(gè)元素Z刪除，可得：

5 實(shí)驗(yàn)驗(yàn)證分析

5.1 焊縫提取結(jié)果

選取混合型、直線型和曲線型等3 種典型平面焊縫工件為研究對(duì)象，如圖8 所示。

圖8 3 種典型焊縫工件

采用本文的算法，處理圖8 中的4 張圖片，獲得的輪廓邊界識(shí)別結(jié)果如圖9 所示。由圖可見，該算法可以在提取出完整焊縫的同時(shí)，消除圖像上的噪聲。每張圖像的分辨率均為5 472×3 648，鑒于圖片分辨率較高，算法運(yùn)行時(shí)間會(huì)稍長(zhǎng)。雙邊濾波、計(jì)算梯度圖像、二值化、閉運(yùn)算采取OpenCV 庫函數(shù)，運(yùn)行時(shí)間在180 ms 左右；輪廓跟蹤濾波采用C#語言編寫代碼進(jìn)行運(yùn)算，運(yùn)行時(shí)長(zhǎng)在1.3 s 左右。

圖9 不同工件識(shí)別結(jié)果

5.2 特征點(diǎn)提取結(jié)果

實(shí)驗(yàn)中，由于采用平面焊縫，在恢復(fù)特征點(diǎn)的三維坐標(biāo)時(shí)可將特征點(diǎn)在用戶坐標(biāo)系下的Z軸坐標(biāo)統(tǒng)一設(shè)置為工件的高度。

為了檢驗(yàn)特征點(diǎn)的準(zhǔn)確性，如圖10 所示，利用安裝在機(jī)器人末端的激光傳感器掃描焊縫坡口，獲得焊縫坡口中心點(diǎn)在用戶坐標(biāo)系下的坐標(biāo)值。

圖10 激光傳感器掃描焊縫坡口

具體為：

（1）利用七點(diǎn)法在傳感器坐標(biāo)系Z軸建立工具坐標(biāo)系，并在機(jī)器人控制器中加載該坐標(biāo)系。

（2）將特征點(diǎn)的Z軸坐標(biāo)加上0.85SZ，稱之為定位點(diǎn)，使機(jī)器人末端工具坐標(biāo)系依次移動(dòng)到各定位點(diǎn)。其中，SZ表示激光傳感器Z軸的最大量程。

（3）激光傳感器通過掃描焊縫坡口得到坡口中心點(diǎn)的坐標(biāo)。圖11 為使用傳感器廠家提供的軟件，在圖10 處激光傳感器掃描到的結(jié)果。通過左右坡口點(diǎn)的坐標(biāo)值可以求得激光傳感器坐標(biāo)系下坡口中心點(diǎn)的坐標(biāo)值，并借助傳感器標(biāo)定結(jié)果[18]，得到用戶坐標(biāo)系下坡口中心點(diǎn)的坐標(biāo)值。

圖11 激光傳感器掃描結(jié)果

將由單目相機(jī)獲得的用戶坐標(biāo)系下特征點(diǎn)稱為提取點(diǎn)，將由激光傳感器在該位置測(cè)出的焊縫坡口中心點(diǎn)稱為實(shí)測(cè)點(diǎn)，比較兩組點(diǎn)在y向的誤差。

針對(duì)3 種典型的工件，獲得的特征點(diǎn)誤差如表1 所示?？芍?，直線型焊縫的平均誤差最小，為0.23 mm；曲線型焊縫和混合型焊縫的誤差分別為0.42 mm 以及0.45 mm，均較大。

表1 不同焊縫在用戶坐標(biāo)系下的誤差

將提取點(diǎn)與實(shí)測(cè)點(diǎn)稱為定位點(diǎn)，繪制圖12、圖13 及圖14，實(shí)測(cè)點(diǎn)在空心圓圓心處。

圖12 混合型焊縫定位點(diǎn)對(duì)比圖

圖14 曲線型焊縫定位點(diǎn)對(duì)比圖

通過分析圖12、圖14 可知，誤差主要出現(xiàn)在斜率較大的曲線處。圖12 中斜率的絕對(duì)值最大的3 個(gè)特征點(diǎn)，誤差分別達(dá)到1.66 mm、1.44 mm、1.74 mm；圖13 中斜率的絕對(duì)值最大的3 個(gè)特征點(diǎn)，誤差分別達(dá)到1.45 mm、1.54 mm、1.12 mm。這是因?yàn)楫?dāng)焊縫的斜率較大時(shí)，x值的微小變化，將引起較大的y值變化，導(dǎo)致這部分的特征點(diǎn)的定位誤差相對(duì)較大。另外，由圖12 可見，在直線焊縫與曲線焊縫交點(diǎn)附近的特征點(diǎn)，也會(huì)出現(xiàn)較大的誤差，這是因?yàn)榇颂幍男甭瘦^大，同時(shí)加工誤差也較大。

在實(shí)際應(yīng)用中，單目相機(jī)可彌補(bǔ)激光傳感器掃描范圍不足，需要人工示教的缺陷，提高焊接系統(tǒng)路徑規(guī)劃的自動(dòng)化水平。并且當(dāng)工件為平面焊縫且平行于相機(jī)成相面時(shí)，可直接采用單目相機(jī)的識(shí)別結(jié)果。

5.3 路徑規(guī)劃結(jié)果

將特征點(diǎn)作為路徑中間點(diǎn)即可進(jìn)行路徑規(guī)劃，因此，路徑規(guī)劃的結(jié)果，主要取決于特征點(diǎn)坐標(biāo)值的準(zhǔn)確性。

針對(duì)5.2 節(jié)實(shí)驗(yàn)中的曲線型焊縫，使用得到的焊接路徑中間點(diǎn)，采用平滑樣條插值、多項(xiàng)式擬合、高斯擬合規(guī)劃路徑，得到的結(jié)果如圖15 所示。

圖15 曲線焊縫路徑規(guī)劃結(jié)果

從圖15 中可見，多項(xiàng)式擬合對(duì)于離散點(diǎn)的擬合效果不佳；高斯擬合法不會(huì)經(jīng)過每一個(gè)特征點(diǎn)，在混合型焊縫的路徑規(guī)劃中，因無法保證路徑經(jīng)過曲線與直線的交點(diǎn)，會(huì)導(dǎo)致較大的誤差；平滑樣條插值法規(guī)劃出的路徑，會(huì)經(jīng)過幾乎所有特征點(diǎn)，并且可以調(diào)整曲線的曲度以及點(diǎn)的重合度，是一種更為優(yōu)秀的路徑規(guī)劃方法。

6 結(jié)語

（1）運(yùn)用雙邊濾波、二值化和閉運(yùn)算等一系列方法處理工件圖像后，通過判斷跟蹤輪廓時(shí)一定步數(shù)內(nèi)能否回到起點(diǎn)，區(qū)分出噪聲與焊縫，獲得了無干擾的完整焊縫圖像。

（2）根據(jù)單目相機(jī)成像原理，得到像素坐標(biāo)系和用戶坐標(biāo)系的關(guān)系。通過標(biāo)定相機(jī)得到了相機(jī)的內(nèi)外參數(shù)矩陣和畸變系數(shù)。實(shí)現(xiàn)了特征點(diǎn)從像素坐標(biāo)系到用戶坐標(biāo)系的轉(zhuǎn)換。

（3）開展了特征點(diǎn)提取實(shí)驗(yàn)，在用戶坐標(biāo)系下對(duì)比了特征點(diǎn)與實(shí)測(cè)點(diǎn)。結(jié)果表明，對(duì)于不同的薄板平面對(duì)接焊件，特征點(diǎn)平均定位誤差均小于0.5 mm，達(dá)到了自動(dòng)化焊接的要求。