凌 超, 嵇保健, 洪 磊, 沈 健

(1.南京工業(yè)大學(xué) 電氣工程與控制科學(xué)學(xué)院, 南京 211800, 2.南京工程學(xué)院 汽車與軌道交通學(xué)院, 南京 211167)

?

一種激光視覺引導(dǎo)的自動(dòng)識(shí)別V形焊縫的算法*

凌 超1, 嵇保健1, 洪 磊2, 沈 健1

(1.南京工業(yè)大學(xué) 電氣工程與控制科學(xué)學(xué)院, 南京 211800, 2.南京工程學(xué)院 汽車與軌道交通學(xué)院, 南京 211167)

如何準(zhǔn)確地識(shí)別線結(jié)構(gòu)光在V形焊縫上留下的光帶是機(jī)器視覺的一個(gè)關(guān)鍵技術(shù)，對(duì)此文章提出一種新的圖像處理方法。首先對(duì)原圖像進(jìn)行中值濾波。然后選用一種新的高斯模板對(duì)其進(jìn)行濾波，可以有效地去除面積較大，寬度較寬的噪聲。接著采用一種新的ROI區(qū)域提取算法，可以有效地確定光帶所在位置，提高運(yùn)算效率。然后采取孤點(diǎn)濾波刪除散落在圖像上的曝光點(diǎn)。接著對(duì)其進(jìn)行細(xì)化，提取激光條紋中心線。提取焊縫特征點(diǎn)時(shí)，運(yùn)用斜率法將圖像中的點(diǎn)進(jìn)行分類隨后進(jìn)行最小二乘法的直線擬合，得到特征點(diǎn)坐標(biāo)。然后將特征點(diǎn)坐標(biāo)從圖像坐標(biāo)系轉(zhuǎn)到基坐標(biāo)系下。最后通過計(jì)算得到焊縫參數(shù)。實(shí)驗(yàn)結(jié)果表明：V形坡口的角度、高度、寬度的計(jì)算結(jié)果與實(shí)際值的相對(duì)誤差分別為0.33%、0.585%、0.186%。滿足的抗干擾能力強(qiáng)、精度高和實(shí)際焊接等要求。

激光視覺;最小二乘法; 直線擬合;機(jī)器人基坐標(biāo)

0 引言

隨著機(jī)器視覺和焊接自動(dòng)化技術(shù)的發(fā)展，基于激光視覺引導(dǎo)的自動(dòng)識(shí)別焊接焊縫技術(shù)越來越受到人們的關(guān)注[1]。通過視覺傳感器進(jìn)行圖像的采集，運(yùn)用圖像處理技術(shù)將焊縫坡口的信息以數(shù)字信息形式進(jìn)行圖像處理。激光相對(duì)于其它結(jié)構(gòu)光，它更加穩(wěn)定，精度更高，能量集中，采集到的激光圖像可以很好的反應(yīng)焊縫特征。由于焊接過程中產(chǎn)生大量的灰塵、弧光、飛濺、煙霧，采集到的圖像的質(zhì)量容易受到影響，為了能有效地捕捉到激光焊縫條紋[2]，算法要求能夠正確的得到激光焊縫的條紋，而且在保證準(zhǔn)確性的同時(shí)還要求識(shí)別速度，這些要求也成為自動(dòng)識(shí)別處理焊縫的重點(diǎn)和難點(diǎn)[3]。對(duì)于有強(qiáng)干擾的圖像，算法利用LOG濾波可以有效地去除圖像中的噪聲，利用新的ROI區(qū)域的提取算法，有效地提高了運(yùn)算效率，同時(shí)能夠提取光帶所在位置，保證最后利用斜率法和最小二乘法實(shí)現(xiàn)直線擬合，得到特征點(diǎn)的坐標(biāo)，最終利用三維重建得到焊縫參數(shù)，實(shí)現(xiàn)機(jī)器人的自動(dòng)焊接。

1 圖像識(shí)別算法

圖像識(shí)別包括圖像預(yù)處理、圖像處理、和圖像識(shí)別。圖像預(yù)處理包括中值濾波、一維高斯-拉普拉斯濾波、ROI區(qū)域提取、閾值分割、形態(tài)學(xué)、標(biāo)記算法對(duì)原圖像進(jìn)行處理，便于識(shí)別焊縫[4]。圖像處理包括細(xì)化算法、直線擬合。圖像識(shí)別包括特征點(diǎn)的提取。焊縫原始圖像如圖1所示。

圖1 焊縫原始圖像

1.1 中值濾波

中值濾波是眾多濾波算法中運(yùn)用的最為頻繁的濾波形式，特別是針對(duì)于灰塵，飛濺帶來的椒鹽噪聲它有明顯的消除作用，處理原圖噪聲需要根據(jù)圖像特征選取適當(dāng)?shù)臑V波窗口，經(jīng)過反復(fù)試驗(yàn)，本文選擇3×3的濾波模板對(duì)焊縫圖進(jìn)行處理。

1.2 高斯-拉普拉斯濾波

由于激光焊縫條紋是沿水平方向，弧光、飛濺、煙霧所形成的噪聲在豎直方向上的像素明顯大于激光焊縫條紋，針對(duì)該特點(diǎn)，本文選擇使用高斯-拉普拉斯濾波一維列向量模板可以有效地去掏空噪聲內(nèi)部，使其邊緣化[5]。本文選擇的模板為：

s=[-2;-2;-1;0;1;2;4;2;1;0;-1;-2;-2]

多余的噪聲已經(jīng)被去除，留下焊縫的光帶突出，如圖2所示。

圖2 LOG處理

1.3 ROI區(qū)域提取

ROI區(qū)域的提取在整個(gè)實(shí)驗(yàn)環(huán)節(jié)中是重要的，只針對(duì)ROI進(jìn)行操作，可以降低數(shù)據(jù)的規(guī)模，提高運(yùn)算效率，與此同時(shí)，可以減少非ROI區(qū)域?qū)δ繕?biāo)處理帶來的干擾。原圖像寬w，高h(yuǎn)。如圖3，激光條紋是橫向分布的，根據(jù)像素行的累積求和，圍繞激光條紋附近的像素總和應(yīng)該是最大的[6]。根據(jù)這一特性，本文提出一個(gè)尋找算法，步驟如下：

(3)將S矩陣每列的像素值相加，得到一個(gè)h行1列的矩陣N；

(5)尋找向量M中最大值，最大值所在的行t即為原圖像10(t-1)+1行至10t行的索引。

引入Ymin、Ymax，分別表示所在行位置的上下縱坐標(biāo)。

根據(jù)經(jīng)驗(yàn)值，本文規(guī)定焊縫V型口的高度m為60，另外在ROI區(qū)域上下都預(yù)留了20的固定高度k，所以ROI的表達(dá)區(qū)域?yàn)椋?/p>

根據(jù)算法的流程，處理結(jié)果如圖3所示。

圖3 提取ROI區(qū)域

1.4 閾值分割

閾值分割的實(shí)質(zhì)就是將灰度圖像轉(zhuǎn)化為二值圖像。本文選用的是Otsu(大津法)，對(duì)于原圖而言，目標(biāo)和背景的分割閾值記作T，即閾值分割的表達(dá)式為：

式中，f(x,y)為原圖像點(diǎn)的像素值，g(x,y)為閾值分割后點(diǎn)的像素值，T為選擇分割的閾值。

Otsu法使用的是聚類的思想，把圖像的灰度數(shù)按灰度級(jí)分成兩個(gè)部分，使得兩個(gè)部分之間的灰度值差異最大，每個(gè)部分之間的灰度差異最小，通過方差的計(jì)算來尋找一個(gè)合適的灰度級(jí)別來劃分。Otsu算法被認(rèn)為是圖像分割中閾值選取的最佳算法，計(jì)算簡(jiǎn)單，不受圖像亮度和對(duì)比度的影響。效果如圖4所示。

圖4 閾值分割

1.5 孤點(diǎn)處理

針對(duì)ROI區(qū)域內(nèi)存在的長(zhǎng)線，由于沒辦法用形態(tài)學(xué)將其處理，它的存在影響了激光焊縫條紋的提取和擬合，所以本文的思路是將圖像分成左右兩半，這樣做的優(yōu)點(diǎn)在于可以有效地將圖像的長(zhǎng)線變短。又由于圖像經(jīng)過高斯-拉普拉斯的處理，圖像中的噪聲以邊緣和孤立的點(diǎn)的形式存在，所以在該處理后，本文選擇用兩步進(jìn)行處理。

(1)運(yùn)用形態(tài)學(xué)的開運(yùn)算，可以使圖像的輪廓變得光滑、消除毛刺，本文選用的是3×3的正方形模板對(duì)圖像進(jìn)行濾波；

(2)運(yùn)用標(biāo)記算法去除圖像中像素比較聚集的噪聲，本文的標(biāo)記算法是基于八連通區(qū)域的標(biāo)記算法，原理是通過設(shè)置了一個(gè)像素固定值，如果白色連通區(qū)域的像素累加值低于我們?cè)O(shè)定的固定值即可濾掉，反之可保留。小窗口處理可以很好的處理ROI中的線段，這樣做既不影響焊縫主要特征的提取，同時(shí)可以刪除一些不需要的噪聲。

效果如圖5所示。

圖5 孤點(diǎn)處理

1.6 圖像細(xì)化

“圖像細(xì)化”本質(zhì)就是提取圖像的骨架，而圖像的骨架即是圖像的中心線。傳統(tǒng)的方法，不能去除V型口下方的長(zhǎng)直線、短線。由于ROI區(qū)域提取方法，橫線光帶下方預(yù)留空間大，干擾線出現(xiàn)的位置在V型口橫線的下面的概率大，根據(jù)這一特點(diǎn)，本文提出的細(xì)化思路大致如下：

(1) 圖像沿水平方向依次找y的坐標(biāo)，尋找方式是由該列從由往下依次尋找像素值為1的點(diǎn)，y1i和y2i分別為光帶上下邊界的縱坐標(biāo)；

按照算法流程，效果如圖6所示。

圖6 細(xì)化圖像

1.7 直線擬合

現(xiàn)如今圖像的直線擬合用的比較頻繁的方法有兩種：一種是Hough變換；另一種是最小二乘法實(shí)現(xiàn)直線擬合；兩種方法各有缺點(diǎn)。Hough變換，提取精度差，通常會(huì)多找到直線。最小二乘法，容易受到孤立的點(diǎn)和線段影響，不能很好地分辨多條直線，所以進(jìn)行最小二乘法擬合時(shí)要先進(jìn)行點(diǎn)的分類。

本文的方法是建立在斜率法的基礎(chǔ)上，較之文獻(xiàn)[7]，其采用的方法過于復(fù)雜，運(yùn)用投影法和曲率法計(jì)算，并且錯(cuò)誤的認(rèn)為焊縫最低點(diǎn)為兩拐點(diǎn)和的一半，本文的算法直接在細(xì)化圖像上進(jìn)行斜率計(jì)算，以斜率直觀的反應(yīng)曲線的走向，最后確定拐點(diǎn)，進(jìn)行擬合[8-10]。

本文在最小二乘法的基礎(chǔ)上，進(jìn)行了優(yōu)化，可以有效地分辨不同的直線進(jìn)行擬合，算法的步驟為：

(1) 首先從左向右不斷計(jì)算固定點(diǎn)數(shù)n的斜率，將整個(gè)折線的斜率以曲線的類型表示，根據(jù)實(shí)際情況，n太大，斜率線不能準(zhǔn)確地表示線的變化，n太小，斜率線容易受到噪聲的影響，所以n的選擇是根據(jù)大量實(shí)驗(yàn)驗(yàn)證而選擇的。

(2) 從斜率變化曲線可以清楚地知道線的變化，通過分析得知斜率最大值所反映的點(diǎn)為V形坡口的自左向右第一個(gè)拐點(diǎn)，斜率最小值反映的點(diǎn)就是V形坡口的底部點(diǎn)。

(3) 因?yàn)樾甭史ㄋ从车狞c(diǎn)為大致位置，所以不能用該點(diǎn)來計(jì)算斜率，本文選擇取斜率最大最小點(diǎn)左右5～10位置的點(diǎn)來進(jìn)行點(diǎn)的分組。

(4) 最后將分完組的點(diǎn)進(jìn)行最小二乘法的直線擬合，形成4條直線，計(jì)算得到3個(gè)圖像坐標(biāo)系交點(diǎn)p10、p20、p30。

根據(jù)算法對(duì)圖像進(jìn)行處理，結(jié)果如圖7所示。

圖7 直線擬合

1.8 三維重建

由于特征點(diǎn)在結(jié)構(gòu)光平面上，同時(shí)還在攝像機(jī)的光軸中心點(diǎn)與成像平面上的成像點(diǎn)之間的一條空間直線。已知攝像機(jī)的內(nèi)參數(shù)M以及結(jié)構(gòu)光平面方程參數(shù)，p在圖像坐標(biāo)系下的坐標(biāo)(u1,v1)，可以計(jì)算出p點(diǎn)在攝像機(jī)的焦距歸一化成像平面的成像點(diǎn)P1c1的坐標(biāo):

(1)

假設(shè)平面方程式為：

ax+by+cz+1=0

(2)

由于空間點(diǎn)在攝像機(jī)的光軸中心點(diǎn)與成像點(diǎn)構(gòu)成的直線上，即可知：

(3)

利用該直線的方程與結(jié)構(gòu)光平面方程，即可得到特征點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)。將式(1)代入式(2)，得：

(4)

通過標(biāo)定可知攝像機(jī)到腕部的轉(zhuǎn)換矩陣T。手腕部到基坐標(biāo)的轉(zhuǎn)換，同樣可以從示教器上得知，經(jīng)過換算得到矩陣B。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 系統(tǒng)組成

焊縫跟蹤焊接系統(tǒng)包括圖像采集系統(tǒng)、焊接機(jī)器人、焊接設(shè)備系統(tǒng)[11]。焊接機(jī)器人型號(hào)為ABB IRB1410，機(jī)器人手眼系統(tǒng)圖像采集系統(tǒng)包括激光發(fā)射器、攝像機(jī)，攝像機(jī)和激光發(fā)射器安裝在焊接機(jī)器人的手腕部，攝像機(jī)型號(hào)為1/3InXC-ES50CE CCD，圖像大小為764×576像素，焦距鏡頭型號(hào)為Computar工業(yè)鏡頭 M0814-MP2 8mm。圖像采集卡型號(hào)為大恒DH CG410。激光器型號(hào)為MTO公司M-12A635-10-L，激光選用波長(zhǎng)為635nm，輸出功率為10MW的紅色結(jié)構(gòu)光發(fā)射器，線寬約為1mm。攝像機(jī)拍攝的圖像通過圖像采集卡進(jìn)行采樣、量化以后轉(zhuǎn)換為數(shù)字圖像并輸入。完整的焊縫跟蹤焊接系統(tǒng)實(shí)物圖如圖8所示。

圖8 焊縫跟蹤系統(tǒng)實(shí)物圖

2.2 實(shí)驗(yàn)方法及結(jié)果

實(shí)驗(yàn)時(shí)，機(jī)器人作運(yùn)動(dòng)狀，攝像機(jī)和圖像采集卡同時(shí)工作，拍攝焊接過程中激光在焊板上留下的激光條紋圖片，焊接過程中拍攝到的圖片存在大量的煙霧、粉塵以及弧光，利用圖像處理技術(shù)識(shí)別激光條紋，求取特征點(diǎn)的圖像坐標(biāo)，然后通過坐標(biāo)系的轉(zhuǎn)化，將圖像坐標(biāo)轉(zhuǎn)化至機(jī)器人基坐標(biāo)，通過多幅圖像的擬合，計(jì)算出V形焊縫坡口的具體參數(shù)[12-13]。最終將數(shù)據(jù)傳遞給焊接機(jī)器人，焊接機(jī)器人可以沿著焊縫運(yùn)動(dòng)，搭配焊接設(shè)備系統(tǒng)的運(yùn)作，最終實(shí)現(xiàn)機(jī)器人針對(duì)焊縫的自動(dòng)焊接[14-15]。

實(shí)驗(yàn)之前必須進(jìn)行攝像機(jī)標(biāo)定、手眼標(biāo)定以及結(jié)構(gòu)光平面標(biāo)定，以實(shí)現(xiàn)坐標(biāo)系的轉(zhuǎn)化。標(biāo)定數(shù)據(jù)如表1和表2所示。

表1 標(biāo)定參數(shù)

表2 特征提取后特征點(diǎn)的坐標(biāo)參數(shù)

通過計(jì)算，焊縫參數(shù)實(shí)驗(yàn)結(jié)果如表3所示。

表3 焊縫參數(shù)比較

由表3可見，V形坡口的角度θ的相對(duì)誤差為0.33%,高度的相對(duì)誤差為0.585%，寬度w的相對(duì)誤差為0.186%，由此表明，由此方法所得到的焊縫的參數(shù)精確，滿足現(xiàn)場(chǎng)焊接的精度要求。

經(jīng)過分析，實(shí)驗(yàn)依然存在的誤差主要有下面幾個(gè)原因：

(1)機(jī)器人系統(tǒng)存在誤差；

(2)標(biāo)定誤差，主要來自攝像機(jī)標(biāo)定、手眼標(biāo)定以及結(jié)構(gòu)光平面標(biāo)定誤差；

(3)算法誤差，對(duì)于特征點(diǎn)的求取不準(zhǔn)確。

3 結(jié)論

本文提出的焊縫識(shí)別算法具有很強(qiáng)的抗干擾性，可以針對(duì)背景復(fù)雜的焊縫圖，能夠準(zhǔn)確地提取焊縫特征點(diǎn)的坐標(biāo)。

(1)針對(duì)煙霧以及弧光噪聲，選擇新的LOG模板可以有效的掏空?qǐng)D像中面積較大的噪聲，使其邊緣化；

(2)采取新的ROI區(qū)域提取算法，以求像素累加值最大的方法，有效地避免了噪聲的影響，可以準(zhǔn)確的找到激光位置；

(3)運(yùn)用了新的直線擬合法，選用斜率法粗略的估計(jì)特征點(diǎn)位置，再利用最小二乘法的擬合，能夠更為準(zhǔn)確的計(jì)算出直線的交點(diǎn)，即為特征點(diǎn)；

(4)將特征點(diǎn)從圖像坐標(biāo)系轉(zhuǎn)換到機(jī)器人基坐標(biāo)系實(shí)現(xiàn)數(shù)據(jù)的基坐標(biāo)化，以便于焊縫的實(shí)際焊接。

[1] HE Y S. Autonomous Detection of Weld Seam Profiles via a Model of Saliency-Based Visual Attention for Robotic Arc Welding[J]. Journal of Intelligent & Robotic Systems,2016, 395-406.

[2] 王秀平,白瑞林. 基于線結(jié)構(gòu)光視覺的焊縫類型識(shí)別與特征提取[J].電焊機(jī), 2014,44(11):94-98.

[3] 鄒媛媛,趙明揚(yáng). 激光拼焊焊縫質(zhì)量自動(dòng)檢測(cè)技術(shù)研究及應(yīng)用現(xiàn)狀[J].焊接技術(shù),2014,43(9):63-66.

[4] 何銀水,張華,余卓驊,等. 水下焊接中V形焊縫的識(shí)別[J]. 焊接, 2007(7):49-52.

[5] Yu D H. Image detection and processing technology [D]. Xi′Xidian University Press, 2006.

[6] Qin T, Zhang K. Image Processing Methods for V-Shape Weld Seam Based on Laser Structured Light [J]. Foundations of Intelligent Systems, 2011,527-536.

[7] Liu G P. Algorithm Research on the Characteristic Parameter Extraction from the V-shape Weld Seam [J].Welding &Joining,2006(2):36-38.

[8] He Y S. Weld seam profile detection and feature point extraction for multi-pass route planning based on visual attention model [J].Robotics and Computer-Integrated Manufacturing, 2015,251-261.

[9] 秦濤. 基于改進(jìn)最小二乘法的焊縫特征直線提取方法[J].焊接學(xué)報(bào), 2012,33(2):33-38.

[10] D Rozenn. Statistical Hough transform [J]. IEEE Transactions on Pattern Analysis And Machine Intelligence, 2009,31(8):1502-1509.

[11] 張義順，劉海波，梁盈.帶狀光源V字扭曲焊縫識(shí)別技術(shù)[J].沈陽工業(yè)大學(xué)學(xué)報(bào), 2011,33(6):644-648.

[12] 李琳,林炳強(qiáng),鄒炎飚. 基于條紋式激光傳感器的機(jī)器人焊縫跟蹤系統(tǒng)研究[J]. 中國激光, 2015,42(5):26-33.

[13] 高巖,邵雙運(yùn),馮其波. 一種激光掃描自動(dòng)測(cè)量輪對(duì)幾何參數(shù)的方法[J]. 中國激光, 2013,40(7)：176-181.

[14] 劉燕,王剛,王國棟,等.用于機(jī)器視覺的焊縫圖像獲取及圖像處理[J]. 計(jì)算機(jī)工程與應(yīng)用, 2014,50(3)：135-140.

[15] 王文建. 基于機(jī)器視覺的弧焊跟蹤控制系統(tǒng)研究[D]. 天津:天津大學(xué), 2008.

(編輯 李秀敏)

An Algorithm for Automatic Recognition of V Shape Weld Guided by Laser Vision

LING Chao1, JI Bao-jian1, HONG Lei2, SHEN Jian1

(1.College of Electrical Engineering and Control Science, Nanjing University of Technology, Nanjing 211800, China, 2. School of Automotive and Rail Transit, Nanjing Institute of Technology, Nanjing 211167, China)

How to accurately identify the light band that line structured light left in a V-shaped weld is a key technology of robot vision, this paper proposed a new method of image processing. First, the original image is filtered by median filter. Then use LOG filtering with a new template which can eliminate the large area and wide width noise. And next, extract the ROI region by use a new algorithm which can determine the location of the light band and improve the operation efficiency. Then delete the exposure point scattered on the image by particle filtering. After that, extract centerlines of laser stripes by thinning algorithm. In order to extract the feature points, the paper take the slope method to classify the points in the image, then the least square method is used for the linear fitting and got the welding parameters. Then, the feature point coordinates are transferred from the image coordinate system to the base coordinate system. Finally, weld parameters are obtained by calculating. Experimental results indicate that the relative error of V groove angle, height, width between the calculation result and the actual value are 0.33%, 0.585% and 0.186%,respectively. It can satisfy the requirements of the strong anti-interference ability, high precision and actual welding.

laser vision; least squares method; linear fitting; the robot base coordinate

1001-2265(2017)06-0009-04

10.13462/j.cnki.mmtamt.2017.06.003

2016-09-09；

2016-10-10

江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新資金-前瞻性聯(lián)合研究項(xiàng)目(BY2014005-09)

凌超(1992—), 男, 江蘇鹽城人，南京工業(yè)大學(xué)碩士研究生, 研究方向?yàn)闄C(jī)器人視覺，(E-mail)1054189930@qq.com。

TH162;TG506

A