甘文龍,羅會(huì)信,王中任

(1.武漢科技大學(xué)機(jī)械自動(dòng)化學(xué)院,湖北 武漢 430081；2.湖北文理學(xué)院機(jī)械與汽車工程學(xué)院,湖北 襄陽(yáng) 441053)

1 引 言

隨著現(xiàn)代工業(yè)的發(fā)展,自動(dòng)化焊接技術(shù)在船體、石化管道、航空等領(lǐng)域的應(yīng)用越來(lái)越廣泛。在石化施工行業(yè),由于大直徑厚壁管對(duì)接焊工作量大且質(zhì)量要求高,因此管道全位置自動(dòng)焊成為國(guó)內(nèi)外的研究熱點(diǎn),而對(duì)焊縫的識(shí)別以及精確定位是實(shí)現(xiàn)自動(dòng)焊接過程的關(guān)鍵問題之一。因此,研究一種針對(duì)厚壁管道的焊縫區(qū)域位置精確定位具有重要意義[1-3]。

從國(guó)內(nèi)外的文獻(xiàn)來(lái)看[4-8],在管道焊接自動(dòng)化的過程中對(duì)焊縫區(qū)域的定位、識(shí)別主要是通過在焊接過程中加入各類型傳感器,例如電弧傳感器、電磁傳感器、超聲波傳感器等[5]。近年來(lái),隨著視覺技術(shù)的發(fā)展,視覺傳感系統(tǒng)由于其豐富的視覺信息、非接觸、測(cè)量精度高等優(yōu)點(diǎn)被廣泛用于焊接跟蹤中。黎咸西等人[6]通過分析非規(guī)則焊縫坡口中心線的點(diǎn)坐標(biāo)找出特征信息?；羝降萚7]研究一種基于結(jié)構(gòu)光的V型焊縫實(shí)時(shí)圖像處理方法,該方法首先對(duì)圖像進(jìn)行閾值處理和邊緣檢測(cè),基于斜率分析和最小二乘法相結(jié)合的檢測(cè)方法獲取圖像的特征信息。但是該方法定位的特征點(diǎn)坐標(biāo)精度不高,難以滿足高精度的焊接要求。楊雪君等[8]也對(duì)結(jié)構(gòu)光的V型坡口焊縫特征點(diǎn)的識(shí)別定位做了相關(guān)研究,通過模板匹配的方法提取焊縫的初始位置,然后采用分離像素法對(duì)激光條紋分成多個(gè)區(qū)域,分別擬合直線相交定位特征點(diǎn)。該方法提取的特征點(diǎn)位置坐標(biāo)精度上可以滿足使用要求,但是在分區(qū)域擬合直線時(shí)是靠經(jīng)驗(yàn)劃分,魯棒性不是很強(qiáng)。

在實(shí)際的焊接工業(yè)環(huán)境中,焊縫圖像的獲得一般有主動(dòng)視覺傳感和被動(dòng)視覺傳感兩大類[9-10]。主動(dòng)視覺是通過外加光源照明,并附加組合濾光系統(tǒng)來(lái)獲得焊縫圖像,較被動(dòng)視覺方式有更高測(cè)量精度和抗干擾性。基于此,本文提出一種以直線激光為外加光源,CCD攝像機(jī)為圖像提取工具、以視覺處理系統(tǒng)為內(nèi)核,基于幾何形狀的模板匹配技術(shù)實(shí)現(xiàn)對(duì)焊縫圖像的初步識(shí)定位,然后通過角點(diǎn)檢測(cè)的方式精確定位焊縫特征點(diǎn)。

2 激光視覺傳感系統(tǒng)

采用自主研發(fā)的激光視覺傳感器系統(tǒng)結(jié)構(gòu)如圖1(a)所示,該系統(tǒng)由三部分構(gòu)成:視覺傳感系統(tǒng)、爬行焊接機(jī)器人系統(tǒng)及主控一體機(jī)。其中視覺傳感系統(tǒng)由一個(gè)數(shù)字?jǐn)z像機(jī)和“一字”線激光發(fā)射器組成。本實(shí)驗(yàn)選用的是型號(hào)為acA640-90 gm-Basler ace的CCD攝像機(jī),激光器中心波長(zhǎng)為664 nm,功率為200 mW。攝像機(jī)安裝于焊槍前方60 mm處,為了保證焊縫圖像能較好地反映焊槍與焊縫的偏差情況,采用攝像機(jī)的光軸與管道的徑向方向一致,也就是垂直于管道平面,激光發(fā)射器以一定的角度斜射在焊縫坡口上,確保攝像機(jī)可以捕獲激光條紋。線激光發(fā)射器射出特定頻率激光條紋打在工件表面并由工件表面特征調(diào)制成特定形狀的激光條紋,如圖1(b)所示。為了滿足焊接工藝,保證焊接質(zhì)量,厚管道焊接母材對(duì)接時(shí)必須有一定的間隙,這樣可以保證焊接過程中熔透,故激光打在坡口上在根部會(huì)有兩個(gè)特征點(diǎn)c、d。CCD攝像機(jī)用于拍攝包含激光條紋的圖像傳輸?shù)街骺赜?jì)算機(jī),計(jì)算機(jī)通過一定的圖像處理算法獲得所需的焊縫特征點(diǎn)的圖像坐標(biāo)以及對(duì)機(jī)器人狀態(tài)的讀取,得出實(shí)際焊槍與焊縫的偏差,送給控制系統(tǒng)處理,最后由執(zhí)行機(jī)構(gòu)完成自動(dòng)糾偏。

圖1 激光視覺傳感器和V型坡口的示意圖

3 焊縫初始位置區(qū)域的定位

3.1 模板匹配提取焊縫初始位置

在實(shí)際現(xiàn)場(chǎng)焊接過程中,由于外部焊接環(huán)境的強(qiáng)烈弧光以及坡口的不規(guī)則性對(duì)坡口條紋產(chǎn)生的反射等因素的影響,對(duì)CCD攝像機(jī)在圖像的獲取和傳輸中會(huì)引入大量的噪聲,這些干擾會(huì)對(duì)后續(xù)的焊縫識(shí)別定位產(chǎn)生不利影響,如圖2(a)所示。焊接過程產(chǎn)生的主要是離散的噪聲以及脈沖噪聲等尖波干擾,通過實(shí)際分析采用中值濾波進(jìn)行去噪處理[11],中值濾波是一種典型的非線性濾波方式,其基本思想是用像素點(diǎn)鄰域灰度值的中值來(lái)代替該像素點(diǎn)的灰度值,可以有效地去除脈沖噪聲、椒鹽噪聲的同時(shí)又能保留圖像的邊緣細(xì)節(jié)。在鏡頭前面放置線偏振鏡,可以弱化反光的影響,綜合處理得到的圖像如圖2(b)所示。

圖2 圖像對(duì)比

為了準(zhǔn)確地識(shí)別、定位焊縫區(qū)域,本文采用基于模板匹配的方式對(duì)焊接中焊縫位置的識(shí)別。在進(jìn)行模板匹配時(shí),合適的模板選取決定著匹配精度和速度。根據(jù)激光條紋與背景區(qū)域的較大差異性選取模板圖像如圖3(a)所示,該區(qū)域只占原始圖像面積的9.12%,可以將計(jì)算時(shí)間縮小,去除干擾。模板匹配[12]的原理是:通過模板中每個(gè)點(diǎn)的灰度值與模板區(qū)域移動(dòng)在圖像中灰度值的差值,使用歸一化相關(guān)系數(shù)(NCC)相似度量來(lái)決定相似程度,即:

(1)

圖3 模板匹配及閾值分割

3.2 圖像閾值分割

圖像由具有不同灰度集合的目標(biāo)區(qū)域與背景區(qū)域組成。采用圖像閾值分割的目的主要就是為了分離出背景圖像(黑色)與前景圖像(結(jié)構(gòu)光白色),分離后針對(duì)前景圖像進(jìn)行系列處理獲得需要的特征點(diǎn)。激光條紋和背景圖像之間的灰度值差別較大,本文采用Otsu自適應(yīng)閾值方法分割出合適的閾值,即:

(2)

式中,g(x,y)為處理后圖像在點(diǎn)(x,y)處的灰度值；f(x,y)為原始圖像的灰度值；其中T為Otsu算法分割獲取的最佳分割閾值。閾值處理后結(jié)果如圖3(c)所示,在閾值處理后,圖像中的激光條紋區(qū)域的信息被保留下來(lái),而無(wú)關(guān)的背景區(qū)域被很大程度的去掉。

4 焊縫特征信息提取

4.1 激光條紋邊界角點(diǎn)檢測(cè)

本文采用Shi-Tomasi角點(diǎn)檢測(cè)法確定條紋邊界線,即由閾值處理首先得到激光條紋的二值化圖像；再通過邊緣檢測(cè)來(lái)得到邊緣,如圖4所示。

圖4 邊緣檢測(cè)

邊緣檢測(cè)后的激光條紋的上下邊界比較“平齊”,放大的局部如圖中的1、2、3段所示,表現(xiàn)為典型的L型角點(diǎn)；對(duì)邊緣線進(jìn)行亞像素角點(diǎn)檢測(cè)得到角點(diǎn)坐標(biāo)。角點(diǎn)檢測(cè)作為圖像處理中的重要一步,其檢測(cè)的提取方法分為兩類:一是尋找圖像中最大的曲率點(diǎn)或圖像中曲率變化大的點(diǎn)；二是基于計(jì)算灰度圖像的灰度分布來(lái)得到最大變化灰度強(qiáng)度值來(lái)定義為角點(diǎn)[13]。Shi-Tomasi檢測(cè)算法工作原理是計(jì)算圖像像素所在位置的梯度。以一階導(dǎo)數(shù)作為像素所在位置的梯度計(jì)算,假設(shè)該像素位置的一階導(dǎo)數(shù)為局部區(qū)域最大值,且在水平方向和豎直方向上均有變化,即在2個(gè)方向的梯度局部最大,則認(rèn)為該像素位置為角點(diǎn)。設(shè)灰度圖像I在點(diǎn)(x,y)處的灰度值為I(x,y),以該點(diǎn)為中心建立一個(gè)w×w的窗口,將窗口在圖像上移動(dòng)(Δx,Δy),計(jì)算圖像中的灰度變化E。局部圖像的灰度變化程度用近似的互相關(guān)函數(shù)E(x,y)表示,公式如下:

(3)

由于角點(diǎn)是灰度值變化最大的點(diǎn),因此需要求得E(Δx,Δy)的最大值,對(duì)其進(jìn)行泰勒展開:

(4)

Ix=I?[-1,0,1]=?I/?x

Iy=I?[-1,0,1]T=?I/?y

(5)

w(x,y)=g(x,y,σ)

其中,Ix和Iy為灰度圖像在x和y方向的偏導(dǎo)數(shù)；符號(hào)?表示卷積；w(x,y)為高斯濾波器。定義一個(gè)2×2的矩陣T:

(6)

因此,E(Δx,Δy)可以表達(dá)為矩陣形式:

(7)

設(shè)α、β為矩陣T的兩個(gè)特征值,通過特征值可以將圖像區(qū)域分為三類[14],如圖5所示。

(1)平滑區(qū)域:α≈0且β≈0,兩個(gè)特征值都很小,因此在任何方向的強(qiáng)度變化都可以忽略不計(jì)；

(2)邊緣區(qū)域:α?β或β?α,兩個(gè)特征值之間的差異很大,意味著在一個(gè)方向強(qiáng)度顯著變化；

(3)角點(diǎn)區(qū)域:α≈β,αβ?0,意味著在各個(gè)方向的強(qiáng)度變化很大,表現(xiàn)出特征點(diǎn)性質(zhì),即角點(diǎn)。

定義R為兩個(gè)特征值中的最小值:

R=min(α,β)

(8)

Shi-Tomasi算法將R值與預(yù)先設(shè)置的閾值進(jìn)行比較,若R大于最小閾值,即β≥α且α≥kλmax,其中k為錯(cuò)誤角點(diǎn)響應(yīng)抑制常數(shù),通常取0.04(Harris and Stephens,1988),λmax為圖像中任意像素點(diǎn)較小特征值中的最大值,則判定此像素點(diǎn)為強(qiáng)角點(diǎn)。

圖5 特征值分布

4.2 角點(diǎn)亞像素提取

采用Shi-Tomasi角點(diǎn)檢測(cè)算法得到角點(diǎn)位置后,為了提取更精確的角點(diǎn)位置,需要計(jì)算亞像素的角點(diǎn)位置,其原理如圖6(a)所示,基于向量正交法的亞像素角點(diǎn)定位。假設(shè)點(diǎn)p為像素角點(diǎn),真實(shí)角點(diǎn)位于q,DIpi表示在q的一個(gè)鄰域點(diǎn)pi處的圖像梯度,該梯度向量與由q點(diǎn)和pi點(diǎn)組成的向量正交,由于圖像像素的離散化,以誤差ε表示兩者的正交程度,即:εi=DIpi·(q-pi),因此,計(jì)算角點(diǎn)亞像素位置坐標(biāo)即對(duì)以下函數(shù)求最小值:

(9)

對(duì)f 求偏導(dǎo),通過將εi設(shè)為0建立系統(tǒng)方程如下:

(10)

(11)

計(jì)算得到q的解即為精確的角點(diǎn)位置。求得激光條紋邊界線的角點(diǎn)亞像素位置及坐標(biāo)如圖6(c)所示。

圖6 中心線及特征點(diǎn)提取

4.3 直線擬合及焊縫特征信息提取

本文采用中值法,以提取的邊界亞像素精確角點(diǎn)坐標(biāo)作為輸入點(diǎn),擬合直線,擬合方程為:

y=a0+a1x

(12)

(13)

令得到的上下邊界直線方程為:

(14)

聯(lián)立得到激光中心線方程為y=((k1+k2)/2)x+((b1+b2)/2),提取的中心線如圖6(b)所示。以L1、L2的交點(diǎn)作為左焊縫的特征點(diǎn)坐標(biāo),L3、L4的交點(diǎn)作為右焊縫的特征點(diǎn)坐標(biāo),再以這兩點(diǎn)作為基準(zhǔn)取平均得到焊縫中心位置坐標(biāo)P(x0,y0)。

5 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出的算法準(zhǔn)確性與穩(wěn)定性,搭建實(shí)驗(yàn)平臺(tái)。實(shí)驗(yàn)所用焊接母材管道規(guī)格為Φ625×25,焊接接口坡口角度為30°,形成坡口寬度為18 mm。保證焊縫圖像在攝像機(jī)視野范圍內(nèi)的前提下,對(duì)攝像機(jī)在同一高度下拍攝焊縫中心不同像素位置(250～450像素)的50幅圖像進(jìn)行檢測(cè),選取隨機(jī)的5張圖片將檢測(cè)得到的結(jié)果坐標(biāo)與人工判斷的特征點(diǎn)坐標(biāo)進(jìn)行比較,得到的對(duì)比如表1所示。由表中可以看出,識(shí)別算法有較高的精度。

表1 特征點(diǎn)誤差分析

根據(jù)拍攝的50幅圖像,計(jì)算識(shí)別特征點(diǎn)的定位誤差,得到如圖7所示。打在焊材表面的特征點(diǎn),即左、右坡口的提取平均誤差在0.4個(gè)像素以內(nèi)；打在坡口上的特征點(diǎn),即左、右焊縫的提取在0.6個(gè)像素以內(nèi),其主要原因是坡口的不規(guī)則以及反光帶來(lái)的精度下降,整體的平均誤差在0.5個(gè)像素以內(nèi),結(jié)果證明有較高的定位精度。

圖7 特征點(diǎn)提取誤差

6 結(jié) 語(yǔ)

本文利用自主設(shè)計(jì)的激光視覺傳感系統(tǒng)研究了對(duì)管道V型坡口焊縫的識(shí)別與精確定位,簡(jiǎn)單快速且定位精度高。采用模板匹配方法,基于相關(guān)性系數(shù)比較來(lái)實(shí)現(xiàn)目標(biāo)區(qū)域的初步定位,能夠準(zhǔn)確獲取焊縫初始區(qū)域位置；然后采用Shi-Tomasi算法對(duì)初步定位區(qū)域?qū)崿F(xiàn)對(duì)特征點(diǎn)的精確定位。通過實(shí)驗(yàn)對(duì)焊接現(xiàn)場(chǎng)的50幅圖像進(jìn)行檢測(cè),識(shí)別定位的特征點(diǎn)坐標(biāo)具有較高的精度為后續(xù)的實(shí)現(xiàn)自動(dòng)跟蹤焊接奠定了基礎(chǔ)。

參考文獻(xiàn):

[1] U Reisgen,M Purrio,G Buchholz,et al.Machine vision system for online weld pool observation of gas metal arc welding processes[J].Weld World,2014,58(5):707-711.

[2] SUN Nongliang,CUI Hongxing,LIANG Shaohua,et al.Method for initial point positioning of micro butt welding seam[J].Optics and Precision Engineering,2017,25(3):765-771.(in Chinese)

孫農(nóng)亮,崔紅星,梁少華,等.微細(xì)對(duì)接焊縫初始點(diǎn)定位方法[J].光學(xué) 精密工程,2017,25(3):765-771.

[3] Haiyong Chen,KunLiu,GuanshengXing,et al.A robust visual servo control system for narrow seam double head welding robot[J].Int J Adv Manuf Technol,2014,71:1849-1860.

[4] Shi YH,Yoo WS,Na SJ.Mathematical modeling of rotational arc sensor in GMAW and its applications to seam tracking and endpoint detection[J].Sci Technol Weld Joining,2006,(11):723-730.

[5] Xu Y L,Zhong J Y,Ding M Y,et al.Chen SB(2013)The acquisition and processing of real-time information for height tracking of robotic GTAW process by arc sensor[J].Int J Adv Manuf Technol,2013,65:1031-1043.

[6] LI Xianxi,XIONG Zhenyu.Idetification of Image characters for multi-pass welding seam based on vision sensing[J].Journal of Nanchang Hangkong University:Natural Sciences,2011,(1):53-57.(in Chinese)

黎咸西,熊震宇.基于視覺傳感的多層多道焊縫圖像特征的識(shí)別[J].南昌航空大學(xué)學(xué)報(bào):自然科學(xué)版,2011,(1):53-57.

[7] HUO Ping,LI Junmeng,ZENG Hanlin,et al.The real-time image processing V-shaped seam method based on a structure light[J].Electric Welding Machine,2014,44(12):55-60.(in Chinese)

霍平,李軍萌,曾翰林,等.一種基于結(jié)構(gòu)光的V型焊縫實(shí)時(shí)圖像處理方法[J].電焊機(jī),2014,44(12):55-60.

[8] YANG Xuejun,XUYanling,HUANGSeji,et al.A recognition algorithm for feature point of V-Groove welds based on structured light[J].Journal of Shanghai JiaoTong University,2016,50(10):1573-1576.(in Chinese)

楊雪君,許燕玲,黃色吉,等.一種基于結(jié)構(gòu)光的V型坡口焊縫特征點(diǎn)識(shí)別算法[J].上海交通大學(xué)學(xué)報(bào),2016,50(10):1573-1576.

[9] Wei Huang,RadovanKovacevic.A Laser-Based Vision System for Weld Quality Inspection[J].Sensors 2011,11,506-521.

[10] Xuewu Wang.Three-dimensional vision-based sensing of GTAW:areview[J].Int J Adv Manuf Technol,2014,72:333-345.

[12] Khalid M Hosny.Robust template matching using orthogonal legendre moment invariants[J].Journal of Computer Science,2010,6(10):1083-1087.

[13] ZHU Lijuan.Novel corner detection algorithm incorporating bilateral kernel function[J].Laser & Infrared,2013,43(5):569-572.(in Chinese)

朱麗娟.一種雙邊核函數(shù)的新Harris角點(diǎn)檢測(cè)算法[J].激光與紅外,2013,43(5):569-572.

[14] ZOU Zhiyuan,AN Bowen,CAO Fang,etal.Adaptive corner point detection of infrared images[J].Laser & Infrared,2015,45(10):1272-1276.(in Chinese)

鄒志遠(yuǎn),安博文,曹芳,等.一種自適應(yīng)紅外圖像角點(diǎn)檢測(cè)算法[J].激光與紅外,2015,45(10):1272-1276.