胡嘉成，於雙飛，張濤，管貽生，朱海飛

(廣東工業(yè)大學,機電工程學院,廣州,510006)

0 序言

為了解決傳統(tǒng)機器人焊接無法應對工件裝夾偏差以及工件熱變形等問題，多種傳感方法得到廣泛研究與應用，尤其是視覺傳感由于其獲取信息豐富且精度高，獲得高度關注，機器人焊接也從自動化焊接專用設備和示教-再現(xiàn)型機器人不斷向視覺輔助型機器人方向發(fā)展[1].

焊槍的空間姿態(tài)是機器人焊接中一個非常重要的因素.一方面，它是機器人運動控制參數(shù)中必須的參數(shù)之一；另一方面，為了滿足面向幾何與位置信息不確定工件的機器人焊接需求，需要根據(jù)不同焊縫的形貌、走向以及周圍環(huán)境對焊槍的空間姿態(tài)進行調整.目前，國內(nèi)外基于三維視覺傳感的機器人焊接研究主要集中在焊縫位置的提取方面，而對焊接姿態(tài)等考慮相對較少[2]，其中線結構光視覺傳感是使用最廣泛的視覺傳感器之一，且已能較好實現(xiàn)對單條焊縫的焊縫跟蹤[3].文獻[4]使用線結構光視覺傳感器掃描平面曲線焊縫,以工件點云擬合平面的法向量確定焊槍坐標系的z方向，以焊縫路點擬合曲線的切向量確定焊槍坐標系的x方向，但是該方法只能用于平面焊縫；Yu 等人[5]通過焊縫路點與兩側激光條紋上的點確定焊槍坐標系的z方向，通過考慮特征點始終在圖像視野內(nèi)確定焊槍坐標系的x方向，該方法能適應多種焊縫類型焊縫跟蹤過程中的焊槍姿態(tài)確定，但是沒有考慮前置傳感器與前方障礙物的碰撞問題.

線結構光視覺傳感是局部視覺傳感，為了面向幾何與位置信息不確定工件的機器人焊接，獲取更多環(huán)境與焊縫的信息，全局三維視覺傳感得到廣泛研究，并應用到機器人焊接.Li 等人[6]使用V 形焊縫兩側二維圖像邊緣的三維數(shù)據(jù)逐步確定焊槍空間姿態(tài)，適應性差；文獻[7-8]求解機器人焊槍姿態(tài)的方法是根據(jù)兩側母材點云平面的法向量逐步求解，因此只能適用于平面焊縫的焊槍姿態(tài)求解；Zhou 等人[9]使用RGB-D 相機獲取工件點云并提取焊縫路點，通過焊縫路點的法向量確定焊槍坐標系的z方向，然后逐步確定焊槍姿態(tài)，由于焊縫路點的法向量受點云質量影響非常大，因此該方法存在不足.

目前基于三維視覺傳感的焊縫路點處焊槍空間姿態(tài)確定方法存在著針對性強、適應性差等問題，且沒有考慮前置安裝在焊槍上的傳感器與前進方向障礙物的碰撞問題.

為了適應多種焊縫類型焊縫路點處的焊槍空間姿態(tài)確定，并考慮前置安裝的傳感器與前進方向障礙物碰撞問題，提出一種基于焊縫路點局部點云的焊槍空間姿態(tài)確定方法.通過焊縫路點前進方向前后和兩側不同搜索半徑的點云確定該路點處焊槍的偏擺和傾斜平面，從而確定該路點處適應工件局部環(huán)境的焊槍空間姿態(tài).以搭接、對接、角接和復雜空間曲線的管道相貫線焊縫為對象，進行焊槍空間姿態(tài)確定試驗，驗證了提出方法的適應性與有效性.

1 系統(tǒng)組成與焊槍空間姿態(tài)參數(shù)

1.1 系統(tǒng)組成

基于全局三維視覺傳感的機器人焊接系統(tǒng)能夠獲得更多環(huán)境和焊縫的三維信息.構建的基于RGB-D 相機的機器人焊接系統(tǒng)以及系統(tǒng)的相關坐標系如圖1 所示，相機型號為RealSense D435，機器人的型號為大族Elfin 5 協(xié)作型機器人.

圖1 系統(tǒng)坐標系Fig.1 Description of system coordinate system

機器人末端坐標系{E}相對于機器人基坐標系{B}下的變換關系可以直接通過機器人控制器得到，即；RGB-D 相機使用TSAI 手眼標定方法進行手眼標定可以得到相機相對于機器人末端的變換關系，即，因此可以直接將RGB-D 相機捕獲的工件點云CP轉換為機器人基坐標系下的點云BP，其中CP和BP為4 × 1的列矢量，是點的齊次坐標形式，計算式為

基于RGB-D 相機的機器人焊接系統(tǒng)面向幾何與位置信息不確定工件焊接的工作流程如下.通過RGB-D 相機獲取幾何與位置信息不確定工件的三維點云與圖像等數(shù)據(jù)，使用焊縫檢測算法提取焊縫路點三維數(shù)據(jù)，并對提取的焊縫路點分別進行焊槍空間姿態(tài)確定，從而得到幾何與位置信息不確定工件焊縫的焊縫路點三維位置和其對應的焊槍空間姿態(tài)，即可控制機器人，使焊槍以對應姿態(tài)逐步沿著焊縫路點運動，完成對幾何與位置信息不確定工件的焊接.

1.2 焊槍空間姿態(tài)參數(shù)

機器人焊接過程中焊槍的空間姿態(tài)是指焊槍坐標系相對于機器人基坐標系的姿態(tài)，坐標系的描述如圖1 所示，焊槍的坐標系建立在焊絲末端.為了使焊槍能適應焊縫路點處的工件局部環(huán)境，該路點處的焊槍空間姿態(tài)應由其所在位置的工件局部形貌而定.文獻[10-11]闡述了焊槍的空間位姿模型，描述了焊槍在待焊工件焊縫路點處相對于工件表面的空間姿態(tài)，其中描述焊槍在一確定焊縫路點的空間姿態(tài)比較重要的兩個參數(shù)為傾斜角α和偏擺角β.

傾斜角α是指焊槍軸線沿著焊接前進方向，即當前路點指向下一焊縫路點的方向前傾或后傾的角度，傾斜角一方面對具體的工藝有影響，另一方面對焊接機器人前置安裝在焊槍末端的傳感器與前方障礙物避免碰撞有重要影響.偏擺角β是指焊槍軸線相對于焊接前進方向兩側的待焊母材之間的偏擺角度.

對應上述的系統(tǒng)，焊槍空間姿態(tài)參數(shù)模型如圖2 所示.焊槍坐標系的z軸和x軸所形成的偏擺平面N 相對于焊接前進方向兩側母材的角度即為偏擺角β；焊槍坐標系z軸和y軸所形成的傾斜平面M 相對于焊接前進方向前后母材的傾斜角度即為傾斜角α.確定了偏擺平面N 與傾斜平面M，即可確定焊槍在當前路點的偏擺角β與傾斜角α，即可確定焊槍在當前路點的空間姿態(tài).

圖2 焊槍空間姿態(tài)參數(shù)模型Fig.2 Space pose parameter model of welding torch

2 焊槍空間姿態(tài)確定

2.1 點云采集與預處理

通過調整機器人的位姿，使幾何與位置信息不確定的待焊工件出現(xiàn)在RGB-D 相機視野內(nèi).通過RGB-D 相機采集現(xiàn)場工件的點云等圖像數(shù)據(jù)，并根據(jù)式(1)將相機坐標系下的點云變換到機器人基坐標系下.利用PCL(point cloud library)對采集的點云進行處理，首先使用直通濾波將機器人工作空間外的點云濾除，然后使用統(tǒng)計濾波器濾除測量噪聲導致的離群點.最后通過文獻[6,12-14]所提出的焊縫提取方法進行焊縫路點的提取，從而獲得待焊工件焊縫的三維路點信息，為機器人運動提供位置信息.

2.2 偏擺平面確定

對于一般焊接工藝，焊槍的偏擺平面多處于焊槍前進方向左右兩側母材夾角的角平分位置.確定焊槍坐標系在焊縫路點pi處的偏擺平面N的位置，即確定焊槍在pi處的偏擺角β.

焊槍在焊縫路點pi處的前進方向的單位向量ai可由焊槍下一焊縫路點pi+1(xi+1,yi+1,zi+1)與當前所在pi(xi,yi,zi)點三維坐標相減并單位化可得.為了使焊槍的姿態(tài)能夠適應焊縫路點處的局部環(huán)境，在pi點處以r1為半徑，使用kd-tree的最小半徑搜索，獲取焊縫路點pi處的局部點云數(shù)據(jù)，搜索的結果點集由psc，c∈{1,2,...,n}表示，r1取待焊板材厚度.

經(jīng)過pi點且垂直于前進向量ai的平面為Mt與pi點處的局部點集psc的交集點集，能夠清晰地反映出焊縫路點pi前進方向兩側待焊母材的局部形貌.

通過pi到psc的各向量與平面Mt的法向量ai的點乘為0 判斷psc點集中哪些點是在平面Mt上的.由于點云嚴格在平面上的數(shù)量非常少，因此δ表示閾值，當其值小于閾值時即認為是在平面Mt上，從而增加數(shù)據(jù)量，pi到psc各點的向量可以由pipsc表示，即

將在Mt平面上的點集保存，計算各點到pi點的距離，通過對距離排序以及不同方向的判別，可以找到Mt平面上點集在待焊母材兩側最遠的兩點plm和prm.

焊縫路點pi分別到plm和prm點的向量由于式(2)所設定的閾值的原因，從而可能沒有在平面Mt上.為了避免該偏差對偏擺平面的影響，piplm可投影到Mt平面上并單位化為pip′lm，同理piprm投影到Mt平面上并單位化為pip′rm.焊槍偏擺平面一般是兩側母材的角平分面，因此對投影后的向量進行單位化是為了避免向量的大小對偏擺向量pni運算結果產(chǎn)生較大的影響，計算式為

式中：pipm為待投影向量；n為投影平面的法向量；pip′m為向量投影到平面并單位化后的結果.

將pip′lm與pip′rm相 加并單位化即得焊縫路點pi在前進方向法平面Mt上兩側母材角平分的偏擺向量pni.前進向量ai與偏擺向量pni所形成的平面即是焊槍坐標系在pi處的偏擺平面N，如圖3 所示.

圖3 偏擺平面求解Fig.3 Solution of deflection plane

2.3 傾斜平面確定

傾斜平面的確定文中僅考慮焊槍前進方向前后母材的角平分位置，以及前置安裝在焊槍上的傳感器與前方障礙物避免碰撞的問題，對于需要焊槍前傾和后傾的具體工藝可以在結果確定后進行指定傾斜角度的補償.確定焊槍坐標系在焊縫路點pi處的傾斜平面M的位置即確定焊槍在pi處的傾斜角α.

焊縫路點pi處的偏擺平面N的法向量(nni)可以有前進向量(ai)和偏擺向量(pni)叉乘得到，即

在pi點處以r2為搜索半徑使用kd-tree的最小半徑搜索，搜索的結果點集使用式(2)進行判別，篩選出前進方向前后以r2為半徑的局部點云在偏擺平面N 上的點云集合，反映了在焊縫路點沿前進方向前后待焊母材的相關形貌.同理計算在偏擺平面N 上的各個點到pi點的距離，分別找到距pi點前后方向最遠的兩點pfm和pbm.

使用式(3)將pipfm與pipbm投影到偏擺平面N 上并單位化后，結果分別為pip′fm與pip′bm.pip′fm與pip′bm相加得到的即是焊縫路點pi處偏擺平面N 上與焊接方向前后母材角平分的傾斜向量pmi.pmi與偏擺平面N的法向量nni所組成的平面即為傾斜平面M，如圖4 所示.

圖4 傾斜平面求解Fig.4 Solution of inclined plane

對于前置安裝在焊槍上的傳感器與前方障礙物之間的避免碰撞問題，主要是通過合理設置搜索半徑r2來完成.r2應大于傳感器相對于焊槍軸線的前置安裝距離，當前方障礙物到焊縫路點的距離小于r2時使用上述的傾斜平面確定方法進行求解.傾斜平面會相對于障礙物向后傾斜，且距障礙物越近傾斜角度越大，從而使焊槍可達障礙物附近的焊縫路點，且能避免了前置安裝的傳感器與前方障礙物的碰撞，如圖5 所示.

圖5 前置安裝傳感器避碰示意圖Fig.5 Diagram of front-mounted sensor collision avoidance

2.4 焊槍坐標系確定

確定了pi點處焊槍坐標系的偏擺平面和傾斜平面后，通過確定焊槍在焊縫路點pi處的坐標系，并對應到機器人基坐標系即可得到焊槍在焊縫路點pi處考慮局部環(huán)境信息的無碰空間姿態(tài).焊槍坐標系的確定具體步驟如下.

(1)z軸的確定.焊槍坐標系的z軸單位向量zi與傾斜向量pmi共線，由于傾斜向量的方向受到工件點云局部形貌凹凸性的影響，因此z軸的方向判斷還需根據(jù)pi點朝向視點的法向量ni判斷，確保焊槍朝向正確.

(2)y軸的確定.焊槍坐標系的y軸單位向量為yi，其為前進向量ai與zi叉乘后單位化的結果，即

(3)x軸的確定.焊槍坐標系的x軸單位向量為xi，可由右手定則確定，即

得到pi點處焊槍坐標系各軸的單位向量后，可投影到機器人基坐標系xb=(1,0,0)，yb=(0,1,0)，zb=(0,0,1)下可得pi點處焊槍坐標系相對于機器人基坐標系的旋轉矩陣為

從而確定了焊槍在焊縫路點pi處相對于機器人基坐標系下的無碰空間姿態(tài).

3 試驗結果與分析

采用上述提到的RGB-D 相機與大族Elfin5 組成的機器人焊接系統(tǒng)進行試驗，使用PCL 對點云進行處理，使用Eigen 庫完成向量與矩陣相關的運算.對搭接、對接、角接三種典型焊縫以及復雜空間曲線的管道相貫線焊縫進行試驗，驗證研究方法的適應性與有效性.

I 形對接焊縫(圖6)由于其焊縫接觸緊密，且沒有溝槽等明顯的幾何特點，在三維點云層面幾乎很難直接區(qū)分焊縫路點，但是焊縫的二維圖像特征比較明顯，因此采用文獻[6,13]所提到的二維焊縫圖像邊緣對齊到深度圖像的方法，獲取焊縫路點的三維信息.然后使用所提方法確定焊槍的空間姿態(tài)，對接焊縫的焊槍空間姿態(tài)確定結果如圖6(c)所示.

圖6 對接焊縫Fig.6 Butt weld.(a) RGB image of workpiece; (b) point clouds and weld waypoints; (c) determination results of welding torch space pose

搭接焊縫和角接焊縫(圖7 和圖8)在二維圖像與三維點云層面均有明顯的圖像與幾何特征，因此不管是采用二維圖像到深度圖像的對齊，還是直接從三維點云層面進行檢測提取都是可行的.試驗中采用文獻[14]的方法，直接從工件三維點云中檢測提取焊縫路點的三維數(shù)據(jù)，然后使用所提方法確定焊槍空間姿態(tài)，結果分別如圖7(c)和圖8(c)所示.

圖7 搭接焊縫Fig.7 Lap weld.(a) RGB image of workpiece; (b) point clouds and weld waypoints; (c) determination results of welding torch space pose

圖8 角接焊縫Fig.8 Fillet weld.(a) RGB image of workpiece; (b) point clouds and weld waypoints; (c) determination results of welding torch space pose

管道相貫線焊縫(圖9)屬于復雜空間曲線焊縫，試驗中可采用文獻[6,13]所提到的從二維圖像到深度圖像對齊的方法獲取單視野下管道相貫線焊縫路點三維數(shù)據(jù)，然后使用所提研究方法確定焊槍的空間姿態(tài)，姿態(tài)確定結果如圖9(b)所示.

圖9 管道相貫線焊縫Fig.9 Pipe weld.(a) point clouds and weld waypoints;(b) determination results of welding torch space pose; (c) robot motion process

管道相貫線類型焊縫由于其較為復雜，焊縫路點處焊槍的真實空間姿態(tài)難以確定，因此不對其作偏差分析，機器人實際運動過程如圖9(c)所示.對于搭接、對接和角接三類焊縫的焊槍真實姿態(tài)可以得到，即對接為垂直向下，搭接和角接為斜45°向下，均處于焊縫路點處母材兩側與前后的角平分處.將均布的30 個焊縫路點處確定的焊槍空間姿態(tài)與真實姿態(tài)做比較，得到的偏擺平面與傾斜平面偏差如圖10 和圖11 所示，其中以焊槍前進方向向左偏擺為偏擺的正方向，以焊槍前進方向向前傾斜為傾斜的正方向.

圖10 偏擺平面偏差Fig.10 Deflection plane deviation

圖11 傾斜平面偏差Fig.11 Inclined plane deviation

上述對幾種典型類型的焊縫進行了焊槍空間姿態(tài)確定試驗，從試驗結果可以體現(xiàn)基于焊縫路點局部點云的焊槍空間姿態(tài)確定方法適應性強、有效性好，對多種典型類型的焊縫均能有效確定焊槍在焊縫路點處適應工件局部環(huán)境的空間姿態(tài).在姿態(tài)確定精度上，管道相貫線焊縫從姿態(tài)確定效果以及機器人實際運動效果觀感上是滿足需求的.對于三類典型焊縫由于工件點云表面凹凸不平質量一般，對接和角接焊縫的偏擺平面偏差均在±10°以內(nèi)，搭接焊縫的偏擺平面偏差最大為12.4°.傾斜平面的偏差均在±10°以內(nèi)，主要傾斜偏差出現(xiàn)在焊縫的起始與終止部分路點處，是由工件表面與工作臺存在高度差導致.

姿態(tài)確定的精度與RGB-D 相機采集工件點云表面的質量關系密切.由于消費級RGB-D 相機精度有限，點云質量一般，導致在連續(xù)焊縫路點間計算得到的焊槍姿態(tài)存在一定波動.為避免這些波動造成機器人運動不平滑，一方面，可以對確定的姿態(tài)進行平滑處理，然后再用于控制機器人完成焊接任務；另一方面，可對工件的原始點云進行平滑后再進行焊槍空間姿態(tài)的確定，從而減小波動幅度.另外基于消費級RGB-D 相機數(shù)據(jù)的焊縫位置的提取精度難以滿足工業(yè)精度要求，后續(xù)可以利用焊縫提取的結果和文中方法確定的焊槍空間姿態(tài)結果粗略引導機器人運動，然后借助成熟的激光視覺技術進行精確的位置糾偏[15].可有望提升基于全局三維視覺傳感面向幾何與位置信息不確定工件的機器人自主焊接作業(yè)水平.

4 結論

(1) 提出了基于焊縫路點局部點云的焊槍空間姿態(tài)確定方法，通過焊縫路點前進方向兩側與前后的局部點云，確定焊槍在該路點處的偏擺平面和傾斜平面，從而確定了焊槍在該路點處的空間姿態(tài).

(2) 通過考慮傳感器的前置安裝距離確定局部點云的搜索半徑，確定的焊槍空間姿態(tài)能使其在焊縫路點可達的前提下，前置安裝的傳感器不會與前面的障礙物發(fā)生碰撞.

(3) 對幾類典型焊縫進行試驗，結果表明基于焊縫路點局部點云的焊槍空間姿態(tài)確定方法適應性強、有效性好，能滿足基于全局三維視覺傳感的機器人焊接中焊縫路點的焊槍空間姿態(tài)自主確定需求.