喬峰麗,苗鴻賓,2,紀(jì)慧君,張偉,蘇赫朋

(1.中北大學(xué)機(jī)械工程學(xué)院,山西太原 030051； 2.山西省深孔加工工程技術(shù)研究中心， 山西太原 030199)

0 前言

智能制造的出現(xiàn)和發(fā)展使得機(jī)械臂成為工業(yè)領(lǐng)域生產(chǎn)制造等自動(dòng)化生產(chǎn)任務(wù)的主力，因此機(jī)械臂智能制造相關(guān)技術(shù)的研究具有重要意義。目前機(jī)械臂的抓取方式普遍使用離線編程,存在視覺(jué)識(shí)別準(zhǔn)確率低以及自主避障能力弱等問(wèn)題。人類即使在復(fù)雜變化的環(huán)境中也可以本能、準(zhǔn)確、穩(wěn)定、快速地執(zhí)行抓取任務(wù)，但這對(duì)于機(jī)械臂來(lái)說(shuō)仍然是一項(xiàng)具有挑戰(zhàn)性的工作[1]。機(jī)械臂運(yùn)動(dòng)學(xué)模型是機(jī)械臂本體多關(guān)節(jié)之間的坐標(biāo)系轉(zhuǎn)換，但機(jī)械臂本體無(wú)法做到自主檢測(cè)到空間中某個(gè)物體，因此需要求解世界坐標(biāo)系與視覺(jué)相機(jī)所在坐標(biāo)系的位置關(guān)系，最終實(shí)現(xiàn)機(jī)械臂在視覺(jué)相機(jī)的輔助下抓取物體[2-3]。傳統(tǒng)標(biāo)定方法存在標(biāo)定誤差大、精度低以及標(biāo)定過(guò)程復(fù)雜的問(wèn)題[4-5]，本文作者針對(duì)以上問(wèn)題提出了一種面向數(shù)字孿生的手眼標(biāo)定方法，保證了工件抓取的識(shí)別精度和抓取精度以及對(duì)環(huán)境中障礙物的識(shí)別和躲避功能。

1 機(jī)械臂手眼標(biāo)定方法

1.1 機(jī)械臂結(jié)構(gòu)參數(shù)

文中研究對(duì)象為六自由度串聯(lián)型機(jī)械臂。該型機(jī)械臂具有外形結(jié)構(gòu)、體積輕巧的優(yōu)良特點(diǎn)，尤其在小單元范圍中能夠保持高精度和高速作業(yè)，最大載質(zhì)量為6 kg，在自動(dòng)化生產(chǎn)線中具有良好的工作表現(xiàn)。工業(yè)機(jī)械臂本體及連桿坐標(biāo)系如圖1所示。

圖1 JL8工業(yè)機(jī)械臂

1.2 手眼標(biāo)定方法

在進(jìn)行手眼標(biāo)定實(shí)驗(yàn)之前，需要確定TCP標(biāo)定精度。根據(jù)線性空間相鄰坐標(biāo)系變換原則[6]，機(jī)械臂末端相對(duì)于基座的坐標(biāo)變換映射如下：

(1)

當(dāng)增加工具坐標(biāo)系用來(lái)標(biāo)定實(shí)驗(yàn)時(shí)，上式坐標(biāo)變換改寫(xiě)為

(2)

當(dāng)操作機(jī)械臂使末端標(biāo)定針以不同姿態(tài)與標(biāo)定臺(tái)標(biāo)定針標(biāo)定2次時(shí)，根據(jù)上式有：

(3)

按照上述模式列出多次標(biāo)定次數(shù)下的齊次方程組為

(4)

化簡(jiǎn)上式有：

(5)

結(jié)合2次標(biāo)定求解TCP原理，從上式可以看出，當(dāng)且僅當(dāng)上式系數(shù)矩陣滿秩的情況下才能保證有唯一解。

根據(jù)曲線擬合中最小二乘法原則[7]，上述擬合非齊次線性方程組問(wèn)題等價(jià)為

(6)

判斷上述精度問(wèn)題可以用式(7)描述：

(7)

文中機(jī)械臂視覺(jué)相機(jī)的安裝方式是固定在機(jī)械臂以外的固定位置，故需確定機(jī)械臂坐標(biāo)系和相機(jī)所在坐標(biāo)系之間的位置關(guān)系。為了便于后續(xù)論述，現(xiàn)規(guī)定世界坐標(biāo)系為Base，機(jī)械臂末端執(zhí)行器相對(duì)于基座所在的坐標(biāo)系為B-end，相機(jī)坐標(biāo)系為Camera，標(biāo)定臺(tái)所在坐標(biāo)系為Object。各坐標(biāo)系相對(duì)位置如圖2所示。

圖2 機(jī)械臂手眼標(biāo)定相對(duì)位置關(guān)系

可以看出，相機(jī)和機(jī)械臂基座坐標(biāo)系是固定不變的，同樣標(biāo)定臺(tái)相對(duì)于機(jī)械臂末端之間的坐標(biāo)變換也是不變的。故存在以下不變量：

(8)

當(dāng)機(jī)械臂進(jìn)行2次運(yùn)動(dòng)，相機(jī)運(yùn)動(dòng)2次時(shí)有：

TB-end1→BaseTBase→CameraTCamera→Object1=TB-end2→Base·

TBase→CameraTCamera→Object2

(9)

對(duì)式(9)化簡(jiǎn)后為

(TB-end2→Base)-1TB-end1→BaseTBase→Camera=TBase→Camera·TCamera→Object2(TCamera→Object1)-1

(10)

為了簡(jiǎn)化公式，令：

AB=(TB-end2→Base)-1TB-end1→Base

X=TBase→Camera

B=TCamera→Object2(TCamera→Object1)-1

簡(jiǎn)化后的式(10)改寫(xiě)為

ABX=XB

(11)

上述方程為齊次線性方程組的求解，其中具有代表性的解法為李群代數(shù)求解法[8]。文中為了得到唯一解采用取值法，即分別移動(dòng)機(jī)械臂和相機(jī)3次進(jìn)行標(biāo)定實(shí)驗(yàn)，得到機(jī)械臂基座相對(duì)于末端執(zhí)行器的3次坐標(biāo)變換：

(12)

以及3次相機(jī)標(biāo)定相對(duì)于初始位置的坐標(biāo)變換：

(13)

由于上述坐標(biāo)變換為已知，根據(jù)一一對(duì)應(yīng)關(guān)系可求解TBase→TCamera，即機(jī)械臂基座相對(duì)于相機(jī)的坐標(biāo)變換。值得注意的是，由于實(shí)驗(yàn)室機(jī)械臂的特殊安裝方式和便于簡(jiǎn)化計(jì)算，此實(shí)驗(yàn)的機(jī)械臂世界坐標(biāo)系和機(jī)械臂第2個(gè)連桿所在的坐標(biāo)系重合。

由于通過(guò)3D相機(jī)掃描出來(lái)的點(diǎn)云生成的模型不完整[9]，在抓取過(guò)程中只能識(shí)別單面，而希望當(dāng)工件無(wú)序擺放時(shí)，只有正面朝上工件能被識(shí)別抓取，反面朝上則不能抓取工件。所以選擇3D掃描儀生成的模型進(jìn)行后續(xù)抓取點(diǎn)以及抓取位姿的標(biāo)定。通過(guò)掃描得到的某待抓取物3D點(diǎn)云和3D掃描儀生成的點(diǎn)云如圖3所示。

圖3 點(diǎn)云圖像

2 機(jī)械臂數(shù)字孿生模型

文中以JL8工業(yè)機(jī)械臂作為研究對(duì)象構(gòu)建了針對(duì)工件抓取的視覺(jué)抓取系統(tǒng)。文中構(gòu)建的數(shù)字孿生數(shù)據(jù)流分為交互層、數(shù)據(jù)處理層和數(shù)據(jù)傳輸層。根據(jù)分層策略規(guī)則各層數(shù)據(jù)遵循向下可見(jiàn)原則[10-11]。交互層包括示教器示教物理空間以及虛擬空間中的機(jī)械臂，使它能夠移動(dòng)、抓取、顯示實(shí)時(shí)環(huán)境狀況、碰撞檢測(cè)等功能，數(shù)據(jù)處理層負(fù)責(zé)機(jī)械臂正逆解求解、路徑生成、最短路徑計(jì)算、工件識(shí)別、工件抓取點(diǎn)計(jì)算、指令生成，數(shù)據(jù)傳輸層負(fù)責(zé)虛擬孿生環(huán)境和物理空間之間數(shù)據(jù)的交換、傳輸。數(shù)字孿生系統(tǒng)框架如圖4所示。

圖4 機(jī)械臂數(shù)字孿生框架Fig.4 Digital twin frame of manipulator

物理機(jī)械臂系統(tǒng)是由機(jī)械臂實(shí)體、視覺(jué)相機(jī)、各種傳感器、待抓取工件以及控制器組成。物理機(jī)械臂抓取過(guò)程可以實(shí)時(shí)映射到虛擬孿生系統(tǒng)中，同時(shí)物理機(jī)械臂在執(zhí)行任務(wù)過(guò)程中受到虛擬空間指令的控制。

虛擬機(jī)械臂系統(tǒng)是物理抓取系統(tǒng)在虛擬空間中多維度、全要素的鏡像。虛擬抓取系統(tǒng)不僅包含物理系統(tǒng)中的幾何模型、物理模型以及相關(guān)數(shù)據(jù)，還包含系統(tǒng)內(nèi)部的行為約束。通過(guò)虛擬系統(tǒng)對(duì)抓取任務(wù)的仿真、迭代優(yōu)化、實(shí)驗(yàn)驗(yàn)證以及和物理機(jī)械臂系統(tǒng)的實(shí)時(shí)信息交互、數(shù)據(jù)映射實(shí)現(xiàn)對(duì)物理機(jī)械臂系統(tǒng)的控制、預(yù)測(cè)。

信息服務(wù)平臺(tái)用來(lái)管理和組織整個(gè)抓取系統(tǒng)，通過(guò)與物理、孿生系統(tǒng)的數(shù)據(jù)交互實(shí)現(xiàn)抓取任務(wù)的優(yōu)化。物理機(jī)械臂抓取過(guò)程中產(chǎn)生的數(shù)據(jù)、虛擬機(jī)械臂抓取系統(tǒng)產(chǎn)生的仿真數(shù)據(jù)以及信息服務(wù)平臺(tái)產(chǎn)生的關(guān)系數(shù)據(jù)通過(guò)不斷優(yōu)化完善可以更好地驅(qū)動(dòng)三者之間的交互。

3 基于數(shù)字孿生的碰撞檢測(cè)框架

機(jī)械臂碰撞檢測(cè)通常與被抓取工件、機(jī)械臂本體以及環(huán)境中的其他元素有關(guān)，通過(guò)對(duì)物理空間機(jī)械臂本體的虛擬仿真實(shí)現(xiàn)了對(duì)真實(shí)環(huán)境的實(shí)時(shí)動(dòng)態(tài)感知，實(shí)現(xiàn)碰撞的實(shí)時(shí)檢測(cè)[12]。包圍盒的重疊思想是通過(guò)比對(duì)各方向的最大值和最小值來(lái)判斷碰撞可能[13-14]。首先需定義2個(gè)零部件的在空間中的區(qū)間范圍，若滿足如下條件則可判斷2個(gè)物體重疊：

xa-MIN≤xb≤xa-MAX

ya-MIN≤yb≤ya-MAX

za-MIN≤zb≤za-MAX

(14)

基于數(shù)字孿生的碰撞檢測(cè)框架如圖5所示。

圖5 基于數(shù)字孿生的機(jī)械臂碰撞檢測(cè)框架Fig.5 Collision detection framework of manipulator based on digital twinning

4 機(jī)械臂抓取實(shí)驗(yàn)

針對(duì)上述提出的手眼標(biāo)定和模板匹配方法引導(dǎo)工業(yè)機(jī)械臂進(jìn)行抓取實(shí)驗(yàn)的驗(yàn)證。此實(shí)驗(yàn)抓取對(duì)象為鑄鐵工件，工件隨意擺放在識(shí)別區(qū)域，通過(guò)激光線掃描工件的3D點(diǎn)云并與模板庫(kù)中的工件模板進(jìn)行匹配，根據(jù)手眼標(biāo)定方法計(jì)算抓取位姿并發(fā)送給機(jī)械臂完成抓取并放置工件的任務(wù)。其中的虛實(shí)環(huán)境的通信通過(guò)PLC協(xié)議使用ControlStudio獲取并發(fā)送關(guān)節(jié)數(shù)據(jù)到CoppeliaSim仿真平臺(tái)控制虛擬機(jī)械臂的運(yùn)動(dòng)。抓取過(guò)程中虛擬空間和上位機(jī)控制界面如圖6所示。

圖6 抓取過(guò)程演示Fig.6 Capture process demonstration：(a)virtual space; (b) control interface

為了增加機(jī)械臂系統(tǒng)處理難度,在機(jī)械臂工作區(qū)域隨意擺放3個(gè)工件，且其中1個(gè)為反面放置，另外2個(gè)工件傾斜放置。機(jī)械臂移動(dòng)到工件位置、調(diào)整抓取位姿如圖7所示。當(dāng)機(jī)械臂抓取工件后，要求它放置指定工位。由于工位的特殊性，要求機(jī)械臂以特定位姿放置。

圖7 機(jī)械臂調(diào)整示意Fig.7 Manipulator adjustment signal:(a) grasping position;(b) placement of workpiece

為了驗(yàn)證文中相機(jī)標(biāo)定方法和模板匹配方法的優(yōu)良性，將待抓取工件放置在工作區(qū)域，機(jī)械臂運(yùn)動(dòng)到抓取坐標(biāo)并讀取示教器中的坐標(biāo)與姿態(tài)。同時(shí)控制視覺(jué)相機(jī)掃描工作區(qū)域并記錄視覺(jué)系統(tǒng)中的工件抓取坐標(biāo)，計(jì)算兩者的距離作為誤差。實(shí)驗(yàn)采取了80組數(shù)據(jù)，其中5組數(shù)據(jù)如表1所示。

表1 精度與處理時(shí)間Tab.1 Precision and processing time

從實(shí)驗(yàn)結(jié)果可以看出，相較于傳統(tǒng)工業(yè)領(lǐng)域0.1 mm的標(biāo)定精度，文中提出的手眼標(biāo)定算法的定位精度在0.01～0.05 mm之間。因此，文中提出的方法具有抓取精度高、效率高、位置誤差小等優(yōu)勢(shì)。從視覺(jué)相機(jī)識(shí)別待抓取工件到機(jī)械臂開(kāi)始運(yùn)動(dòng)時(shí)間在5.2 s左右，為了保證視覺(jué)相機(jī)的準(zhǔn)確掃描，故設(shè)定相機(jī)掃描時(shí)間為5 s，計(jì)算抓取路徑時(shí)間為0.2 s左右。無(wú)序狀態(tài)下成功抓取工件并正確放置工件的成功率在100%。由于光照情況會(huì)影響相機(jī)對(duì)物體的識(shí)別，在不同光照條件下50次實(shí)驗(yàn)中的整體抓取成功率可達(dá)92%。

5 結(jié)語(yǔ)

根據(jù)實(shí)驗(yàn)室現(xiàn)有實(shí)驗(yàn)環(huán)境提出新的手眼標(biāo)定方法，對(duì)視覺(jué)標(biāo)定方法進(jìn)行了系統(tǒng)概述，給出了標(biāo)定方法的數(shù)學(xué)模型及基本原理，基于上述理論方法給出了手眼標(biāo)定基本操作流程，同時(shí)實(shí)現(xiàn)了物理空間和虛擬空間的實(shí)時(shí)交互功能，能夠更直觀地觀察實(shí)驗(yàn)情況，最后通過(guò)工件抓取實(shí)驗(yàn)驗(yàn)證了該方法的正確性。從實(shí)驗(yàn)結(jié)果可以看出：文中提出的手眼標(biāo)定方法引導(dǎo)機(jī)械臂抓取工件的方法精度高，具有良好的抓取性能，可以應(yīng)用在相關(guān)的精度要求高的工業(yè)領(lǐng)域。