張 楊,何新君

（1．上海城建職業(yè)學(xué)院 機(jī)電工程與信息學(xué)院，上海 201415；2．上海發(fā)那科機(jī)器人有限公司 上海發(fā)那科技術(shù)學(xué)院，上海 201906）

1 引言

工業(yè)機(jī)器人的機(jī)器視覺(jué)就能夠?yàn)楣ぷ鬟^(guò)程中的機(jī)器人獲取并提供圖像，便于分析生產(chǎn)流水線與環(huán)境，提高其自主性和穩(wěn)定性，因此工業(yè)機(jī)器人的視覺(jué)跟蹤控制系統(tǒng)成為了近些年的主要研究?jī)?nèi)容。

國(guó)內(nèi)有學(xué)者作出一定的研究成果。如文獻(xiàn)[1]中，為了解決焊接機(jī)器人在工作過(guò)程中受到弧光干擾的問(wèn)題，引入了與焊縫相關(guān)的核濾波跟蹤算法，在焊縫跟蹤的過(guò)程中保證跟蹤效果實(shí)時(shí)、精確、可靠。在設(shè)計(jì)過(guò)程中采用大量正負(fù)樣本進(jìn)行訓(xùn)練，完成高斯核函數(shù)空間的映射后進(jìn)行計(jì)算，構(gòu)建樣本循環(huán)矩陣，通過(guò)傅里葉變換簡(jiǎn)化計(jì)算，并在系統(tǒng)中嵌入算法，提高焊接過(guò)程中的跟蹤和糾偏的實(shí)時(shí)性。文獻(xiàn)[2]中首先訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，然后去計(jì)算視頻圖像中的每個(gè)傳輸圖像，得到圖像深度信息以及相關(guān)估計(jì)，完成機(jī)器人在工作區(qū)域中目標(biāo)區(qū)域的識(shí)別，還能夠?qū)δ繕?biāo)的運(yùn)動(dòng)跟蹤方向完成標(biāo)記。文獻(xiàn)[3]中利用顏色特征確定圓形光點(diǎn)，在利用雙目視覺(jué)獲取靶點(diǎn)特征圖像，并代入OpenCV技術(shù)函數(shù)庫(kù)中，光流法進(jìn)行函數(shù)匹配后，二值化閾值處理并分割背景與目標(biāo)，實(shí)現(xiàn)了目標(biāo)的視覺(jué)跟蹤定位。以上用于工業(yè)機(jī)器人的視覺(jué)跟蹤控制的系統(tǒng)都在實(shí)際應(yīng)用中取得了良好的效果，但是這些跟蹤控制系統(tǒng)在輸入控制信號(hào)后存在滯后響應(yīng)，由此導(dǎo)致的時(shí)間延遲會(huì)造成機(jī)器人在實(shí)際應(yīng)用中抓取精度較低，因此本文設(shè)計(jì)一種基于時(shí)延補(bǔ)償機(jī)理的工業(yè)機(jī)器人視覺(jué)跟蹤控制系統(tǒng)。

2 工業(yè)機(jī)器人視覺(jué)跟蹤控制系統(tǒng)

2.1 硬件設(shè)計(jì)

對(duì)于工業(yè)機(jī)器人視覺(jué)跟蹤控制系統(tǒng)來(lái)說(shuō)，系統(tǒng)中所帶有的攝像機(jī)視覺(jué)系統(tǒng)是重要的信息獲取工具。通過(guò)攝像機(jī)采集到目標(biāo)物體的運(yùn)動(dòng)信息，對(duì)于工業(yè)機(jī)器人的識(shí)別、抓取是重要的依據(jù)。因此在系統(tǒng)的硬件設(shè)計(jì)中對(duì)于攝像機(jī)的參數(shù)進(jìn)行標(biāo)定，能夠給系統(tǒng)提供更可靠的目標(biāo)信息，對(duì)于提高機(jī)器人的抓取成功率也有一定幫助[3]。本文的系統(tǒng)在硬件設(shè)計(jì)中，需要通過(guò)一系列的計(jì)算對(duì)攝像機(jī)的外部參數(shù)進(jìn)行標(biāo)定。標(biāo)定的依據(jù)主要是依靠攝像機(jī)、工業(yè)機(jī)器人各自所在的坐標(biāo)系之間存在的關(guān)系進(jìn)行研究和確定，兩坐標(biāo)系之間的關(guān)系如下圖所示。

在兩個(gè)坐標(biāo)系相互轉(zhuǎn)換的過(guò)程中，涉及攝像機(jī)的內(nèi)部參數(shù)，在忽略由于環(huán)境導(dǎo)致的攝像機(jī)畸變問(wèn)題時(shí)，參數(shù)可以表示為：

上式中，M表示內(nèi)部參數(shù)，u0、v0是圖像中的中心坐標(biāo)，ax是u方向上的尺度因子，ay是v方向上的尺度因子。在兩坐標(biāo)的轉(zhuǎn)換過(guò)程中，經(jīng)過(guò)旋轉(zhuǎn)矩陣的計(jì)算，將兩個(gè)坐標(biāo)系的標(biāo)記結(jié)果歸一化[4]，對(duì)于攝像機(jī)參數(shù)的標(biāo)定有指導(dǎo)意義。至此完成系統(tǒng)中的硬件設(shè)計(jì)。

2.2 軟件設(shè)計(jì)

2.2.1 工業(yè)機(jī)器人運(yùn)動(dòng)建模

根據(jù)工業(yè)機(jī)器人的結(jié)構(gòu)和參數(shù)，在連桿變化及其運(yùn)動(dòng)方程的基礎(chǔ)上，構(gòu)建機(jī)器人的參考坐標(biāo)系及各關(guān)節(jié)的坐標(biāo)系，而其自身具有的獨(dú)立坐標(biāo)軸運(yùn)動(dòng)的數(shù)量決定了機(jī)器人的運(yùn)動(dòng)自由度，通常工業(yè)機(jī)器人采用六個(gè)自由度，對(duì)精度、速度、穩(wěn)定性等要求很高。工業(yè)機(jī)器人的轉(zhuǎn)動(dòng)關(guān)節(jié)和連桿在工作過(guò)程中，會(huì)涉及相對(duì)坐標(biāo)的變換，例如平移、旋轉(zhuǎn)、齊次變換等[5]。對(duì)于平移和旋轉(zhuǎn)變換來(lái)說(shuō)，是坐標(biāo)的整體變換，在此不一一敘述。針對(duì)齊次變換來(lái)說(shuō)，假設(shè)一組關(guān)節(jié)點(diǎn)p，且該點(diǎn)存在的直角坐標(biāo)系中的位置描述寫(xiě)作下式：

在經(jīng)過(guò)齊次變換后，得到的該關(guān)節(jié)在齊次坐標(biāo)系中的坐標(biāo)描述為：

上式中，a，b，c分別表示坐標(biāo)系中三條坐標(biāo)軸上的相應(yīng)矢量，Trans表示的是坐標(biāo)系之間的平移齊次變換。對(duì)于建立的工業(yè)機(jī)器人運(yùn)動(dòng)模型來(lái)說(shuō)，需要表示出機(jī)械臂中運(yùn)動(dòng)連桿部分的運(yùn)動(dòng)機(jī)理以及內(nèi)在聯(lián)系，對(duì)于機(jī)械臂在運(yùn)動(dòng)過(guò)程中活動(dòng)的連桿，其坐標(biāo)系之間的變換可以視為齊次坐標(biāo)變換[6]，此時(shí)可以通過(guò)得到的齊次坐標(biāo)變換矩陣進(jìn)行描述。由此，通過(guò)一個(gè)4×4 的齊次變換矩陣描述了相鄰的兩個(gè)連桿之間的關(guān)系。

假設(shè)齊次坐標(biāo)變換矩陣A1對(duì)工業(yè)機(jī)器人的第一個(gè)連桿進(jìn)行描述，A2對(duì)工業(yè)機(jī)器人的第二個(gè)連桿進(jìn)行描述，那么第二個(gè)連桿在基坐標(biāo)系中的位姿就可以表示為：

同理，可以推出工業(yè)機(jī)器人若干個(gè)連桿位姿的表示公式，即工業(yè)機(jī)器人的正運(yùn)動(dòng)學(xué)公式為：

式中，ALi表示第i個(gè)連桿模塊的輸出坐標(biāo)系相對(duì)輸入坐標(biāo)系的變換矩陣表示第i個(gè)關(guān)節(jié)模塊的輸出坐標(biāo)系相對(duì)輸入坐標(biāo)系的旋轉(zhuǎn)變換矩陣；表示第i個(gè)關(guān)節(jié)模塊的輸出坐標(biāo)系相對(duì)輸入坐標(biāo)系的初始旋轉(zhuǎn)變換矩陣；φi表示第i個(gè)關(guān)節(jié)在自身坐標(biāo)系中的運(yùn)動(dòng)旋量；qi表示第i個(gè)關(guān)節(jié)模塊輸出坐標(biāo)系相對(duì)輸入坐標(biāo)系的旋轉(zhuǎn)角度。公式(6)主要描述了連桿和關(guān)節(jié)之間相對(duì)于極坐標(biāo)系的位姿計(jì)算，根據(jù)各連桿模塊和關(guān)節(jié)模塊的矩陣連乘即可得到運(yùn)動(dòng)學(xué)正解的指數(shù)積公式。

2.2.2 引入時(shí)延補(bǔ)償算法

通過(guò)上述構(gòu)建了工業(yè)機(jī)器人的運(yùn)動(dòng)學(xué)模型，可通過(guò)雙目視覺(jué)系統(tǒng)控制運(yùn)動(dòng)點(diǎn)的位移、速度和加速度，規(guī)劃?rùn)C(jī)器人的運(yùn)動(dòng)軌跡，實(shí)現(xiàn)工業(yè)機(jī)器人的作業(yè)控制。但在工業(yè)機(jī)器人視覺(jué)跟蹤控制系統(tǒng)中，存在通信過(guò)程，不可避免會(huì)出現(xiàn)時(shí)延問(wèn)題。網(wǎng)絡(luò)時(shí)延是影響工業(yè)機(jī)器人在抓放作業(yè)、弧焊和曲面加工作業(yè)等方面成功率的主要影響因素。因此，本文提出引入時(shí)延補(bǔ)償算法，補(bǔ)償工業(yè)機(jī)器人關(guān)節(jié)控制時(shí)間，使關(guān)節(jié)在運(yùn)動(dòng)起點(diǎn)到終點(diǎn)的過(guò)程能夠平滑過(guò)渡[7]。

在當(dāng)前時(shí)刻k之前，工業(yè)機(jī)器人的關(guān)節(jié)控制共發(fā)生了n次網(wǎng)絡(luò)時(shí)延，其中最大值和最小值為tmax和tmin，平均時(shí)延為，△t表示當(dāng)前時(shí)刻時(shí)延tk與平均時(shí)延的差值，該差值的最大值和最小值分別為△tmax和△tmin。由此可以推算將區(qū)間均勻劃分為l個(gè)子區(qū)間，將區(qū)間[△tmin，△tmax]均勻劃分為m個(gè)子區(qū)間，經(jīng)過(guò)模糊控制的工業(yè)機(jī)器人關(guān)節(jié)控制補(bǔ)償輸出為：

式中，A，B，C表示一定維數(shù)的常數(shù)矩陣，xk表示當(dāng)前時(shí)刻關(guān)節(jié)狀態(tài)變量，uk表示當(dāng)前時(shí)刻關(guān)節(jié)控制輸入變量，ri表示第i條模糊規(guī)則，i=1，2，…，lm。

該補(bǔ)償算法對(duì)于工業(yè)機(jī)器人這種非線性時(shí)變的系統(tǒng)來(lái)說(shuō)，更加適用。

2.2.3 視覺(jué)跟蹤控制

在對(duì)工業(yè)機(jī)器人進(jìn)行模糊時(shí)延補(bǔ)償后，能夠以較優(yōu)越的實(shí)時(shí)性進(jìn)行工業(yè)機(jī)器人控制信號(hào)傳輸，在接受控制信號(hào)后，需要對(duì)信號(hào)進(jìn)行處理，實(shí)現(xiàn)機(jī)器人視覺(jué)跟蹤的控制輸出。

在工業(yè)機(jī)器人的模糊時(shí)延補(bǔ)償中，模糊控制的結(jié)構(gòu)主要是雙輸入單輸出。對(duì)于輸入變量來(lái)說(shuō)，一個(gè)是參考信號(hào)，另一個(gè)是輸出信號(hào)的變差變化情況。本文設(shè)計(jì)的工業(yè)機(jī)器人模糊控制示意圖如圖2所示。

對(duì)于偏差以及偏差的變量來(lái)說(shuō)，可以利用其語(yǔ)言值的模糊子集進(jìn)行表示[8]，其子集為{NB，NM，Z，PM，PB}，得到的工業(yè)機(jī)器人模糊判斷的規(guī)則矩陣為：

在工業(yè)機(jī)器人視覺(jué)跟蹤模糊控制中，為了簡(jiǎn)化過(guò)程，對(duì)于模糊控制器來(lái)說(shuō)，得到模糊輸出量，經(jīng)過(guò)解模糊轉(zhuǎn)化為清晰量，實(shí)現(xiàn)機(jī)器人視覺(jué)跟蹤的控制輸出。其中，輸入端和輸出端的增益量j設(shè)置為3 個(gè)，在系統(tǒng)的跟蹤控制過(guò)程中，可以對(duì)這3 個(gè)增益量進(jìn)行調(diào)節(jié)來(lái)控制隸屬度函數(shù)，得到機(jī)器人視覺(jué)跟蹤控制輸出如下：

式中，wj表示各模糊子集組成元素的權(quán)重，w'表示模糊輸出量。

3 系統(tǒng)性能測(cè)試

3.1 搭建系統(tǒng)測(cè)試環(huán)境

為了驗(yàn)證本文設(shè)計(jì)的基于時(shí)延補(bǔ)償機(jī)理的工業(yè)機(jī)器人視覺(jué)跟蹤控制系統(tǒng)在實(shí)際應(yīng)用過(guò)程中具有較好的性能，需要搭建合適的系統(tǒng)仿真測(cè)試環(huán)境，進(jìn)行抓取試驗(yàn)驗(yàn)證。設(shè)計(jì)的機(jī)器人視覺(jué)跟蹤控制系統(tǒng)的測(cè)試環(huán)境主要分為控制部分與交互部分。對(duì)于上位交互系統(tǒng)來(lái)說(shuō)，系統(tǒng)架構(gòu)中主要包括用戶層、應(yīng)用層和數(shù)據(jù)庫(kù)，并通過(guò)不同的實(shí)現(xiàn)方式對(duì)不同的機(jī)器人作業(yè)請(qǐng)求進(jìn)行處理，搭建的系統(tǒng)測(cè)試中上位交互結(jié)構(gòu)如下圖所示。

在性能測(cè)試實(shí)驗(yàn)中，主要是對(duì)機(jī)器人的視覺(jué)跟蹤控制性能進(jìn)行測(cè)試，跟蹤控制性能可以依靠識(shí)別和抓取兩部分進(jìn)行評(píng)價(jià)。在識(shí)別過(guò)程中，主要是發(fā)現(xiàn)、識(shí)別、測(cè)距，設(shè)計(jì)的識(shí)別與定位的物體詳細(xì)信息如表1所示：

表1 識(shí)別與定位目標(biāo)信息描述

計(jì)算出Hu不變矩和相應(yīng)的長(zhǎng)軸，完成對(duì)運(yùn)動(dòng)物體的形狀識(shí)別和姿態(tài)跟蹤。

3.2 性能測(cè)試過(guò)程設(shè)計(jì)

在以上的環(huán)境和數(shù)據(jù)參數(shù)下，首先進(jìn)行數(shù)據(jù)預(yù)處理，利用幀間差分法檢測(cè)運(yùn)動(dòng)物體。在整體的檢測(cè)過(guò)程中，在識(shí)別、測(cè)量過(guò)程中對(duì)不同角度的圖像進(jìn)行處理。在抓取過(guò)程中，當(dāng)目標(biāo)運(yùn)動(dòng)物體移動(dòng)出視覺(jué)范圍，跟蹤控制系統(tǒng)開(kāi)始進(jìn)行抓取，機(jī)器人在完成運(yùn)動(dòng)物體的測(cè)量之后，將得到的運(yùn)行速度視為初始速度，并沿著相同方向運(yùn)動(dòng)，實(shí)時(shí)獲取目標(biāo)物體的質(zhì)心位置與期望位置進(jìn)行對(duì)比，控制工業(yè)機(jī)器人作出相應(yīng)的動(dòng)作，當(dāng)?shù)竭_(dá)期望圖像的質(zhì)心位置后進(jìn)行抓取。為驗(yàn)證本文系統(tǒng)的性能，在相同實(shí)驗(yàn)環(huán)境下，選擇無(wú)時(shí)延補(bǔ)償?shù)南到y(tǒng)進(jìn)行對(duì)比，將結(jié)果進(jìn)行統(tǒng)計(jì)和分析。

3.3 實(shí)驗(yàn)結(jié)果對(duì)比與分析

在上述的實(shí)驗(yàn)環(huán)境下，對(duì)兩種系統(tǒng)的抓取誤差進(jìn)行統(tǒng)計(jì)，隨機(jī)選取相同時(shí)間下的兩系統(tǒng)在不同方向上的抓取誤差對(duì)比圖，結(jié)果如圖4所示。

圖4中，圖(a)為x方向上的實(shí)時(shí)誤差，圖(b)為y方向上的實(shí)時(shí)誤差，為了保證實(shí)驗(yàn)的可靠性，兩系統(tǒng)對(duì)不同的定位目標(biāo)分別進(jìn)行了1 000次抓取試驗(yàn)，得到的抓取成功次數(shù)結(jié)果如表2所示。

從表2的性能測(cè)試結(jié)果可知，本文提出的基于時(shí)延補(bǔ)償機(jī)理的工業(yè)機(jī)器人視覺(jué)跟蹤控制系統(tǒng)中，由于考慮到了時(shí)延補(bǔ)償，因此在抓取過(guò)程中的成功率比較穩(wěn)定，基本能夠維持在910 次以上，但是無(wú)時(shí)延補(bǔ)償?shù)目刂葡到y(tǒng)中，抓取成功的次數(shù)與本文系統(tǒng)相比較少，且性能不穩(wěn)定。綜上所述，本文設(shè)計(jì)的基于時(shí)延補(bǔ)償機(jī)理的工業(yè)機(jī)器人視覺(jué)跟蹤控制系統(tǒng)在提高抓取成功率方面具有一定有效性。

表2 抓取成功次數(shù)統(tǒng)計(jì)結(jié)果

4 結(jié)束語(yǔ)

為了解決工業(yè)機(jī)器人在實(shí)際工作過(guò)程中的延遲問(wèn)題，提出了應(yīng)用于工業(yè)機(jī)器人視覺(jué)跟蹤控制系統(tǒng)的時(shí)延模糊補(bǔ)償方法，并對(duì)時(shí)延補(bǔ)償機(jī)理的工業(yè)機(jī)器人視覺(jué)跟蹤控制系統(tǒng)進(jìn)行了硬件和軟件兩方面的設(shè)計(jì)。硬件設(shè)計(jì)中主要通過(guò)攝像機(jī)與機(jī)械臂之間的坐標(biāo)系關(guān)系標(biāo)定攝像機(jī)的外部參數(shù)，軟件設(shè)計(jì)中，對(duì)工業(yè)機(jī)器人的運(yùn)動(dòng)情況進(jìn)行建模，機(jī)器人機(jī)械臂在運(yùn)動(dòng)過(guò)程中產(chǎn)生坐標(biāo)系變換，利用齊次坐標(biāo)變換矩陣描述機(jī)械臂連桿運(yùn)動(dòng)位姿，引入模糊時(shí)延補(bǔ)償算法來(lái)提高控制精度。本文設(shè)計(jì)的系統(tǒng)取得了一定的研究進(jìn)展，但是還有很多細(xì)節(jié)需要進(jìn)行研究與探討。