董靖川，張成君，王一成，王靜濤，劉 麗，卞鵬錫

（天津大學(xué) 機(jī)械工程學(xué)院，天津 300354）

伴隨智能制造系統(tǒng)在工業(yè)中的廣泛應(yīng)用[1-2]，對(duì)于基于機(jī)器視覺的智能機(jī)器人抓取系統(tǒng)的需求不斷增長(zhǎng)。利用機(jī)器視覺算法識(shí)別和定位目標(biāo)[3-4]，實(shí)現(xiàn)自動(dòng)上下料、分揀等快速抓取作業(yè)[5-8]，具有重要的實(shí)用價(jià)值。

針對(duì)智能制造實(shí)驗(yàn)教學(xué)項(xiàng)目的要求，開發(fā)了面向機(jī)器人抓取任務(wù)的視覺定位實(shí)驗(yàn)平臺(tái)。該實(shí)驗(yàn)平臺(tái)以5 自由度的關(guān)節(jié)式機(jī)器人為基礎(chǔ)實(shí)現(xiàn)物料的抓取和搬運(yùn)，以Matlab 軟件環(huán)境為依托進(jìn)行機(jī)器視覺算法的開發(fā)，通過網(wǎng)絡(luò)與機(jī)器人運(yùn)動(dòng)控制器進(jìn)行通信，完成視覺定位與抓取任務(wù)，能夠支持開放式的項(xiàng)目制實(shí)驗(yàn)教學(xué)。

1 實(shí)驗(yàn)平臺(tái)組成

1.1 實(shí)驗(yàn)系統(tǒng)硬件組成

該實(shí)驗(yàn)平臺(tái)的硬件組成包括5 自由度關(guān)節(jié)式機(jī)器人、機(jī)器人運(yùn)動(dòng)控制器、彩色數(shù)字?jǐn)z像機(jī)、工作平臺(tái)和上位機(jī)，如圖1 所示。實(shí)驗(yàn)平臺(tái)采用自主研制的5自由度關(guān)節(jié)式教學(xué)型機(jī)器人，其中4 個(gè)關(guān)節(jié)由交流伺服電機(jī)驅(qū)動(dòng)，第5 個(gè)關(guān)節(jié)由直流舵機(jī)驅(qū)動(dòng)。機(jī)器人前3 個(gè)關(guān)節(jié)實(shí)現(xiàn)了末端手抓的空間定位，由諧波減速機(jī)和平行四邊形機(jī)構(gòu)實(shí)現(xiàn)傳動(dòng)。位于腕部的第4 關(guān)節(jié)由交流電機(jī)直接驅(qū)動(dòng)，可帶動(dòng)手抓在水平面內(nèi)實(shí)現(xiàn)360°旋轉(zhuǎn)，以使手抓從合適的方向抓取物體。第5 個(gè)自由度由直流舵機(jī)控制手抓的開合。機(jī)器人的運(yùn)動(dòng)控制器采用實(shí)驗(yàn)室自主開發(fā)的基于32 位ARM 單片機(jī)的控制板，具備模擬量、編碼器、通用IO、以太網(wǎng)等接口，可實(shí)現(xiàn)4 臺(tái)伺服電機(jī)的閉環(huán)控制和直流舵機(jī)的PWM比例控制。運(yùn)動(dòng)控制器內(nèi)置機(jī)器人運(yùn)動(dòng)控制固件，實(shí)現(xiàn)伺服閉環(huán)控制、正/逆運(yùn)動(dòng)學(xué)、軌跡插補(bǔ)、加減速控制、網(wǎng)絡(luò)控制等功能，接收并執(zhí)行來自上位機(jī)的運(yùn)動(dòng)指令。彩色數(shù)字?jǐn)z像機(jī)采用USB 2.0 接口與上位機(jī)連接，分辨率為1 920×1 080 像素，用于拍攝工作平臺(tái)實(shí)時(shí)圖像。工作平臺(tái)作為機(jī)器人作業(yè)的水平基準(zhǔn)面，上面放置待抓取的工件。上位機(jī)采用PC 機(jī)進(jìn)行機(jī)器視覺算法的開發(fā)，通過以太網(wǎng)接口與運(yùn)動(dòng)控制器連接。

圖1 實(shí)驗(yàn)平臺(tái)硬件組成

1.2 視覺定位算法開發(fā)環(huán)境

圖2 所示為視覺定位算法開發(fā)環(huán)境。上位機(jī)采用64 位Windows 7 操作系統(tǒng)，安裝了彩色數(shù)字?jǐn)z像機(jī)的驅(qū)動(dòng)程序、Matlab 軟件、圖像采集工具箱、圖像處理工具箱、計(jì)算機(jī)視覺工具箱、機(jī)器人網(wǎng)絡(luò)通信工具箱。Matlab 的編程語法簡(jiǎn)單易學(xué)，具有強(qiáng)大的運(yùn)算能力，并且配置了支持機(jī)器視覺算法開發(fā)的各種工具箱，學(xué)生能夠在短時(shí)間內(nèi)掌握軟件的使用并開展實(shí)驗(yàn)，非常適合教學(xué)使用。機(jī)器人網(wǎng)絡(luò)通信工具箱封裝了以太網(wǎng)TCP/IP 通信的細(xì)節(jié)，學(xué)生可以直接將規(guī)劃好的運(yùn)動(dòng)路徑坐標(biāo)存儲(chǔ)到Matlab 矩陣中，通過調(diào)用函數(shù)即可將路徑下載到運(yùn)動(dòng)控制器內(nèi)，控制機(jī)器人手抓的空間運(yùn)動(dòng)。

圖2 視覺定位算法開發(fā)環(huán)境

2 機(jī)器人視覺定位實(shí)驗(yàn)

2.1 實(shí)驗(yàn)任務(wù)

實(shí)驗(yàn)以工廠生產(chǎn)線上物料抓取任務(wù)為工程背景，采用項(xiàng)目式實(shí)驗(yàn)教學(xué)手段[9-10]，學(xué)生分組完成視覺抓取任務(wù)。實(shí)驗(yàn)項(xiàng)目中采用直徑和長(zhǎng)度不等的彩色圓柱形物料作為抓取對(duì)象，物料的軸向與工作平臺(tái)的平面平行，各個(gè)物料的位置和方向隨機(jī)分配。實(shí)驗(yàn)項(xiàng)目的任務(wù)：首先由彩色攝像機(jī)拍攝工作平臺(tái)圖像，然后對(duì)圖像進(jìn)行處理，識(shí)別物料的數(shù)量、位置坐標(biāo)和角度，在此基礎(chǔ)上規(guī)劃?rùn)C(jī)器人的抓取路徑，最后通過網(wǎng)絡(luò)控制機(jī)器人將物料移動(dòng)至目標(biāo)位置。在實(shí)驗(yàn)中，項(xiàng)目小組成員需要分工配合，學(xué)習(xí)相關(guān)的機(jī)器視覺知識(shí)和編程知識(shí)，設(shè)計(jì)視覺定位算法程序，并進(jìn)行系統(tǒng)調(diào)試，完成任務(wù)。

2.2 視覺定位算法開發(fā)

在Matlab 環(huán)境下開發(fā)實(shí)現(xiàn)完整的視覺定位算法程序。該實(shí)驗(yàn)中主要的程序處理步驟和實(shí)現(xiàn)思路如下：

（1）相機(jī)標(biāo)定。相機(jī)標(biāo)定的目的是建立機(jī)器人工作臺(tái)平面坐標(biāo)系與像素坐標(biāo)系之間的關(guān)系，從而為后續(xù)視覺定位中的坐標(biāo)變換提供依據(jù)。相機(jī)標(biāo)定通常需要建立成像的幾何模型，識(shí)別相機(jī)內(nèi)參和外參，并校正透鏡畸變[11]。本實(shí)驗(yàn)中相機(jī)安裝位置光軸與工作臺(tái)平面垂直，且與機(jī)器人工作臺(tái)坐標(biāo)Z軸重合，另外實(shí)驗(yàn)系統(tǒng)透鏡畸變可忽略，故可近似通過比例變換得到工作臺(tái)平面到像素坐標(biāo)間的比例系數(shù)。這里也可采用Matlab 的Camera Calibrator 工具配合棋盤格方便地獲取相關(guān)參數(shù)。

（2）圖像預(yù)處理。相機(jī)拍攝到的原始圖像見圖3。為了通過視覺定位物料，需要將物料與背景區(qū)分。原始圖像中被抓取物料上有反射的高光，背景上有物料的陰影，且物料的顏色和亮度不一，難以通過亮度、對(duì)比度等進(jìn)行區(qū)分。考慮到被抓取對(duì)象是鮮艷的彩色物料，本文采用色彩空間轉(zhuǎn)換的方法，將色彩飽和度高的物料與白色背景區(qū)分開。因此，可以將原始圖像由RGB 色彩空間轉(zhuǎn)換到HSV 色彩空間[12]。HSV(Hue,Saturation, Value)模型中H分量代表色調(diào)，S分量代表飽和度，V分量代表明度。在此可選擇S分量的圖像，使物料更加突出。使用rgb2hsv 函數(shù)進(jìn)行轉(zhuǎn)換，轉(zhuǎn)換后的S分量如圖4 所示?？梢钥吹剑捎诠ぷ髋_(tái)背景及物料的陰影飽和度較低，因此陰影被很好地抑制。

圖3 原始圖像

圖4 HSV 空間S 分量

（3）圖像分割。本實(shí)驗(yàn)中圖像分割的作用是將圖像中各個(gè)物料的圖像區(qū)域劃分出來。圖像分割的區(qū)域需要滿足一定的相似度標(biāo)準(zhǔn)，如灰度、紋理、色彩等?？梢圆捎瞄撝捣指罴夹g(shù)，生成二值化圖像，將原先基于S分量的灰度圖像分割為物料和背景兩類區(qū)域。以S=0.2作為分割閾值的二值化圖像分割結(jié)果如圖5(a)所示。可見，分割后基本能夠清晰區(qū)別出物料區(qū)域，但是某些物料由于存在反射高光，依然有影響后續(xù)處理的深色條紋。

為提高分割圖像的質(zhì)量，進(jìn)一步采用形態(tài)學(xué)運(yùn)算[13]的方法去除干擾條紋。首先，使用bwareaopen 函數(shù)進(jìn)行基于面積的開運(yùn)算，將像素面積小于200 的區(qū)域刪除，消除圖像中的噪聲；然后，使用imfill 函數(shù)對(duì)圖像中出現(xiàn)的空洞部分進(jìn)行填充，消除反光的影響。經(jīng)形態(tài)學(xué)處理后的圖像如圖5(b)所示。

圖5 圖像分割處理

（4）目標(biāo)識(shí)別。目標(biāo)識(shí)別需要確定圖像中物料的數(shù)量N，并分離各個(gè)物料的圖像。對(duì)于該實(shí)驗(yàn)，目標(biāo)識(shí)別可通過識(shí)別圖像中連通區(qū)域[14]實(shí)現(xiàn)。使用bwlabel函數(shù)對(duì)二值化圖像中的連通區(qū)域進(jìn)行標(biāo)記，可將圖像中各物料像素以不同值分別標(biāo)記出來，得到各物料的所在的區(qū)域。

（5）坐標(biāo)計(jì)算。對(duì)于識(shí)別出的第i個(gè)物料目標(biāo)（i= 1,2, … ,N），采用find 函數(shù)獲得其連通區(qū)域內(nèi)所有像素的坐標(biāo)，通過minboundrect 函數(shù)獲得物料最小包圍矩形的頂點(diǎn)坐標(biāo)，如圖6 所示。根據(jù)機(jī)器人抓取的要求，由頂點(diǎn)坐標(biāo)可計(jì)算最小包圍矩形長(zhǎng)邊與X軸的夾角θi，該角度即為物料軸線與X軸夾角，用于確定抓取時(shí)機(jī)器人第4 關(guān)節(jié)在水平面內(nèi)的角度。抓取位置為物料重心坐標(biāo)（xi,yi），可由mean 函數(shù)對(duì)連通區(qū)域坐標(biāo)進(jìn)行計(jì)算。最后，用相機(jī)標(biāo)定參數(shù)將該坐標(biāo)轉(zhuǎn)換成機(jī)器人使用的工作臺(tái)坐標(biāo)系下的坐標(biāo)（X i,Yi）。

圖6 物料的最小包圍矩形與重心

（6）運(yùn)動(dòng)路徑規(guī)劃。對(duì)于識(shí)別出的第i個(gè)物料目標(biāo)，其抓取路徑可按如下方法規(guī)劃：①機(jī)器人手抓移動(dòng)到物料上方，坐標(biāo)為（X i,Yi,Zm）。其中Zm是設(shè)定的定位平面，保證機(jī)器人在移動(dòng)過程中不會(huì)碰到物料，手抓水平面角度設(shè)定為θi，與物料軸線平行，機(jī)器人手抓張開。②手抓垂直下降至（X i,Yi,Zp），Zp是設(shè)定的抓取平面。③手抓夾緊，抓取物料。④手抓垂直上升返回至（X i,Yi,Zm）。⑤手抓移動(dòng)到物料存放指定位置上方（Xsi,Ysi,Zm）。⑥手抓垂直下降至（Xsi,Ysi,Zp）。⑦手抓張開，完成物料放置。⑧手抓垂直上升返回至（Xsi,Ysi,Zm）。對(duì)于所有的物料重復(fù)上述動(dòng)作即可形成完整的運(yùn)動(dòng)路徑。機(jī)器人抓取運(yùn)動(dòng)的實(shí)際效果如圖7 所示。

圖7 機(jī)器人物料抓取動(dòng)作

3 實(shí)驗(yàn)項(xiàng)目的創(chuàng)新拓展

視覺定位和機(jī)器人抓取的基本實(shí)驗(yàn)項(xiàng)目只限定了要實(shí)現(xiàn)的目標(biāo)，而不強(qiáng)制要求所要采取的具體算法步驟。同時(shí)，該實(shí)驗(yàn)平臺(tái)基于Matlab 構(gòu)建，實(shí)驗(yàn)中所有程序源代碼均可在線編輯，具備良好的開放性。因此，可以引導(dǎo)學(xué)生在項(xiàng)目式學(xué)習(xí)過程中，通過學(xué)習(xí)和實(shí)踐探索各種不同的實(shí)現(xiàn)方案，在基本流程的基礎(chǔ)上進(jìn)行創(chuàng)新拓展。

在圖像處理算法方面，還可使用邊緣檢測(cè)的方法得到物體輪廓，如Sobel、Canny、Prewitt、LoG 等邊緣檢測(cè)算法[15]。同時(shí)，要通過濾波等方式盡可能消除噪聲、光線等對(duì)邊緣檢測(cè)的影響。對(duì)于物料的輪廓，可采用Hough 變換檢測(cè)輪廓中直線的參數(shù)[16]，進(jìn)而計(jì)算物料坐標(biāo)。這樣就可實(shí)現(xiàn)另一種視覺定位方案。在抓取路徑規(guī)劃方面，對(duì)于多個(gè)物料及多個(gè)物料存放位置的情況，可以對(duì)抓取路徑規(guī)劃進(jìn)行優(yōu)化，盡可能縮短任務(wù)完成的時(shí)間。

在項(xiàng)目任務(wù)安排上，可以改變基本的設(shè)定。例如，可以模擬實(shí)際設(shè)備中難以在工作臺(tái)正上方安裝相機(jī)的情況，改變攝像機(jī)的位置和角度，這樣增加了視覺處理的難度；也可增加不同形狀、紋理、材質(zhì)的物料種類，此時(shí)在完成任務(wù)時(shí)需要使用更加智能的物體特征識(shí)別與分類算法；還可以在物料上增加二維碼、序列號(hào)、生產(chǎn)日期等信息，通過開發(fā)機(jī)器視覺識(shí)別算法提取這些信息，進(jìn)一步模擬工廠的智能制造生產(chǎn)環(huán)境。

4 結(jié)語

面向機(jī)器人智能抓取任務(wù)的視覺定位實(shí)驗(yàn)來源于智能制造行業(yè)的需求，符合產(chǎn)業(yè)的發(fā)展趨勢(shì)，具有重要的工程意義。所開發(fā)的實(shí)驗(yàn)平臺(tái)具有很好的開放性，學(xué)生可以使用易于學(xué)習(xí)的Matlab 軟件自主設(shè)計(jì)和測(cè)試視覺定位系統(tǒng)中各個(gè)環(huán)節(jié)的算法程序，通過動(dòng)手實(shí)驗(yàn)深入領(lǐng)會(huì)相關(guān)的理論知識(shí)和實(shí)踐方法。在以小組為單位的項(xiàng)目式的實(shí)驗(yàn)過程中，只規(guī)定了需要實(shí)現(xiàn)的目標(biāo)而不約束具體實(shí)現(xiàn)的方法，接近于真實(shí)的工程項(xiàng)目的開發(fā)過程，能夠鍛煉學(xué)生的學(xué)習(xí)能力和組織能力。實(shí)驗(yàn)項(xiàng)目融合了機(jī)器視覺、機(jī)器人控制、機(jī)電一體化等多方面課程知識(shí)，能夠鍛煉學(xué)生解決復(fù)雜工程問題的能力，提高專業(yè)知識(shí)的學(xué)習(xí)興趣，激發(fā)創(chuàng)造性思維，實(shí)現(xiàn)了良好的教學(xué)效果。