葉 卉,張為民,1b,張 歡,Jürgen Fleischer

(1.同濟(jì)大學(xué) a.機(jī)械與能源工程學(xué)院; b.中德學(xué)院; c.先進(jìn)制造技術(shù)中心, 上海 201804；2.卡爾斯魯厄理工學(xué)院 生產(chǎn)技術(shù)研究所, 德國 卡爾斯魯厄 76131)

機(jī)器人智能抓取系統(tǒng)視覺模塊的研究與開發(fā)*

葉 卉1a,張為民1a,1b,張 歡1a,Jürgen Fleischer1c,2

(1.同濟(jì)大學(xué) a.機(jī)械與能源工程學(xué)院; b.中德學(xué)院; c.先進(jìn)制造技術(shù)中心, 上海 201804；2.卡爾斯魯厄理工學(xué)院 生產(chǎn)技術(shù)研究所, 德國 卡爾斯魯厄 76131)

以ABB機(jī)器人、快換手爪、雙目相機(jī)為硬件基礎(chǔ)，搭建了基于雙目立體視覺的工業(yè)機(jī)器人智能抓取系統(tǒng)，旨在實(shí)現(xiàn)隨機(jī)放置物體的識(shí)別定位和自動(dòng)抓取。基于視覺模塊，研究了圖像處理、立體匹配和深度計(jì)算以及坐標(biāo)轉(zhuǎn)換，以C++為開發(fā)平臺(tái)，結(jié)合OpenCV圖像開發(fā)庫和Triclops庫，開發(fā)了視覺識(shí)別與定位算法，實(shí)現(xiàn)對(duì)圓柱體和長方體薄板對(duì)象的分類和位姿識(shí)別。最后，通過實(shí)驗(yàn)驗(yàn)證，表明該視覺算法有較高的識(shí)別定位精度，滿足抓取系統(tǒng)的要求。

工業(yè)機(jī)器人；機(jī)器視覺；智能抓取；立體匹配；坐標(biāo)轉(zhuǎn)換

0 引言

隨著“中國制造2025”戰(zhàn)略口號(hào)的提出，機(jī)器人在生產(chǎn)制造領(lǐng)域的應(yīng)用越來越廣泛。工業(yè)機(jī)器人自身可實(shí)現(xiàn)復(fù)雜動(dòng)作的自動(dòng)化，但難以實(shí)現(xiàn)自適應(yīng)作業(yè)的自動(dòng)化[1]。在裝配、分揀、搬運(yùn)和碼垛等工業(yè)環(huán)境中，機(jī)器人的應(yīng)用大多停留在示教階段，機(jī)器人與人、與環(huán)境之間的交互不夠，機(jī)器人的感知能力較差，這種情況下單一的機(jī)器人作業(yè)往往只能應(yīng)對(duì)結(jié)構(gòu)化環(huán)境，早已不能滿足現(xiàn)代生產(chǎn)對(duì)柔性化和智能化的要求。

“中國制造2025”的核心就是以智能制造為主攻方向，對(duì)于工業(yè)機(jī)器人智能化研究來說，從工作場景中識(shí)別并抓取指定物體是其一大熱點(diǎn)，其關(guān)鍵技術(shù)就在于識(shí)別并提取目標(biāo)物體相對(duì)于機(jī)器人的位姿[2]。機(jī)器視覺技術(shù)在目標(biāo)識(shí)別和目標(biāo)位姿求取方面具有強(qiáng)大的技術(shù)優(yōu)勢，它具有信息量大、精度高、非接觸測量、響應(yīng)快速等特點(diǎn)[3],可以快速自動(dòng)處理大量信息， 并且易于與控制信息實(shí)現(xiàn)集成。同時(shí)將機(jī)器視覺技術(shù)與機(jī)器人技術(shù)結(jié)合，通過對(duì)機(jī)器人操作對(duì)象及其所處環(huán)境的智能化處理，從一定程度上降低了對(duì)對(duì)象的具體要求，使機(jī)器人能更好地適應(yīng)非結(jié)構(gòu)化的環(huán)境，從而提高了工業(yè)機(jī)器人系統(tǒng)的智能化程度。

目前，應(yīng)用機(jī)器視覺的機(jī)器人系統(tǒng)的主要搬運(yùn)對(duì)象是形狀規(guī)則的扁平物體，此類系統(tǒng)多采用配有吸盤式末端執(zhí)行器的工業(yè)機(jī)器人[4-8]，搬運(yùn)對(duì)象相對(duì)局限；且攝像機(jī)多采用單目相機(jī)，固定在物體上方，視覺研究多是基于二維圖像層面。本文初步建立了智能抓取系統(tǒng)的系統(tǒng)架構(gòu)，并針對(duì)機(jī)器人智能抓取系統(tǒng)視覺模塊的關(guān)鍵技術(shù)進(jìn)行研究。本文構(gòu)建的機(jī)器人智能抓取系統(tǒng)，使用ABB六軸串聯(lián)工業(yè)機(jī)器人，和SCHUNK的氣動(dòng)手爪以及快換夾具，能夠?qū)崿F(xiàn)對(duì)不同對(duì)象的處理操作。系統(tǒng)采用雙目相機(jī)開發(fā)視覺模塊，通過邊緣特征將目標(biāo)識(shí)別出來，基于立體視覺的視差原理完成對(duì)空間三維物體的空間定位[9-10]，并通過上位機(jī)實(shí)現(xiàn)智能抓取過程的控制。

1 智能抓取系統(tǒng)整體設(shè)計(jì)

本文構(gòu)建的智能抓取系統(tǒng)架構(gòu)如圖1所示。視覺模塊作為智能抓取系統(tǒng)的感知模塊，主要獲取系統(tǒng)需要處理的對(duì)象信息，并將信息傳遞給上位機(jī)，例如類型和位姿信息，從而解決了處理對(duì)象“是什么”和“在哪兒”的問題；機(jī)器人結(jié)合末端執(zhí)行器，作為抓取操作的執(zhí)行模塊，完成智能抓取系統(tǒng)的快速換爪和抓取搬運(yùn)操作；各類傳感器的引入，例如力傳感器、位置傳感器，可以對(duì)末端手爪的開合位置和抓取力進(jìn)行監(jiān)控，并反饋給機(jī)器人控制器；上位機(jī)集成各模塊，并對(duì)各模塊起決策作用，控制機(jī)器人根據(jù)視覺模塊的處理結(jié)果智能選擇合適的末端執(zhí)行器，并對(duì)物料采取對(duì)應(yīng)的動(dòng)作響應(yīng)處理。本文根據(jù)機(jī)器人智能抓取系統(tǒng)對(duì)視覺模塊的要求，重點(diǎn)研究視覺平臺(tái)的搭建和視覺處理算法的開發(fā)。視覺模塊自身和機(jī)器人的運(yùn)動(dòng)控制過程相對(duì)獨(dú)立，通過上位機(jī)集成控制，因而視覺模塊可以快速集成到現(xiàn)有的工業(yè)機(jī)器人系統(tǒng)中。

圖1 智能抓取系統(tǒng)原理

如圖2所示為機(jī)器人智能抓取系統(tǒng)的硬件結(jié)構(gòu)，系統(tǒng)采用CCD相機(jī)進(jìn)行圖像拍攝，通過圖像采集卡采集圖像信息，氣動(dòng)快換手爪裝在機(jī)器人末端并作為抓取動(dòng)作的執(zhí)行機(jī)構(gòu)，用上位機(jī)集成控制，同時(shí)配備光源等輔助設(shè)備。

圖2 智能抓取系統(tǒng)硬件結(jié)構(gòu)圖

2 視覺模塊硬件平臺(tái)

本文機(jī)器人智能抓取系統(tǒng)平臺(tái)搭建在同濟(jì)大學(xué)先進(jìn)技術(shù)制造中心實(shí)驗(yàn)室，機(jī)器人所處環(huán)境周圍受自然光影響較大，識(shí)別物體為圓柱體和長方體薄板工件。機(jī)器人智能抓取系統(tǒng)視覺模塊的硬件平臺(tái)如圖3所示。相機(jī)選用Point Grey 公司的BB2雙目立體相機(jī)，置于工作臺(tái)前側(cè)，距離工作臺(tái)前端面1m，距地面高度85mm，稍高于工作臺(tái)平面；LED條形光源隨支架置于工作臺(tái)兩側(cè)，與工作臺(tái)前端面約成45°角放置；機(jī)器人型號(hào)為ABB-IRB4600，在工作臺(tái)右前方；快換手爪的支架置于工作臺(tái)右后側(cè)。

圖3 機(jī)器人智能抓取系統(tǒng)視覺模塊平臺(tái)布局

3 視覺模塊軟件開發(fā)

視覺模塊是整個(gè)系統(tǒng)的核心，機(jī)器人準(zhǔn)確而穩(wěn)定地抓取依賴于視覺算法的精確處理。視覺算法基于C++平臺(tái)開發(fā)，使用的開發(fā)包有Point Grey research公司BB2系列相機(jī)基于圖像獲取和3D識(shí)別的開發(fā)包——FlyCapture2和Triclops Stereo Vision SDK及圖像處理開源庫——OpenCV。

如圖4所示為軟件算法的視覺處理流程，雙目相機(jī)首先同時(shí)拍攝同一場景左右兩副圖像，調(diào)用標(biāo)定信息并進(jìn)行矯正畸變獲得矯正后的圖像，矯正后圖像經(jīng)過立體匹配獲得匹配點(diǎn)，再進(jìn)行相關(guān)計(jì)算得到整個(gè)場景的深度信息，供后續(xù)處理調(diào)用；另一方面，矯正后圖像經(jīng)過濾波降噪等預(yù)處理后，提取包含目標(biāo)的感興趣區(qū)域(ROI)，ROI圖像經(jīng)過圖像分割處理得到目標(biāo)輪廓，再經(jīng)過特征計(jì)算得到相機(jī)坐標(biāo)系下的目標(biāo)位姿，繼而通過坐標(biāo)轉(zhuǎn)換得到機(jī)器人坐標(biāo)系下目標(biāo)的三維信息，至此完成視覺模塊目標(biāo)識(shí)別和定位的任務(wù)。

圖4 視覺處理流程

3.1 立體匹配

立體匹配是實(shí)現(xiàn)空間立體測量的基礎(chǔ)，它是通過對(duì)所選特征進(jìn)行計(jì)算從而建立特征之間的對(duì)應(yīng)關(guān)系，將同一個(gè)空間物理點(diǎn)在不同圖像中的映像點(diǎn)對(duì)應(yīng)起來的過程。建立立體匹配由三個(gè)基本步驟組成[11]：①從立體圖像對(duì)中的一幅圖像中選擇與實(shí)際物體結(jié)構(gòu)相應(yīng)的圖像特征；②在另一幅圖像中確定出同一物理結(jié)構(gòu)的對(duì)應(yīng)圖像特征；③確定這兩個(gè)特征之間的相對(duì)位置，得到視差。

立體匹配的關(guān)鍵在于建立相關(guān)性，這里使用絕對(duì)偏差和的方法，其原理是：在遍歷參照?qǐng)D中每一個(gè)像素后，按照給定的正方形尺寸選擇一個(gè)鄰域，將這個(gè)鄰域沿著同一行與另一幅圖像中的一系列鄰域相比較，據(jù)此找到最佳的匹配。

鄰域的比較方法如下面的公式所示：

(1)

其中，dmin和dmax是最小和最大視差；m是模板尺寸；Ileft和Iright是右面的圖像和左面的圖像；x和y是圖像平面的坐標(biāo)。

3.2 深度確定

建立圖像間的特征匹配后即可根據(jù)相機(jī)的結(jié)構(gòu)參數(shù)通過計(jì)算恢復(fù)目標(biāo)場景的三維信息。

本系統(tǒng)采用的雙目立體相機(jī)兩鏡頭光軸沿Z向平行，焦距相同，可以完成立體視覺空間測量的任務(wù)。如圖5所示，設(shè)兩鏡頭在同一時(shí)刻觀看空間物體的同一特征點(diǎn)P(xc,yc,zc)，分別在左、右鏡頭上獲取了點(diǎn)P的圖像，其圖像坐標(biāo)分別為pl=(Xl,Yl)，pr=(Xr,Yr)?，F(xiàn)兩攝像機(jī)的圖像在同一個(gè)平面上，則特征點(diǎn)P的圖像坐標(biāo)Y坐標(biāo)相同，即Yl=Yr=Y，則由三角幾何關(guān)系可得：

(2)

圖5 雙目立體視覺示意圖

其中，d=Xl-Xr，為視差；f為相機(jī)焦距；B為基線距。

設(shè)圖像坐標(biāo)u=Xl，v=Y，由式(2)可得空間點(diǎn)的三維坐標(biāo)計(jì)算公式：

(3)

確定兩圖像平面所有的匹配點(diǎn)并進(jìn)行相關(guān)計(jì)算，即可得到整副圖像各個(gè)匹配點(diǎn)的三維信息，恢復(fù)場景3D信息并保存成深度圖像。

3.3 ROI提取

對(duì)預(yù)處理后的圖像提取目標(biāo)所在的區(qū)域，去除背景和平臺(tái)邊緣所在部分，可以專注和簡化工作過程，有效減少后續(xù)特征提取的工作量，提高圖像處理的實(shí)時(shí)性。本文采用表示矩形區(qū)域的Rect，通過指定矩形的左上角坐標(biāo)和矩形的長寬定義一個(gè)矩形區(qū)域——即ROI。實(shí)際操作時(shí)，可根據(jù)對(duì)象對(duì)ROI區(qū)域范圍進(jìn)行調(diào)整。

3.4 圖像預(yù)處理

由于實(shí)驗(yàn)室環(huán)境特殊性，機(jī)器人所在區(qū)域受外界自然光照影響較大，即便使用了合適的光源，原始圖像也不適合直接進(jìn)行特征處理操作，因此，本文采用的預(yù)處理算法可根據(jù)當(dāng)前的光照環(huán)境對(duì)圖像各參數(shù)進(jìn)行調(diào)整，使目標(biāo)特征更加易于提取，將原始圖像變成適合計(jì)算機(jī)進(jìn)行特征提取的形式。系統(tǒng)以ROI圖像為輸入，基于像素處理，圖像先后經(jīng)過雙邊濾波降噪、直方圖均衡化、亮度和對(duì)比度調(diào)節(jié)等處理，得到易于特征提取的圖像。

3.5 圖像分割

圖像分割就是把圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域，并提取出需求目標(biāo)的技術(shù)。本文首先使用Canny邊緣檢測[12]提取出圖像中物體的邊緣特征，再通過腐蝕膨脹處理得到精確的閉合輪廓。由于抓取對(duì)象的形狀和大小已知，因此通過設(shè)置相關(guān)參數(shù)，可以將任務(wù)規(guī)定機(jī)器人要抓取的對(duì)象從工作區(qū)域的其他非抓取目標(biāo)中分割出來，實(shí)現(xiàn)目標(biāo)的識(shí)別，由閉合輪廓的數(shù)量可以實(shí)現(xiàn)目標(biāo)的數(shù)量識(shí)別。圖像分割效果如圖6所示。

圖6 圖像分割的效果

3.6 特征計(jì)算

獲取目標(biāo)在三維空間的精確位姿是實(shí)現(xiàn)機(jī)器人準(zhǔn)確抓取的關(guān)鍵。本文以圓柱體和長方體薄板兩種類型工件作為例進(jìn)行分析。經(jīng)過圖像分割獲取對(duì)象的閉合輪廓后，基于兩種類型對(duì)象的尺寸特征進(jìn)行分類，進(jìn)而根據(jù)對(duì)象的幾何特征計(jì)算其位姿。如圖7所示，對(duì)于圓柱體工件，由于旋轉(zhuǎn)體不存在姿態(tài)信息，只需得到其中心點(diǎn)的位置信息。根據(jù)圖像分割得到的矩形輪廓的頂點(diǎn)信息，取四個(gè)頂點(diǎn)坐標(biāo)的平均值即可得到圓柱體工件的中心坐標(biāo)。

(4)

圖7 目標(biāo)輪廓示意圖

對(duì)于長方體薄板，由于放置角度的不同，其質(zhì)心計(jì)算公式與圓柱體相同，從ZW負(fù)方向看過去薄板的邊與YW軸正向的夾角為α其計(jì)算方法如下(α角以YW軸正向轉(zhuǎn)向XW軸正向?yàn)檎?：

(5)

(6)

如圖8所示，通過特征計(jì)算實(shí)現(xiàn)對(duì)圓柱體和長方體薄板工件的分類的位姿信息的獲取。

圖8 視覺識(shí)別定位結(jié)果

3.7 坐標(biāo)轉(zhuǎn)換

在本文系統(tǒng)相機(jī)固定方式采用eye to hand系統(tǒng)[13]。如圖9所示，首先在ABB機(jī)器人系統(tǒng)中，以物料工作臺(tái)為參考面建立工件坐標(biāo)系wobj_user，其中XW-YW平面與桌面平行,ZW垂直于桌面正方向朝上；以快換系統(tǒng)法蘭盤中心點(diǎn)為TCP點(diǎn)建立工具坐標(biāo)系tool_sws。建立坐標(biāo)系操作通過示教控制器實(shí)現(xiàn)。ABB機(jī)器人的運(yùn)動(dòng)路徑控制可以通過描述工具坐標(biāo)系的TCP點(diǎn)在工件坐標(biāo)系中的位置實(shí)現(xiàn)，因而坐標(biāo)轉(zhuǎn)換需要標(biāo)定工件坐標(biāo)系wobj_user與相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系，即轉(zhuǎn)換矩陣HFZ(〗WTBX〗wc。

圖9 系統(tǒng)坐標(biāo)系示意圖

如圖9所示，兩個(gè)空間坐標(biāo)系為工件坐標(biāo)系OW-XWYWZW和攝像機(jī)坐標(biāo)系OC-XCYCZC，兩坐標(biāo)系間存在三個(gè)平移參數(shù)△X、△Y、△Z和三個(gè)旋轉(zhuǎn)參數(shù)εx、εy、εz。同一點(diǎn)在兩個(gè)坐標(biāo)系中的坐標(biāo)分別是(XW,YW,ZW)，和(XC,YC,ZC)。兩坐標(biāo)系可通過坐標(biāo)軸的平移和旋轉(zhuǎn)變換成為一致，坐標(biāo)間的轉(zhuǎn)換關(guān)系為：

(7)

圖10 坐標(biāo)轉(zhuǎn)換示意圖

其中，λ為兩坐標(biāo)系間的比例因子，稱R為旋轉(zhuǎn)矩陣，與三個(gè)旋轉(zhuǎn)參數(shù)有關(guān)，可以化為一個(gè)3×3矩陣(獨(dú)立參數(shù)只有3個(gè))，T為平移矩陣。

本文采用基于羅德里格矩陣的坐標(biāo)轉(zhuǎn)換方法[14]，通過采集四套公共點(diǎn)坐標(biāo)，即可求得現(xiàn)有硬件布局下的坐標(biāo)轉(zhuǎn)換關(guān)系。

4 實(shí)驗(yàn)

如圖11所示，完成硬件設(shè)備連接，將雙目相機(jī)固定好。將圓柱體和長方體薄板工件隨機(jī)擺放在抓取區(qū)域不同位置，啟動(dòng)視覺程序，如圖8所示，程序可準(zhǔn)確識(shí)別工件種類。并且得到10組視覺定位數(shù)據(jù)，視覺定位結(jié)果取小數(shù)點(diǎn)后兩位記錄，如表1所示，其中奇數(shù)組為圓柱體工件，偶數(shù)組為長方體薄板工件。

圖11 視覺實(shí)驗(yàn)布局

實(shí)驗(yàn)號(hào)項(xiàng)目視覺定位結(jié)果實(shí)際位姿實(shí)驗(yàn)誤差絕對(duì)值1x/mmy/mmz/mm-60．98139．8560．43-62．2139．360．01．220．550．43

續(xù)表

實(shí)驗(yàn)號(hào)項(xiàng)目視覺定位結(jié)果實(shí)際位姿實(shí)驗(yàn)誤差絕對(duì)值2x/mmy/mmz/mmα/°11．39260．30100．0643．1510．3259．899．540．51．090．500．562．653x/mmy/mmz/mm162．29462．3960．82161．4461．960．30．890．490．524x/mmy/mmz/mmα/°197．23133．93100．4457．43196．3133．499．953．50．930．530．493．935x/mmy/mmz/mm94．15108．1260．1593．2107．659．60．950．520．556x/mmy/mmz/mmα/°118．74302．34100．24-15．85117．7301．999．7-12．01．040．440．543．857x/mmy/mmz/mm220．11456．9560．29219．2456．459．70．910．550．598x/mmy/mmz/mmα/°216．8812．73101．57-48．64215．412．4101．1-44．51．480．330．474．149x/mmy/mmz/mm283．79257．2160．08282．6256．759．61．190．510．4810x/mmy/mmz/mmα/°244．75396．64100．5215．71243．6395．4100．112．51．151．240．423．21

由實(shí)驗(yàn)結(jié)果可知，在實(shí)驗(yàn)區(qū)域內(nèi)，工件坐標(biāo)系x方向即相機(jī)深度x方向誤差在1.5mm以內(nèi)，y和z方向誤差在0.6mm以內(nèi)，長方體薄板的擺放角度誤差在5°以內(nèi)，精度較高，滿足智能抓取系統(tǒng)對(duì)位置精度的定位要求。相對(duì)于現(xiàn)有制造工業(yè)中應(yīng)用較廣泛的單目相機(jī)，往往固定在物體正上方特定高度，深度信息固定，本系統(tǒng)采用的雙目相機(jī)可以獲取深度隨機(jī)的目標(biāo)的三維信息，并且可以得到較高的定位精度。

5 結(jié)束語

本文搭建了一個(gè)視覺識(shí)別平臺(tái)，結(jié)合立體視覺技術(shù)，實(shí)現(xiàn)對(duì)圓柱體和長方體薄板的識(shí)別和位姿信息提取?；谝曈X程序的模塊流程化結(jié)構(gòu)，能實(shí)現(xiàn)不同環(huán)境、不同對(duì)象條件下視覺算法的快速更新；同時(shí)，視覺處理流程清晰，通用性好，具有較高的定位精度。另一方面，視覺模塊的控制和機(jī)器人的運(yùn)動(dòng)控制獨(dú)立開，由上位機(jī)集成控制，便于視覺模塊的移植和開發(fā)。由此可見，視覺技術(shù)的引入有效提高了機(jī)器人的靈活性和適應(yīng)性，以及抓取作業(yè)的穩(wěn)定性、快速性和準(zhǔn)確性。

[1] 金桂根, 穆建軍. 視覺識(shí)別機(jī)器人在物流作業(yè)中的智能應(yīng)用[J]. 制造業(yè)自動(dòng)化, 2013(11):103-105.

[3]BatchelorBG,Maschine.MachineVisionHandbook, 3Vols.[M].Berlin:Springer, 2010.

[4] 游素亞. 立體視覺研究的現(xiàn)狀與進(jìn)展[J]. 中國圖象圖形學(xué)報(bào), 1997,2(1):17-24.

[5]XuL,HeX,LiX,etal.Amachine-visioninspectionsystemforconveyingattitudesofcolumnarobjectsinpackingprocesses[J].Measurement, 2016, 87: 255-273.

[6]TsarouchiP,MichalosG,MakrisS,etal.VisionSystemforRoboticHandlingofRandomlyPlacedObjects[J].ProcediaCirp, 2013, 9(4):61-66.

[7] 翟敬梅, 董鵬飛, 張鐵. 基于視覺引導(dǎo)的工業(yè)機(jī)器人定位抓取系統(tǒng)設(shè)計(jì)[J]. 機(jī)械設(shè)計(jì)與研究, 2014,30(5):45-49.

[8] 晏祖根, 李明, 徐克非,等. 高速機(jī)器人分揀系統(tǒng)機(jī)器視覺技術(shù)的研究[J]. 包裝與食品機(jī)械, 2014,32(1):28-31.

[9]YangY,GaoM,ZhangJ,etal.Depthmapsuper-resolutionusingstereo-vision-assistedmodel[J].Neurocomputing, 2015, 149:1396-1406.

[10]GordonI,LoweDG.WhatandWhere: 3DObjectRecog-nitionwithAccuratePose[C]//TowardCategory-LevelObjectRecognition,2006:67-82.

[11]ComlekcilerIT,GunesS,IrginC,etal.Measuringtheoptimumluxvalueformoreaccuratemeasure-mentofstereovisionsystemsinoperatingroomofOrthognathicsurgery[C]//Electronics,ComputerandComputation, 2014:1-6.

[12]CannyJ.AComputationalApproachtoEdgeDetection[J].PatternAnalysis&MachineIntelligenceIEEETransactionson, 1986,PAMI-8(6):679-698.

[13]FlandinG,ChaumetteF,MarchandE.Eye-in-hand/eye-to-handcooperationforvisualservo-ing[J].IEEEInt.conf.onRobotics&Automation, 2000, 3: 2741-2746.

[14]YuanYL,JiangLX,LiuLJ.ApplicationsofLodriguesmatrixincoordinatestransformation[J].ScienceofSurveying&Mapping, 2010, 35(2): 178-177.

(編輯 李秀敏)

Development of Intelligent Robot Grasping System Based on Machine Vision

YE Hui1a, ZHANG Wei-min1a,1b, ZHANG Huan1a, Jürgen Fleischer1c,2

(1 a.School of Mechanical Engineering, b.Chinese-German College for Postgraduate Studies, c.Advanced Manufacturing Technology Center, Tongji University, Shanghai 201804, China;2. Institute of Production Science, Karlsruhe Institute of Technology, Karlsruhe 76131, Germany)

With ABB industrial robot, quick-change gripper, and binocular Camera being as hardware foundation, this paper develops an intelligent industrial robot grasping system based on binocular stereo vision，aiming at the recognition, location and automatic grasping of randomly placed objects. Based on the vision module, the principles of camera calibration, coordinate transformation, image processing and stereo matching are researched, and based on C++, visual recognition and location algorithm is developed combined with OpenCV library and Triclops SDK, and the vision module can realize objects classification and pose recognition of cylinder and rectangular plate. Finally experiments are carried out to validate that the vision module can recognize cylindrical and rectangular plate objects successfully, and the positioning accuracy can meet the requirements.

industrial robot;machine vision;intelligent grasping; stereo matching;coordinate transformation

1001-2265(2016)12-0001-05

10.13462/j.cnki.mmtamt.2016.12.001

2016-07-20；

2016-08-22

“高檔數(shù)控機(jī)床與基礎(chǔ)制造裝備”科技重大專項(xiàng)(2012ZX04005031)

葉卉(1992—)，女，安徽蕪湖人，同濟(jì)大學(xué)碩士研究生，研究方向?yàn)闄C(jī)器人視覺，(E-mail)1432527@#edu.cn。

TH166;TG659

A