摘 要：針對(duì)冷鏈運(yùn)輸領(lǐng)域自動(dòng)化水平低的問(wèn)題，設(shè)計(jì)一套基于機(jī)器視覺(jué)的堆疊貨箱抓取系統(tǒng)?；贛atlab標(biāo)定工具完成相機(jī)標(biāo)定，得到坐標(biāo)系轉(zhuǎn)換數(shù)學(xué)模型，使用改進(jìn)Canny邊緣檢測(cè)算法提取圖像中堆疊貨箱的位置信息，通過(guò)PLC控制卸貨機(jī)器人按照既定程序?qū)崿F(xiàn)對(duì)冷鏈集裝箱中堆疊貨箱的抓取作業(yè)。實(shí)驗(yàn)結(jié)果表明：圖像處理時(shí)間小于2 ms，抓取效率可達(dá)5 s/件，抓取位置誤差小于5 mm，完全滿(mǎn)足工業(yè)生產(chǎn)要求。

關(guān)鍵詞：機(jī)器視覺(jué)；Canny邊緣檢測(cè)；PLC；卸貨機(jī)器人；抓取系統(tǒng)；堆疊貨箱

中圖分類(lèi)號(hào)：TP242.3" 文獻(xiàn)標(biāo)志碼：A" 文章編號(hào)：1671-5276（2024）05-0199-04

Design of Grasping System of Stacked Container Based on Machine Vision

Abstract：Aimed at the low automation level of cold chain transportation， a set of stacking container grasping system based on machine vision was designed. Matlab calibration tool was used to complete the camera calibration to obtain the mathematical model of coordinate system transformation. Improved Canny edge detection algorithm was applied to extract the position information of stacked cargo boxes in the image. By PLC， the unloading robot was controlled to grasp stacked cargo boxes in cold chain containers according to the established procedures. The experimental results show that the image processing time is less than 2 ms， the grasping efficiency is up to 5 s/piece， and the grasping position error is less than 5 mm， well meeting the requirements of industrial production.

Keywords：machine vision；Canny edge detection；PLC；unloading robot；grasping system；stacked container

0 引言

我國(guó)進(jìn)口冷鏈產(chǎn)品數(shù)量很大，這些產(chǎn)品目前到港后由人工進(jìn)行卸貨，勞動(dòng)強(qiáng)度高，工作效率低，而且冷鏈集裝箱內(nèi)溫度需保持-20℃，工作環(huán)境惡劣，卸貨人員需穿著厚重的保溫服進(jìn)行高強(qiáng)度搬運(yùn)工作，這些都導(dǎo)致了用工難和用工貴等問(wèn)題。為了提高掏箱效率、減少工人機(jī)械式重復(fù)勞動(dòng)，研發(fā)一套全自動(dòng)化的抓取系統(tǒng)去替代人工進(jìn)行卸貨操作具有重大意義。

目前大多數(shù)自動(dòng)化程度較高的抓取系統(tǒng)使用機(jī)器視覺(jué)進(jìn)行識(shí)別定位。屠海斌［1］設(shè)計(jì)了一套基于機(jī)器視覺(jué)的搬運(yùn)抓取機(jī)器人系統(tǒng)，首先通過(guò)視覺(jué)圖像處理識(shí)別定位目標(biāo)物體，然后控制機(jī)械臂按照規(guī)劃好的路徑進(jìn)行搬運(yùn)工作。李雪梅等［2］設(shè)計(jì)了一套基于視覺(jué)引導(dǎo)的閥口袋識(shí)別抓取系統(tǒng)，通過(guò)對(duì)閥口袋的特征提取進(jìn)行目標(biāo)定位，PLC控制機(jī)械臂實(shí)現(xiàn)了對(duì)閥口袋的抓取。王天琪［3］設(shè)計(jì)了一種基于視覺(jué)伺服的料庫(kù)抓取系統(tǒng)，通過(guò)分水嶺算法將各個(gè)零件從料庫(kù)中分割出來(lái)，然后提取圖像距特征求出各個(gè)工件的位置，最終實(shí)現(xiàn)基于圖像的視覺(jué)伺服抓取。但上述識(shí)別抓取系統(tǒng)存在識(shí)別時(shí)間長(zhǎng)、抓取成功率不高等問(wèn)題，不滿(mǎn)足冷鏈卸貨快速、可靠的要求。本文以冷鏈集裝箱中的堆疊貨箱為研究對(duì)象，針對(duì)其作業(yè)空間有限、冷鏈貨箱數(shù)量多、難識(shí)別及難抓取等問(wèn)題，提出了一種新型的抓取系統(tǒng)，利用機(jī)器視覺(jué)對(duì)堆疊貨箱進(jìn)行識(shí)別分割定位，上位機(jī)做好路徑規(guī)劃之后發(fā)送給PLC，最后PLC控制卸貨機(jī)器人實(shí)現(xiàn)抓取卸貨操作。

1 系統(tǒng)總體搭建

1.1 系統(tǒng)硬件構(gòu)建

基于機(jī)器視覺(jué)的堆疊貨箱抓取系統(tǒng)主要由自主研發(fā)的卸貨機(jī)器人、視覺(jué)系統(tǒng)以及PLC控制系統(tǒng)3部分組成。

針對(duì)冷鏈集裝箱內(nèi)堆疊貨箱場(chǎng)景，自主研發(fā)了一套可自主移動(dòng)的多模式抓取機(jī)器人。其主要由底座小車(chē)、各軸運(yùn)動(dòng)機(jī)構(gòu)、吸盤(pán)架、伸縮托輥以及氣路等組成。其中吸盤(pán)架由吸盤(pán)托架、可伸縮的上吸盤(pán)以及下吸盤(pán)組成，可針對(duì)貨物位置選擇水平或垂直吸取，卸貨機(jī)器人組成如圖1所示。

PLC控制系統(tǒng)由匯川AM403 PLC、IO擴(kuò)展模塊、各軸伺服驅(qū)動(dòng)器與伺服電機(jī)、激光位移傳感器以及各類(lèi)外部元器件組成。

視覺(jué)系統(tǒng)由MV-CS060-10GM?？迪鄼C(jī)、白色LED開(kāi)孔面光源以及配有Haclon的計(jì)算機(jī)組成。

1.2 系統(tǒng)工作原理

基于機(jī)器視覺(jué)的堆疊貨箱抓取系統(tǒng)的工作原理如圖2所示。在系統(tǒng)準(zhǔn)備就緒后，首先在激光位移傳感器的實(shí)時(shí)反饋下控制小車(chē)移動(dòng)到距離貨箱合適位置，確保全部貨物均在相機(jī)有效視場(chǎng)后進(jìn)行拍照；然后視覺(jué)系統(tǒng)進(jìn)行圖像處理提取每一個(gè)貨箱的位置坐標(biāo)，上位機(jī)在獲取到貨箱坐標(biāo)之后進(jìn)行抓取路徑規(guī)劃并將規(guī)劃好的路徑發(fā)送給PLC執(zhí)行；PLC控制各軸伺服驅(qū)動(dòng)器和電機(jī)運(yùn)動(dòng)到相應(yīng)的位置進(jìn)行抓取卸貨操作；每一次抓完之后再進(jìn)行拍照，確認(rèn)沒(méi)有少抓漏抓等情況，否則返回上一層重新抓取。以此循環(huán)直到一面貨箱全部抓取完畢。然后再控制小車(chē)移動(dòng)到拍照位置，重復(fù)同樣的步驟，直到集裝箱中的貨物全部抓取完畢。

2 圖像識(shí)別檢測(cè)及定位

2.1 目標(biāo)識(shí)別檢測(cè)

視覺(jué)系統(tǒng)中相機(jī)的標(biāo)定是重要環(huán)節(jié)，它決定視覺(jué)系統(tǒng)是否能準(zhǔn)確定位目標(biāo)物體的真實(shí)位置［4］。普通相機(jī)往往采用小孔成像模型，這涉及到4個(gè)坐標(biāo)系之間的轉(zhuǎn)換，分別是世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系［5］。這4個(gè)坐標(biāo)系之間的轉(zhuǎn)化關(guān)系如式（1）所示。

計(jì)算得到的內(nèi)參矩陣為

畸變系數(shù)為-0.175%。

此外還需要進(jìn)行手眼標(biāo)定以及像素當(dāng)量標(biāo)定，通過(guò)手眼標(biāo)定可以求得世界坐標(biāo)系與相機(jī)坐標(biāo)系的位置轉(zhuǎn)換關(guān)系；通過(guò)像素當(dāng)量標(biāo)定可以得到尺寸因子，實(shí)現(xiàn)不同物距下像素尺寸到實(shí)際尺寸的轉(zhuǎn)換［9］。

2.2 目標(biāo)識(shí)別分割及其定位

針對(duì)冷鏈集裝箱內(nèi)堆疊貨箱的特點(diǎn)，基于Haclon軟件設(shè)計(jì)了一套堆疊貨箱識(shí)別分割及定位的方法。圖像處理流程如圖3所示。

1）圖像預(yù)處理

圖像預(yù)處理的主要目的是消除圖像中無(wú)關(guān)的信息，突出目標(biāo)信息，從而改進(jìn)特征抽取、圖像分割、匹配和識(shí)別的可靠性［10］。相機(jī)采集到的原始灰度圖像如圖4（a）所示。由于貨箱與集裝箱環(huán)境存在灰度差，可以通過(guò)閾值分割將堆疊貨箱與集裝箱背景進(jìn)行分割，閾值分割后的圖像如圖4（b）所示?？梢钥闯鋈匀挥胁糠直尘案蓴_存在，這就需要進(jìn)行腐蝕、膨脹、開(kāi)運(yùn)算以及閉運(yùn)算等一系列形態(tài)學(xué)操作去消除掉噪聲，從而只保留貨箱區(qū)域，經(jīng)過(guò)形態(tài)學(xué)操作后的圖像如圖4（c）所示。通過(guò)區(qū)域處理即可獲得貨箱區(qū)域位置的圖像，貨箱區(qū)域圖像如圖4（d）所示。

2）改進(jìn)Canny邊緣檢測(cè)

Canny邊緣檢測(cè)主要分為4步來(lái)實(shí)現(xiàn)，分別是高斯模糊、計(jì)算梯度、非極大值抑制以及雙閾值連接［11］。由于貨箱的邊緣為水平或垂直線條，基于這一特征進(jìn)行篩選，通過(guò)最小二乘法求得線段斜率，只保留水平和垂直方向，減少運(yùn)算量，縮短了圖像處理時(shí)間?；诟倪M(jìn)后的Canny算法檢測(cè)效果如圖4（e）所示。

3）貨箱分割定位

經(jīng)過(guò)改進(jìn)Canny邊緣檢測(cè)得到的是斷斷續(xù)續(xù)線段，還需進(jìn)行線條合并操作以分割出獨(dú)立的貨箱，線條合并操作結(jié)果如圖4（f）所示。對(duì)合并后的線條進(jìn)行區(qū)域化處理即可將每一個(gè)貨箱獨(dú)立分割出來(lái)，得到每一個(gè)貨箱的最小外接矩形，貨箱分割結(jié)果如圖4（g）所示。對(duì)每一個(gè)獨(dú)立分割出來(lái)的貨箱進(jìn)行最小外接矩形處理，從而得到每一個(gè)貨箱的中心點(diǎn)位置坐標(biāo)與傾斜角度，如圖4（h）所示。

經(jīng)過(guò)上述一系列圖像處理操作之后，得到了每一個(gè)貨箱在像素坐標(biāo)下的位置，然后將每一個(gè)貨箱位置的像素坐標(biāo)代入坐標(biāo)系，轉(zhuǎn)化數(shù)學(xué)模型即可求得每一個(gè)貨箱在世界坐標(biāo)系下的位置坐標(biāo)與傾斜角度。

3 系統(tǒng)實(shí)現(xiàn)

在將視覺(jué)系統(tǒng)、PLC控制系統(tǒng)以及卸貨機(jī)器人硬件搭建完成之后，還需要進(jìn)行PLC控制程序設(shè)計(jì)以及上位機(jī)軟件設(shè)計(jì)。上位機(jī)軟件是基于Visual Studio 2019開(kāi)發(fā)環(huán)境，采用C#語(yǔ)言編寫(xiě)。

通過(guò)軟硬件的調(diào)試，抓取系統(tǒng)工作流程如下：

1）小車(chē)自動(dòng)移動(dòng)到拍攝位置，拍攝的照片發(fā)送給上位機(jī)進(jìn)行圖像處理，然后通過(guò)坐標(biāo)變換得到貨箱的實(shí)際位置；

2）在得到貨箱的位置信息之后進(jìn)行路徑規(guī)劃，然后將規(guī)劃好的路線發(fā)送給PLC，最后PLC控制卸貨機(jī)器人進(jìn)行抓取卸貨操作；

3）在完成一次循環(huán)之后，視覺(jué)系統(tǒng)再次拍照，從而得到最新的貨箱位置信息，然后再進(jìn)行抓取卸貨，直到貨箱全部抓取完畢。系統(tǒng)控制流程如圖5所示。

4 工程驗(yàn)證

為了驗(yàn)證系統(tǒng)的可行性，在某集團(tuán)進(jìn)行了大量的抓取實(shí)驗(yàn)，抓取的堆疊貨箱長(zhǎng)寬高尺寸為530mm×300mm×250mm，抓取數(shù)量為10 000個(gè)。抓取結(jié)果表明：視覺(jué)圖像處理時(shí)間約2ms，識(shí)別成功率可達(dá)97%以上，可牢固抓取25kg以?xún)?nèi)的貨箱，貨箱抓取精度在5mm以?xún)?nèi)，如表1所示，抓取效率可達(dá)到5s/件，抓取系統(tǒng)卸貨過(guò)程如圖6所示。

5 結(jié)語(yǔ)

本文設(shè)計(jì)了一套基于機(jī)器視覺(jué)的堆疊貨箱抓取系統(tǒng)，采用機(jī)器視覺(jué)、改進(jìn)Canny邊緣檢測(cè)以及最小外接矩形的方法得到貨箱的像素坐標(biāo)；再通過(guò)坐標(biāo)變換得到每一個(gè)貨箱的世界坐標(biāo)位置后進(jìn)行路徑規(guī)劃，最后卸貨機(jī)器人在PLC的控制下按照既定路徑實(shí)現(xiàn)對(duì)堆疊貨箱的抓取卸貨。該系統(tǒng)于2022年11月在某集團(tuán)進(jìn)行了大量的抓取實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明：該抓取系統(tǒng)圖像處理時(shí)間2ms，定位精度5mm，抓取成功率可達(dá)97%，能夠很好地滿(mǎn)足工業(yè)生產(chǎn)，對(duì)實(shí)現(xiàn)自動(dòng)化卸貨提供很高的實(shí)用價(jià)值。

參考文獻(xiàn)：

［1］ 屠海斌. 基于機(jī)器視覺(jué)的搬運(yùn)機(jī)器人系統(tǒng)研究與軟件實(shí)現(xiàn)［D］. 南京：東南大學(xué)，2015.

［2］ 李雪梅，李喆，張?chǎng)?，? 基于機(jī)器視覺(jué)的閥口袋動(dòng)態(tài)抓取系統(tǒng)設(shè)計(jì)［J］. 機(jī)床與液壓，2022，50（12）：77-82.

［3］ 王天琪. 基于視覺(jué)伺服的機(jī)器人料庫(kù)抓取系統(tǒng)研究［D］. 常州：江蘇理工學(xué)院，2020.

［4］ 苗彭. 基于視覺(jué)的機(jī)械臂工件抓取系統(tǒng)研究［D］. 天津：天津理工大學(xué)，2019.

［5］ 李曉曉，吳昊榮，孫付春，等. 基于Halcon的單目相機(jī)標(biāo)定方法與測(cè)量實(shí)驗(yàn)［J］. 山東工業(yè)技術(shù)，2022（5）：8-12.

［6］ 占光潔，丁濤，馬志斌. 一種基于無(wú)人機(jī)的錢(qián)塘江涌潮高度及傳播速度測(cè)量方法：CN114396921A［P］. 2022-04-26.

［7］ DUAN Y，YU Y L，LI P，et al. High-precision camera calibration based on a 1D target［J］. Optics Express，2022，30（20）：36873.

［8］ 孫浩然. 大撓性衛(wèi)星高精度姿態(tài)控制技術(shù)研究［D］. 哈爾濱：哈爾濱工業(yè)大學(xué)，2021.

［9］ 丁鶴華，杜坡，段振云. 大直徑零件機(jī)器視覺(jué)轉(zhuǎn)角測(cè)量標(biāo)定方法［J］. 機(jī)械管理開(kāi)發(fā)，2022，37（7）：64-66.

［10］ 楊正華，朱健. 基于機(jī)器視覺(jué)的閥芯自動(dòng)裝配系統(tǒng)［J］. 機(jī)械制造與自動(dòng)化，2021，50（1）：231-234，236.

［11］ VEMURU K V. Implementation of the canny edge detector using a spiking neural network［J］. Future Internet，2022，14（12）：371.