趙明巖, 蔣昕余, 陳垣融, 楊旭銘, 瞿瑞德
(中國計量大學(xué) 機電工程學(xué)院, 杭州 310018)
繼德國2013年提出工業(yè)4.0概念后[1-2],我國也提出了中國制造2025,對工業(yè)機器人技術(shù)[3-5]的需求與日俱增。掌握工業(yè)機器人、機器視覺[6-8]、自動控制等先進技術(shù)的綜合是當今社會對新型人才的要求。結(jié)合生活實例,隨著人們生活水平的不斷提高,各種果蔬雕花成了高檔飯店的標配。然而花雕技術(shù)含量高、雕刻效率低,人工成本不斷攀升并存在安全隱患。為此本文結(jié)合生活實際需求,設(shè)計了基于視覺的水果(以哈密瓜為例)雕花機器人創(chuàng)新實驗,針對不同的哈密瓜(大小、位置不同),配置有攝像頭的機器人可對哈密瓜進行快速拍照、定位、調(diào)整路徑,按照設(shè)定程序,完成哈密瓜雕花。通過本實驗,學(xué)生能夠?qū)⒐I(yè)機器人、攝像頭、機器人末端執(zhí)行器三者組成一個能夠完成特定任務(wù)的機器人系統(tǒng),以此來提高學(xué)生的科研水平與創(chuàng)新能力。
系統(tǒng)結(jié)構(gòu)如圖1所示,根據(jù)哈密瓜雕花技術(shù)要求,機器人系統(tǒng)主要分為3部分:工業(yè)機器人系統(tǒng)、機器視覺系統(tǒng)、機器人執(zhí)行終端及其控制。
工業(yè)機器人采用型號為MZ04-01-CFD-0000的納智(NACHI)6自由度機器人,工作半徑541 mm,負載4 kg,重復(fù)定位精度0.02 mm。機器人共有6軸(自由度):第1軸為手臂回轉(zhuǎn);第2軸為手臂前后運動;第3軸為手臂上下運動;第4軸與第6軸為手腕回轉(zhuǎn);第5軸為手腕彎曲。
圖1 機器人系統(tǒng)
機器視覺部分采用低照度、無畸變、200萬像素的OV2710型1080P的USB攝像頭,其視角可達53°。在1 920×1 080分辨率下可達30幀/s,高速無拖影,自動對焦,支持IR-CUT,可傳輸多種數(shù)據(jù),UVC免驅(qū)協(xié)議兼容多種主流的開發(fā)環(huán)境(Windows、Linux、Android等)。同時配套多種主流語言開發(fā)包及例程,支持Halcon、Labview、Matlab等第三方圖像處理軟件直接調(diào)用。
機器人執(zhí)行終端包括雕刻刀及裝夾平臺,其中裝夾平臺由4個步進電動機驅(qū)動,其中2個型號為42BYG34-401A,2個57BYG34-401A,步矩角Step Angle為1.8°,由單片機控制。
了解NACHI工業(yè)機器人基本性能、工作原理、適用場合,每個關(guān)節(jié)的作用及動作范圍。如圖2所示,使學(xué)生掌握手持操控器。操控器不僅可控制機器人進行各種運動,還可以監(jiān)測x、y、z3個位置、roll、pitch、yaw 3個姿態(tài)以及一些關(guān)鍵的數(shù)據(jù)變量。
圖2 機器人手持操控器
操控器屏幕為高亮度LCD液晶屏,顯示效果及人機交互界面友好,用戶操作簡易便捷,可以方便操控機器人,設(shè)定其位置和姿態(tài)。可以通過以太網(wǎng)或USB燒寫程序,可供分步調(diào)試程序,功能強大。依次對6個軸進行按鍵:按X+,X-,則第1軸轉(zhuǎn)動,帶動本體左右回轉(zhuǎn);按Y+,Y-,則第2軸轉(zhuǎn)動,帶動第2手臂前后俯仰;按Z+,Z-,則第3軸轉(zhuǎn)動,帶動第1手臂上下運動;按RX+,RX-,則第4軸轉(zhuǎn)動,帶動手腕回轉(zhuǎn);按RX+,RX-,則第5軸轉(zhuǎn)動,使手腕彎曲;按RX+,RX-,則第6軸轉(zhuǎn)動,帶動法蘭回轉(zhuǎn)。通過手持操控器,讓學(xué)生了解每個軸的性能、運動范圍,以及多軸組合運動時的特點。
了解與機器人配套的攝像頭的基本性能,了解視覺處理器的相關(guān)概念。攝像頭如何將對象的相關(guān)信息(大小、位置等)轉(zhuǎn)換成圖像信號;掌握圖像處理系統(tǒng)將相關(guān)信息轉(zhuǎn)變成數(shù)字信號的原理,如何對這些信號進行各種運算來提取目標特征,進而控制機器人做出各種設(shè)定動作。
要求學(xué)生熟悉編程軟件及界面,并能夠?qū)C器人的各軸進行簡單控制。本系統(tǒng)采用納智自帶的編程軟件:FDonDesk Light,可在筆記本上直接編程,編程界面如圖3所示。上位機進行圖像處理,獲取處理對象的像素點位置坐標和角度,通過換算,轉(zhuǎn)換成機器人的位置坐標和角度,再通過套接字通訊發(fā)送給控制柜??刂乒窠邮盏叫畔⒑?,執(zhí)行程序,控制機器人到達指定坐標并對目標對象實施設(shè)定的動作。
圖3 編程界面
學(xué)生了解了機器人的工作原理后,開始設(shè)計雕花機器人。如圖4所示,在攝像頭、裝夾平臺以及雕刻刀的配合下,完成哈密瓜雕花實驗。
圖4 哈密瓜雕花機器人
針對哈密瓜的結(jié)構(gòu)特點,設(shè)計如圖5所示的裝夾平臺,考慮到機器人存在小范圍的死區(qū),因此裝夾平臺有3個自由度:沿x,y方向移動、繞z軸旋轉(zhuǎn),此外還包括一個可移式抱緊裝置。抱緊裝置為兩個帶L型彈簧鋼片的抱緊片,外觀呈半圓形,由左右絲桿驅(qū)動,可以將不同大小、形狀的哈密瓜抱緊,抱緊片外殼采用3D打印[9-10]技術(shù)制作而成。
自制的雕刻刀可以固定在機器人自帶的法蘭盤上,雕刻刀不僅可以對哈密瓜進行雕刻,刀具前端還特制了鉤狀結(jié)構(gòu),配合碎塊清理程序,可以將切下來的哈密瓜碎塊清理。雕刻刀尾部固定結(jié)構(gòu)采用3D打印,方便與機器人第6軸的法蘭盤相連接。
圖5 裝夾平臺
圖6 雕刻刀
裝夾平臺采用STM32F103單片機控制,如圖7所示,單片機可與上位機進行串口通訊。上位機對單片機發(fā)送哈密瓜的尺寸信息,單片機根據(jù)哈密瓜尺寸信息,將哈密瓜可靠固定,并控制裝夾平臺移動到設(shè)定位置。
圖7 單片機控制電路圖
攝像頭可快速、準確地將哈密瓜大小信息(見圖8)轉(zhuǎn)換成圖像信號(見圖9),傳送給專用的圖像處理系統(tǒng),使其得到被攝目標的形態(tài)信息。根據(jù)像素分布和亮度、顏色等信息,轉(zhuǎn)變成數(shù)字化信號進行準確處理,圖像系統(tǒng)對這些信號進行各種運算來抽取目標的特征,進而根據(jù)判別的結(jié)果來控制機器人終端的動作,其工作流程圖如10所示。
圖8 哈密瓜原始照片
圖9 圖像處理后的照片
在Windows操作系統(tǒng)下,進入納智自帶的編程軟件進行編程。編程包括3個部分,圖像處理部分編程(visual studio)、機器人動作編程(FD on Desk)、機器人終端編程(裝夾平臺,單片機編程)。上位機將哈密瓜的像素坐標轉(zhuǎn)換為機器人的機械坐標,下位機通過MOVEX函數(shù),控制機器人完成雕花動作??刂茩C器人動作的程序流程如圖11所示。哈密瓜雕刻程序包括如下內(nèi)容:① 待雕刻的哈密瓜到達操作平臺后,攝像頭快速準確捕捉哈密瓜的坐標位置、大小,并將相關(guān)數(shù)據(jù)反饋給上位機。② 上位機經(jīng)過數(shù)據(jù)處理后,將哈密瓜的坐標位置信息傳遞給單片機,裝夾平臺接收指令后調(diào)整位置。③ 攝像頭將哈密瓜的截面信息發(fā)送給上位機,上位機結(jié)合客戶的設(shè)定(花瓣數(shù)量、形狀等)調(diào)用程序,機器人完成雕刻。
圖10 圖像處理工作流程
圖11 程序流程圖
如圖12所示為上位機中OpenCV的俯視視覺圖,通過OpenCV函數(shù)引用cv2類里的輪廓周長變量,perimeter=cv2.arcLength(cnt,True),計算出哈密瓜輪廓的周長。假設(shè)周長為60 cm,并且希望雕刻16個花瓣,則在其輪廓上均布取16點,再以這16個點為中心,形成32個等距線段,雕刻刀均勻切割32刀,形成16個花瓣,相鄰兩個花瓣的距離為60/16=3.75 cm。32刀對應(yīng)的x,y,z軸坐標可通過計算得到?;ò甑膫€數(shù)、形狀均可由用戶事先自定義設(shè)置。
圖12 上位機中OpenCV俯視圖
圖13為正在執(zhí)行雕刻動作的哈密瓜雕花機器人。
通過本實驗,要求學(xué)生掌握如下技能:① 工業(yè)機器人性能及其編程;② 機器視覺及其編程;③ 機器人末端執(zhí)行器的設(shè)計與控制(本實驗采用單片機控制,也可采用PLC等),其中前兩點的結(jié)合是難點和重點。當目標對象大小、形狀不同時,就必須借助攝像頭,判斷對象的狀態(tài),修正機器人行進路徑。當更換目標對象(如西瓜、木瓜等)時,還需要重新設(shè)計執(zhí)行終端。通過本實驗,學(xué)生將工業(yè)機器人、攝像頭、機器人末端執(zhí)行器三者組成一個機器人系統(tǒng),完成特定任務(wù)。本實驗貼近生活,學(xué)生非常感興趣,且科技含量高,難度大,綜合性強,可作為創(chuàng)新實驗或者開放性實驗[11-13],非常適合培養(yǎng)新工科人才[14-15]。