蘇波 鄭孟州

摘要：自動化生產(chǎn)線產(chǎn)品檢測時，為快速獲取產(chǎn)品的三維位姿參數(shù)，提出一種基于智能傳感器的單目視覺工件位姿獲取方法。通過HALCON軟件中3D表面匹配算法，對機器人和智能傳感器系統(tǒng)進行標定，運動平臺帶工件作平移運動，智能傳感器掃描測量，獲取工件的輪廓點云數(shù)據(jù)，利用軟件完成物體的三維點云信息處理和模型的三維重構(gòu)，確定工件位姿。試驗結(jié)果表明，該方法可以快速測量，數(shù)據(jù)可用于機器人抓取。

關(guān)鍵詞：智能傳感器;三維重構(gòu);手眼標定;表面匹配

Research on the Workpiece Grabbing System Based on Intelligent Sensor

SU Bo，ZHENG Meng?zhou

（School of Electrical Engineering and Automation， Henan Polytechnic University， Jiaozuo 454000， China）

Abstract：In order to complete the task of product testing in the automated production line and quickly obtain the three?dimensional pose parameters of the product， a method of obtaining the pose of the monocular vision workpiece based on the smart sensor is proposed. Through the 3D surface matching algorithm in HALCON software， the system composed of robot and intelligent sensor is calibrated. The moving platform with workpiece for translational motion， intelligent sensor scanning and measurement gets the contour point cloud data of the workpiece， and completes the 3D point cloud information processing of the object by software.The three?dimensional reconstruction of the model to determine the pose of the workpiece is completed. The experimental results show that this method can achieve fast measurement and the data can be used for robot grasping.

Key Words：smart sensor; 3D reconstruction; hand?eye calibration; surface matching

0?引言

人工質(zhì)檢精度檢測失誤率高、效率低，已不能適應(yīng)自動化生產(chǎn)需要。機器視覺理論提出利用機器人代替人眼作測量和判斷，有效提高了生產(chǎn)效率，已被廣泛應(yīng)用。在機器視覺近20年的發(fā)展過程中，受圖像攝取技術(shù)和數(shù)據(jù)處理技術(shù)限制，機器視覺系統(tǒng)普遍基于二維視覺技術(shù)[1]。但二維視覺不具有深度信息，因此研究機構(gòu)圍繞三維目標數(shù)字化這一課題開展了大量研究工作。隨著三維圖像攝取技術(shù)和數(shù)據(jù)處理技術(shù)的飛速發(fā)展，3D視覺技術(shù)成為計算機視覺領(lǐng)域發(fā)展焦點[2]。在機器人3D視覺領(lǐng)域，存在普通相機使用不便和魯棒性差等問題，智能傳感器測量系統(tǒng)能有效解決上述問題，成為重要的非接觸測量方式之一。

基于相機的視覺系統(tǒng)，專家提出了許多標定方法，但智能傳感器和相機結(jié)構(gòu)上的區(qū)別限制了這些方法的通用性。人們都知道標定精度會嚴重影響智能傳感器的測量精度[3]，為此進行了許多探究，但仍沒有通用的傳感器標定方法。有學(xué)者提出根據(jù)空間定點進行標定，但仍需要標定靶[4]，增加了標定難度和成本。為解決上述問題，本文設(shè)計了基于智能傳感器的工件位姿視覺測量系統(tǒng)[5]，提出使用表面匹配進行傳感器和機器人系統(tǒng)的標定，通過智能傳感器掃描測量工件，獲取工件位姿信息。通過以太網(wǎng)向機器人發(fā)送指令完成抓取任務(wù)。系統(tǒng)不需要特定靶物，只要對待測物體進行標定即可實現(xiàn)手眼系統(tǒng)標定，較好地解決了上述問題。

1?系統(tǒng)總體設(shè)計

系統(tǒng)主要由3D智能傳感器、運動平臺、Articulated 機器人以及PC機組成，設(shè)計原理如圖1所示。為保證測量結(jié)果的準確性，智能傳感器選擇至關(guān)重要。生產(chǎn)車間環(huán)境差、存在較多干擾，而且需要根據(jù)產(chǎn)品型號調(diào)整檢測的視野范圍。經(jīng)過對比智能傳感器產(chǎn)品，本文選擇由加拿大LMI 公司生產(chǎn)的Gocator2350作為系統(tǒng)傳感器。Gocator2350智能傳感器采用工業(yè)級設(shè)計，專門針對生產(chǎn)車間的嚴苛使用環(huán)境，易于集成，內(nèi)置多種工具。集激光發(fā)射器和相機成像測量裝置為一體的智能激光傳感器，使用方便、獨立性強、拓展性好，裝置緊湊體積小質(zhì)量輕，可固定在狹小空間內(nèi)或機械臂上，是抓取系統(tǒng)的理想選擇。Gocator2350參數(shù)如表1所示。

采集數(shù)據(jù)時需要工件相對于傳感器做平移運動，系統(tǒng)將傳感器固定于工件上方，通過運動平臺帶動工件移動。系統(tǒng)選用傳感器運動采集模式，包括時間運動采集和編碼器運動采集兩種。時間運動采集不需要使用編碼器，每隔相同的時間采集一次信息，此方法對物體的運動速度有較高要求;編碼器運動采集通過脈沖觸發(fā)采集，運動平臺對速度的控制精度要求不高，所以本文選用編碼器運動采集模式。當運動平臺帶動工件運動時，編碼器發(fā)出與運動同步的觸發(fā)信號，智能傳感器接收同步信號，發(fā)射出線激光并開始采集圖像。激光掃描和圖像采集同步完成，從而保證圖像不會因為物體的運動速度變化而變形。按照傳感器使用手冊完成傳感器的安裝和接線后，可通過Web瀏覽器訪問界面進行各類相關(guān)參數(shù)的設(shè)置。

工業(yè)生產(chǎn)中常用的機器人有Articulated Robot[6]和SCARA Robot[7]兩種。Articulated機器人的臂通常覆蓋6自由度的3個旋轉(zhuǎn)接頭（3個平移和3個旋轉(zhuǎn)），而SCARA機器人通常具有3個平行的旋轉(zhuǎn)接頭和一個平行的棱鏡接頭，僅覆蓋4個自由度（3個平移和1個旋轉(zhuǎn)）。Articulated機器人可通過電磁感應(yīng)方式定位，并將其解碼為需要的特殊角度，使用非常靈活;而SCARA機器人運動具有一定限制（不能傾斜），但可提供更快更精確的性能，適用于高速拾放、包裝和組裝。通過比較，本文選擇運動更為靈活的Articulated機器人。

2?HLCON圖像采集

HALCON是德國MVTec公司開發(fā)的一套標準機器視覺算法包，是一套圖像處理庫，擁有應(yīng)用廣泛的機器視覺集成開發(fā)環(huán)境，能節(jié)約產(chǎn)品成本，縮短開發(fā)周期，是歐洲及日本工業(yè)界公認的最佳機器視覺軟件，由多個各自獨立的算子及底層數(shù)據(jù)管理核心構(gòu)成[8]。HALCON支持Windows、Linux和Mac OS X操作環(huán)境，整個函數(shù)庫可用C、C++、C#、Visual basic和Delphi等多種普通編程語言訪問。HALCON為大量的圖像獲取設(shè)備提供接口，保證了硬件的獨立性。作為目前業(yè)內(nèi)功能最完善、效率最高的軟件之一，HALCON廣泛應(yīng)用于工業(yè)生產(chǎn)各個方面，如機械加工、電子器件、包裝加工、木材加工等領(lǐng)域[9]，本系統(tǒng)采用HALCON軟件作為圖像在線實時采集與處理的核心模塊。HALCON的GenTL協(xié)議，允許HALCON直接控制傳感器，采集3D點云數(shù)據(jù)和灰度數(shù)據(jù)到HALCON中。在安裝驅(qū)動時需注意的是，傳感器的驅(qū)動和固件版本必須保持一致。完成驅(qū)動安裝后，打開HALCON連接傳感器并設(shè)置采集參數(shù)就可進行連接并采集圖像。在程序編輯欄中添加三維重構(gòu)算子，在HALCON圖像顯示界面就能看到三維重構(gòu)模型。

3?視覺系統(tǒng)標定

單目傳感器視覺系統(tǒng)通過不同的圖像處理算子即可確定物體的三維姿態(tài)，這些數(shù)據(jù)可用來控制機器人，但由于安裝等原因，機器人與傳感器的位置關(guān)系未知。為實現(xiàn)精確測量，在測量前需要對機器人與傳感器位置關(guān)系求解與校正，即“手眼標定”[10]。均勻變換矩陣是描述變換的好方法，但是矩陣元素過多，往往難以理解和計算，3D姿勢可以很好地解決這個問題。 3D姿勢是一個更容易理解的剛性變換表示方法：一個姿勢具有6個參數(shù)，3個旋轉(zhuǎn)和3個平移（TransX，TransY，TransZ，RotX，RotY，RotZ），代替均勻變換矩陣中的12個參數(shù)。在HALCON中可使用create_pose創(chuàng)建3D姿勢，可以通過使用算子hom_mat3d_to_pose和pose_to_hom_mat3d在姿勢和均勻矩陣之間進行轉(zhuǎn)換。手眼系統(tǒng)標定和相機標定一樣，都是基于校準對象的多幅圖像，但與攝像機標定不同的是，手眼系統(tǒng)標定不會手動標定對象。根據(jù)相機與機器人位置關(guān)系的不同，機器人視覺系統(tǒng)可分為Eye_in_Hand系統(tǒng)和Eye_to_Hand系統(tǒng)。Eye_in_Hand系統(tǒng)的攝像機安裝在機器人手部末端，在機器人工作過程中隨機器人一起運動。Eye_to_Hand系統(tǒng)的攝像機安裝在機器人本體外的固定位置，在機器人工作過程中不隨機器人一起運動[11]。系統(tǒng)傳感器是固定的，屬于Eye_to_Hand系統(tǒng)，可通過機器人夾取標定對象進行手眼系統(tǒng)標定。手眼標定的目的是求解出從傳感器坐標系到基礎(chǔ)坐標系之間的變換關(guān)系[12]，這個過程存在一系列坐標變換。在這個坐標變換鏈中，已經(jīng)知道兩個姿勢。通過標定計算確定機器人基礎(chǔ)坐標系與傳感器坐標系的變換關(guān)系，以及校準對象坐標系到機器人工具坐標系的變換關(guān)系[13]。手眼標定系統(tǒng)的標定準則如下：

公式（1）中的?H=Rt?0011，其中R為3*3階旋轉(zhuǎn)矩陣， t?為3×1階平移矩陣。本系統(tǒng)采用HALCON內(nèi)部封裝算子實現(xiàn)手眼系統(tǒng)標定，實施步驟如下：

（1）創(chuàng)建數(shù)據(jù)類型。執(zhí)行標定過程必須先創(chuàng)建手眼標定的數(shù)據(jù)類型。HALCON是一款功能強大的視覺軟件，內(nèi)部封裝豐富的標定類型，如基于機器人類型的校準、相機類型的校準和相機安裝類型的校準。系統(tǒng)選用智能傳感器，所以選擇運用3D物體進行標定。使用create_calib_data和set_calib_data創(chuàng)建標定數(shù)據(jù)類型。

（2）設(shè)置標定物體位姿。相機標定通常選用合適的標定板進行標定，3D物體手眼標定選擇功能更為強大的表面匹配法進行標定。表面是基于整體點的匹配，3D表面的全部有效數(shù)據(jù)點參與匹配計算[14]。使用拍攝的標定圖構(gòu)建3D模型，然后從模型中獲得表面匹配所需要的表面模型，通過在標定場景中找到表面模型，估計物體在傳感器中的位姿，使用算子如下：

read_object_model_3d

create_surface_model

find_surface_model

refine_surface_model_pose

構(gòu)建的3D模型和3D表面模型如圖2、圖3所示。

（3）設(shè)置機器人工具位姿。機器人位姿精度對整個手眼標定系統(tǒng)的標定精度至關(guān)重要。在進行手眼標定時，每幅標定圖片需要提供相對應(yīng)的機器人位姿，機器人工具位姿可由機器人直接獲得并通過input_pose_type算子確定機器人位姿類型。調(diào)用input_pose輸入末端位姿，則可創(chuàng)建HALCON直接讀取的文件，重復(fù)多遍即可獲得多組機器人的位姿文件。在HDevelop中對機器人位姿文件的讀取可直接由read_pose 函數(shù)實現(xiàn)。

（4）執(zhí)行標定。在完成數(shù)據(jù)準備工作后，使用算子calibrate_hand_eye執(zhí)行標定，get_calib_data獲取標定結(jié)果數(shù)據(jù)。

標定實驗選用15組數(shù)據(jù)，其中一組是標定場景中基于機器人基座的姿勢，見表2。另一組是機器人夾著標定物體的15個場景中基于傳感器的姿勢，見表3，數(shù)據(jù)通過表面匹配獲得。通過使用上述標定數(shù)據(jù)，按照標定流程，利用HDevelop示例程序進行標定測試。實驗得出標定誤差：最大平移誤差為2.539mm，最大旋轉(zhuǎn)誤差為0.541 3°，標定結(jié)果如表4所示。

4?抓取姿態(tài)確定

設(shè)機器人基礎(chǔ)坐標系和運動平臺在同一平面。在獲得標定數(shù)據(jù)后，通過設(shè)計的系統(tǒng)得到長方形工件表面輪廓的三維點云數(shù)據(jù)[15]，圖像顯示如圖4所示。已知物體相對于相機坐標系的位姿，然后使用手眼標定結(jié)果，得到抓取點在機器人基礎(chǔ)坐標系中的抓取位姿。機器人可使用工件的數(shù)據(jù)信息完成抓取任務(wù)[16]，原理如公式（2）所示：

在HALCON中通過以下代碼完成上述功能：

hom_mat3d_compose

hom_mat3d_invert

hom_mat3d_compose

5?結(jié)語

本文設(shè)計了基于智能傳感器的工件位姿檢測抓取系統(tǒng)。采用專業(yè)的機器視覺處理軟件HALCON和3D智能傳感器Gocator2350，利用3D表面匹配方法進行手眼標定，使用標定數(shù)據(jù)獲取準確的工件位姿信息，利用機器人抓取。實驗數(shù)據(jù)分析表明，本系統(tǒng)實用性較好，可滿足工業(yè)機器人的操作要求。

參考文獻：

[1]?楊建華，張偉，李麗.基于機器視覺的鋸材表面缺陷檢測系統(tǒng)設(shè)計[J].林產(chǎn)工業(yè)，2013，40（1） ：21?24.

[2]?莫圣陽.基于3D視覺技術(shù)的受電弓磨耗檢測系統(tǒng)研究[D].廣州：廣東工業(yè)大學(xué)，2015.

[3]?陳偉.3D智傳感器視覺測量系統(tǒng)關(guān)鍵算法研究[D].成都：電子科技大學(xué)，2014.

[4]?LIU Z， LI X J， LI F J， et al. Calibration method for line?structured light vision sensor based on a single ball target[J]. Optics and Lasers in Engineering，2015（69）：20?28.

[5]?ZHAO Y， ZHAO J， ZHANG L， et al. Development of a robotic 3D scanning system for reverse engineering of freeform part[J]. International Conference on Advanced Computer Theory and Engineering， 2008（2）：246?250.

[6]?盧冠男.基于機器視覺的工業(yè)機器人抓取系統(tǒng)的研究[D].合肥：合肥工業(yè)大學(xué)，2017.

[7]?合澤強.基于機器視覺的工業(yè)機器人分揀系統(tǒng)設(shè)計[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2016.

[8]?閆霞，牛建強.基于HALCON軟件的攝像機標定[J].數(shù)字技術(shù)與應(yīng)用，2010（11）：112?113，115.

[9]?姚建平，肖江，閆磊，等.基于3D結(jié)構(gòu)激光的木材表面缺陷檢測的研究[J]. 林業(yè)機械與木工設(shè)備，2013，45（3）：20?25.

[10]?王英男，戴曙光.線激光器的手眼標定方法[J].電子科技，2015，28（7）：183?185.

[11]?徐德.機器人視覺測量與控制[M].第2版.北京：國防工業(yè)出版社，2011.

[12]?盧鈺庭.基于視覺的機器人標定的研究[D].廣州：華南理工大學(xué)，2013.

[13]?LIN C C，GONZALEZ P，CHENG M Y，et al.Vision based object grasping of industrial manipulator [C]. Proceedings of 2016 International Conference on Advanced Robotics and Intelligent Systems，2016.

[14]?馮義從，岑敏儀. 三維自由表面匹配及其應(yīng)用[J].測繪工程，2005，14（3）：36?40.

[15]?杜曉燕.基于3D傳感器的掃描儀研制[D].鄭州：鄭州大學(xué)，2017.

[16]?盧泉奇，苗同升，汪地，等.基于HALCON的機械手視覺抓取應(yīng)用研究[J].光學(xué)儀器，2014，36（6）：492?498.