，，

(安徽工程大學(xué) 電氣工程學(xué)院，安徽 蕪湖 241000)

視覺是人類獲取外界信息的重要途徑，擁有視覺的生物能夠讓他們的生活變得更方便，同樣擁有視覺的機(jī)器人可以定位出空間物體的信息，并方便抓取[1].目前，在需要對(duì)產(chǎn)品進(jìn)行搬運(yùn)與裝配的自動(dòng)化生產(chǎn)流水線上，大部分機(jī)器人僅能在預(yù)先編程好的程序和專門的環(huán)境下工作，缺乏對(duì)周圍環(huán)境的判斷,因而無法及時(shí)應(yīng)變，因此極大地限制了機(jī)器人的應(yīng)用.隨著各類新型傳感器技術(shù)的日益發(fā)展，為了滿足在工業(yè)上的生產(chǎn)需求，讓工業(yè)機(jī)器人發(fā)揮更大的作用[2].搭載了類似人類的視覺系統(tǒng)，讓機(jī)器人更加的智能化，可以實(shí)現(xiàn)部分人類視覺的功能.而這種視覺引導(dǎo)的工業(yè)機(jī)器人利用視覺傳感器采集圖像，并且利用算法進(jìn)行圖像處理以獲得空間定位的數(shù)據(jù)，實(shí)現(xiàn)了對(duì)三維空間的坐標(biāo)定位并進(jìn)行路徑地圖規(guī)劃，最終實(shí)現(xiàn)了工業(yè)生產(chǎn)流水線的搬運(yùn)與裝配[3-4].而在實(shí)際生產(chǎn)流水線工作的時(shí)候，為了得到空間幾何信息與采集圖像之間的對(duì)應(yīng)關(guān)系，視覺機(jī)器人在不同位勢(shì)下采集圖像，需要對(duì)攝像機(jī)進(jìn)行標(biāo)定[5-6].傳統(tǒng)的攝像機(jī)標(biāo)定方法存在一定的缺陷，必須在特定的環(huán)境和已知的參照物下才能標(biāo)定.比如文獻(xiàn)[7]提出的確定模板上點(diǎn)陣的物理坐標(biāo)以及圖像和模板之間的點(diǎn)的匹配來實(shí)現(xiàn)標(biāo)定求取內(nèi)外參數(shù)；Tsai[8]等提出的線性模型攝像機(jī)的外參數(shù)和焦距標(biāo)定方法等.隨著標(biāo)定技術(shù)研究的不斷發(fā)展，其多用點(diǎn)、線、圓弧等基本特征來進(jìn)行標(biāo)定且自身參數(shù)之間相互約束，因而更為靈活.如文獻(xiàn)[9]提出的一種特殊的平移運(yùn)動(dòng)方式完成自標(biāo)定；文獻(xiàn)[10]提出的另一種特殊的旋轉(zhuǎn)運(yùn)動(dòng)方式確定的一種自標(biāo)定等.結(jié)合各種標(biāo)定方法的文獻(xiàn)，研究中提出的基于HALCON的機(jī)器人運(yùn)動(dòng)空間中心點(diǎn)攝像機(jī)標(biāo)定方法，便是通過點(diǎn)特征來進(jìn)行標(biāo)定的，機(jī)器人攜帶攝像機(jī)在工作空間中進(jìn)行圖片采集，圖像采集結(jié)果如圖1所示.設(shè)其重合空間內(nèi)某一點(diǎn)為中心點(diǎn)，利用HALCON進(jìn)行視覺圖像處理，對(duì)攝像機(jī)采集到的照片進(jìn)行分析，它在視覺軟件開發(fā)成本和周期上均具有很大的優(yōu)勢(shì)，且具有靈活的架構(gòu)[11].

1 針孔模型

圖像是空間物體幾何信息通過攝像機(jī)模型在二維成像平面的反映[12].針孔模型是最常被使用的經(jīng)典模型，空間中的物體通過孔投射到成像平面，形成倒立的實(shí)像，稱為針孔模型[13],如圖2所示.設(shè)光線延長(zhǎng)線與Z軸平行，原點(diǎn)為光軸中心，以指向目標(biāo)點(diǎn)為正方向建立坐標(biāo)系P1(x1,y1,z1)，P2(x2,y2,z2)得：

(1)

式中,f是攝像機(jī)的焦距，f=z2.

圖1 圖像采集結(jié)果圖2 針孔模型

2 攝像機(jī)參數(shù)的求取

2.1 攝像機(jī)內(nèi)參數(shù)的求取

由式(1)相似原理知，設(shè)空間中幾何坐標(biāo)系的點(diǎn)投影到圖像平面上坐標(biāo)系的坐標(biāo)為(u,v)，與成像平面的交點(diǎn)記為(u0,v0)，它們之間的關(guān)系為：

(2)

即：

(3)

轉(zhuǎn)換成矩陣形式為：

(4)

2.2 攝像機(jī)外參數(shù)的求取

如圖2所示，由上面推導(dǎo)可知，空間中幾何坐標(biāo)系的點(diǎn)與成像坐標(biāo)系的變換關(guān)系為：

(5)

3 中心點(diǎn)攝像機(jī)標(biāo)定方法

在攝像機(jī)視場(chǎng)內(nèi)，機(jī)器人做特定的平移和旋轉(zhuǎn)運(yùn)動(dòng)，調(diào)節(jié)機(jī)器人的不同位勢(shì)采集圖像，至少采集3組圖像，并記錄3組末端姿態(tài).根據(jù)圖像軟件處理,將目標(biāo)重合空間內(nèi)的某一點(diǎn)設(shè)為中心點(diǎn)，在中心點(diǎn)平面上建立世界坐標(biāo)系，以其法線方向作為z軸.所以zw=0.

由式(4)、式(5)得：

(6)

式中,ud=u-u0；vd=v-v0;

將式(6)展開消去zc，得：

(7)

提取標(biāo)定點(diǎn)，通過最小二乘法可以求得[h11,h12,h14,h24,h31,h32]T.

因?yàn)椤琺33‖=1，m1·m3=0和m2·m3=0得：

(8)

(9)

ax3+bx3+cx+d=0,

(10)

式中，

由以上各式得：

(11)

(12)

利用數(shù)值計(jì)算方法容易獲得式(10)的解，其中至少有一個(gè)正實(shí)根xr.對(duì)其開平方可以求出m34，然后通過式(8)分別求出m12、m23和m33，其中m33的符號(hào)根據(jù)h11和h22確定.由式(9)可以求出kx和ky，然后利用式(12)求出其他參數(shù)，獲得外參矩陣.

4 HALCON的標(biāo)定實(shí)驗(yàn)

HALCON是德國(guó) MVtec 公司開發(fā)的圖像處理軟件，它具有完善的綜合標(biāo)準(zhǔn)軟件庫和機(jī)器視覺集成開發(fā)環(huán)境.HALCON 提供了豐富的函數(shù)庫 ，包括 blob 分析 、形態(tài)學(xué) 、模式匹配、 測(cè)量、 三維目標(biāo)識(shí)別和立體視覺等. 它支持Windows，Linux 和 Solaris 操作環(huán)境 ， 整個(gè)函數(shù)庫可以用C，C++，C#，Visual Basic 和 Delphi 等多種普通編程語言開發(fā)，有效提高了開發(fā)效率，并且執(zhí)行速度快，具有良好的跨平臺(tái)移植性.

為了讓視覺搬運(yùn)機(jī)器人在工作時(shí)定位更加準(zhǔn)確，必須建立空間中物體與所采集圖像之間點(diǎn)的存在關(guān)系，因此必須對(duì)攝像機(jī)進(jìn)行標(biāo)定.在空間中放置一個(gè)已知信息的平板即標(biāo)定板[13]，使用的是制作的30 mm*30 mm標(biāo)定板.通過HALCON算子gen_caltab來制作一個(gè)標(biāo)定板.

4.1 標(biāo)定板的制作

在機(jī)器視覺定位、搬運(yùn)等應(yīng)用中，為了得到空間中物體與其采集圖像中對(duì)應(yīng)點(diǎn)之間的關(guān)系，進(jìn)行攝像機(jī)標(biāo)定，由攝像機(jī)模型計(jì)算得到高精度的測(cè)量和定位結(jié)果.在HALCON中自帶算子gen_caltab(::XNum,YNum,MarkDist,DiameterRatio,CalTabDescrFile,CalTabPSFile:)方便自己動(dòng)手制作一個(gè)合適的標(biāo)定版，如圖3所示.

XNum為每行黑色圓點(diǎn)的個(gè)數(shù).YNum為每列黑色圓點(diǎn)的個(gè)數(shù).MarkDist為相鄰黑色圓點(diǎn)的中心距.DiameterRatio為圓點(diǎn)的直徑和圓點(diǎn)之間圓心距的比值.CalTabDescrFile為標(biāo)定板描述文件的文件路徑(.descr).CalTabPSFile為標(biāo)定板圖像文件的文件路徑(.ps).使用制作的標(biāo)定板標(biāo)定其參數(shù)如下：gen_caltab(7,7,0.003 75,0.5,'D:/30_30.descr','D:/30_30.ps').

4.2 基于HALCON的標(biāo)定

在實(shí)際生產(chǎn)應(yīng)用中，視覺引導(dǎo)機(jī)器人分為Eye-In-Hand或者Eye-To-Hand兩種常用方式.而研究中所使用的是攝像機(jī)與機(jī)器人分開固定的另一種安裝方式，即Eye-To-Hand手眼標(biāo)定，攝像機(jī)固定不動(dòng)，由機(jī)器人運(yùn)動(dòng)完成任務(wù).在標(biāo)定時(shí)機(jī)器人將制作好的標(biāo)定板夾持在適當(dāng)?shù)奈恢?，在不同的位?shì)下對(duì)標(biāo)定版進(jìn)行圖像采集，其標(biāo)定流程圖如圖4所示.

圖3 30 mm*30 mm標(biāo)定版圖4 標(biāo)定流程圖

在進(jìn)行攝像機(jī)標(biāo)定時(shí)，采集圖像的個(gè)數(shù)和標(biāo)定的精度成正比關(guān)系，理論上所采集的圖片越多越好，所選圖像中標(biāo)定板的位置必須能覆蓋所需標(biāo)定圖像的4個(gè)角.在實(shí)驗(yàn)中通過HALCON軟件處理的部分圖像的拍攝效果及標(biāo)定如圖5所示.

圖5 標(biāo)定效果

5 實(shí)驗(yàn)結(jié)果及分析

在實(shí)驗(yàn)室里，利用HALCON中的Calibration助手進(jìn)行攝像機(jī)的標(biāo)定，選擇加載圖像文件中上述制作的標(biāo)定板，刪除加載失敗的采集圖片進(jìn)行標(biāo)定.對(duì)標(biāo)定板圖像進(jìn)行特征處理，在其特定的區(qū)域內(nèi)抓取輪廓范圍，分析其灰度，確定標(biāo)定版的邊界轉(zhuǎn)化為XLD輪廓如圖6所示.通過HALCON軟件對(duì)其特征圖進(jìn)行處理，其直方圖如圖7所示.

圖6 輪廓圖圖7 灰度直方圖

因?yàn)槊總€(gè)攝像機(jī)本身的物理屬性不同，在攝像機(jī)標(biāo)定完成后，攝像機(jī)的參數(shù)也不再變化，相機(jī)也不可移動(dòng)，否則需要重新標(biāo)定.實(shí)驗(yàn)標(biāo)定的攝像機(jī)參數(shù)結(jié)果如表1所示，標(biāo)定后攝像機(jī)的位勢(shì)如表2所示.

表1 標(biāo)定后攝像機(jī)參數(shù)

表2 標(biāo)定后攝像機(jī)的位勢(shì)

為了驗(yàn)證標(biāo)定的準(zhǔn)確性，在標(biāo)定機(jī)器人視覺系統(tǒng)后，現(xiàn)場(chǎng)進(jìn)行實(shí)際測(cè)試，測(cè)試圖如圖8所示.

圖8 標(biāo)定測(cè)試圖

采用校驗(yàn)點(diǎn)真實(shí)的世界坐標(biāo)，即機(jī)器人坐標(biāo)和利用標(biāo)定后參數(shù)所求得的坐標(biāo)之差的平均值作為標(biāo)定精度的度量參數(shù).

(13)

分別計(jì)算橫坐標(biāo)Tx=10.655 8 mm, 縱坐標(biāo)Ty=-2.851 29 mm.又因?yàn)锳BB機(jī)器人的XY軸坐標(biāo)精度為0.01 mm, 研究中采用的攝像機(jī)有500萬像素精度，測(cè)量精度理論值為0.01 mm, 所以可得標(biāo)定精度在一個(gè)像素范圍內(nèi), 且精度較高.

另外計(jì)算得橫坐標(biāo)最大差值為0.361 mm, 縱坐標(biāo)最大差值為0.143 mm, 橫坐標(biāo)差值的標(biāo)準(zhǔn)差為0.128 mm, 縱坐標(biāo)標(biāo)準(zhǔn)差為0.049 mm.因?yàn)闃?biāo)準(zhǔn)差可以表征測(cè)量系統(tǒng)的不確定度, 因此橫縱坐標(biāo)的不確定度都在一個(gè)像素范圍內(nèi), 且精度較好.

6 結(jié)論

機(jī)器視覺結(jié)合機(jī)器人在搬運(yùn)行業(yè)的應(yīng)用，打開了工業(yè)機(jī)器人逐步智能化的開端.而視覺的定位、識(shí)別等離不開攝像機(jī)的標(biāo)定，其標(biāo)定的結(jié)果影響著整個(gè)系統(tǒng)的精度，所以只有做好攝像機(jī)的標(biāo)定才能進(jìn)行后續(xù)的工作.研究中提出的中心點(diǎn)攝像機(jī)標(biāo)定方法，利用HALCON軟件對(duì)視覺搬運(yùn)機(jī)器人的標(biāo)定方法進(jìn)行了研究，其標(biāo)定結(jié)果精確、運(yùn)算率高、操作簡(jiǎn)單，具有良好的實(shí)用性.

[1] 潘武．基于機(jī)器視覺的工件的識(shí)別和定位[D]．北京：北京化工大學(xué)，2012．

[2] 王殿君．雙目視覺在移動(dòng)機(jī)器人定位中的應(yīng)用[J]．中國(guó)機(jī)械工程，2013，24(9)：1 155-1 158．

[3] 劉維．基于雙目立體視覺的物體深度信息提取系統(tǒng)研究[D]．長(zhǎng)沙：中南大學(xué)，2009．

[4] 吳躍民，劉榮，董代．用于光電子器件對(duì)準(zhǔn)的顯微立體視覺系統(tǒng)及其標(biāo)定方法研究[J]．中國(guó)機(jī)械工程，2005，16(14)：1 235-1 239．

[5] 羅晨，朱利民，丁漢．標(biāo)定模板與圖像平面平行時(shí)的攝像機(jī)標(biāo)定方法[J]．中國(guó)機(jī)械工程，2005，16(17)：1 558-1 560．

[6] 張世輝，郭翠翠．一種新的基于并聯(lián)機(jī)構(gòu)的攝像機(jī)線性標(biāo)定方法[J]．中國(guó)機(jī)械工程，2009，20(14)：1 651-1 655．

[7] Z ZHANG.A Flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1 330-1 334.

[8] R Y TSAI.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf cameras and lens[J].IEEE Transactions on Robotics and Automation,1987,3(4):323-344.

[9] S D MA.A self-calibration technique for active system[J].IEEE Transaction on Robotics and Automation,1996, 12(1):114-120.

[10] R HARTLEY.Self-calibration of stationary cameras[J].International Journal of Computer Vision,1997,229(1):2-5.

[11] 羅珍茜，薛雷．基于HALCON的攝像機(jī)標(biāo)定[J]．電視技術(shù)，2010，34(4)：100-102．

[12] Z ZHANG.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1 330-1 334.

[13] 解則曉，程傳景，金明．基于共面法的視覺傳感器的標(biāo)定方法[J]．中國(guó)機(jī)械工程，2006，17(16)：1 690-1 693．