張 毅，王彥博，高奇峰，楊德偉，魏 博

1.重慶郵電大學 先進制造工程學院，重慶400065

2.重慶郵電大學 自動化學院，重慶400065

1 引言

工業(yè)機器人廣泛用于物流分揀、碼垛等工業(yè)任務(wù)[1]，而拾取和放置目標物體是工業(yè)機器人的重要任務(wù)之一。大部分工業(yè)機器人的抓取仍停留在預(yù)先描點后重復(fù)工作的層次。這樣的工作方式對環(huán)境的穩(wěn)定性要求極高，不能應(yīng)對突發(fā)的變化。而在煙草物流的碼垛裝配中，由于客戶訂單的復(fù)雜性和隨機性會導(dǎo)致數(shù)量不同的條煙包裝成形狀不同的卷煙包件，卷煙行業(yè)要針對不同條數(shù)的卷煙包件有著一套特殊的碼放規(guī)則以利于碼放的穩(wěn)定性同時避免條煙的損壞，因此對卷煙包件碼垛系統(tǒng)的實用性、智能化要求較高。憑借視覺系統(tǒng)對卷煙包件進行識別與定位，從而提高系統(tǒng)的魯棒性和實時性來應(yīng)對突發(fā)的情況。近年來，視覺識別定位在工業(yè)上的應(yīng)用也越來越廣泛。機器視覺識別在工業(yè)機器人在抓取和放置功能等方面仍面臨著時效性不夠的問題[2]。在這一問題上，很多人做出了成果。2016年，陳劍虹，韓小珍提出結(jié)合FAST-SURF和改進k-d樹最近鄰查找的圖像配準[3]，匹配精度有一定提高，但時效性稍低。2017年，儲蓄對基于改進SURF算法圖像匹配方法研究，提高了SURF算法檢測的速度[4]，但在后續(xù)定位中處理較為復(fù)雜，難以達到時效性。本文在前人工作的基礎(chǔ)上，提出采用改進的FAST-SURF算法，以雙目立體視覺[5]的方式對目標卷煙包件進行識別然后定位。首先通過改進的FAST算法檢測可能的特征點，而后將特征點通過Haar小波生成特征向量，F(xiàn)LANN算法搜索待匹配特征點[6-7]，歐式距離匹配[8]，RANSAC算法剔除誤匹配對，實現(xiàn)對目標物體的匹配[9]。根據(jù)圖像匹配的結(jié)果與標定得到的內(nèi)外參進行定位。與基于SURF特征的目標識別相比，本文提出的方法更能滿足卷煙包件碼垛系統(tǒng)實時性的要求，實驗結(jié)果證明了本文方法在目標物體匹配定位中的可行性。

2 基于SURF特征的目標識別

SURF算法[10]是一種高魯棒性的局部特征點檢測器，是由Herbert Bay等人在2006年提出的。SURF特征具有尺度、旋轉(zhuǎn)等不變特性，因此常用于圖像拼接、三維建模、視頻跟蹤、目標識別等。該算法采用積分圖像和近似的Hessian矩陣運算提高運算速度，使用Haar小波變換增加魯棒性。

2.1 Hessian矩陣提取特征點

SURF算法通過計算圖像像素點的Hessian矩陣提取圖像特征點，這需要圖像和高斯函數(shù)做卷積運算。根據(jù)卷積運算性質(zhì)，圖像與高斯函數(shù)的卷積可以轉(zhuǎn)化為積分圖像與高斯二階倒數(shù)模板的卷積運算。

SURF算法采用盒子濾波器近似高斯二階偏導(dǎo)數(shù)，最終獲得了近似的Hessian矩陣，通過改變盒子濾波器的模板大小建立尺度圖像金字塔。Hessian矩陣的行列式的局部最大值點即為特征點[11]。

2.2 Haar構(gòu)建特征描述符

對提取到的特征點，建立特征向量對其進行描述，SURF算法在特征點圓形區(qū)域內(nèi)同構(gòu)Haar小波響應(yīng)確定一個主方向，使特征向量具有旋轉(zhuǎn)不變性，再以特征點為中心，構(gòu)建正方形區(qū)域，經(jīng)過Haar小波響應(yīng)最終生成一個64維的特征向量。

2.3 最近鄰域特征匹配

對于參考圖像與待匹配圖像特征點的匹配，SURF算法采用最近鄰域匹配方法[12]，首先計算待匹配圖像上的特征點特征向量到參考圖像上所有特征點特征向量的歐氏距離[13]，得到一個距離集合，其次通過對距離集合進行比較運算得到最小歐氏距離d1和次最小歐氏距離d2，即：

式（1）中，T為設(shè)定閾值，一般為0.6。當最小歐式距離d1和次最小歐式距離d2的比值小于該閾值時，認為特征點與對應(yīng)最小歐式距離的特征點是匹配的，否則沒有點與該特征點相匹配。

3改進的FAST-SURF算法

改進前的流程圖對比和改進后的流程圖對比如圖1所示。

圖1 流程圖對比

3.1 改進的FAST檢測

FAST算法主要包含非特征點檢測、特征點檢測、非極大值抑制三個步驟：

（1）傳統(tǒng)的FAST檢測從圖片中選取一個像素點P為圓心，半徑為3像素的離散化的Bresenhan圓，圓的邊界有16個像素，如圖2所示。本文改進的FAST檢測算法如圖3所示。

圖2 FAST特征點示意圖

圖3 待檢測點示意圖

由圖2可以看出，傳統(tǒng)的SURF檢測是IP與周圍16個像素點進行比較（IP為P點灰度值）。因像素點較多，檢測對比的時間較長。因此本文利用圖3的陰影區(qū)域（編號1～12）的內(nèi)部像素點進行檢測，能達到檢測的效果，也減少了檢測的時間。t為閾值，檢測原則是連續(xù)9個像素點都比Ip+t大或者比Ip-t小，則該像素點為特征點候選點。

（2）待檢測的點周圍的一圈像素的灰度值與候選的點的灰度值差別夠大，可以認為這個候選點是一個特征點，在二維圖像中的任意一點圓心坐標( x,y)。特征點描述算法公式如下：

式（2）中，t為閾值，其中定義圓周上任意一點的灰度為Ix，圓心的灰度為Ip。當中心像素的灰度值IP小于周圍圈點x處像素灰度值Ix+t時，則認為該灰度像素屬于更暗的，則SP→x=d；以此類推相似的s和更亮的灰度像素點b。這樣在一個以候選特征點p為圓心的圓形區(qū)域邊緣就找到了三種類型的灰度像素點d、s和b。統(tǒng)計d或b的次數(shù)，如果大于n（當分割測試點數(shù)目為9時，即Ix的個數(shù)的3/4），則認為該點為候選特征點。然后通過固定半徑圓上像素的灰度值進行比較獲得候選特征點。利用ID3分類器，根據(jù)12個特征，判斷此候選特征點是否為特征點。將上面的步驟獲得d、s、b的記為Pd、Ps、Pb，計算得到的SP→x必定對應(yīng)式（2）的某種情況。令I(lǐng)P為特征點時kp=true，否則false，從而判定某個像素是否為特征點。

（3）最后，對特征點進行非極大值抑制，得到特征點輸出。

關(guān)于本算法中閾值t的值取為55，取值論證在實驗部分描述。

3.2 改進FAST-SURF算法

正本文將得到的FAST檢測子進行主方向的選取。首先，以特征點為圓心做一個半徑為6s的圓形鄰域（s即特征點的尺度值），然后計算區(qū)域內(nèi)像素點的水平方向和垂直方向的加權(quán)Haar小波響應(yīng)[14]。

如圖4所示，左側(cè)為Haar小波在x方向上的響應(yīng)，右側(cè)為Haar小波在y方向上的響應(yīng)。將高斯權(quán)重系數(shù)賦予響應(yīng)值，令越靠近特征點的Haar小波響應(yīng)的權(quán)值越大，然后用一個60°的扇形模板遍歷整個圓形區(qū)域，得到多個Haar響應(yīng)的構(gòu)成的累加矢量，矢量最長的方向即為特征點主方向[15]。最后計算每個特征點，獲得所有特征點的主方向。

圖4 Haar小波響應(yīng)

沿著特征點方向構(gòu)造以特征點為中心，邊長為20s的正方形區(qū)域。如圖5所示，然后對該區(qū)域?qū)崿F(xiàn)等間隔采樣（采樣間隔為s），并將其化為成4×4=16個子區(qū)域，在每個子區(qū)域采樣5×5個點。計算所有子區(qū)域的Haar小波響應(yīng)。

圖5 特征描述符生成過程

將每個子區(qū)域的d x、d y、| d x|、| d y|相加，其中d x、d y分別表示Haar小波在x和y方向的相應(yīng)。獲得四維特征描述向量V：

將16個子區(qū)域的V組合在一起，獲得16×4=64維特征描述向量，即生成了SURF描述符。對于參考圖像與待匹配圖像特征點的匹配，SURF算法采用最近鄰域匹配方法，得到的結(jié)果較準確，但搜索速度慢。本文采用基于FLANN算法進行特征搜索。通過最近歐式距離和次近歐式距離的比值同給定的閾值T來判定是否匹配。閾值T通常取0.4～0.8，閾值越大匹配點數(shù)越多，但匹配正確率會降低，本文取0.6。

3.3改進RANSAC算法

經(jīng)過歐式距離匹配后的匹配點對仍會存在錯誤匹配的情況，在本視覺系統(tǒng)中提出了一種改進的RANSAC算法用以消除。利用準確匹配點間相對斜率相同的關(guān)系來剔除誤匹配點。設(shè)(Ai,Aj)和(Bi,Bj)是處理后的圖像A和待匹配的模板圖像B兩兩正確的匹配對。那么Ai和Bi的絕對斜率k(Ai,Bi)應(yīng)該相等于Aj和Bj的絕對斜率k(Aj,Bj)。基于以上原理，利用參考圖像A中的Ai與它自身中所有的特征點Aj的斜率關(guān)系和待匹配圖像B中的Bi與它自身中所有的特征點Bj的斜率關(guān)系的相似性評價兩點對應(yīng)關(guān)系，提出如下的評價函數(shù)：

其中R(i,j)表示Ai,Bi與各自圖像每個興趣點斜率的相對差異；K(i,j)表示Ai,Bi與各自圖像每個興趣點的評價斜率。

經(jīng)過改進的RANSAC算法去除誤匹配對后，可以看到誤匹配點對有明顯的消除，這樣模板圖與目標處理圖實現(xiàn)了精確的特征點配對。

4 雙目定位

4.1 雙目定位理論

雙目視覺定位技術(shù)的原理是模擬人類雙目感知距離，實現(xiàn)對物體三維空間位置的測量，是機器人視覺研究的一個重要內(nèi)容[16]。首先用兩個攝像頭對同一物體從不同位置成像，然后從視差中修復(fù)距離信息，其中視差是指左、右觀測點在觀看目標物體時所產(chǎn)生的偏差，視差會受到觀測點與被目標物體之間距離的影響[17]。三維空間內(nèi)的點能否在圖像中出現(xiàn)實際上取決于成像過程中的“視線”，如果一個對象被兩個視點觀測到，首先利用兩幅對應(yīng)的圖像，計算出空間點在兩幅圖像中像素點之間的位置偏差，然后由幾何原理計算出目標物體的三維坐標值。本文將兩個相同相機平行放置，對卷煙包件進行測量與圖像采集。平視雙目立體視覺定位原理圖如圖6所示。

圖6 三維重建原理圖

在平視雙目立體視覺中，兩個相機擁有完全相同的內(nèi)部參數(shù)，平行放置且有一對坐標軸共線，因此兩個相機的光軸互相平行而且成像平面共面。假設(shè)左相機C1的相機坐標系為O1X1Y1Z1，右相機C2的相機坐標系為O2X2Y2Z2，相機焦距均為f，兩個相機的光心距離為d。對于任意一個空間點P，在相機坐標系C1和C2中的坐標分別為(x1,y1,z1)、(x2,y2,z2)，P點在左、右相機拍攝到的圖片中的圖像坐標分別為(u1,v1)、(u2,v2)?？芍?，在得到空間中點P在雙目視覺系統(tǒng)中兩個二維圖像中的像素坐標，就可以重建P點的三維坐標。

4.2 雙目定位

在卷煙包件的智能碼垛系統(tǒng)的定位過程中，需要獲取的是卷煙包件形心坐標。由于工業(yè)場地有限，本系統(tǒng)采集圖像的方式是水平拍攝。根據(jù)圖像匹配的結(jié)果與標定得到的內(nèi)外參，計算獲得所有匹配特征點的三維坐標。由于匹配特征點近似均勻分布，所以將所有特征點的三維坐標進行平均運算，得到近似平面形心坐標。卷煙包件的煙包長度已知為270 mm，將獲得的近似平面形心坐標的Y軸值加上煙包長度的一半135 mm，即獲得卷煙包件的近似形心坐標。

5 實驗及結(jié)果分析

5.1 相機標定

進行匹配實驗之前要先對攝像機進行標定[18]。本實驗搭建的雙目平臺由兩攝像機組合而成，1號相機焦距6.764 mm，2號相機焦距6.758 mm，相機距離約195 mm。采用Halcon13、opencv2.4.9等軟件作為開發(fā)工具。實驗電腦參數(shù)如下：I5-3210處理器，CPU頻率為2.5 GHz，RAM容量為2 GB，64位操作系統(tǒng)。

根據(jù)實際場景與實驗條件，本實驗采用170 mm×170 mm的標定板，如圖7所示。

圖7 標定

左右攝像機同時采集六組空間位置不同的標定板圖像，采用Halcon對雙目立體視覺系統(tǒng)進行標定，標定結(jié)果如表1所示。

完成相機標定后，對圖像進行校準，目的是消除透鏡畸變并使雙目圖像的成像平面在同一平面且嚴格對齊彼此的行掃描線。

5.2 閾值t的確定

實驗對縮小、放大、旋轉(zhuǎn)的情況下，改變本文算法中的閾值，根據(jù)三種情況的匹配結(jié)果來確定閾值t的值。

實驗在縮?。ㄟh距離）、放大（近距離）、旋轉(zhuǎn)（順時針90°）下的情況，各采集兩幅圖像，在三種不同的情況，對閾值進行討論實驗。實驗具體數(shù)據(jù)如表2所示。從實驗數(shù)據(jù)可以得出結(jié)論：在大體上，整個匹配時間隨閾值的增大而減小，而正確匹配率隨閾值的增大而減小。在閾值t=55時，在縮小、放大、旋轉(zhuǎn)三種情況下，匹配時間較短，且匹配正確率較高。因此，本算法將閾值t的值定為55。

表1 攝像機標定結(jié)果

表2 三種情況下閾值變化與時間、正確匹配率的關(guān)系

對采集的原圖像用Halcon軟件進行校準，校準后的圖像如圖8所示。

圖8 校準后的圖像

為了驗證FAST-SURF方法對目標物體的匹配的可行性，完成攝像機標定和校準后，采用FAST-SURF、SURF、參考文獻[3]中的SURF改進算法進行目標匹配。

5.3 目標匹配

在將校準后的圖像用三種算法匹配，得到的匹配結(jié)果如圖9～11所示。

圖9 FAST-SURF算法

通過三種不同算法的匹配實驗，可以得到實驗結(jié)果。匹配結(jié)果對比表明：本文算法表現(xiàn)良好，速度快，正確率高；SURF算法匹配效果稍差，速度略慢，且正確匹配率相對較低；他人算法匹配效果良好，但是匹配速度和正確率不如本文算法。實驗的具體數(shù)據(jù)如表3所示。

圖10 文獻[3]算法

圖11 本文算法

表3 三種算法結(jié)果比較

5.4 目標定位

對于卷煙包件，其長度（即條煙的長度）和寬度（即五條煙的寬度之和）是固定的。得到的不規(guī)則卷煙包件平面中心點的三維坐標就可以得到不規(guī)則卷煙包件整體的三維坐標，得到的三維坐標與實際三維坐標對比分析如表4所示。

從以上數(shù)據(jù)可以得出，在煙包條數(shù)不同的情況下，本文算法誤差在8 mm以內(nèi)，平均定位時間約0.7 s，優(yōu)于FAST-SURF算法和SURF-RANSAC算法，而且本文算法誤差的波動范圍小，適用于卷煙包件的智能碼垛系統(tǒng)中。

表4 算法對比定位結(jié)果

5.5 魯棒性測試

在魯棒性實驗中，主要測試了旋轉(zhuǎn)形變、噪聲干擾及亮度變化這三個方面的影響。所有測試的圖像集均是相同的，最后通過獲取的匹配點數(shù)量和匹配點對的正確匹配率來評估各算法的魯棒性。

5.5.1 旋轉(zhuǎn)不變性

圖12（a）所示為旋轉(zhuǎn)不變性測試曲線圖，可以看出：本文改進的FAST-SURF算法和SURF-RANSAC算法在圖像旋轉(zhuǎn)中具有一定的魯棒性，且兩種算法對幾乎全部旋轉(zhuǎn)圖像都能夠獲取較多的匹配點，而文獻[3]中的FAST-SURF算法雖然也具備一定的魯棒性，但對于部分圖像獲得的匹配點較少。所以，在圖像旋轉(zhuǎn)匹配的魯棒性測試中，本文算法和SURF-RANSAC算法更具優(yōu)勢，且本文算法更加穩(wěn)定。

5.5.2 干擾魯棒性

圖12（b）、（c）所示分別為高斯噪聲魯棒性測試曲線圖和光照強度變化的魯棒性測試曲線圖?？梢钥闯鋈N算法對于噪聲干擾和光照變化均具有強魯棒性，而且本文算法即使在各種干擾較為嚴重的情況下，仍然可以獲取一定數(shù)量的匹配點對。因此，本文算法在魯棒性測試中相對于另兩種算法有一定改進。

除此，本文根據(jù)差錯率曲線描述算法匹配率的橫坐標，查全率描述為算法匹配率的縱坐標來論證各算法的魯棒性，查全率及差錯率定義如下：

圖12 FAST-SURF算法

圖13 算法性能對比

圖13（a）～（c）分別為旋轉(zhuǎn)變換、噪聲干擾以及光照變化條件下差錯率與查全率曲線圖，可以看出各項結(jié)果與圖12接近，在旋轉(zhuǎn)變換中，本文算法和FAST-SURF算法查全率相當?shù)珒?yōu)于SURF-RANSAC算法，匹配的精度也更高。在噪聲干擾下，本文算法與SURF-RANSAC算法相似但好于FAST-SURF算法，這是因為本文算法對圖像的縮放保持不變性。圖13（c）為亮度變化條件下的圖像匹配，可以看出三種算法很接近且對非線性光照變化不敏感。

由于本文算法以Harr描述符的特征方向為參考方向?qū)ζ洳蓸狱c進行坐標變換，使其對圖像旋轉(zhuǎn)具有較好的不變性。并優(yōu)化FAST算法，快速提取圖像重復(fù)率較高的特征點。最后，通過改進的RANSAC算法，剔除誤匹配點對，提高匹配精度。因此，本文算法在魯棒性測試中更具優(yōu)勢。

圖14分別給出了圖像匹配魯棒性實驗的匹配實例。結(jié)果表明本文算法的魯棒性較強，可以很好地滿足碼垛系統(tǒng)中的應(yīng)用。

圖14 魯棒性測試匹配效果圖

6 結(jié)語

本文針對卷煙包件在智能碼垛中的識別定位問題，提出了一種基于改進的FAST-SURF算法的雙目目標識別定位方法。通過將FAST的16個點降低為12個點進行比較，減小了FAST的檢測時間，采用FLANN算法搜索特征點進行粗搜索，與最近鄰算法相比，搜索精度略微降低，但速度更快，利用歐式距離匹配后，用改進RANSAC算法來剔除FLANN算法粗搜索帶來的誤匹配，實現(xiàn)了左右圖像的優(yōu)質(zhì)匹配，并利用卷煙包件形狀規(guī)則和其匹配特征點近似均勻分布的規(guī)律計算得到不規(guī)則卷煙包件的形心位置。本文在卷煙包件識別定位的速度和正確率上都有一定提高且具有良好的魯棒性，實驗驗證了本文方法的可行性，具有一定的實用價值。