(廣東工業(yè)大學(xué) 機(jī)電工程學(xué)院，廣東 廣州 510006)

遙操作工程機(jī)器人是指能夠在人難以接近或?qū)θ擞泻Φ沫h(huán)境中，由操作者遠(yuǎn)程遙控操作完成復(fù)雜作業(yè)任務(wù)的機(jī)器裝置[1]。為了提高作業(yè)效率，遙操作工程機(jī)器人采用視覺提示技術(shù)提高臨場感[2]，但視頻圖像傳輸過程中存在較大網(wǎng)絡(luò)時(shí)延，可能導(dǎo)致工程機(jī)器人無法正常作業(yè)[3]。采取雙目視覺定位技術(shù)傳輸數(shù)據(jù)量小，可有效克服時(shí)延問題[4]。但傳統(tǒng)的雙目視覺定位方法難以滿足遙操作工程機(jī)器人快速、準(zhǔn)確的作業(yè)要求，開展遙操作工程機(jī)器人雙目視覺定位方法的研究具有重要的工程實(shí)際意義。

國內(nèi)外許多學(xué)者對雙目立體視覺定位技術(shù)開展了研究，在實(shí)現(xiàn)雙目視覺定位的特征點(diǎn)提取及匹配方面提出多種算法[5-9]。David Lowe[10]提出了SIFT(Scale-Invariant Feature Transform)算法，該算法具有尺度不變性，但是目標(biāo)特征點(diǎn)提取與匹配時(shí)間較長。Bay[11]提出了SURF(Speeded Up Robust Features)算法，該算法運(yùn)行速度比SIFT有所加快，但是仍然無法滿足實(shí)時(shí)性的需求。針對 SIFT 和 SURF 在實(shí)時(shí)性上的缺陷，Ethan Rublee等人[12]提出ORB(Oriented FAST and Rotated BRIEF)檢測算子，使速度有極大提升，但ORB 粗匹配存在較多誤匹配。朱永豐[13]提出了基于ORB特征的單目視覺定位算法，該算法實(shí)時(shí)可行，但因其基于單目實(shí)現(xiàn)，無法得到尺度信息。白雪冰[14]提出了一種結(jié)合SURF和ORB的算法，該算法克服了ORB算法不具有尺度不變性的缺陷，但明顯降低了ORB算法的速度。龔朋朋[15]研究了基于神經(jīng)網(wǎng)絡(luò)的遙操作工程機(jī)器人雙目視覺定位方法，利用工程機(jī)器人特征點(diǎn)的二維圖像坐標(biāo)和三維世界坐標(biāo)構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，以此模型實(shí)現(xiàn)遙操作工程機(jī)器人的定位。該方法簡單有效，但神經(jīng)網(wǎng)絡(luò)的建立需要大量的樣本訓(xùn)練，過程較為煩瑣。上述方法應(yīng)用于遙操作工程機(jī)器人雙目視覺定位通?？蓾M足一般要求，但對于實(shí)時(shí)性要求較高的場合尚難以滿足要求。

為了提高遙操作工程機(jī)器人定位系統(tǒng)圖像處理的實(shí)時(shí)性，本文提出了一種基于改進(jìn)ORB的雙目立體視覺定位方法。利用圖像二分法剔除掉圖像中的無效區(qū)域，只保留匹配區(qū)域，采用ORB算法完成有效區(qū)域的匹配，最后采用RANSAC(Random Sample Consensus)算法剔除偽匹配，得到較為精準(zhǔn)的匹配點(diǎn)對，以提高匹配效率和算法的實(shí)時(shí)性。實(shí)驗(yàn)證明了其有效性。

1 雙目視覺定位方法

雙目立體視覺定位的流程如圖1所示。先對相機(jī)進(jìn)行標(biāo)定，然后對圖像進(jìn)行分塊并提取圖像的特征點(diǎn)，對特征點(diǎn)進(jìn)行立體匹配，最后對特征點(diǎn)進(jìn)行三維重建，實(shí)現(xiàn)目標(biāo)物的定位。

圖1 雙目立體視覺定位流程

1.1 ORB特征匹配

ORB特征是將FAST(Features From Accelerated Segment Test)特征點(diǎn)檢測方法與BRIEF(Binary Robust Independent Elementary Features)特征描述子結(jié)合起來，并在它們原來的基礎(chǔ)上做了改進(jìn)與優(yōu)化得到的。

ORB算法采用改進(jìn)的FAST(oFAST)來檢測特征點(diǎn)的位置。首先假設(shè)在圖像中要提取N個(gè)特征點(diǎn)，降低FAST的閾值，使FAST算法檢測到的特征點(diǎn)大于N，然后在特征點(diǎn)位置處，計(jì)算特征點(diǎn)的Harris響應(yīng)值R。

特征點(diǎn)的方向，計(jì)算過程如下。

定義區(qū)域S的矩為

(1)

式中，f(x，y)表示圖像的灰度值，則此區(qū)域質(zhì)心位置為

(2)

則特征點(diǎn)主方向?yàn)棣?arctan(M0,1/M1,0)。

從所有角點(diǎn)中找到效果良好的點(diǎn)對來描述圖像特征。將這些角點(diǎn)對進(jìn)行灰度二值化，即

(3)

式中，x，y表示角點(diǎn)坐標(biāo)。

選擇n個(gè)角點(diǎn)位置(x，y)，對其進(jìn)行特征運(yùn)算

(4)

設(shè)有n對位置坐標(biāo)(xi，yi)，構(gòu)造2×n矩陣：

(5)

Mθ=RθM

(6)

得出BRIEF 描述子結(jié)果

gn=(Pθ,θ)=fn(P)|(xi,yi)?Mθ

(7)

根據(jù)匹配點(diǎn)與非匹配點(diǎn)Hamming距離不同設(shè)定閾值，實(shí)現(xiàn)匹配。

1.2 改進(jìn)的ORB特征匹配

由于操作者需要及時(shí)地觀察到遠(yuǎn)端機(jī)器人作業(yè)的實(shí)時(shí)情況，為避免發(fā)生誤操作甚至產(chǎn)生嚴(yán)重后果，遙操作工程機(jī)器人雙目視覺定位系統(tǒng)需具有更高的實(shí)時(shí)性，因此應(yīng)進(jìn)一步提高ORB算法的快速性。

在遙操作工程機(jī)器人雙目視覺系統(tǒng)采集圖片的圖像區(qū)域并不是全部有效的。如果除去在無效區(qū)域內(nèi)提取特征點(diǎn)和生成描述子的時(shí)間，可節(jié)省特征點(diǎn)提取和描述子生成的總時(shí)間。因此，提出改進(jìn)的ORB特征匹配算法，即先利用圖像分塊的思想，對圖片進(jìn)行分塊，然后采用投票的思想，推選出最佳的子塊。再用ORB匹配算法對最佳的子塊進(jìn)行匹配，最后用RANSAC算法剔除誤匹配，得到精確匹配點(diǎn)。

(8)

由式(8)可知，當(dāng)m>1時(shí)，可以保證t

(9)

(10)

由式(10)可得，特征點(diǎn)檢測時(shí)間減少了25%。即采用雙圖像二分法，在圖像處理過程中，可提高效率25%。

在實(shí)際匹配過程中，為進(jìn)一步提高算法的實(shí)時(shí)性，運(yùn)用歐氏距離相似判別法，利用相鄰子塊之間的空間位置關(guān)系，運(yùn)用投票機(jī)制的思想方法，推選出最佳子塊。

(11)

式中，Ii(x，y)為待匹配圖像；Iij(x，y) (j=1，2)為切割后得到的子塊。

對得到的最佳子塊,采用ORB算法提取特征點(diǎn)并生成ORB描述子，用Hamming距離進(jìn)行粗匹配。

由于ORB算法局限性和外界干擾噪聲等因素的影響，在特征匹配時(shí)會(huì)存在偽匹配。偽匹配會(huì)對匹配結(jié)果造成誤差，嚴(yán)重影響了算法的匹配效果。為減少偽匹配，在進(jìn)行粗匹配后利用RANSAC算法進(jìn)行精匹配，通過多次迭代除去偽匹配點(diǎn)，最終得到較為精準(zhǔn)的匹配點(diǎn)對。改進(jìn)算法的流程如圖2所示。

圖2 改進(jìn)ORB算法流程圖

2 目標(biāo)物三維重建

為了實(shí)現(xiàn)對目標(biāo)物的空間定位，需要對目標(biāo)物進(jìn)行三維重建。如圖3所示，對于空間中任意一點(diǎn)P，用C1、C2兩個(gè)攝像機(jī)同時(shí)觀察該點(diǎn)，O1和O2分別為左、右攝像機(jī)的光心，P1、P2分別為P點(diǎn)在左、右攝像機(jī)成像平面成像的像素點(diǎn)。

圖3 雙目立體視覺成像原理

點(diǎn)P在左、右圖像坐標(biāo)系中有相同的縱坐標(biāo)Y，根據(jù)幾何知識(shí)可以得到

(12)

式中,(xc，yc，zc)為點(diǎn)P的三維坐標(biāo)；b為基線距；ax,ay,u0,v0為左右攝像機(jī)的內(nèi)參數(shù)；(u1，v1)，(u2,v2)分別為P在左、右相機(jī)的圖像坐標(biāo)。

由此，空間點(diǎn)P在左攝像機(jī)坐標(biāo)系中的坐標(biāo)可以通過計(jì)算得到，即

(13)

利用攝像機(jī)的內(nèi)外參數(shù)和式(10)就可以計(jì)算出目標(biāo)物體的三維坐標(biāo)，從而確定出該點(diǎn)的空間位置。

3 實(shí)驗(yàn)研究

為了驗(yàn)證本文算法的實(shí)時(shí)性和有效性，建立了基于雙目視覺的遙操作工程機(jī)器人定位系統(tǒng)，采用不同算法，對不同的目標(biāo)物進(jìn)行了大量的對比實(shí)驗(yàn)研究。

硬件系統(tǒng)如圖4所示，主要包括遙操作工程機(jī)器人(見圖4)，兩臺(tái)型號(hào)為DFK23G274的映美精工業(yè)相機(jī)，配備有Windows操作系統(tǒng)，CPU為Inter?CoreTMi5-5257U,主頻為2.7 GHz的圖像處理PC機(jī)。軟件采用基于Visual Studio 2015的集成開發(fā)環(huán)境，使用OpenCV進(jìn)行圖像處理。由兩臺(tái)工業(yè)相機(jī)構(gòu)成的雙目視覺系統(tǒng)將采集到的圖片傳送至圖像處理PC機(jī)進(jìn)行深度恢復(fù)并實(shí)現(xiàn)目標(biāo)物的三維建模，為遙操作工程機(jī)器人的作業(yè)提供指引。

在實(shí)驗(yàn)過程中，通過與SIFT算法、SURF算法及傳統(tǒng)ORB算法進(jìn)行比較，證明本文算法的性能。SITF算法、SURF算法、ORB算法、本文算法的匹配效果圖分別如圖5～圖8所示。

圖5 SIFT特征匹配圖

圖6 SURF特征匹配圖

圖7 ORB特征匹配圖

圖8 本文算法匹配圖

SIFT、SURF和傳統(tǒng)ORB算法進(jìn)行比較實(shí)驗(yàn)的結(jié)果如表2所示。從表中可以看出，本文算法不僅速度快，準(zhǔn)確性也有明顯提高。

表1 不同算法性能比較

為了進(jìn)一步驗(yàn)證本文算法的準(zhǔn)確性和實(shí)時(shí)性，分別對矩形磚塊、多邊形石塊及不規(guī)則石塊的圖片進(jìn)行了特征匹配。矩形磚塊匹配的效果圖見圖8，圖9為使用多邊形石塊匹配的效果圖，圖10為不規(guī)則石塊匹配的效果圖，結(jié)果如表2所示。可以看出，本文算法對不同的目標(biāo)物具有較高的匹配精度和較好的實(shí)時(shí)性。

圖9 多邊形石塊匹配圖

圖10 不規(guī)則石塊匹配圖

組別算法性能平均匹配時(shí)間/s正確匹配率/%10.4794.420.5192.230.4991.3平均值0.4992.6

在對矩形磚塊進(jìn)行三維重建的過程中得到了矩形磚塊的三維信息，并對矩形磚塊進(jìn)行人工測量，將人工測量的目標(biāo)物三維尺寸和本文算法得到的目標(biāo)物三維信息進(jìn)行比較，結(jié)果如表3所示。

表3 矩形磚塊三維信息誤差分析

以上可看出，本文算法不論在實(shí)時(shí)性和匹配精度上都有明顯提高。

4 結(jié)束語

為了提高遙操作工程機(jī)器人定位系統(tǒng)圖像處理的實(shí)時(shí)性，提出了一種基于改進(jìn)ORB算法的雙目視覺定位方法。建立了遙操作工程機(jī)器人雙目視覺定位系統(tǒng)，與傳統(tǒng)SIFT、SUFF和ORB算法及與不同目標(biāo)物的對比實(shí)驗(yàn)結(jié)果表明：該方法可以提高匹配效率，消除誤匹配，提高匹配精度，定位效率高，可滿足遙操作工程機(jī)器人作業(yè)較高的實(shí)時(shí)性要求，對遙操作工程機(jī)器人視覺提示系統(tǒng)設(shè)計(jì)具有參考作用。還可以為空間遙操作機(jī)器人及遠(yuǎn)程醫(yī)療等的圖像處理技術(shù)提供參考。