原培新, 蔡 炟, 曹文偉, 陳 超

(東北大學(xué) 機(jī)械工程與自動(dòng)化學(xué)院, 遼寧 沈陽 110819)

隨著世界流通領(lǐng)域的高速發(fā)展,以及鐵路運(yùn)輸?shù)臉I(yè)務(wù)量大幅度增長(zhǎng),諸多因素對(duì)我國鐵路貨物運(yùn)輸提出了嚴(yán)峻考驗(yàn).由于鐵路貨運(yùn)到達(dá)的目的地不同,列車的編組解體作業(yè)成為不可缺少的環(huán)節(jié),編組站便成為重要的樞紐.編組站的主要任務(wù)是貨物列車的解體與編組作業(yè),駝峰是編組站的主要特征.駝峰的形狀和駱駝背類似,因此而得名.在駝峰上鋪設(shè)鐵軌,當(dāng)列車經(jīng)過駝峰時(shí),利用列車自身的重力和駝峰坡度產(chǎn)生的勢(shì)能使兩個(gè)車鉤的拉力為零,工作人員提起連接車鉤的把手,將車鉤分解.此時(shí)分解后的列車順坡自動(dòng)溜放到編組場(chǎng)的預(yù)定線路上,根據(jù)要求進(jìn)行最后的編組.現(xiàn)今,列車在編組站上的溜車調(diào)度、信息接收等操作均已實(shí)現(xiàn)自動(dòng)化,但是人工操作仍然是駝峰處列車摘鉤的唯一方式,這不僅增加工作人員的勞動(dòng)強(qiáng)度,也威脅其人身安全.

早在20世紀(jì)70年代,德國的KB公司就開始進(jìn)行鐵路運(yùn)輸自動(dòng)摘鉤相關(guān)技術(shù)的研究.該公司研發(fā)了摘鉤機(jī)械手,并在列車旁鋪設(shè)軌道,機(jī)械手在軌道上根據(jù)自動(dòng)化綜合系統(tǒng)對(duì)目標(biāo)車廂進(jìn)行追蹤,利用雷達(dá)測(cè)出列車此時(shí)的運(yùn)行速度并傳輸給機(jī)械臂,機(jī)械臂根據(jù)之前得到的位置信息感知車鉤目標(biāo)的距離,對(duì)車鉤手柄進(jìn)行抓取,完成摘鉤作業(yè).但是,由于當(dāng)時(shí)的實(shí)驗(yàn)環(huán)境困難和技術(shù)落后等因素,造成對(duì)目標(biāo)的識(shí)別和測(cè)距結(jié)果偏差嚴(yán)重,無法抓取,最后放棄了這項(xiàng)研究.

沈陽市裕國站實(shí)驗(yàn)基地設(shè)計(jì)了一種代替工作人員進(jìn)行摘鉤作業(yè)的機(jī)器人:在貨車駝峰線旁鋪設(shè)一條軌道,工作人員在后臺(tái)通過機(jī)器人上的攝像頭觀測(cè)現(xiàn)場(chǎng),找到適當(dāng)位置時(shí),控制機(jī)械手的進(jìn)給量進(jìn)行車鉤抓取,從而實(shí)現(xiàn)車廂分解.雖然此方法可以保障工作人員的人身安全,但依舊存在不足:1)沒有實(shí)現(xiàn)節(jié)約人力物力,由于需要人工觀測(cè)和控制機(jī)械臂,從某種程度來說此方法使摘鉤作業(yè)變得更加復(fù)雜;2)人工觀測(cè)存在一系列不穩(wěn)定因素,如注意力不集中、光線強(qiáng)烈無法準(zhǔn)確識(shí)別等原因,會(huì)造成抓取失敗或抓取錯(cuò)誤等,影響工作效率.

為實(shí)現(xiàn)完全的摘鉤自動(dòng)化,解放人力,提高摘鉤工作效率,本次研究以與裕國站共同合作的項(xiàng)目為支撐,在自動(dòng)摘鉤機(jī)器人的基礎(chǔ)上,為其植入“眼睛和大腦”,使用雙目立體視覺技術(shù)進(jìn)行目標(biāo)識(shí)別和測(cè)距,為機(jī)器人摘鉤提供數(shù)據(jù)基礎(chǔ).通過實(shí)際現(xiàn)場(chǎng)考察和實(shí)驗(yàn)研究,本課題的難點(diǎn)如下:

1) 摘鉤作業(yè)時(shí)間短,需要在機(jī)器人和車廂同步時(shí)準(zhǔn)確識(shí)別目標(biāo)把手和測(cè)量距離;

2) 和單目視覺技術(shù)相比,雙目立體視覺一直都是研究的難點(diǎn).由于左右相機(jī)存在光照不均勻或者遮擋現(xiàn)象,會(huì)給立體匹配算法的應(yīng)用帶來困難.

針對(duì)實(shí)際工程背景和研究的難點(diǎn),本次研究首先通過模板匹配對(duì)攝像機(jī)拍攝雙目圖像中的車鉤把手進(jìn)行匹配與識(shí)別;其次,對(duì)攝像機(jī)進(jìn)行標(biāo)定獲得系統(tǒng)成像模型參數(shù),恢復(fù)雙目相機(jī)間的位姿,即旋轉(zhuǎn)矩陣R和平移向量T,從而實(shí)現(xiàn)立體校正;最后,通過立體匹配技術(shù)獲得雙目相機(jī)的視差d,利用三角測(cè)量恢復(fù)場(chǎng)景的深度Z，它可以控制機(jī)械手的進(jìn)給量,從而進(jìn)行準(zhǔn)確的摘鉤作業(yè).此方法可代替人工后臺(tái)觀測(cè),得到摘鉤環(huán)境的三維信息,為機(jī)器人建立“大腦”,實(shí)現(xiàn)真正的自動(dòng)摘鉤.

1 機(jī)器人摘鉤動(dòng)作

雖然本文主要研究的是機(jī)器視覺部分,但為了便于分析,需要對(duì)機(jī)器人自動(dòng)摘鉤的過程進(jìn)行介紹.在駝峰處進(jìn)行摘鉤時(shí),并不是每一節(jié)車廂都要摘鉤分解,因此在摘鉤之前需要確定目標(biāo)車廂.現(xiàn)今,編組站大部分裝置已實(shí)現(xiàn)自動(dòng)化,可利用計(jì)數(shù)傳感器系統(tǒng)對(duì)車廂數(shù)量依次計(jì)數(shù),當(dāng)?shù)玫侥繕?biāo)車廂的數(shù)字信息時(shí),機(jī)器人底座開始在鋪設(shè)好的軌道上運(yùn)行.如圖1所示,雷達(dá)測(cè)速傳感器可以測(cè)量此時(shí)列車速度,反饋給機(jī)器人達(dá)到共速.當(dāng)機(jī)器人和列車處于相對(duì)靜止?fàn)顟B(tài)時(shí),便可以通過雙目攝像機(jī)采集車廂、手柄和車鉤組成的實(shí)時(shí)雙目圖像,如圖2所示,用視覺算法對(duì)目標(biāo)把手進(jìn)行識(shí)別和測(cè)距,此距離為目標(biāo)點(diǎn)到視覺系統(tǒng)的物理距離(mm).最后將信息反饋給機(jī)器人的執(zhí)行裝置,進(jìn)行自動(dòng)抓取.

圖1 自動(dòng)摘鉤過程示意圖

圖2 列車雙目圖像

2 系統(tǒng)成像模型

在機(jī)器視覺中,相機(jī)成像會(huì)涉及以下4種坐標(biāo)系:圖像像素坐標(biāo)系(uOpv)、圖像物理坐標(biāo)系(xOy)、攝像機(jī)坐標(biāo)系(XcOcYcZc)、世界坐標(biāo)系(XwOwYwZw).如圖3所示,世界坐標(biāo)系(XwOwYwZw)通過一系列矩陣變換得到圖像像素坐標(biāo)系(uOpv).

圖3 攝像機(jī)成像模型

由此可得

(1)

式中:M為3×4的投影矩陣;fx,fy,u0,v0均與攝像機(jī)的內(nèi)部結(jié)構(gòu)有關(guān),故M1為相機(jī)內(nèi)參數(shù)矩陣，M2為相機(jī)外參數(shù)矩陣,由旋轉(zhuǎn)矩陣R和平移向量T組成.下文的左、右單目攝像機(jī)標(biāo)定其實(shí)就是對(duì)攝像機(jī)內(nèi)、外參數(shù)求解的過程.

3 目標(biāo)把手的識(shí)別和測(cè)距方法

3.1 目標(biāo)把手識(shí)別技術(shù)研究

當(dāng)機(jī)器人與列車在行進(jìn)間共速時(shí),為了測(cè)量目標(biāo)把手的距離,需要對(duì)把手進(jìn)行識(shí)別并確定該區(qū)域在整個(gè)圖像的位置.本文使用圖像預(yù)處理和模板匹配算法,首先通過圖像算法增強(qiáng)圖像質(zhì)量,使圖像細(xì)節(jié)豐富,紋理清晰.最后選擇一個(gè)把手區(qū)域圖像作為模板,根據(jù)模板與雙目圖像之間的相似度來確定目標(biāo)把手在圖像的位置并識(shí)別.通過圖像預(yù)處理和模板匹配算法進(jìn)行目標(biāo)識(shí)別的步驟為:①圖像邊緣檢測(cè);②圖像銳化;③模板匹配識(shí)別.

3.1.1 圖像邊緣檢測(cè)

在圖像處理技術(shù)中,圖像的邊緣是灰度變化明顯的像素連接而成的集合,它是圖像特征的基本體現(xiàn),Sobel算子是常用的邊緣檢測(cè)算法.在數(shù)學(xué)中,函數(shù)的導(dǎo)數(shù)往往表征著函數(shù)的極值,而圖像的邊緣灰度相對(duì)于周圍像素具有突變的性質(zhì),因此計(jì)算圖像灰度值的導(dǎo)數(shù)可以有效地提取圖像的邊緣特征.二維梯度可近似圖像的一階導(dǎo)數(shù),其表達(dá)式為

(2)

由向量分析可知,梯度向量是導(dǎo)數(shù)方向上的最大變化率.式(2)表示的梯度向量中,梯度幅值和方向如下:

(3)

Sobel算子不僅用到差分方法還將差分與局部相結(jié)合,當(dāng)鄰域像素與當(dāng)前選定的像素距離越大時(shí),其產(chǎn)生的影響越小,結(jié)果如圖4所示.

圖4 Laplacian邊緣檢測(cè)圖像

3.1.2 圖像銳化

模板匹配是利用模板圖像和原始圖像進(jìn)行對(duì)比,根據(jù)相似度識(shí)別目標(biāo).因此,得到高質(zhì)量、特征細(xì)節(jié)清晰的雙目圖像是模板匹配的重要前提.圖像銳化突出圖像的高頻部分,使圖像邊緣清晰,特征明顯.圖像銳化將原圖像與邊緣圖像進(jìn)行權(quán)重融合,經(jīng)對(duì)比,原始灰度圖像和銳化結(jié)果如圖5和圖6所示.

圖5 原始灰度圖像

圖6 圖像銳化效果圖

3.1.3 模板匹配識(shí)別

模板匹配就是利用已知模板對(duì)原始圖像進(jìn)行搜索找到對(duì)應(yīng)區(qū)域的過程.為了保證匹配的精度,本文選用了基于圖像灰度的模板匹配方法.該方法通過計(jì)算模板與原圖像灰度值差的平方和S(x,y)來確定匹配程度,如式(4)所示:

(4)

式中:n是模板圖像的像素個(gè)數(shù);t(u,v)是模板像素灰度值;f(x+u,y+v)是原始圖像與模板對(duì)應(yīng)區(qū)域處的像素灰度值.

截取圖像的目標(biāo)把手作為模板,尺寸為64×355像素,對(duì)其進(jìn)行灰度變換、圖像邊緣檢測(cè)和圖像銳化操作,結(jié)果如圖7所示.

圖7 模板圖像預(yù)處理

利用模板圖像與銳化后的雙目圖像進(jìn)行模板匹配,結(jié)果如圖8所示,紅框標(biāo)注的區(qū)域?yàn)槟繕?biāo)把手.

圖8 左、右圖像目標(biāo)把手識(shí)別

3.2 圖像特征點(diǎn)檢測(cè)與匹配

特征點(diǎn)體現(xiàn)圖像的重要特征,它對(duì)圖像的理解和分析有著很重要的作用.特征點(diǎn)在保留圖像重要特征的同時(shí)可以有效地減少信息的數(shù)據(jù)量,提高了計(jì)算速度,為實(shí)時(shí)處理提供了可能.SIFT(scale-invariant feature transform)[1-2]特征檢測(cè)是提取特征點(diǎn)的常用算法,它對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持魯棒性,對(duì)視角的變化、仿射變換和噪聲也保持一定程度的穩(wěn)定性,并適用于在海量特征中進(jìn)行快速、精準(zhǔn)匹配.SIFT特征檢測(cè)結(jié)果見圖9.

圖9 雙目圖像SIFT特征檢測(cè)

特征匹配[3-5]是雙目立體視覺技術(shù)中極為重要的一步,它解決了數(shù)據(jù)關(guān)聯(lián)性問題,經(jīng)過匹配,可知2幅圖像特征點(diǎn)之間的關(guān)系,進(jìn)一步得出相機(jī)之間的位姿關(guān)系.根據(jù)2幅圖像的匹配特征點(diǎn)的描述進(jìn)行排序,取最近距離的點(diǎn)對(duì)作為匹配點(diǎn),SIFT匹配結(jié)果如圖10所示.

圖10 SIFT特征點(diǎn)匹配

3.3 攝像機(jī)標(biāo)定技術(shù)

3.3.1 單目攝像機(jī)標(biāo)定

實(shí)驗(yàn)的標(biāo)定板是8×11的黑白棋盤格,每個(gè)小正方形的邊長(zhǎng)為20 mm,如圖11所示.

圖11 棋盤格標(biāo)定板

如圖12所示,使用雙目相機(jī)從不同距離和角度各拍攝16張標(biāo)定板圖像.Harris角點(diǎn)檢測(cè)得到棋盤格標(biāo)定板的角點(diǎn)坐標(biāo),通過平面單應(yīng)性原理和張正友標(biāo)定技術(shù)[6-7]進(jìn)行單目攝像機(jī)標(biāo)定,標(biāo)定所得的單目攝像機(jī)的參數(shù)如表1和表2所示.

圖12 左右攝像機(jī)拍攝的標(biāo)定板圖像

表1 左攝像機(jī)標(biāo)定結(jié)果

表2 右攝像機(jī)標(biāo)定結(jié)果

3.3.2 雙目攝像機(jī)標(biāo)定

(5)

令f=[F11F12F13F21F22F23F31F32F33]T,由式(5)得

[u1u2u1v2u1v1u1v1v2v1u2v21]f=0 .

(6)

當(dāng)有n對(duì)匹配點(diǎn)時(shí)可得

(7)

由于未知向量f中有9個(gè)未知數(shù),若要保證有唯一解至少需要8對(duì)匹配點(diǎn).

求解本質(zhì)矩陣E[10]:Ml和Mr分別為左、右相機(jī)的內(nèi)參數(shù)矩陣,令三維點(diǎn)的世界坐標(biāo)系與左相機(jī)坐標(biāo)系重合,右相機(jī)相對(duì)于三維點(diǎn)的位姿就是兩相機(jī)間的位姿,由本質(zhì)矩陣E的奇異值分解得到雙目相機(jī)的位姿信息R和T,E的奇異值分解為

E=UΣVT.

(8)

經(jīng)計(jì)算,基礎(chǔ)矩陣為

(9)

本質(zhì)矩陣為

(10)

旋轉(zhuǎn)矩陣為

(11)

平移向量為

T=[-66.1 1.29 -0.13]T.

(12)

3.4 立體校正

立體校正[11-13]是根據(jù)標(biāo)定后的左、右單目攝像機(jī)參數(shù)和雙目相機(jī)的位姿關(guān)系(R,T)使左、右2幅圖像平面原點(diǎn)坐標(biāo)相同,左、右投影面共面和行對(duì)齊,如圖13所示.

設(shè)定2幅圖像的旋轉(zhuǎn)矩陣R和平移向量T,為了使圖像重投影畸變最小化,將右側(cè)攝像機(jī)的圖像平面旋轉(zhuǎn)至左側(cè)攝像機(jī)的旋轉(zhuǎn)平面的旋轉(zhuǎn)矩陣R在2臺(tái)攝像機(jī)之間被分為兩半,左右攝像機(jī)的合成旋轉(zhuǎn)矩陣分別為r1和r2,r1和r2的關(guān)系為

(13)

圖13 立體校正示意圖

為了將左攝像機(jī)的極點(diǎn)變換到無窮遠(yuǎn)處并使極線水平對(duì)準(zhǔn)矩陣Rrect,構(gòu)造一個(gè)旋轉(zhuǎn)矩陣.該旋轉(zhuǎn)矩陣由極點(diǎn)e1方向開始,將主點(diǎn)(cx,cy) 作為左攝像機(jī)成像平面的原點(diǎn),極點(diǎn)方向就是2臺(tái)攝像機(jī)投影中心之間的平移矢量方向，

(14)

下一個(gè)矢量e2與e1正交,e2通過e1與主光線方向的叉乘來得到,并進(jìn)行歸一化:

(15)

第三個(gè)矢量e3通過e1與e2交叉相乘得到.故將左側(cè)攝像機(jī)中極點(diǎn)轉(zhuǎn)換到無窮遠(yuǎn)處的矩陣為Rl,綜上所述,2臺(tái)攝像機(jī)可以通過式(16)實(shí)現(xiàn)共面和行對(duì)齊,式(16)為

(16)

圖14a和14b為立體校正前后雙目圖像,校正前的雙目圖像存在畸變且左右圖像未實(shí)現(xiàn)行對(duì)齊,校正后的圖像消除了鏡頭畸變,并實(shí)現(xiàn)了行對(duì)齊.圖14c為特征匹配的點(diǎn)云,其中橙色線表示左

圖14 立體校正

攝像機(jī)匹配點(diǎn)連接的折線,藍(lán)色線表示右攝像機(jī)對(duì)應(yīng)匹配點(diǎn)連接的折線.在圖中取部分匹配點(diǎn)對(duì)標(biāo)注其坐標(biāo),從中可以看出經(jīng)過立體校正后的匹配點(diǎn)的縱坐標(biāo)誤差在1個(gè)像素之內(nèi).

3.5 立體匹配

在立體視覺中,立體匹配[14-16]一直是一個(gè)關(guān)鍵的問題,它是在立體校正的基礎(chǔ)上計(jì)算視差d.根據(jù)計(jì)算像素區(qū)域的不同,立體匹配算法大致可分為:基于局部區(qū)域的立體匹配算法和全局立體匹配算法.根據(jù)實(shí)驗(yàn)現(xiàn)場(chǎng)的環(huán)境可知,所檢測(cè)的手柄和車鉤周圍環(huán)境組成了一個(gè)紋理豐富的場(chǎng)景,故本文選擇基于局部的立體匹配算法.

SAD(sum of absolute difference)[17]是一種基于局部區(qū)域的立體匹配算法,計(jì)算的是像素鄰域內(nèi)對(duì)應(yīng)位置的像素灰度差的絕對(duì)值之和,其表達(dá)式為

Ir(u+i+d,v+j)| .

(17)

式中:Il(u+i,v+j),Ir(u+i+d,v+j)為左右圖像的像素灰度;W是像素Il(u+i,v+j)為中心的鄰域窗口;d為視差.

SAD算法在速度和匹配質(zhì)量方面較其他算法更具有優(yōu)勢(shì),但其易受光照影響.

Census變換[18]也是一種常用的基于局部區(qū)域的立體匹配算法,它是在圖像區(qū)域定義一個(gè)矩形窗口,用該窗口遍歷整幅圖像.選取中心像素為參考像素,將矩形窗口中的每個(gè)像素灰度值與參考像素灰度值進(jìn)行比較,灰度值小于或等于參考值 的像素記為0,大于參考值的像素記為1,最后將它們按位連接,得到變換結(jié)果.其表達(dá)式如下:

(18)

Census變換對(duì)光照變化不敏感,且能夠容忍一定的噪聲,但其對(duì)弱紋理區(qū)域和重復(fù)場(chǎng)景匹配效果不好.

為了提高匹配的效率和魯棒性,現(xiàn)將上述兩種算法進(jìn)行加權(quán)融合,其匹配步驟如下:

1) 匹配代價(jià)計(jì)算.以左視圖為基準(zhǔn)圖像,選擇1個(gè)參考匹配點(diǎn)為中心像素建立一個(gè)大小為m×n的矩形窗口.以右視圖為匹配圖像,沿著校正后的水平線進(jìn)行搜索.將SAD算法和Census變換通過加權(quán)的方式進(jìn)行相加融合,其表達(dá)式為

(19)

該算法將SAD算法和Census進(jìn)行權(quán)值相加,當(dāng)光照變換不均勻可增加Census的權(quán)重(減小α值),當(dāng)要求實(shí)時(shí)性可增加SAD算法的權(quán)重.

2) 視差計(jì)算.當(dāng)代價(jià)函數(shù)確定后,取使代價(jià)函數(shù)最小的視差dmin為所求視差.

3) 視差優(yōu)化.計(jì)算出的視差為離散的數(shù)值.可通過亞像素插值等方法進(jìn)行視差精確化.由于實(shí)驗(yàn)環(huán)境的影響,所得的視差圖會(huì)存在大量噪聲,可采用平滑濾波等方法進(jìn)行去噪優(yōu)化.

3.6 雙目測(cè)距與三維重建

雙目立體視覺就是用2臺(tái)相同的工業(yè)攝像機(jī)模擬人的雙眼,通過視差和三角測(cè)量等一系列算法感知物體的距離,從而恢復(fù)出物體的深度信息[19-20].如圖15所示,令世界坐標(biāo)系為XO1YZ,其與左相機(jī)的坐標(biāo)系重合.基線b是2臺(tái)攝像機(jī)光心間的距離.空間三維點(diǎn)P的坐標(biāo)為(X,Y,Z),由于世界坐標(biāo)系和左相機(jī)坐標(biāo)系重合,所以點(diǎn)P在左相機(jī)坐標(biāo)系下的坐標(biāo)為(X,Y,Z).當(dāng)使用雙目相機(jī)觀察同一點(diǎn)時(shí),會(huì)存在視差d,因此點(diǎn)P在右相機(jī)坐標(biāo)系下的坐標(biāo)為(X-b,Y,Z).定義點(diǎn)P在左、右攝像機(jī)成像平面下的坐標(biāo)為p1(x1,y1)和p2(x2,y2),令y1=y2=y,通過上述關(guān)系,可以求出

(20)

式中f是焦距.

圖15 三角測(cè)量示意圖

得到視差圖和圖像深度信息,便可以進(jìn)行全局的三維重建,對(duì)式(1)進(jìn)行逆變換,得

(21)

4 實(shí)驗(yàn)設(shè)計(jì)與分析

實(shí)驗(yàn)使用2臺(tái)相同型號(hào)的CMOS彩色工業(yè)攝像機(jī),其參數(shù)如表3所示,將2臺(tái)攝像機(jī)固定在雙目云臺(tái)上,通過USB2.0數(shù)據(jù)線與計(jì)算機(jī)相連進(jìn)行供電并配有可變焦鏡頭,從而完成雙目立體視覺系統(tǒng)的搭建.在雙目立體視覺系統(tǒng)中,2臺(tái)工業(yè)攝像機(jī)的光心在同一條水平線上,其連線(基線)長(zhǎng)度為66 mm.

以蘇家屯編組站的兩節(jié)連接車廂為研究區(qū)域,C++為主要編程語言,通過VS2017配置OpenCV庫為編程環(huán)境進(jìn)行雙目圖像的采集、圖像預(yù)處理、立體校正和立體匹配等操作,利用雙目立體視覺系統(tǒng)采集帶有車鉤和把手的圖像.若想實(shí)現(xiàn)機(jī)械臂對(duì)車鉤的自動(dòng)摘取,需對(duì)車廂、車鉤和最重要的目標(biāo)把手進(jìn)行測(cè)距.

表3 攝像機(jī)參數(shù)

圖16是通過立體匹配算法得到的列車分解區(qū)域的視差圖,灰度值較大的部分表示距離拍攝像機(jī)的垂直距離較小,根據(jù)灰度圖的灰度值分布可知列車各部分的距離.為了便于實(shí)驗(yàn)分析將其轉(zhuǎn)化為三通道的RGB圖像,在彩色圖像中,藍(lán)色表示距離攝像機(jī)較近的部分,綠色則表示較遠(yuǎn).為了更直觀地表示深度圖與原圖像的關(guān)系,將左攝像機(jī)拍攝的矯正圖像和深度圖的灰度圖進(jìn)行融合.其中藍(lán)色部分是左攝像機(jī)經(jīng)過立體校正后的拍攝圖像,紅色部分是視差圖.可以看出,場(chǎng)景中的車廂、車鉤和把手均被深度圖表示,在藍(lán)色的原始圖像的強(qiáng)紋理區(qū)域?qū)崿F(xiàn)了立體匹配與視差計(jì)算,進(jìn)而驗(yàn)證了算法和實(shí)驗(yàn)的準(zhǔn)確性.

將立體匹配算法得到的三通道RGB視差圖像與原始列車圖像進(jìn)行對(duì)比,如圖17所示,列車的車鉤、 車廂和目標(biāo)把手各自的區(qū)域在視差圖中清晰可見.通過三角測(cè)量算法,公式(21)計(jì)算列車的車廂、車鉤和把手三部分物理距離,測(cè)距結(jié)果如表4至表6所示.深度Z表示雙目立體視覺系統(tǒng)的光心和三維場(chǎng)景各個(gè)部分的垂直距離,根據(jù)前文機(jī)器人摘鉤過程,該距離是一個(gè)物理量,其單位為mm.機(jī)器人在識(shí)別到目標(biāo)把手后,可根據(jù)把手的距離進(jìn)行伸縮,當(dāng)抓取到把手時(shí),執(zhí)行機(jī)構(gòu)可模仿人工摘鉤動(dòng)作,實(shí)現(xiàn)自動(dòng)摘鉤.實(shí)驗(yàn)中三部分的深度計(jì)算值和利用激光測(cè)距儀檢測(cè)出的實(shí)際距離的誤差如表4至表6所示,經(jīng)過比較可知車鉤處紋理豐富,故匹配精確,即其距離測(cè)量結(jié)果較為理想;反觀目標(biāo)把手,由于把手處表面紋理較少,且目標(biāo)較小,因此存在誤匹配,影響測(cè)量精度,但總體誤差不大,可以在后續(xù)研究中繼續(xù)優(yōu)化.

圖16 列車視差圖像

圖17 視差圖像區(qū)域標(biāo)注

表4 目標(biāo)把手處測(cè)距結(jié)果

表5 車廂處測(cè)距結(jié)果

表6 車鉤處測(cè)距結(jié)果

為了更加直觀地觀測(cè)列車分解的操作場(chǎng)景,重建出的場(chǎng)景三維稀疏點(diǎn)云如圖18所示.

圖18 列車場(chǎng)景三維重建結(jié)果

5 結(jié) 論

1) 對(duì)復(fù)雜背景下的雙目圖像進(jìn)行邊緣檢測(cè)和圖像銳化等圖像預(yù)處理操作,增強(qiáng)圖像質(zhì)量.使用模板匹配算法搜索圖像上目標(biāo)區(qū)域并進(jìn)行識(shí)別.

2) 利用匹配點(diǎn)和單目攝像機(jī)的標(biāo)定參數(shù)恢復(fù)了雙目相機(jī)的位姿關(guān)系,并進(jìn)一步實(shí)現(xiàn)了立體校正,其校正效果良好,驗(yàn)證了雙目攝像機(jī)參數(shù)和位姿信息的準(zhǔn)確性.

3) 通過SAD加權(quán)Census的立體匹配算法得到了區(qū)域明顯的視差圖,測(cè)量了場(chǎng)景的深度信息,并與激光測(cè)距儀的實(shí)際深度信息對(duì)比進(jìn)行驗(yàn)證.

4) 經(jīng)對(duì)比,目標(biāo)把手處目標(biāo)較小且紋理信息單一,所以測(cè)得的距離誤差較大,但誤差在規(guī)定范圍內(nèi).實(shí)驗(yàn)結(jié)果表明,該方法穩(wěn)定可靠,測(cè)量目標(biāo)精準(zhǔn).