喬方博， 曾松偉， 宋洪軍,郜園園*

(1.浙江農(nóng)林大學(xué)信息工程學(xué)院智慧農(nóng)林業(yè)研究中心,浙江杭州 311300；2.北京交通大學(xué)電子信息工程學(xué)院，北京 100044；3.浙江省林業(yè)智能監(jiān)測與信息技術(shù)研究重點實驗室，浙江杭州 311300)

?

基于雙目立體視覺的果蔬深度信息獲取

喬方博1，2， 曾松偉1，3， 宋洪軍1,3,郜園園1，3*

(1.浙江農(nóng)林大學(xué)信息工程學(xué)院智慧農(nóng)林業(yè)研究中心,浙江杭州 311300；2.北京交通大學(xué)電子信息工程學(xué)院，北京 100044；3.浙江省林業(yè)智能監(jiān)測與信息技術(shù)研究重點實驗室，浙江杭州 311300)

摘要針對果蔬采摘機(jī)械采摘過程中深度信息不易獲的缺陷，該研究運用雙目立體視覺技術(shù)通過攝像機(jī)標(biāo)定對豆角的位姿信息進(jìn)行獲取。首先根據(jù)相機(jī)成像原理闡述圖像坐標(biāo)系、相機(jī)坐標(biāo)系、世界坐標(biāo)系三者之間的轉(zhuǎn)換；其次通過對單目攝像機(jī)模型與平行相機(jī)模型之間的比較，推導(dǎo)雙目相機(jī)定位算法；最后通過對試驗結(jié)果的研究，分析該技術(shù)在不同場景應(yīng)用過程中的注意事項，并對未來改進(jìn)方向進(jìn)行展望。

關(guān)鍵詞深度信息；雙目；立體視覺；攝像機(jī)標(biāo)定

視覺是人類觀察世界、認(rèn)知世界的重要功能手段，人類感知外部世界主要通過視覺、觸覺、聽覺和嗅覺等感覺器官，其中80%的信息是由視覺獲取的，機(jī)器視覺是人類利用計算機(jī)實現(xiàn)人的視覺功能一對客觀世界三維場景的感知、識別和理解，機(jī)器視覺是一個相當(dāng)新而且發(fā)展迅速的研究領(lǐng)域，機(jī)器視覺技術(shù)正廣泛地應(yīng)用于各個方面，許多人類無法感知的場合，如危險場景感知等，機(jī)器視覺更突顯其優(yōu)越性[1-3]。機(jī)器視覺屬于影像的重構(gòu)技術(shù)，具有非接觸性測量、實施簡易的特點，具有廣闊的應(yīng)用前景，是有待于進(jìn)一步開發(fā)的領(lǐng)域。計算機(jī)視覺被認(rèn)為是計算機(jī)科學(xué)和人工智能的一個分支，計算機(jī)視覺就是用機(jī)器代替人的眼睛和大腦，對客觀世界進(jìn)行感知和解釋的技術(shù)。該系統(tǒng)的首要目標(biāo)是使計算機(jī)具有通過一幅或者多幅二維圖像認(rèn)知周圍的三維環(huán)境信息的能力。這種能力不僅可以使計算機(jī)能夠感知三維環(huán)境中物體的幾何信息，并且能夠?qū)λ鼈冞M(jìn)行描述、存儲并使用圖像來創(chuàng)建和恢復(fù)現(xiàn)實世界模型，從而達(dá)到認(rèn)知現(xiàn)實世界的目的。因此，自從計算機(jī)視覺這門科學(xué)出現(xiàn)以來就成為計算機(jī)科學(xué)的重要研究領(lǐng)域之一并且發(fā)展十分迅速。筆者在對攝像機(jī)成像模型進(jìn)行分析的基礎(chǔ)上，以豆角為例，進(jìn)行了果蔬位姿深度信息恢復(fù)試驗，對未來基于雙目立體視覺的果蔬深度信息獲取的改進(jìn)方向提出展望。

1攝像機(jī)成像模型

1.1圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系、世界坐標(biāo)系攝像機(jī)主要的功能是把三維環(huán)境映射到二維平面上，這種映射方式要用成像變換來描述，即攝像機(jī)成像模型。以下介紹圖像坐標(biāo)系、相機(jī)坐標(biāo)系、世界坐標(biāo)系三者之間的轉(zhuǎn)化。

圖1　圖像坐標(biāo)系

圖1中，(u,v)軸表示以像素為單位的像素坐標(biāo)系，(X,Y)表示以“mm”為單位的圖像坐標(biāo)系。在(X,Y)坐標(biāo)系中，原點O1定義在攝像機(jī)光軸和圖像平面的交點，位于圖像中心處。若O1在u、v軸坐標(biāo)系中的坐標(biāo)為(u0,v0)，每一個像素在X軸與Y軸方向上的物理尺寸為dX、dY，則圖像中任意一點的像素坐標(biāo)與圖像坐標(biāo)轉(zhuǎn)換關(guān)系如下：

(1)

轉(zhuǎn)換為齊次坐標(biāo)形式：

(2)

由像素坐標(biāo)表示圖像坐標(biāo)：

(3)

在實踐中，攝像機(jī)可安放在環(huán)境中的任意位置，可任意選擇一個基準(zhǔn)坐標(biāo)系描述環(huán)境中所有物體的位置，同時也可表示攝像機(jī)的位置，該坐標(biāo)系稱為世界坐標(biāo)系。其坐標(biāo)軸由XW、YW、ZW表示。圖2表示攝像機(jī)的成像模型。

圖2　攝像機(jī)坐標(biāo)系與世界坐標(biāo)系

圖2中O點是光學(xué)中心，光軸和所成圖像平面的交點O1一般在圖像的正中心，在這里是圖像坐標(biāo)的原點，OO1為攝像機(jī)焦距[1]。x軸和y軸與圖像的X軸與Y軸平行，Z軸為攝像機(jī)光軸，垂直于圖像平面。由點O與x，y，z軸構(gòu)成的直角坐標(biāo)系稱為像機(jī)坐標(biāo)系。

攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的變換關(guān)系，可以用選擇旋轉(zhuǎn)矩陣R和平移向量t來建立[1]。則攝像機(jī)坐標(biāo)系下的齊次坐標(biāo)[Xc,Yc,Zc,1]T與空間中任意一點P在世界坐標(biāo)系下的齊次坐標(biāo)[Xw,Yw,Zw,1]T可通過如下關(guān)系來轉(zhuǎn)換：

(4)

式中，R為3×3旋轉(zhuǎn)矩陣，同時也是單位正交矩陣；t為三維平移向量；0=[0,0,0]T；M1為4×4矩陣。

1.2攝像機(jī)線性模型(針孔模型)攝像機(jī)線性模型也叫做針孔成像模型[4-5]?？臻g任意點P在圖像上的投影位置P是光心O與P點的連線OP與圖像平面的交點，根據(jù)坐標(biāo)比例模型，有如下關(guān)系：

(5)

式中，(x,y)為p點的圖像物理坐標(biāo)；(Xc,Yc,Zc)為空間點P的攝像機(jī)坐標(biāo)，這種關(guān)系也成為稱為中心攝影或透視攝影，根據(jù)這一關(guān)系空間中任意一點P的圖像坐標(biāo)可用針孔模型近似表示。利用齊次坐標(biāo)與矩陣形式表示此透視投影關(guān)系：

(6)

將式(3)、式(4)與式(6)合并，得到P點的世界坐標(biāo)(Xw,Yw,Zw)與其投影點p的圖像像素坐標(biāo)(u,v)之間的關(guān)系：

=MXw

(7)

式中，ax=f/dx，ay=f/dy，Xw=[Xw,Yw,Zw]T；M為3×4的投影矩陣，M1由相機(jī)內(nèi)參決定，M2由相機(jī)外參決定。

1.3標(biāo)定原理攝像機(jī)標(biāo)定是指建立攝像機(jī)圖像像素位置與點場景位置之間的關(guān)系，主要是根據(jù)攝像機(jī)模型，選取已知特征點的圖像坐標(biāo)和世界坐標(biāo)[6]，來求解攝像機(jī)的模型參數(shù)，也就是上一節(jié)提到的內(nèi)參和外參，如表1所示。

表1　攝像機(jī)模型內(nèi)參外參

表1表達(dá)式中，ax、ay、u0、v0、γ是線性模型的內(nèi)部參數(shù)，ax、ay分別為u軸和v軸的尺度因子，或稱為有效焦距，與式(2)對比可得ax=f/dx,ay=f/dy，dx、dy分別為水平方向與豎直方向的相鄰兩像素點之間的間距，u0、v0是光學(xué)中心，γ是u軸和v軸不垂直因子(一般為0)內(nèi)參與攝像機(jī)的內(nèi)部結(jié)構(gòu)有關(guān)；R和T是旋轉(zhuǎn)矩陣和平移矩陣，稱為外部參數(shù)，由攝像機(jī)相對于世界坐標(biāo)系的位置決定。在非線性模型中，內(nèi)部參數(shù)除了線性模型的ax，αy，u0，v0,γ外，還包括徑向畸變參數(shù)k1,k2切向畸變參數(shù)p1和p2[7]。

根據(jù)已知的參照物求投影M矩陣，當(dāng)作其余算法的參照數(shù)據(jù)?？蓪⑹?7) 中的M矩陣改寫成下式：

(8)

式中，(Xwi,Ywi,Zwi,1)T為場景中第i個已知參照點的世界坐標(biāo)；(ui,vi,1)為i個點的圖像像素坐標(biāo)；mij為投影矩陣中位于第i行j列元素，式(8)可列為以下方程組：

(9)

將M矩陣分解， 式(2)～(7)的M矩陣與攝像機(jī)的內(nèi)外參數(shù)如下：

(10)

(11)

依次計算得到r3、u0、v0、ax及ay：

r3=m34m3

(12)

(13)

(14)

(15)

(16)

進(jìn)一步求出以下參數(shù)：

(17)

(18)

tz=m34

(19)

(20)

(21)

綜上所述，場景中最少6個點的世界坐標(biāo)點以及相對應(yīng)的像素坐標(biāo)點可以求出M矩陣，并根據(jù)式(12)～(21) 依次確定攝像機(jī)的內(nèi)外參數(shù)。

2果蔬位姿深度信息恢復(fù)試驗

2.1雙目平行相機(jī)模型人們早就認(rèn)識到，雙眼觀察物體時會有立體感，雙目平行相機(jī)模型就是模仿這一視覺機(jī)理，通過對同一物體在左右圖像上投影的視差，根據(jù)幾何比例模型來計算該物體在場景中的坐標(biāo)。如圖3所示視差原理，左相機(jī)和右相機(jī)的光學(xué)中心分別設(shè)為Cl和Cr，目標(biāo)點P在兩相機(jī)圖像上的投影點分別為Pl和Pr，相機(jī)距離為b，焦距為f。P與ClCr的連線距離為d，過C1、Cr分別向圖像平面作垂線C1A1、CrAr，過點P向圖像平面作垂線PB。令|AlPl|=la，|ArPr|=lb,|PrB|=a。

圖3　視差測距原理

按照三角形相似原理得出：

(22)

解得：

(23)

假設(shè)C1、C2分別為兩相機(jī)的位置，則在三維空間的坐標(biāo)分別為O1x1y1z1、O2x2y2zz，則在上述攝像機(jī)配置下，若任何空間P1點的坐標(biāo)在C1坐標(biāo)系下為(x1,y1,z1)，C2在坐標(biāo)系下為(x1-b,y1,z1)。由中心攝影的比例關(guān)系可得：

(24)

(25)

其中(u1,v1)、(u2,v2)分別為p1與p2的圖像坐標(biāo)。在圖3所示的簡單攝像機(jī)配置下，假設(shè)Cl坐標(biāo)系就是世界坐標(biāo)系的情況下，可得：

(26)

可見，由p1與p2的圖像坐標(biāo)(u2，v2)，(u2,v2)可求出空間點P的三維坐標(biāo)(x1,y1,z1)。同理可得出以另一個相機(jī)為基準(zhǔn)的空間坐標(biāo)。

圖4　基線長度的討論

2.2基線長度的選取調(diào)整雙目攝像機(jī)的過程中，要注意2個攝像頭在同一高度，2個鏡頭保持同一平面，以保證2個相機(jī)光軸平行。攝像機(jī)使其在試驗過程中不受干擾。在調(diào)整兩攝像機(jī)距離的過程中，需考慮以下問題：

(1) 雙目攝像機(jī)由于平行放置而很有可能導(dǎo)致2幅圖的共同特征點不能匹配。一種可能是由于兩相機(jī)的視差太大或在測量目標(biāo)元素距離太近時，導(dǎo)致兩相機(jī)共同視野下不存在目標(biāo)元素，只可在一個相機(jī)中成像；第二種可能是由于拍攝環(huán)境較為復(fù)雜，目標(biāo)元素被其他物體遮擋下只可在其中一個相機(jī)中有投影。以上情況導(dǎo)致特征點在兩幅圖上找不到相互的對應(yīng)性。解決方法只能減小相機(jī)距離，如圖4所示陰影部分為共同可視部分，隨著a的長度減小，可使其共同視野增加，出現(xiàn)上述情況的概率也隨之減小。

(2)雖然上述方法解決了視野問題，但隨之帶來的就是精確度問題。若一味地減小相機(jī)距離，當(dāng)像機(jī)間隔趨近0時，雖不存在視野問題，但是雙目也就失去了意義。隨著基線長度增加，可減小2幅圖匹配后視差的相對誤差，將增加深度測量的精度，而共同視野及匹配的概率也隨之降低。

總而言之，基線長度的選取要充分考慮拍攝對象的大小和拍攝距離。

2.3豆角坐標(biāo)定位考慮到豆角的長寬相對較小，拍攝距離相比豆角的實際大小相對較遠(yuǎn)，為了提高結(jié)果的準(zhǔn)確性，基線長度選定為200 mm。

圖5　豆角位姿坐標(biāo)定位結(jié)果

根據(jù)標(biāo)定結(jié)果，分別依次輸入2個攝像機(jī)的內(nèi)外參數(shù)，讀入左右圖片(2幅圖盡可能保證在同一幀下拍攝，注意分辨率要與標(biāo)定時一致)，再對同一目標(biāo)分別在左右圖片上點選取特征點，計算2幅圖的相機(jī)坐標(biāo)系。計算結(jié)果見圖5。針對豆角不同距離進(jìn)行定位測試，將實際距離與測試距離比較，測試結(jié)果見表2。

表2　豆角位姿恢復(fù)試驗測試結(jié)果

由表2可知，當(dāng)測試距離較近時，由于左右圖像上同一目標(biāo)的橫向坐標(biāo)相差交大，取點匹配后相對誤差較小，距離的計算結(jié)果較為精確。但隨著測試距離增加，同一目標(biāo)點在左右圖像上的坐標(biāo)變化不再明顯，這為取點匹配帶來一定困難，誤差隨之增大。事實上，隨著測試距離變?yōu)闊o限遠(yuǎn)，雙目就失去了意義。

3結(jié)論

利用雙目平行相機(jī)模型，可以對三維場景進(jìn)行模擬，但是人工調(diào)節(jié)下設(shè)備難以達(dá)到理想效果，并且需考慮實際拍攝物的遠(yuǎn)近、大小來適當(dāng)調(diào)整。如果需要進(jìn)一步精確，還需要對拍攝圖像進(jìn)行畸變處理。

智能化的發(fā)展對特征點自動提取和立體匹配的需求越來越強(qiáng)烈，但是自動提取需要在應(yīng)對不同拍攝環(huán)境下需針對性處理，尤其是復(fù)雜的場景中特征點的提取難度也隨之增加。因此，優(yōu)化算法以應(yīng)對實際生產(chǎn)生活中的諸多不確定因素，仍是雙目立體觀賞信息獲取技術(shù)改進(jìn)的方向。

參考文獻(xiàn)

[1] 馬頌德,張正友. 計算機(jī)視覺:計算理論與算法基礎(chǔ)[M].北京：科學(xué)出版社,1998.

[2] 崔巖.基于雙目立體視覺的距離測量[D].長春：長春理工大學(xué),2007.

[3] 田國會,李曉磊,趙守鵬,等.家庭服務(wù)機(jī)器人智能空間技術(shù)研究與進(jìn)展[J].山東大學(xué)學(xué)報(工學(xué)版),2007,37(5):53-59.

[4] 徐冠華,田國良,王超,等.遙感信息科學(xué)的進(jìn)展和展望[J].地理學(xué)報,1996,51(5):385-397.

[5] 馬玉真,胡亮,方志強(qiáng),等.計算機(jī)視覺檢測技術(shù)的發(fā)展及應(yīng)用研究[J].濟(jì)南大學(xué)學(xué)報 (自然科學(xué)版),2004,18(3)：222-227.

[6] 喬毅.移動機(jī)器人雙目視覺的三維重構(gòu)[D].哈爾濱：哈爾濱工程大學(xué),2007.

[7] 徐杰.機(jī)器視覺中攝像機(jī)標(biāo)定 Tsai 兩步法的分析與改進(jìn)[J].計算機(jī)工程與科學(xué),2010,32(4):45-48.

收稿日期2015-11-20

作者簡介喬方博(1991- )，男，山西大同人，碩士研究生，研究方向：智能機(jī)器人、農(nóng)林業(yè)信息監(jiān)測等。*通訊作者，講師，博士，從事農(nóng)林業(yè)信息監(jiān)測、智能機(jī)器人控制技術(shù)等研究。

基金項目國家自然科學(xué)基金項目(61302185,31300539)；浙江省自然科學(xué)基金項目(LQ14F030014，LQ13F030012)；浙江省林業(yè)智能監(jiān)測與信息技術(shù)研究重點實驗室開放基金項目；浙江農(nóng)林大學(xué)智慧農(nóng)林業(yè)研究中心預(yù)研項目(2013ZHNL03)；浙江農(nóng)林大學(xué)人才啟動基金項目(2013FR023，2013FR085)。

中圖分類號S 126

文獻(xiàn)標(biāo)識碼A

文章編號0517-6611(2015)36-374-05