張孝伍

(青島理工大學(xué) 理學(xué)院,山東 青島 266520)

攝像機(jī)是空間物體到平面圖像之間的一種中心投影變換[1]，用基本針孔模型表示由攝像機(jī)引起的從三維空間到二維空間的映射.

設(shè)攝像機(jī)空間坐標(biāo)系是Oc(xc,yc,xc) ，投影中心(光心)位于原點(diǎn)Oc，圖像坐標(biāo)系是O(u,v),f是圖像平面到投影中心的距離,根據(jù)相似三角形原理得

從世界坐標(biāo)系到二維圖像坐標(biāo)的中心投影變換為

令投影變換矩陣

2個(gè)或2個(gè)以上的攝像機(jī)從不同位置拍攝空間的同一個(gè)物體，得到多幅圖像.已知多幅圖像上的對(duì)應(yīng)點(diǎn)和每個(gè)攝像機(jī)的內(nèi)外參數(shù)，根據(jù)視差原理[2]能夠獲得物體三維幾何信息，重建周圍景物的三維形狀和位置.

設(shè)世界坐標(biāo)為Ow(xw,yw,xw),左攝像機(jī)坐標(biāo)系為Ol(xl,yl,xl)，左圖像坐標(biāo)系為O(ul,vl)，右攝像機(jī)坐標(biāo)系為Or(xr,yr,xr)，右圖像坐標(biāo)系為O(ur,vr)，世界坐標(biāo)中的點(diǎn)為W(xw,yw,xw).若左、右攝像機(jī)圖像上的2個(gè)對(duì)應(yīng)匹配的點(diǎn)分別為Al(ul,vl)、Ar(ul,vl),則由攝像機(jī)模型[3—4]得

消去zl,zr得方程組

上述方程組是欠定的,有無(wú)窮多個(gè)解,用最小二乘法可求出其誤差最小解.

設(shè)左攝像機(jī)與世界坐標(biāo)系重合[3]，即

Ol(xl,yl,xl)=Ow(xw,yw,xw)=O(x,y,z).

2個(gè)攝像機(jī)模型和相互位置關(guān)系分別為

2個(gè)攝像機(jī)成像面上對(duì)應(yīng)匹配點(diǎn)的關(guān)系為

三維重建的空間點(diǎn)的坐標(biāo)表示為

多目立體視覺(jué)重建是在雙目視覺(jué)重建方法的基礎(chǔ)上，增加一臺(tái)或多臺(tái)攝像機(jī)[5]，從不同角度拍攝同一個(gè)空間物體，獲得多幅圖像，利用多視圖極線約束的多視圖張量方程[6]:

根據(jù)人眼視差圖像的匹配原理，得到多幅圖像上的對(duì)應(yīng)點(diǎn)，重建三維物體的幾何圖形.

文中將攝像機(jī)針孔模型

變成齊次線性方程組約束形式:

在已知多幅圖像上的多個(gè)立體匹配點(diǎn)的條件下,給出了將多幅圖像上的對(duì)應(yīng)點(diǎn)進(jìn)行立體融合的新方法,得到雙目立體視覺(jué)和多目立體視覺(jué)的三維重建方法，空間點(diǎn)坐標(biāo)的重建計(jì)算式與人類雙目視覺(jué)視差原理一致.多個(gè)攝像機(jī)獲取同一個(gè)物體的多幅圖像上對(duì)應(yīng)點(diǎn)的視差信息,在文中給出的三維重建方法中得到充分體現(xiàn),進(jìn)而表明了視覺(jué)系統(tǒng)能夠計(jì)算圖像對(duì)的兩個(gè)相反定向三維重建.

1 雙目立體視覺(jué)重建方法

齊次線性方程組

寫成矩陣形式為

矩陣HTH的3個(gè)特征值是λ1=0，λ2=f2,λ3=f2+u2+v2，秩R(HTH)=2,HTH不可逆.

其中

2幅圖像上的對(duì)應(yīng)點(diǎn)是(ul,vl)?(ur,vr).

人類雙眼獲得2幅圖像，每只眼睛各能看到1幅圖像，經(jīng)過(guò)視覺(jué)系統(tǒng)的融合后，用“第3只眼睛”看到三維重建的第3幅立體圖像[7].所以將左、右攝像機(jī)模型融合成雙目視覺(jué)模型:

該方程組中有4個(gè)方程，3個(gè)未知變量，用最小二乘法求出其唯一解.在方程組兩邊乘上系數(shù)矩陣的轉(zhuǎn)置得

所以多幅圖像融合的方法是:每個(gè)攝像機(jī)模型方程兩邊乘以系數(shù)矩陣的轉(zhuǎn)置,然后將方程組中方程的兩邊分別相加得到融合后的立體視覺(jué)模型.

證明旋轉(zhuǎn)矩陣Rl、Rr都是可逆的正交矩陣，當(dāng)Rl=Rr=I(單位矩陣)時(shí)，

由定理2可得

(ⅱ)當(dāng)左、右兩個(gè)攝像機(jī)坐標(biāo)系都與世界坐標(biāo)系平行時(shí)Rl=Rr=I，從而

其中

H12=H21=(flul+frur)(flvl+frvr)，

又由于

(flur-frul)2+(flvr-frvl)2=0，

另外兩個(gè)特征值為

2 多目立體視覺(jué)重建方法

(u1,v1)?(u2,v2)?…?(un,vn),

其中

類似于雙目視覺(jué)模型,將n個(gè)攝像機(jī)模型融合成多目立體視覺(jué)模型:

證明旋轉(zhuǎn)矩陣R1,R2,…,Rn都是可逆的正交矩陣，當(dāng)R1=R2=…=Rn=I時(shí)，

由定理6知,當(dāng)n個(gè)攝像機(jī)坐標(biāo)系相互平行，R1=R2=…=Rn=I時(shí)，

其中

3 多目立體視覺(jué)融合模型的定向性

文獻(xiàn)[6]中指出,雙眼立體圖像對(duì)是給一只眼睛提供一幅圖像，而給另一只眼睛提供另一幅圖像.若提供得正確，則大腦感知一個(gè)三維重建場(chǎng)景.若將這兩幅圖像交換并提供給兩只相反的眼睛,則感知一個(gè)立體相反的場(chǎng)景:山峰變成山谷，反之亦然,大腦能夠計(jì)算圖像對(duì)的兩個(gè)相反定向三維重建.

將左、右攝像機(jī)模型融合成雙目視覺(jué)模型:

當(dāng)Rl=Rr=I時(shí),

-2flfr[(flur-frul)2+(flvr-frvl)2],

其中

h11=4flfrulur-(flvr-frvl)2,

h22=4flfrvlvr-(flur-frul)2,

h12=h21=(flur+frul)(flvr+frvl),

h13=h31=2flfr(flul+frur),

h23=h32=2flfr(flvl+frvr).

由于

(flvr-frvl)2]<0,

雙目立體視覺(jué)三維重建出的空間點(diǎn)

與原來(lái)三維重建出的空間點(diǎn)反向.

對(duì)于n個(gè)攝像機(jī)模型融合成的多目立體視覺(jué)模型:

若其中有些攝像機(jī)模型不能推送得到正確的圖像，將模型矩陣方程兩邊乘以矩陣

其中i1,i2,…,in是1,2,…,n的某個(gè)排列,即將第ij個(gè)攝像機(jī)獲得的圖像提供給第j個(gè)攝像機(jī),則得到

當(dāng)R1=R2=…=Rn=I時(shí)

當(dāng)存在某個(gè)排列i1,i2,…,in,使得

時(shí),多目立體視覺(jué)三維重建出的空間點(diǎn)

與原來(lái)三維重建的空間點(diǎn)反向.

設(shè)第i幅圖像[8]上有ni個(gè)點(diǎn),

上述模型矩陣方程兩邊乘以系數(shù)矩陣的轉(zhuǎn)置得

i=1,2,…,n.

4 實(shí)驗(yàn)結(jié)果分析

用兩臺(tái)攝像機(jī)拍攝標(biāo)定靶物[11]，得到16個(gè)3D角點(diǎn)所對(duì)應(yīng)的圖像點(diǎn)及兩幅圖像上的對(duì)應(yīng)點(diǎn)坐標(biāo)(表1).

表1 世界坐標(biāo)系的點(diǎn)及兩幅圖像上的對(duì)應(yīng)點(diǎn)坐標(biāo)

標(biāo)定靶物上3D點(diǎn)的實(shí)際世界坐標(biāo)(xw,yw,zw)的單位是英寸,圖像點(diǎn)的坐標(biāo)(u,v)是行數(shù)與列數(shù),單位是像素,其中xoy坐標(biāo)面水平，x軸向右，y軸是深度軸,z軸向上, 標(biāo)定靶物的頂面位于xoy坐標(biāo)面上(見(jiàn)文獻(xiàn)[11]圖13～圖15).

設(shè)第j個(gè)實(shí)際世界坐標(biāo)(xw,yw,zw)是(xj,yj,zj)，對(duì)應(yīng)的圖像點(diǎn)為(uj,vj),攝像機(jī)線性模型由下式表示：

消去方程組中的sj得到方程組:

對(duì)于標(biāo)定物上的n個(gè)特征點(diǎn),有2n個(gè)關(guān)于矩陣元素mij的方程組，其矩陣形式為QM=U.設(shè)m34=1,該方程組的最小二乘解為

M=(QTQ)-1QTU,

其中

M=(m11m12m13m14m21m22m23m24m31m32m33)T，

U=(u1m34v1m34u2m34v2m34…unm34vnm34)T，

Q=

根據(jù)表1中的空間點(diǎn)和攝像機(jī)圖像上的圖像點(diǎn)坐標(biāo),利用3D空間線性模型相機(jī)標(biāo)定法[3]，得到左、右攝像機(jī)內(nèi)外參數(shù)如下：

表2 3D重建的世界坐標(biāo)系中點(diǎn)的坐標(biāo)

表2中P0點(diǎn)坐標(biāo)是世界坐標(biāo)系標(biāo)定后的原點(diǎn)坐標(biāo)，其他點(diǎn)的三維重建坐標(biāo)等于表2中點(diǎn)的坐標(biāo)減去P0的坐標(biāo). 由于3D空間線性模型相機(jī)標(biāo)定法的誤差比較大，文中給出的三維重建方法有一定的誤差，但給出的3D重建方法是有效的.將圖像點(diǎn)坐標(biāo)歸一化[12]，用精度高的、非線性的攝像機(jī)內(nèi)外參數(shù)標(biāo)定法,就能得到更加精確的符合實(shí)際的3D重建坐標(biāo).

將左、右兩個(gè)攝像機(jī)獲得的兩幅圖像交換并提供給兩個(gè)相反的雙目立體融合模型系統(tǒng),則有

得到的世界坐標(biāo)系點(diǎn)的偽坐標(biāo)見(jiàn)表3.

表3 3D重建的世界坐標(biāo)系中點(diǎn)的偽坐標(biāo)

對(duì)表2和表3的三維重建點(diǎn)坐標(biāo)進(jìn)行比較.若將這兩個(gè)表中的同一個(gè)點(diǎn)的坐標(biāo)與偽坐標(biāo)相減(以P10為例)得ΔP10=(1.729 7,0.014 02,0.573 35),則可以看出實(shí)現(xiàn)了圖像對(duì)的兩個(gè)相反定向三維重建,且錯(cuò)誤地推送了圖像數(shù)據(jù).

4.806 1×1020，

視差信息為

所以表1中數(shù)據(jù)的視差信息相對(duì)較小，條件數(shù)相對(duì)較大，雙目立體視覺(jué)融合模型的分辨率相對(duì)較低,這與實(shí)驗(yàn)結(jié)果一致.

對(duì)多目立體視覺(jué)融合模型，也可以類似地進(jìn)行實(shí)驗(yàn)以驗(yàn)證文中給出的三維重建方法的有效性.

5 結(jié)論

文中的研究和實(shí)驗(yàn)結(jié)果表明，用齊次線性方程組表示攝像機(jī)模型,給出雙目、多目立體視覺(jué)的空間點(diǎn)坐標(biāo)計(jì)算式,符合雙眼立體視覺(jué)原理,能夠說(shuō)明立體視覺(jué)和運(yùn)動(dòng)視覺(jué)的正、負(fù)定向性,并且能夠辨識(shí)推送的圖像點(diǎn)的正確性.