于　振　劉書桂

(精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室(天津大學(xué))，天津 300072)

?

一種基于雙目立體視覺(jué)的測(cè)量方法*

于振劉書桂

(精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室(天津大學(xué))，天津 300072)

以雙目立體視覺(jué)理論為基礎(chǔ)，提出了一種基于射線交匯法的雙目模型。標(biāo)定好雙目系統(tǒng)后，使用Harris算法提取圖像中的特征點(diǎn)，經(jīng)過(guò)立體匹配，求出特征點(diǎn)在相機(jī)坐標(biāo)系下的三維坐標(biāo)，從而計(jì)算出任意點(diǎn)間的距離，并通過(guò)理論推導(dǎo)證明其比另一種雙目模型計(jì)算出的結(jié)果更精確。實(shí)驗(yàn)表明該方法能夠較精確的對(duì)物體實(shí)現(xiàn)三維測(cè)量。

射線交匯法；雙目模型；三維測(cè)量

雙目立體視覺(jué)由于結(jié)構(gòu)靈活、安裝方便、成本低而被廣泛采用。其作為計(jì)算機(jī)視覺(jué)的一個(gè)分支，是利用2臺(tái)攝像機(jī)同時(shí)對(duì)物體拍照，根據(jù)景物點(diǎn)在左右攝像機(jī)圖像上的位置關(guān)系計(jì)算出景物點(diǎn)的三維坐標(biāo)，從而可以實(shí)現(xiàn)三維測(cè)量和恢復(fù)。由于結(jié)構(gòu)簡(jiǎn)單、數(shù)據(jù)采集方便迅速、屬于非接觸式測(cè)量,可以應(yīng)用于各種復(fù)雜惡劣的環(huán)境中。雙目視覺(jué)被廣泛應(yīng)用于三維檢測(cè)、機(jī)器人導(dǎo)航、醫(yī)學(xué)成像等領(lǐng)域[1]，物體三維測(cè)量一直是人們研究的熱點(diǎn)。目前大多數(shù)研究集中在攝像機(jī)標(biāo)定[2-3]特征匹配[4-5]及精度分析[6]等方面。為了獲得較高的三維測(cè)量精度，很多專家學(xué)者更是將研究重點(diǎn)放在了特征匹配部分，提出了如快速雙邊濾波算法[7]、 基于自適應(yīng)權(quán)重的三邊濾波算法[8]、迭代優(yōu)化的自適應(yīng)權(quán)重算法[9]以及二進(jìn)制立體匹配算法BSM[10]等方法。本文立足于雙目測(cè)量理論的基礎(chǔ)——雙目模型，提出了一種基于射線交匯法的簡(jiǎn)單雙目模型，并與另一種基于三角法的雙目模型[11]進(jìn)行了比對(duì)。通過(guò)誤差分析，在理論上證明了基于射線交匯法的雙目模型比基于三角法的雙目模型有更高的精度，并通過(guò)實(shí)驗(yàn)以及實(shí)驗(yàn)后的結(jié)果分析，驗(yàn)證了這一觀點(diǎn)。

1　實(shí)驗(yàn)裝置

1.1攝像機(jī)及試驗(yàn)臺(tái)架

如圖1所示，系統(tǒng)采用兩臺(tái)型號(hào)參數(shù)一致的高分辨率低畸變CCD攝像機(jī),安裝在與各攝像機(jī)相配的攝像機(jī)三腳架上，通過(guò)調(diào)節(jié)攝像機(jī)三腳架使兩臺(tái)攝像機(jī)之間的間距、夾角及高度可以任意調(diào)節(jié)，以滿足不同的工作距離及有效視場(chǎng)范圍的要求。測(cè)量誤差與兩鏡頭光軸夾角及基線距離間存在復(fù)雜的函數(shù)關(guān)系，在滿足工作距離及有效視場(chǎng)的前提下，系統(tǒng)誤差隨基線距增大而減小，且當(dāng)基線與光軸的夾角在40°～60°之間取值時(shí)，平均綜合測(cè)量誤差達(dá)到最小值[12]。

1.2照明光源

如圖2所示，系統(tǒng)采用DLP投影儀作為光源。通過(guò)設(shè)計(jì)程序和分屏控制，讓投影儀分別投影出不同的圖案以方便測(cè)量。當(dāng)對(duì)攝像機(jī)進(jìn)行標(biāo)定時(shí)，通過(guò)向棋盤格投影白光，從而使各像機(jī)像平面上的棋盤格成像更加清晰。當(dāng)進(jìn)行測(cè)量實(shí)驗(yàn)時(shí)，可以通過(guò)投影不同的圖案以方便提取所測(cè)物體上的特征點(diǎn)并進(jìn)行特征匹配，從而對(duì)物體三維形貌進(jìn)行密集測(cè)量。

實(shí)驗(yàn)采用兩臺(tái)型號(hào)參數(shù)一致的高分辨率低畸變CCD攝像機(jī)進(jìn)行，為了提高結(jié)果的可靠性分別按照?qǐng)D3、圖4的方法進(jìn)行了3組獨(dú)立重復(fù)實(shí)驗(yàn)，每次實(shí)驗(yàn)中分別使用左、右攝像機(jī)各拍攝一幅圖像，再轉(zhuǎn)換標(biāo)定板的擺放方式，繼續(xù)在左右拍攝點(diǎn)拍攝得到左右圖像，依此類推。

2　兩種雙目模型測(cè)量效果比對(duì)

2.1基于三角法的雙目模型[11]

如圖3所示，設(shè)左攝像機(jī)坐標(biāo)系與世界坐標(biāo)系重合，記為OXYZ，左攝像機(jī)圖像坐標(biāo)系為OlXlYl，有效焦距為fl；右攝像機(jī)坐標(biāo)系為OrXrYrZr，其圖像坐標(biāo)系為OrXrYr，有效焦距為fr，P點(diǎn)為公共視野內(nèi)的待測(cè)點(diǎn)。

根據(jù)攝像機(jī)透視變換模型可知，在傳感器坐標(biāo)系下被測(cè)點(diǎn)與各攝像機(jī)像面點(diǎn)之間的對(duì)應(yīng)變換關(guān)系分別為：

(1)

(2)

當(dāng)左攝像機(jī)與世界坐標(biāo)系重合時(shí)，設(shè)左攝像機(jī)有效焦距fl，右攝像機(jī)有效焦距fr，兩攝像機(jī)之間的位置關(guān)系為：

(3)

其中M=[RT],

R和T分別為左攝像機(jī)坐標(biāo)系(世界坐標(biāo)系)與右攝像機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣和原點(diǎn)之間的平移向量。此時(shí)，在傳感器坐標(biāo)系下表示的空間被測(cè)點(diǎn)與兩攝像機(jī)像面點(diǎn)之間的對(duì)應(yīng)變換關(guān)系分別為：

(4)

(5)

由此，空間點(diǎn)三維坐標(biāo)可以表示為：

(6)

(7)

(8)

(9)

(10)

式(6)～(10)便是基于三角法的雙目立體視覺(jué)模型的數(shù)學(xué)描述。如果旋轉(zhuǎn)矩陣R和平移矩陣T已知，通過(guò)兩攝像機(jī)像面點(diǎn)像素坐標(biāo)(uldl,vld)和(urd,vrd)即可求解空間點(diǎn)的三維坐標(biāo)(x,y,z)。

2.2基于射線交匯法的雙目模型

圖4所示為基于射線交匯法的簡(jiǎn)單雙目模型，設(shè)世界坐標(biāo)系為OXYZ，左攝像機(jī)圖像坐標(biāo)系為OlUlVl，右攝像機(jī)圖像坐標(biāo)系為OrUrVr，假定空間任意點(diǎn)P的世界坐標(biāo)為(Xw,Yw,Zw)，點(diǎn)P在兩臺(tái)攝像機(jī)的成像平面上的像點(diǎn)分別為P1與P2，P1和P2的像素坐標(biāo)分別為：(U1,V1)和(U2,V2)，兩攝像機(jī)的投影矩陣分別為：

(11)

(12)

根據(jù)攝像機(jī)的成像模型有攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可表示為：

(13)

(14)

其中：zf1和zf2分別為空間點(diǎn)P在兩臺(tái)相機(jī)的光心坐標(biāo)系中沿光軸方向的坐標(biāo)值，M1=A1R1T1,M2=A2R2T2；A1、A2分別為左右攝像機(jī)的內(nèi)參矩陣，R1、T1分別為左攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和相對(duì)于原點(diǎn)之間的平移向量,R2、T2分別為右攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和相對(duì)于原點(diǎn)之間的平移向量。

設(shè)左攝像機(jī)坐標(biāo)系與世界坐標(biāo)系重合，則此時(shí)：

(15)

M2=

(16)

由此得：

(17)

(18)

展開(kāi)整理得到：

-flxx+(u1-uol)z=0

(19)

-flyy+(v1-vol)z=0

(20)

(21)

(22)

對(duì)于等式(19)-(22)，為方便計(jì)算用矩陣形式表示如下：

Kq=l

(23)

K=

(24)

(25)

(26)

由于K不是方陣，為方便計(jì)算先求KTK,進(jìn)而求得：

q=(KTK)-1KTl

(27)

(28)

上述討論表明：只要知道兩臺(tái)攝像機(jī)的內(nèi)參矩陣和兩臺(tái)攝像機(jī)間的旋轉(zhuǎn)、平移矩陣，便可由空間一點(diǎn)分別在兩臺(tái)像機(jī)像平面上的坐標(biāo)求出空間點(diǎn)的三維坐標(biāo)。

2.3特征點(diǎn)提取和匹配

為了精確提取空間中點(diǎn)在兩像機(jī)像平面的坐標(biāo)對(duì)，首先使用Harris算法提取圖像中的點(diǎn)作為特征點(diǎn)。其原理如下：

設(shè)定一個(gè)特定大小的窗口，讓此窗口在圖像上移動(dòng)，以便圖像灰度變化進(jìn)行檢測(cè)。圖5a為窗口在平滑區(qū)域移動(dòng)時(shí)的情況，可見(jiàn)窗口周邊各方向的灰度沒(méi)有變化。圖5b為窗口在邊緣上移動(dòng)時(shí)的情況，可見(jiàn)窗周邊各方向的灰度也沒(méi)有變化。圖5c為窗口在角點(diǎn)處移動(dòng)的情況，可見(jiàn)窗口周邊各個(gè)方向的灰度有明顯變化。Harris算法正是利用了這個(gè)直觀的物理現(xiàn)象，通過(guò)窗口周邊各個(gè)方向上的灰度變化程度，來(lái)檢測(cè)角點(diǎn)。

特征點(diǎn)提取完成之后，需要對(duì)兩幅圖像上提取到的特征點(diǎn)進(jìn)行匹配。匹配時(shí)需要先進(jìn)行粗匹配，利用特征點(diǎn)附近的特征信息，參考圖像和待匹配圖像有相似尺度和灰度信息，以參考圖像作為模板在待匹配的圖像上遍歷，計(jì)算每個(gè)位置參考圖像和待匹配圖像對(duì)應(yīng)位置的互相關(guān)度，建立一個(gè)局部匹配的準(zhǔn)則，將Harris算法檢測(cè)結(jié)果(兩個(gè)特征點(diǎn)集合)，劃分為多個(gè)一對(duì)一匹配對(duì)。

粗匹配之后，需要根據(jù)Ran sac算法[1]對(duì)粗匹配中的錯(cuò)誤匹配點(diǎn)對(duì)進(jìn)行剔除。Ran sac算法根據(jù)一組包含異常數(shù)據(jù)的樣本數(shù)據(jù)集，計(jì)算出數(shù)據(jù)的數(shù)學(xué)模型參數(shù)得到有效樣本數(shù)據(jù)。其基本假設(shè)是樣本中包含正確數(shù)據(jù)(Inliers，可以被模型描述的數(shù)據(jù))，也包含異常數(shù)據(jù)(Outliers，偏離正常范圍很遠(yuǎn)、無(wú)法適應(yīng)數(shù)學(xué)模型的數(shù)據(jù))。異常數(shù)據(jù)可能是由于錯(cuò)誤的測(cè)量、錯(cuò)誤的假設(shè)、錯(cuò)誤的計(jì)算等產(chǎn)生。同時(shí)Ran sac算法也假設(shè)，給定一組正確的數(shù)據(jù)，存在可以計(jì)算出符合這些數(shù)據(jù)的模型參數(shù)的方法。精匹配中使用的Ran sac算法基本思想描述如下：

(1)考慮一個(gè)最小抽樣集的勢(shì)為n的模型(n為初始化模型參數(shù)所需的最小樣本數(shù))和一個(gè)樣本集P，集合P的樣本數(shù)>n，從P中隨機(jī)抽取包含n個(gè)樣本的P的子集S初始化模型M。

(2)Sc=P/S中與模型M的誤差小于某一設(shè)定閾值t的樣本集以及S構(gòu)成S*。認(rèn)為S*是內(nèi)點(diǎn)(Inliers)集，它們構(gòu)成S的一致集(Consensus set)。

(3)若S*≥N，認(rèn)為得到正確的模型參數(shù)，并利用集S*采用最小二乘法等方法重新計(jì)算新的模型M*；重新隨機(jī)抽取新的S，重復(fù)以上過(guò)程。

(4)在完成一定的抽樣次數(shù)后，若找到的抽樣結(jié)果為一致集，則算法失敗，否則選取抽樣后得到的最大一致集判斷內(nèi)外點(diǎn)，算法結(jié)束。

2.4模型誤差比對(duì)

通過(guò)將兩種模型進(jìn)行對(duì)比可發(fā)現(xiàn)，基于三角法的測(cè)量模型沒(méi)有考慮到鏡頭畸變的問(wèn)題，而基于射線交匯法的測(cè)量模型由于是從最原始的像機(jī)模型出發(fā)，考慮到了像平面中心的變化，通過(guò)將提取到的左右像機(jī)像平面坐標(biāo)與標(biāo)定出的左右像平面中心進(jìn)行做差運(yùn)算，之后再代入像機(jī)模型，從而消除了鏡頭畸變的影響。因此，基于射線交匯法的測(cè)量模型比基于三角法的測(cè)量模型有更好的精度。兩者之間的誤差計(jì)算方法如下：

文獻(xiàn)[11]中將畸變分為x方向上畸變和y方向上畸變，兩種畸變都分別由徑向畸變、偏心畸變和薄棱鏡畸變3種畸變組成。在正常情況下，徑向畸變已經(jīng)足以描述模型中的畸變，因此只考慮徑向畸變即可。對(duì)于徑向畸變描述如下：

(29)

(30)

(31)

由此得系統(tǒng)誤差為：

(32)

(33)

2.5實(shí)驗(yàn)與效果比對(duì)

實(shí)驗(yàn)中采用兩臺(tái)型號(hào)參數(shù)一致的高分辨率低畸變CCD攝像機(jī)進(jìn)行實(shí)驗(yàn)，分別按照?qǐng)D3、圖4的方法進(jìn)行了實(shí)驗(yàn)，每次實(shí)驗(yàn)中分別使用左、右攝像機(jī)各拍攝一幅圖像，再變換標(biāo)定板的擺放方式，繼續(xù)在左右拍攝點(diǎn)拍攝以得到左右圖像，依此類推。實(shí)驗(yàn)采用左、右各12幅圖像來(lái)標(biāo)定，圖像大小為1280×1024，標(biāo)定重投影誤差為0.6像素。雙目系統(tǒng)標(biāo)定所得內(nèi)外參如下：

左右像機(jī)內(nèi)參為：

左右像機(jī)畸變系數(shù)為：

兩像機(jī)間的外參為：

對(duì)左右攝像機(jī)分別進(jìn)行單目標(biāo)定，在得到像機(jī)內(nèi)參之后，再進(jìn)行立體標(biāo)定從而得到兩像機(jī)間的旋轉(zhuǎn)平移矩陣，然后進(jìn)行立體匹配以獲取某些對(duì)應(yīng)的匹配點(diǎn)。如圖6所示，分別將得到的高精度標(biāo)定板上的多組匹配點(diǎn)對(duì)代入前文介紹的兩種模型，從而測(cè)量這些點(diǎn)對(duì)間的距離。特征點(diǎn)提取和匹配效果如圖7所示，得到的實(shí)驗(yàn)數(shù)據(jù)如表1所示。

3　結(jié)語(yǔ)

(1)在標(biāo)定精度、提取精度、匹配精度、測(cè)量距離、像機(jī)主軸與Z軸夾角、基線長(zhǎng)度、外界光線影響等影響因素都相同的情況下，基于射線交匯法的雙目模型比基于三角法的雙目模型有更高的測(cè)量精度。

(2)由實(shí)驗(yàn)數(shù)據(jù)可知，在攝像機(jī)標(biāo)定和立體匹配后，根據(jù)提出的簡(jiǎn)單的雙目模型算法，對(duì)高精度標(biāo)定板上兩點(diǎn)間的距離進(jìn)行測(cè)量，測(cè)量誤差都是小于1.5%，可見(jiàn)該算法還是能達(dá)到一定的精度。

表1各模型代入相同標(biāo)定參數(shù)后對(duì)同一標(biāo)準(zhǔn)件測(cè)量結(jié)果比較

測(cè)量點(diǎn)在左右攝像機(jī)像平面坐標(biāo)兩測(cè)量點(diǎn)間距離/mm誤差/%三角法射線交匯法三角法射線交匯法(586,181)(344,234)31.0530.193.50.63(681,184)(431,237)29.6529.871.170.43(771,187)(524,242)30.8130.382.71.27(866,190)(615,241)29.4830.251.730.83(957,190)(706,246)30.8630.202.870.67(1046,192)(798,245)30.3230.261.070.87(584,272)(337,327)30.6630.192.20.63(676,275)(425,330)30.2330.050.770.17(769,275)(517,331)30.4830.091.6%0.3(864,278)(611,331)31.0630.353.531.17(956,283)(702,334)29.3429.742.270.87(1045,286)(794,336)30.2130.130.70.43(581,364)(330,415)29.1929.712.70.97(677,367)(423,418)29.3629.672.131.1(767,369)(516,419)30.7030.272.330.9(862,372)(604,425)29.6729.951.10.17(955,372)(698,427)31.0330.383.431.27(1044,375)(788,430)30.7530.352.51.17(581,454)(328,506)30.8830.402.931.33(675,456)(417,509)30.7930.252.630.83(765,459)(508,513)30.5930.171.970.57(858,464)(600,514)30.5130.231.70.77(953,467)(692,519)29.5929.891.360.37(1045,467)(787,522)30.1930.090.630.3(578,549)(322,600)29.8029.970.670.1(669,549)(411,603)30.5330.161.770.53765,554)(505,605)29.2929.852.370.5(856,554)(595,609)29.5629.911.470.3(951,557)(687,612)29.4529.751.830.83(1044,562)(781,614)30.2230.180.730.6(573,640)(315,692)30.6030.2820.93(670,642)(406,695)30.7330.342.431.13(761,647)(499,698)29.3629.842.130.53(857,647)(593,701)30.8830.182.930.6(947,650)(684,704)29.5329.731.570.9(1040,655)(779,708)30.1630.110.530.37(573,734)(309,785)29.8829.930.40.23(667,739)(401,789)29.7129.890.970.37(761,739)(493,792)30.7930.322.631.07(852,741)(587,795)30.3530.231.170.77

測(cè)量點(diǎn)在左右攝像機(jī)像平面坐標(biāo)兩測(cè)量點(diǎn)間距離/mm誤差/%三角法射線交匯法三角法射線交匯法(948,744)(682,798)29.5329.831.570.57(1039,746)(773,799)30.8330.192.770.63(567,829)(303,875)29.2129.842.630.53(665,831)(396,882)30.5930.281.970.93(756,833)(489,886)29.6729.891.10.37(853,836)(584,889)29.4629.811.80.63(944,838)(676,892)30.6530.252.170.83(1040,840)(772,897)30.5830.331.931.1

(3)由于標(biāo)定誤差、人為誤差、特征點(diǎn)提取誤差及其他因素的影響，如立體匹配時(shí)互相關(guān)匹配只查找兩幅圖像之間的強(qiáng)匹配點(diǎn)(即強(qiáng)紋理)，Ran sac算法也只是剔除錯(cuò)誤的匹配點(diǎn)，并沒(méi)有檢測(cè)到漏匹配點(diǎn)對(duì)等，這些因素都導(dǎo)致了兩點(diǎn)間距離的測(cè)量精度有一定的波動(dòng)。

(4)基于射線交匯法的雙目模型相比于基于三角法的雙目模型考慮到了左、右像機(jī)像平面中心的變化帶來(lái)的影響，通過(guò)將提取到的左右像機(jī)像平面坐標(biāo)與標(biāo)定出的左右像平面中心進(jìn)行做差運(yùn)算，消除了鏡頭畸變的影響。因此，基于射線交匯法的測(cè)量模型比基于三角法的測(cè)量模型有更好的精度。

[1]章毓晉.圖像理解與計(jì)算機(jī)視覺(jué)[M].北京：清華大學(xué)出版社，2011.

[2]Bouguet J Y. Camera calibration toolbox for matlab[DB/OL].http://www.vision.caltech.edu/bouguetj/calib_doc/index.html.2013.

[3]Song X, Yang L，Liu Z. An improved two view convergent-style-based disparity estimation algorithm [C]. International Conference on Audio, Language and Image Processing, 2012:698-704.

[4]單潔，唐篧，姜暉.雙目立體相機(jī)中實(shí)時(shí)匹配算法的FPGA實(shí)現(xiàn)[J].激光與紅外, 2013, 43(12):1406-1410.

[5]NingKelin, Zhang Xiaoying, Ming Yue. Stereo matching algorithms with different cost aggregation[J].Proceedings of International Conference on Computer Science and Information Technology,2014(1):647-653

[6]Lorenzo Solrgi. Two-view geometry estimation using the Rodrigues rotation formula[C]. 18th IEEE International Conference on Image Processing (ICIP),2011:1009 - 1012.

[7]Rhemann C, Hosni A, Bleyer M, et al.Fast cost-volume filtering for visual correspondence and beyond [C].In Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on IEEE，2011：3017-3024.

[8]Chen D, Ardabilian M, Chen L.A novel trilateral filter based adaptive support weight method for stereo matching[J].BMVC，2013:318.

[9]Psota E T, Kowalczuk J, Carlson J, et al. A local iterative refinement method for adaptive support-weight stereo matching [C].International Conference on Image Processing, Computer Vision, and Pattern Recognition,2011:271-277.

[10]Zhang K, Li J, Li Y, et al.Binary stereo matching[C].In Pattern Recognition (ICPR), 2012 21st International Conference on IEEE,2012:356-359.

[11]邾繼貴.視覺(jué)測(cè)量原理與方法[M].北京：機(jī)械工業(yè)出版社,2012.

[12]劉瑜.劉纏牢.蘇海.一種基于結(jié)構(gòu)光雙目視覺(jué)的特征匹配算法研究[J].光學(xué)儀器,2014,36(2):161-166.

如果您想發(fā)表對(duì)本文的看法，請(qǐng)將文章編號(hào)填入讀者意見(jiàn)調(diào)查表中的相應(yīng)位置。

A measurement methodbased on the binocular stereo vision theory

YU Zhen, LIU Shugui

(State Key Laboratory of Precision Measuring Technology&Instrument, Tianjin University, Tianjin 300072, CHN)

A binocular method on account of ray intersection models is proposed based on the binocular stereo vision theory. After the binocular system is calibrated, using the Harris algorithm to extract the feature points of the images. Then the three-dimensional coordinates of the feature points in the camera coordinate system is obtained after stereo matching in order to calculate the distances between any points. And it is provided to be more accurate than another results which are calculated by the other binocular model. Experimental results show that this method can achieve more accurate three-dimensional measurement of objects.

ray intersection method; binocular model;three-dimensional measurement

TP391.41

B

10.19287/j.cnki.1005-2402.2016.08.028

(編輯李靜)(2016-06-21)

160839

* 天津自然科學(xué)基金重點(diǎn)項(xiàng)目(13JCZDJC34500)