羅 丹 廖志賢

（1.桂林電子科技大學(xué)信息與通信學(xué)院，廣西 桂林 541004；2.廣西師范大學(xué)電子工程學(xué)院，廣西 桂林 541002）

基于OpenCV的雙目立體視覺(jué)測(cè)距

羅 丹1廖志賢2

（1.桂林電子科技大學(xué)信息與通信學(xué)院，廣西 桂林 541004；2.廣西師范大學(xué)電子工程學(xué)院，廣西 桂林 541002）

雙目立體視覺(jué)測(cè)距原理就是利用兩臺(tái)攝像機(jī)從兩個(gè)視點(diǎn)獲取目標(biāo)點(diǎn)在不同視角下形成的圖像坐標(biāo)，利用成像幾何模型計(jì)算同名像點(diǎn)圖像坐標(biāo)偏差，來(lái)獲取目標(biāo)點(diǎn)的三維坐標(biāo)，從而實(shí)現(xiàn)距離測(cè)量，它在高速公路安全車(chē)距測(cè)量上有著極大的應(yīng)用前景。當(dāng)前的測(cè)距技術(shù)有主動(dòng)測(cè)距法和被動(dòng)測(cè)距法，論文采用的是基于OpenCV的被動(dòng)測(cè)距法，得到攝像機(jī)標(biāo)定的參數(shù)和立體匹配的對(duì)應(yīng)特征點(diǎn)后，該測(cè)距算法較容易實(shí)現(xiàn)。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，該算法在一定測(cè)量范圍內(nèi)達(dá)到精度要求。

雙目立體視覺(jué)；攝像機(jī)標(biāo)定；立體匹配；測(cè)距

（一）引言

基于計(jì)算機(jī)視覺(jué)理論的視覺(jué)測(cè)距技術(shù)是今后發(fā)展的一個(gè)重要方向，它在機(jī)器人壁障系統(tǒng)、汽車(chē)導(dǎo)航防撞系統(tǒng)等領(lǐng)域有著廣泛的應(yīng)用前景。目前的測(cè)距方法主要有主動(dòng)測(cè)距和被動(dòng)測(cè)距兩種方法。論文采用的是被動(dòng)測(cè)距法。被動(dòng)測(cè)距法是在自然光照條件下，根據(jù)被測(cè)物體本身發(fā)出的信號(hào)(如光信號(hào))來(lái)測(cè)量距離，主要包括立體視覺(jué)測(cè)距法、單目測(cè)距法、測(cè)角被動(dòng)測(cè)距法等。立體視覺(jué)測(cè)距法是仿照人類利用雙目感知距離信息的一種測(cè)距方法，直接模擬人的雙眼處理景物，簡(jiǎn)便可靠，但該方法的難點(diǎn)是選擇合理的匹配特征和匹配準(zhǔn)則。

雙目立體視覺(jué)系統(tǒng)采用兩臺(tái)攝像機(jī)同時(shí)從兩個(gè)不同視點(diǎn)獲取同一景物的多幅圖像，即立體圖像對(duì)，通過(guò)測(cè)量景物在立體圖像對(duì)中的視差，再利用雙目視覺(jué)成像原理就可以計(jì)算出目標(biāo)到攝像機(jī)的距離。立體匹配采用OpenCV庫(kù)中的塊匹配立體算法，在得到攝像機(jī)參數(shù)和匹配點(diǎn)后再利用最小二乘法即可算出三維信息。

（二）雙目立體視覺(jué)模型

首先介紹雙目視覺(jué)所涉及到三個(gè)坐標(biāo)系：世界坐標(biāo)系、攝像機(jī)坐標(biāo)系和圖像坐標(biāo)系。世界坐標(biāo)系中的點(diǎn)坐標(biāo)記為攝像機(jī)坐標(biāo)系用表示。圖像坐標(biāo)為攝像機(jī)所拍攝到的圖像的二維坐標(biāo)，一般有兩種表示方法：是以像素為單位的圖像坐標(biāo)，是以毫米為單位的圖像坐標(biāo)。建立以毫米為單位的圖像坐標(biāo)是因?yàn)樽鴺?biāo)只表示了像素在數(shù)字圖像中的行數(shù)和列數(shù)，并沒(méi)有表示出該像素在數(shù)字圖像中的物理位置。

圖1為平行雙目視覺(jué)模型，即參數(shù)相同的兩個(gè)攝像機(jī)平行放置，兩光軸互相平行且都平行于z 軸，x 軸共線，兩攝像機(jī)光心的距離為B（即基線距）。圖中O1、O2為左右兩攝像機(jī)的焦點(diǎn)，I1 、I2為左右攝像機(jī)的像平面，P1 、P2 分別是空間點(diǎn)P(X,Y,Z)在左右像平面上的成像點(diǎn)，f是攝像機(jī)的焦距。若視差d 定義為│P 1- P2│，則點(diǎn)P到立體視覺(jué)系統(tǒng)的距離為：

圖1 平行雙目視覺(jué)模型

（三）攝像機(jī)標(biāo)定

攝像機(jī)標(biāo)定是為了建立三維世界坐標(biāo)與二維圖像坐標(biāo)之間的一種對(duì)應(yīng)關(guān)系。系統(tǒng)采用兩個(gè)攝像機(jī)進(jìn)行圖像采集，設(shè)定好兩個(gè)攝像機(jī)之間的距離（即基線距），用攝像機(jī)同時(shí)采集放在攝像機(jī)前的標(biāo)定物。攝像機(jī)標(biāo)定采用的是張正友的標(biāo)定方法，棋盤(pán)格大小為 30mm 30mm，角點(diǎn)數(shù)為 11 7。標(biāo)定板的規(guī)格如圖2所示。

圖2 平面標(biāo)定板規(guī)格

張正友的標(biāo)定方法需要攝像機(jī)從不同角度拍攝標(biāo)定板的多幅圖像。由于兩個(gè)攝像機(jī)是向前平行放置的，且基線距固定，所以只需擺放標(biāo)定板的位置變化即可。攝像機(jī)為針孔成像模型，則空間點(diǎn)與圖像點(diǎn)之間的映射關(guān)系為：

為方便計(jì)算，使標(biāo)定板所在平面的Z坐標(biāo)均為0，即Zw=0的平面，則上式可變?yōu)椋?/p>

其中，A為攝像機(jī)的內(nèi)參矩陣，(R, t)為攝像機(jī)外參矩陣，s為尺度因子。令則上式可寫(xiě)為：

（四）立體匹配

1.立體匹配算法

立體匹配是通過(guò)尋找同一空間景物在不同視點(diǎn)下投影圖像中像素間的一一對(duì)應(yīng)關(guān)系。

立體匹配是匹配兩個(gè)不同的攝像機(jī)拍攝得到圖像的三維點(diǎn)。立體匹配采用的是 OpenCV提供的塊匹配立體算法cvFindStereoCorrespondenceBM，該算法使用了一個(gè)叫“絕對(duì)誤差累計(jì)”的小窗口（SAD）來(lái)查找立體校正后左右兩幅圖像之間的匹配點(diǎn)。這個(gè)算法只查找兩幅圖像之間的強(qiáng)匹配點(diǎn)（即強(qiáng)紋理）。

塊匹配立體算法有以下三個(gè)步驟：

（1）預(yù)過(guò)濾，使圖像亮度歸一化并加強(qiáng)圖像紋理。

（2）沿著水平極線用SAD窗口進(jìn)行匹配搜索。

（3）再過(guò)濾，去除壞的匹配點(diǎn)。

匹配過(guò)程通過(guò)在整幅圖像滑動(dòng) SAD窗口來(lái)完成。對(duì)左圖像上的每個(gè)特征而言，搜索右圖像中的對(duì)應(yīng)行以找到最佳匹配。校正之后，每一行就是一條極線，因此右圖上的匹配位置就一定會(huì)在左圖像的相同行上（即具有相同的y坐標(biāo)）。如果特征有足夠多的可檢測(cè)的紋理，并位于右攝像機(jī)的視圖內(nèi)，就可以找出對(duì)應(yīng)的匹配位置。

2.視差效果圖

視差圖是經(jīng)過(guò)左右圖像的對(duì)應(yīng)點(diǎn)匹配后得到的，從視差圖可以看出匹配的效果。若圖像中的匹配點(diǎn)比較稠密（即匹配點(diǎn)多），則得到的視差圖和原圖相似度就大；若圖像中的匹配點(diǎn)比較稀疏，則得到的視差圖和原圖相似度就小。論文采用的匹配方法得到的視差圖如圖3所示，圖4為原圖。

圖3 視差圖

圖4 原圖

（五）雙目視覺(jué)測(cè)距

1.雙目立體視覺(jué)測(cè)距算法

在已知攝像機(jī)的內(nèi)外參數(shù)的情況下，計(jì)算得到透視投影矩陣，根據(jù)圖像坐標(biāo)系與世界坐標(biāo)系的關(guān)系，則可以求出距離信息。在雙目視覺(jué)中，攝像機(jī)同時(shí)拍攝到同一個(gè)物體不同角度的兩張圖像，由同一點(diǎn)在兩幅圖像中位置信息可計(jì)算出它在世界坐標(biāo)中的三維坐標(biāo)。

根據(jù)(4)式和(5)式，消去比例系數(shù)k1和k2，可得到如下四個(gè)方程組：

2.實(shí)驗(yàn)結(jié)果

論文采用一個(gè)攝像機(jī)進(jìn)行實(shí)驗(yàn)，按照?qǐng)D一的方法，現(xiàn)在左位置點(diǎn)拍攝一幅圖像，此時(shí)標(biāo)定板位置保持不變，然后讓攝像機(jī)只在X軸方向移動(dòng)基線的距離，在Y和Z軸方向都沒(méi)有移動(dòng)，再在右位置點(diǎn)拍攝一幅圖像，在左右拍攝點(diǎn)都拍攝圖像后，再換標(biāo)定板的擺放方式，繼續(xù)在左右拍攝點(diǎn)拍攝得到左右圖像，依此類推。實(shí)驗(yàn)采用左右各 9幅圖像來(lái)標(biāo)定，圖像大小為2304*1728，得到的標(biāo)定結(jié)果如下：

而實(shí)際設(shè)置兩攝像機(jī)之間的距離為200mm，可見(jiàn)標(biāo)定得到的 T的 X方向上的坐標(biāo)為 199.4809mm，與實(shí)際設(shè)置的距離200mm很接近，旋轉(zhuǎn)矩陣R基本接近單位陣，說(shuō)明兩攝像機(jī)之間基本沒(méi)有旋轉(zhuǎn)，符合論文所要求的雙目視覺(jué)模型。

標(biāo)定好之后，再進(jìn)行立體標(biāo)定，然后進(jìn)行立體匹配，立體匹配后取某些對(duì)應(yīng)的匹配點(diǎn)，采用前文介紹的測(cè)距算法，得到如下實(shí)驗(yàn)數(shù)據(jù)：

表1 測(cè)距結(jié)果

（六）結(jié)論

本文主要研究基于Opencv的雙目立體視覺(jué)的距離測(cè)量，它在車(chē)載攝像機(jī)、安全車(chē)距、機(jī)器人壁障等場(chǎng)景中得到應(yīng)用廣泛，是目前及將來(lái)研究的熱點(diǎn)之一。由實(shí)驗(yàn)數(shù)據(jù)可知，在攝像機(jī)標(biāo)定和立體匹配后，根據(jù)OpenCV的測(cè)距算法，在2米的距離內(nèi)，誤差都是小于1.5%，可見(jiàn)該算法還是能達(dá)到一定的精度。由于標(biāo)定誤差、人為誤差及其他因素的影響，如立體匹配時(shí)只查找兩幅圖像之間的強(qiáng)匹配點(diǎn)（即強(qiáng)紋理），這些因素的影響導(dǎo)致了在距離攝像機(jī)越遠(yuǎn)的地方測(cè)量得到的距離信息精度越差。

[1]趙勛杰,高稚允.光電被動(dòng)測(cè)距技術(shù)[J].光學(xué)技術(shù),2003,29(6):652-656.

[2]Okutomi M,Kanade T. A multiple-baseline stereo [J]. IEEE transactions on Pattern Anal & Mch Intell, 1993,15(4):353-363.

[3]馬林.基于雙目視覺(jué)的圖像三維重建[D].山東:山東大學(xué),2008.

[4]陳勝勇,劉盛.基于 OpenCV的計(jì)算機(jī)視覺(jué)技術(shù)實(shí)現(xiàn)[M].北京:科學(xué)出版社,2008.

[5]Zhengyou Zhang. A Flexible New Technique for Camera Calibration[J].Pattern Analysis and Machine Intelligence, IEEE Transactions on.2000,22(11):1330-1334.

TN911.73

A

1008-1151(2011)04-0052-02

2011-01-09

羅丹（1985－），女（壯族），廣西河池人，桂林電子科技大學(xué)信息與通信學(xué)院碩士研究生，研究方向?yàn)閳D像信號(hào)處理；廖志賢（1986－），男（壯族），廣西百色人，廣西師范大學(xué)電子工程學(xué)院碩士研究生，研究方向?yàn)樾盘?hào)處理與自動(dòng)控制。