徐 楊，占云龍，劉 昭，趙魯陽

（中國科學院 上海微系統(tǒng)與信息技術(shù)研究所 無線傳感網(wǎng)與通信重點實驗室 上海200050）

基于指導濾波立體匹配算法的測距系統(tǒng)

徐 楊，占云龍，劉 昭，趙魯陽

（中國科學院 上海微系統(tǒng)與信息技術(shù)研究所 無線傳感網(wǎng)與通信重點實驗室 上海200050）

基于SAD立體匹配算法的傳統(tǒng)測距系統(tǒng)存在精度低、對光照敏感的缺點，為了克服以上缺點，我們實現(xiàn)了基于指導濾波立體匹配算法的雙目立體視覺測距系統(tǒng)。本系統(tǒng)首先實現(xiàn)了攝像機的標定，其次使用目前在 Middlebury Stereo benchmark Version2上排名第一的指導濾波立體匹配（Image-guided Stereo Matching）算法完成了立體匹配，最后通過計算得到的深度圖完成了測距功能。實驗表明，該測距系統(tǒng)比傳統(tǒng)的基于SAD的測距系統(tǒng)具有更高的精度和更強的魯棒性。

測距；立體視覺；指導濾波；立體匹配

目前在機器人自主導航方面，立體視覺的應用前景廣闊。相比于造價昂貴的激光雷達，立體視覺的硬件成本僅為其五分之一左右；而相比于超聲波測距，立體視覺又有著較遠的測距距離。得益于高精度的立體匹配算法和的不斷提升的硬件運算速度，目前立體視覺已經(jīng)能在測量精度和實時性上滿足了特定場景下的需要，如在無人機障礙物躲避上已經(jīng)出現(xiàn)較為成熟的商業(yè)化產(chǎn)品[1]。

雙目立體視覺測距通過雙目攝像機同時拍攝的左右圖像對進行立體匹配，根據(jù)立體匹配得出的視差圖算出目標物體的距離[2]。立體匹配在整個測距系統(tǒng)中起著至關(guān)重要的作用，傳統(tǒng)的立體匹配算法如SAD雖然便于實時實現(xiàn)，但存在著視差圖精度低，易受光線影響等缺點，導致其并不能很好的滿足實際的測距需求。文中的立體匹配算法采用了最近提出的IGSM[3]算法保證了最終測距的高精度和對光照的魯棒性。

1 雙目立體視覺測距原理

文獻[4]的提出雙目橫向平行對準模式，即兩個攝像機成像平面處于同一平面并與光軸垂直，兩攝像機焦距相等，如圖1所示。

其中，P為空間中的一點，OR，OT分別為左右攝像機的焦點，xR，xT分別為P點投影在左右攝像機成像平面的P1，P2點的水平距離。

根據(jù)視差原理模型[5-7]結(jié)合相似三角形原理推導

圖1 平行雙目視覺模型

可知：

其中b為基線距離，f為焦距，d為視差值，Z為攝像機坐標系下的距離，注意f以像素為單位。

2 攝像機的標定

標定采用zhang[8]基于棋盤格的相機標定方法，標定模板是角點數(shù)為的棋盤，棋盤格大小為16cm×16cm。為了取得比較好的相機標定效果，一般采集10～20組圖片，為此我們采集了16組大小為384×512的圖片并使用Opencv[9]進行標定,標定過程如圖2至圖3所示。

圖2 待標定的圖像

圖3 標定后的圖片

標定的參數(shù)結(jié)果如下：

其中Ml和Mr是左右相機的內(nèi)參數(shù)，R是左右相機的旋轉(zhuǎn)矩陣，T是左右相機的平移矩陣，Dl和DR是左右相機的畸變參數(shù)。

3 立體匹配算法

D.Scharstein[10]等人將現(xiàn)有的立體匹配算法詳細比較后，將這一類的算法總結(jié)歸納為五大步驟：預處理、匹配代價計算、匹配代價聚合、視差計算、視差細化。其中每一個步驟中均可以采用不同的方法實現(xiàn)。

指導濾波立體匹配（IGSM）算法[3]屬于立體匹配中局部方法的一種，相較于傳統(tǒng)的立體匹配算法，有著較高的精度和較強的魯棒性，能在多種場景下得到精確的視差圖，現(xiàn)將其流程圖介紹如下：

圖4 指導濾波算法流程圖

在IGSM算法中，預處理步驟采用最近提出的指導濾波算法[11]，指導濾波算法可以平滑原圖像中同質(zhì)性區(qū)域和噪聲點，從而使得到的視差圖有更好的連續(xù)性，更重要的是指導濾波能夠有效的保持原圖像的強邊界，從而消除由于濾波帶來的視差圖中物體邊緣模糊的不利影響；

在匹配代價函數(shù)的構(gòu)造上，IGSM算法結(jié)合指導濾波[11]后的圖像梯度信息和AD-Census[12]，使其包括更豐富的梯度信息，并保留了AD-Census對光照有較強魯棒性的優(yōu)點，具體公式如下：

其中的α、β、ξ、ε均為歸一化的比例系數(shù)，取值從0到1。公式（10）表示截斷函數(shù)，對應到公式（9）共有4個不同的參數(shù)取值，具體的參數(shù)含義請參考文獻[3]。

匹配代價聚合使用指數(shù)步驟[13]，兼顧了運算效果和運算速度；

視差計算上直接采取贏者通吃的策略（Winner Take All），簡單的取極小值即可,如公式（11）所示:

最后的視差細化采用對異常視差點分類，有針對性的對異常點的視差值進行恢復,明顯的提升了視差圖的精度。

在實驗中該算法使用的參數(shù)列表如表1。

表1 參數(shù)數(shù)值

在不同的場景下，可以適當?shù)男薷纳鲜鰠?shù)。例如，在光照變化強烈的場景下可以適當增加β的數(shù)值，提高Census變換在匹配代價函數(shù)中的比重。

IGSM算法在Middlebury測試平臺[14]和KITTI[15]測試平臺均取得了較高的精度，具體結(jié)果請參考文獻[3]。其中Middlebury測試集主要為室內(nèi)場景，而KITTI測試集主要為真實街景，IGSM算法在兩種測試集上均取得了較好的結(jié)果，證明該算法可以適應不同場景需求，具有較強的魯棒性。

4 實驗結(jié)果與分析

本系統(tǒng)首先對攝像頭進行標定，得到攝像頭的內(nèi)外參數(shù)。該標定只進行一次可認為是離線初始化。通過得到的參數(shù)對攝像頭采集的左右圖像對進行立體矯正得到校正后的圖像對，校正后的圖像對經(jīng)過IGSM算法進行立體匹配即得到了視差圖，最后的視差圖通過公式（2）簡單計算即得到深度圖，即完成了整個測距過程。具體的流程圖如圖5。

圖5 測距系統(tǒng)流程圖

4.1 測距實驗結(jié)果

測距實驗使用的攝像機為 Grey Point的bumblebee2-xb3相機，軟件平臺為 Visual Studio 2010和matlab 2010b。

通過左右攝像頭采集實驗圖像如圖6所示。

圖6 左右攝像頭采集的圖像對

根據(jù)標定參數(shù)對實驗圖像進行立體矯正，結(jié)果如圖7所示。

圖7 立體矯正后的圖像對

采用IGSM算法對矯正后的圖像進行立體匹配，得到的視差圖如圖8所示，對視差圖進行三角變換得到的深度圖如圖9所示。

圖8 視差圖

圖9 深度圖

其中深度圖中的像素點的值即表示該點到攝像機的距離，實驗中視差的最大值dmax為110，基線距離b為24 cm，焦距f為389.8。

4.2 測距魯棒性和精度比較

Grey Point相機自帶的軟件平臺Triclops SDK能夠?qū)崟r輸出深度圖的結(jié)果，其采用的立體匹配算法為SAD。

圖10 Triclops實時輸出的深度圖

從上圖可以看出，Triclops實時輸出的深度圖在很多情況下都會出現(xiàn)大面積的空白區(qū)域，即無法進行正確匹配出視差值。原因在于SAD算法易受光照影響，而IGSM相比較而言就受光照影響較小，表現(xiàn)出了更強的魯棒性。

為了比較本系統(tǒng)和SAD測距系統(tǒng)的測量精度，采用激光測距儀的測量值作為實測距離，選取10個可靠的深度值點來比較兩種系統(tǒng)的測距精度。

從上表中可以明顯地看出IGSM算法測距精度要高于SAD算法的精度。

4.3 測距系統(tǒng)的耗時分析

在整個測距系統(tǒng)中，標定是離線一次性完成，立體矯正耗時是毫秒級別，計算量主要集中在立體匹配IGSM上，為了衡量了IGSM算法的計算效率，分別在matlab平臺和Visual Studio平臺下實現(xiàn)。在383×484大小的圖片，最大視差值為20情況下，VS版本的算法運行時間是10.8秒，而maltab下運行時間為132.3秒。VS版本計算速度比matlab快10倍。實現(xiàn)的硬件為Intel Core 2 Duo E8400，主頻3GHz，內(nèi)存3GB的臺式機。

5 結(jié) 論

文中對雙目立體視覺測距系統(tǒng)進行了理論研究與實驗驗證，證明了該測距系統(tǒng)的可靠性和高精度。

表2 測距實驗結(jié)果表

指導濾波立體匹配算法具有較強的魯棒性和較高的精度，能夠在多種場景下獲得較高精度的視差圖，這保證了后續(xù)測距的可靠性和高精度。

盡管IGSM算法優(yōu)勢明顯，但其相比較SAD算法而言，計算更為復雜，目前還不能獲得實時性的測距，但通過比對已經(jīng)能在GPU上能夠?qū)崟r實現(xiàn)的AD-Census[12]算法，IGSM的算法復雜度相對更低，如果采用GPU并行加速的話，IGSM算法也是可以達到實時性的計算效果。此外我們發(fā)現(xiàn)匹配代價函數(shù)中的比例系數(shù)需要結(jié)合不同的場景下微調(diào)才能取得較好的結(jié)果。因此，GPU并行化和比例系數(shù)的尋優(yōu)工作將是后續(xù)的研究方向。

[1]Zhou G，F(xiàn)ang N L，Tang N K，et al.Guidance:A visual sensing platform for robotic applications[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）.IEEE Computer Society，2015:9-14.

[2]章毓晉.圖像工程.下冊，圖像理解 [M].清華大學出版社，2012.

[3]Zhan Y，Gu Y，Huang K，et al.Accurate Imageguided Stereo Matching with Efficient MatchingCost and Disparity Refinement[J].IEEE Transactions on Circuits&Systems for Video Technology，2015:1-1.

[4]劉盼，王金海.基于平行雙目立體視覺的測距系統(tǒng)[J].計算機應用，2012，32（S2）:162-164.

[5]王琳，趙健康，夏軒，等.基于雙目立體視覺技術(shù)的橋梁裂縫測量系統(tǒng) [J].計算機應用，2015，35（3）:901-904.

[6]Hartley R，Zisserman A.Multiple view geometry in computer vision[M].Cambridge university press，2003.

[7]遲健男.視覺測量技術(shù) [M].機械工業(yè)出版社，2011.

[8]Zhang Z.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22（11）:1330-1334.

[9]張靜．OpenCV2計算機視覺編程手冊 ［M］．北京:科學出版社，2007．

[10]Scharstein D， SzeliskiR.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[C]//Stereo and Multi-Baseline Vision，2001.（SMBV 2001）.Proceedings.IEEE Workshop on.IEEE，2001:131-140.

[11]Kaiming H，Jian S，Xiaoou T.Guided image filtering[J].IEEE Transactions on Pattern Analysis &Machine Intelligence，2013，35（6）:1397-1409.

[12]Mei X，Sun X，Zhou M，et al.On building an accurate stereo matching system on graphics hardware[C]//Computer Vision Workshops（ICCV Workshops），2011 IEEE International Conference on. IEEE，2011:467-474.

[13]Yu W,Chen T,Hoe J C.Real Time Stereo Vision Using Exponential Step Cost Aggregation On GPU [C]//2009 16th IEEE International Conference on.Image Processing（ICIP），2009:4281-4284.

[14]Scharstein D， SzeliskiR.Middlebury stereo evaluation.2010.[EB/OL].http://vision.middlebury. edu/stereo/eval/.

[15]Geiger A，Lenz P，Urtasun R.Are we ready for autonomous driving the kitti vision benchmark suite.in Proc.IEEE Conf.CVPR 2012.IEEE,June 2012，pp.3354-3361.[EB/OL].http://www.cvlibs. net/datasets/kitti/.

Distance measurement system based on image-guided Stereo Matching algorithm

XU Yang，ZHAN Yun-long，LIU Zhao，ZHAO Lu-yang
（Key Laboratory of Wireless Sensor Network&Communication,Shanghai Institute of Microsystem and Information Technology，CAS，Shanghai 200050，China）

Traditional distance measurement system based on SAD stereo matching algorithm has low precision and is sensitive to light.To overcome those shortcomings,parallel binocular stereo vision distance measurement system based on Image-guided Stereo Matching algorithm was built.Calibration were accomplished at first.The stereo matching was accomplished by using Image-guided Stereo Matching （IGSM）algorithm which ranks 1st on Middlebury Stereo benchmark Version2.Distance measurement was completed by obtaining depth map at last.The experiment show the higher accuracy and stronger robustness of the method compared to the traditional distance measurement system based on SAD algorithm.

distance measurement；stereo vision；image-guided；stereo matching

TN919.82

：A

：1674－6236（2017）01-0031-05

2016-12-25稿件編號：201512258

徐 楊（1990—），男，河南信陽人，碩士研究生。研究方向：立體匹配、三維重建。