李 亮,李鋒林
(西安艾索信息技術(shù)有限公司,陜西 西安 70065)
智能車輛導(dǎo)航中障礙物檢測方法研究
李 亮,李鋒林
(西安艾索信息技術(shù)有限公司,陜西 西安 70065)
隨著智能車輛技術(shù)的發(fā)展,如何檢測障礙物成為了智能車進(jìn)行自主導(dǎo)航的關(guān)鍵。文中介紹了基于視覺和激光雷達(dá)檢測障礙物的方法,從而解決了車輛的自主導(dǎo)航問題。討論了視覺法和雷達(dá)法在各自領(lǐng)域中檢測道路障礙物的方法,分析了各種研究方向的優(yōu)缺點(diǎn),并指出未來通過多傳感器數(shù)據(jù)融合進(jìn)行障礙物檢測將是重點(diǎn)和難點(diǎn)。
障礙物檢測;視覺;激光雷達(dá)
車輛行駛道路上的障礙物檢測作為智能車輛周邊環(huán)境感知技術(shù)研究領(lǐng)域中的重要組成部分,得到了廣泛的研究。在移動(dòng)機(jī)器人導(dǎo)航技術(shù)中,目前對障礙物的定義一般主要分兩種情況:一種是在比較平坦的地面上的情況下,如室內(nèi)地板或高速道路上,障礙物被定義為高出或低于地面的且大于一定尺寸的物體;另一種是在非結(jié)構(gòu)化道路或越野等情況下,障礙物被定義為大于一個(gè)極限坡度,移動(dòng)機(jī)器人無法逾越的區(qū)域。從理論上講,障礙物是機(jī)器人在行進(jìn)過程中隨機(jī)出現(xiàn)的,形狀不可預(yù)測的物體;從直覺上講,任何在機(jī)器人行進(jìn)方向上形成一定阻礙作用的物體都可以稱為障礙物。本文將以車輛上裝載的傳感器的類別進(jìn)行分類,來闡述智能車輛檢測障礙物的方法。這些方法主要是基于視覺和激光雷達(dá)實(shí)現(xiàn)障礙物的檢測。
視覺作為人類重要的獲取信息的渠道,也是智能車輛信息獲取的主要途徑?;谝曈X的障礙物檢測方法可分為采用單目視覺,雙目立體視覺及三目立體視覺或多目視覺的障礙物檢測方法。
1.1 基于單目視覺的障礙物檢測
單目視覺實(shí)現(xiàn)障礙物檢測實(shí)質(zhì)是利用單目攝像機(jī)的運(yùn)動(dòng)信息從二維圖像中恢復(fù)場景深度信息?;谔卣鞯姆椒ㄊ菃文恳曈X障礙物檢測的一種主要方法,其中障礙物通常定義為與地面具有不同特征的物體。一般將圖像像素點(diǎn)歸類為前景(障礙)或背景(路面),實(shí)質(zhì)上將障礙物檢測轉(zhuǎn)換為分類和分割問題。Ulrich 等人使用顏色特征計(jì)算每一個(gè)像素點(diǎn),將與地面顏色特征不同的像素點(diǎn)劃分為障礙[1]。Bhoite 等人使用基于邊緣的分割方法實(shí)現(xiàn)障礙物檢測。首先應(yīng)用Canny算子進(jìn)行邊緣提取,然后通過膨脹和腐蝕處理消除陰影等造成的虛假邊緣,最后得到的封閉輪廓即對應(yīng)障礙物[2]。Xia等人提出一種新的函數(shù)將圖像二值化,隨后通過跟蹤外輪廓獲取障礙物區(qū)域[3]。Jamal等人在提取出地平面以后,利用成像平面與地平面之間映射變換矩陣的單應(yīng)性原則進(jìn)行障礙物檢測[4]。
1.2 基于立體視覺的障礙物檢測
基于立體視覺的障礙物檢測一般步驟:首先使用兩個(gè)或多個(gè)攝像機(jī)從不同視角同時(shí)獲取場景圖像;然后通過圖像匹配發(fā)現(xiàn)障礙物并得到圖像間的視差;最后根據(jù)障礙物在圖像中的位置、視差以及攝像機(jī)標(biāo)定參數(shù)計(jì)算出障礙物的實(shí)際距離。該類方法中最復(fù)雜、最耗時(shí)的部分就是圖像間的匹配。由于障礙物檢測的實(shí)時(shí)性要求,經(jīng)典的逐像素匹配算法很難勝任。大多數(shù)道路跟蹤系統(tǒng)中采用了基于特征的圖像匹配,其中常見的是利用圖像中的垂直邊界[5]進(jìn)行匹配。另外,也有系統(tǒng)采用逐步求精的方法,先在各個(gè)圖像中單獨(dú)檢測障礙物的大概位置,然后再對上一步中粗略確定的障礙物區(qū)域進(jìn)行匹配和求精。這樣,可以縮小待匹配區(qū)域,減少匹配時(shí)間[6]。匹配完成后,根據(jù)攝像機(jī)參數(shù)和視差方程計(jì)算出障礙物的實(shí)際距離。
匹配問題作為關(guān)鍵的技術(shù)突破口,前人做了大量的研究。Ruichek提出了利用Hopfield網(wǎng)絡(luò)實(shí)時(shí)障礙物檢測的立體匹配算法[7]。Dhond對大量立體匹配算法進(jìn)行了總結(jié),介紹了分級處理思想,并提出使用三目約束減少立體匹配的不確定性[8]。Faugeras對在非攝像機(jī)校正條件下立體視覺的研究進(jìn)行了詳細(xì)綜述[9]。Kosehan對動(dòng)態(tài)立體和主動(dòng)立體、早期的遮擋和無紋理問題及實(shí)時(shí)立體視覺實(shí)現(xiàn)進(jìn)行了總結(jié)與探討[10]。Scharstein對由兩幀圖像產(chǎn)生稠密視差的立體匹配算法進(jìn)行了詳細(xì)分類和評價(jià),提出現(xiàn)有立體匹配算法一般由4個(gè)相對獨(dú)立的模塊組成:匹配代價(jià)計(jì)算、代價(jià)/支持聚合、視差計(jì)算/最優(yōu)化以及視差校正,認(rèn)為當(dāng)前各種匹配算法是模塊相對變動(dòng)的結(jié)果[11]。Brown從幾何計(jì)算的角度概述了對應(yīng)點(diǎn)匹配算法,重點(diǎn)分析了遮擋問題的匹配解決方法,并論述了典型應(yīng)用中實(shí)時(shí)立體視覺的實(shí)際平臺(tái)[12]。也有一類基于立體視覺的障礙物檢測方法不直接進(jìn)行左右圖像的匹配,而是根據(jù)攝像機(jī)標(biāo)定參數(shù),將左右圖像先投影到同一個(gè)坐標(biāo)系下,利用投影后左右圖像之間的差別來檢測障礙物[13]。
采用立體視覺來進(jìn)行環(huán)境的距離感知和障礙物檢測是一種前途的方法,但目前還有許多問題需要解決,可以考慮多種匹配方法融合來解決單一匹配方法的局限性,通過優(yōu)化算法降低計(jì)算復(fù)雜度,充分挖掘人工智能算法的發(fā)展空間,主要是研究視差像素點(diǎn)匹配的新方法,既要有較好的魯棒性,又不能有過大的計(jì)算量,因此,采用立體視覺技術(shù)進(jìn)行車輛周邊的環(huán)境感知仍需要繼續(xù)深入研究。
根據(jù)掃描機(jī)構(gòu)的不同,激光雷達(dá)有二維掃描和三維掃描兩種。它們大部分都是靠一個(gè)旋轉(zhuǎn)的反射鏡將激光發(fā)射出去。并通過測量發(fā)射光和物體表面的反射光之間的時(shí)間差來測距。激光雷達(dá)具有波束窄、波長短、分辨力高等獨(dú)特優(yōu)點(diǎn),可以獲取目標(biāo)的多種信息,如反射特性、距離信息、速度信息等,此外還能適應(yīng)惡劣天氣條件。因此,激光雷達(dá)被廣泛應(yīng)用于移動(dòng)機(jī)器人、智能車輛自主導(dǎo)航、自動(dòng)化生產(chǎn)等研究領(lǐng)域[14]。利用激光雷達(dá)檢測障礙物的方法主要分為兩種:基于特征的和基于網(wǎng)格?;谔卣鞯姆椒ㄓ妙A(yù)定義的幾何特征表示原始數(shù)據(jù),而基于網(wǎng)格的方法用網(wǎng)格分布圖像表示障礙物,而足夠高分辨率的網(wǎng)格圖像可以表示復(fù)雜的障礙物,但分辨率越高計(jì)算復(fù)雜度越高也需要更多的內(nèi)存[15]。
2.1 基于二維激光雷達(dá)的障礙物檢測
同三維激光測距雷達(dá)相比,二維激光測距雷達(dá)只在一個(gè)平面上掃描,結(jié)構(gòu)簡單,測距速度快、系統(tǒng)穩(wěn)定可靠。目前二維激光測距雷達(dá)主要應(yīng)用在室內(nèi)的結(jié)構(gòu)化環(huán)境下,如環(huán)境地圖生成,機(jī)器人自定位,障礙物檢測等等,吉林大學(xué)的李斌博士曾成功的應(yīng)用二維激光測距雷達(dá)進(jìn)行高速公路上的前方車輛目標(biāo)檢測[16],他還將激光雷達(dá)與視覺CCD兩種傳感器進(jìn)行信息融合,有效克服了單一傳感器數(shù)據(jù)可信度較低的缺點(diǎn),顯著提高了前方車輛目標(biāo)檢測的可靠性。
然而,若將二維激光測距雷達(dá)應(yīng)用于野外環(huán)境下自主車的障礙檢測,因?yàn)樵揭暗匦螐?fù)雜。高低不平,由此引起車體行駛時(shí)的劇烈顛簸,且二維激光測距雷達(dá)只能是單線掃描,會(huì)出現(xiàn)比較嚴(yán)重的障礙物漏檢和虛報(bào)現(xiàn)象。針對該種情況,浙江大學(xué)項(xiàng)志宇博士設(shè)計(jì)了兩個(gè)二維激光雷達(dá)的障礙檢測系統(tǒng),并提出了基于多傳感器數(shù)據(jù)融合的障礙檢測方法[17]。周波等采用基于2-D掃描激光測距儀的移動(dòng)機(jī)器人,實(shí)現(xiàn)了非結(jié)構(gòu)環(huán)境下的移動(dòng)機(jī)器人感知,該系統(tǒng)可對地形平坦性進(jìn)行分析和判斷移動(dòng)機(jī)器人的可行區(qū)域與障礙區(qū)域[18]。蔡自興等人提出了一種基于2D激光雷達(dá)的移動(dòng)機(jī)器人在未知環(huán)境下實(shí)時(shí)檢測動(dòng)態(tài)障礙物的方法[19]。
2.2 基于三維激光雷達(dá)的障礙物檢測
在室外移動(dòng)機(jī)器人導(dǎo)航中三維激光應(yīng)用較多,主要用于障礙物檢測、路標(biāo)檢測及地圖匹配和越野行駛時(shí)建立地形圖。在障礙物檢測應(yīng)用中,一般的處理方法是根據(jù)已知傳感器的位置轉(zhuǎn)化成高度圖,然后根據(jù)高度的突變就可以檢測出障礙物。很多三維激光雷達(dá)除了提供距離信息外,還提供激光的反射強(qiáng)度信息,因此也有用強(qiáng)度圖進(jìn)行障礙物檢測的例子[20]。也有不少學(xué)者選用其他算法識(shí)別障礙物,F(xiàn)elipe 等人提供了一種快速的三維激光障礙物識(shí)別算法:依據(jù)障礙物的定義將三維點(diǎn)云分為兩類,第一類點(diǎn)垂直成一條線,可以從不同視角正確匹配且容易被提取出來,如樹干、墻、坑以及一些人造路標(biāo)等;第二類點(diǎn)與地面無直接關(guān)聯(lián),如樹枝、屋頂?shù)鹊葘深慄c(diǎn)用不同顏色加以標(biāo)識(shí)即可識(shí)別相應(yīng)障礙物[21]。
在機(jī)器人的研究領(lǐng)域中,攝像機(jī)與激光雷達(dá)是機(jī)器人上主要的傳感器。攝像機(jī)提供的色彩信息與激光雷達(dá)提供的距離信息具有很強(qiáng)的互補(bǔ)性,因此融合兩者的信息成為當(dāng)今的研究熱點(diǎn)。如何協(xié)調(diào)不同傳感器之間的工作。在不同層次上對多傳感器數(shù)據(jù)進(jìn)行融合,是確保戶外移動(dòng)機(jī)器人高效穩(wěn)定工作的關(guān)鍵。立體視覺系統(tǒng)可以獲取高分辨率彩色圖像,但是需要通過算法獲得距離信息才能產(chǎn)生三維點(diǎn)云。增加了計(jì)算負(fù)荷,限制了距離估計(jì)的準(zhǔn)確度,且系統(tǒng)嚴(yán)重依賴合適的輸入數(shù)據(jù),在一些對比度低、缺少紋理特征的圖像中,立體匹配可能失敗。雷達(dá)、激光測距儀等距離傳感器可以快速獲得準(zhǔn)確的三維點(diǎn)云,可以考慮綜合使用這些距離傳感器和視覺傳感器。通過信息融合進(jìn)行可通行區(qū)域識(shí)別。此外,利用混合視覺系統(tǒng)進(jìn)行可通行區(qū)域識(shí)別也是一個(gè)好的思路??梢曰谌蛞曈X進(jìn)行遠(yuǎn)距離大范圍可通行區(qū)域識(shí)別,利用雙目立體視覺檢驗(yàn)上述分類結(jié)果是否正確;或者用雙目立體視覺的識(shí)別結(jié)果指導(dǎo)基于單目視覺或者全向視覺的可通行區(qū)域分類,實(shí)現(xiàn)一種由近及遠(yuǎn)的機(jī)器人自監(jiān)督學(xué)習(xí)技術(shù)[22]。
基于任何一種測距技術(shù)的障礙物檢測方法都有其優(yōu)點(diǎn)和缺點(diǎn),自主車的障礙物檢測目前還沒有一種令大家都感到滿意的解決方案。體視測障是目前的研究熱點(diǎn)之一,但它的匹配問題始終未能得到滿意的解決。結(jié)構(gòu)光方法在室內(nèi)三維目標(biāo)重建中已經(jīng)有很多應(yīng)用,但在野外環(huán)境感知方面介入仍較少。雖然三維激光雷達(dá)體積笨重,價(jià)格昂貴,但相對廉價(jià)的二維激光測距雷達(dá)的存在叉為機(jī)器人的距離感知和障礙物檢測多了一種良好的選擇。顏色信息雖然很少被引用到自主導(dǎo)航領(lǐng)域里來,但也為障礙物的檢測提供了一種有效的方法,拓寬了機(jī)器視覺在模式識(shí)別領(lǐng)域的應(yīng)用。綜上所述,任何一種有效的障礙物檢測系統(tǒng)不能只依靠單一傳感器進(jìn)行環(huán)境感知,正如司機(jī)駕駛車輛時(shí)只使用眼睛或耳朵一樣,都不可能正確深入的獲得車輛周圍環(huán)境信息。因此,利用多種傳感器信息融合技術(shù)檢測智能車輛前方障礙物正獲得廣泛的應(yīng)用。多傳感器信息融合技術(shù)具有獲得信息量豐富、檢測魯棒性及正確率高、應(yīng)用范圍廣等諸多優(yōu)點(diǎn),也是將來環(huán)境感知技術(shù)研究重點(diǎn)與難點(diǎn)之一。
障礙物檢測是智能車輛研究領(lǐng)域中的研究熱點(diǎn),是環(huán)境感知研究中的重要內(nèi)容。任何一種智能移動(dòng)平臺(tái),要實(shí)現(xiàn)其在未知環(huán)境下的自主導(dǎo)航,都必須以有效而可靠的環(huán)境感知為基礎(chǔ)。
[1] Ulrich I, Nourbakhsh I. Appearance-based obstacle detection with monocular color vision[C].Grace:AAAI/IAAI,2000.
[2] Bhoite A,Beke N,Nanduri S,et al.Advanced situational awareness and obstacle detection using a monocular camera[C].New York:Image Processing Workshop (WNYIPW),2010.
[3] Xia Y,Huang M,Guo L,et al.Obstacle segmentation approach in ALV navigation[J].Computer Engineering and Design,2009(7):75-92.
[4] Jamal A,Mishra P,Rakshit S,et al.Real-time ground plane segmentation and obstacle detection for mobile robot navigation[C].London:International Conference on Emerging Trends in Robotics and Communication Technologies (INTERACT),IEEE,2010.
[5] Kastrinaki V,Zervakis M,Kalaitzakis K.A survey of video processing techniques for traffic applications[J].Image and Vision Computing,2003,21(4):359-381.
[6] Xie Ming.Matching free stereovision for detecting obstacles on a ground plane[J].Machine Visiol Application,1996(9):58-65.
[7] Ruichek Y,Issa H,Postaire J G,et al.Towards real-time obstacle detection using a hierarchical decomposition methodology for stereo matching with a genetic algorithm[C].Istanbul:16th IEEE International Conference on Tools with Artificial Intelligence (ICTAI 2004),2004.
[8] Dhond U R,Aggarwal J K.Structure from stereo-a review[J].IEEE Transactions on Systems, Man and Cybernetics,1989,19(6):1489-1510.
[9] Faugeras O D.What can be seen in three dimensions with an uncalibrated stereo rig[C].Berlin Heidelberg:Computer Vision—ECCV'92,Springer,1992.
[10] Koschan A.What is new in computational stereo since 1989: a survey on current stereo papers[M].Fachbereich,Informatik:Technische University Berlin,1993.
[11] Scharstein D,Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal of Computer Vision,2002,47(1-3):7-42.
[12] Brown M Z, Burschka D, Hager G D.Advances in computational stereo[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(8):993-1008.
[13] 孫振平,安向京,賀漢根,等.CITAVT-IV—視覺導(dǎo)航的自主車[J].機(jī)器人,2002,24(2):115-121.
[14] 呂冰,鐘若飛,王嘉楠,等.車載移動(dòng)激光掃描測量產(chǎn)品綜述[J].測繪與空間地理信息,2012(6):184-187,195.
[15] Han J,Kim D,Lee M,et al.Enhanced road boundary and obstacle detection using a downward-looking LIDAR Sensor[J].IEEE Transactions on Vehicular Technology,2012,61(3):971-985.
[16] 李斌.智能車輛前方車輛探測及安全距離控制方法的研究[D].長春:吉林大學(xué),2002.
[17] 項(xiàng)志宇.針對越野自主導(dǎo)航的障礙物檢測系統(tǒng)[J].東南大學(xué)學(xué)報(bào):自然科學(xué)版,2006,35(A02):71-74.
[18] 周波,戴先中,韓建達(dá).基于激光掃描的移動(dòng)機(jī)器人3D室外環(huán)境實(shí)時(shí)建模[J].機(jī)器人,2012(3):321-328,336.
[19] 蔡自興,肖正,于金霞.基于激光雷達(dá)的動(dòng)態(tài)障礙物實(shí)時(shí)檢測[J].控制工程,2008(2):200-203.
[20] Hancock J A.Laser intensity-based obstacle detection and tracking[M].Carnegie:Carnegie Mellon University,1999.
[21] Felipe Jiménez,Jose Eugenio Naranjo.Improving the obstacle detection and identification algorithms of a laserscanner-based collision avoidance system[J].Transportation Research: Emerging Technologies,2011,19C(4):658-672.
[22] Hadsell R,Sermanet P,Ben J,et al.Online learning for offroad robots: Using spatial label propagation to learn long-range traversability[C].Norweland:Proceeding of Robotics: Science and Systems (RSS),2008.
Research on Obstacle Detection Method in Intelligent Vehicle Navigation
LI Liang,LI Fenglin
(R&D,Xi’an iTHOR Information Technology CO.,LTD,Xi’an 710065,China)
With the development of the smart car technology, the obstacle detection is becoming a very critical part of the smart car for autonomous navigation. Some research based on visual and laser radar are introduced in this paper to resolve this difficult problem. Reviewing the advantage and disadvantage of these researches, this paper points out that future multi-sensor data fusion for obstacle detection will be the focus and difficulty.
obstacle detection;vision;laser radar
2017- 03- 01
李亮(1982-),男,碩士。研究方向:信號與信息處理。李鋒林(1983-),男,博士。研究方向:信號與信息處理。
10.16180/j.cnki.issn1007-7820.2017.09.044
TN958.98;TP274+.5
A
1007-7820(2017)09-162-04