智凱旋　王峰　揭云飛　熊超偉　李學(xué)易

摘要：本文對基于視覺的車載組合導(dǎo)航系統(tǒng)進行了綜述。首先闡述了融合視覺之前的車載組合導(dǎo)航系統(tǒng)的研究背景以及該研究方向，然后分析了融合視覺的三種組合導(dǎo)航的發(fā)展過程及研究現(xiàn)狀。最后總結(jié)全文，并展望了隨著計算機技術(shù)的飛速發(fā)展基于視覺的車載組合導(dǎo)航系統(tǒng)的研究方向。

關(guān)鍵詞：自動駕駛；視覺導(dǎo)航；慣性導(dǎo)航；衛(wèi)星導(dǎo)航；組合導(dǎo)航；濾波優(yōu)化

中圖分類號：：v249.32+8 文獻標(biāo)識碼：A 文章編號：1009-3044（2018）19-0229-03

1 引言

隨著科學(xué)技術(shù)的發(fā)展，車載導(dǎo)航已成為人們生活出行的必需品，尤其全球定位系統(tǒng)和慣性導(dǎo)航系統(tǒng)的組合具有較高的導(dǎo)航性能，得到了廣泛的應(yīng)用。但傳統(tǒng)的組合導(dǎo)航系統(tǒng)仍然存在著不足之處，導(dǎo)致定位精度的降低，尤其是在特殊環(huán)境下，比如在GPS信號不佳時會產(chǎn)生定位誤差。

近幾年來計算機視覺技術(shù)迅速發(fā)展，計算機視覺應(yīng)用的領(lǐng)域越來越廣泛，越來越多的組合導(dǎo)航系統(tǒng)也開始使用計算機視覺進行輔助。這極大地提高了組合導(dǎo)航的定位精度，并且在衛(wèi)星信號中斷等不利條件下保持組合導(dǎo)航的定位精確性。計算機視覺在組合導(dǎo)航的應(yīng)用及大地促進了自動駕駛技術(shù)的發(fā)展，如谷歌、特斯拉等公司都已成功進行無人自動駕駛的試驗，而計算機視覺在其中發(fā)揮關(guān)鍵性作用。

2 背景

GPS定位系統(tǒng)是當(dāng)前定位系統(tǒng)不可或缺的技術(shù)，最初用于軍事行動，慢慢發(fā)展到民用，可迅速定位用戶的位置及海拔高度。其主要由三部分組成，地面控制部分、空間部分以及用戶裝置部分。GPS定位系統(tǒng)定位相對而言精度高，但其更新頻率低，不能實時進行更新，且遇到多徑干擾時則會增加定位誤差。慣性導(dǎo)航系統(tǒng)通過檢測物體運動的加速度和旋轉(zhuǎn)運動而進行導(dǎo)航，其最大的特點是自主式導(dǎo)航，不依賴外部信息，也不向外界輻射信息。慣性導(dǎo)航在短時間內(nèi)可以提供穩(wěn)定的實時位置更新，但由于它的自主性，導(dǎo)致慣性導(dǎo)航的定位誤差隨時間的增長而逐漸增大。而GPS/INS組合導(dǎo)航則融合了各自導(dǎo)航系統(tǒng)的優(yōu)勢，彌補了各自導(dǎo)航定位的劣勢。擴展卡爾曼濾波是最典型的用于進行GPS/INS組合導(dǎo)航的方法。而在組合導(dǎo)航系統(tǒng)加入計算機視覺可以進一步提高導(dǎo)航的精確性，同時視覺傳感器還能在其他傳感器發(fā)生故障時保持組合導(dǎo)航系統(tǒng)的穩(wěn)定性。

3 視覺融合組合導(dǎo)航

相比較于其他傳感器，視覺傳感器成本較低，同樣可以滿足例如激光雷達等傳感器的感知要求，隨著近年來計算機處理能力的不斷提高，基于視覺傳感器的輔助導(dǎo)航更具有吸引力。

3.1 視覺/GPS組合導(dǎo)航系統(tǒng)

單獨使用GPS導(dǎo)航時會出現(xiàn)導(dǎo)航基準(zhǔn)線的誤差，所以融合了視覺的GPS導(dǎo)航可以通過提取當(dāng)前的特征信息，提高導(dǎo)航定位的精度。Francisco等人研究了一種使用視覺傳感器和GPS傳感器在稠密城市環(huán)境下進行車輛定位的方法，其中視覺系統(tǒng)用于捕獲視頻流，進而恢復(fù)環(huán)境，并通過來自每個圖像對的特征檢測，匹配與三角測量來進行車輛運動狀態(tài)的估計，同時GPS接收器周期性地獲得車輛方向和位置以調(diào)整視覺系統(tǒng)所估計的方向和位置[1]。Toulminet等研究的導(dǎo)航系統(tǒng)融合了單目相機、低成本的GPS和地圖數(shù)據(jù)來實現(xiàn)厘米級的定位精度，基于視覺的車道檢測模塊提供高精度定位的橫向空間信息，而基于視覺的交通標(biāo)志檢測模塊則可同時提供高精度定位的縱向和橫向空間信息[7]。陳艷等人構(gòu)建了一個基于GPS和視覺的組合導(dǎo)航定位系統(tǒng)，首先用GPS獲取車輛的位置信息、航向角與速度，而視覺系統(tǒng)則通過圖像處理獲得導(dǎo)航基準(zhǔn)線，然后通過無跡卡爾曼濾波器進行濾波，得到車輛更新的位置信息[2]。

3.2 視覺/慣性導(dǎo)航組合導(dǎo)航系統(tǒng)

視覺與慣性導(dǎo)航的組合導(dǎo)航具有很高的精確性，近些年來取得很大的進展，視覺可以為慣性導(dǎo)航系統(tǒng)的誤差補償信息，而慣性導(dǎo)航系統(tǒng)則彌補了視覺的實時性缺點。F.Mirzaei等人提出了一個擴展卡爾曼濾波器，用于精確確定攝像機與IMU之間的變換，明確說明了IMU測量的時間相關(guān)性，同時還為估算的轉(zhuǎn)換提供了品質(zhì)因數(shù)即協(xié)方差，該方法不需要除了校準(zhǔn)目標(biāo)（3D激光掃描儀等）之外的所有特殊硬件[3]。由于大部分的視覺單目方法都缺乏公制尺度，Weiss等人研究通過添加配備三軸加速度計和陀螺儀的慣性傳感器來解決這個問題，該方法獨立于估算相機姿態(tài)的基礎(chǔ)視覺算法，講慣性導(dǎo)航模塊和單目視覺分別作為獨立的模塊，再利用擴展卡爾曼濾波進行位置估計[4]。L.Kneip等人的研究將視覺利用濾波器融合到慣性導(dǎo)航上用于機器人在室外崎嶇地形的實時定位[5]。

3.3 視覺/慣性導(dǎo)航/GPS組合導(dǎo)航系統(tǒng)

當(dāng)前研究的更多的還是融合視覺、GPS和慣性導(dǎo)航的組合導(dǎo)航系統(tǒng)，該類導(dǎo)航系統(tǒng)進一步提高了定位的精度，各模塊間優(yōu)勢互補，彌補了單個導(dǎo)航模塊或兩個導(dǎo)航模塊的不足，適用于多種不利環(huán)境條件。MILLE等人的研究采用了PosteriorPose算法[16]，這本質(zhì)上是一種可以用于增強GPS和慣性導(dǎo)航解決方案的貝葉斯粒子濾波方法，該方法基于視覺測量附近的車道以及停靠線進而測量已知地圖的環(huán)境特征，測量研究結(jié)合了謹(jǐn)慎假設(shè)測試和誤差建模，以解決由基于視覺的檢測算法導(dǎo)致的非高斯錯誤[6]。G. Conte等人提出了用無源攝像機增強無人機（UAV）導(dǎo)航系統(tǒng)的可能性，為視覺應(yīng)用于組合導(dǎo)航系統(tǒng)提供了借鑒，此方法是一種基于視覺的組合導(dǎo)航，該組合將慣性傳感器，視覺測距和車載視頻融合到地球參考系的航拍圖像，能夠在無GPS的情況下為無人機自主導(dǎo)航提供高速率和無漂移狀態(tài)估計[8]。C.Cappelle等人提出了GPS/視覺輔助INS，其通過對位置、速度、航向和加速度的偏差估計用于二維運動模型，并通過圖像處理來獲得車輛的絕對位置和姿態(tài)矢量以校正INS的測量值[9]。L.Bai等人提出了一種基于視頻導(dǎo)航的傳感器融合框架，該類型的導(dǎo)航使車道線直接疊加到道路場景的視頻上，而不是像傳統(tǒng)導(dǎo)航系統(tǒng)那樣疊加在二維地圖上，然后用戶可以根據(jù)視頻中的標(biāo)志行進。此方法還使用GPS和地理信息系統(tǒng)（GIS）來提供關(guān)于視覺模塊道路的先驗信息，而視覺模塊則反過來校正GPS[10]。Wei等人使用立體視覺系統(tǒng)與GPS傳感器在密集城市環(huán)境中進行車輛定位，其中立體視覺系統(tǒng)用于捕獲視頻，并通過對每個圖像對的特征檢測、匹配以及三角測量來估計車輛的行進情況，并驗證了基于立體視覺的運動估計能在多徑等情況引起的GPS信號缺失情況下的位置估計校正[11]。周莉等人使用雙目視覺傳感器與GNSS定位系統(tǒng)來進行車輛的定位、車道線檢測以及規(guī)避障礙物的路徑規(guī)劃，接著利用卡爾曼濾波器融合了車輛的視覺定位坐標(biāo)系與GPS定位坐標(biāo)以進行矯正[12]。T. Chu等人研究了基于擴展卡爾曼濾波器的視覺/ IMU / GNSS組合導(dǎo)航系統(tǒng)，此組合導(dǎo)航使用在車輛在行進交通環(huán)境下收集的實時數(shù)據(jù)集來進行定位檢測，研究結(jié)果表明此組合導(dǎo)航在某些不利環(huán)境條件下于緊密耦合的GNSS / IMU組合導(dǎo)航系統(tǒng)[13]。A. Vu等人提出一種傳感器融合技術(shù)，使用計算機視覺和差分偽距全球定位系統(tǒng)進行測量，同時在不利環(huán)境下GPS信號不穩(wěn)定時輔以慣性導(dǎo)航系統(tǒng)。該技術(shù)利用先驗觀測的已知特征數(shù)據(jù)和衛(wèi)星的可觀測數(shù)據(jù)來校正使用擴展卡爾曼濾波器的慣性導(dǎo)航模塊[14]。Christopher Rose等人開發(fā)的導(dǎo)航系統(tǒng)利用基于視覺的特征測量值與基于航路點的地圖來輔助GPS/慣性導(dǎo)航組合導(dǎo)航系統(tǒng)，分析了各種不利環(huán)境對此導(dǎo)航系統(tǒng)的影響，證明了此導(dǎo)航系統(tǒng)的穩(wěn)定性[17]。T. Oskiper等人研究了了可以在室內(nèi)和室外操作的增強現(xiàn)實應(yīng)用的攝像機跟蹤系統(tǒng)，該系統(tǒng)用誤差狀態(tài)擴展卡爾曼濾波器（EKF）以緊密耦合的方式融合慣性導(dǎo)航系統(tǒng)和相機，使得每個視覺跟蹤特征都成為特征向量的一部分[15]。

4總結(jié)與展望

本文綜合概述了基于視覺的車載組合導(dǎo)航系統(tǒng)的應(yīng)用，該類組合系統(tǒng)是目前研究的前沿，由于基于激光雷達等傳感器的成本太高，基于視覺的傳感器模塊將逐漸取代激光雷達的功能。在理想條件下基于視覺的車載組合導(dǎo)航系統(tǒng)具有很好的實時性，穩(wěn)定性與魯棒性。在一些不利環(huán)境條件下依然可以維持導(dǎo)航定位的精度，但是在特殊情況下，例如樹木繁雜的地帶、雨天等惡劣天氣條件，定位精度會出現(xiàn)不同程度的偏差。并且視覺模塊對光的敏感度非常高，在夜晚等光照不利的情況下也會影響整個組合導(dǎo)航系統(tǒng)的穩(wěn)定性。綜合來看，隨著計算機技術(shù)的迅速發(fā)展，基于視覺的車載組合導(dǎo)航系統(tǒng)具有很高的應(yīng)用前景，未來會成為導(dǎo)航系統(tǒng)發(fā)展的主流，廣泛應(yīng)用于市場。

參考文獻：

[1] Francisco Rovira-Mas， Shufeng Han， Jiantao Wei. Fuzzy logic model for sensor fusion of machine vision and gps in autonomous navigation[C]//ASABE paper number051156， 2005.

[2] 陳艷，張漫，馬文強，等. 基于 GPS 和機器視覺的組合導(dǎo)航定位方法[J]. 農(nóng)業(yè)工程學(xué)報，2011，27（3）：126-130.

[3] F. Mirzaei， S. Roumeliotis. A Kalman filter-based algorithm for IMU-camera calibration[C]. Proceedings of the 2007 IEEE/RSJ International conference on Intelligent Robots and Systems， San Diego ， Ca ，USA， 2007：2427-2435.

[4] Weiss S， Siegwart R. Real-time metric state estimation for modular vision-inertial systems[C]// The Institute of Electrical and Electronic Engineers （IEEE）.Proceedings of 2011 International conference on Robotics and Automation. Shanghai， China ：IEEE，2011： 4531-4537.

[5] Kneip L， Weiss S， Siegwart R. Deterministic initialization of metric state estimation filters for loosely-couple monocular vison-inertial systems[C]//The Institute of Electrical and Engineers （IEEE）.Proceedings of 2011 International conference on Intelligent Robots and systems（IROS）. San Francisco ：IEEE，2011： 2235-2241.

[6] Miller I，Campbell M.Particle filtering for map-aided localization in sparse GPSenvironments[C].IEEE International Conference on Robotics and Automation.Pasadena， CA， USA， 2008：1834-1841.

[7] Li H， Nashashibi F， and Toulminet G. Localization for intelligent vehicle by fusingmono- camera， low-cost GPS and map data[C]// IEEE.Proceedings of International IEEE Annual Conference on Intelligent Transportation System. Funchal ：IEEE，2010： 1657-1662.

[8] Conte G， Doherty P. Vision-based unmanned aerial vehicle navigation using geo-referenced information[J]. EURASIP Journal on Advances in Signal Processing，2009， 1（1）：1-18.

[9] Cappelle C， Naijar M， and Pomorski D. Localization in urban environment using GPS and INS aided by monocular vision system and 3D geographical model[C]. IEEE. Proceedings of the 2007 IEEE Intelligent Vehicles Symposium Istanbul， Turkey， 2007： 811–816.

[10] Bai L and Wang Y. A sensor fusion framework using multiple particle filters for video-based navigation. IEEE.Transactions on Intelligent Transportation Systems，2010： 348-358.

[11] Wei Lijun，Cappelle C and Ruichek Y.GPS and stereovision-based visual odometry：application to urban scene mapping and intelligent vehicle localization[J].InternationalJournal of Vehicular Technology，2011.

[12] 周莉.基于GNSS與視覺的道路監(jiān)測與避障技術(shù)[D].成都：電子科技大學(xué)，2015：24-30.

[13] Chu T， Guo N，and Backen S.Monocular camera/IMU/GNSS integration for ground vehicle navigation in challenging GNSS environments[J].IEEE Senors，2012，12（3）：3162-3185.

[14] Vu A， Ramanandan A and Chen A.Real-time computer vision/DGPS-aided inertial navigation system for lane-level vehicle navigation[J].Intelligent Transportation Systems，IEEE，2012，13（2）：899-913.

[15] Oskiper T， Samarasekera S and Kumar R. Multi-sensor navigation algorithm using monocular camera， IMU and GPS for large scale augmented reality[C]//IEEE. IEEE International Symposium on Mixed and Augmented Reality（ISMAR）. Atlanta，USA，2012：71-80.

[16] Y. Bar-Shalom， X. Rong Li， and T. Kirubarajan， Estimation with Applications to Tracking and Navigation： Theory， Algorithms and Software[M] .New York： John Wiley & Sons， Inc.， 2001.

[17] Rose C， Britt J， and Allen J. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS[J]. IEEE Transaction on Intelligent Transportation Systems，2014，15（6）：2615-2629.