江燕華，熊光明，姜巖，龔建偉，陳慧巖

(北京理工大學(xué) 機械與車輛學(xué)院，北京100081)

0 引言

對智能車輛的自主導(dǎo)航來說，車輛在運動過程中的自定位能力非常重要。早期的車輛定位系統(tǒng)中常使用輪速編碼器來進行航跡推算。然而，輪速編碼器存在原理性的累積誤差，并且在某些特殊環(huán)境下(如土質(zhì)疏松、輪胎打滑等)會出現(xiàn)失誤，不能確保得到精確的車輛位置與姿態(tài)估計。

隨著計算機視覺技術(shù)的發(fā)展，視覺傳感器越來越多地被用來進行車輛的定位和運動估計。首先，視覺傳感器所提供的豐富的感知信息，既可以滿足車輛的自定位要求，又能夠同時為其他重要的任務(wù)提供信息，如目標檢測、避障等。其次，視覺傳感器相對其他傳感器來說成本較低，且體積小，在布置上更為靈活。另外，基于視覺的定位和運動估計還可以獨立于地形以及地形—輪胎接觸特性，如不受輪胎打滑的影響等［1］。因此，近年來大量研究者對車載視覺里程計技術(shù)進行了研究，也獲得了許多的成果。

1 視覺里程計的基本原理

視覺里程計是利用車載相機采集到的圖像信息來恢復(fù)車體本身的6 自由度運動，包括3 自由度的旋轉(zhuǎn)和3 自由度的平移。由于類似于里程計的航跡推算，這種基于圖像信息的自運動估計方法稱為視覺里程計技術(shù)。視覺里程計概念最早可以追溯到Moravec［2］和Matthies［3］，基本步驟包括特征提取、特征匹配、坐標變換和運動估計，當前大多數(shù)視覺里程計系統(tǒng)仍是基于此框架［4］。

與視覺里程計技術(shù)聯(lián)系非常緊密的2 個研究領(lǐng)域是形狀信息的運動復(fù)原(SFM)算法和視覺同步定位與地圖構(gòu)建(SLAM)算法。在視覺SLAM 問題中，需要同步實時估計相機本身的位置以及所檢測的路標的空間位置及其關(guān)聯(lián)，從而對其所處的環(huán)境進行地圖創(chuàng)建。早期的SLAM 算法需要依靠那些能夠獲得深度信息的傳感器，如激光雷達、聲納等，而近年來單純依靠機器視覺的V－SLAM 開始得到關(guān)注，如Eade、Davison 等人的單目視覺SLAM 算法［5－7］，其計算機制在性質(zhì)上與基于非線性濾波器的視覺里程計系統(tǒng)非常相似。

SFM 算法是從二維圖像數(shù)據(jù)中恢復(fù)3 維場景結(jié)構(gòu)以及相機本身的6 自由度運動的方法。在這里，相機提供的觀測量都是特征位置在相機坐標系下的二維投影，在經(jīng)典的視覺SLAM 的術(shù)語中，可以說SFM 的設(shè)備只提供了方位而沒有范圍。對于本文著重要介紹的兩幀視覺里程計，有研究者將其稱為基于SFM 技術(shù)的視覺里程計，可以視為不需要估計場景結(jié)構(gòu)的SFM 算法，或者簡化了的SFM 算法。所以此類視覺里程計算法的核心模塊大多來自經(jīng)典SFM 算法。

2 視覺里程計算法的分類

近10年來，車載視覺里程計技術(shù)已經(jīng)獲得了許多的研究成果。接下來從系統(tǒng)構(gòu)成的角度，包括所利用的視覺信息類型、相機數(shù)量、相機類型、計算框架、是否與其他傳感器融合等5 個方面對其進行分類，詳細介紹現(xiàn)有視覺里程計系統(tǒng)的研究進展。

2.1 離散方法與連續(xù)方法

從所利用的視覺信息的角度分類，視覺里程計技術(shù)主要有基于特征的離散處理方法和基于光流的連續(xù)處理方法。早期的研究主要是基于光流的，利用攝像機拍攝的時間序列圖像來估計光流。但它需要對圖像亮度恒定性作出很強的假設(shè)，即認為連續(xù)幀圖像亮度基本不發(fā)生改變，而在實際應(yīng)用中，由于遮擋性、多光源、透明性和噪聲等原因，無法滿足光流場的灰度守恒假設(shè)條件，不能求解出正確的光流場，同時大多數(shù)的光流方法相當復(fù)雜，計算量巨大。因此，近10年來的研究主要集中在基于特征的離散處理方法［8］。

2.2 單目視覺與雙目視覺

從使用的相機的個數(shù)來分類，視覺里程計可以分為單目視覺系統(tǒng)和立體視覺系統(tǒng)，其中立體視覺里程計絕大多數(shù)指的是雙目視覺。Badino 認為，在大部分情況下立體視覺的效果要優(yōu)于單目系統(tǒng)，最主要的原因在于，使用單目視覺會碰到的尺度歧義問題，采用立體視覺便不復(fù)存在［9］。Nistér 在其著名的視覺里程計系統(tǒng)［10］中也對單目視覺和雙目視覺的方案進行了比較，同樣指出采用雙目相機在尺度估計方面的優(yōu)勢，能避免艱難的相對姿態(tài)求解步驟，以及對運動退化的良好的抵抗能力。

根據(jù)現(xiàn)在的研究情況來看，采用單目視覺［5，11－13］和立體視覺［14－20］的方案各有其應(yīng)用的場合。但也有文章分析認為單純依靠視覺來進行相機姿態(tài)估計與運動復(fù)原來說，雙目立體視覺才是發(fā)展的趨勢［21］。

2.3 普通相機與全方位相機

從所使用的相機類型來看，視覺里程計又可分為普通相機系統(tǒng)與全方位相機系統(tǒng)。當前大部分算法采用的依然是提供有限視角范圍的普通相機。對普通相機來說，由于全局信息的缺乏，當相機姿態(tài)變化的幅度超出視野范圍時，很容易出現(xiàn)估計的斷檔和失效。倘若需要對較大幅度的位姿變換進行估計，采用全方位相機的優(yōu)點便凸顯出來。對于接近球面視野的全方位相機來說，特征可以在視野中存在更多時間，空間上的擴大也使得特征匹配的正確程度大大提高［12］。

Lee 采用全方位相機，在IEKF 計算框架下對相機的較大范圍的運動進行估計［22］。Corke 則提供了采用全方位相機時的光流方法與基于迭代擴散卡爾曼濾波(EKF)的算法2 種實現(xiàn)方案［13］。Tardif 采用全方位相機，結(jié)合SIFT 特征點與兩幀SFM 算法機制來實現(xiàn)相機運動的穩(wěn)定估計［12］。更多全方位相機在移動平臺運動估計中的應(yīng)用可以參考文獻［23］.然而，全方位相機視野的擴大是以犧牲分辨率為前提的，在需要精度非常高的應(yīng)用場合采用全方位相機的算法仍需改進。

2.4 兩幀方案與多幀方案

從恢復(fù)姿態(tài)所需要的圖像的幀數(shù)來分類，視覺里程計系統(tǒng)可以分為兩幀方案和多幀方案。其中多幀方案又依據(jù)計算方式可分為“批處理”方式和遞歸方式2 種。視覺里程計中的兩幀方案典型地來自SFM 算法，也就是利用連續(xù)兩幀圖像的特征信息，來求解位姿變換。經(jīng)典的視覺里程計系統(tǒng)大多基于這種計算框架［10，12，19，21，24－25］，將在第3 節(jié)詳細討論。

在多幀方案“批處理”算法中應(yīng)用最廣泛的是光束法平差［26］。全局的光束法平差算法是一種非常耗時的計算過程，其基本原理是迭代優(yōu)化相機姿態(tài)以及點的3 維坐標，從而獲得最小化所有幀的重投影誤差的最優(yōu)最小二乘解，包括Levenberg－Marquardt最小化來求非線性解、高斯牛頓法加梯度下降等都常常采用。光束法平差的計算結(jié)果精度非常高，但是計算效率非常低以致無法在實時系統(tǒng)中使用，最初只用于離線仿真和參數(shù)優(yōu)化等。直到Shum 提出了關(guān)鍵幀概念［27］，該方法才開始在實時系統(tǒng)中應(yīng)用。文獻［11，14，28］都用光束法平差來進行相機的姿態(tài)估計。但是關(guān)鍵幀的選擇，卻又成為該算法中的一個難題。因為如果兩個連續(xù)關(guān)鍵幀之間沒有足夠的相機運動，對極幾何的約束計算便會成為一個病態(tài)問題;如果兩關(guān)鍵幀之間間距過長，插值又不能產(chǎn)生精度足夠高的計算結(jié)果。Royer 的分層算法將一個大的圖像序列遞歸地進行分裂直至每個部分都只含有3 幀圖像，然后對每個3 元組用光束法平差進行計算，從而避免了關(guān)鍵幀的選擇問題［29］。

另外，光束法平差在眾多的兩幀算法系統(tǒng)中也得到了應(yīng)用［10，12，14，30－32］。這是由于兩幀算法是增量式計算姿態(tài)的方法，不可避免地會存在累積誤差，于是結(jié)合多幀方法來作精細化以減小累積誤差、增強魯棒性是一種很好的選擇。

多幀方案的遞歸算法，也就是采用非線性濾波器來對系統(tǒng)進行遞歸估計。與兩幀算法或光束法平差不同，多幀遞歸算法將非線性問題交給濾波器來作線性化逼近，其中最常用的是EKF 和無跡卡爾曼濾波(UKF)，前者利用高斯分布的特性進行精確的線性化［13，22－33］，后者則通過考慮高斯分布的無跡變換獲得更好的估計［18］。有研究者認為UKF 在處理非線性問題中雖然計算效率較低但效果要優(yōu)于EKF，因為對高斯分布UKF 接近于3 階精度而EKF僅接近1 階［34］。Kitt 采用迭代Sigma 點卡爾曼(ISPKF)濾波器，并指出與采用一階泰勒展開的傳統(tǒng)EKF 相比，基于Sigma 點均值和方差傳播的迭代優(yōu)化能夠獲得更佳的估計結(jié)果，且收斂速度要快60倍［18］。

在多幀遞歸方案中，一般基于卡爾曼濾波計算框架的系統(tǒng)都在特征匹配時作較強的約束，如極線限制等犧牲特征的數(shù)量來降低誤匹配的程度，從而跳過異常值的問題。但是遞歸方案的另一個難題是，特征會消失，也會有新的特征進入，如何為此來改變狀態(tài)量?Mclauchlan 首次提出了這個問題，并且相應(yīng)地采用了一種變狀態(tài)維數(shù)的濾波器［35］。Chiuso 則通過運行一個并行的“子濾波器”來應(yīng)對新進入的特征，其初始化則由主濾波器的估計得到［33］。Chius 還對采用EKF 計算框架的全局可觀測性、聯(lián)合可觀測性、最小實現(xiàn)以及數(shù)值穩(wěn)定性都進行了詳細的分析。

2.5 純視覺系統(tǒng)與混合系統(tǒng)

根據(jù)前文定義，僅僅依靠視覺信息輸入的里程計系統(tǒng)稱為純視覺系統(tǒng)。本文中提到的絕大部分算法都屬于純視覺系統(tǒng)。但是對于增量式的兩幀視覺里程計的累積誤差，除了2.4 節(jié)提到的光束法平差，也可以采用能提供全局定位信息的全球定位系統(tǒng)(GPS)［36］，或能夠提供短期精度高的高頻數(shù)據(jù)的慣性導(dǎo)航元件(IMU)［31，37－38］等來改進系統(tǒng)性能。這種依靠其他傳感器來輔助視覺進行定位導(dǎo)航的系統(tǒng)本文稱為混合系統(tǒng)，它們大都是基于非線性濾波器，如EKF、UKF 等的數(shù)據(jù)融合機制。其中又以相機－IMU 的融合系統(tǒng)應(yīng)用最為廣泛。然而引入附加傳感器的做法可能會帶來新的問題，如多傳感器間位置關(guān)系的精確標定、正確的數(shù)據(jù)融合等，仍需要進一步的研究。

3 兩幀視覺里程計算法中的關(guān)鍵問題

如在第2 節(jié)中提到的，經(jīng)典的視覺里程計系統(tǒng)大多基于兩幀計算框架，于是在此作詳細介紹。兩幀視覺里程計算法的核心算法模塊一般包括特征的選擇與匹配，以及基于所選擇的特征集合的魯棒運動估計。其中魯棒運動估計又由從噪聲數(shù)據(jù)中選擇內(nèi)數(shù)據(jù)和依據(jù)理想數(shù)據(jù)求解方位2 個部分組成。接下來對這些步驟的現(xiàn)有技術(shù)狀況進行分析與討論。

3.1 特征的選擇與匹配

視覺里程計的關(guān)鍵工作之一，就是得到一些穩(wěn)定魯棒的特征。用于恢復(fù)相機位姿的特征應(yīng)當具有良好的光度不變性和幾何不變性［39］。前者是指當2 個視角有較大的光線變化時，從對應(yīng)兩幀圖像所檢測到的特征依然對應(yīng)相同的3 維世界坐標系點。后者則表示特征在任何投影變換后性質(zhì)不發(fā)生改變，例如投影變換后的點還是點，直線還是直線。這種幾何不變性可以說是基于特征的位姿恢復(fù)算法的重要基礎(chǔ)。

點特征、線特征［40］、曲線(輪廓)特征［41］都可以用于解算2 個視角之間的幾何變換關(guān)系。其中Harris 角點和尺度不變特征變換(SIFT)特征點得到了最為廣泛的應(yīng)用。Schmid 證明了Harris 角點在較大范圍的光度變化和幾何變換中能夠保持良好的不變性，也證明了它在信息豐富度方面的表現(xiàn)非常優(yōu)秀［42］。許多基于視覺的位姿估計系統(tǒng)都采用了Harris 角點或其改進版本(FAST 角點等)作為其特征檢測的對象［4，11，14，19－20，28］。

不過，倘若場景中存在成簇的或是重復(fù)的紋理特征時，角點可能會失效，并不是因為它們不具備良好的判別能力，而是在匹配時容易產(chǎn)生誤匹配。Parra 證明了Harris 角點的這一缺陷，并認為SIFT特征更適合應(yīng)用在視覺姿態(tài)恢復(fù)系統(tǒng)中［24］。SIFT特征點對圖像的平移變換、尺度變換、旋轉(zhuǎn)變換，一定程度的光照變化、仿射變換或三維投影變換都具有良好的不變性［43］。近來也有許多研究者在他們的系統(tǒng)中采用了SIFT 特征［12，24－25，44］。但是，SIFT特征點的缺點主要在于計算復(fù)雜，效率低下，Howard證明在他的系統(tǒng)中，用角點的處理時間比用SIFT 特征點少了一個數(shù)量級［19］。所以，SIFT 特征點更適合于應(yīng)用在那些對系統(tǒng)頻率要求不高的場合。

除了Harris 角點和SIFT 特征之外，應(yīng)用較多的特征 還 有Shi－Tomasi 特 征 點［7，16］，加 速 魯 棒 特 征(SURF)［45－46］等。

特征檢測完成之后，需要對連續(xù)幀的特征進行匹配來生成可以用于估計姿態(tài)的特征集。最簡單常用的匹配方案是絕對誤差和(SAD)［19，47］和零均值歸一化互相關(guān)(ZMNCC)［11，17，20，24］。在大部分情況下，前者的效率更高而后者的魯棒性更佳。Nistér采用歸一化互相關(guān)與相互一致性檢驗方法來獲得理想的特征匹配效果［10］。當然，不同的特征檢測對應(yīng)不同的特征匹配方法，如Gordon 提出對SIFT 特征點來說最合適的匹配方法是最鄰近算法［48］?？紤]到特征數(shù)量一般都非常多，直接搜索最鄰近匹配需要大量的計算時間，Parra 用一種基于k－d 樹搜索的Best－Bin－First 算法來為所有的特征點尋找其最佳匹配，能比直接搜索節(jié)省近95%的時間［24］。

3.2 基于噪聲數(shù)據(jù)的內(nèi)數(shù)據(jù)提取

在實際中，由特征檢測與匹配得到的特征數(shù)量遠大于求解的需要。并且由于不可避免的誤差，得到的特征集合實際是一個噪聲數(shù)據(jù)集。傳統(tǒng)的方法是利用所有點做全局直接最小二乘或是更魯棒的加權(quán)最小二乘［49］來求解此超定方程，沒有任何拋棄誤匹配數(shù)據(jù)的機制。如今，基于統(tǒng)計學(xué)的假設(shè)－驗證結(jié)構(gòu)算法能夠從這樣的噪聲數(shù)據(jù)中尋找正確的內(nèi)數(shù)據(jù)，正逐漸成為解決該問題的通用方法［50］，其中最常用的就是隨機采樣一致性(RANSAC)算法。

RANSAC 算法首先從全部的觀測數(shù)據(jù)中選擇一定數(shù)量的隨機集合，然后用每一個隨機小特征集進行求解，此前的步驟稱為假設(shè)生成;最后在全部的觀測數(shù)據(jù)上驗證，通過某種函數(shù)形式計分，分最高者作為最終結(jié)果［51］。Nistér 專門對計分函數(shù)進行了分析，證明它應(yīng)是一個計算重投影誤差的魯棒的似然函數(shù)或貝葉斯代價函數(shù)，而非簡單的計數(shù)［52］。Scaramuzza 分析了假設(shè)生成所需要的最少特征數(shù)與其能得到正確解的迭代次數(shù)之間的關(guān)系，證明最少特征數(shù)越小，迭代次數(shù)也越少，即算法效率越高。為此，他還提出了基于Ackermann 轉(zhuǎn)向模型的單點RANSAC 算法，使其在保證成功率99%和數(shù)據(jù)異常值比率50%的條件下，平均只需要迭代7 次便能得到理想結(jié)果［53－54］。

與剔除異常值相對應(yīng)的另一種獲得理想特征集的思路是直接用基于最大團的方法檢測內(nèi)數(shù)據(jù)。Hirschmüller 用歐氏距離約束來選擇那些內(nèi)數(shù)據(jù)［15］。Howard［19］采用了與Hirschmüller 相同的算法，并證明它在整體數(shù)據(jù)集包含90%異常值的情況下依然能夠獲得理想的內(nèi)數(shù)據(jù)集。

3.3 從理想數(shù)據(jù)集中求解方位

從特征點集計算姿態(tài)的問題根據(jù)2 個視角的數(shù)據(jù)坐標性質(zhì)來說包括2 類:1)絕對定向問題，即2 個數(shù)據(jù)點集分別是一個視角的二維圖像坐標和另一個視角的三維世界坐標;2)相對定向問題，即2 個數(shù)據(jù)點集分別是2 個視角的二維圖像坐標。

絕對定向問題和相對定向問題都有最小集直接方法和非最小集方法。其中最小集直接方法，即用能解算約束方程所需的最少特征來求解，一般包括求解相對定向問題的N(N≥5)點算法［10］和求解絕對定向問題的3 點算法［10，18］。

絕對定向問題主要出現(xiàn)在用立體視覺，可以獲知場景三維信息的場合。Haralick 給出了從1841年到1994年3 點算法的綜述，詳細介紹比較了6 種方法，證明Finsterwalder 算法能夠獲得最高的精度［55］。但傳統(tǒng)的3 點算法那一般局限于某種相機模型，如針孔模型等，Nistér 提出了不限定相機模型的3 點問題的通用最小集算法［56］。而求解絕對定向問題的非最小集方法，最常用的是用奇異值分解(SVD)方法［45，57］或四元數(shù)方法［58］等。

相對定向問題則是采用單目視覺所不可避免的。Stéwenius 對截至2006年相對定向問題的最小集直接算法作了總結(jié)［59］，比較了包括Nistér 的高效5 點算法［50］和其他多種N(N =6～8)點算法，證明了5 點算法在數(shù)值穩(wěn)定性、計算效率和對場景退化的處理能力方面都有最為優(yōu)秀的性能，所以它在單目視覺里程計系統(tǒng)中應(yīng)用廣泛。而求解相對定向問題的非最小集方法中，迭代最近點(ICP)算法是較為常用的一種［17］。ICP 算法是一種利用理想幾何模型對目標的離散數(shù)據(jù)作配準的迭代方法，尤其適用于那些相關(guān)性未知的點云數(shù)據(jù)。在視覺里程計系統(tǒng)中，ICP 算法一般不用于直接求解姿態(tài)，而是在用高效方法求解最小二乘問題的粗糙解之后來進行迭代優(yōu)化［16－17］。

4 研究展望

如上所述，視覺里程計算法已經(jīng)獲得了許多研究成果。但是，單純依靠視覺的自主車輛定位與導(dǎo)航技術(shù)還不夠成熟。在2007年的DARPA 城市挑戰(zhàn)賽中，單純依靠視覺的定位系統(tǒng)還沒有獲得最好的效果［54］;在火星探測車上，視覺定位系統(tǒng)也還只是慣型導(dǎo)航系統(tǒng)的備選［60］。所以，視覺里程計算法中還有許多問題在等待解決，如下研究方向或可作為下一步研究的重點:

1)更高效率、更高精度的特征檢測與匹配算法。當前的研究中，魯棒的特征提取與匹配本身計算量大，而快速的特征檢測又會造成特征集噪聲過大，使檢測內(nèi)數(shù)據(jù)的計算量加大，都影響了系統(tǒng)的實時性。所以，設(shè)計更魯棒更快速的特征提取與匹配算法非常重要;

2)“批處理”算法與遞歸算法的結(jié)合。本文在比較兩幀方案與多幀方案時提到了“批處理”算法的高精度與低效率，若將其與精度相對較低的遞歸方案相結(jié)合設(shè)計出高效高精度的“批處理”—遞歸混合系統(tǒng)，將會是視覺里程計系統(tǒng)的一個可行的發(fā)展方向;

3)在經(jīng)典的視覺里程計系統(tǒng)中，一個非常重要的假設(shè)就是靜態(tài)場景假設(shè)，而在實際應(yīng)用環(huán)境中是難以成立的，如存在動態(tài)的行人、車輛等目標。近年來也出現(xiàn)了一些針對動態(tài)環(huán)境的方法，有依靠低水平的目標識別［61］、對噪聲建模來剔除動態(tài)目標數(shù)據(jù)［62］或是采用對數(shù)據(jù)質(zhì)量要求極低的內(nèi)數(shù)據(jù)獲得算法［63］等，都沒有脫離固有的特征檢測機制。若能將視覺里程計系統(tǒng)與基于視覺的行人檢測、車輛檢測或道路檢測等在目前已有大量研究成果的算法有效地結(jié)合起來，將是非常有意義的研究工作。

5 結(jié)論

視覺里程計技術(shù)發(fā)展至今已經(jīng)獲得了一定的成果，具備直接在實時系統(tǒng)中應(yīng)用的可能。但是視覺里程計技術(shù)中當前仍然有許多問題存在，包括特征檢測與跟蹤算法效率與精度的權(quán)衡，遞歸算法的累積誤差缺陷以及難以應(yīng)對復(fù)雜的動態(tài)噪聲環(huán)境等。這些問題都需要從視覺里程計算法的各個模塊技術(shù)出發(fā)，研究解決以期改善整體系統(tǒng)性能。并最終希望視覺里程計可以獨立實現(xiàn)智能車輛的精確自定位。

References)

［1］ 吳功偉.立體視覺里程計的關(guān)鍵技術(shù)研究［D］.杭州:浙江大學(xué)，2007.WU Gong－wei.Research on key technologies in stereo visual odometry［D］.Hangzhou:Zhejiang University，2007.(in Chinese)

［2］ Moravec H.Obstacle avoidance and navigation in the real world by a.seeing robot rover［D］.Stanford:Univ.of Stanford，1980.

［3］ Matthies L，Shafer S A.Error modeling in stereo navigation［J］.IEEE J.Robot.Automat.，1987，RA23(3):239－250.

［4］ 彭勃，周文暉，劉濟林.基于Harris 角點檢測的立體視覺里程計［J］.兵工學(xué)報，2007，28(12):1498－1502.PENG Bo，ZHOU Wen－h(huán)ui，LIU Ji－lin.Harris corner detectionbased stereo visual odometry［J］.Acta Armanmentarii，2007，28(12):1498－1502.(in Chinese)

［5］ Eade E，Drummond T.Scalable monocular SLAM［C］∥Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition，New York:IEEE，2006:469－476.

［6］ Davison A J，Reid I D，Molton N D，et al.Mono SLAM:realtime single camera SLAM［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29(6):1052－1067.

［7］ Davison A J.Real－time simultaneous localization and mapping with a single camera［C］∥Proc.International Conference on Computer Vision，Nice:IEEE，2003:1403－1410.

［8］ 馬玉嬌.基于立體視覺里程計的移動機器人定位研究［D］.武漢:武漢科技大學(xué)，2009.MA Yu－jiao.Research on mobile robot localization based on stereo visual odometry［D］.Wuhan:Wuhan University of Science and Technology，2009.(in Chinese)

［9］ Badino H.A robust approach for ego－motion estimation using a mobile stereo platform［J］.Lecture Notes in Computer Science，2007，3417:198－208.

［10］ Nistér D，Naroditsky O，Bergen J.Visual odometry［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Washington:IEEE，2004:652－659.

［11］ Mouragnon E，Lhuillier M，Dhome M，et al.Real time localization and 3D reconstruction［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，New York:IEEE，2006:363－370.

［12］ Tardif J，Pavlidis Y，Daniilidis K.Monocular visual cdometry in urban environments using an omnidirectional camera［C］∥IEEE/RSJ International Conference on Intelligent Robots and Systems，Nice:IEEE，2008:2531－2538.

［13］ Corke P，Strelow D，Singh S.Omnidirectional visual odometry for a planetary rover［C］∥IEEE/RSJ International Conference on Intelligent Robots and Systems，IEEE，2004:4007－4012.

［14］ Agrawal M，Konolige K.Rough terrain visual odometry［C］.International Conference on Advanced Robotics，Menlo Park:2007.

［15］ Hirschmüller H，Innocent P R，Garibaldi J M.Fast，unconstrained camera motion estimation from stereo without tracking and robust statistics［C］∥In International Conference on Control，Automation，Robotics and Vision，Singapore:Nayang Technological Univ，2002:1099－1104.

［16］ Milella A，Reina G.Vision－based methods for mobile robot localization and wheel sinkage estimation［C］∥ASME Dynamic Systems and Control Conference，Michigan:2008:625－621.

［17］ Milella A，Siegwart R.Stereo－based ego－motion estimation using pixel－tracking and iterative closest point［C］∥Proc.IEEE International Conference on Computer Vision Systems，New York:IEEE，2006:21－27.

［18］ Kitt B，Geiger A，Lategahn H.Visual odometry based on stereo image sequences with RANSAC－based outlier rejection scheme［C］∥IEEE Intelligent Vehicle Symposium，San Diego:IEEE，2010:486－492.

［19］ Howard A.Real－time stereo visual odometry for autonomous ground vehicles［C］∥IEEE/RSJ International Conference on Intelligent Robots and Systems，Nice:IEEE，2008:3946－3952.

［20］ García－García R，Sotelo M A，Parra I，et al.3D visual odometry for road vehicles［J］.Journal of Intelligent and Robotic Systems Archive，2008，51(1):113－134.

［21］ Sappa A D，Dornaika F，Ponsa D，et al.An efficient approach to onboard stereo vision system POSE estimation［J］.IEEE Trans.Intell.Transp.Syst，2008，9(3):476－490.

［22］ Jong Weon Lee，Suya You，Ulrich Neumann.Large motion estimation for omnidirectional vision［C］∥IEEE Workshop on Omnidirectional Vision，Hilton Head Island:IEEE，2000:161－168.

［23］ Wen Lik Dennis Lui，Ray A.Jarvis.An omnidirectional vision system for outdoor mobile robots［C］∥IEEE Workshop on Omnidirectional Robot Vision，Anchorage:IEEE，2008:273－284.

［24］ Parra I，Sotelo M A，Llorca D F.Robust visual odometry for vehicle localization in urban environments［J］.Robotica，2010，28(3):441－452.

［25］ Parra I，Sotelo M A，Vlacic L.Robust visual odometry for complex urban environments［C］∥IEEE Intelligent Vehicles Symposium，Eindhoven:IEEE，2008:440－445.

［26］ Triggs B，McLauchlan P F，Hartley R I，et al.Bundle adjustment－a modern synthesis［J］.In Vision Algorithms:Theory and Practice，ser.LNCS.Springer Verlag，2000，1883:298－375.

［27］ Shum H，K E Q，Zhang Z.Efficient bundle adjustment with virtual key frames:a hierarchical approach to multi－frame structure from motion［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Collins:IEEE，1999:538－543.

［28］ Jungho Kim，In So Kweon.Vision－based autonomous navigation based on motion estimation［C］∥International Conference on Control，Seoul:Automation and Systems，2008:1738－1743.

［29］ Royer E，Lhuillier M，Dhome M，et al.Monocular vision for mobile robot localization and autonomous navigation［J］.International Journal of Computer Vision，2007，74(3):237－260.

［30］ Levin A，Szeliski R.Visual odometry and map correlation［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Washington:IEEE，2004:1611－1618.

［31］ Konolige K，Agrawal M，Sola J.Large scale visual odometry for rough terrain［C］∥In International Symposium on Research in Robotics，Hiroshima:2007.

［32］ Kwolek B.Visual odometry based on gabor filters and sparse bundle adjustment［C］∥IEEE International Conference on Robotics and Automation，Roma:IEEE，2007:3573－3578.

［33］ Chiuso A，F(xiàn)avaro P，Jin H，et al.Structure from motion causally integrated over time［J］.IEEE Trans.on Pattern Anal.Mach.Intell.，2002，24(4):523－535.

［34］ Rudolph van der Merwe，Eric A.Wan.Sigma－point kalman filters for integrated navigation［C］∥Proc.Annual Meeting of The Institute of Navigation，Dayton:NSF，2004:641－654.

［35］ Mclauchlan P，Reid I，Murray D.Recursive affine structure and motion from image sequences［C］∥Proc.European Conf.Comp.Vision，Stockholm:Springer Verlag，1994:217－224.

［36］ García－García R G，Sotelo M A，Parra I，et al.3D visual odometry for GPS navigation assistance［C］∥Proc.IEEE Intelligent Vehicles Symposium，Istanbul:IEEE，2007:444－449.

［37］ Zhu Z，Oskiper T，Samarasekera S，et al.Sawhney.Ten－fold improvement in visual odometry using landmark matching［C］∥IEEE International Conference on Computer Vision，Rio de Janeiro:IEEE，2007:1747－1754.

［38］ Oskiper T，Zhu Z，Samarasekera S.Visual odometry system using multiple stereo cameras and inertial measurement unit［C］∥IEEE Conference on Computer Vision and Pattern Recognition，Minneapolis:IEEE，2007:976－983.

［39］ P.H.S.Torr and A.Zisserman.Feature based methods for structure and motion estimation［J］.in Vision Algorithms:Theory and Practice，2000，1883:278－295.

［40］ Taylor C J，Kriegman D J.Structure and motion from line segments in multiple images［J］.IEEE Trans.on Pattern Anal.Mach.Intell.，1995，17(11):1021－1032.

［41］ Wong K Y K，Mendonca P R S，Cipolla R.Structure and motion estimation from apparent contours under circular motion［J］.Image and Vision Computing，2002，20:441－448.

［42］ Schmid C，Mohr R，Baukhage C.Evaluation of interest point detectors［J］.International Journal of Computer Vision，2000，37(2):151－172.

［43］ Lowe D G.Distinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91－110.

［44］ 李智，周文暉，劉濟林.動態(tài)場景下基于視差空間的立體視覺里程計［J］.浙江大學(xué)學(xué)報(工學(xué)版)，2008，42(10):1661－1665.LI Zhi，ZHOU Wen－h(huán)ui，LIU Ji－lin.Stereo visual odometry from disparity space in dynamic environments［J］.Journal of Zhejiang University:Engineering Science，2008，42(10):1661－1665.(in Chinese)

［45］ Gong P L，Zhang Q F，Zhang A Q.Stereo vision based motion estimation for underwater vehicles［C］∥International Conference on Intelligent Computation Technology and Automation，Changsha:IEEE，2009:745－749.

［46］ Rodriguez S A，F(xiàn)remont F V，Bonnifait P.An experiment of a 3D real－time robust visual odometry for intelligent vehicles［C］∥Proc.International Conference on Intelligent Transportation Systems，Shizuoka:IEEE，2009:226－231.

［47］ Zhang T，Liu X，Kuhnlenz K，et al.Visual odometry for the autonomous city explorer［C］∥IEEE/RSJ International Conference on Intelligent Robots and Systems，St.Louis:IEEE，2009:3513－3518.

［48］ Gordon I，Lowe D G.What and where:3D object recognition with accurate pose［C］∥International Symposium on Mixed and Augmented Reality，Santa Barbara:IEEE，2006:67－82.

［49］ Horn B K P.Relative orientation［J］.International Journal of Computer Vision，1990，4:59－78.

［50］ Nistér D.An efficient solution to the five－point relative pose problem［J］.IEEE Trans.on Pattern Anal.Mach.Intell.，2004，26(6):756－770.

［51］ Fischler M A，Bolles R C.Random sample consensus:a paradigm for model fitting with apphcatlons to image analysis and automated cartography［J］.Graphics and Image Processing，1981，24(6):381－395.

［52］ Nister D.Preemptive RANSAC for live structure and motion estimation［C］∥Proc.International Conference on Computer Vision，Nice:2003:199－206.

［53］ Scaramuzza D，F(xiàn)raundorfer F，Siegwart R.Real－time monocular visual odometry for on－road vehicles with 1－point RANSAC［C］∥International Conference on Robotics and Automation，Kobe:2009:4293－4299.

［54］ Nourani－Vatani N，Roberts J，Srinivasan M V.Practical visual odometry for car－like vehicles［C］∥International Conference on Robotics and Automation，Kobe:2009:3551－3557.

［55］ Haralick R，Lee C，Ottenberg K，et al.Review and analysis of solutions of the three point perspective pose estimation problem［J］.International Journal of Computer Vision，1994，13(3):331－356.

［56］ Nistér D.A minimal solution to the generalised 3－Point pose problem［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition，Washington:IEEE，2004:560－567.

［57］ Horn B K P，Hilden H M，Negahdaripour S.Closed－form solution of absolute orientation using orthonormal matrices［J］.Journal Opt.Soc.Am.A，1988，5:1127－1135.

［58］ Horn B K P.Closed－form solution of absolute orientation using unit quaternions［J］.Journal Opt.Soc.Am.A，1987，4(4):629－642.

［59］ Stéwenius H，Engels C，Nistér D.Recent developments on direct relative orientation［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2006，60:284－294.

［60］ Matthies L，Maimone M，Johnson A，et al.Computer vision on mars［J］.International Journal of Computer Vision，2007，75(1):67－92.

［61］ Kitt B，Moosmann F，Stiller C.Moving on to dynamic environments:visual odometry using feature classification［C］∥International Conference on Intelligent Robots and Systems，Taipei:IEEE，2010:5551－5556.

［62］ Sakai A，Mitsuhashi M，Kuroda Y.Noise model creation for visual odometry with neural－fuzzy model［C］∥IEEE/RSJ International Conference on Intelligent Robots and Systems，Taipei:IEEE，2010:5190－5195.

［63］ Sáez J M，Escolano F.6DOF entropy minimization SLAM for stereo－based wearable devices［J］.Computer Vision and Image Understanding，2011，115(2):270－285.