楊觀賜 王霄遠 蔣亞汶 李楊

摘 要：同時定位與建圖（SLAM）是指當機器人在未知的環(huán)境中運行時能夠自動繪制環(huán)境地圖，同時確定自身在地圖中的位置。融合視覺和慣性傳感器獲取的數(shù)據(jù)來實現(xiàn)實時的高精度和魯棒的SLAM，是當前智能機器人領域的研究熱點。為了全面深入地認識VI-SLAM系統(tǒng)，首先，分析了4種典型的VI-SLAM系統(tǒng);其次，綜述了視覺慣性里程計、定位和建圖技術方面的最新成果;再次，比較分析了VI-SLAM研究平臺;最后，總結展望了未來的發(fā)展趨勢。

關鍵詞：SLAM;視覺慣性里程計;定位;建圖;移動機器人

中圖分類號：TP181

文獻標識碼： A

同時定位和建圖（simultaneous localization and mapping， SLAM）[1-2]是指將移動機器人置于未知環(huán)境中的未知位置時，移動機器人自動逐步構建與環(huán)境一致的地圖，并同時使用該地圖確定其自身在地圖中的位置。SLAM系統(tǒng)由前端和后端組成，前端主要負責執(zhí)行數(shù)據(jù)關聯(lián)，后端主要負責狀態(tài)推斷。在確保計算效率的同時，如何確保地圖和位姿估計的全局一致性和高精度，如何解決非線性、數(shù)據(jù)關聯(lián)和界標特性等問題引起了眾多學者的關注。

典型SLAM解決方案[3]主要利用視覺傳感器，雖然取得了不錯的效果，但是當移動機器人處于低紋理、光照變化和圖像模糊、以及高速運動時表現(xiàn)欠佳。視覺傳感器低速運行時能夠有較精確地環(huán)境特征跟蹤表現(xiàn)，但是隨著速度的增大，特征跟蹤的準確性迅速降低;慣性傳感器（inertial measurement unit，IMU）能夠跟隨運動速度變化，不受運動場景和運動速度的限制而準確測量出角速度和線性加速度，但是當其長時間運行時，IMU因其自身偏置而產(chǎn)生估計累計漂移[3-4]。融合使用視覺和慣性傳感器可以提供豐富的運動和環(huán)境結構信息。為了發(fā)揮視覺傳感器和IMU的優(yōu)勢，規(guī)避它們的劣勢，人們研制了視覺傳感器和IMU融合的SLAM（visual-inertial SLAM， VI-SLAM）系統(tǒng)（見圖1）[5]，采用基于優(yōu)化或基于濾波的技術采集物理量，然后運用特定的方法估算這些物理量，從而獲得對自身運動和場景結構的可靠估計[6-7]。

a）雙目攝像頭-IMU傳感器[31] b）RGB-D-IMU傳感器[95] c）矩陣視覺相機-IMU傳感器[40] d）全局快門相機-IMU傳感器[93]

當前，VI-SLAM已廣泛應用于機器人導航[5，12-18]，無人機[19-27]，增強現(xiàn)實[28-32]，虛擬現(xiàn)實[33]以及無人駕駛[34]等領域，而傳感器的校準、系統(tǒng)的初始化、數(shù)據(jù)的處理和融合方法、閉環(huán)檢測的精度和效率等因素都會對VI-SLAM系統(tǒng)產(chǎn)生影響[8]。

為了更好地把握VI-SLAM領域取得的成果，本文從VI-SLAM系統(tǒng)、視覺慣性里程計、定位和建圖技術以及VI-SLAM的研究平臺方面進行了綜述，并展望了發(fā)展趨勢。

1 視覺慣性SLAM系統(tǒng)技術分類

圖2是VI-SLAM系統(tǒng)的框架結構圖。系統(tǒng)啟動時，首先校準傳感器;系統(tǒng)運行過程中，不同傳感器分別采集環(huán)境結構信息和機器人運動信息;在預處理所采集的數(shù)據(jù)后，使用不同的融合策略進行數(shù)據(jù)融合;最后利用融合的數(shù)據(jù)實現(xiàn)定位和建圖。接下來，將綜述基于關鍵幀的VI-SLAM系統(tǒng)、稠密VI-SLAM系統(tǒng)、緊密耦合的VI-SLAM系統(tǒng)和協(xié)作式的VI-SLAM系統(tǒng)的技術特點。

1.1 基于關鍵幀的VI-SLAM系統(tǒng)

對于傳感器數(shù)據(jù)的融合，基于過濾的融合策略與非線性優(yōu)化方法相比，后者在魯棒性、精度和計算復雜度上更具優(yōu)勢。文獻[35]將慣性測量數(shù)據(jù)集成到基于關鍵幀的視覺SLAM中，將IMU誤差項以全概率的方式與界標重投影誤差集成在一起進行聯(lián)合優(yōu)化非線性成本函數(shù)，并利用“關鍵幀”概念邊緣化過去狀態(tài)部分來維持有限大小的優(yōu)化窗口，從而確保實時性操作。文獻[36]提出了基于關鍵幀的視覺慣性協(xié)作式同時定位和建圖框架，在建圖和定位高效協(xié)作方面具有優(yōu)勢。文獻[37]提出的基于關鍵幀的單目和雙目相機視覺慣性融合的SLAM系統(tǒng)，能夠獲得更好的局部一致軌跡和地圖估計，并通過局部跟蹤、位姿圖優(yōu)化和閉環(huán)檢測實現(xiàn)VI-SLAM的定位準確性和全局一致性。此外，它能夠根據(jù)先前構建的地圖進行重新定位并繼續(xù)執(zhí)行SLAM。文獻[38]提出的實時單目VI-SLAM系統(tǒng)在消除漂移方面性能良好，它通過融合單目視覺慣性里程計特征實現(xiàn)重定位，然后執(zhí)行4-DOF位姿圖優(yōu)化校正漂移。此系統(tǒng)可以通過重用地圖和重新定位相機獲得機器人在已有地圖中的絕對位姿，通過全局位姿圖優(yōu)化將當前地圖與先前地圖合并。

1.2 稠密VI-SLAM系統(tǒng)

文獻[39]提出的稠密VI-SLAM系統(tǒng)，可以同時優(yōu)化相機的位姿、速度、IMU偏置和重力方向，構建稠密的環(huán)境3D場景地圖。文獻[40]構建了一種基于動態(tài)網(wǎng)格與雙目攝像頭的稠密視覺慣性SLAM系統(tǒng)。該系統(tǒng)將空間劃分為網(wǎng)格，在線重建場景的完全稠密地圖。文獻[41]研究了具有結構約束的稠密平面慣性SLAM框架。它使用手持式RGB-D傳感器和IMU重建大型室內(nèi)環(huán)境的稠密3D模型，通過結構約束減少輸出建圖中的漂移和失真。文獻[42]提出的方法能夠從攝像頭的運動情況和稀疏深度推斷稠密深度信息，從極稀疏的點云中恢復場景幾何形狀。文獻[10]使用直接法同時優(yōu)化IMU測量和視覺數(shù)據(jù)，形成了基于直接法的VI-SLAM，可以用于實時的場景稠密地圖在線重建和跟蹤。而為了平衡精度和計算效率，文獻[43]提出了基于半直接法的VI-SLAM，它集成了特征法的準確性和直接法的快速性，在估計機器人的運動和稀疏場景的結構方面具有優(yōu)勢。

1.3 緊密耦合的VI-SLAM系統(tǒng)

移動機器人具有實時定位和地建圖功能才能真正自主地運行。其路徑規(guī)劃和決策依賴于機器人對周圍環(huán)境的及時準確建圖和狀態(tài)估計。對此，文獻[44]提出了基于傳感器時間同步校準的緊密耦合實時VI-SLAM框架，它能夠在動態(tài)的環(huán)境中進行準確、實時的位姿估計和建圖。文獻[45]提出的多合一多傳感器視覺慣性融合SLAM，通過同步和校準多傳感器，實現(xiàn)緊密耦合的視覺慣性跟蹤和并行建圖。此方法能夠與其他傳感器模態(tài)松散耦合。由于視覺慣性系統(tǒng)具有非線性的特點，其性能在很大程度上取決于初始值的準確性，因此，文獻[46]提出了提高初始狀態(tài)估計準確性的方法。即：在已知重力大小的基礎上，通過優(yōu)化其切線空間上的二維誤差狀態(tài)細化估計的重力矢量，然后分別估計加速度計的偏置。此外，它還提出了確定何時初始化成功的自動終止條件，一旦初始狀態(tài)估計收斂，就使用初始估計值啟動非線性緊密耦合的VI-SLAM系統(tǒng)。

鑒于視覺慣性里程計（visual-inertial odometry， VIO）方法缺乏閉合回路的能力，并且即使傳感器不斷地重新訪問同一位置，軌跡估計也會出現(xiàn)累積漂移，文獻[47]提出了一種新穎的緊密耦合的VI-SLAM系統(tǒng)。該系統(tǒng)可以閉合回路并重用其地圖，能在已建圖的區(qū)域?qū)崿F(xiàn)對傳感器的零漂移定位;其局部建圖線程在插入新的關鍵幀之后將執(zhí)行局部BA（bundle adjustment），優(yōu)化最后N個關鍵幀和由這些關鍵幀所觀察到的所有點特征。為了獲得魯棒的SLAM，文獻[48]提出了可以實時匹配全局最優(yōu)結果的基于緊密耦合的非線性優(yōu)化單目VI-SLAM。此系統(tǒng)采用多線程、異步自適應數(shù)值優(yōu)化求解器，自適應地識別SLAM圖的邊界條件并進行同步和異步求解。為了實現(xiàn)移動機器人重啟后快速的實時定位，文獻[49]提出了基于地圖元素與關鍵幀數(shù)據(jù)庫的離線地圖構建方法，并通過序列化方法進行保存與加載，之后，設計了基于離線地圖的加載重定位方法，并形成了離線地圖與建圖軌跡的可視化方法。此系統(tǒng)能根據(jù)所得離線地圖進行重定位和全局定位跟蹤。

1.4 協(xié)作式VI-SLAM系統(tǒng)

近年來，協(xié)作式VI-SLAM系統(tǒng)研究也得到了快速的發(fā)展。針對多個單目攝像頭，文獻[50]研究了兩個智能體間協(xié)作實現(xiàn)VIO的方法;文獻[51]提出了基于交換的視覺慣性數(shù)據(jù)包的分散數(shù)據(jù)共享方法;文獻[52]利用多攝像頭采集的數(shù)據(jù)融合慣性測量數(shù)據(jù)進行在線校準初始化。圍繞同時存在攝像頭-IMU和雙目攝像頭的慣性里程計系統(tǒng)，文獻[53]設計了可以在線估計初始值并同時校準傳感器的方法;文獻[54]通過融合事件相機和慣性測量數(shù)據(jù)，提供準確的狀態(tài)估計。文獻[55]將較大室內(nèi)空間內(nèi)多個用戶在不同時刻使用移動設備收集的視覺和慣性測量數(shù)據(jù)進行融合，從而實現(xiàn)協(xié)作建圖。協(xié)作式VI-SLAM系統(tǒng)能夠最大限度地感知周圍環(huán)境、提供豐富的傳感數(shù)據(jù)供系統(tǒng)使用。雖然在環(huán)境退化的情況下，系統(tǒng)也能表現(xiàn)出高精度和魯棒性，但是協(xié)作式VI-SLAM系統(tǒng)要求較大的計算能力。

2 視覺慣性里程計

視覺慣性里程計使用相機與IMU采集的數(shù)據(jù)進行融合以估算機器人狀態(tài)。VIO系統(tǒng)將來自視覺傳感器和IMU的數(shù)據(jù)融合處理，獲得對視覺傳感器運動的更好測量。機器人高速運動時，相機幀之間可能無法進行特征匹配，IMU可以提供信息，使系統(tǒng)仍然保持較準確的位姿估計。同時，視覺圖像信息可以彌補機器人低速運動時IMU存在的漂移問題[56]。在VIO和VI-SLAM系統(tǒng)中，視覺圖像和IMU采集數(shù)據(jù)主要使用基于濾波方法或非線性優(yōu)化方法進行數(shù)據(jù)融合。根據(jù)傳感器融合測量方法不同，VIO系統(tǒng)分為松耦合和緊密耦合的方法。松耦合方法分別對圖像和IMU數(shù)據(jù)進行預處理，然后進行融合;緊密耦合方法則直接融合相機和IMU的原始測量值找到最佳估計。表1是視覺慣性傳感器數(shù)據(jù)融合方法的比較情況。與松耦合方法相比，緊密耦合方法更準確，更可靠[57]。

圖3是視覺慣性里程計的結構圖。VIO方法主要分為基于傳統(tǒng)的方法和基于深度學習的方法。其中，傳統(tǒng)的方法又細分為5類：基于擴展卡爾曼濾波器（extended Kalman filter，EKF）的VIO，基于點線特征的VIO，基于優(yōu)化的VIO，基于直接方法的VIO和基于事件相機的VIO。值得注意的是，雖然當前基于事件相機的VIO方法較少，但是由于事件相機具有擅長捕捉亮度變化、在較暗和強光場景下也能輸出有效數(shù)據(jù)的特點，基于事件相機的VIO方法值得期待，因此對此類方法進行了單獨分析。基于深度學習的方法又細分為基于端到端學習的方法和基于監(jiān)督學習的方法。

2.1 基于傳統(tǒng)方法的VIO

2.1.1 基于EKF的VIO

為充分利用視覺和慣性傳感器采集的信息，文獻[58]提出基于擴展卡爾曼濾波器的半直接VIO方法，該方法幾乎可以在原始傳感器級別上緊密融合視覺傳感器和慣性測量數(shù)據(jù)，同時結合了緊密耦合的視覺慣性擴展卡爾曼濾波器的優(yōu)點以及直接光度法的魯棒性和精度。文獻[59]提出的基于全密集緊密耦合直接濾波的VIO方法同時估計所有像素的深度和機器人狀態(tài)，通過向狀態(tài)向量添加深度和強度信息，能夠一步更新所有條目。文獻[60]提出以機器人為中心的基于擴展卡爾曼濾波器的直接VIO框架。該方法以機器人為中心，結合光度誤差的直接反饋，通過迭代擴展卡爾曼濾波器處理界標跟蹤，可以實現(xiàn)多相機支持，對相機和IMU進行在線校準。文獻[61]直接使用圖像塊的像素強度誤差來實現(xiàn)精確的跟蹤性能，具有良好的魯棒性。

考慮到濾波器中計算雅可比的標準方法會導致準確性下降，文獻[62]提出的多狀態(tài)約束卡爾曼濾波器算法主要包括3個部分： EKF誤差狀態(tài)轉換矩陣的封閉式計算、定向誤差的參數(shù)化、在過濾器中選擇線性化的點。在此基礎上，文獻[63]提出的基于濾波器的雙目VIO方法，在計算效率和魯棒性方面表現(xiàn)更優(yōu)。與此同時，文獻[64]基于文獻[62]的框架，通過構建新的初始化方法設計了一種新的VIO算法，能夠通過分析跟蹤的特征自動檢測靜止場景，并根據(jù)靜態(tài)IMU數(shù)據(jù)初始化濾波器狀態(tài)。文獻[65]提出了一種實時VIO算法。該算法通過確保其線性化系統(tǒng)模型的正確可讀，對相機-IMU校準參數(shù)進行在線估算，從而確保實現(xiàn)一致性的估計。為了確保提供的測量信息足以在線校準相機的固有參數(shù)，文獻[66]設計了視覺慣性系統(tǒng)的非線性可觀測性分析方法，通過在線校準相機固有參數(shù)提高位姿估計的準確性。而文獻[67]提出的基于RGB-D相機和IMU的VIO方法，不僅可以估算相機的運動軌跡，還可以在線校準重力場和相機與IMU之間的相對位姿以提高位姿估計準確性，并通過迭代優(yōu)化減少線性誤差。此外，文獻[68]將IMU測量值與相機提供的視覺特征軌跡的觀察結果相融合，實時生成高精度狀態(tài)估計值。

2.1.2 基于點線特征的VIO

相比于點特征，線特征能夠提供更多的環(huán)境幾何結構信息，在無法可靠檢測或跟蹤點特征的低紋理環(huán)境或照明變化場景中，線特征可以有效提高系統(tǒng)的魯棒性。為了同時使用點和線特征，文獻[69]提出了基于濾波的緊密耦合雙目視覺慣性里程計系統(tǒng)。此系統(tǒng)在滑動窗口上對點和線要素進行處理，并使用閉環(huán)技術減少累計漂移。為了解決相機軌跡估計的問題并構建基于慣性測量和視覺觀察結構的3D地圖，文獻[57]提出了基于點線特征的緊密耦合VIO系統(tǒng)。系統(tǒng)主要包含兩個模塊：前端負責傳播IMU主體狀態(tài)，檢測/匹配點線特征（見圖4），后端用于估計和優(yōu)化自身狀態(tài)。文獻[70]通過構建具有幾何信息的環(huán)境特征圖，合并IMU測量數(shù)據(jù)為視覺定位算法提供先驗和比例信息。然后，基于稀疏圖像對準的運動估計獲得初始位姿估計，進一步執(zhí)行特征對準以獲得子像素級特征相關性。最后，通過最小化局部地圖點和線的重投影誤差，獲得高精度的位姿和3D界標。文獻[71]通過使用平行線的圖像投影相交點消除角度漂移，從而提高了基于特征的VIO精度。文獻[72]簡化了基于融合點和線特征匹配的方法和VIO初始化策略。在VIO初始化過程中，將恒定速度約束應用于運動中的機器人，動態(tài)地加快了初始狀態(tài)變量的獲取;通過優(yōu)化滑動窗口模型構造點特征和由線特征表征的稀疏圖。

4 視覺慣性融合研究平臺

這一節(jié)綜述當前用于VI-SLAM研究的平臺：Maplab、VINS-Mono、VINS-RGBD、VersaVINS和OpenVINS。表3是它們的簡要比較統(tǒng)計表。

Maplab[94]是一個通用的視覺慣性建圖和定位的開放框架。該框架提供多會話建圖工具集合，支撐地圖合并、視覺慣性批處理優(yōu)化和回環(huán)閉合。其在線前端可以創(chuàng)建視覺慣性地圖、跟蹤本地化地圖中的全局無漂移位姿。

VINS-Mono[11]是一種單目視覺慣性狀態(tài)估計器。系統(tǒng)從測量數(shù)據(jù)預處理開始，初始化過程提供所有必要的值來引導基于非線性優(yōu)化的VIO;帶有重定位模塊的VIO緊密集成了預集成的IMU測量值，特征觀察和從閉環(huán)中重新檢測到的特征;最后，位姿圖模塊執(zhí)行4-DOF全局優(yōu)化以消除漂移并實現(xiàn)重用目的，同時系統(tǒng)還可以通過有效的保存和加載地圖來實現(xiàn)地圖的重用。

VINS-RGBD[95]是基于VINS-Mono提出、用于機器人的軌跡估計和建圖。它擴展了VINS-Mono系統(tǒng)，在初始化過程以及VIO階段使用深度數(shù)據(jù)。系統(tǒng)集成了基于二次采樣深度數(shù)據(jù)和八叉樹濾波的建圖系統(tǒng)以支持回環(huán)閉合在內(nèi)的實時建圖。

VersaVIS[9]是一種開放式多功能多相機視覺慣性傳感器研究平臺，支持各種相機和IMU的傳感器融合，可支持移動機器人部署、集成和擴展應用程序。該平臺支持IMU執(zhí)行多臺相機的時間同步，能夠?qū)崿F(xiàn)視覺慣性SLAM、多相機應用、多模式建圖、重建和基于對象的建圖。

OpenVINS[96]集成了塊滑動窗口卡爾曼濾波器，支持相機參數(shù)在線校準和時間偏移校準;具有不同表示形式和一致性的第一雅可比估計的SLAM界標處理功能;提供狀態(tài)管理的模塊化系統(tǒng)、可擴展的視覺慣性系統(tǒng)模擬器以及用于算法評估的工具箱。

5 未來的發(fā)展趨勢

在過去的十幾年中，由于傳感器技術、計算機計算性能和深度學習的快速發(fā)展，視覺慣性融合的SLAM技術領域取得了突破性進展。在工程實際中，由于機器人所處環(huán)境結構的復雜性、傳感器自身的局限性、初始化精度和傳感器校準以及數(shù)據(jù)融合的處理方式等問題，VI-SLAM仍然面臨諸多挑戰(zhàn)，以下幾個方面可能是值得關注的方向。

（1）視覺-慣性傳感器在線校準。相機-IMU的空間位置校準和校準參數(shù)在系統(tǒng)長時間的運行過程中經(jīng)常會發(fā)生漂移，從而引起后續(xù)定位和建圖累計誤差。當前，雖然已經(jīng)有很多學者研究了傳感器的校準方法，但是往往僅針對有限的參數(shù)或者特定型號的傳感器進行校準，且實時性表現(xiàn)仍然欠佳。因此，高效的視覺-慣性傳感器在線校準方法是值得深入研究的方面。

（2）基于深度學習的狀態(tài)估計。在實際的運行過程中，高精度可靠的狀態(tài)估計是機器人實現(xiàn)自主功能的重要前提。近年來，深度學習方法得到了快速的發(fā)展，在圖像特征提取和匹配方向出現(xiàn)了很多優(yōu)秀的方法，提供了直接處理原始、高維數(shù)據(jù)的能力，而無需使用領域知識通過人工制作的特征提取器[80-81，85]。同時，基于深度學習的圖像處理方法在應對視覺退化環(huán)境，如快速運動、運動模糊和光照變化等因素具有較強的適應性。因此，如何直接利用深度學習的方式，從傳感器采集數(shù)據(jù)同本地或者更高級別的數(shù)據(jù)特征、知識圖譜融合學習，形成智能高效的狀態(tài)估計方法是一個有前景的方面。

（3）VI-SLAM系統(tǒng)化閉環(huán)檢測。如果機器人能夠進行精準的閉環(huán)檢測，則可以在節(jié)省計算量的同時顯著地減少軌跡估計的累計誤差，從而提高定位精度和建圖效率。雖然文獻[43，97-98]中的方法可以實現(xiàn)閉環(huán)檢測的功能，但也有許多需要提升的方面。突破視覺慣性閉環(huán)檢測的新理論和新方法，對于提高機器人自主探索環(huán)境的能力，提高軌跡估計的精度和效率、定位和建圖的能力具有重要意義。

（4）VI-SLAM系統(tǒng)自主環(huán)境感知。魯棒的SLAM自主感知要求能夠自主進行高級別的場景理解和自主無人執(zhí)行高級別任務[99]。如何構建可用于指導完成高級別任務的豐富語義地圖，如何提高VI-SLAM系統(tǒng)感知環(huán)境和數(shù)據(jù)并具備認知能力等是值得深入研究的方面。

6 結束語

視覺慣性傳感器的互補融合使用極大地促進了SLAM技術的發(fā)展，尤其是在VIO方向;結合深度學習方法也取得了不錯的效果。目前，視覺慣性傳感器互補融合的研究中一部分成果已經(jīng)得到了實際的應用。但是，VI-SLAM系統(tǒng)在實際運行時，機器人所處的環(huán)境是復雜的、外界干擾因素也是多樣的，這讓VI-SLAM的推廣應用變得困難。在未來，隨著智能機器人技術的發(fā)展，機器人所能實現(xiàn)的功能將會越來越復雜，因此在實現(xiàn)高精度、高效率的定位和建圖方面依然有很多的研究工作要做。只有實現(xiàn)實時的、高精度、魯棒的VI-SLAM系統(tǒng)，才能促進VI-SLAM技術向廣泛實際應用轉化。

參考文獻：

[1]DURRANT-WHYTE H， BAILEYT. Simultaneous localization and mapping： part I[J]. IEEE Robotics & Automation Magazine， 2006， 13（2）： 99-110.

[2]BAILEYT， DURRANT-WHYTE H. Simultaneous localization and mapping （SLAM）： part II[J]. IEEE Robotics & Automation Magazine， 2006， 13（3）： 108-117.

[3]CORKE P， LOBO J， DIAS J， et al. An introduction to inertial and visual sensing[J]. The International Journal of Robotics Research， 2007， 26（6）： 519-535.

[4]KELLY J， SUKHATME G S. Visual-inertial sensor fusion： localization， mapping and sensor-to-sensor self-calibration[J]. The International Journal of Robotics Research， 2011， 30（1）： 56-79.

[5]HUANG G Q. Visual-inertial navigation： a concise review[C]//IEEE International Conference on Robotics and Automation（ICRA）. Montreal， QC， Canada： IEEE， 2019： 9572-9582.

[6]MARTINELLI A. Vision and IMU data fusion： closed-form solutions for attitude， speed， absolute scale， and bias determination[J]. IEEE Transactions on Robotics， 2012， 28（1）： 44-60.

[7]DIAS J， VINZCE M， CORKE P， et al. Editorial： special issue： 2nd workshop on integration of vision and inertial sensors[J]. The International Journal of Robotics Research， 2007， 26（6）： 515-517.

[8]LEUTENEGGER S， LYNEN S， BOSSE M， et al. Keyframe-based visual-inertial odometry using nonlinear optimization[J]. The International Journal of Robotics Research， 2015， 34（3）： 314-334.

[9]TSCHOPP F， RINER M， FEHR M， et al. VersaVIS-an open versatile multi-camera visual-inertial sensor suite[J]. Sensors， 2020， 20（5）： 1439.

[10]CONCHA A， LOIANNO G， KUMAR V， et al. Visual-inertial direct SLAM[C]//IEEE International Conference on Robotics and Automation （ICRA）. Stockholm， Sweden： IEEE， 2016： 1331-1338.

[11]QIN T， LI P L， SHEN S J. Vins-mono： a robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics， 2018， 34（4）： 1004-1020.

[12]HEO S J， CHA J， PARK C G， et al. EKF-based visual inertial navigation using sliding window nonlinear optimization[J]. IEEE Transactions on Intelligent Transportation Systems， 2019， 20（7）： 2470-2479.

[13]HUANG G Q， KAESS M， LEONARD J J， et al. Towards consistent visual-inertial navigation[C]//IEEE International Conference on Robotics and Automation （ICRA）. Hong Kong， China： IEEE， 2014： 4926-4933.

[14]HESCH J A， KOTTAS D G， BOWMAN S L， et al. Consistency analysis and improvement of vision-aided inertial navigation[J]. IEEE Transactions on Robotics， 2014， 30（1）： 158-176.

[15]OMARI S， BLOESCH M， GOHL P， et al. Dense visual-inertial navigation system for mobile robots[C]//IEEE International Conference on Robotics and Automation （ICRA）. Seattle， WA， USA： IEEE， 2015： 2634-2640.

[16]KAISER J， MARTINELLI A， FONTANA F， et al. Simultaneous state initialization and gyroscope bias calibration in visual inertial aided navigation[J]. IEEE Robotics and Automation Letters （RA-L）， 2017， 2（1）： 18-25.

[28]SARTIPI K， DUTOIT R C， COBAR C B， et al. Decentralized visual-inertial localization and mapping on mobile devices for augmented reality[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Macau， China： IEEE， 2019： 2145-2152.

[29]PIAO J C， KIM S. Adaptive monocular visual-inertial SLAM for real-time augmented reality applications in mobile devices[J]. Sensors， 2017， 17（11）： 2567.

[30]WILLIEM， IVAN A， SEOK H， et al. Visual-inertial RGB-D SLAM for mobile augmented reality[C]//Pacific Rim Conference on Multimedia （PRCM）. Cham， Switzerland： Springer， 2017： 928-938.

[31]OSKIPER T， SAMARASEKERA S， KUMAR R， et al. CamSLAM： vision aided inertial tracking and mapping framework for large scale ar applications[C]//IEEE International Symposium on Mixed and Augmented Reality （ISMAR-Adjunct）. Nantes， France： IEEE， 2017： 216-217.

[32]PIAO J， KIM S. Real-time visual-inertial SLAM based on adaptive keyframe selection for mobile AR applications[J]. IEEE Transactions on Multimedia， 2019， 21（11）： 2827-2836.

[33]FANG W， ZHENG L Y， DENG H J， et al. Real-time motion tracking for mobile augmented/virtual reality using adaptive visual-inertial fusion[J]. Sensors， 2017， 17（5）： 1-22.

[34]ZHENG F， LIU Y H. SE（2）-constrained visual inertial fusion for ground vehicles[J]. IEEE Sensors Journal， 2018， 18（23）： 9699-9707.

[35]LEUTENEGGER S， FURGALE P， RABAUD V， et al. Keyframe-based visual-inertial SLAM using nonlinear optimization[C]//Robotics： Science and Systems（RSS）. Berlin， Germany： IEEE， 2013.

[36]KARRER M， SCHMUCK P， CHLI M， et al. CVI-SLAM—collaborative visual-inertial SLAM[C]//IEEE International Conference on Robotics and Automation （ICRA）. Brisbane， QLD， Australia： IEEE， 2018， 3（4）： 2762-2769.

[37]KASYANOV A， ENGELMANN F， STUCKLER J， et al. Keyframe-based visual-inertial online SLAM with relocalization[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Vancouver， BC， Canada： IEEE， 2017： 6662-6669.

[38]QIN T， LI P， SHEN S， et al. Relocalization， global optimization and map merging for monocular visual-inertial SLAM[C]//IEEE International Conference on Robotics and Automation （ICRA）. Brisbane， QLD， Australia： IEEE， 2018： 1197-1204.

[39]LAIDLOW T， BLOESCH M， LI W B， et al. Dense RGB-D-inertial SLAM with map deformations[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Vancouver， BC， Canada： IEEE， 2017： 6741-6748.

[40]MA L， FALQUEZ J M， MCGUIRE S， et al. Large scale dense visual inertial SLAM[C]//Field and Service Robotics （FSR）. Cham， Switzerland： Springer， 2016： 141-155.

[41]HSIAO M， WESTMAN E， KAESS M， et al. Dense planar-inertial SLAM with structural constraints[C]//IEEE International Conference on Robotics and Automation （ICRA）. Brisbane， QLD， Australia： IEEE， 2018： 6521-6528.

[42]WONG A， FEI X， TSUEI S， et al. Unsupervised depth completion from visual inertial odometry[J]. IEEE Robotics and Automation Letters（RA-L）， 2020， 5（2）： 1899-1906.

[43]LIU Q P， WANG Z J， WANG H， et al. SD-VIS： a fast and accurate semi-direct monocular visual-inertial simultaneous localization and mapping （SLAM）[J]. Sensors， 2020， 20（5）： 1511.

[44]NIKOLIC J， REHDER J， BURRI M， et al. A synchronized visual-inertial sensor system with FPGA pre-processing for accurate real-time SLAM[C]//IEEE International Conference on Robotics and Automation （ICRA）. Hong Kong， China： IEEE， 2014： 431-437.

[45]ZHANG Z， LIU S S， TSAI G， et al. PIRVS： an advanced visual-inertial SLAM system with flexible sensor fusion and hardware co-design[C]//IEEE International Conference on Robotics and Automation （ICRA）. Brisbane， QLD， Australia： IEEE， 2018： 3826-3832.

[46]MU X F， CHEN J， ZHOU Z X， et al. Accurate initial state estimation in a monocular visual-inertial SLAM system[J]. Sensors， 2018， 18（2）： 506.

[47]MURARTAL R， TARDOS J D. Visual-inertial monocular SLAM with map reuse[J]. IEEE Robotics and Automation Letters （RA-L）， 2017， 2（2）： 796-803.

[48]KEIVAN N， SIBLEY G. Asynchronous adaptive conditioning for visual-inertial SLAM[J]. The International Journal of Robotics Research， 2015， 34（13）： 1573-1589.

[49]YANG G C， CHEN Z J， LI Y， et al. Rapid relocation method for mobile robot based on improved ORB-SLAM2 algorithm[J]. Remote Sensing， 2019， 11（2）： 149.

[50]MARTINELLI A. Cooperative visual-inertial odometry： analysis of singularities， degeneracies and minimal cases[C]//IEEE International Conference on Robotics and Automation （ICRA）. Paris， France： IEEE， 2020， 5（2）： 668-675.

[51]DUBOIS R， EUDES A， FREMONT V， et al. On data sharing strategy for decentralized collaborative visual-inertial simultaneous localization and mapping[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Macau， China： IEEE， 2019： 2123-2130.

[52]LIU Y， WANG F， ZHANG W， et al. Online self-calibration initialization for multi-camera visual-inertial SLAM[C]//IEEE International Conference on Robotics and Biomimetics （ROBIO）. Kuala Lumpur， Malaysia： IEEE， 2018： 192-199.

[53]HUANG W B， LIU H， WAN W W， et al. An online initialization and self-calibration method for stereo visual-inertial odometry[J]. IEEE Transactions on Robotics， 2020： 1-18.

[54]VIDAL A R， REBECQ H， HORSTSCHAEFER T， et al. Ultimate SLAM？ combining events， images， and IMU for robust visual SLAM in HDR and high-speed scenarios[J]. IEEE Robotics and Automation Letters （RA-L）， 2018， 3（2）： 994-1001.

[55]GUO C X， SARTIPI K， DUTOIT R C， et al. Large-scale cooperative 3D visual-inertial mapping in a Manhattan world[C]//IEEE International Conference on Robotics and Automation （ICRA）. Stockholm， Sweden： IEEE， 2016： 1071-1078.

[56]LIU T J， LIN H， LIN W， et al. InertialNet： toward robust SLAM via visual inertial measurement[C]//IEEE Intelligent Transportation Systems Conference （ITSC）. Auckland， New Zealand： IEEE， 2019： 1311-1316.

[57]HE Y J， ZHAO J， GUO Y， et al. PL-VIO： Tightly-coupled monocular visual-inertial odometry using point and line features[J]. Sensors， 2018， 18（4）： 1159.

[58]TANSKANEN P， NAEGELI T， POLLEFEYS M， et al. Semi-direct EKF-based monocular visual-inertial odometry C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Hamburg， Germany： IEEE， 2015： 6073-6078.

[59]HARDTSTREMAYR A， WEISS S. Towards fully dense direct filter-based monocular visual-inertial odometry[C]//IEEE International Conference on Robotics and Automation （ICRA）. Montreal， QC， Canada： IEEE， 2019： 4710-4716.

[60]BLOESCH M， BURRI M， OMARI S， et al. Iterated extended Kalman filter based visual-inertial odometry using direct photometric feedback[J]. The International Journal of Robotics Research， 2017， 36（10）： 1053-1072.

[61]BLOESCH M， OMARI S， HUTTER M， et al. Robust visual inertial odometry using a direct EKF-based approach[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Hamburg， Germany： IEEE， 2015： 298-304.

[62]LI M， MOURIKIS A I. Improving the accuracy of EKF-based visual-inertial odometry[C]//IEEE International Conference on Robotics and Automation （ICRA）. Saint Paul， MN， USA： IEEE， 2012： 828-835.

[63]SUN K， MOHTA K， PFROMMER B， et al. Robust stereo visual inertial odometry for fast autonomous flight[J]. IEEE Robotics and Automation Letters （RA-L）， 2018， 3（2）： 965-972.

[64]QIU X C， ZHANG H， FU W X， et al. Monocular visual-inertial odometry with an unbiased linear system model and robust feature tracking front-end[J]. Sensors， 2019， 19（8）： 1941.

[65]LI M， MOURIKIS AI. High-precision， consistent EKF-based visual-inertial odometry[J]. The International Journal of Robotics Research， 2013， 32（6）： 690-711.

[66]TSAO S， JAN S. Observability analysis and performance evaluation of EKF-based visual-inertial odometry with online intrinsic camera parameter calibration[J]. IEEE Sensors Journal， 2019， 19（7）： 2695-2703.

[67]CHU C B， YANG S D. Keyframe-based RGB-D visual-inertial odometry and camera extrinsic calibration using extended kalman filter[J]. IEEE Sensors Journal， 2020， 20（11）： 6130-6138.

[68]LI M， KIM B H， MOURIKIS A I， et al. Real-time motion tracking on a cellphone using inertial sensing and a rolling-shutter camera[C]//IEEE International Conference on Robotics and Automation （ICRA）. Karlsruhe， Germany： IEEE， 2013： 4712-4719.

[69]ZHENG F， TSAI G， ZHANG Z， et al. Trifo-VIO： robust and efficient stereo visual inertial odometry using points and lines[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Madrid， Spain： IEEE， 2018： 3686-3693.

[70]ZHANG N， ZHAO Y J. Fast and robust monocular visua-inertial odometry using points and lines[J]. Sensors， 2019， 19（20）： 4545.

[71]CAMPOSECO F， POLLEFEYS M. Using vanishing points to improve visual-inertial odometry[C]//IEEE International Conference on Robotics and Automation （ICRA）. Seattle， WA， USA： IEEE， 2015： 5219-5225.

[72]XIA L L， MENG Q Y， CHI D R， et al. An optimized tightly-coupled VIO design on the basis of the fused point and line features for patrol robot navigation[J]. Sensors， 2019， 19（9）： 2004.

[73]FORSTER C， CARLONE L， DELLAERT F， et al. On-manifold preintegration for real-time visual-inertial odometry[J]. IEEE Transactions on Robotics， 2017， 33（1）： 1-21.

[74]MA S J， BAI X H， WANG Y L， et al. Robust stereo visual-inertial odometry using nonlinear optimization[J]. Sensors， 2019， 19（17）： 3747.

[75]USENKO V， ENGEL J， STUCKLERJ， et al. Direct visual-inertial odometry with stereo cameras[C]//IEEE International Conference on Robotics and Automation （ICRA）. Stockholm， Sweden： IEEE， 2016： 1885-1892.

[76]VON STUMBERG L， USENKO V， CREMERS D， et al. Direct sparse visual-inertial odometry using dynamic marginalization[C]//IEEE International Conference on Robotics and Automation （ICRA）. Brisbane， QLD， Australia： IEEE， 2018： 2510-2517.

[77]WEN S H， ZHAO Y F， ZHANG H， et al. Joint optimization based on direct sparse stereo visual-inertial odometry[J]. Autonomous Robots， 2020， 44（99）： 791-809.

[78]ZHU A Z， ATANASOV N， DANIILIDIS K， et al. Event-based visual inertial odometry[C]//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI， USA： IEEE， 2017： 5816-5824.

[79]REBECQ H， HORSTSCHAEFER T， SCARAMUZZA D， et al. Real-time visual-inertial odometry for event cameras using keyframe-based nonlinear optimization[C]//British Machine Vision Conference （BMVC）. London， UK： Springer， 2017： 1-8.

[80]LI C S， WASLANDER S L. Towards end-to-end learning of visual inertial odometry with an EKF[C]//IEEE 17th Conference on Computer and Robot Vision （CRV）. Ottawa， Canada： IEEE， 2020： 190-197.

[81]CHEN C， ROSA S， MIAO Y， et al. Selective sensor fusion for neural visual-inertial odometry[C]//IEEE/CVF Computer Vision and Pattern Recognition （CVPR）. Long Beach， CA， USA： IEEE， 2019： 10542-10551.

[82]CLARK R， WANG S， WEN H K， et al. VINet： visual inertial odometry as a sequence to sequence learning problem[C]//AAAI Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence （AAAI）. San Francisco， California， USA： AAAI， 2017： 3995-4001.

[83]LINDGREN K， LEUNG S， NOTHWANG W D， et al. BooM-VIO： bootstrapped monocular visual-inertial odometry with absolute trajectory estimation through unsupervised deep learning[C]//IEEE 19th International Conference on Advanced Robotics （ICAR）. Belo Horizonte， Brazil： IEEE， 2019： 516-522.

[84]SHAMWELL E J， LEUNG S， NOTHWANG W D， et al. Vision-aided absolute trajectory estimation using an unsupervised deep network with online error correction[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Madrid， Spain： IEEE， 2018： 2524-2531.

[85]SHAMWELL E J， LINDGREN K， LEUNG S， et al. Unsupervised deep visual-inertial odometry with online error correction for RGB-D imagery[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（10）： 2478-2493 .

[86]HAN L M， LIN Y M， DU G G， et al. DeepVIO： Self-supervised deep learning of monocular visual inertial odometry using 3D geometric constraints[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Macau， China： IEEE， 2019： 6906-6913.

[87]OLEYNIKOVA H， BURRI M， LYNEN S， et al. Real-time visual-inertial localization for aerial and ground robots[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Hamburg， Germany： IEEE， 2015： 3079-3085.

[88]BURRI M， OLEYNIKOVA H， ACHTELIK M， et al. Real-time visual-inertial mapping， re-localization and planning onboard MAVs in unknown environments[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Hamburg， Germany： IEEE， 2015： 1872-1878.

[89]LYNEN S， SATTLER T， BOSSE M， et al. Get out of my lab： large-scale， real-time visual-inertial localization[C]//Robotics： Science and Systems （RSS）. Romo， Italy： IEEE， 2015： 37.

[90]HUAI Z， HUANG G Q. Robocentric visual-inertial odometry[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Madrid， Spain： IEEE， 2018： 6319-6326.

[91]USENKO V， DEMMEL N， SCHUBERT D， et al. Visual-inertial mapping with non-linear factor recovery[J]. IEEE Robotics and Automation Letters（RA-L）， 2020， 5（2）： 422-429.

[92]YANG Z F， GAO F， SHEN S J. Real-time monocular dense mapping on aerial robots using visual-inertial fusion[C]//IEEE International Conference on Robotics and Automation （ICRA）. Singapore： IEEE， 2017： 4552-4559.

[93]SONG B W， CHEN W D， WANG J C， et al. Long-term visual inertial SLAM based on time series map prediction[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Macau， China： IEEE， 2019： 5364-5369.

[94]SCHNEIDER T， DYMCZYK M， FEHR M， et al. Maplab： an open framework for research in visual-inertial mapping and localization[J]. IEEE Robotics and Automation Letters （RA-L）， 2018， 3（3）： 1418-1425.

[95]SHAN Z Y， LI R J， SCHWERTFEGER S. RGBD-inertial trajectory estimation and mapping for ground robots[J]. Sensors， 2019， 19（10）： 2251.

[96]GENEVA P， ECKENHOFF K， LEE W， et al. OpenVINS： A research platform for visual-inertial estimation[C]//IEEE International Conference on Robotics and Automation （ICRA）. Paris， France： IEEE， 2020： 4666-4672.

[97]LI S P， ZHANG T， GAO X， et al. Semi-direct monocular visual and visual-inertial SLAM with loop closure detection[J]. Robotics and Autonomous Systems， 2019： 201-210.

[98]JONES E， SOATTO S. Visual-inertial navigation， mapping and localization： A scalable real-time causal approach[J]. The International Journal of Robotics Research， 2011， 30（4）： 407-430.

[99]CADENA C， CARLONE L， CARRILLO H， et al. Past， present， and future of simultaneous localization and mapping： toward the robust-perception age[J]. IEEE Transactions on Robotics， 2016， 32（6）： 1309-1332.

（責任編輯：曾 晶）