夏琳琳,張晶晶,初妍,張道暢,宋梓維,崔家碩,劉瑞敏

(1.東北電力大學(xué) 自動化工程學(xué)院,吉林 吉林 132012;2.哈爾濱工程大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,黑龍江 哈爾濱 150001;3.東北電力大學(xué) 理學(xué)院,吉林 吉林 132012)

0 引言

1986年,Smith等[1]提出同時定位與地圖創(chuàng)建(Simultaneous Localization and Mapping,SLAM)技術(shù)。經(jīng)過三十余年的發(fā)展與完善,SLAM已成為解決移動機器人自主導(dǎo)航問題的首選方案。從理論上看,SLAM過程可以抽象為一個機器人位姿與地圖路標(biāo)聯(lián)合的狀態(tài)估計問題;從技術(shù)上看,SLAM體現(xiàn)為機器人通過特定傳感器對自我定位及增量建圖兩個核心任務(wù)的同步實現(xiàn)。早期的SLAM在硬件上借助一系列的范圍傳感器(如激光雷達(dá)、紅外、聲吶等)。然而,受制于范圍傳感器的物理形式和功率限制,此類SLAM技術(shù)在動態(tài)、復(fù)雜、大規(guī)模及非結(jié)構(gòu)環(huán)境中的工作可靠性面臨很大挑戰(zhàn)。

近年來,隨著低成本相機的推廣及計算機視覺(Computer Vision,CV)技術(shù)的成熟,視覺SLAM正快速發(fā)展。其廣泛借鑒CV領(lǐng)域中解決運動恢復(fù)結(jié)構(gòu)問題的成熟方案,并在此基礎(chǔ)上結(jié)合機器人狀態(tài)估計理論中的濾波器理論、非線性優(yōu)化理論,最終形成基本的算法框架。由于視覺SLAM本質(zhì)上是一個“通過跟蹤時序圖像間局部特征變化,增量地估計相機運動”的過程,其在長航時導(dǎo)航任務(wù)中極易引發(fā)前端視覺里程計(Visual Odometry,VO)的漂移[2]。2007年至今,將VO與機器人自身攜帶的慣性測量單元(Inertial Measurement Units,IMU)有效集成,催生了視覺慣性里程計(Visual Inertial Odometry,VIO)及視覺-慣性導(dǎo)航系統(tǒng)(Visual-Inertial Navigation System,VINS)的研究。

當(dāng)前,盡管多源融合的視覺SLAM研究還可以從多特征基元(點、線、面及其他高維幾何特征等)融合、多維度(幾何、語義、物理信息及深度神經(jīng)網(wǎng)絡(luò)的推理信息等)融合[3]等展開,然而,將新型傳感器量測輸入的信息融合策略在系統(tǒng)可靠性、環(huán)境適用性、結(jié)果的可解釋性等方面具備的突出優(yōu)勢,必將使其成為促進(jìn)視覺SLAM實用化進(jìn)程的主要解決途徑。

太陽光與大氣散射形成的偏振光是地球大氣空間的一種自然屬性。利用大氣偏振模式的穩(wěn)定性、對稱性等特性,仿生物偏振光導(dǎo)航不但適用于難以使用磁羅盤定向的高緯度地區(qū),而且對弱/無衛(wèi)星導(dǎo)航信號等陌生環(huán)境下的機器人自主導(dǎo)航與定位也起到了很好的補充作用[4]。

將天空偏振光引入以視覺SLAM為主導(dǎo)的室外機器人導(dǎo)航,體現(xiàn)為一種偏振光輔助VINS的思想,即以偏振光作為長期的定向參考,修正VINS長航時室外軌跡跟蹤引起的航向角累積誤差。從仿生光磁導(dǎo)航的角度來分析,仿生地磁導(dǎo)航同樣可以抑制航向角偏差,但存在極易受載體磁場影響[5]、地球地磁數(shù)據(jù)庫尚不完善等問題[6]。隨著微機電系統(tǒng)(Micro Electro Mechanical System,MEMS)偏振傳感器模塊化集成的實現(xiàn),將其與低成本相機、IMU等組合,搭載于車輛、自主移動機器人(Autonomous Mobile Robot,AMR)等載體,實現(xiàn)穩(wěn)定、無源且完全自主的導(dǎo)航定位已成為室外視覺SLAM研究的熱點之一。誠然,仿生偏振光導(dǎo)航技術(shù)本身尚在發(fā)展完善之中,本文以此為契機,通過回顧、分析多傳感器融合的視覺SLAM解決方案、梳理偏振光導(dǎo)航的已有研究進(jìn)展,期望與研究者一道探索融合天空偏振光的視覺SLAM的關(guān)鍵技術(shù),并力圖涵蓋視覺SLAM框架下的圖優(yōu)化融合策略、面向室外機器人操作系統(tǒng)(Robot Operation System,ROS)傳感器時間同步等挑戰(zhàn)問題。

1 多傳感器融合的視覺SLAM研究進(jìn)展

1.1 視覺SLAM

如圖1所示,典型的視覺SLAM算法框架包含圖像數(shù)據(jù)采集、前端、后端、回環(huán)檢測和建圖5個模塊。

圖1 典型視覺SLAM算法框架Fig.1 Algorithm framework of typical visual SLAM

前端VO是在連續(xù)的圖像序列中提取、跟蹤視覺特征,初步估計相機位姿和地圖路標(biāo)的過程。其實現(xiàn)方法有借助圖像局部特征點估計相機運動的特征點法和直接使用像素強度信息的直接法。前者的頂峰之作為定向加速段測試的特征和旋轉(zhuǎn)二進(jìn)制魯棒獨立基本特征(Oriented FAST and Rotated BRIEF,ORB)-SLAM系列[7],后者的杰出代表為大規(guī)模直接單目(Large-Scale Direct Monocular,LSD)-SLAM[8]、直接稀疏里程計(Direct Sparse Odometry,DSO)[9]等。

后端旨在綜合VO和回環(huán)檢測模塊提供的信息,同步優(yōu)化相機位姿和地圖路標(biāo)。實現(xiàn)方法有濾波法和非線性優(yōu)化法。當(dāng)前,以非線性優(yōu)化理論為主導(dǎo)的批量狀態(tài)估計已成為主流,可借助高斯-牛頓、列文伯格-馬夸爾特等優(yōu)化方法對數(shù)據(jù)進(jìn)行迭代求解。

回環(huán)檢測旨在判斷機器人是否回歸到先前位置,并為后端提供校正信息。近年來,針對直接法缺乏成熟的與之匹配的回環(huán)檢測問題,研究人員相繼開發(fā)了環(huán)路閉合DSO(Loop-closure DSO,LDSO)[10]、直接稀疏映射(Direct Sparse Mapping,DSM)[11]及帶環(huán)路閉合檢測的視網(wǎng)膜皮層DSO[12]等算法,在一定程度上為系統(tǒng)添加了回環(huán)檢測能力。

建圖是根據(jù)優(yōu)化后的相機位姿和環(huán)境地圖,進(jìn)一步重建與導(dǎo)航任務(wù)相匹配的地圖的過程。目前隨著美國微軟公司生產(chǎn)的Kinect系列低成本RGB-D相機的推廣,最新的研究偏向基于立方體模型和二次曲面模型的輕量型語義地圖重建[13]。

如果把工作環(huán)境限制在靜態(tài)、光照變化不明顯、低速運動的理想室內(nèi)環(huán)境中,視覺SLAM技術(shù)已經(jīng)相當(dāng)成熟。然而,面對運動速度過快、旋轉(zhuǎn)過激烈、曝光過度等實際場景,視覺SLAM仍比較敏感,提升其在動態(tài)場景下的魯棒性、精度和長期自主性,成為當(dāng)前視覺SLAM亟待解決的問題。

“將各種傳感器進(jìn)行多層次、多空間的信息互補和優(yōu)化,產(chǎn)生對觀測環(huán)境一致性解釋”的多傳感器融合技術(shù)是應(yīng)對上述挑戰(zhàn)性問題的可行解。IMU在連續(xù)、短時快速運動中定位精度高,可滿足AMR短時快速運動下穩(wěn)定導(dǎo)航的任務(wù)需求(但存在測量誤差隨時間累積的問題[14]);全球?qū)Ш叫l(wèi)星系統(tǒng)(Global Navigation Satellite System,GNSS)廣泛用于室外載體的位置測量,是AMR長航時導(dǎo)航定位的可靠參考手段之一;其他如激光雷達(dá)、WiFi、地磁、紅外等傳感器也可以在一定程度上彌補相機在挑戰(zhàn)環(huán)境下的視覺退化問題,成為視覺SLAM的有益補充。

1.2 多傳感器融合的視覺SLAM

多傳感器融合的視覺SLAM將室內(nèi)動、靜態(tài)場景下的準(zhǔn)確定位及地圖重建問題,擴展至傳感器類型、容錯性能及融合策略等多個側(cè)面。鑒于已有研究[3,15]已對視覺+IMU、視覺+激光雷達(dá)+IMU等導(dǎo)航模式在松、緊耦合方式上作出分類闡述,本節(jié)專注于對近年興起的各類基準(zhǔn)及當(dāng)前技術(shù)水平(state-of-the-art,SOTA)算法的回顧,并側(cè)重談及圖優(yōu)化信息融合策略。

1.2.1 視覺+IMU

經(jīng)典算法單傳感器融合(Single-Sensor Fusion,SSF)[16]以擴展卡爾曼濾波(Extended Kalman Filter,EKF)為框架,融合以PTAM(Parallel Tracking and Mapping)及IMU、相機解算的位姿。2007年,多狀態(tài)約束卡爾曼濾波器(Multi-State Constraint Kalman Filter,MSCKF)[17]通過將特征點轉(zhuǎn)化為相機位姿間的幾何約束,首次實現(xiàn)了視覺-慣性傳感器間的緊耦合。除此之外,魯棒VIO(Robust VIO,ROVIO)[18]探索了將圖像光度誤差作為濾波器觀測更新項的技術(shù)。

2014年以來,隨著非線性優(yōu)化慣性VO開源關(guān)鍵幀視覺慣性SLAM(Open Keyframe-based Visual-Inertial SLAM,OKVIS)[19]的問世,更多的學(xué)者采用圖優(yōu)化的方式來求解全局一致的軌跡和地圖問題。不難發(fā)現(xiàn),該模型中VO是主體,圖優(yōu)化則聯(lián)合IMU誤差項。VINS-Mono[20]是當(dāng)前性能最卓越的單目視覺+慣性系統(tǒng)之一,其通過高效的初始化、緊耦合非線性優(yōu)化方法得到高精度的VIO,并利用回環(huán)檢測、全局位姿圖優(yōu)化等機制,獲得了強魯棒的相機-IMU集成方案。2017年后陸續(xù)開源的VINS-mobile[21]、VINS-Fusion[22]則分別是其手機、雙目ROS版本。近期,基于卷簾快門RGB-D相機的VINS-RSD[23]、輕型立體VINS[24]等又進(jìn)一步延展了VINS-mono的功能。除此之外,將深度學(xué)習(xí)用于VIO的研究也逐漸發(fā)展起來,并在解決圖像-IMU信息間關(guān)聯(lián)[25]、傳感器模型間不確定性[26]等方面取得應(yīng)用。同時,將多特征基元考慮進(jìn)VINS的研究[27]也逐漸引起了學(xué)者們的關(guān)注,衍生出高效魯棒的線特征提取、初始化、數(shù)據(jù)關(guān)聯(lián)等相關(guān)研究。

1.2.2 視覺+激光雷達(dá)+IMU

相機、激光雷達(dá)及IMU三種傳感器間的優(yōu)勢互補同樣可以由松、緊耦合兩種組合模式實現(xiàn)?；パa的機理有：以激光雷達(dá)的點云深度估計為視覺SLAM特征點提供深度信息[28]、以VIO的輸出為激光雷達(dá)里程計提供運動先驗信息[29],抑或使VIO與激光里程計形成單獨的子系統(tǒng)再進(jìn)行集成[30]等。不難發(fā)現(xiàn),上述融合方案以不同形式構(gòu)成了傳感器間的主-輔設(shè)計。值得一提的是,近期基于圖優(yōu)化框架開發(fā)的LVI-SAM[31]提升了整機系統(tǒng)的容錯性能,即激光慣導(dǎo)和VIO任一子系統(tǒng)失效時,整機系統(tǒng)仍可正常工作。VILENS[32]則從移動平臺有限的計算資源挑戰(zhàn)出發(fā),通過連貫的因子圖設(shè)計,使傳感器間的實時平滑耦合成為可能。足型機器人動態(tài)手持設(shè)備戶外掃描場景下的測試驗證了該方案可有效應(yīng)對傳感器退化問題。目前,探索視覺+激光雷達(dá)+IMU在提升系統(tǒng)冗余度、容錯能力及信息可靠性等方面的研究仍是此類導(dǎo)航技術(shù)的難點及熱點之一。隨著圖論的發(fā)展,以視覺SLAM易于實現(xiàn)的因子圖優(yōu)化模型作為信息融合工具,回避掉松耦合下視覺約束與IMU、激光雷達(dá)約束解耦的信息丟失問題、濾波器的馬爾可夫(Markov)性假設(shè)問題等,有望進(jìn)一步提高整機系統(tǒng)的魯棒性。

1.2.3 視覺+IMU+GNSS

相機、IMU及GNSS的組合研究將視覺SLAM推廣至室外應(yīng)用場景。眾所周知,IMU/GNSS是最為主流的導(dǎo)航集成組件,但其只能在GNSS短時中斷下維持較高精度。而在GNSS觀測惡劣的城市環(huán)境中,往往存在豐富的視覺特征,將環(huán)境感知豐富、場景辨識能力強的視覺傳感器引入,是獲得連續(xù)導(dǎo)航定位信息的有效手段。當(dāng)前,從解決途徑上看,改進(jìn)現(xiàn)有的VIO,輔以全球定位系統(tǒng)(Global Positioning System,GPS),或是在開源的VINS-mono等算法上融入GPS約束的兩類研究[33-34]脈絡(luò)較為清晰。從融合策略上看,有基于圖優(yōu)化的方法[20,34],或基于EKF成型濾波器[35]及其改進(jìn)模型MSCKF的方法[36]等。此外,面向GNSS低可見性、四星定位不可用等情形,相關(guān)研究則更關(guān)注GNSS被動式導(dǎo)航的屬性,力求在弱/無衛(wèi)星信號(有限測量)條件下,提升視覺-慣性組件的性能。

AMR視覺導(dǎo)航脈絡(luò)蜿蜒至今,隨著人們對地球自然屬性認(rèn)識的深入,開發(fā)具備無引導(dǎo)特性的自主導(dǎo)航方法作為視覺+IMU的補充,引領(lǐng)了當(dāng)前視覺SLAM室外應(yīng)用的前沿研究。地磁、重力、偏振等都是地球的固有屬性,近年來,不乏在VIO或VINS的框架下結(jié)合地磁信息抑制偏航角偏差的研究[37-38]。注意到,利用偏振羅盤或基于成像理論的大氣偏振模式同樣可以獲得無源穩(wěn)定的航向角觀測,且仿生偏振光導(dǎo)航技術(shù)本身尚在發(fā)展完善之中,為此,本文致力于探索融合天空偏振光的視覺SLAM的最新研究進(jìn)展。其他如視覺+WiFi[39]、視覺+激光雷達(dá)+IMU+GPS[40]、重力+SLAM[41]等導(dǎo)航模式在此不再贅述。

2 天空偏振光導(dǎo)航研究進(jìn)展

偏振光導(dǎo)航利用天空偏振模式獲取羅盤信息,以太陽光在大氣中傳輸?shù)钠裉匦詾槔碚撘罁?jù),以生物復(fù)眼背部邊緣區(qū)域(dorsal rim area,DRA)中小眼陣列的偏振光感知機理及偏振敏感神經(jīng)系統(tǒng)對偏振信息的處理機制為仿生基礎(chǔ),實現(xiàn)對載體航向信息的獲取[42]。作為一種無源、自主的新型仿生導(dǎo)航方法[43- 45],具有誤差不隨時間累積、抗干擾能力強、精度高等特點,是對現(xiàn)有導(dǎo)航技術(shù)的有利補充。

早期的感知機理研究源于Frisch[46]對昆蟲奇特的天空偏振矢量場感知力的發(fā)現(xiàn)。而后,偏振光導(dǎo)航呈現(xiàn)出新興交叉學(xué)科的特色,研究擴展至光學(xué)、神經(jīng)科學(xué)、大氣科學(xué)及信息學(xué)等領(lǐng)域。瑞士、瑞典、德國、美國等西方國家在偏振感知機理的研究上取得了一系列的顯著成果[47-50],隨著蝴蝶、蟋蟀和沙蟻等更多昆蟲的偏振光導(dǎo)航能力被證實,開啟了開發(fā)具有偏振光檢測功能的傳感器的研究。

2.1 偏振導(dǎo)航傳感器

在工程上,按照測量手段,偏振導(dǎo)航傳感器可劃分為基于局部天空區(qū)域的點源式偏振光導(dǎo)航傳感器和基于全天空區(qū)域的成像式偏振光導(dǎo)航傳感器(單點式和陣列式)[51]。前者結(jié)構(gòu)簡單,以Lambrinos等[52]設(shè)計的基于光電二極管的三通道偏振光檢測裝置為代表(見圖2(a)所模擬的沙蟻POL-神經(jīng)元信號處理機制);后者結(jié)構(gòu)更加精細(xì),由光學(xué)鏡頭、偏振器及圖像傳感器等組成(見圖2(b)),更接近生物DRA偏振光探測器官。

圖2 偏振測量系統(tǒng)示意圖Fig.2 Schematic diagrams of polarization measurement systems

近年來,偏振傳感器的小型化及高度集成特性為其在機器人領(lǐng)域的應(yīng)用提供了有利條件：德國 Schmolke等[53]在室內(nèi)人造偏振光環(huán)境下,成功進(jìn)行了移動機器人路徑跟蹤實驗;澳大利亞 Chahl等[54]模仿蜻蜓偏振敏感機理,研制出包含3個獨立敏感單元的偏振光傳感器,并在無人機中完成初步航向測量;法國Expert等[55]基于CurvACE傳感器,研發(fā)出全球首個不帶重力加速度計即可沿崎嶇表面自由飛行的迷你飛行器BeeRotor。2019年,法國 Dupeyroux等[56]開發(fā)出一款裝有光學(xué)羅盤(將紫外偏振光轉(zhuǎn)化為電信號)和光移動傳感器的小型六足機器人AntBot,其重量僅為2.3 kg,在晴朗或多云的天氣下均可精確定位。

國內(nèi)一些高校和科研院所也在偏振傳感器研制方面投入了大量的工作。褚金奎等[57]率先在國內(nèi)開展了對本領(lǐng)域的研究,創(chuàng)新性地將四方向金屬納米光柵壓印在CMOS圖像傳感器表面,實現(xiàn)了由單圖傳模塊對多方向偏振光的檢測。Fan等[58]發(fā)布的成像式偏振樣機采用了四通道的CCD相機。韓國良等[59]將芯片在CCD/CMOS的每一個像元上刻蝕金屬光柵,實現(xiàn)了光柵與感光芯片的一體化集成。此外,白楊等[60]、韓勇等[61]、Chen等[62]、楊中光[63]也在裝置研發(fā)、誤差建模及標(biāo)定等方面對領(lǐng)域的發(fā)展提供了創(chuàng)新技術(shù)支持。

2.2 天空偏振模式

建立一個可以描述天空偏振模式真實特性的數(shù)學(xué)模型是模仿生物進(jìn)行偏振光導(dǎo)航的前提。

2.2.1 天空偏振模式表征模型

現(xiàn)有的天空偏振模式表征模型主要包括Rayleigh單次散射模型、Berry奇異值模型、Monte Carlo隨機傳輸模型及Hannay多次散射模型等。Rayleigh散射理論較完整地反應(yīng)了晴朗天空散射光的偏振分布。積云、卷云及層云等[64]對太陽光具有不同的吸收能力,從而對偏振態(tài)產(chǎn)生影響,米氏(Mie)散射理論則詳盡分析了有云、塵、氣溶膠等天空光的散射狀態(tài)。基于上述散射模型,本節(jié)分類歸納了近年來各類模型下的主要研究成果(見表1)。值得一提的是,目前尚無一個完備的天空偏振模式解析模型,研究者可根據(jù)環(huán)境、氣候、時空等因素構(gòu)建多因子可控、與實際天空偏振光分布形態(tài)更接近的解析模型。

表1 基于兩種散射理論提出的解析模型Table 1 Analytical models based on two scattering theories (Rayleigh and Mie)

圖3和圖4分別給出Rayleigh模型和Berry模型的三維視圖。其中,設(shè)偏振角(angle of polarization,AOP)為A和偏振度(degree of polarization,DOP)為D,二者均為重要的偏振特性表征參量,可由Stokes矢量參數(shù)表示為

圖3 Rayleigh模型三維視圖(太陽高度角=30°)Fig.3 Rayleigh model in 3D view (sun altitude =30°)

圖4 Berry模型三維視圖Fig.4 Berry model in 3D view

(1)

(2)

式中：Q、U分別為兩個正交方向上的線偏振光的比例;V為右旋圓偏振光的比例,由于天空偏振光主要為線偏振光,因此認(rèn)為V=0;I為總光強。而Stokes矢量表示為S=[I,Q,U,V]T,為描述天空光偏振態(tài)最常見的表征矢量。

2.2.2 偏振模式測量

天空偏振模式以太陽子午線為中心呈對稱分布。主流的偏振導(dǎo)航算法是以太陽子午線作為導(dǎo)航的參考基準(zhǔn),先利用成像式偏振傳感器獲取全天域偏振圖像,再采用相應(yīng)的技術(shù)手段,擬合或提取出太陽子午線(或中性點)位置,進(jìn)而開展對稱特性分析,最終判斷導(dǎo)航方向[76]。已有研究主要面向有限采樣點偏振擬合[77]、AOP分布對稱性評估[45]、基于Hough變換的太陽子午線提取[78]及模糊C-均值聚類法求取太陽子午線聚類中心等展開[79]。近期,又有學(xué)者對此問題下的直線擬合開展專門研究,提出利用連續(xù)旋轉(zhuǎn)法精確提取太陽子午線的算法[80]。同時,利用支持向量機、深度學(xué)習(xí)等對原始偏振圖像異常像素剔除,已被證實能夠有效應(yīng)對多云、遮擋等噪聲情形下的天空偏振特征識別。圖5給出理論上太陽位置和太陽子午線位置聚類中心確定的示意圖。

圖5 理論上的聚類結(jié)果Fig.5 Theoretical clustering results

3 融合天空偏振光的視覺SLAM研究進(jìn)展與關(guān)鍵技術(shù)展望

無論是點源式,還是成像式偏振導(dǎo)航傳感器,目前只能測量2維平面內(nèi)的角度[81],對于世界坐標(biāo)系、載體坐標(biāo)系及相機量測(視覺、慣性)坐標(biāo)系等三維世界來說,這種自主定位、缺少維度的導(dǎo)航的應(yīng)用意義不大。將偏振光與IMU、相機集成起來,以偏振光作為長期的定向參考,修正VINS長航時室外軌跡跟蹤引起的航向角累積誤差,對弱/無GNSS信號條件下的機器人自主導(dǎo)航將起到很好的補充。

迄今,以VINS(或視覺+IMU)輔以偏振定向的研究尚不多見,本節(jié)按照測量手段(偏振羅盤直接輸出航向角、偏振成像儀為系統(tǒng)提供定向觀測約束)分類,從相機類型、融合策略、模型描述、實驗載體及位置定位精度等多個側(cè)面,對領(lǐng)域的研究進(jìn)行梳理(見表2)。由表2可以看出,文獻(xiàn)[87]將基于Berry模型的偏振成像觀測集成至VINS-Fusion框架,構(gòu)建圖優(yōu)化模型。作為當(dāng)前AMR應(yīng)用的先導(dǎo)性研究,研究中所重點談及的ROS/Linux Ubuntu 18.04平臺下的多源數(shù)據(jù)時間戳對齊、用于離線運動恢復(fù)的rosbag錄包等細(xì)化方案,能夠為AMR導(dǎo)航實測提供一定的技術(shù)支持。本節(jié)列出部分開放式問題供大家討論,解決以下關(guān)鍵問題將有望推動融合天空偏振光的視覺SLAM技術(shù)的發(fā)展。

表2 輔以天空偏振光的視覺/慣性組合解決方案Table 2 Polarized skylight-aided visual-inertial solutions

3.1 圖節(jié)點導(dǎo)航信息擴展與邊約束

與基于1階Markov性質(zhì)的濾波器[88]相比,圖優(yōu)化由于引入了全面的變量和約束,有利于獲得全局一致的位姿估計,應(yīng)是未來輔以天空偏振光的視覺/慣性組合后端優(yōu)化的主流方法。

在圖結(jié)構(gòu)創(chuàng)建中,偏振成像儀為系統(tǒng)提供定向觀測約束,因此可以將偏振信息作為節(jié)點的新增屬性,對已有節(jié)點信息進(jìn)行擴展。即設(shè)計中,將相對位姿表示為

(3)

圖6 偏振光輔助的VINS-Fusion圖優(yōu)化模型Fig.6 Graph optimization model for polarized light-aided VINS-Fusion

3.2 基于ROS平臺的離線運動恢復(fù)

錄制數(shù)據(jù)集(錄包)可以離線實時重復(fù)播放模擬實際場景,避免實際運行時每次軌跡不一致對不同組合導(dǎo)航系統(tǒng)性能評估造成影響。由于偏振光輔助的VINS-Fusion實驗在室外進(jìn)行,故可以調(diào)用ROS中rosbag功能包,利于后續(xù)離線的運動恢復(fù)。使rosbag同時錄制偏振光成像儀、雙目相機MYNTEYE、IMU和激光雷達(dá)VelodyneVLP-16,確保對齊時間戳。集成的信息處理示意圖如圖7所示(校園場景實驗已取得全局一致的導(dǎo)航軌跡跟蹤效果),VelodyneVLP-16在ROS下獲得空間信息,在確保PCL開發(fā)環(huán)境(實時處理3維點云數(shù)據(jù))與ROS通信端統(tǒng)一的情形下,由隨機抽樣一致(Random Sample Consensus,RANSAC)算法做誤匹配剔除,并經(jīng)迭代最近點(Iterative Closest Point,ICP)配準(zhǔn),獲得精確的軌跡信息。該偏振光輔助的VINS-Fusion僅采用視覺SLAM框架(如圖6所示,視覺SLAM解算的航向與偏振成像觀測之差作為優(yōu)化變量),即未采用激光SLAM框架。經(jīng)上述數(shù)據(jù)處理及特征點匹配,VelodyneVLP-16所提供的信息僅用作Ground Truth。偏振成像儀的定向觀測需解算航向(由ViewNX2軟件),故可將PC機上的解算結(jié)果由USB傳送至ROS系統(tǒng)。

圖7 Bulldog-CX機器人實驗系統(tǒng)Fig.7 Bulldog-CX robot experiment system

不同傳感器間的時間同步非常重要,rosbag功能包在存儲時間時,接收消息的時間和生成消息的時間可能會有差別,故選擇合適的時間作為播放時的時間戳較為可行——使用每個topic內(nèi)的header時間作為播放時的時間戳(rosbag功能包記錄時間使用的是當(dāng)前的電腦時間);而對于沒有header的文件,則使用幀數(shù)最高的topic作為播放時的時間戳。此外,針對對齊后的時間戳?xí)S運行時間產(chǎn)生漂移錯位的問題,文獻(xiàn)[89]提出通過設(shè)計一個硬件上的脈沖發(fā)生器進(jìn)行消除。

3.3 天空光偏振模式的選擇

偏振光輔助的VINS-Fusion以偏振光作為長期的定向參考,盡管成像儀以先測量全天域的偏振信息,再經(jīng)圖像處理的方式參與到集成信息的處理會比較復(fù)雜,但相較于航向的羅盤式輸出方式,具有結(jié)果可解釋性強、抗干擾及不易受到天空環(huán)境影響等優(yōu)勢。基于2.2節(jié)的分析可知,受到大氣成分、氣溶膠粒子濃度和云霧等影響,需要對適用于導(dǎo)航應(yīng)用的天空偏振模式基于不同的機理進(jìn)行建模和測試。雖然直接的航向角羅盤式輸出更加便捷,但無法基于室外應(yīng)用時的天空環(huán)境(如晴朗、渾濁大氣等),使用戶做出導(dǎo)航參考基準(zhǔn)線、航向等是否準(zhǔn)確[90],是否需要進(jìn)一步優(yōu)化處理的判斷。注意到,復(fù)雜天氣條件的大氣偏振模式圖與偏振光導(dǎo)航傳感器的相關(guān)性同樣有待研究,在VINS-Fusion長航時室外應(yīng)用中,不妨先進(jìn)行判斷天空偏振模式合理性的靜態(tài)實驗,再進(jìn)行如圖7所示的室外實驗。

本節(jié)還按照測量手段,從傳感器類型、融合策略及實驗載體等側(cè)面,對集成偏振傳感器的其他組合導(dǎo)航應(yīng)用進(jìn)行了歸納(見表3)。由表3可見,仿生偏振光導(dǎo)航正逐漸成為組合導(dǎo)航領(lǐng)域的研究熱點。結(jié)合1.2節(jié)對已有多傳感器融合的視覺SLAM的分析可以認(rèn)為,研發(fā)適應(yīng)性、魯棒性更強的仿生偏振光傳感器、探索更接近實際應(yīng)用環(huán)境的天空光偏振模式、開發(fā)更準(zhǔn)確的導(dǎo)航算法等,有望在無源且完全自主的導(dǎo)航框架下,將視覺SLAM推廣至室外長航時導(dǎo)航實際。

表3 輔以天空偏振光的其他導(dǎo)航解決方案Table 3 Other navigation solutions aided by polarized skylight

4 結(jié)論

融合天空光的視覺SLAM很大程度上依賴于純光學(xué)器件,更接近生物的導(dǎo)航機理。作為以VINS-Fusion圖優(yōu)化模型實現(xiàn)AMR多源信息融合的先導(dǎo)性研究,本文對圖結(jié)構(gòu)創(chuàng)建、基于ROS平臺的離線運動恢復(fù)及天空偏振模式確定等深入探索,有望推動仿生物導(dǎo)航的發(fā)展。注意到,視覺-慣性組件的魯棒性改進(jìn)研究也在不斷取得突破：多特征基元融合的點-線VINS提升了視覺SLAM在弱紋理場景下的位姿估算精度;VIO中深度學(xué)習(xí)的融入則在應(yīng)對圖像運動模糊、光照變化及視覺-慣性退化等方面取得進(jìn)展,這些工作將進(jìn)一步優(yōu)化現(xiàn)有成熟的算法框架,并為偏振光輔助的VINS-Fusion應(yīng)用注入新的活力。偏振光導(dǎo)航技術(shù)亦在不斷發(fā)展完善之中,如環(huán)境偏振光分布規(guī)律等諸多問題仍有待探索,但已有研究已對其具備的穩(wěn)定、無源且完全自主特性做出較充分的證明。相信隨著眾多未解之題不斷被攻克,這類面向視覺傳感、仿生物導(dǎo)航的研究會不斷取得進(jìn)展,并將在導(dǎo)航、遙感、測繪及軍事探測等領(lǐng)域得到廣泛應(yīng)用。