王春喜 吳 躍 姜蘇洋 王 強 姜云翔
(1.北京航天計量測試技術研究所,北京 100076;2.火箭軍駐首都航天機械有限公司軍事代表室,北京 100076)
目前,車載慣性導航技術在軍事和民用領域廣泛應用,為我國國防事業(yè)建設和國民經(jīng)濟發(fā)展做出了重要貢獻。但是,由于慣性器件隨時間漂移導致車載慣性導航設備定位誤差會隨時間積累而不斷變大,在車輛長時間運行或長距離機動時,單純慣性導航已無法滿足相關定位精度的要求,而GPS/北斗等衛(wèi)星導航方式容易受到外界無線電信號的干擾,其可靠性在復雜電磁環(huán)境下難以滿足要求,針對上述問題,本文基于雙目視覺測量原理,通過對行車路線周邊環(huán)境特征的采集和拾取,提出了一種路網(wǎng)匹配定位方法,并開展了相關研究工作。
路網(wǎng)匹配定位采用視覺測量原理,如圖1所示,將雙目攝像裝置、高精度GPS安放于車輛頂部,在車輛行駛過程中對道路周邊環(huán)境特征進行采集,如道路交通標識、橋梁隧道、建筑物等,采集圖像特征時刻記錄高精度GPS給出的位置信息,將圖像特征信息和位置信息配對形成信標,每一個信標即為一個基準點,通過對信標的測量與存儲,形成一套信標基準數(shù)據(jù)庫。后期車輛導航過程中,不再依賴GPS,通過車載雙目攝像裝置采集路邊環(huán)境特征,匹配基準數(shù)據(jù)庫的信標,即可得到準確的車輛位置信息,進而完成車輛定位。
路網(wǎng)匹配定位方法實現(xiàn)主要分為數(shù)據(jù)采集制備、實時匹配定位兩個階段:
a)數(shù)據(jù)采集制備階段生成包含信標特征與位置信息的基準數(shù)據(jù)庫;
1-車載慣性導航設備;2-數(shù)據(jù)存儲及解算裝置;3-高精度GPS(在信標采集存儲階段使用);4-車載雙目攝像裝置;5-道路路標;6-橋梁、隧道、建筑物等其它自然標識圖1 路網(wǎng)匹配定位組成示意圖Fig.1 Map of road-matching location
b)實時匹配定位階段實現(xiàn)信標檢測識別、基準位置提取、相對位置計算、全局位置生成等功能,最終計算出車輛的位置信息。
系統(tǒng)設計原理如圖2所示。
圖2 路網(wǎng)匹配定位設計原理圖Fig.2 Schematic diagram of road-matching location
基于路標的識別與定位技術是路網(wǎng)匹配定位的核心部分,原因在于道路周邊的交通路標多且容易識別,通過車載攝像頭對路標進行識別定位,從而獲取載車精確的地理位置信息?;鶞蕯?shù)據(jù)庫是一套存儲相應路標及基準位置信息的數(shù)據(jù)庫,需要前期進行相關信息的采集和存儲。
3.1.1 數(shù)據(jù)采集與編譯
數(shù)據(jù)采集與編譯工作流程如圖3所示。
圖3 數(shù)據(jù)采集與編譯流程Fig.3 Data acquisition and compilation process
數(shù)據(jù)采集模式下,需要對視頻圖像序列進行路標特征檢測,如果被檢測認定為屬于路標特征,則對該特征區(qū)域進行提取,構成路標基準圖像,同時對該路標特征進行分類處理,即記錄路標特征的形狀、顏色等類別信息。路標基準圖像與其對應的地理坐標信息存儲在基準數(shù)據(jù)庫中。
數(shù)據(jù)編譯主要完成以下操作:
a)提取路標圖像進行歸一化處理,作為路標基準圖像;
b)利用雙目視覺原理計算載體在采樣時刻與基準路標的相對物理距離;
c)通過同步采集的高精度GPS數(shù)據(jù),計算基準路標的實際地理位置信息;
d)將獲取的基準路標圖像與相應的地理坐標組合成特征數(shù)據(jù)對,存儲在掛接于路網(wǎng)數(shù)據(jù)段的路標數(shù)據(jù)集中。
數(shù)據(jù)庫的設計須考慮基準數(shù)據(jù)存儲的靈活性、兼容性、獨立性以及數(shù)據(jù)讀取性能等因素,選用SQLite作為數(shù)據(jù)存儲系統(tǒng)。
SQLite 是一個開源的嵌入式關系數(shù)據(jù)庫,實現(xiàn)自包容、零配置、支持事務的SQL數(shù)據(jù)庫引擎。其特點是高度便攜、使用方便、結構緊湊、高效、可靠。與其他數(shù)據(jù)庫管理系統(tǒng)不同,SQLite 的安裝和運行非常簡單,在大多數(shù)情況下只要確保SQLite的二進制文件存在即可開始創(chuàng)建、連接和使用數(shù)據(jù)庫。
當路標數(shù)據(jù)集過大時會影響匹配定位系統(tǒng)的查詢性能,從而影響系統(tǒng)的精度與實時性。為此,基準數(shù)據(jù)的存儲需遵循以下規(guī)則進行優(yōu)化:
a)對地理區(qū)域進行劃分處理,即劃定數(shù)據(jù)存儲范圍,依據(jù)車輛特定行駛區(qū)域等分類方法將數(shù)據(jù)進行區(qū)域級存儲。該方法在保證數(shù)據(jù)獨立、完整的同時,可極大地減少存儲量,并提高了數(shù)據(jù)內(nèi)容的安全性;
b)對于長路段,可依據(jù)岔路口等交叉點信息,將單一路段打斷為多個路段,從而提高路徑幾何與屬性(包含路標數(shù)據(jù)集)的訪問速度;
c)路標數(shù)據(jù)需做歸一化處理,便于存儲及后續(xù)匹配識別流程的使用;
d)為路段及路標基準建立空間樹索引,以提高查詢訪問的效率。
3.1.2 路標的檢測、識別與定位
路標識別與定位目的為通過識別路標,獲取對應的地理位置信息。
系統(tǒng)首先依據(jù)慣性導航系統(tǒng)輸入的位置、定位精度等數(shù)據(jù),劃定適當?shù)乃阉鲄^(qū)域,取得鄰近特征集合;在實時場景影像中檢測到路標特征后,將該特征與鄰近特征集合中的基準路標圖像作匹配識別;匹配成功后,獲取路標基準對應的地理坐標,并利用雙目視覺原理計算得到采樣時刻載體的實際地理位置信息。
路標檢測是數(shù)據(jù)采集及匹配識別的基礎,其檢測效率直接影響系統(tǒng)的精確度與實時性,是系統(tǒng)中較重要的環(huán)節(jié),為滿足實時性應用要求,優(yōu)化該過程如下:
a)使用金字塔掃描,從圖像中提取48*48的圖像;
b)提取圖像的MCT特征,如圖4所示;
c)使用基于GPU的SVM分類器,對圖像分類:圓形路牌、三角路牌、非路牌,如圖5所示;
d)對圓形路牌、三角路牌進行預處理,生成4種預處理圖像:圖像調(diào)整、直方圖均衡、自適應直方圖均衡和對比度歸一化;
e)對每種類型的預處理圖像生成5種深度神經(jīng)網(wǎng)絡,一個20列深度神經(jīng)網(wǎng)絡;
f)根據(jù)20列神經(jīng)網(wǎng)絡做決策輸出,判定交通路牌類別;
g)提取圖像。
圖4 圖像的MCT特征提取Fig.4 MCT feature extraction of image
圖5 基于SVM的交通標志檢測流程Fig.5 Traffic sign detection process based on SVM
為提高系統(tǒng)的可用性,在不具備常規(guī)交通設施標識等強特征信標時,需補充其他識別特征,以增強系統(tǒng)定位數(shù)據(jù)的覆蓋率。該類識別物可以是橋梁、隧道、建筑物等,采用基于3D配準的定位方法實現(xiàn)系統(tǒng)的定位結果輸出。
3D配準數(shù)據(jù)可由雙目攝像機采集計算生成。其完整的識別定位過程分為以下三個部分。
3.2.1 自然信標HOG特征庫的生成
a)拍攝全序列圖像;
b)輸入自然信標種子圖像;
c)訓練自然信標HOG特征;
d)機器學習,生成自然信標HOG特征集。
3.2.2 數(shù)據(jù)采集與編譯
a)雙目相機獲取圖像;
b)檢查HOG特征,如果是自然信標繼續(xù);否則跳轉到a);
c)雙目相機提取自然信標粗略位置;
d)采集點云數(shù)據(jù);
e)融合位置信息。
3.2.3 特征匹配與計算
a)雙目相機讀取圖像序列;
b)讀取位置參考信息,判斷一定范圍內(nèi)是否存在自然信標基準數(shù)據(jù);
c)實時獲得3D點云信息;
d)讀取一定范圍自然信標3D點云基準數(shù)據(jù);
e)做ICP配準,匹配所有點云信息,如果失敗轉入a),否則繼續(xù);
f)返回全局定位信息。
按照本文所述方法,項目團隊實際設計、生產(chǎn)一套路網(wǎng)匹配定位裝置,并進行了實際跑車測試,如圖6所示。該系統(tǒng)實現(xiàn)了下述功能:
a)由布設的車載雙目攝像裝置采集影像序列,通過與基準影像的匹配,獲取了當前的地理位置信息;
b)匹配定位成功后,除給出位置信息外,還可給出采樣時刻對應的慣性導航定位誤差,以及識別匹配的置信度、定位誤差結果的精度;
c)具備基準數(shù)據(jù)的自動采集功能,該基準數(shù)據(jù)包含用于匹配定位的標準圖像數(shù)據(jù)和與之對應的地理位置信息,其中,圖像數(shù)據(jù)由車載攝像裝置采集,地理位置信息由高精度GPS采集;
d)系統(tǒng)具有良好的人機交互界面,通過可視化,用戶能及時獲取在數(shù)據(jù)采集、匹配定位、實驗驗證等過程中的系統(tǒng)運行狀態(tài);通過直觀的圖形化展示,用戶可更深入地了解路網(wǎng)匹配定位方法的內(nèi)部工作細節(jié),有利于進一步開展算法分析、精度實驗等工作;
e)系統(tǒng)具有良好的日志及數(shù)據(jù)記錄功能,便于對記錄的歷史信息進行回放及對實驗過程的跟蹤調(diào)試。
圖6 路網(wǎng)匹配定位裝置及跑車測試Fig.6 Road-matching positioning device and testing
本文設計的路網(wǎng)匹配定位裝置單次數(shù)據(jù)采集持續(xù)時間可超過10h,單次采集原始數(shù)據(jù)量約260G;利用采集形成的基準數(shù)據(jù)庫和車載攝像裝置進行位置導航,經(jīng)與差分GPS的動態(tài)定位數(shù)據(jù)比對,在車速80km/h的情況下,該系統(tǒng)的定位誤差小于5m,視覺匹配定位匹配時間小于600ms,匹配概率大于90%。
為解決車載慣性導航設備長時間運行定位精度變差的問題,本文提出了基于雙目視覺測量原理的路網(wǎng)匹配定位方法,建立道路交通標識、橋梁、隧
道、建筑物等自然標識與其準確位置信息配對的基準數(shù)據(jù)庫,通過車載攝像裝置采集道路環(huán)境特征并與基準數(shù)據(jù)庫存儲的先驗信息匹配,進而實現(xiàn)對載車的準確定位。經(jīng)實際跑車試驗驗證,本文提出的路網(wǎng)匹配定位方法合理可行,具有工程可實現(xiàn)性,可作為車載慣性導航的輔助手段,提高車輛的綜合導航定位精度。