胡進 江源遠 李凱
摘要:車載環(huán)視系統(tǒng)往往需要提高對標定場地和環(huán)境的標準,以滿足拼接算法對原始圖像的要求。與車載環(huán)視系統(tǒng)的拼接相比,遙感影像鑲嵌同樣以相鄰圖像拼接為根本目的,具有原始圖像內(nèi)容復雜、畫質(zhì)不穩(wěn)定等共同點。
本文旨在探究遙感影像預處理算法對于車載環(huán)視系統(tǒng)拼接標定的應用,以期對現(xiàn)有的拼接標定算法,提升拼接質(zhì)量、同時降低場地和環(huán)境要求。
通過試驗結(jié)果可見:對原始圖像采用遙感影像鑲嵌的一系列預處理后,能夠適應此前車載環(huán)視系統(tǒng)難以成功拼接標定的場地環(huán)境,拼接誤差小于10%,符合車載環(huán)視畫面的拼接標定要求。
關(guān)鍵詞:遙感;預處理;環(huán)視系統(tǒng);標定
1 引言
車載環(huán)視系統(tǒng)一般通過安裝在車輛前、后保險杠和左、右后視鏡底部的四顆魚眼攝像頭,同時采集車輛前、后、左、右的周圍4幅實時圖像,環(huán)視控制器對4幅圖像進行壓縮裁減、失真校正、俯視變換、無縫拼接處理后,得到一幅車四周3600的全景鳥瞰圖,并實時送至車內(nèi)顯示屏顯示,讓駕駛員能清晰、直觀的看到車輛周圍數(shù)米內(nèi)的影像,輔助駕駛員進行泊車入庫、通過復雜路況道路,能有效的減少駕駛員視野盲區(qū)、消除安全隱患、減少刮蹭、碰撞等事故發(fā)生,提升用戶體驗。
車載環(huán)視系統(tǒng)要求4顆攝像頭視場全覆蓋車輛周圍360°范圍,因此一般采用170°(有些甚至達到195°)魚眼攝像頭。由于魚眼鏡頭存在嚴重的畸變,會使拍攝的圖像嚴重扭曲,因此需要進行非線性失真校正。同時為得到鳥瞰圖還需對校正后的圖像進行俯視變換。由于失真校正和俯視變換都為非線性變換,對圖像特征有一定的影響。如果攝像頭采集原始圖像質(zhì)量不高,如存在高光區(qū)域、亮度不均勻、圖像成像差異大等,經(jīng)過兩次非線性變換后,后續(xù)的無縫拼接效果可能比較差,嚴重時甚至可能無法完成拼接。特別在進行車載環(huán)視系統(tǒng)標定時,對環(huán)境光的限制、標志點的布置都要求比較高,否則可能無法實現(xiàn)標定過程。
遙感圖像鑲嵌一般由安裝在飛機或衛(wèi)星上的全景相機獲取對地的一系列具有部分重疊的圖像,然后經(jīng)過圖像幾何校正、圖像預處理、圖像特征點匹配和圖像融合后拼接形成覆蓋大范圍地面區(qū)域的高分辨率圖像。遙感圖像鑲嵌經(jīng)過多年的發(fā)展,現(xiàn)已成熟的應用于遙感圖像處理、CIS、行星科學研究等。由于圖像特殊采集方式,通常會受到大氣、太陽光角度、地形地貌、飛機或衛(wèi)星的運動等影響,遙感圖像通常會有系列圖像光照不均、紋理特征不豐富、反差較低、成像反差大等特點,但經(jīng)過遙感圖像鑲嵌預處理技術(shù)后,能較好地完成圖像拼接。
與車載環(huán)視系統(tǒng)拼接相比,遙感影像鑲嵌雖然在數(shù)據(jù)量、運算能力方面處于不同數(shù)量級,但都以相鄰圖像拼接為根本目的,具有原始圖像內(nèi)容復雜、畫質(zhì)不穩(wěn)定等共同特點。本文詳細分析了遙感影像鑲嵌預處理過程和方法,探討了將遙感影像預處理的流程和方法引入車載環(huán)視系統(tǒng)中的可能性,并進行了正常原始圖像質(zhì)量下和較差原始圖像質(zhì)量情況下的對比實驗,給出了引入遙感影像預處理和沒有引入遙感影像預處理時環(huán)視系統(tǒng)的拼接結(jié)果。
2 遙感影像預處理
為提升遙感影鑲嵌效果,減小或消除遙感圖像采集過程中由傳感器內(nèi)部噪聲、大氣、太陽光角度、地形地貌、飛機或衛(wèi)星的運動等引起對圖像噪聲或畸變,一般在進行遙感影像鑲嵌前必須進行預處理。遙感影像預處理主要包含幾何校正、輻射校正和圖像增強,其處理流程圖1所示:
幾何校正主要包含鏡頭扭曲校正、中心投影變換為正射投影和其他外方位元素校正。鏡頭扭曲校正主要對鏡片組的物理成像性質(zhì)造成的圖像扭曲進行校正。所用的校正參數(shù)來源于鏡頭組的物理規(guī)格;對于同一個鏡頭組,校正參數(shù)總是不變的。中心投影變換為正射投影主要讓圖像上各個點的視角,從“錐形”變?yōu)椤熬匦巍保聪送敢曣P(guān)系。其他外方位元素校正(外方位元素即傳感器的空間位置參數(shù)和姿態(tài)參數(shù))一般指在空間中的XYZ三軸坐標對外方位元素造成的其他幾何變形進行校正,例如由于傳感器視角偏置,造成圖像左右不對稱。
輻射校正主要包含低通濾波降噪和傳感器內(nèi)部輻射誤差校正。低通濾波降噪消除暗部噪點、傳感器熱噪點等符合高斯分布零均值特征的噪點。傳感器內(nèi)部輻射誤差校正主要校正傳感器內(nèi)部輻射誤差:由于相機采用超廣角鏡片組、很小的法蘭距(鏡片組中心平面,到感光元件平面的距離),所以中心與邊緣光線入射角度差別很大;導致同樣的光強,在中心和邊緣對應像素的輻射強度卻不同,從而引起的輻射誤差。
圖像增強主要包括直方圖線性變換、直方圖均衡、密度分割和帶有閾值的鄰近區(qū)域銳化。直方圖線性變換主要擴大原始圖像的亮度范圍,以便最大化地利用圖像處理設備的動態(tài)范圍。通過直方圖線性變換,能夠更明顯地體現(xiàn)亮部和暗部的細節(jié),進而減弱圖像中小范圍的高光和低光造成的畫而特征丟失。直方圖均衡將原始圖像隨機分布的直方圖,變換為均勻分布的直方圖,使得各個亮度的分布頻率基本相等。能夠增強圖像中大面積地物與其周圍地物的明暗反差。密度分割將原始圖像中,連續(xù)的亮度值范圍,按照出現(xiàn)的密度、分割為若干區(qū)間,使得亮度相近的區(qū)域能夠合并。帶有閾值的鄰近區(qū)域銳化即增強原始圖像中的高頻部分,從而提高圖像細節(jié)的反差,通過設置閾值,能夠削弱銳化過程中引入的隨機噪點。
3 遙感影像預處理技術(shù)引入分析
遙感影像鑲嵌與車載環(huán)視系統(tǒng)雖然在圖像采集方式、圖像處理數(shù)據(jù)量、運算能力、圖像內(nèi)容上有較大的區(qū)別,但最終目的都是實現(xiàn)圖像拼接,其圖像噪聲也有相似之處,因此遙感影像鑲嵌的預處理技術(shù)應可以引入車載環(huán)視系統(tǒng)中以提高環(huán)視系統(tǒng)拼接能力和效果。本節(jié)將對比遙感影像預處理和車載環(huán)視系統(tǒng)圖像與處理的不同之處,并將傳統(tǒng)環(huán)視全景拼接中不具備的預處理技術(shù)結(jié)合車載環(huán)視系統(tǒng)的實際情況進行分析,討論引入車載環(huán)視全景拼接預處理的可能。
如圖1所示,兩者預處理技術(shù)的不同之處主要體現(xiàn)在輻射校正和圖像增強環(huán)節(jié)中,車載環(huán)視系統(tǒng)的圖像預處理沒有傳感器內(nèi)部輻射誤差校正、直方圖線性變換、直方圖均衡、密度分割等。
車載環(huán)視系統(tǒng)要求一般采用170°(有些甚至達到195°)魚眼攝像頭,其法蘭距也小,也存在傳感器內(nèi)部輻射誤差,需要對齊進行處理。
通過直方圖線性變換,能夠更明顯地體現(xiàn)亮部和暗部的細節(jié),進而減弱圖像中小范圍的高光和低光造成的畫面特征丟失,而在車載環(huán)視系統(tǒng)中高光、低光是引起拼接質(zhì)量下降甚至失敗的重要原因,因此需要引入。
直方圖均衡將原始圖像隨機分布的直方圖,變換為均勻分布的直方圖,使得各個亮度的分布頻率基本相等。能夠增強圖像中大面積地物與其周圍地物的明暗反差,對于采用高對比網(wǎng)格的車載環(huán)視系統(tǒng)標定,能夠更好地突出畫面中黑格與白格的分布區(qū)域。
密度分割將原始圖像中,連續(xù)的亮度值范圍,按照出現(xiàn)的密度、分割為若干區(qū)間,使得亮度相近的區(qū)域能夠合并。對于采用高對比網(wǎng)格的車載環(huán)視系統(tǒng)標定,能夠?qū)嬅嬷泻诟?、白格區(qū)域分別合并,消除光源角度和材料反射造成的亮度偏差。
由上述理論分析可知,在車載環(huán)視系統(tǒng)圖像預處理中引入傳感器內(nèi)部輻射誤差校正、直方圖線性變換、直方圖均衡、密度分割可改善圖像質(zhì)量,提升拼接效果。
4 試驗驗證
4.1實驗設計
為驗證遙感影像鑲嵌的預處理技術(shù)引入車載環(huán)視系統(tǒng)的可行性,特選取符合標定場地要求的標準光照條件下、與帶有環(huán)境光干擾的條件下環(huán)視系統(tǒng)的攝像頭采集的圖像,前者如圖2,后者如圖3。
分別直接送人環(huán)視控制器處理、嘗試進行拼接標定;經(jīng)過輻射誤差校正、直方圖線性變換、直方圖均衡、密度分割等遙感影像預處理技術(shù)后再送入環(huán)視控制器、嘗試進行拼接標定。
4.2 實驗結(jié)果
未引入遙感影像鑲嵌的預處理技術(shù)時,若存在環(huán)境光干擾,則處理失敗,標定無法進行。需依據(jù)標定場地要求、布置標準光照后,拼接標定處理成功,能夠正確得到周圍3600的鳥瞰畫面,如圖4,圖像四角接縫處的矩形標記可用于評估拼接誤差,可見拼接后邊長誤差小于10%,符合環(huán)視系統(tǒng)拼接的要求。結(jié)果與工廠生產(chǎn)中的實際情況相符。
引入遙感影像鑲嵌的預處理技術(shù)后,對于符合要求的標準標定環(huán)境,能夠成功進行拼接標定,結(jié)果與未引入預處理一致;此外,對于存在環(huán)境光干擾、以往無法標定的圖像,同樣能夠成功處理,并得到與標準光照下一致的拼接標定結(jié)果。
實驗結(jié)果對比如表1??梢姡簩⑦b感影像鑲嵌的預處理技術(shù)引入到傳統(tǒng)的車載環(huán)視系統(tǒng)標定的拼接算法,不僅能達到原有的標定性能,而且能夠適應以往無法進行拼接的環(huán)境,算法性能得到提升。
由此可降低對車載環(huán)視系統(tǒng)標定場地的要求,不再需要嚴格控制場地的光照等條件,從而降低對場地建設和維護的要求,對于工廠生產(chǎn)可減少成本、簡化操作工藝、提升工作效率。
參考文獻:
[1]孫家抦.遙感原理與應用[M]武漢:武漢大學出版社.2013.
[2]袁修孝,宋妍基于邊緣特征匹配的遙感影像變化檢測預處理方法[J]武漢大學學報(信息科學版), 2007, (05):381-384+393+372
[3]方財義,鄧軍,檀銀學全景泊車系統(tǒng)及圖像拼接技術(shù)的研究[J].汽車零部件,2012,(11): 103-105+108.
[4]FANGCai-yi, DENG Jun and TAN Yin-xue Panoramic Parking System and Image Spliang Technolopcal Study[J]. SAE Technical Paper 2012-01-0082,2012,10 2471/2012-01-0082
[5]ZHANG Bao-long,LI Hong-rui,LI Dan and DAI Feng-zhi.A Simulation ofbnage Mosa/e Algorithm Based on Vehicle Panorama Systemm. Joumal of Elec:tronics& Information Technology, 2015,Vol 37,10.11999/JEIT141185