成 威,胡紹海,趙帥鋒,劉帥奇
(北京交通大學計算機與信息技術學院,北京100044)
機場跑道異物(Foreign Object Debris,F(xiàn)OD)指異常出現(xiàn)在機場跑道上并威脅飛行安全的外來物體[1]。由于飛機極大的引擎吸力和極快的起降速度,即使微小的跑道異物也會造成嚴重隱患,跑道異物檢測日益成為大眾關注的熱點。
在跑道異物檢測系統(tǒng)研制方面,國外已出現(xiàn)了一些技術比較成熟、使用比較廣泛的跑道安全系統(tǒng),比較著名的有英國的Tarsier,以色列的 FODDetect,美國的 FODFinder,以及新加坡的iFerret等。而在國內,雖然相關研究也已起步,但技術還不成熟,產品還不完善,制約著我國航空業(yè)的發(fā)展[2]。國內的很多異物檢測系統(tǒng)基于攝像機等光學設備,受到天氣狀況的嚴重影響;為數(shù)不多的雷達異物檢測系統(tǒng),通常采用雷達雜波圖進行檢測,并配合視覺設備配合查看異物,因而系統(tǒng)不夠獨立,而且造價高昂。
為了改善上述狀況,本文提出了一種基于雷達圖像處理的跑道異物檢測方法。首先基于高斯混合模型思想對雷達圖像進行去噪,大幅改善圖像質量;接著使用改進的背景減法獲得經過局部增強或弱化的差值圖像,并進行二值化和中值濾波;然后通過數(shù)學形態(tài)學中的閉運算對異物進行整合;最后使用漫水填充算法準確檢測圖像中的異物,獲得異物的大小和位置等信息。
高斯混合模型(Gaussian Mixture Model)是近年來備受矚目的模型方法。高斯混合模型的基本思想是:任何一種概率密度分布都可以由若干高斯密度函數(shù)的線性組合來逼近[3]。高斯分布不僅能反映自然界中大多數(shù)事物的分布規(guī)律,而且有著優(yōu)良的數(shù)學性能,故深受青睞。高斯混合模型已在語音識別中獲得了不錯的成果,并且在圖像領域也有廣泛的應用[4]。
本文獲得的原始數(shù)據是大量包含角度、距離和灰度值的雷達掃描線,通過極坐標到直角坐標的轉換可以獲得直觀的直角坐標圖像。由于原始的掃描線數(shù)據中存在系統(tǒng)噪聲,導致轉換后的直角坐標圖像中有弧形的波紋狀噪聲,對圖像質量造成顯著污染,嚴重影響圖像的后續(xù)處理。本文使用了基于高斯混合模型思想的去噪方法,通過幾個一維高斯分布的疊加來模擬一條掃描線上系統(tǒng)噪聲的分布,并通過減法大幅削弱系統(tǒng)噪聲,獲得了良好的去噪效果。
首先對如圖1a所示的雷達空載時的以每條掃描線為一列排列成的掃描線圖像進行統(tǒng)計,求取所有列的均值,得到掃描線上的噪聲分布曲線,如圖1b中實線所示。然后通過若干個高斯分布來擬合噪聲分布曲線。設噪聲的概率密度函數(shù)為p(x),則
式中:N為高斯模型的個數(shù);μi和σi分別為第i個高斯模型的期望和標準差;wi為第i個高斯模型的權值。
圖1 噪聲圖像及曲線(截圖)
高斯混合模型由其中每個高斯模型的期望、標準差以及多個模型組合時的權重來確定。由于噪聲分布比較固定,故并未使用高斯混合模型常用的期望最大化(Expectation Maximization)算法,而是直接通過初始設置來確定N,μi,σi和wi等模型參數(shù),獲得與噪聲分布曲線非常接近的擬合曲線,如圖1b中虛線所示。最后每條掃描線減去調整后的擬合曲線,得到去噪后的掃描線,即可進行坐標轉換等后續(xù)處理。
對于圖像序列中的運動目標檢測,比較流行的方法有幀差法、光流法、背景減法等[5]。幀差法雖然有良好的自適應性,但由于獲得背景并不純凈,故精確性不高;光流法運算復雜,耗時很多,不適合對實時性要求較高的系統(tǒng);而背景減法簡單易行,并且可以獲得可觀的檢測效果。傳統(tǒng)的背景減法只是求取輸入圖像與背景圖像對應像素值的差的絕對值。本文的背景減法在減法同時對一些區(qū)域內的像素進行了增強,另一些區(qū)域內的像素進行了弱化,使后續(xù)處理更加有效。
背景減法需要2個條件:配準圖像和獲得背景圖像。對于前者,由于系統(tǒng)提供的極坐標非常精確,而坐標轉換時將掃描線上的像素點投影到直角坐標系的像素中,排除了簡單像素排列造成的位置偏差,可以認為圖像已配準;對于后者,由于現(xiàn)場同一位置在各次雷達掃描時反射強度略有浮動,故背景圖像并未選擇一幅掃描圖像而是通過對若干次無異物掃描圖像取均值來獲得。
機場雷達圖像的主體內容是跑道及旁邊的大片草坪。由于草坪表面粗糙,對雷達波的反射較強,且每次反射的強度波動較大,在背景減法后容易保留大量亮點,嚴重影響檢測結果,而跑道路面上的異物才是檢測重點。故本文使用了簡單的判定方法來排除草坪的干擾:求背景圖像中每個像素8鄰域灰度值的和,若大于閾值則認為是草坪位置,將輸出圖像的該位置灰度值置零;若不大于閾值則認為是路面位置,進行運算。運算公式為
式中:Vin,Vbk,Vout分別為輸入圖像、背景圖像、輸出圖像對應位置的像素灰度值,式(2)依據實驗結果確定,不僅實現(xiàn)了有效的增強,即增強后的灰度值超過二值化的閾值64,同時保證了運算的灰度值始終在0~255范圍之內。
背景減法可有效保留圖像中的異物信息,而背景信息被大幅削弱,再經過閾值為64的二值化及輕度中值濾波即可獲得效果較好、適于異物檢測的雷達圖像。
數(shù)學形態(tài)學是一種以形態(tài)結構元素為基礎對圖像進行分析的數(shù)學工具[6]。它運算速度快,并且易于硬件實現(xiàn),可以應用在噪聲抑制、特征提取、邊緣檢測、圖像分割、紋理分析、形狀識別等方面,是一種非常有效的圖像處理方法。
由于一個較大異物各部分對雷達波反射強度不一致,它在經過處理后的雷達圖像中的像素可能不連續(xù)。為了減少如此造成的異物重復上報,本文使用了數(shù)學形態(tài)學中的閉運算來處理圖像,以達到填充圖像中異物內部細小空洞、連接臨近異物、平滑異物邊緣的效果。
閉運算包含2個過程:膨脹和腐蝕。它們都是數(shù)學形態(tài)學的基本操作,基本原理是圖像與核進行卷積。通過調整卷積核的大小可以控制膨脹和腐蝕的強度,通過設定卷積核中參考點的位置可以控制腐蝕膨脹的方向。本文使用大小為7×7像素并且參考點位于中心的方形卷積核,以獲得合適的形態(tài)學處理效果。膨脹的實質是求取核覆蓋圖像區(qū)域內的最大值并賦值給參考點對應像素,對于二值圖像這一過程可以進一步簡化,即只要核覆蓋區(qū)域內有白點,參考點對應像素為白,否則為黑。腐蝕與膨脹相反,是求取核覆蓋圖像區(qū)域內的最小值并賦值給參考點對應像素,對于二值圖像,只要核覆蓋區(qū)域內有黑點,參考點對應像素為黑,否則為白。對圖像先膨脹后腐蝕,即完成一次閉運算。閉運算的效果如圖2所示,圖2a為原始圖像,圖2b為膨脹操作后的圖像,圖2c為腐蝕操作后的圖像,經過閉運算后兩片白色區(qū)域被連接。
圖2 二值圖像的閉運算(截圖)
漫水填充(Floodfill)是一種常用的區(qū)域填充法,適用于填充內部像素灰度值相近而外部像素灰度值與之區(qū)別較大的區(qū)域[7]。漫水填充算法的基本原理是,按照一定規(guī)則選取種子點,判斷種子點的鄰域像素是否與之構成連通,從而判定是否對其填充,直至找到區(qū)域內所有像素或到達圖像邊界。漫水填充算法已被用在目標區(qū)域的提取和直接的目標識別等方面[8]。經過形態(tài)學處理后的圖像已適合進行直接的異物檢測,很多文獻中使用邊緣檢測來實現(xiàn),而本文使用了漫水填充算法來快速準確地檢測異物,獲得異物相關數(shù)據。
具體方法是通過漫水填充在二值圖像中分割出灰度值為255的連續(xù)區(qū)域。按照從左到右、從上到下的順序選取種子點,找到一個灰度值為255的像素作為種子點后,考查其鄰域像素的灰度值;若鄰域有灰度值為255的像素,則再考查該像素的鄰域;如此直到所有連續(xù)的灰度值為255的像素都被選中;計算選中區(qū)域的最左端、最右端、最上端、最下端以及中心的位置,并計算區(qū)域的面積;計算完成后,將整個區(qū)域填充為灰度值240的顏色,并在其周圍用灰度值為128的矩形框進行標注;重新選擇種子點,進行新的填充,直到所有灰度值為255的區(qū)域全部被檢測和標注。
本文方法最終將應用于安裝在機場的雷達檢測系統(tǒng)中,但為避免對機場造成安全隱患,在實驗階段整個系統(tǒng)并未在真實機場,而在一片類似機場的空地進行測試。實驗場地主要包含水泥路面以及草坪,模擬機場的基本環(huán)境,條件卻比機場更加復雜,可以考驗本文方法的魯棒性。本文使用的異物主要是若干底面直徑和高均為2 cm的金屬圓柱,按照適當間隔擺放在水泥路面上,此外放置圓柱的人也出現(xiàn)在掃描圖像中成為異物。
從雷達設備獲取到的掃描線數(shù)據按列組成的圖像如圖3所示,圖像中可觀察到明顯的系統(tǒng)噪聲。不去噪直接進行坐標轉換得到的直角坐標圖像如圖4a所示,經過基于高斯混合模型思想去噪后的再進行坐標轉換的圖像如圖4b所示。對比可見,本文使用的去噪方法對圖像中的系統(tǒng)噪聲有很強的抑制作用,去噪后的圖像質量有顯著改善。
圖3 原始掃描線圖像
圖4 圖像去噪(截圖)
為減少冗余運算,提升實時性能,在進行后續(xù)處理之前先根據雷達安裝信息對圖像進行裁剪,只保留有效區(qū)域,如圖5a所示。本文中裁剪后的圖像仍保留了用于模擬跑道的水泥路面,即圖中較暗的區(qū)域,以及草坪,即圖中較亮的區(qū)域。在無異物狀態(tài)下進行若干次掃描,將掃描圖像疊加再取均值,獲得背景圖像如圖5b所示。傳統(tǒng)的簡單像素值相減得到的結果如圖5c所示,使用本文所提的背景減法的結果如圖5d所示。前者仍保留了大量的密集亮點,這些難以濾除的亮點會使檢測結果中存在大量誤報;后者除了保留目標之外,只剩下少許孤立的噪點,很容易通過濾波消除。
對背景減法后的圖像,首先進行了以灰度值64為閾值的二值化,如圖6a所示。然后用3×1鄰域的中值濾波來消除孤立噪點,如圖6b所示。
圖5 背景減法(截圖)
圖6 二值化和中值濾波(截圖)
對經過濾波后的圖像進行數(shù)學形態(tài)學閉運算,首先是膨脹過程,白色區(qū)域根據卷積核的大小進行擴張,內部小空洞被擠占,鄰近區(qū)域連通,如圖7a所示;然后是腐蝕運算,白色區(qū)域收縮回原始大小,但是邊緣變得平滑,填補的空洞不會復現(xiàn),連通的區(qū)域也不會斷開,如圖7b所示。
圖7 形態(tài)學處理(截圖)
圖像經過數(shù)學形態(tài)學處理后通過漫水填充算法進行異物檢測,獲得目標區(qū)域的位置和大小,并用矩形框進行標注,結果如圖8所示。
圖8 異物檢測標注結果(截圖)
本文提出的基于雷達圖像處理的跑道異物檢測方法,依托于雷達設備,通過基于高斯混合模型思想的去噪、背景減法、數(shù)學形態(tài)學運算和漫水填充等一系列圖像算法,對雷達圖像進行有效處理,準確檢測跑道異物。但是,本文致力于對特定系統(tǒng)提供高效檢測方法,不可避免地受到具體條件的局限,如何使本文的方法具有更普遍的適用性,需要進一步的研究。
[1] PATTERSON J.Foreign Object Debris(FOD)detection research[EB/OL].[2013 -05 -10].http://zhou24388.blog.163.com/blog/static/5974632720113271140217/.
[2]李煜,肖剛.機場跑道異物檢測系統(tǒng)設計與研究[J].激光與紅外,2011,41(8):909-915.
[3]王書詔.基于高斯混合模型的說話人識別系統(tǒng)的研究[D].大連:大連理工大學,2006.
[4]向日華,王潤生.一種基于高斯混合模型的距離圖像分割算法[J].軟件學報,2003,14(7):1250-1257.
[5]萬纓,韓毅,盧漢清.運動目標檢測算法的探討[J].計算機仿真,2006,23(10):221-226.
[6]王樹文,閆成新,張?zhí)煨?,?數(shù)學形態(tài)學在圖像處理中的應用[J].計算機工程與應用,2004(32):89-92.
[7]冉冉,楊唐文,阮秋琦.基于Floodfill種子填充的快速目標物體識別[EB/OL].[2013-05-10].http://www.docin.com/p-297963018.html.
[8]陳佳鑫,賈英民.一種基于漫水填充法的實時彩色目標識別方法[J].計算機仿真,2012,29(3):4-6.