曹啟武，陳 津

(中國(guó)民航大學(xué)航空工程學(xué)院 天津300300)

創(chuàng)新技術(shù)

基于OpenCV的機(jī)場(chǎng)跑道外來(lái)物報(bào)警系統(tǒng)設(shè)計(jì)

曹啟武，陳 津

(中國(guó)民航大學(xué)航空工程學(xué)院 天津300300)

基于視頻技術(shù)，采用計(jì)算機(jī)視覺(jué)庫(kù) OpenCV開(kāi)發(fā)了機(jī)場(chǎng)跑道外來(lái)物(FOD)報(bào)警系統(tǒng)。其中，目標(biāo)識(shí)別模塊采用混合高斯方法建模，并將背景法和幀差法結(jié)合實(shí)現(xiàn)靜止目標(biāo)和運(yùn)動(dòng)目標(biāo)的檢測(cè)；目標(biāo)跟蹤模塊采用Camshift提高了跟蹤的可靠性；報(bào)警模塊針對(duì)目標(biāo)的實(shí)際情況設(shè)定標(biāo)準(zhǔn)，超過(guò)標(biāo)準(zhǔn)則報(bào)警。

OpenCV FOD 目標(biāo)識(shí)別 目標(biāo)跟蹤

0 引 言

機(jī)場(chǎng)跑道的外來(lái)物會(huì)對(duì)飛行安全造成很大隱患，中國(guó)民航平均每年會(huì)發(fā)生 4,000多起外來(lái)物損傷輪胎的事件，對(duì)飛行安全造成巨大影響。跑道FOD(Foreign Object Debris)報(bào)警系統(tǒng)的研究是從法國(guó)協(xié)和號(hào)飛機(jī)意外失事開(kāi)始的，目前國(guó)際上先進(jìn)的FOD監(jiān)測(cè)系統(tǒng)[1]主要采用毫米雷達(dá)波和圖像處理技術(shù)，而國(guó)內(nèi)還沒(méi)有較為成熟的機(jī)場(chǎng)跑道外來(lái)物監(jiān)測(cè)系統(tǒng)，所以開(kāi)發(fā)實(shí)時(shí)可靠的跑道監(jiān)測(cè)系統(tǒng)是十分必要的。各國(guó)跑道監(jiān)測(cè)裝置如圖1所示。

圖1 國(guó)外機(jī)場(chǎng)跑道異物檢測(cè)系統(tǒng)Fig.1 FOD detection systems in foreign countries

1 報(bào)警系統(tǒng)的設(shè)計(jì)方案

硬件方面，機(jī)場(chǎng)跑道受到凈空限制，攝像頭不能裝在影響飛行安全的區(qū)域，所以設(shè)置相對(duì)遠(yuǎn)離跑道，具有一定高度的塔架用來(lái)安裝攝像頭。為了裝載方便，將跑道 FOD報(bào)警系統(tǒng)搭載在機(jī)場(chǎng)已有的網(wǎng)絡(luò)系統(tǒng)工作，其網(wǎng)絡(luò)拓?fù)鋱D如圖 2所示。由塔架上的攝像機(jī)實(shí)時(shí)獲取機(jī)場(chǎng)跑道視頻，通過(guò)路由器將視頻傳入主網(wǎng)絡(luò)；視頻處理計(jì)算機(jī)通過(guò)對(duì)視頻幀進(jìn)行處理，實(shí)現(xiàn)FOD目標(biāo)的識(shí)別和跟蹤；FOD信息被確認(rèn)后，由監(jiān)控系統(tǒng)顯示報(bào)警信息，并將 FOD信息儲(chǔ)存在存儲(chǔ)管理器中。

圖2 跑道FOD報(bào)警系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱DFig.2 Topological graph of the network of runway FOD alarm system

2 目標(biāo)識(shí)別模塊

外來(lái)物目標(biāo)的監(jiān)測(cè)是報(bào)警系統(tǒng)的第一步，跑道外來(lái)物存在靜止目標(biāo)和運(yùn)動(dòng)目標(biāo)，以往通常把兩種目標(biāo)分開(kāi)研究，但兩種外來(lái)物對(duì)機(jī)場(chǎng)安全的危害同等重要，所以系統(tǒng)需要對(duì)兩種目標(biāo)具有良好的監(jiān)測(cè)結(jié)果。視頻處理技術(shù)中傳統(tǒng)算法包括幀間差分法、背景差分法和光流法等。[2]幀差法適合對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)，但無(wú)法檢測(cè)出靜止目標(biāo)；背景差分法最大的缺陷就是對(duì)光線和背景變化敏感。兩種算法結(jié)合效果明顯，但是目標(biāo)完整性不高，這就需要使用更實(shí)用的背景估計(jì)模型。

混合高斯模型是基于每個(gè)像素點(diǎn)的灰度概率分布，一方面，它適用于有微小變化運(yùn)動(dòng)的復(fù)雜背景場(chǎng)合，如樹(shù)葉影子的變化、雨雪天氣等；另一方面，它結(jié)合背景自適應(yīng)更新算法完成背景變化較大時(shí)的實(shí)時(shí)更新。為防止在進(jìn)行背景更新時(shí)把精致目標(biāo)化為背景，設(shè)定一定的閾值，當(dāng)匹配高斯模型時(shí)，大于閾值視為出現(xiàn)目標(biāo)，存在目標(biāo)的幀不進(jìn)行更新。本文在混合高斯建模法[3]的基礎(chǔ)上，提出背景差分法與幀間差分法的改進(jìn)算法，綜合兩種算法的優(yōu)點(diǎn)，獲得比較完整的目標(biāo)圖像，使其很好地適用在跑道外來(lái)物報(bào)警系統(tǒng)中。目標(biāo)識(shí)別流程圖如圖3所示。

圖3 目標(biāo)識(shí)別模塊流程Fig.3 Flow of the target recognition module

2.1 混合高斯模型

混合高斯模型關(guān)注每個(gè)像素點(diǎn)的概率分布情況，它一般由 3～5個(gè)高斯模型組成，把獲得的當(dāng)前幀圖像作為輸入與混合高斯模型匹配，匹配成功就是背景的一部分，否則便是前景目標(biāo)點(diǎn)。然后通過(guò)調(diào)整均值和方差等高斯模型重要參數(shù)，來(lái)獲得最高概率的背景圖像。

OpenCV中提供高斯混合模型函數(shù)程序的是cvaux中的cvbgfg_gaussmix.cpp文件。模型相關(guān)的參數(shù)被存在 CvGaussBGModel類中，本文通過(guò)修改該類中一些函數(shù)程序的參數(shù)[4]完成混合高斯模型的建模。背景建模過(guò)程中，采用第一幀圖像作為初始化對(duì)象，由于初始化的高斯模型并不準(zhǔn)確，所以對(duì)第一幀圖像取較大的方差和較小的權(quán)值。隨著高斯模型的逐步建立，變化范圍縮小，及時(shí)更新參數(shù)值，得到最可靠的混合高斯模型。設(shè)置大的方差，有助于把盡可能多的像素包含到一個(gè)模型里面，從而得到更有效的簡(jiǎn)化模型。[5]

2.2 不包含目標(biāo)信息的自適應(yīng)更新

每次獲取當(dāng)前幀需要判斷其是否與高斯模型匹配，匹配完成時(shí)將背景模型進(jìn)行更新：

其中k表示混合高斯模型的模式，j表示時(shí)間，β表示更新系數(shù)，若β=0則表示不更新。β=0有兩種情況，一是與當(dāng)前高斯模型不匹配，二是當(dāng)前幀被判定含有前景目標(biāo)，此時(shí)對(duì)所有的模式，β的值都是0。

2.3 背景差分和幀差法結(jié)合

由于幀差法基本不受環(huán)境干擾，能得到目標(biāo)的基本信息，將兩種方法得到的目標(biāo)圖像對(duì)比分析就能得到更加完整的目標(biāo)。得到目標(biāo)之后，對(duì)得到的圖像中值濾波，濾去可能的噪聲，然后進(jìn)行形態(tài)學(xué)處理，得到更加完整平滑的圖像。

酒店管理信息系統(tǒng) （Hotel Management Information System，簡(jiǎn)稱 HMS）是以酒店員工為主導(dǎo)，利用現(xiàn)代信息技術(shù)支持酒店業(yè)企業(yè)經(jīng)營(yíng)、管理和決策的人機(jī)系統(tǒng)。其作為現(xiàn)代酒店管理的一個(gè)輔助系統(tǒng)，具有開(kāi)放性、層次性。同時(shí)酒店信息管理系統(tǒng)呈現(xiàn)出專業(yè)化、集團(tuán)化、集成化、標(biāo)準(zhǔn)化發(fā)展趨勢(shì)[7]。

3 目標(biāo)跟蹤模塊

圖4 Camshift算法流程圖Fig.4 Process of Camshift algorithm

跑道 FOD在識(shí)別之后，靜止的物體只需要進(jìn)行定位和清理，而運(yùn)動(dòng)的物體由于位置不定，需要進(jìn)行實(shí)時(shí)跟蹤。實(shí)現(xiàn)跟蹤有很多方法：Karman跟蹤、Meanshift跟蹤、Camshift跟蹤。比較幾種跟蹤方法的穩(wěn)定性和準(zhǔn)確性，選取 Camshift方法，一方面它是非參數(shù)的算法，解決了 Karman算法的線性局限性，另一方面它對(duì)圖像進(jìn)行空間處理，克服了 Meanshift局部收斂造成的背景干擾和遮擋問(wèn)題。將當(dāng)前幀目標(biāo)的位置信息投影到下一幀背景圖像區(qū)域里，通過(guò)確定圖像中的運(yùn)動(dòng)目標(biāo)位置，重新設(shè)置搜索窗口，重復(fù)該步驟就可以實(shí)現(xiàn)目標(biāo)的動(dòng)態(tài)跟蹤，[6]其算法流程如圖4所示。

由于 Camshift算法下一幀的搜索范圍被限制在上一幀目標(biāo)的附近區(qū)域，所以會(huì)為搜索節(jié)省大量的時(shí)間，提高算法的實(shí)時(shí)性。目標(biāo)在運(yùn)動(dòng)過(guò)程中顏色特征基本不變，而此算法主要對(duì)目標(biāo)的顏色特征感興趣，所以算法還有良好的魯棒性。Camshift實(shí)現(xiàn)跟蹤的主要代碼如下：

frame＝cvQueryFrame(capture)；//當(dāng)前圖像轉(zhuǎn)圖片

CV_CHAIN_APPROX_SIMPLE，cvPoint(0，0))；//找輪廓

cvCvtColor(target，target_hsv，CV_BGR2HSV)；//將圖片由RGB轉(zhuǎn)化為HSV

cvSplit(target_hsv，target_hue，NULL，NULL，NULL)；//得到 H 分量

cvCalcBackProject(＆rawImage，result，hist)；//計(jì)算背景投影

cvCamShift(backproject，track_window，cvTerm Criteria(CV_TERMCRIT_EPS1CV_TERMCRIT_ITER，10，1)，＆track_comp，＆track_box)；//算法跟蹤

4 報(bào)警模塊

1)//表示第一幀和第二幀的目標(biāo)都大于 3,000個(gè)像數(shù)點(diǎn)

依次類推當(dāng)?shù)谖鍘哪繕?biāo)也大于 3,000個(gè)像素點(diǎn)：printf("warning!!!/n")狀態(tài)返回0

外來(lái)物入侵跑道發(fā)出報(bào)警后，工作人員需要確定報(bào)警信息是否真實(shí)，并立即采取相關(guān)措施，清除外來(lái)物。

5 測(cè)試結(jié)果分析

本文以VS2010平臺(tái)為基礎(chǔ)，借助OpenCV視覺(jué)庫(kù)，針對(duì)機(jī)場(chǎng)跑道的實(shí)際情況，以公路實(shí)景為背景進(jìn)行取景實(shí)地測(cè)試，采用的硬件參數(shù)如表1所示。

表1 測(cè)試設(shè)備參數(shù)表Tab.1 List of device parameters

圖5 系統(tǒng)測(cè)試結(jié)果圖Fig.5 System test results

圖6 背景差分法和幀間差分法目標(biāo)識(shí)別結(jié)果Fig.6 Recognition results of background differencing and inter-frame difference methods

系統(tǒng)測(cè)試結(jié)果如圖5所示，在VS2010平臺(tái)上生成顯示界面，4部分圖像分別為視頻當(dāng)前幀圖像、目標(biāo)識(shí)別圖像、目標(biāo)跟蹤圖像、報(bào)警信息圖像。其中目標(biāo)識(shí)別界面得到兩輛汽車識(shí)別的二值化信息，二值化圖像顯示的前景目標(biāo)清晰可靠、空洞少。目標(biāo)跟蹤界面上，紅框表示跟蹤框，它不僅能滿足跟蹤要求的實(shí)時(shí)性，還可以進(jìn)行多目標(biāo)的跟蹤。

同時(shí)，我們也利用背景差分法和幀差法進(jìn)行了實(shí)驗(yàn)(見(jiàn)圖 6)，背景差分法和幀間差分法都能確認(rèn)前景目標(biāo)的信息，但背景差分法輪廓信息較為缺乏，目標(biāo)不夠完整；幀間差分法汽車輪廓清晰，但是空洞較多。本文算法得到的目標(biāo)識(shí)別結(jié)果明顯優(yōu)于這兩種算法。

6 結(jié) 語(yǔ)

提出了基于OpenCV視覺(jué)庫(kù)的機(jī)場(chǎng)跑道FOD報(bào)警系統(tǒng)的設(shè)計(jì)方法，依托 VS2010平臺(tái)，利用OpenCV函數(shù)庫(kù)，結(jié)合混合高斯模型法，克服了背景差分法和幀間差分法的缺點(diǎn)。通過(guò)實(shí)驗(yàn)結(jié)果的分析，該軟件系統(tǒng)能準(zhǔn)確得到目標(biāo)，實(shí)現(xiàn)實(shí)時(shí)跟蹤和報(bào)警，為跑道FOD報(bào)警系統(tǒng)的深入研究和工程實(shí)現(xiàn)奠定了基礎(chǔ)，具有一定的實(shí)際意義。

［1］ 李煜，肖剛. 機(jī)場(chǎng)跑道異物檢測(cè)系統(tǒng)設(shè)計(jì)與研究[J].激光與紅外，2011(8)：5-7.

［2］ 陳吉廬. 基于 OpenCV的紅外運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法研究及實(shí)現(xiàn)[D]. 南京：南京理工大學(xué)，2001.

［3］ 姚會(huì)，蘇松志，王麗，等. 基于改進(jìn)的混合高斯模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J]. 廈門大學(xué)學(xué)報(bào)：自然科學(xué)版，2008(47)：505-510.

［4］ 王麗娟. 基于 OpenCV 與混合高斯建模的運(yùn)動(dòng)目標(biāo)檢測(cè)[J]. 電子測(cè)試，2009，9(9)：86-90.

［5］ Daniel Gutchess，Miroslav Trajkovic，Eric Cohensolal，et al. A background model initialization algorithm of video surveillance[A]，In：Proceedings of IEEE International Conference on Computer Vision[C]. Vancouverr，BC，2001：733-740.

［6］ 鄒鐵軍，張書偉，蔣杰，等. 基于 OpenCV的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)軟件設(shè)計(jì)[J]. 智能計(jì)算機(jī)與應(yīng)用，2012(3)：1-5.

Design of Runway FOD Alarm System Based on OpenCV

CAO Qiwu，CHEN Jin
(College of Aeronautical Engineering，CAUC，Tianjin 300300，China)

Based on video technology，a FOD(Foreign Object Debris)alarm system for airfield runway was designed with the OpenCV function library. In the system，moudling of the target identification was made by Gauss Mixture model and through the combination of background difference method and frame difference method，both static and dynamic objects could be detected；a target tracking module was realized through categorization of Camshift in the OpenCV to enhance its reliability；standards were set up based on specific situation for the alarming module which will be activated when the limit is breached.

OpenCV；FOD；target recognition；target tracking

TN954+.2

A

1006-8945(2014)07-0003-04

中央高?；究蒲袠I(yè)務(wù)費(fèi)資助項(xiàng)目(3122013SY43)。

2014-06-07