戚永剛

(德州學(xué)院外語(yǔ)系，山東 德州 253023)

基于車輛的視覺跟蹤［1］和交通監(jiān)控技術(shù)［2］受到了廣泛的關(guān)注，這些技術(shù)在車輛監(jiān)測(cè)系統(tǒng)、車輛跟蹤及道路路口自動(dòng)監(jiān)控等領(lǐng)域得到了廣泛應(yīng)用。交通擁塞發(fā)生在交通需求超過道路通行能力的時(shí)候，它不僅是對(duì)時(shí)間的浪費(fèi)，更是對(duì)能量的損耗，而且還會(huì)導(dǎo)致二氧化碳過量排放，自動(dòng)交通監(jiān)控有助于及早發(fā)現(xiàn)可能發(fā)生的道路擁擠［3－4］。

目前已經(jīng)有許多使用車輛不同屬性進(jìn)行車輛檢測(cè)、跟蹤和分類的方法。例如，文獻(xiàn)［5］提出了一個(gè)較為全面的車輛檢測(cè)方法，采用背景差分法，將當(dāng)前幀和背景幀之間像素的差值作為被測(cè)對(duì)象，使用一些閾值限制，所有屬于被測(cè)對(duì)象的像素點(diǎn)(不存在背景圖像)都會(huì)檢測(cè)到并分組在一起。運(yùn)動(dòng)車輛跟蹤過程的主要思想是保持每個(gè)檢測(cè)車輛的檢測(cè)順序與整個(gè)視頻序列一致，為了消除車輛計(jì)數(shù)時(shí)重復(fù)計(jì)數(shù)，學(xué)者們相繼提出了一些車輛跟蹤算法［6－8］。然而，針對(duì)車輛分來的工作卻很少，因?yàn)檐囕v形狀和顏色多種多樣，使得車輛分類更具有挑戰(zhàn)性。已有文獻(xiàn)提出的車輛分類方法通常是基于模型的［9－10］，近期也有一些是基于車輛顏色的［11－12］，而這些方法的難點(diǎn)是將各種形狀的車輛(雖然屬于同一類)描述成一個(gè)單一的模型。

為了更好地對(duì)混亂的城市交叉路口車輛進(jìn)行檢測(cè)、跟蹤及分類，本文提出了一種基于卡爾曼濾波算法［13］的車輛檢測(cè)及分類系統(tǒng)，使用一個(gè)安裝在人行天橋的攝像頭俯拍交通場(chǎng)景，攝像頭放置在馬路中央，通過車輛幾何圖形和外觀特性進(jìn)行分類，既能夠多車道檢測(cè)，又大大地減少了分類誤差，實(shí)驗(yàn)結(jié)果驗(yàn)證了所提系統(tǒng)的有效性。

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)概述

如圖1所示為整個(gè)系統(tǒng)的流程圖，主要有車輛檢測(cè)、車輛跟蹤和車輛分類，包括以下6個(gè)階段:

1)背景估計(jì):從視頻的一些初始幀對(duì)背景估測(cè)。

2)檢測(cè)區(qū)域:在這個(gè)階段，構(gòu)建二值掩碼來定義感興趣的區(qū)域。

3)目標(biāo)檢測(cè):采用背景差分將檢測(cè)到的前景對(duì)象和像素點(diǎn)連接成的組存儲(chǔ)為blob類型。

4)對(duì)象跟蹤:邊界框放置在每個(gè)檢測(cè)到的blob類型圖像處，用卡爾曼濾波器一幀一幀地跟蹤。

5)對(duì)象分割:被跟蹤對(duì)象離開探測(cè)區(qū)域之前會(huì)被提取。

6)對(duì)象分類:分段的對(duì)象傳遞給分類器，分類器將它們進(jìn)行適當(dāng)分類。

圖1 系統(tǒng)流程圖

系統(tǒng)利用了放在高處的相機(jī)記錄的視頻流，把相機(jī)放置在高處俯視場(chǎng)景中心，可清晰地區(qū)分正在行駛中且車距很短的車輛，有助于避免場(chǎng)景中物體遮擋。所使用的視頻來源于一個(gè)車流量很大的城市道路交叉口，區(qū)別于高速公路，城市道路交叉路口更具有挑戰(zhàn)性，除了常見問題外，還有全局光照變化、陰影處理、遮擋、多個(gè)對(duì)象檢測(cè)和跟蹤等問題。因此，本文的目標(biāo)是開發(fā)一種低成本的基于視覺的車輛檢測(cè)和分類系統(tǒng)，用于改善和理想化智能交通系統(tǒng)。

1.2 背景估計(jì)

本文系統(tǒng)的第一階段是產(chǎn)生相對(duì)穩(wěn)定的背景圖像。文獻(xiàn)［14］假設(shè)與過往的車輛相比，道路的像素強(qiáng)度和剛進(jìn)入下一幀圖像中的初始像素強(qiáng)度相同，與初始幀像素強(qiáng)度相同的像素認(rèn)為是背景像素，本文采用與文獻(xiàn)［14］相同的方式進(jìn)行背景建模。

1.3 車輛檢測(cè)

將當(dāng)前幀和背景幀對(duì)應(yīng)像素進(jìn)行成對(duì)相減，像素值大于閾值的像素點(diǎn)認(rèn)為是對(duì)象(被測(cè)車輛)中的像素點(diǎn)，如圖2所示，使用4個(gè)不同的步驟來檢測(cè)屬于移動(dòng)車輛的像素。首先構(gòu)造一個(gè)二值掩碼以定義檢測(cè)范圍，從交叉點(diǎn)至相機(jī)位置有三道通路，掩碼“M”的大小與整個(gè)檢測(cè)區(qū)域的條目相對(duì)于零檢測(cè)區(qū)域條目的大小相同。接著，把背景圖像和當(dāng)前圖像相乘，如圖2b和2c所示，將所有被測(cè)區(qū)域之外的區(qū)域直接忽視或變暗(暗區(qū))。然后，應(yīng)用背景差分技術(shù)來檢測(cè)當(dāng)前圖像中像素值大于設(shè)定閾值點(diǎn)的位置。最后，為進(jìn)一步使被測(cè)對(duì)象blob圖像的形狀清晰，先進(jìn)行了擴(kuò)張?jiān)偾治g。

圖2 車輛檢測(cè)過程

1.4 車輛跟蹤

跟蹤過程中將被測(cè)物體打上標(biāo)簽，使其在穿過整個(gè)視頻序列中能唯一標(biāo)識(shí)，并保持其身份穿過整個(gè)視頻序列。所提系統(tǒng)采用卡爾曼濾波跟蹤算法跟蹤被標(biāo)記車輛的blob圖像，實(shí)現(xiàn)流程如圖3所示，使用動(dòng)態(tài)模型來預(yù)測(cè)對(duì)象的狀態(tài)進(jìn)行預(yù)測(cè);使用測(cè)量或觀測(cè)模型校正預(yù)測(cè)，使預(yù)測(cè)值的誤差協(xié)方差降到最低［14］。動(dòng)態(tài)圖像處理時(shí)，卡爾曼濾波器在用前一幀圖像ft－1的位置信息預(yù)測(cè)當(dāng)前圖像ft中的目標(biāo)位置信息的過程中扮演著重要的角色，如每個(gè)時(shí)間間隔t內(nèi)均重復(fù)此過程。

圖3 卡爾曼濾波器

當(dāng)車輛離開路口并進(jìn)入檢測(cè)區(qū)(頂部的檢測(cè)窗口)后，邊界框?qū)⑻砑拥矫總€(gè)檢測(cè)到的對(duì)象上，當(dāng)被測(cè)車輛達(dá)到最大尺寸時(shí)進(jìn)行裁剪，不僅緩解了分類任務(wù)的難度，也增強(qiáng)了它的性能。

圖4為提出的跟蹤方法圖解，圖像幀ft－5中，檢測(cè)區(qū)域共出現(xiàn)并檢測(cè)到5輛車，隨著這些車輛逐漸靠近相機(jī)，它們的blob圖像大小在圖像幀ft－4中會(huì)增加，然而，圖像幀ft－3中占據(jù)中心車道的白色汽車blob圖像面積隨著它離開檢測(cè)區(qū)域而逐漸變小，因此，圖像幀ft－4中在blob圖像減小之前就開始分割。為了區(qū)分提取兩輛車的信息，在圖像幀ft－2，ft－1和ft中重復(fù)進(jìn)行了相同的步驟，最后將車輛的分割信息、斑點(diǎn)區(qū)域、質(zhì)心及邊界框坐標(biāo)一并傳遞到分類階段。

圖4 跟蹤和分割方法圖解

1.5 車輛分類

這部分主要目的是對(duì)通過檢測(cè)區(qū)域的車輛進(jìn)行分類并統(tǒng)計(jì)其數(shù)量。視頻中的車輛分成5類:摩托車，汽車，面包車，卡車，重型卡車。這些類別的選擇是基于包含在視頻中的可用的車輛類型的，但是系統(tǒng)可以很容易地對(duì)車輛類型進(jìn)行擴(kuò)展。一般來說，對(duì)象識(shí)別包含目標(biāo)檢測(cè)、特征提取、分類三個(gè)階段，車輛檢測(cè)階段已經(jīng)完成了目標(biāo)檢測(cè)，后面主要專注于特征提取和分類。

1.6 利用LBP提取特征

特性提取之前，先對(duì)圖片進(jìn)行圖像預(yù)處理來標(biāo)準(zhǔn)化和提高圖片質(zhì)量，調(diào)整每個(gè)圖像為64×64像素大小，接著，將RGB圖像轉(zhuǎn)換成灰度圖像，只保留其強(qiáng)度值。此外，用對(duì)比增強(qiáng)技術(shù)來減少圖像中的光照變化。預(yù)處理各階段示例如圖5所示。

圖像預(yù)處理后，使用局部二值模式(LBP)［15］提取每一個(gè)對(duì)象的獨(dú)特屬性。給定位置(xc，yc)的像素點(diǎn)產(chǎn)生的LBP表示如下

式中:Pc是窗口中心像素;Pn是窗口中心像素周圍相鄰8個(gè)像素;S可表示成

首先將每個(gè)預(yù)處理的圖像分割成36個(gè)子區(qū)域;接著，計(jì)算并繪制每個(gè)子區(qū)域的LBP直方圖;然后，用式(3)和式(4)分別計(jì)算直方圖比率hr和直方圖最大值hm;最后，將所有子區(qū)域的36個(gè)hr和36個(gè)hm連接成單一特征向量。

圖5 圖像預(yù)處理示例

前期提取的車輛區(qū)域、質(zhì)心和邊界框坐標(biāo)進(jìn)一步融入LBP特征，由式(5)來計(jì)算被測(cè)車輛的幾何特性及與馬路的相對(duì)位置。

形成的特征向量由線性分類器將其歸類至它們各自的類中，主要目的是最大化類間散布矩陣，同時(shí)最小化類內(nèi)散布矩陣［7］。數(shù)學(xué)上，離散度矩陣定義如下

分類措施如下

式中:SW和SB分別表示類內(nèi)和類間散布矩陣;ni表示屬于類i的樣本個(gè)數(shù);c表示類的個(gè)數(shù);mi表示類i樣本的平均值;xi表示第i類的樣本集;xj表示該類的第j個(gè)對(duì)象;和表示類內(nèi)和類間矩陣的決定因子。

2 實(shí)驗(yàn)部分

所有的實(shí)驗(yàn)均在4 Gbyte內(nèi)存、Intel Core 2.93 GHz Windows XP計(jì)算機(jī)上完成，編程環(huán)境為MATLAB 7.0。所提系統(tǒng)的性能通過包含78輛車的視頻序列進(jìn)行測(cè)試，有3400幀，視頻拍攝于典型城市交叉口，有背景雜亂的特征。

2.1 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)把視頻分成兩部分，第一部分的2200幀用于分類，剩下的1200幀用于測(cè)試，表1為實(shí)際的訓(xùn)練和測(cè)試序列，表2為系統(tǒng)計(jì)數(shù)器輸出的訓(xùn)練和測(cè)試序列，表3為系統(tǒng)分類器輸出的測(cè)試序列。為了提高驗(yàn)證結(jié)果的準(zhǔn)確性，要求2個(gè)人獨(dú)立地對(duì)進(jìn)入?yún)^(qū)域的車輛計(jì)數(shù)和分類，表中的實(shí)驗(yàn)結(jié)果是2個(gè)人記錄的平均值。

表1 實(shí)際的訓(xùn)練和測(cè)試序列

表2 系統(tǒng)計(jì)數(shù)器輸出的訓(xùn)練和測(cè)試序列

表3 系統(tǒng)分類器輸出的測(cè)試序列

從表2中可以看到，這個(gè)系統(tǒng)探測(cè)、跟蹤和統(tǒng)計(jì)的通過訓(xùn)練和測(cè)試序列數(shù)量為76，與實(shí)際數(shù)字78不相等，對(duì)應(yīng)了2.56%的誤差，即檢測(cè)正確率為97.44%。從表3可以看出，在分類階段，所有的摩托車、卡車和重型卡車的分類是準(zhǔn)確的。然而，由于系統(tǒng)在小巴士和轎車之間產(chǎn)生混淆，25個(gè)測(cè)試車輛中有3個(gè)分類錯(cuò)誤，故總體分類誤差為12.0%，即正確分類率為88.0%。

系統(tǒng)可以正確地檢測(cè)并跟蹤大多數(shù)汽車，檢測(cè)率高達(dá)97.44%，錯(cuò)誤檢測(cè)主要是遮擋，特別是在車輛行駛中車距非常近的時(shí)候，盡管當(dāng)前面的車輛離開檢測(cè)區(qū)，系統(tǒng)足以檢測(cè)到后面的第二輛車。然而，只有88.0%的車輛正確分類，錯(cuò)誤分類的問題主要發(fā)生在轎車和面包車之間。雖然，兩種車輛的幾何和外觀屬性描述不同，但由于兩車形狀和外表非常相似，系統(tǒng)還很難正確地將它們分類。

2.2 比較與分析

為了更好地體現(xiàn)所提方法的優(yōu)越性，與其他幾個(gè)類似文獻(xiàn)中的檢測(cè)方法進(jìn)行了檢測(cè)率對(duì)比，因?yàn)榍叭酸槍?duì)車輛分類的研究不是很多，故沒有將所提系統(tǒng)的分類率與其他方法進(jìn)行對(duì)比。比較方法包括文獻(xiàn)［1］提出的背景變化魯棒的自適應(yīng)視覺跟蹤模型(BV－AVTM)、文獻(xiàn)［2］提出的行車道檢測(cè)及車輛跟蹤算法(TLDVT)、文獻(xiàn)［5］提出的背景差分及Mean－shift跟蹤算法(BS+Mean－shift)、文獻(xiàn)［6］提出的基于核函數(shù)的Mean－shift跟蹤算法(KMean－shift)，比較結(jié)果如表4所示，其中，各個(gè)比較方法的檢測(cè)率均取自對(duì)應(yīng)的參考文獻(xiàn)。

表4 各方法的車輛檢測(cè)率比較 %

從表4可以看出，所提系統(tǒng)的檢測(cè)率比其他幾種方法的檢測(cè)率都高，在各個(gè)比較方法中，BS+Mean－shift方法的檢測(cè)率最高，與 K－Mean－shift方法相比，BS+Meanshift方法引入了背景差分，提高了檢測(cè)率，而與BS+Mean－shift相比，所提的系統(tǒng)在背景差分的基礎(chǔ)上，結(jié)合了卡爾曼濾波算法，而它是一種基于狀態(tài)空間技術(shù)的遞歸預(yù)測(cè)方法，遞歸方法的使用提高了車輛的檢測(cè)率。

3 結(jié)論

本文提出了一種新穎的基于車輛幾何圖形和外觀特性的車輛分類方法，對(duì)車輛進(jìn)行了檢測(cè)、跟蹤和分類。所提系統(tǒng)的有效性在一個(gè)從典型城市交叉路口取得的3400幀視頻序列上得到了驗(yàn)證，背景差分方法和卡爾曼濾波算法用在檢測(cè)和跟蹤系統(tǒng)階段，使用圖像分割方法，在車輛結(jié)構(gòu)最清晰的點(diǎn)將其分段，被分割車輛的幾何和外觀特征送入LDA分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，所提系統(tǒng)將成為未來車輛檢測(cè)和分類的發(fā)展趨勢(shì)。雖然該系統(tǒng)展示了它在車輛檢測(cè)和跟蹤方面的穩(wěn)健性，但仍需要進(jìn)一步解決遮擋問題(例如使用立體攝像系統(tǒng))。

［1］王建宇，陳熙霖，高文，等.背景變化魯棒的自適應(yīng)視覺跟蹤目標(biāo)模型［J］.軟件學(xué)報(bào)，2009，17(5):1001－1008.

［2］曾智洪.高速公路中的行車道檢測(cè)和車輛跟蹤［J］.自動(dòng)化學(xué)報(bào)，2011，29(3):450－456.

［3］SUN Z，BEBIS G，MILLER R.On－road vehicle detection:a review［J］.Pattern Analysis and Machine Intelligence，2010，28(5):694－711.

［4］RAJAGOPALAN A N，CHELLAPPA R.Vehicle detection and tracking in video［J］.Image Processing，2010，24(1):351－354.

［5］LONG L，XIAO X，SHU X，et al.Vehicle tracking method using background subtraction and meanshift algorithm［J］.E－Product E－Service and E－Entertainment(ICEEE)，2010，23(3):1－4.

［6］彭寧嵩，楊杰，劉志，等.Mean－Shift跟蹤算法中核函數(shù)窗寬的自動(dòng)選取［J］.軟件學(xué)報(bào)，2010，16(9):1542－1550.

［7］DJALALOV M，NISAR H，SALIH Y，et al.An algorithm for vehicle detection and tracking［J］.Intelligent and Advanced Systems(ICIAS)，2010，26(1):1－5.

［8］杜宇人，周愛軍.一種基于視頻圖像的運(yùn)動(dòng)車輛跟蹤方法［J］.電子測(cè)量與儀器學(xué)報(bào)，2009，23(3):45－48.

［9］BEHRAD A，SHAHROKNI A，MOTAMEDI S A，et al.A robust visionbased moving target detection and tracking system［J］.Proceeding of Image and Vision Computing，2011，23(4):221－229.

［10］郭捷，施鵬飛.基于顏色和紋理分析的車牌定位方法［J］.中國(guó)圖象圖形學(xué)報(bào)，2012，7(5):472－476.

［11］MESSELODI S，MODENA C M，ZANIN M.A computer vision system for the detection and classification of vehicles at urban road intersections［J］.Pattern Analysis ＆ Applications，2012，28(1):17－31.

［12］GUPTE S，MASOUD O，MARTIN R F K，et al.Detection and classification of vehicles［J］.Intelligent Transportation Systems，2011，23(1):37－47.

［13］RABIU H.Vehicle detection tracking and colour－based classification in video［J］.International Journal of Advanced and Innovative Research(IJAIR)，2013，32(1):97－100.

［14］RABIU H，SARIPAN M I，MASHOHOR S，et al.3D facial expression recognition using maximum relevance minimum redundancy geometrical features［J］.EURASIP Journal on Advances in Signal Processing，2012，31(1):213－220.

［15］WELLING M.Fisher linear discriminant analysis［J］.Information Science，2007，19(2):108－116.