魏 巍,李志慧,趙永華,曲昭偉,江 晟,柴婷婷
(1.吉林大學(xué) 交通學(xué)院,長春 130022;2.吉林大學(xué) 計算機公共教學(xué)中心,長春 130022)
目前,交通視頻監(jiān)控通常利用道路兩側(cè)的攝像頭獲取道路圖像信息,傳輸?shù)浇煌ūO(jiān)控中心集中分析處理,形成了巨大的通信量,增加了多路圖像信息集中并發(fā)處理的困難?;旌辖煌ㄊ俏覈煌ǖ闹匾M成部分,但目前尚缺乏混合交通流參數(shù)檢測的方法和設(shè)備。為了降低交通監(jiān)控過程巨大通訊量和滿足高效便捷的混合交通流參數(shù)檢測的需要,研發(fā)面向混合交通流檢測的智能相機分布式設(shè)備,實現(xiàn)單點攝像機圖像信息處理,直接應(yīng)用于交通信號控制的設(shè)備或交通監(jiān)控中心尤為重要。
嵌入式設(shè)備具有高效、便捷、低能耗等優(yōu)點,近年來國內(nèi)外研究人員開展了將嵌入式技術(shù)應(yīng)用在交通監(jiān)控領(lǐng)域的研究。如:Bramberger等[1-2]采用LM-9618CMOS傳感器與雙TMS320DM642DSP芯片等構(gòu)建智能相機硬件框架體系與原型,利用高斯背景差分和前景閾值分割檢測車輛;Arth[3]等利用三個TMS320C6414DSP芯片與外置攝像頭構(gòu)建智能相機框架體系與原型,通過中值背景估計、前景差分分割、攝像機參數(shù)映射、Viola-Jones檢測、CAMShift預(yù)處理和Kalman跟蹤等算法檢測與跟蹤運動車輛;Wei等[4]利用圖像捕獲單元、FPGA視頻分析處理單元、圖像顯示單元構(gòu)建智能相機框架體系與原型檢測車輛信息,其中FPGA視頻分析處理單元由Harris交點檢測、局部二進制模式分類與分析等構(gòu)成;Houben[5]等利用CMOS傳感器、FPGA和嵌入式工業(yè)PC構(gòu)建智能相機原型,采用Harris交點和邊緣信息進行3D重構(gòu)、聚類和跟蹤檢測運動車輛;Macesic[6]等利用OMAP平臺,通過Kalman濾波器跟蹤車輛,獲取物體的軌跡,檢測異常軌跡,實現(xiàn)交通事件預(yù)警。上述相關(guān)研究促進了嵌入式智能相機技術(shù)在交通監(jiān)控領(lǐng)域的發(fā)展,但這些研究仍局限于交通車輛單一交通流形態(tài)的檢測,缺乏混合交通流檢測的研究,無法滿足我國混合交通的應(yīng)用需要。
針對目前缺乏混合交通視頻檢測智能設(shè)備的問題,本文利用CCD傳感器與DSP芯片構(gòu)建了智能相機框架體系和硬件原型系統(tǒng),采用背景初始化、背景模型與前景獲取、物體分割、特征提取、多目標(biāo)識別分類、攝像機參數(shù)標(biāo)定等視頻圖像處理技術(shù),構(gòu)建了混合交通流檢測軟件方法體系,開發(fā)了相應(yīng)的嵌入式算法系統(tǒng),實現(xiàn)了混合交通流參數(shù)檢測。
為降低道路監(jiān)控攝像頭向監(jiān)控中心傳輸?shù)臄?shù)據(jù)量,實現(xiàn)圖像采集后直接分析處理,處理數(shù)據(jù)傳輸至監(jiān)控中心或交通信號控制機等。本文構(gòu)建了圖1所示的混合交通流智能相機硬件體系結(jié)構(gòu)。圖2為智能相機硬件原型系統(tǒng)。
圖1 混合交通視頻檢測智能相機硬件體系結(jié)構(gòu)框圖Fig.1 Block diagram of the hardware architecture
圖2 混合交通視頻檢測智能相機硬件系統(tǒng)原型Fig.2 Prototype of the embedded DSP vision platform
混合交通流智能檢測設(shè)備軟件系統(tǒng)的體系結(jié)構(gòu)框圖,如圖3所示。
通常利用背景差分獲取視頻場景中的運動前景,即實現(xiàn)行人、自行車、機動車檢測,如式(1)所示:
式中:Ft為當(dāng)前時刻前景;It為當(dāng)前視頻幀;Bt-1為前一時刻背景。
背景模型作為前景物體檢測的關(guān)鍵,受外界光照、環(huán)境等變化影響明顯。為有效獲取混合交通背景,本文采用了基于對象選擇更新的混合高斯背景模型[7],如式(2)所示:
圖3 混合交通視頻智能檢測設(shè)備檢測算法框圖Fig.3 Software Framework of Smart Device on Mixed Traffic Detection
其中F(Bt-1)為混合高斯背景模型更新過程,參見文獻[8]。該模型對存在感興趣運動物體的區(qū)域不更新,否則參照混合高斯背景模型選擇性更新。由式(2)可以看出,背景模型需要初始背景作為其零啟動,為獲取零啟動背景,本文采用基于聚類識別的背景初始化方法[9]獲取初始背景,該方法可滿足場景內(nèi)包括運動前景物體或前景物體靜止遮擋率大于50%的應(yīng)用環(huán)境。
攝像機參數(shù)實現(xiàn)了圖像坐標(biāo)與交通場景位置坐標(biāo)的映射變換。為方便獲取攝像機內(nèi)外參數(shù),本文采用了黑箱攝像機標(biāo)定方法[10]計算映射關(guān)系。通常圖像坐標(biāo)與空間位置關(guān)系可表達(dá)為
式中:p矩陣表示攝像機內(nèi)外參數(shù)。根據(jù)已知圖像坐標(biāo)與空間位置坐標(biāo)點對,利用最小二乘法估計求解映射變換p矩陣。為簡化p矩陣求解,令p9=1,則需要n(n≥4)對 {(xi,yi) ,(ui,vi)}對應(yīng)點對構(gòu)成2n個線性方程求解p矩陣,該方程組表達(dá)為
根據(jù)式(4),可利用最少4對參照點計算求解映射變換p矩陣,獲取空間坐標(biāo)與圖像坐標(biāo)之間的映射關(guān)系。該方法與傳統(tǒng)方法相比,僅需一幅模板圖像,降低了特征點與模板個數(shù),簡化了計算,且具有穩(wěn)定性強、計算精度高的特點。
由于混合交通個體運動過程受形變、遮擋等影響,根據(jù)行人、機動車、自行車的幾何輪廓特點,本文構(gòu)建了交通個體中心距向量特征表達(dá)方法,該方法具有較好的旋轉(zhuǎn)、伸縮、平移不變性。
為構(gòu)建交通物體旋轉(zhuǎn)、伸縮、平移不變的特征,首先獲取物體重心G(xc,yc),其表達(dá)式為
式中:mpq為區(qū)域的pq階矩。
其次,選取區(qū)域邊緣上距離重心最遠(yuǎn)點作為區(qū)域主方向,令重心作為極坐標(biāo)中心,在[0,2π]范圍內(nèi)按照逆時針方向旋轉(zhuǎn),在每間隔θ角的方向上選取區(qū)域外邊緣點,獲取相應(yīng)點與極坐標(biāo)中心的距離,作為中心距l(xiāng)i,則構(gòu)成N維中心距向量l= [l1,l2,…,ln];最后,令中心距向量l除以中心距最大值l1,獲取歸一化的中心距向量l′=,實現(xiàn)混合交通個體特征提取與表達(dá)。
支持向量機(SVM)[11-13]作為基于統(tǒng)計學(xué)習(xí)的經(jīng)驗風(fēng)險最小化原則的一種監(jiān)督式機器學(xué)習(xí),其分類模式中利用相應(yīng)的分類核函數(shù)將輸入向量映射到一個高維空間,然后根據(jù)最優(yōu)化理論尋求分類器的范化誤差最小,獲取最優(yōu)分類超平面,實現(xiàn)不同模式的分類識別。在訓(xùn)練學(xué)習(xí)階段,本文選取行人、自行車、機動車與非交通個體樣本圖像訓(xùn)練學(xué)習(xí),訓(xùn)練過程采用Ado boosting算法[14]對SVM的強、弱分類器分配不同權(quán)重系數(shù)加快樣本空間學(xué)習(xí),建立其分類超平面,實現(xiàn)混合交通物體的分類識別。
本文利用圖2所示的智能相機原型系統(tǒng)采集交通視頻圖像,采用本文構(gòu)建的軟件算法對不同交通狀況下的混合交通流進行檢測實驗,其中圖4給出了運動背景與前景物體的檢測結(jié)果。圖5給出了不同混合交通物體的矩向量特征表示曲線形式,圖6給出了混合交通物體分類識別結(jié)果。從給定的實驗結(jié)果圖像可以看出,本文算法可以較好地獲取交通視頻的運動背景、前景、混合物體特征表達(dá)與識別分類。同時,為了檢驗本文算法的檢測性能,對不同交通狀態(tài)下的1400個混合交通物體識別分類準(zhǔn)確度進行了測試,本文算法的識別準(zhǔn)確度大于95%,反映了本文構(gòu)建的混合交通流智能檢測相機具有較好的性能,可應(yīng)用于混合交通流檢測。
圖4 長春市人民大街交通視頻處理結(jié)果Fig.4 Processing Result at Renmiing street site in Changchun
圖5 混合交通個體矩向量表達(dá)曲線圖Fig.5 Moment Vector Represent Curves of Mixed traffic object
圖6 混合交通個體識別分類結(jié)果Fig.6 Classification Results of Mixed Traffic Object
針對目前缺乏混合交通視頻檢測智能設(shè)備的問題,本文利用CCD傳感器與DSP芯片構(gòu)建了智能相機框架體系和硬件原型系統(tǒng),采用背景初始化、背景模型與前景獲取、物體分割、特征提取、多目標(biāo)識別分類、攝像機參數(shù)標(biāo)定等視頻圖像處理技術(shù),構(gòu)建了混合交通流檢測軟件方法體系,開發(fā)了相應(yīng)的嵌入式算法系統(tǒng),實現(xiàn)了混合交通流參數(shù)檢測。不同交通狀態(tài)下的測試結(jié)果反映了該系統(tǒng)具有良好的性能,可實現(xiàn)混合交通流參數(shù)檢測。本方法可為混合交通流智能相機的研發(fā)提供借鑒和參考。
[1]Bramberger M,Brunner J,Rinner B,et al.Real-time video analysis on an embedded smart camera for traffic surveillance[C]∥In:Real-Time and Embedded Technology and Applications Symposium,2004Proceedings RTAS 200410th IEEE,2004:174-181.
[2]Bramberger M,Roman P Pflugfelder,Maier Arnold,et al.A smart camera for traffic surveillance[C]∥Proceedings of the First Workshop on Intelligent Solutions in Embedded Systems;2003;Vienna University of Technology,Austria;2003:153-164.
[3]Arth C,Bischof H,Leistner C.TRICam-an embedded platform for remote traffic surveillance[C]∥Computer Vision and Pattern Recognition Workshop,2006 CVPRW'06Conference on,2006:125.
[4]Wei Bei-na,Shi Yu,Ye Ge-tian ,et al.Developing a smart camera for road traffic surveillance[C]∥Multimedia Signal Processing,2008IEEE 10th Workshop on,2008:826-831.
[5]Houben Q,Czyz J,Diaz J C Tocino,et al.Featurebased stereo vision using smart cameras for traffic surveillance[C]∥Fritz M,Schiele B,Piater JH,eds.Computer Vision Systems,Proceedings;2009:144-153.
[6]Macesic M,Jelaca V,Nino-Castaneda J O.et al.Realtime detection of traffic events using smart cameras[C]∥In:Proceedings of SPIE-IS and T Electronic Imaging-Intelligent Robots and Computer Vision XXIX:Algorithms and Techniques,Burlingame,CA,United states,2012.
[7]李志慧,張長海,曲昭偉,等.交通流視頻檢測中背景模型與陰影檢測算法[J].吉林大學(xué)學(xué)報:工學(xué)版,2006,36(6):993-997.Li Zhi-h(huán)ui,Zhang Chang-h(huán)ai,Qu Zhao-wei,et al.Background extraction model and shadow detection algorithm in traffic flow video detection[J].Journal of Jilin University(Engineering and Technology Edition),2006,36(6):993-997.
[8]Stauffer Chris,Grimson W E L.Adaptive background mixture models for real-time tracking[J].Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,1999,2(Compendex):246-252.
[9]李志慧,張長海,曲昭偉,等.交通流視頻檢測中背景初始化算法[J].吉林大學(xué)學(xué)報:工學(xué)版,2008,38(1):148-151.Li Zhi-h(huán)ui,Zhang Chang-h(huán)ai,Qu Zhao-wei,et al.Background initialization algorithm in traffic flow video detection[J].Journal of Jilin University(Engineering and Technology Edition),2008,38(1):148-151.
[10]曲昭偉,陳紅艷,李志慧,等.基于單模板的二維場景重建方法[J].吉林大學(xué)學(xué)報:工學(xué)版,2007,37(5):1159-1163.Qu Zhao-wei,Chen Hong-yan,Li Zhi-h(huán)ui,et al.2D view reconstruction method based on single calibration pattern[J].Journal of Jilin University(Engineering and Technology Edition),2007,37(5):1159-1163.
[11]Cortes Corinna,Vapnik Vladimir.Support-vector networks[J].Machine Learning,1995,20(3):273-297.
[12]Scholkopf B,Smola A J,Williamson R C,et al.New support vector algorithms[J].Neural Computation,2000,12(5):1207-1245.
[13]Scholkopf B,Platt J C,Shawe-Taylor J,et al.Estimating the support of a high-dimensional distribution[J].Neural Computation,2001,13(7):1443-1471.
[14]Rangel Pedro,Lozano Fernando,Garcia Elkin.Boosting of support vector machines with application to editing[C]∥ICMLA 2005:4th International Conference on Machine Learning and Applications,Los Angeles,CA,United States:Inst of Elec and Elec Eng Computer Society,2005:374-379.