趙 飛（上海電力學(xué)院 電子與信息工程學(xué)院，上海 200090）

基于已標(biāo)定攝像機(jī)的車輛識(shí)別系統(tǒng)

趙 飛
（上海電力學(xué)院 電子與信息工程學(xué)院，上海 200090）

現(xiàn)有車輛類型識(shí)別系統(tǒng)中，由于攝像機(jī)未經(jīng)過(guò)標(biāo)定，使得在圖像分析中無(wú)法得到關(guān)于尺度和坐標(biāo)的真實(shí)數(shù)據(jù)，從而帶來(lái)了一系列問(wèn)題。鑒于此，提出了基于已標(biāo)定攝像機(jī)的車輛識(shí)別系統(tǒng)，并結(jié)合特定車輛的3D模型，規(guī)劃設(shè)計(jì)了逃逸車輛的在線識(shí)別方案。攝像機(jī)標(biāo)定后，可以自動(dòng)檢測(cè)車輛的真實(shí)大小和在世界坐標(biāo)中的真實(shí)運(yùn)動(dòng)方向，不但能夠更為準(zhǔn)確地進(jìn)行車輛識(shí)別，而且為實(shí)現(xiàn)攝像機(jī)之間的聯(lián)合檢測(cè)和接力檢測(cè)提供了數(shù)據(jù)基礎(chǔ)。最后從攝像機(jī)標(biāo)定過(guò)程中的重投影誤差分布圖以及基于玩具車的模擬測(cè)試說(shuō)明了基于攝像機(jī)參數(shù)和車輛模型動(dòng)態(tài)生成車輛視圖的可行性。

特定車輛；識(shí)別；標(biāo)定攝像機(jī)；3D模型

0 引言

關(guān)于車輛類型識(shí)別的方法已經(jīng)提出了很多?；诘芈窀袘?yīng)線圈的車型識(shí)別技術(shù)［1-2］只能對(duì)車型給與大致的區(qū)別，不能根據(jù)車外觀造型、顏色等進(jìn)行細(xì)分?；诘芈駢弘妭鞲衅鞯能囆妥R(shí)別技術(shù)［3］只對(duì)重量檢測(cè)比較合適?；诩t外線檢測(cè)的車型識(shí)別技術(shù)［4］通過(guò)有無(wú)反射波來(lái)對(duì)過(guò)往車輛進(jìn)行檢測(cè)，鑒于速度這個(gè)不確定因素，也只能大致檢測(cè)?；谝曨l圖像的車型識(shí)別技術(shù)通過(guò)攝像機(jī)采集視頻圖像，它可以獲得更為豐富的車輛信息，因此可以作更全面和準(zhǔn)確的車輛分類，同時(shí)檢測(cè)器安裝簡(jiǎn)便、監(jiān)控范圍廣。實(shí)際上，數(shù)字圖像和數(shù)字視頻技術(shù)常被用于道路車輛的視頻監(jiān)控、車牌識(shí)別、路況分析、車輛識(shí)別等。

然而目前的車輛監(jiān)控系統(tǒng)大多數(shù)采用單攝像機(jī)拍攝圖像，并且攝像機(jī)參數(shù)沒(méi)有經(jīng)過(guò)標(biāo)定。這使得對(duì)圖像內(nèi)容的處理過(guò)程中缺乏真實(shí)尺度信息，車輛的真實(shí)大小、運(yùn)行的實(shí)際空間方向無(wú)法獲知，對(duì)車輛識(shí)別造成困難，也使得車輛的全程跟蹤無(wú)法實(shí)現(xiàn)。為此，本文提出采用已標(biāo)定攝像機(jī)和車輛3D模型的方法，并對(duì)其中的技術(shù)原理和系統(tǒng)模型進(jìn)行了分析設(shè)計(jì)。

1 現(xiàn)有車輛識(shí)別中存在的問(wèn)題

基于視覺(jué)的目標(biāo)檢測(cè)，通常是通過(guò)統(tǒng)計(jì)車輛的某種特征來(lái)比對(duì)識(shí)別的。一般的處理步驟是，首先根據(jù)運(yùn)動(dòng)信息分割車出輛區(qū)域，然后根據(jù)車輛的各種數(shù)據(jù)進(jìn)行判決，這些特征信息可能是車輛圖像幾何參數(shù)特征［5-7］、代數(shù)特征值、矩特征［8］、變換系數(shù)特征［9-11］、圖像特征點(diǎn)特征［12-13］。對(duì)這些特征進(jìn)行判別的方法，常用的主要有：（1）最小距離分類法，例如采用角點(diǎn)的 Hausdorff距離；（2）隱馬爾可夫模型識(shí)別方法；（3）支持向量機(jī)識(shí)別方法；（4）人工神經(jīng)網(wǎng)絡(luò)［14］等。有的學(xué)者［15-16］采用一種基于三維結(jié)構(gòu)模型的車輛特征提取方法，為車輛建立一個(gè)參數(shù)模型，并提出了利用3D幾何模型來(lái)對(duì)車輛運(yùn)動(dòng)跟蹤的方法［17］。

上述的方法策略中，都是基于未標(biāo)定的攝像機(jī)，所存儲(chǔ)的視頻序列數(shù)據(jù)庫(kù)中不包含攝像機(jī)的參數(shù)信息。未標(biāo)定的攝像機(jī)會(huì)帶來(lái)較大的難度：（1）對(duì)象的實(shí)際尺寸無(wú)法獲知；（2）無(wú)法獲知車輛的運(yùn)行方位；（3）在處理多攝像之間的視頻銜接時(shí)，也需要人工判斷和比對(duì)。因此，本文將未標(biāo)定攝像機(jī)改為已標(biāo)定攝像，并將攝像機(jī)的內(nèi)外參數(shù)與其所拍攝的視頻數(shù)據(jù)同時(shí)存儲(chǔ)。

2 已標(biāo)定攝像機(jī)系統(tǒng)及其作用

目前視頻監(jiān)控以單攝像機(jī)為主，也有采用雙攝像機(jī)或者多攝像機(jī)同時(shí)監(jiān)控的。但是在系統(tǒng)設(shè)計(jì)時(shí)，攝像機(jī)之間沒(méi)有相關(guān)性。雙目攝像機(jī)系統(tǒng)可以記錄和重建目標(biāo)的三維空間信息［18］，從而為視頻對(duì)象的處理帶來(lái)極大的便利。

通常的攝像機(jī)都不可能是理想的攝像機(jī)，例如焦距與標(biāo)稱值有誤差，焦距在水平和豎直方向上不一致，圖像的主點(diǎn)不在圖像的中心，拍攝的圖像存在徑向和切向的畸變。對(duì)于雙目攝像機(jī)，還存在兩個(gè)攝像機(jī)的參數(shù)不一致、距離標(biāo)定問(wèn)題。這些參數(shù)被劃分為內(nèi)部參數(shù)intrinsic和外部參數(shù) extrinsic，它們可以通過(guò)攝像的標(biāo)定算法計(jì)算出來(lái)［19］。這些參數(shù)包括每個(gè)攝像機(jī)的內(nèi)部參數(shù)intrinsic以及攝像機(jī)之間的外部參數(shù)extrinsic，另外還需要知道世界坐標(biāo)相關(guān)數(shù)據(jù)。

intrinsic=｛Fx，F(xiàn)y，cx，cy，γ，k1，k2，k3，p1，p2｝

extrinsic=｛θx，θy，θz，tx，ty，tz｝

依據(jù)攝像機(jī)的內(nèi)部和外部參數(shù)，可以進(jìn)一步通過(guò)立體校正，將兩個(gè)攝像機(jī)的參數(shù)校正到左右一致的虛擬參數(shù)上，這時(shí)兩個(gè)實(shí)際的攝像機(jī)可被看作一套理想的立體攝像機(jī)系統(tǒng)，只需要｛F，cx，cy，tx｝這 4個(gè)參數(shù)。這 4個(gè)參數(shù)可寫成一個(gè)4×4矩陣的形式，它可以在視差d已知的情況下由圖像m（x，y）坐標(biāo)計(jì)算出三維空間坐標(biāo)M~=［X，Y，Z，1］T，如式（1）所示，M~為齊次坐標(biāo)形式，其中比例參數(shù)s可以在求解的過(guò)程中消掉。

實(shí)際上，單攝像機(jī)系統(tǒng)是最常用的。它不能像雙攝像機(jī)系統(tǒng)那樣在攝像機(jī)參數(shù)已知的情況下直接計(jì)算出三維目標(biāo)的尺寸及其世界坐標(biāo)位置，但是對(duì)于“路面交通”這樣的應(yīng)用環(huán)境，也是有所作為的，因?yàn)檐囕v都位于路面上，所以只考慮路面到攝像機(jī)像平面的映射即可。不妨假定Z=0，則像素坐標(biāo)m（x，y）與地面世界坐標(biāo)=［X，Y，1］T之間可以通過(guò)一個(gè)3×3的單應(yīng)性矩陣H聯(lián)系起來(lái)，如式（2）所示，這個(gè)關(guān)系是可以進(jìn)行逆運(yùn)算的。

對(duì)于車輛檢測(cè)應(yīng)用系統(tǒng)［20-21］，無(wú)論是雙攝像機(jī)系統(tǒng)還是單攝像機(jī)系統(tǒng)，都可以建立圖像像素坐標(biāo)到空間目標(biāo)坐標(biāo)之間的對(duì)應(yīng)計(jì)算關(guān)系，可以通過(guò)像素坐標(biāo)來(lái)計(jì)算空間坐標(biāo)。這樣，可以在攝像機(jī)參數(shù)已知的情況下實(shí)現(xiàn)：

（1）計(jì)算空間目標(biāo)的位置（X，Y，Z），從而確定車輛在世界坐標(biāo)中的真實(shí)位置；

（2）計(jì)算目標(biāo)的實(shí)際大小，從而為車輛類型的判別提供重要依據(jù)；

（3）通過(guò)車輛在攝像機(jī)視場(chǎng)中真實(shí)位置，可以根據(jù)車輛模型和攝像機(jī)參數(shù)生成用于車輛識(shí)別的車輛視圖；

（4）可以判斷車輛在真實(shí)世界中的運(yùn)行方向和速度。

這其中最為關(guān)鍵的是對(duì)車輛位置的計(jì)算。兩者相比之下，雙目攝像機(jī)可以提供更為準(zhǔn)確的三維重建，它可以計(jì)算像素點(diǎn)的真實(shí)三維空間位置，X、Y、Z 3個(gè)坐標(biāo)值都可以計(jì)算出來(lái)，如圖1中的P2點(diǎn)。而單攝像機(jī)系統(tǒng)在目標(biāo)位置定位的過(guò)程中會(huì)造成較大的誤差。單目相機(jī)將像素點(diǎn)全部映射到地面上，而實(shí)際的車輛都有一定的高度，因此會(huì)帶來(lái)誤差，如圖 1中的點(diǎn)P1。

圖1 單攝像機(jī)重建位置誤差

3 基于已標(biāo)定像機(jī)的特定車輛識(shí)別

采用基于3D模型的方法對(duì)特定車輛進(jìn)行識(shí)別，由于車輛在攝像機(jī)視場(chǎng)中處于不同的位置時(shí)，實(shí)拍車輛圖像會(huì)有很大不同，為了準(zhǔn)確生成對(duì)應(yīng)的模型圖像，需要對(duì)車輛的位置和方向角度進(jìn)行檢測(cè)。同時(shí)，為了便于監(jiān)控場(chǎng)點(diǎn)之間的連續(xù)性跟蹤，需要建立基于GPS的全局坐標(biāo)系系統(tǒng)。

3.1 坐標(biāo)系統(tǒng)模型

為了不增加硬件成本，采用目前已經(jīng)在運(yùn)行的單攝像機(jī)系統(tǒng)，如圖2所示。全網(wǎng)的攝像機(jī)采用統(tǒng)一模式的“局部世界坐標(biāo)”系統(tǒng)。即以正北方為Y軸，以正東方為X軸，線桿與地面的交點(diǎn)為原點(diǎn)，Z軸垂直于地面豎直向上，也就是坐標(biāo)系的XY平面建立在地平面上，從而確定了此攝像機(jī)局部世界坐標(biāo)（OwXYZ）。

圖2 單攝像機(jī)系統(tǒng)

同時(shí)，通過(guò)全球定位系統(tǒng)GPS測(cè)量出Ow的經(jīng)緯度坐標(biāo)以確定局部世界坐標(biāo)在世界坐標(biāo)中的位置Ow=（Xgps，Ygps，0）。因此，需要以下參數(shù)來(lái)描述攝像機(jī)：

其中，內(nèi)部參數(shù)intrinsic描述攝像機(jī)自身的屬性，外部參數(shù)extrinsic描述了該攝像機(jī)在局部世界坐標(biāo)中的位置和方向，而Ow確定了局部世界坐標(biāo)在全局世界坐標(biāo)中的位置。

預(yù)先對(duì)各個(gè)路口的攝像機(jī)進(jìn)行標(biāo)定，獲取內(nèi)部參數(shù)和外部參數(shù)，并同時(shí)存儲(chǔ)在攝像機(jī)機(jī)身中和服務(wù)器的“攝像機(jī)參數(shù)”數(shù)據(jù)庫(kù)中。通過(guò)攝像機(jī)標(biāo)定算法，可以計(jì)算出該攝像機(jī)的內(nèi)部和外部參數(shù)。

3.2 系統(tǒng)工作原理

需要針對(duì)逃逸車輛建立3D模型，并計(jì)算其特征數(shù)據(jù)，然后通知所有攝像機(jī)按照特征數(shù)據(jù)檢查過(guò)往車輛，并實(shí)時(shí)報(bào)警。而創(chuàng)建一種車輛的視覺(jué)3D模型也不是一件很難的事情，因?yàn)檫@種模型只需要提供外觀特征，而不必關(guān)心車身內(nèi)部。車輛模型建立后可以存入模型庫(kù)以備下次直接調(diào)用。系統(tǒng)工作原理如圖3所示。

圖3 基于車輛模型和攝像機(jī)參數(shù)的車輛識(shí)別系統(tǒng)原理

從圖3可以看出，當(dāng)追逃任務(wù)下達(dá)后，服務(wù)器根據(jù)待查車輛的類型調(diào)出車輛3D模型，依據(jù)各個(gè)監(jiān)控場(chǎng)點(diǎn)的攝像機(jī)參數(shù)生成目標(biāo)車輛的多張參考圖像，并將它們發(fā)送給各個(gè)攝像機(jī)，攝像機(jī)依據(jù)這些圖像進(jìn)行在線識(shí)別。因?yàn)閳D像的數(shù)據(jù)量比較大，所以實(shí)際系統(tǒng)中也可以由服務(wù)器根據(jù)圖像計(jì)算出特征矢量，然后將特征矢量數(shù)據(jù)發(fā)送給攝像機(jī)，以便減小通信壓力?？捎幸韵?種實(shí)現(xiàn)策略。

（1）現(xiàn)場(chǎng)實(shí)時(shí)分析

將3D模型下發(fā)給各個(gè)攝像機(jī)的現(xiàn)場(chǎng)處理器，由現(xiàn)場(chǎng)處理器生成特定視圖及其特征矢量數(shù)據(jù)。這是最理想的方案，但是目前由于現(xiàn)場(chǎng)處理器計(jì)算能力和內(nèi)存容量的限制，這種方案難以實(shí)現(xiàn)。

（2）服務(wù)器實(shí)時(shí)分析

攝像機(jī)實(shí)時(shí)檢測(cè)車輛的距離和方位，然后要求實(shí)時(shí)生成特定視圖及其特征矢量數(shù)據(jù)，并發(fā)送給攝像機(jī)，這種模式對(duì)通信能力的要求過(guò)高。

（3）服務(wù)器預(yù)分析

服務(wù)器根據(jù)每個(gè)攝像機(jī)的參數(shù)預(yù)先生成可能的視圖及其特征矢量，然后下發(fā)給攝像機(jī)。服務(wù)器不可能把所有可能的視角圖像都預(yù)先生成，為此，將俯視角β和側(cè)視角α都劃分為9個(gè)子角度，這樣總共有81種視角，對(duì)每個(gè)視角生成視圖并計(jì)算其特征矢量，然后傳送給攝像機(jī)。

3.3 仿真結(jié)果分析

圖4是在進(jìn)行攝像標(biāo)定的過(guò)程中由MATLAB輸出的標(biāo)定物重投影誤差分布圖，可以看出在通常精度情況下重投影誤差絕大多數(shù)在±0.4像素之內(nèi)。這說(shuō)明，根據(jù)3D模型和攝像機(jī)參數(shù)生成的視圖與真實(shí)拍攝圖像之間會(huì)有很好的符合度，甚至可以在半像素精度之內(nèi)。實(shí)際上在圖像分析處理的過(guò)程中往往會(huì)帶來(lái)一定程度的誤差，需要通過(guò)一定的算法來(lái)盡可能減小這一誤差。

圖4 重投影誤差（單位為像素）

圖5是根據(jù)攝像對(duì)實(shí)拍圖像的檢測(cè)結(jié)果，然后根據(jù)檢測(cè)數(shù)據(jù)由人工輸入3D MAX產(chǎn)生的視圖，可以看出結(jié)果非常吻合。這種情況下，不但可以采用各種尺度和旋轉(zhuǎn)不變量來(lái)進(jìn)行識(shí)別，也可以直接采用圖像匹配的方法，因?yàn)檫@時(shí)不必?fù)?dān)心模型圖像與實(shí)拍圖像在尺度、視角上的區(qū)別。

圖5 根據(jù)實(shí)拍車輛和小車模型生成視圖

4 結(jié)論

本文提出了基于已標(biāo)定攝像機(jī)的車輛識(shí)別系統(tǒng)，并結(jié)合特定車輛的3D外觀模型，規(guī)劃設(shè)計(jì)了逃逸車輛的在線識(shí)別方案。由于攝像機(jī)標(biāo)定后可以自動(dòng)檢測(cè)車輛的真實(shí)大小和在世界坐標(biāo)中的真實(shí)運(yùn)動(dòng)方向，不但能夠更為準(zhǔn)確地進(jìn)行車輛識(shí)別，而且為實(shí)現(xiàn)攝像機(jī)之間的聯(lián)合檢測(cè)和接力檢測(cè)提供了數(shù)據(jù)基礎(chǔ)。通過(guò)基于玩具車的模擬測(cè)試可以看出，依據(jù)攝像機(jī)參數(shù)和真實(shí)車輛圖像，能夠生成與真實(shí)圖像幾乎完全一致的車輛視圖。另外，從標(biāo)定過(guò)程中的重投影誤差分布圖可以看出，重投影誤差大部分在半像素精度之內(nèi)。因此只要能夠?qū)φ鎸?shí)圖像中的車輛位置和方位角作出準(zhǔn)確的檢測(cè)，就可以依據(jù)模型創(chuàng)建合適的視圖，從而使得車輛的識(shí)別算法更為簡(jiǎn)單和準(zhǔn)確。

［1］TOK Y C A.Commercial vehicle classification system using advanced inductive loop technology［D］.Irvine：University of California，2008.

［2］朱海濤.一種基于感應(yīng)線圈的車型識(shí)別系統(tǒng)［D］.成都：西南交通大學(xué)電氣工程學(xué)院，2003.

［3］徐威.基于紅外檢測(cè)和壓電傳感相結(jié)合的車型自動(dòng)分類技術(shù)研究［D］.南京：南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，2004.

［4］顧國(guó)華.車輛紅外自動(dòng)識(shí)別技術(shù)與系統(tǒng)研究［D］.南京：南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，2000.

［5］Tao Jinsong，Chen Shixiu，Yang Li，et al.Ultrasonic technique based on neural networks in vehicle modulation recognition［J］.Intelligent Transportation Systems，2004（42）：201-204.

［6］張小軍.智能交通系統(tǒng)中的車輛檢測(cè)和車型識(shí)別技術(shù)研究［D］.西安：西北大學(xué)，2006.

［7］Wei Zhan，Zhiqing Luo.System design of real time vehicle type recognition based on video for Windows（AVI）files［C］.Intelligent Computing and Information Science，Communications in Computer and Information Science，2011，135：681-686.

［8］HU M K.Visual pattern recognition by moment invariants［J］.IRE Transactions on Information Theory，1962（8）：179-187.

［9］KAZEMI F M，SAMADI S，POORREZA H R，et al.Vehicle recognition using curvelet transform and SVM［J］.Fourth International Conference on Information Technology，ITNG′07，2007：516-521.

［10］KAZEMI F M，SAMADI S，POORREZA H R，et al.Vehicle recognition based on Fourier，Wavelet and Curvelet transforms-a comparative study［J］.Fourth International Conference on Information Technology，ITNG′07，2007：939-940.

［11］Zhou Zhuyu，Deng Tianmin，Lv Xianyang.Study for vehicle recognition and classification based on gabor wavelets transform＆amp；HMM［C］.2011 International Conference on Consumer Electronics，Communications and Networks（CECNet），2011：5272-5275.

［12］楊雪.基于視覺(jué)感知的圖像顯著區(qū)域的提?。跩］.微型機(jī)與應(yīng)用，2015，34（2）：47-48，51.

［13］嚴(yán)明，李玉惠，李勃，等.高速公路監(jiān)控視頻中運(yùn)動(dòng)車輛對(duì)象提?。跩］.微型機(jī)與應(yīng)用，2014，33（2）：41-43.

［14］王年，任彬，黃勇，等.基于神經(jīng)網(wǎng)絡(luò)的汽車車型圖象自動(dòng)識(shí)別［J］.中國(guó)圖象圖形學(xué)報(bào)，1999，4（8），668-672.

［15］LEE K H，HWANG J N，CHEN S I.Model-based vehicle localization based on three-dimensional constrained multiple-kernel tracking［J］.IEEE Transactions on Circuits and Systems for Video Technology，2015，25（1）：38-50.

［16］Wei Wu，Zhang Qisen，Wang Mingjun.A method of vehicle classification using models and nerual networks［J］.［17］Lou Jianguang，Tan Tieniu，Hu Weiming，et al.3-D model-based vehicle tracking［J］.IEEE Transactions on Image Processing，2005，14（10）：1561-1569.

［18］Xu Gang，Zhang Zhengyou.Epipolar geometry in stereo，motion and object recognition：a unified approach［M］.Kluwer Academic Publishers，1996.

［19］Zhang Zhengyou.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

［20］焦琴琴，牛力瑤，孫壯文，等.基于車輛聲音及震動(dòng)信號(hào)相融合的車型識(shí)別［J］.微型機(jī)與應(yīng)用，2015，34（11）：79-82.

［21］陳龍威，孫旭飛.一種基于時(shí)間序列分層匹配的騎線車輛檢測(cè)方法［J］.微型機(jī)與應(yīng)用，2014，33（21）：88-91，94.

The vehicle identification system based on calibrated camera

Zhao Fei
（Electronic and Information Engineering，Shanghai University of Electric Power，Shanghai 200090，China）

The camera is not calibrated in the existing vehicle type monitoring system，so the image analysis can not get the real data on the scale and coordinates，which leads to a series of questions.In view of this，this paper put forward the vehicle identification system model and methods based on calibrated camera，combined with the 3D appearance of a specific vehicle model，planning escape vehicle line detection.After calibration，it can monitor the real size of the vehicle and the direction of real movement automatically in world coordinates，so that the vehicle will not only be able to detect more accurately，but also provides the data foundation for the realization of joint monitoring and detection of camera and between the relay.

specific vehicle；identification；calibration camera；3D mode

TP391

A

1674-7720（2015）24-0056-04

趙飛.基于已標(biāo)定攝像機(jī)的車輛識(shí)別系統(tǒng)［J］.微型機(jī)與應(yīng)用，2015，34（24）：56-59，62.

2015-08-31）

趙飛（1990-），通信作者，男，碩士，主要研究方向：基于標(biāo)定攝像機(jī)的特定車輛識(shí)別。E-mail：1185223790@qq.com。