袁愛龍 ,陳懷新 ,吳云峰
(1.電子科技大學 光電信息學院,四川 成都 610054;2.中國電子科技集團公司第十研究所,四川 成都 610036)
車輛自動識別技術是智能交通系統(tǒng)ITS(Intelligent Transportation System)的重要組成部分,它對特定地點和時間的車輛進行識別和分類,并以之作為交通收費、調度和統(tǒng)計的依據。
根據GB/T 3730.1-2001《汽車和掛車類型的術語和定義》[1],汽車分為乘用車(不超過9座)和商用車。車型識別的研究主要應用在車輛結構和車輛型號(不同品牌型號)兩個方面。本文主要是在車輛結構上進行車型識別,將識別的車輛分為乘用車(小車)和商用車(大車)兩類。
車型識別的汽車圖片中汽車所處環(huán)境復雜多變,并且同類車型包括眾多不同的車輛,車型識別的難點在于獲取最本質、最有代表性的特征。在提取特征方面,英國曼徹斯特大學的PETROVIC V S等人對汽車前景圖像的參考曲面提取梯度特征[2],NEGRI P和CLADY X等人提取汽車正面圖像定向輪廓點特征[3-4],但是光線特征和輪廓點特征對光線變換敏感,當光線不同時,識別率變化較大。隨后,PSYLLOS A等人采用尺度不變換特征(SIFT)提取車臉圖像特征[5]。SIFT特征具有圖像尺度(特征大?。┖托D不變性,而且對光照變化也具有一定程度的不變性,但是圖像出現(xiàn)損壞、遮擋時,識別率也會受到影響。
本文根據人眼分辨事物的特點提取車輛前景圖像(車臉圖像)尺度顯著性特征,然后用徑向基神經網絡作為分類器去測試提取特征方法的識別效果。實驗結果表明,本文所提出的方法能有效地對車型進行識別處理。
尺度顯著性算子是基于提取魯棒而有關聯(lián)的特征的需要而提出的[6]。如果一幅圖像的某些區(qū)域不能在特征和尺度空間同時進行預測,尺度顯著性算法將認為這些區(qū)域是顯著特征區(qū)域,即人眼辨別事物時的感興趣區(qū)域。其中的不可預測性通過統(tǒng)計方法確定,計算出位置和尺度的顯著特征值空間作為進一步理解圖像的基礎。與傳統(tǒng)方法相比,其目標是成為一個尺度和顯著特征的通用方法,因為這兩者的定義與特殊的基本形態(tài)意義無關,這些基本形態(tài)意義不是基于粒子、邊緣和角點等特殊的幾何特征。該方法通過確定某一尺度上圖像塊內的熵(entropy,即一種稀有性的量度)進行處理,熵 HD定義為:
連續(xù)條件下,顯著性因子是熵峰值的加權和,定義為圖像尺度 s和坐標x→的函數:
其中,權重函數 WD(,→)定義為:
在離散條件下,HD、WD和定義為:
提取圖像顯著性區(qū)域的算法描述如下:
(1)對圖像 I中的每個像素點(x,y),遍歷所有的尺度 s,其中s∈(smin,smax)。
①在尺度為s的圖像窗口中計算局部描述值i;
②用局部描述值i和局部圖像灰度值分布來計算局部概率密度函數 P(i,s,);
(2)對 WD(s,→)進行平滑濾波處理。
(4)用式(3)計算顯著性因子 yD(,)。
該算法產生了一個由二維圖像平面向量和一維尺度向量組成的R3空間,構成了尺度顯著性空間。
對不同的圖像簡單提取熵值最大點作為尺度顯著性空間有不妥之處,因為該空間中會包含圖像中的噪聲點,因此有必要用聚類算法優(yōu)化該顯著性空間。這個聚類算法必須滿足提取原始顯著性空間的顯著性因子較高的點和去除許多噪聲引起的顯著性點兩個要求。
具體的聚類算法描述如下:
(1)設置尺度間顯著性全局閾值wt和顯著性因子全局閾值yt,并應用于上述算法提取的顯著性空間Rn3;
(2)在顯著性空間 Rn3中選出最大顯著性因子 ymax,這一顯著性區(qū)域包含中心點(x0,y0)和尺度 s0;
(4)去除所有D<s0的顯著性因子,構成新的顯著性空間 Rm3,m≤n;
(5)在新的顯著性空間Rm3中找出第二個最大顯著性因子 ymax,重復步驟(2)。
圖1為顯著性算法在實際圖像中的應用。在這個例子中,將局部的圖像灰度值的直方圖作為描述值,并設置了一個整體的閾值S→。圖1(a)中圓形區(qū)域即為該圖像的顯著區(qū)域,圓形區(qū)域半徑是尺度顯著性算法中的尺度。圖1(a)只顯示了顯著性因子值在前15的顯著區(qū)域,能夠看出有紋理的背景并不影響該算法選擇圖像的顯著區(qū)域。圖1(b)為原始圖像光線變暗后采集的顯著性,圖1(c)為原始圖像縮小一半后采集的顯著性區(qū)域,圖1(d)為原始圖像順時針旋轉后采集的顯著性區(qū)域,圖1(e)為原始圖像添加椒鹽噪聲后采集的顯著性區(qū)域。
圖1 不同條件下圖像顯著性區(qū)域采集圖
為衡量在不同條件下收集的圖像顯著性區(qū)域的相似度,以兩個圖像矩陣的相關性來評價。設某圖像某塊顯著區(qū)域的矩陣為 Am×n,另一圖像某塊顯著區(qū)域的矩陣為 Bm×n,則 Am×n與 Bm×n的相似度即相關系數 Corr 可表示為
圖2顯示了圖 1(a)和圖 1(e)的顯著區(qū)域最相關的部分,第1行為圖 1(a)的前 10個顯著性區(qū)域圖像,第 2行圖1(e)中與上面區(qū)域對應顯著性區(qū)域。分別計算對應區(qū)域的相似度,結果顯示,每對顯著性區(qū)域的相關性都在0.72以上,相關性良好,體現(xiàn)了該算法提取的特征對噪聲具有很好的魯棒性。
圖2 不同條件下圖像顯著性區(qū)域匹配圖
為驗證尺度顯著性算法提取的顯著性區(qū)域對圖像光線變化、尺度變化以及旋轉的魯棒性,計算圖1中各種情況下采集的顯著性區(qū)域與原始圖像顯著性區(qū)域之間的相似度,結果如表1所示。
表1 顯著性區(qū)域相似度計算結果
從表1可以看出,各種情況下提取的顯著性區(qū)域之間的相似度都在0.72以上,表明尺度顯著性算法提取顯著性區(qū)域的方法實踐能力強,對均一亮度變化、縮放、旋轉以及噪聲都具有不變性,可以證明對視點的細微變化也有魯棒性。
車臉圖像這一區(qū)域包含了豐富的分類特征,不同品牌、不同設計目的的車輛其車燈和散熱器隔柵在形狀、尺寸和線條上有很大的不同,不同的車輛系列、不同的車輛型號都有獨特的區(qū)別于其他車臉圖像的外觀設計。因此本文選擇車臉區(qū)域進行研究,通過識別車臉的圖像特征識別車輛所屬類型。
由于提取顯著性因子與尺度有關系,在提取不同類車型的顯著性特征時,將其大小歸一化處理,這樣提取的顯著性特征才能較好地區(qū)分車輛類型。本文將車輛圖像歸一化為180 pix×210 pix。不同車型的顯著性特征提取示例如圖3所示。
圖3 車臉圖像顯著性區(qū)域示例
從圖3提取的顯著性區(qū)域可知,乘務車(小車)的顯著性區(qū)域主要分布在散熱器格柵處,分布在車燈上的區(qū)域很少,且尺度大小相差不大;商務車(大車)的顯著性區(qū)域主要分布在車燈和車窗處,且尺度大小不一。
本文將歸一化車臉圖像中顯著性區(qū)域的中心點和尺度構成汽車車型分類的特征空間。用圖3中大車和小車圖像構成的車型分類特征空間如圖4所示。
圖4 車型分類的特征空間
在車型分類的特征空間中,小車特征點表示為α=(xa,ya,sa)T,大車特征點表示為 β=(xb,yb,sb)T,兩點之間的歐式距離表示為:
大車所有特征點與小車所有特征點的最小歐式距離表示為:
最小歐氏距離越大,表示類間距離越大,特征向量區(qū)分度越大,特征提取方法越好。
計算圖4中小車和大車所有特征點的最小歐式距離Dmin=21.63,最小歐式距離較大,表示特征向量區(qū)分度較好。
鑒于基于徑向基函數神經網絡的模式分類方法在網絡結構方面的簡潔性以及在識別率和訓練速度方面的優(yōu)勢,本文采用其作為車型識別方法。用采集到的部分車輛圖去訓練已經設計好的RBF網絡,最后驗證該特征提取方法的有效性,計算車型識別率。
為驗證提取顯著性特征的區(qū)分性,選擇RBF神經網絡作為分類器。徑向基函數神經網絡一般采用具有輸入層、隱藏層和輸出層的3層模型,各層的權值向量維數等于其神經元節(jié)點個數。
輸入層的節(jié)點數由特征向量的維數決定,本文選取車臉圖像的前15個顯著性區(qū)域作為車臉圖像顯著性特征,每個顯著性區(qū)域包含中心點(x,y)和尺度 s,提取得到的特征向量為15×3=45維,故輸入層節(jié)數為45。
輸出層的節(jié)點數由輸出向量維數決定。本文將帶識別的車型分為乘務車(小車)和商務車(大車)兩類,因此輸出向量為二維向量,即輸出層節(jié)點數為2。
隱藏層的節(jié)點數可以通過網絡學習自適應獲得。
實驗數據來自于相機采圖,相機不是固定的,放置在車輛正前方 3~5 m處,距離地面 1.4~1.6 m,因此采集的車輛圖片在尺度和角度±5°都有的變化。在一個月時間內不同天氣和不同光線條件下采集1 046幅車臉圖像,圖5為采集到的車臉圖像樣例。其中,700幅圖像用于訓練 (大車和小車圖像各350幅),346幅圖像用于測試(198幅小車圖像和148幅大車圖像),用這些訓練圖像一次性完成對已設計好的RBF網絡的訓練,得到車型識別結果如表2所示。
圖5 車輛訓練圖像樣例
表2 車型識別結果
從表2可知,基于尺度顯著性的車型識別方法,乘用車(小車)和商務車(大車)的識別率都在 94%以上,達到較好的效果。未能正確識別的車輛圖像中,大部分都是背景比較復雜,或是車輛目標不是很明顯。為進一步提高識別率,需在復雜背景下提取車輛圖像,這也是今后改進的方向。
本文首次提取圖像尺度顯著性因子作為圖像的分類特征,并應用到圖像識別領域,提出了一種基于尺度顯著性的車型識別方法。相比于傳統(tǒng)的特征提取方法,尺度顯著性因子對圖像均一亮度變化、縮放、旋轉以及噪聲都具有不變性,并對視點的細微變化也有魯棒性。用RBF神經網絡去驗證算法性能,實驗結果顯示,基于尺度顯著性的車型識別方法是有效的。鑒于圖像尺度顯著性因子的特性,可以將這種方法應用復雜背景下的目標檢測和跟蹤,這也是下一步將研究的問題。
[1]GB/T 3730·1-2001.Motor Vehicles and Trailers-Types:Terms and Definitions[S].
[2]PETROVIC V S,COOTES T F.Vehicle type recognition with match refinement[C].International Conference on Pattern Recognition, 2004(3):95-98.
[3]NEGRI P,CLADY X,MILGRAM M,et al.An orientedcontour pointbased voting algorithm for vehicle type classification[C].18th International Conference on Pattern Recognition, 2006(1):574-577.
[4]CLADY X, NEGRI P, MILGRAM M, et al.Multi-class vehicle type recognition system [C].Lecture Notes in Computer Science, 2008(5064):228-239.
[5]PSYLLOS A, ANAGNOSTOPOULOS C N, KAYAFAS E.Vehicle model recognition from frontal view image measurements[J].Journal Computer Standards&Interfaces,2011(33):142-151.
[6]KADIR T, BRADY M.Scale, saliency and image description[J].International Journal of Computer Vision, 2001,45(2):83-97.