耿慶田,趙浩宇,于繁華,王宇婷,趙宏偉*
(1.長春師范大學 計算機科學與技術學院,吉林 長春 130032;2.吉林大學 計算機科學與技術學院,吉林 長春 130012;3.吉林大學 學報編輯部,吉林 長春 130012)
車型識別是對車輛圖像預處理后的部分關鍵區(qū)域進行特征提取和特征匹配,從而判斷出該車的品牌并結合車牌及車標等識別技術,進一步協(xié)助驗證該車的身份是否真實,是否存在套牌以及假車牌等違法情況,對于打擊上述犯罪活動具有積極的意義。
特征提取作為車型識別重點研究方法,很多學者對此進行了深入的研究,并形成了多種理論算法。目前基于特征提取的汽車車型識別方法有:Sun Z等提出使用支持向量機作為分類器對Haar小波特征與Gabor特征相結合后分類學習實現(xiàn)車輛識別[1-2];呂恒利提出基于Harris角點和SIFT特征的車輛識別方法[3-5];華莉琴提出采用改進SIFT特征提取及多視角的車型識別算法[6-9];李文勇給出了基于Bayes理論的感應曲線自適應特征提取的車型識別方法[10]。這些方法由于特征提取過程復雜,計算量大,因此識別時間較長,不利于實際應用。
本文提出基于方向可控濾波器的改進HOG特征提取算法,對車輛圖像特征進行提取同時采用主成分分析法(PCA)約減特征向量維數(shù),降低計算的復雜程度,利用支持向量機學習方法實現(xiàn)車型的識別,提高了車型圖像的識別正確率與速度。仿真實驗結果表明:該方法對車輛輪廓外型識別有較好實時性和較高的精確度。
梯度方向直方圖(Histogram of Oriented Gradient,HOG)[11]算法的思想是通過邊緣方向的分布來表示圖像目標的外形輪廓。具體做法是將被識別圖像分成若干個大小固定的區(qū)域,通過獲得該區(qū)域圖像像素梯度并進行特征計算來累加梯度特征,從而獲得一定維數(shù)的梯度方向直方圖,如圖1所示,具體由以下幾步完成[12]:
圖1 HOG特征提取過程 Fig.1 HOG feature extraction process
(1)圖像區(qū)域分層劃分
將圖像劃為兩層,第一層互相連通Cell單元組成,幾個Cell構成一個Block區(qū)塊,各Block可以重疊。
(2)梯度值計算
通過計算像素點(x,y)的坐標方向的梯度來獲取該點的梯度幅值和梯度方向。具體計算公式如式(1)、(2)、(3)所示:
(1)
式中,Gx(x,y)、Gy(x,y)、H(x,y)分別表示像素點在二維平面垂直坐標系中x軸和y軸方向梯度及像素值。該像素點處的梯度幅值與梯度方向的計算公式為:
(2)
(3)
(3)構建梯度直方圖
將Cell的梯度方向180度等分成n個被稱為Bin的方向塊,累加每一個Cell的n維梯度幅度。
(4)塊內(nèi)歸一化
將多個Cell單元組合為Block塊,進行對比度歸一。
(5)收集HOG特征
收集檢測窗口中所有重疊的Block塊的HOG特征。
由上述HOG特征提取過程可以看出,其算法只能計算出像素點不夠全面的單一梯度方向信息,具有一定的缺陷,不能完全描述車型圖像的方向特征。因此,本文采用能夠獲取多方向信息的方向可控濾波器算法來彌補HOG算法的不足,使像素的單一方向信息擴展為N多個方向信息。
為了計算出像素點多個方向信息及方向幅值,Bill Freeman在1991年提出方向可控濾波器(Steerable Filter)[13]。該算法無論是邊緣檢測的效果,還是實現(xiàn)的難易程度都是較好的。其主要思想是通過在不同方向上產(chǎn)生模板去卷積圖像,從而得到圖像的邊緣。卷積過程通過加權運算,對于有效像素增加權重,對于無效像素減少權重。一般定義分布在離散域的函數(shù)f與g二者的卷積如式(4):
(4)
方向可控濾波器的一般形式如式(5):
(5)
式中,n表示基濾波器的數(shù)量;Gi表示第i個基濾波器;ki(α)表示與方向度數(shù)α相關的濾波器的系數(shù);Gα表示α方向的濾波器。
本文獲取多方向濾波器的方法是通過對一組基濾波器的線性組合來實現(xiàn),對二維高斯函數(shù)求導來完成,計算公式如式(6):
G(x,y)=k(α)exp[-(x2+y2)] .
(6)
具體計算過程如式(7):
(7)
相應系數(shù)如式(8):
(8)
(9)
式中,α表示方向可控濾波器的方向輸入角度。
在對車型的識別過程中,最重要的是能有效的提取目標圖像中車輛輪廓的邊界特征。由于傳統(tǒng)的HOG方法獲得的梯度方向信息對于提取邊界特征相對較弱,本文將方向可控濾波器算法與傳統(tǒng)HOG算法相結合,提出基于方向可控濾波器改進HOG特征的HOS(Histograms of Oriented Steerable Filter)算法。該算法先用方向可控濾波器算法計算出方向值最高的方向數(shù)量及幅值信息,再使用HOG算法獲得統(tǒng)計方向直方圖特征。算法流程如圖2所示,具體計算如下:
(1)設P(x,y)為灰度圖像的像素點,構造P像素點相互垂直的兩個方向的方向可控濾波器(濾波器的方向分別取值為α與β,且α+β=π/2),分別記做Fα與Fβ。則P點在α與β方向的梯度值Gα(x,y)與Gβ(x,y):
(10)
其中,I表示灰度圖像。
圖2 方向可控改進的HOG方法流程圖 Fig.2 Flow chart of improved HOG method with direction controlled
(2)計算出p像素點的邊界方向G(x,y)和幅值θ(x,y):
|Gα(x,y)|+|Gβ(x,y)| ,
(11)
(12)
(3)同樣將目標圖像分為Cell單元并將毗鄰的Cell組成有重疊邊緣信息的Block塊,再按邊緣信息的梯度方向劃分區(qū)間Bin,并將Cell像素點的梯度幅值疊加到Bin中,得到Cell的梯度方向直方圖,最后對統(tǒng)計出Block的直方圖特征作歸一化處理,即對于向量ν做如下處理:
(13)
(4)最后將全部Block的HOG特征聚合為目標圖像的HOG特征向量,向量的維度用D來表示,計算公式如式(14)所示,
(14)
式中,lwidth、lheight分別表示目標圖像的寬度與高度;sblock、scell分別表示Block塊和Cell單元的大??;lstep表示Block移動的步長;p表示Cell梯度方向的數(shù)量。
在圖像識別過程中,如果采用原始特征空間的高維度進行模型訓練會使計算復雜度大大增加,致使樣本的統(tǒng)計特性無法估計。因此需要降低原始特征的維數(shù)。本文采用主成分分析PCA(Principal Component Analysis)法[14-15]實現(xiàn)特征抽取,以達到“約減維數(shù)”的目的,從而提高圖像識別速度。
理想情況下,樣本x的特征空間沒有冗余信息,利用PCA算法可表示為(15)、(16)式:
y=MTx,
(15)
則,
(16)
其中,M=(m1,m2,…,mK)是RK特征空間的一組基底,對前k項的x進行估算,可得式(17):
(17)
由此產(chǎn)生的均方誤差為:
(18)
根據(jù)拉格朗日乘子,在滿足式(19)的條件下可得到均方誤差極大值表達式(20):
(S-aiI)mi=0,i=k+1,k+2,…,K,
(19)
(20)
若用k個特征向量表示x時,其均方誤差為式(21):
(21)
從式(21)可以得出,當ai的值越小,對應的特征向量信息減損越少。
本文通過改進HOG特征提取方法同時采用主成分分析PCA法約減維數(shù)降低特征向量的維度減少了計算的復雜度,提高識別速度。
支持向量機(Supper Vector Machine,SVM)[16-18]通過在樣本空間計算出一個最優(yōu)的平面把不同的樣本區(qū)分開。如圖5所示,H為分類面,H1、H2都平行于H,H1、H2是通過各類樣本且距H最近點的超平面。若H滿足分類間隔最大,則H為最優(yōu)分類面。就意味著間隔越遠,也就說明該分類器的推廣能力越強。
設訓練樣本集為S,則
S={(x1,y1),(x2,y2),…,(xn,yn)},
yi∈{-1,1} .
(22)
最優(yōu)分割平面方程定義為:
wTx+b=0 .
(23)
由SVM定義,若樣本線性可分,則須滿足下式條件:
yi(wTxi+b)≥1 ,
(24)
分隔間隔表示為式(25):
δjiange=yi(wTxi+b) ,
(25)
式中,yi表示所屬類別,取值范圍為[-1,1],xi是針對樣本的特征向量。
分類器用于分類的函數(shù)簡寫為式(26):
f(x)=w·x+b.
(26)
設閾值為0,由于樣本所在類已確定,則有yi(wxi+b)>0始終成立,用|f(xi)|來表示。說明幾何間隔可用分類間隔表示,如式(27):
δjihejiange=|f(x)|/‖w‖ .
(27)
圖3 最優(yōu)分類面示意圖 Fig.3 Schematic diagram of optimal classification
在對分類間隔進行調(diào)整后,得到最優(yōu)分類面,如圖3所示。 圖3中,H1,H2兩個分類面之間距離即是公式(27)中所定義的幾何間隔。
當樣本發(fā)生錯誤分類時,錯誤分類的次數(shù)T為式(28):
(28)
其中,R=‖xi‖,i=1,2,…,n,xi表示第i個樣本的特征向量。
特征向量的最大值R即為‖xi‖中的最大值。為減少錯誤分類的次數(shù),就要求有較大的幾何間隔,故而,將任務調(diào)整為:
(29)
由此,轉(zhuǎn)化為一個最優(yōu)二次規(guī)劃問題。此類問題的求解可通過拉格朗日方法解決。構造拉格朗日函數(shù)式(30):
(30)
式中,ai表示的是拉格朗日因子。分別對w,b求解偏導數(shù):
(31)
將式(31)的結果代回式(30),可得:
(32)
對式(32)進行最值求解,結果就是所需要的目標函數(shù)。
本文使用SVM對分類樣本的學習訓練,從而達到完成分類的工作。進行樣本訓練時采用LibSVM庫,由于LibSVM使用一對一策略,即兩類樣本之間構建一個SVM,m種樣本需構建m(m-1)/2個SVM。在對車型的樣本圖像進行訓練時,首先將用HOS方法提取的特征向量通過PCA降維后存入一個文本文件中,每一張圖片存儲成一個特征向量。將特征向量轉(zhuǎn)化為標準的SVM樣本格式進行訓練,程序的主要參數(shù)如表1所示。
表1 樣本訓練程序參數(shù)
為了提高SVM訓練樣本的收斂速度,本文通過增設緩沖區(qū)的方法,將樣本分成多個樣本子集,一部分子集先預存于緩沖區(qū)中,每次都訓練緩沖區(qū)的樣本,能被確定屬性的樣本離開緩沖區(qū)。當所有樣本子集都經(jīng)過訓練后,算法結束。
為了驗證本文算法對車型識別的性能,在實驗中所采用的車輛圖像由本實驗室所建的車輛圖像數(shù)據(jù)集,收集了4 000余張各種車輛圖像,圖4是數(shù)據(jù)集中的拍攝時間、角度、距離不同類型的車輛圖片,包含常見的SUV車型、轎車、面包車等車型,用于車輛識別檢測實驗。在訓練階段選取若干張車輛圖片作為正樣本,選取不同張不同交通環(huán)境背景的圖片作為負樣本,通過SVM分類器進行訓練,獲得正、負樣本模型。
圖4 數(shù)據(jù)集樣例圖片 Fig.4 Sample pictures of data set
用SVM分類器測試算法時可能出現(xiàn)正樣本檢測為正樣本、正樣本檢測為負樣本、負樣本檢測為負樣本、負樣本檢測為正樣本四種情況。因此對車型檢測識別的準確率定義為:
圖5 每類車輛圖片平均識別準確率 Fig.5 Average image recognition accuracy for each type of vechile
為客觀檢驗本文提出的方法在車型識別中的有效性,本文在自建的車輛圖像數(shù)據(jù)集進行5次獨立的實驗,每次隨機選取2 058幅圖像進行特征提取,并使用SVM進行學習分類訓練作為正樣本,選取1 255幅圖像進行特征提取作為負樣本。每次隨機選取1 000幅圖片進行識別測試,由于不同次仿真實驗挑選不同的訓練樣本和測試樣本,同一類車輛圖像在不同次實驗中誤識數(shù)量也會發(fā)生變化。每類圖片識別正確率如圖5所示。
圖5說明了各類車輛圖像識別的平均準確率,第4類的平均準確率最高,達到97%,這主要受此類車輛外形輪廓影響。
在車輛圖像數(shù)據(jù)集中,訓練正樣本數(shù)量2 236,負樣本數(shù)量1 225,使用LibSVM在不同算法下,進行5次實驗,每次隨機選取1 000幅圖片進行識別測試,實驗對比結果如表2所示。
表2車型識別實驗結果
Tab.2 Experimental results of model identification (%)
在車輛圖像分辨率大下不同的情況下,傳統(tǒng)HOG特征和改進的HOG特征的提取時間對比如圖所示。檢測窗口的大小為128×64,滑動距離16×16,各種分辨率條件下的車型識別時間同樣以1 000幅隨機車輛圖片為準。
從識別速度對比圖(圖6)來看,在車輛圖片不同的分辨率條件下,本文提出的識別方法所用的時間較短,圖片分辨率的值越高,識別速度的差距就越大。
圖6 兩種算法不同分辨率的識別時間對比 Fig.6 Recognition time contrast of two algorithms with different resolutions
仿真實驗結果表明,在同類型及不同類型的車輛外形識別中,本文方法有較高的識別率,平均識別率達到92.36%,高于傳統(tǒng)HOG算法的識別率84.88%。同時識別效率也高于傳統(tǒng)HOG算法,提高了3.45%。
本文將傳統(tǒng)的HOG算法與方向可控濾波器相結合,提出了HOS算法對車輛圖像進行特征提取,同時采用主成分分析法(PCA)約減特征向量維數(shù),降低計算特征向量的復雜程度,并使用SVM學習方法作為樣本分類器進行分類識別車型。仿真實驗結果表明,本文所提出的基于改進的HOG-SVM車輛識別算法和傳統(tǒng)HOG算法相比,具有較高識別率和識別速度,并且對不同環(huán)境背景、不同角度、不同距離有較強的抗干擾性,能夠滿足智能交通系統(tǒng)中車輛識別監(jiān)管的需要。
參考文獻:
[1]PSYLLOS A,ANAGNOSTOPOULOS C N,KAYAFAS E. Vehicle model recognition from frontal view image measurements[J].ComputerStandards&Interfaces,2011,33(2):142-151.
[2]WANG Y,LI H,KIRUI C K,etal. Vehicle discrimination using a combined multiple features based on vehicle face[J].LectureNotesinElectricalEngineering,2013,256:503-511.
[4]ABADI E A J,AMIRI S A,GOHARIMANESH M,etal. Vehicle model recognition based on using image processing and wavelet analysis[J].InternationalJournalonSmartSensing&IntelligentSystems,2015,9(2):3-8.
[5]SONG M. Vehicle model recognition based on SURF[J].JournalofInformation&ComputationalScience,2015,12(17):6249-6256.
[6]ZHANG X D,QIAN W,GAO J,etal. Vehicle model recognition system based on sparse bayesian classification[J].Mini-microSystems,2005:232-238.
[7]WANG Y Q,HUANG R J,XU T Y,etal. Vehicle model recognition based on fuzzy pattern recognition method[J].AdvancedMaterialsResearch,2012,383-390:4799-4802.
[8]ZHANG Z,TAN T,HUANG K,etal. Three-dimensional deformable-model-based localization and recognition of road vehicles[J].IEEETransactionsonImageProcessing,2012,21(1):1-13.
[9]HSIEH J W,CHEN L C,CHEN D Y. Symmetrical SURF and its applications to vehicle detection and vehicle make and model recognition[J].IEEETransactionsonIntelligentTransportationSystems,2014,15(1):6-20.
[10]CHEN Z,PEARS N,FREEMAN M,etal. A Gaussian mixturemodel and support vector machine approach to vehicle type and colour classification[J].IetIntelligentTransportSystems,2014,8(2):135-144.
[11]葉峰,陳燦杰,賴乙宗,等.基于有序Hough變換的快速圓檢測算法[J].光學 精密工程,2014,22(4):1105-1111.
YE F,CHEN C J,LAI Y,etal. Fast circle detection algorithm using sequenced Hough transform[J].Opt.PrecisionEng.,2014,22(4):1105-1111.(in Chinese)
[12]宋悅,林志賢,姚劍敏.基于ε-支持向量回歸機的背光源亮度均勻性評價方法[J].液晶與顯示,2015,30(5):857-863.
SONG Y,LIN ZH X,YAO J M. Luminance uniformity evaluation for backlight based on ε-support vector regression[J].ChineseJournalofLiquidCrystalsandDisplays,2015,30(5):857-863.(in Chinese)
[13]李姜,郭立紅.基于改進支持向量機的目標威脅估計[J].光學 精密工程,2014,22(5):1354-1362.
LI J,GUO L H. Target threat assessment using improved SVM[J].Opt.PrecisionEng.,2014,22(5):1354-1362.(in Chinese)
[14]王洪濤,李丹.基于改進粒子群算法的圖像邊緣檢測研究[J].液晶與顯示,2014,29(5):800-804.
WANG H T,LI D. Image edge detection based improved PSO algorithm[J].ChineseJournalofLiquidCrystalsandDisplays,2014,29(5):800-804.(in Chinese)
[15]黃璇,郭立紅,李姜,等.磷蝦群算法優(yōu)化支持向量機的威脅估計[J].光學 精密工程,2016,24(6):1448-1454.
HUANG X,GUO L H,LI J,etal. Threat assessment of SVM optimized by Krill Herd algorithm[J].Opt.PrecisionEng.,2016,24(6):1448-1454.(in Chinese)
[16]賈蘇娟,韓廣良,陳小林,等.光度非均勻彩色序列圖像超分辨率重建[J].液晶與顯示,2014,29(1):106-113.
JIA S J,HAN G L,CHEN X L,etal. Super-resolution reconstruction with photometric change of color image sequence[J].ChineseJournalofLiquidCrystalsandDisplays,2014,29(1):106-113.(in Chinese)
[17]徐超,高敏,楊鎖昌,等.視覺注意機制下的粒子窗快速目標檢測[J].光學 精密工程,2015,23(11):3227-3237.
XU CH,GAO M,YANG S CH,etal. Visual attention mechanism-aided fast target detection by particle window[J].Opt.PrecisionEng.,2015,23(11):3227-3237.(in Chinese)
[18]柯洪昌,孫宏彬.圖像序列的顯著性目標區(qū)域檢測方法[J].中國光學,2015,8(5):768-774.
KE H CH,SUN H B. A saliency target area detection method of image sequence[J].ChineseOptics,2015,8(5):768-774.(in Chinese)