宋曉茹,趙 楠,高 嵩,陳超波
(西安工業(yè)大學(xué)電子信息工程學(xué)院,西安 710021)
車輛識別系統(tǒng)是智能交通系統(tǒng)中的重要組成部分,在眾多車輛識別技術(shù)的方法中,由于圖像含有極其豐富的信息量,并且圖像傳感器成本較低,這給目標(biāo)識別帶來極大的方便,因此,基于機(jī)器視覺的圖像識別在智能交通系統(tǒng)中應(yīng)用較為廣泛。圖像識別主要分為3個階段:圖像預(yù)處理 (如去噪、圖像增強(qiáng)、形態(tài)學(xué)處理)、圖像分割或物體分離階段、特征提取階段、判決分類階段。特征提取階段是圖像識別的關(guān)鍵部分,特征矢量的可靠性與否直接影響識別率的高低[1-2]。因此針對車型特征提取,學(xué)者們提出多種提取方法,但每種方法都有其特定的應(yīng)用情景,具有局限性[4-6],較為常見形狀特征提取方法有Fourier描述子、Hough變換、形狀矩陣和矩不變量等,F(xiàn)ourier描述子對于封閉曲線有較好的描述效果,但對于復(fù)合封閉曲線效果較差[5-6];Hough變換[6]主要應(yīng)用于檢測平行直線和邊界方向直方圖,而車輛輪廓為非平行直線顯然不適用。小波變換對待提取目標(biāo)圖像進(jìn)行多頻率分解,根據(jù)不同的頻率將目標(biāo)圖像分解成空間、頻率不同的二級子圖像,圖像能量主要集中在低頻部分,在低中頻區(qū)域反映了圖像的整體輪廓,但小波能量不具有平移、旋轉(zhuǎn)和比例不變性,為了保證提取的特征矢量具有穩(wěn)定性,需要對得到子圖像進(jìn)行二次提取。矩特征通過各階矩反映物體的形狀特征信息,且具有較好的穩(wěn)定性,但矩特征仍存在不足,在二維離散情況下,高階矩對比例因子較為敏感,同時矩特征的各階矩數(shù)量級相差較大,因此車輛目標(biāo)的縮放影響矩特征的提取,單獨采用小波能量特征提取或不變矩特征提取都不能取得較好特征向量,為了解決此問題,修正矩特征,對小波分解得到的子圖像利用修正的矩特征進(jìn)行二次提取得到小波矩特征量,將小波矩用于車輛圖像的特征提取,比較分析車輛的各種姿態(tài)圖像特征量,以期小波矩特征矢量具有穩(wěn)定性,滿足平移、旋轉(zhuǎn)、比例不變性,提高目標(biāo)的識別率。
小波變換的基本原理是對待提取目標(biāo)圖像進(jìn)行多頻率分解,根據(jù)不同的頻率將目標(biāo)圖像分解成空間、頻率不同的二級子圖像[8]。Tianhorng Chang等學(xué)者利用小波變換分解圖像得到二級子圖像,提取子圖像的紋理特征。這種方法仍存在一些缺點:
利用小波變化提取車輛目標(biāo)圖像是以圖像的頻率特點為依據(jù),抽取出小波域的低、高頻兩部分,對比這兩部分而后形成特征,但待獲得的能量分布在中頻層次,如若車輛的待提取特征主要集中于高頻階段,那么該方法所獲得的特征會影響目標(biāo)的分類效果。由以上小波變換的基本原理可知,對圖像進(jìn)行頻率分解操作發(fā)生于各個頻率上,這樣一來會加大計算量,增加復(fù)雜度,降低操作速度。
1962年M.K.Hu提出了不因圖像平移、目標(biāo)的旋轉(zhuǎn)、目標(biāo)縮放而改變的特征矢量,即不變矩理論,并廣泛應(yīng)用于圖像處理領(lǐng)域中,如智能交通系統(tǒng)中的車輛檢測與識別[9]。
對于二維連續(xù)函數(shù)f(x,y),(p+q)階矩定義為[10]:
中心距定義為:
其中:
一組7個不變矩來自二階和三階矩:
以上7個階矩均具有特征穩(wěn)定性。
在離散狀態(tài)下,設(shè) (m',n')表示目標(biāo)以比例因子ρ變換后的坐標(biāo),原來坐標(biāo) (m,n),滿足以下關(guān)系:
由式 (6)可知比例因子η'pq與ηpq成正比且隨矩的階數(shù)p+q的改變而變化。以上公式表明Hu矩中的7個不變矩在離散情況下會因比例因子變化而變化。
上述分析可知Hu矩離散狀態(tài)下受比例因子的影響,小波變換存在頻域問題,根據(jù)式 (6)可推出7個階矩因比例因子變換前后ηpq和η'pq的關(guān)系。
根據(jù)式 (7)~式 (13)的關(guān)系,為了不受比例因子的影響對7個階矩進(jìn)行修正得到7個新的不變矩公式,如下:
新的不變矩不會因比例因子的變化而變化,同樣仍保持平移、旋轉(zhuǎn)不變性。
Hu不變矩仍存在問題,以上列出了Hu矩的普通矩、中心距的表達(dá),提取的待測目標(biāo)圖像的特征應(yīng)滿足不隨目標(biāo)圖像位置的改變、位姿的改變、圖像的縮放而改變,車輛圖像特征用原點矩或中心距表示,這樣只滿足第一點;將中心距進(jìn)行歸一化后,特征矩只滿足第一點和第三點。因此,以上所述的兩種表示方式不能同時滿足這三點要求。為了解決這個問題,本文引入了基于小波變換的不變矩特征提取算法,該方法在分析Hu不變矩、小波能量不足的基礎(chǔ)上,結(jié)合兩種方法的優(yōu)勢,即首先對目標(biāo)圖像進(jìn)行小波頻率分解,得到各級頻率的子圖像,再分別對這些子圖像提取修正后的Hu矩特征,該方法能有效的減小計算復(fù)雜度,提取的圖像特征能滿足以上三點要求,有利于圖像的識別。
基于小波變化的特征提取的思路,基本思路如下[12]:
1)歸一化待識別的目標(biāo)圖像,是為了避免小波能量特征隨圖像的縮放而改變。
2)利用小波分解,得到目標(biāo)圖像的多級頻率子圖像;
3)利用式 (20)計算每級子圖像的能量,si(x,y)表示子圖像,其中x=0,1,…,M-1;y=0,1,…,N-1;子圖像的能量為:
式中,子圖像的大小為M×N;進(jìn)行多尺度分解后得到低頻子圖像數(shù)目為k;
4)計算每級子圖像的能量后,對子圖像昂進(jìn)行修正后的Hu矩特征提取;
5)由3)、4)操作后就構(gòu)成了基于小波矩的圖像特征矢量。
這種方法得到的特征矢量能反映車輛目標(biāo)圖像的本質(zhì)特征,并且同時滿足以上所述的3個要求。
利用MATLAB為仿真軟件,驗證本文提出的特征矢量提取方法的有效性,對車輛目標(biāo)圖像進(jìn)行相應(yīng)的預(yù)處理后,提取車輛目標(biāo)圖像的小波矩特征,驗證小波矩的有效性。驗證該方法對第一個條件 (平移)的有效性,采集與采集系統(tǒng)相同距離的左側(cè)和右側(cè)位置的車輛圖像;驗證該方法對第二個條件 (旋轉(zhuǎn))的有效性,采集車輛的正面圖、側(cè)面圖,但保證車與采集系統(tǒng)的距離不變;驗證該方法對第三個條件的有效性,采集車輛與采集系統(tǒng)相距5米 (基準(zhǔn)圖)和10米兩種圖像進(jìn)行比較。在圖像小波矩的有效性實驗中,對采集的圖像都進(jìn)行圖像綜合預(yù)處理,然后在對處理后的圖像進(jìn)行小波矩特征提取。
采集系統(tǒng)采集車輛左側(cè)為基準(zhǔn)圖,車輛旋轉(zhuǎn)90°(前側(cè))研究小波矩旋轉(zhuǎn)不變性。如圖1、2所示,圖1為基準(zhǔn)圖像,目標(biāo)左側(cè)圖像,圖2為旋轉(zhuǎn)90°圖像。
圖像經(jīng)過灰度化、中值濾波,Canny邊緣提取、Hough變換、圖像分割預(yù)處理后進(jìn)行小波矩特征提取。預(yù)處理后圖像見3、4所示,圖3為車輛基準(zhǔn)圖像,圖4為旋轉(zhuǎn)90°,車輛前側(cè)邊緣圖像。
通過小波分解得到三級小波變化的低頻圖像見圖5、6所示,圖5為目標(biāo)正面圖像三級小波分解,圖6為旋轉(zhuǎn)90°圖像三級小波分解。
對基準(zhǔn)圖像、旋轉(zhuǎn)90°目標(biāo)圖像進(jìn)行三級小波分解,得到三級子圖像,然后對每級子圖像進(jìn)行二次修正Hu矩特征提取,得到表1、2,表1為基準(zhǔn)圖像三級小波矩特征向量,表2為旋轉(zhuǎn)90°目標(biāo)圖像的三級小波矩特征向量。見表1和表2所示。
圖1 車輛基準(zhǔn)圖像
圖2 車輛前側(cè)圖像
圖3 側(cè)面邊緣
圖4 正面邊緣圖
圖5 側(cè)面小波分解
圖6 正面小波分解
對預(yù)處理的圖像首先進(jìn)行三級小波分解得到三級子圖像,并求得每級子圖形的能量,由表1和表2可見,對于同一目標(biāo)圖像,每級子圖像能量近似相等。最后對子圖像進(jìn)行二次小波矩特征向量提取,分別比較兩個目標(biāo)圖像各級子圖像對應(yīng)的7個小波矩向量值,7個特征矢量得在2%范圍內(nèi),數(shù)值相等,因此本文提出的小波矩具有旋轉(zhuǎn)不變性。
利用目標(biāo)與圖像采集系統(tǒng)成特定位置關(guān)系,分別利用距圖像采集系統(tǒng)相同距離的左側(cè)和右側(cè)以模擬目標(biāo)圖像的平移,首先對右移圖像進(jìn)行預(yù)處理,得到目標(biāo)右移邊緣檢測圖像見圖7所示,圖8為右移圖像三級小波分解圖,見8所示。對右移三級子圖像進(jìn)行二次修正Hu矩特征提取,得到每級子圖像的小波矩特征向量,詳見表3所示。
同樣,對預(yù)處理后的圖像首先三級小波分解,在對每級子圖像進(jìn)行二次小波矩特征向量提取,得到每級7個不變矩分量,右移目標(biāo)圖像小波特征向量與基準(zhǔn)圖像在數(shù)值上對應(yīng)比較,由表1和表3可得,在2%誤差范圍內(nèi),右移圖像的小波矩特征矢量與基準(zhǔn)圖小波矩特征矢量近似相等,因此本文提出的小波矩具有平移不變性。
圖7 目標(biāo)右移邊緣圖
圖8 右移圖像三級小波分解
采用距圖像采集系統(tǒng)5米 (基準(zhǔn)圖)和10米以模擬圖像的比例縮放情況,研究小波矩的比例不變性,圖9為目標(biāo)距圖像采集系統(tǒng)10米的目標(biāo)圖像,圖10為10米圖像的三級小波分解圖,見圖9和10所示。
對10米三級子圖像進(jìn)行二次修正Hu矩特征提取,得到每級子圖像的小波矩特征向量,詳見表4所示。
同樣,對預(yù)處理后的圖像首先三級小波分解,在對每級子圖像進(jìn)行二次小波矩特征向量提取,得到每級7個不變矩分量,10米目標(biāo)圖像小波特征向量與基準(zhǔn)圖像在數(shù)值上對應(yīng)比較,由表1和表4可得,在2%誤差范圍內(nèi),10米圖像的小波矩特征矢量與基準(zhǔn)圖小波矩特征矢量近似相等,因此本文提出的小波矩滿足平移不變性。
圖9 10米圖像邊緣圖
圖10 10米圖像三級小波分解
比較目標(biāo)在進(jìn)行平移、旋轉(zhuǎn)、縮放三種變換后的各個級別的7個不變矩值,一級能量中7個小波矩特征向量如圖11所示;二級能量中7個小波矩特征向量如圖12所示;三級能量中7個小波矩特征向量如圖13所示。通過在目標(biāo)平移、旋轉(zhuǎn)、比例放大情況下,每個級別中的7個小波矩特征向量值近似相等,因此,小波矩具有平移、旋轉(zhuǎn)、比例不變性,能反映圖像的特征。
由圖11、12和13可知,四種情況下一級、二級和三級子圖像上7個小波矩特征矢量曲線走向一致,因此,小波矩具有平移、旋轉(zhuǎn)、比例不變性,能反映圖像的特征,為目標(biāo)識別提提供特征數(shù)據(jù)。
表1 基準(zhǔn)圖像三級小波矩特征向量
表2 旋轉(zhuǎn)90°三級小波矩特征向量
表3 右移圖像三級小波矩特征向量
表4 10米圖像三級小波矩特征向量
圖11 一級小波矩特征向量
圖12 二級小波矩特征向量
圖13 三級小波矩特征向量
近鄰法是衡量測試向量與樣本向量之間的相似程度,利用最小距離來衡量這個相似程度,求取測試向量與樣本向量之間的歐氏距離,如果歐式距離這個數(shù)值越大則表明測試向量與模板樣本不同類,若值較小則可視為同類[11]。
xi和xj之間的歐氏距離定義為:
求取樣本之間的歐式距離后,根據(jù)待測樣本與已知樣本歐氏距離的最小值,設(shè)有 p類,{wi,1=1,2,···,p},同類樣本模板Ni(i=1,2,···,n)個,判別未知樣本屬于類的判別函數(shù)為:
決策規(guī)則為:
如果滿足:
則決策:
對實際車輛進(jìn)行識別仿真實驗,具體步驟如下:
1)利用圖像采集系統(tǒng)得到待識別車輛的圖像;
2)利用以上分析理論分別對兩類圖像進(jìn)行圖像預(yù)處理、幾何特征矢量提取、小波矩特征矢量;
3)計算同類樣品特征量的平均值,建立特征庫;
4)計算歐式距離:
在式 (24)中,Xi是待測樣品的特征值,比較σ和閾值;
5)依據(jù)比較結(jié)果,小于閾值時則待測樣品與模板歸為一類,若大于等于閾值則判為“干擾”;
6)以判斷為“干擾”的目標(biāo)為樣本,將此類目標(biāo)的特征值與以前的同類樣本一起重新計算。將計算樣本的新均值寫入樣本的簽名數(shù)據(jù)庫作為新的判據(jù)。
實驗樣品為:轎車、貨車、電動車。采集轎車的前后左右4個視角的可見光圖像見圖14所示,貨車的前后左右4個視角可見光圖像如圖15所示,電動車的前后可見光圖像見圖16所示。
圖14 轎車各方位位姿圖
圖15 貨車各方位位姿圖
圖16 轎車各方位位姿圖
實驗采用可見光相機(jī)為單一傳感器,目標(biāo)樣品有三種,分別是:某型轎車、貨車、電動摩托車,3類目標(biāo)與采集系統(tǒng)成特定位置關(guān)系得到原始可見光圖像,經(jīng)過平移、旋轉(zhuǎn)、縮放變換得到每類目標(biāo)20幅圖像,其中1~4幅由原始圖像平移得到、5~16幅由原始圖像旋轉(zhuǎn)得到、17~20幅有原始圖像縮放得到。三類可見光圖像共60幅,對樣本圖像預(yù)處理,提取樣本圖像的Hu矩、小波矩,分別建立特征庫。取10幅轎車可見光圖像作為測試集進(jìn)行轎車傳感器的識別實驗,同理取貨車、電動車圖像進(jìn)行傳感器的識別實驗,計算測試集提取的特征向量與模板庫中特征向量之間的歐氏距離,求取距離中的最小值,即最小值所對應(yīng)的車輛就是識別結(jié)果。采集可見光圖像,分別提取Hu矩、小波矩特征矢量,利用最小距離法得到兩種情況下的識別結(jié)果見表5~6所示。
表5 Hu矩用于車輛圖像的識別率
表6 不變矩用于車輛圖像的識別率
分別對轎車、貨車、電動車進(jìn)行車輛識別,對采集圖像進(jìn)行圖像預(yù)處理,分別提取目標(biāo)圖像Hu矩、小波矩特征,利用最小鄰距離分類法,分別對轎車、貨車及電動車目進(jìn)行識別。表5為提取三種車輛的Hu矩為特征矢量,分別得出轎車識別率為40%,貨車的識別率為30%,電動車識別率為30%,表6表示提取三種車輛的小波矩為特征矢量,分別得出轎車、貨車、電動車為50%、50%、60%。比較表5、表6對各種車輛的識別率可得出結(jié)論:對于同樣的目標(biāo)圖像,比較兩種特征提取方法,提取圖像的小波矩最終得到的識別效果較好。因此基于小波矩的特征提取方法對車輛圖像能取得很好的分類結(jié)果。
本文對小波能量、Hu不變矩的特征進(jìn)行了詳細(xì)介紹,在Hu矩受比例因子影響的基礎(chǔ)上,對Hu矩7個分量進(jìn)行修正,提出一種基于小波矩的特征提取方法,并應(yīng)用于車輛特征提取。實驗表明,用本文方法得到的特征量具有穩(wěn)定性,對目標(biāo)的平移、旋轉(zhuǎn)和比例縮放敏感性不強(qiáng),通過車輛識別實驗,分別提取圖像的Hu矩、小波矩得到各自的識別結(jié)果,實驗結(jié)果表明,提取圖像的小波矩得到的識別率高于傳統(tǒng)Hu矩特征提取得到的識別率,本文提出的小波矩特征量能反映圖像的重要的、本原的屬性,為后續(xù)的車輛識別提供特征矢量。