白猛猛，趙　莉

(西安工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,西安 710021)

?

復(fù)雜背景下車牌定位方法的研究*

白猛猛，趙莉

(西安工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,西安 710021)

摘要：為了提高復(fù)雜背景下車牌定位的準(zhǔn)確性，在分析各類車牌定位算法的基礎(chǔ)上，提出了一種結(jié)合紋理特征和視覺(jué)詞包模型的多信息定位方法.對(duì)二值化后的圖像中的縱向紋理橫向膨脹，生成車牌候選區(qū)域，根據(jù)車牌的長(zhǎng)寬比對(duì)車牌進(jìn)行粗定位.利用視覺(jué)詞包表示粗定位后的矩形輪廓，使用支持向量機(jī)分類確認(rèn)車牌矩形區(qū)域，精確定位出車牌位置.該方法對(duì)140張測(cè)試樣本定位的準(zhǔn)確率為96.4%，抗干擾性強(qiáng).

關(guān)鍵詞：車牌定位；復(fù)雜背景；視覺(jué)詞包；支持向量機(jī)；車牌縱向紋理

support sector machine(SVM);license plate vertical texture

隨著車輛的數(shù)量呈幾何增長(zhǎng)[1]，車輛能否有效地、可靠地管理已成為每個(gè)城市都要面對(duì)的重大挑戰(zhàn).車牌識(shí)別技術(shù)已經(jīng)成為智能交通的管理的核心技術(shù)之一，并已應(yīng)用于車輛監(jiān)控和電子計(jì)費(fèi)等方面[2].車牌定位作為車牌識(shí)別技術(shù)的首要及關(guān)鍵環(huán)節(jié)，其準(zhǔn)確性直接影響到整個(gè)系統(tǒng)的健壯性[3].

目前對(duì)于車牌定位問(wèn)題主要的研究算法有基于形態(tài)學(xué)特征的算法[4]，該類算法主要利用汽車車牌的紋理特征，對(duì)其進(jìn)行形態(tài)學(xué)處理后，排除車牌圖片中背景的一部分干擾噪音，再根據(jù)車牌的幾何特征，如長(zhǎng)寬比等條件定位出車牌位置.由于該算法只單一的利用車牌紋理特征，忽略了車牌的其他特征信息，因此當(dāng)圖片背景中存在與車牌區(qū)域有同樣紋理特征的物體時(shí)，僅僅依靠長(zhǎng)寬比等幾何特征判定條件難以判定是否是車牌，從而導(dǎo)致錯(cuò)誤定位；基于彩色圖像的定位算法[5]，該算法充分利用車牌圖像中的顏色信息在不同顏色空間里的特征來(lái)定位車牌，但彩色模型是在圖像的多通道上進(jìn)行運(yùn)算，運(yùn)算量大實(shí)時(shí)性差，當(dāng)車牌區(qū)域顏色和周圍顏色比較相似時(shí)，該算法定位錯(cuò)誤率增加，且車牌圖像的顏色信息易受光照變化的影響，影響對(duì)車牌特征的提取導(dǎo)致錯(cuò)誤的定位或無(wú)法定位；基于BP神經(jīng)網(wǎng)絡(luò)的算法[6]，該算法是將經(jīng)過(guò)預(yù)處理后的圖像網(wǎng)格式的分成多了塊區(qū)，利用神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)塊區(qū)中提取出來(lái)的特征描述子進(jìn)行分類，定位出車牌，但是抽取車牌圖像特征的圖像塊區(qū)大小與實(shí)際的車牌圖像大小無(wú)關(guān)，所獲得的全局特征并不能真實(shí)地反映車牌的全局特性，且BP算法收斂時(shí)間長(zhǎng)，容易陷入局部最小過(guò)擬合.

目前各類車牌定位算法，在復(fù)雜背景下均存在著難以識(shí)別或者誤識(shí)別的問(wèn)題.經(jīng)分析各類算法的原理，研究其錯(cuò)誤定位的原因，針對(duì)復(fù)雜背景下多車牌定位的問(wèn)題，文中采用紋理特征及視覺(jué)詞包模型的多信息車牌定位方法.圖像經(jīng)形態(tài)學(xué)處理，利用車牌長(zhǎng)寬比條件篩選形成車牌候選區(qū)域，使用視覺(jué)詞包表示候選區(qū)域，通過(guò)支持向量機(jī)分類出矩形區(qū)域中車牌部分.

1視覺(jué)詞包模型的車牌定位算法

分析以往的基于紋理特征的車牌定位算法，在車牌圖片經(jīng)形態(tài)學(xué)處理后能有效地使車牌區(qū)域成為矩形連通區(qū)域，但該方法的準(zhǔn)確率難以進(jìn)一步提高的瓶頸在于圖片中的干擾項(xiàng)若與車牌有相似的紋理特征，也會(huì)出現(xiàn)矩形連通區(qū)域，僅依靠車牌的長(zhǎng)寬比等判定條件難以區(qū)分車牌區(qū)域和非車牌區(qū)域，使得其抗干擾性差誤判率高.文中在矩形區(qū)域篩選環(huán)節(jié)采用了視覺(jué)詞包和支持向量機(jī)對(duì)其進(jìn)行進(jìn)一步的篩選.視覺(jué)詞包基本原理是用特征描述子表示圖片后，將圖片看做不同特征點(diǎn)的集合，通過(guò)統(tǒng)計(jì)每個(gè)特征點(diǎn)在單張照片中出現(xiàn)的頻率來(lái)對(duì)照片進(jìn)行向量表示，即以直方圖的形式來(lái)表示一張照片[7]，如圖1所示為視覺(jué)詞包基本流程.由于不同類型的照片其用視覺(jué)詞包得出的向量表示不同，故可選擇適當(dāng)?shù)姆诸惼骼脴颖炯瘜?duì)其進(jìn)行訓(xùn)練，最后用訓(xùn)練過(guò)的分類器對(duì)測(cè)試圖片進(jìn)行分類.

圖1　視覺(jué)詞基本處理流程

考慮到車牌照片獲取時(shí)，會(huì)受角度、光照等其他因素的影響，為了減少這類因素對(duì)特征描述子描述車牌區(qū)域的影響，并能達(dá)到快速定位的目標(biāo)，文中采用了surf特征描述子.該描述子計(jì)算速度快，具有局部不變性特征，即對(duì)一定范圍內(nèi)的尺度縮放、圖像旋轉(zhuǎn)、視角變化、光照變化和圖像模糊具有魯棒性，因此對(duì)車牌區(qū)域的描述能有效地排除來(lái)自光照、角度等因素的影響.提取surf特征描述子的算法是利用Hessian矩陣確定候選點(diǎn)，然后進(jìn)行非極大抑制從而實(shí)現(xiàn)特征點(diǎn)的檢測(cè).圖像中的像素點(diǎn)的H矩陣定義為

(1)

Hessian矩陣判別式如式(1)～(2)，判別式的值是H矩陣的特征值，可以利用判定結(jié)構(gòu)的符號(hào)將所有點(diǎn)分類，根據(jù)判別式取值的正負(fù)判別改點(diǎn)是否是極點(diǎn)的值.

(2)

用圖像像素L(x,y)取代函數(shù)值f(x,y)，利用式(1)通過(guò)特定核間的卷積計(jì)算二階偏導(dǎo)數(shù)，得出H矩陣的三個(gè)矩陣元素Lxx、Lxy、Lxy，再根據(jù)式(1)～(2)進(jìn)行判別，得到一張近似的Hessian行列式圖.將經(jīng)過(guò)H矩陣處理過(guò)的每個(gè)像素點(diǎn)與其金字塔圖像中3維領(lǐng)域的26個(gè)點(diǎn)進(jìn)行大小比較，其中的最大值作為初步的特征點(diǎn)，如圖2所示，其中X的地方特征值大于周圍像素，故為該區(qū)域的特征點(diǎn).

圖2　定位特征點(diǎn)

為了保證旋轉(zhuǎn)不變性，需統(tǒng)計(jì)以特征點(diǎn)為中心，60度扇形內(nèi)所有點(diǎn)在x和y方向的Harr小波相應(yīng)總和，靠近特征點(diǎn)的權(quán)重大，遠(yuǎn)離的權(quán)重小，從而得到每個(gè)特征點(diǎn)的主方向，該過(guò)程如圖3所示.

圖3　確定主方向

surf特征能描述一副圖像，但一幅圖像中會(huì)包含大量的surf特征點(diǎn)，直接用于分類訓(xùn)練計(jì)算量大，故需通過(guò)聚類算法對(duì)這些矢量數(shù)據(jù)進(jìn)行聚類，用聚類中的一個(gè)簇代表視覺(jué)詞包中的一個(gè)視覺(jué)詞，再將surf矢量映射到視覺(jué)詞包生成碼本.文中在構(gòu)造視覺(jué)詞包時(shí)采用K-means聚類算法，計(jì)算公式如式(3).其中E表示所有聚類對(duì)象的平方誤差的和，p是聚類對(duì)象，|Ci|表示類Ci的聚類對(duì)象的數(shù)目.

(3)

針對(duì)車牌定位問(wèn)題只需要分類出車牌輪廓和非車牌輪廓兩類圖片，故選擇二分類器SVM.SVM是一種基于VC維理論以及結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論及上的機(jī)器學(xué)習(xí)方法，其最初設(shè)計(jì)為解決二分類問(wèn)題[8].SVM原理是將數(shù)據(jù)映射到高維空間，在高維空間找出分類間隔最大的超平面，用此超平面進(jìn)行分類，計(jì)算公式如式(4).其中(xi,yi)為訓(xùn)練樣本，l為樣本數(shù)，n為輸入的維數(shù)，C為懲罰參數(shù)，k(xi,xj)為L(zhǎng)agrange系數(shù)， 為選取的核函數(shù).

(4)

2算法的實(shí)現(xiàn)

2.1圖像縱向紋理檢測(cè)

車牌中存在著豐富的縱向紋理信息，可通過(guò)該特征進(jìn)行車牌的粗定位.圖像的紋理檢測(cè)在灰度圖即可進(jìn)行，為減小運(yùn)算量，先將采集來(lái)的RBG彩色圖像轉(zhuǎn)換為8位灰度圖，利用式(5)轉(zhuǎn)換，其中R、B、G為對(duì)應(yīng)三個(gè)通道的像素值，Y為轉(zhuǎn)化后灰度圖像的灰度值.

Y=0.299*R+0.587*G+0.114*B

(5)

由于采樣設(shè)備原因及圖像的傳輸過(guò)程受干擾等原因，圖像存在一定的噪聲，導(dǎo)致圖像質(zhì)量退化，影響對(duì)圖像的紋理檢測(cè).文中采用高斯濾波抑制離散的高斯噪聲.高斯濾波是利用高斯濾波函數(shù)，根據(jù)像素點(diǎn)附近鄰域像素的灰度值進(jìn)行相應(yīng)的加權(quán)平均，從而達(dá)到濾波的效果，高斯濾波函數(shù)為

(6)

采用中值濾波抑制椒鹽噪聲.即采用含有奇數(shù)個(gè)點(diǎn)的滑動(dòng)窗口，用窗口中各點(diǎn)灰度值的中值來(lái)替代指定點(diǎn)的灰度值.如圖4所示，經(jīng)過(guò)濾波后對(duì)比圖4中(a)～(b)可以看出噪音得到了抑制，同時(shí)也很好地保留了紋理的信息.

圖4　濾波效果圖

對(duì)于圖像中的邊緣檢測(cè)，由于Sobel算子的優(yōu)勢(shì)在關(guān)鍵的兩項(xiàng)指標(biāo)“漏檢邊緣”、“假檢邊緣”方面表現(xiàn)的尤為突出[9]，故文中采用基于sobel算子的邊緣檢測(cè)方法，對(duì)圖像進(jìn)行縱向的紋理檢測(cè).該算子包含兩組3*3的矩陣，分別為橫向及縱向，將之與圖像做平面卷積，即可分別得出橫向及縱向的亮度查分近似值，如果以A代表原始圖像，Gx及Gy分別代表經(jīng)橫向及縱向邊緣檢測(cè)的圖像，其公式為

(7)

利用式(8)計(jì)算圖像中的每一個(gè)像素的橫向及縱向梯度近似值，用式(9)計(jì)算其梯度方向.

(8)

(9)

由于只需檢測(cè)圖像的縱向紋理，當(dāng)角度等于零，代表圖像在該處擁有縱向邊緣。檢測(cè)結(jié)果如圖5所示.

圖5　Sobel紋理檢測(cè)

2.2圖像紋理橫向膨脹

為了對(duì)圖像進(jìn)行形態(tài)學(xué)變換需對(duì)圖像進(jìn)行二值化處理，即將圖像上所有像素點(diǎn)的灰度置為0或255.通過(guò)選擇適當(dāng)?shù)拈撝祵?位灰度圖轉(zhuǎn)化為仍可反映圖像整體和局部特征的二值化圖像.計(jì)算公式如式(10)，其中T為選取的閾值，經(jīng)多次試驗(yàn)文中的閾值T取值為110，實(shí)驗(yàn)結(jié)果如圖6所示.

(10)

圖6　二值化圖像

分析圖6車牌部位有豐富縱向紋理，利用形態(tài)學(xué)的橫向膨脹運(yùn)算使其形成連通域，結(jié)合腐蝕運(yùn)算，消除圖像中的邊界點(diǎn)，最終形成矩形連通域，運(yùn)算結(jié)果如圖7所示.

圖7　形態(tài)學(xué)運(yùn)算

2.3車牌定位

經(jīng)過(guò)形態(tài)學(xué)處理后，掃描圖像中的所有矩形輪廓可知，圖像中不只有車牌區(qū)域形成矩形輪廓，干擾部分也生成了矩形輪廓，需對(duì)輪廓進(jìn)行篩選.鑒于我國(guó)的車牌的長(zhǎng)寬比是固定的4.5∶1，根據(jù)該條件進(jìn)行車牌粗定位，結(jié)果如圖8所示.

圖8　膨脹運(yùn)算

分析粗定位后的非車牌矩形輪廓區(qū)域，若只依靠其紋理特征已很難區(qū)別，必須加入其他特征進(jìn)行篩選，因此在精確定位環(huán)節(jié)中，文中采用了視覺(jué)詞包模型來(lái)最終定位車牌區(qū)域.第一步提取粗定位后所有矩形區(qū)域的surf特征點(diǎn)，提取過(guò)程如下：

① 將圖像中的像素點(diǎn)輸入式(1)，得到在尺度σ上的H矩陣如式(11)，其中Lxx是高斯濾波二階導(dǎo)數(shù)I=(x,y)卷積結(jié)果，Lxy，Lyy含義同上，高斯濾波函數(shù)如式(12)

(11)

(12)

② 在原始圖像上，通過(guò)擴(kuò)大方框的大小形成不同尺度的圖像金字塔，例如9*9的方框?yàn)V波模板值如圖9所示，其中灰色部分模板值為0，對(duì)應(yīng)二階高斯濾波σ=1.2，相應(yīng)的尺度值s=σ=1.2，卷積后的值為Dxx、Dxy、Dyy，得到H矩陣的Δ表達(dá)式為

Δ=DxxDxy-(0.9Dxy)2

(13)

圖9　9*9濾波模板

③ 構(gòu)建尺度圖像金字塔，在每一階中，選擇4層的尺度圖像，4階的構(gòu)建參數(shù)如圖10所示.灰色底的數(shù)字表示方框?yàn)V波模板的大小，如果圖像尺寸遠(yuǎn)大于模板大小，需繼續(xù)增加階數(shù).如濾波模板大小為N*N，對(duì)應(yīng)的尺度s=1.2*N/9；用Hessian矩陣求出極值后，在3*3*3的立體領(lǐng)域內(nèi)進(jìn)行非極大值抑制，只有比上一尺度、下一尺度及本尺度周圍的26個(gè)領(lǐng)域值都大或者都小的極值點(diǎn)，為候選特征點(diǎn)，然后在尺度空間和圖像空間中進(jìn)行插值運(yùn)算，得到穩(wěn)定的特征點(diǎn)位置及所在的尺度值.

④ 以特征點(diǎn)為中心，s為特征點(diǎn)所在的尺度值，計(jì)算半徑為6s的領(lǐng)域內(nèi)的點(diǎn)在x，y方向的Harr小波響應(yīng)，并給這些響應(yīng)值賦高斯權(quán)重系數(shù)，使得靠近特征點(diǎn)的響應(yīng)貢獻(xiàn)大，遠(yuǎn)離的貢獻(xiàn)小.圖3中將60度范圍內(nèi)的響應(yīng)相加以形成新的矢量，遍歷整個(gè)圓形區(qū)域，選擇最長(zhǎng)矢量的方向?yàn)樘卣鼽c(diǎn)主方向.

圖10　尺度空間金字塔濾波大小

⑤ 將坐標(biāo)軸旋轉(zhuǎn)到主方向，按照主方向選取邊長(zhǎng)為20s的正方形區(qū)域，將該窗口區(qū)域劃分成4*4的子區(qū)域，在每個(gè)子區(qū)域內(nèi)計(jì)算5s*5s范圍內(nèi)的小波響應(yīng)，記為dx、dy.然后將每個(gè)子區(qū)域的響應(yīng)及響應(yīng)絕對(duì)值相加形成∑dx、∑dy、∑|dx|、∑|dy|，再在每個(gè)子區(qū)域形成4維分量的矢量Vsub=(∑dx、∑dy、∑|dx|、∑|dy|)，因此每個(gè)特征點(diǎn)為4*4*4=64維的描述向量，再進(jìn)行向量歸一化.過(guò)程如圖11所示，提取結(jié)果如圖12所示.

圖11　構(gòu)造surf特征點(diǎn)

圖12　surf特征點(diǎn)

提取出surf特征點(diǎn)后，利用k-means聚類算法生成視覺(jué)詞包[10]，訓(xùn)練庫(kù)中提取出的所有surf特征點(diǎn)樣本為{x(1),…,x(n)}，每一個(gè)x(x)∈R64，該生成過(guò)程如下：

① 隨即選取1 000個(gè)聚類質(zhì)心點(diǎn)為μ1,μ2,…,μk∈R64;

分類器的訓(xùn)練，將訓(xùn)練集中的圖片用視覺(jué)詞包表示，即提取圖片中的surf特征點(diǎn)，將其映射到對(duì)應(yīng)的詞包中，生成圖片的碼本.輸入到SVM中進(jìn)行訓(xùn)練，過(guò)程如下：

① 為每個(gè)樣本x(i)∈R1 000標(biāo)記，車牌樣本標(biāo)記值為1，非車牌標(biāo)記值為-1；

② 選取高斯核函數(shù)作為投影到n維向量的轉(zhuǎn)換函數(shù)并選取其σ值控制投影的維度，選取懲罰系數(shù)C優(yōu)化決策面；

③ 將所有樣本代入式(4)計(jì)算，得到的分類決策函數(shù)其形式為

yiω·xi-b≥1-ξ1,ξ1≥0

(14)

在識(shí)別階段，圖片經(jīng)視覺(jué)詞包表示成向量形式，利用訓(xùn)練好的SVM分類器，對(duì)其進(jìn)行分類得出車牌圖像，定位出車牌位置.

3結(jié) 論

利用車牌部位縱向紋理豐富的特點(diǎn)，掃描圖像的縱向紋理后，對(duì)其進(jìn)行橫向膨脹，使車牌部位及某些背景干擾部分生成矩形連通域，并通過(guò)車牌的長(zhǎng)寬比進(jìn)行車牌的粗定位.對(duì)粗定位的矩形輪廓區(qū)域提取其surf特征點(diǎn)，根據(jù)訓(xùn)練時(shí)生成的視覺(jué)詞包將其表示成碼本.通過(guò)SVM訓(xùn)練得到的決策分類函數(shù)對(duì)矩形區(qū)域進(jìn)行分類，確定出車牌位置.該方法不但可以適合單張圖片單車牌的定位，而且能適合單張圖片多車牌的定位，在復(fù)雜背景下仍能有較高識(shí)別率，抗干擾性強(qiáng).經(jīng)采集的140張照片實(shí)驗(yàn)結(jié)果，其正確率為135張，準(zhǔn)確率為96.4%，有較強(qiáng)的魯棒性.

參 考 文 獻(xiàn)：

[1]李志強(qiáng),李永斌.車牌識(shí)別技術(shù)的發(fā)展及研究現(xiàn)狀[J].科技信息,2012(5):110.

LI Zhiqiang,LI Yongbin.The Development and Research Status of License Plate Recognition Technology[J].Science & Technology Information,2012,(5):110.(in Chinese)

[2]耿慶田,趙宏偉.基于分形維數(shù)和隱馬爾科夫特征的車牌識(shí)別[J].光學(xué)精密工程,2013,21(12):3198.

GENG Qingtian,ZHAO Hongwei.License Plate Recognition Based on Fractal and Hidden Markov Feature[J].Optics and Precision Engineering,2013,21(12):3198.(in Chinese)

[3]QIN Zhong,SHI Shengli,XU Jianmin,et al.Method of License Plate Location on Comer Feature[C]//Proceeding of the 6th World Congress on Intelligent Control and Automation Piscataway,NJ,USA: IEEE,Press,2006:8645.

[4]郭志強(qiáng),王永杰,董震,等.基于成對(duì)形態(tài)學(xué)算子的車牌定位方法[C]//第十六屆全國(guó)圖像圖形學(xué)學(xué)術(shù)會(huì)議論文集.北京:清華大學(xué),2011:292.

GUO Zhiqing,WANG Yongjie,DONG Zhen,et al.License Plate Detection Method Based on Paired Morphological operator[C]//Proceeding of the 16th National Conference on Image and Graphics.Beijing:Tsinghua University Press,2011:292.(in Chinese)

[5]張引,潘云鶴.彩色汽車圖像拍照定位新方法[J].中國(guó)圖象圖形學(xué)報(bào),2001,6(4):374.

ZHANG Yin,PAN Yunhe.A New Approach for Vehicle License Plate Locating from Color Image[J].Journal of Image and Graphics,2001,6(4):374.

(in Chinese)

[6]ZHENG L H,HE X J,SAMALI B,et al.An Algorithm for Accuracy Enhancement of License Plate Recognition[J].Journal of Computer and System Sciences,2013,79(2):245.

[7]WANG Q W,WAN S H,YUE L H,et al.Visual Attention Based Bag-of-Words Model for Image Classification[J].Proceedings of SPIE-The Internotional Society,2014,9159(3):91591P.[8]CORINNA C,VLADIMIR V.Support-Vector Networks.Machine Learning,1995,20(3):273.

[9]何春華,張雪飛,胡迎春.基于改進(jìn)Sobel算子的邊緣檢測(cè)算法的研究[J].光學(xué)技術(shù),2012,38(3):324.

HE Chunhua,ZHANG Xuefei,HU Yingchun.A Study on the Improved Algorithm for Sobel on Image Edge Detection[J].Optical Tecnique,2013,38(3):324.

(in Chinese)

[10]BOLOVINOU A,PRATIKAKIS I,PERANTONIS A.Bag of Spatio-visual Words for Context Inference in Scene Classification[J].Pattern Recognition,2013(3):1039.

(責(zé)任編輯、校對(duì)張立新)

Multiple Vehicle License Plate Location in Complex Background

BAI Mengmeng，ZHAO Li

(School of Computer Science and Engineering,Xi’an Technological University,Xi’an 710021,China)

Abstract:In order to increase the accuracy of license plate location in a complex background,the paper presents a multi information locating method with morphological processing and bag of visual words model based on the analysis of all kinds of a license plate location algorithms.Then the rectangular regions that match the aspect ratio of a license plate are represented by a histogram over visual words based on the bag of visual words.The method can locate the license plate clearly and accurately in the rectangular region by the classifying function that Support Vector Machine resolves.The method has high identification accuracy strong anti-interference performance 140 samples were tested by this method,and the accuracy rate is 96.4%.

Key words:multiple license plate position;complex background;bag of visual words;

DOI:10.16185/j.jxatu.edu.cn.2016.05.007

收稿日期：2015-09-17

作者簡(jiǎn)介：白猛猛(1987-),男,西安工業(yè)大學(xué)碩士研究生. 通訊作者：趙莉(1972-),女,西安工業(yè)大學(xué)教授,主要研究方向?yàn)橹悄苄畔⑻幚?E-mail:3320997322@qq.com.

文獻(xiàn)標(biāo)志碼:中圖號(hào)：TH12A

文章編號(hào)：1673-9965(2016)05-0382-06