姜誼,嚴(yán)京旗
車牌定位和校正對車牌識別系統(tǒng)有著非常重要的作用,快速、準(zhǔn)確的車牌定位及校正直接關(guān)系到整個系統(tǒng)的性能。目前車牌定位的方法總的來說可以分為兩大類,一類是基于灰度圖像的車牌定位,另一類是基于彩色圖像的車牌定位?;叶葓D像數(shù)據(jù)量小,處理迅速簡單,對于車牌的灰度圖像處理的算法中,比較常用的算法有以下幾種:(1)基于 Hough變化法[1],利用車牌的矩形邊框具有比較明顯的直線邊緣,通過邊緣提取,再結(jié)合 Hough變換檢測出車牌邊框直線來定位車牌,但是這種方法受車牌圖像傾斜的影響較大,另外,還有很多車牌并沒有明顯的邊框直線;(2)基于邊緣和數(shù)學(xué)形態(tài)學(xué)的車牌定位算法[2,3],通過腐蝕和膨脹以及由其組合而成的開、閉運(yùn)算,將目標(biāo)區(qū)域顯示出來;(3)基于統(tǒng)計學(xué)習(xí)的車牌檢測方法[4]。
在車牌校正方面,常用的方法有:(1)基于Hough變換算法,尋找車牌邊框直線確定車牌水平傾斜角度[5];(2)使用投影法[6],該方法計算量較大,且對于本文所處理車牌圖像不是很適用。
本文基于車牌的字符信息提出了一種準(zhǔn)確、快速的車牌定位及其校正的方法。除了水平校正外,還要對這種具有兩排字符的車牌,做針對性的垂直校正。
對車牌定位系統(tǒng)來而言,由于背景、光照等因素,汽車圖像二值化后車牌區(qū)域字符消失或則部分消失了。針對這種情況,本文所采用的方法是利用灰度形態(tài)學(xué)的頂帽操作(top-hat)減少背景信息。
圖1表示了該方法的過程,使得車牌區(qū)域字符在原圖中具有更高的對比度,這樣有利于后面的圖像二值化操作。
圖1 形態(tài)學(xué)頂帽操作
本文主要采用OTSU二值化方法,該方法簡單、快速。二值化效果如圖2所示,可以看出經(jīng)過上面所提出的灰度形態(tài)學(xué)預(yù)處理后,車牌區(qū)域可以很好的顯示在二值圖。為了要在各種背景下得到很好的二值化圖,本文還用到多種二值化方法的結(jié)合,二值化的研究不是本文的研究重點(diǎn),不詳細(xì)敘述。
圖2 汽車圖像的二值化
本文基于車牌的字符信息提出了一種快速的車牌定位方法。對定位好的車牌候選區(qū),依據(jù)車牌的先驗(yàn)知識找到真正的車牌區(qū)域。
2.2.1 車牌候選區(qū)域
以上面車牌圖像為例,本文列出的圖例是兩排字符的車牌圖像,上面一排字符很小而且模糊粘連,所以以下面一排比較大的字符為對象,找到聚集在一起的連通元模塊。根據(jù)車牌圖像的先驗(yàn)知識,如:車牌的字符大小,長寬比等,尋找符合條件的候選字符連通元。由于車牌出現(xiàn)傾斜的原因,連通元中心點(diǎn)垂直方向上的距離差距為y,y滿足一定的范圍,同樣連通元中心點(diǎn)水平方向上的距離差x也有一定的范圍,可以從圖3(a)中看出車牌定位的具體過程。其中,矩形表示字符以及干擾塊的連通元,小圓圈表示連通元中心點(diǎn),則根據(jù)式(1)可以得到車牌候選區(qū)域,即使在背景復(fù)雜、光照不均勻的情況下,該方法定位到的候選區(qū)域也相當(dāng)少,大多數(shù)只有一個。
上式中,minwidth表示字符之間的最小距離,Cx表示連通元水平方向上相差的最大距離,Cy表示垂直方向上相差的最大距離,找到字符連通元聚集在一塊,然后就可以根據(jù)車牌先驗(yàn)知識定出車牌區(qū)域具體的上下、左右邊框。令車牌區(qū)域上下左右邊框分別為left,right,top,bottom,本文采用如下計算獲取:
式中,(minx,y1)表示聚集塊最左邊連通元的中心點(diǎn)坐標(biāo),(maxx,y2)表示聚集塊最右邊連通元的中心點(diǎn)坐標(biāo),可以參考圖3(a)。length指最左邊中心點(diǎn)到最右邊中心點(diǎn)的距離,a1,a2,a3,a4是依據(jù)具體車牌所作出的參數(shù)(本文取值,a1,a2,a3,a4 分別為0.5,0.2,0.5,0.2)。
圖3 車牌定位過程
2.2.2 去除偽車牌區(qū)域
上面的處理可能會找到一個以上候選區(qū)域,對此應(yīng)去除偽車牌,本文主要從兩方面去除偽車牌區(qū)域。
1)通過車牌的高寬比等過濾非車牌區(qū)域。
式(3)中,minwidth表示車牌可能的最小寬度值,maxwidth表示車牌可能的最大寬度值,minwidth表示車牌可能的最小高度值,maxwidth表示車牌可能的最大高度值,C1表示高寬比的可能最小值,C2表示高寬比的可能最大值;wid是指定位到的車牌區(qū)域的實(shí)際長度,hei則表示定位到的車牌區(qū)域的實(shí)際寬度。
2)由于本文處理的對象是具有2排字符的日本車牌,上面字符較小,下面字符較大。所以可以根據(jù)候選區(qū)域上面一排小字符進(jìn)一步排除偽車牌區(qū)域。
拍攝到的車牌圖像經(jīng)常會產(chǎn)生傾斜,不可避免的影響車牌字符的分割和識別。因此,需要在字符分割之前進(jìn)行車牌的傾斜校正,包括水平校正和垂直校正。
首先,尋找字符連通元,然后通過字符連通元的中心坐標(biāo)求取傾斜斜率,從而得到傾斜角度。水平校正具體過程:
1)首先要將定位到的車牌圖像進(jìn)行歸一化處理,字符大小才能接近,本文是將車牌圖像統(tǒng)一歸一化成200*100。
2)采用8鄰域連通元法尋找連通元,根據(jù)歸一化后的字符大小、規(guī)格篩選出候選連通元,令連通元個數(shù)為n。
3)計算每個連通元的中心坐標(biāo)點(diǎn)(xi,yi),1≤i≤n,并計算各個中心點(diǎn)之間的斜率,令斜率個數(shù)為m,此時存入數(shù)組array。1≤i≤n,1≤j≤n(表示第i個和第j個連通元之間的斜率)由于實(shí)際車牌水平角度有一定的上限,假設(shè)為y(本文取45°),把超過y角度的從數(shù)組中去掉,減少計算量。
4)相差在一定范圍內(nèi)認(rèn)為是同一個斜率,把相同斜率的個數(shù)存入數(shù)組num中,計算數(shù)組num中的最大值,即相同斜率個數(shù)最多值,該值即為車牌水平傾斜的斜率值,可以轉(zhuǎn)換成相應(yīng)的角度。
圖4 車牌水平校正過程示例
在水平校正后,垂直方向上很多車牌還是發(fā)生變形的,如圖5(b)所示。因本文的對象車牌是2行字符的,下面一行的字符相對比較大,且易于處理,故選擇下面一行字符來處理,如圖5所示。使用投影分析的方法求出水平校正后垂直方向的傾斜角度,再進(jìn)行圖像的像素平移。
垂直校正的處理過程:
令垂直方向傾斜角度為φ,在30±°之間平移圖像,可以采取每次平移1°,然后求取對應(yīng)的投影值,如圖5(c)和圖5(d)所示。
找到投影值最小情況下所需移動的角度,該角度即為垂直方向的傾斜角度,如圖5(d)所示的位置。
最后按照上面所求垂直方向的傾斜角度平移圖像,這里所指的平移圖像是指圖像的每一行移動相應(yīng)的像素值,達(dá)到校正的目的。圖5(e)表示了如何根據(jù)垂直方向的傾斜角度校正圖像,已知車牌圖像的高度為Height,y為車牌圖像上的行數(shù),則相應(yīng)行要移動的像素量:。圖5(f)是按上述方法垂直校正后的車牌圖像。
圖5 車牌垂直校正過程示例
本文的實(shí)驗(yàn)是基于日本車牌庫,庫中有各種類型的車牌圖像,有白天的、晚上的;有前面的、后面的;有左傾斜的、右傾斜的,共526幅圖像。正確定位到的圖像有518幅,定位率達(dá)到96.48%,在定位到車牌的基礎(chǔ)上,實(shí)驗(yàn)中的圖像的校正率達(dá)到99.2%(可以存在小角度、不影響車牌識別后面工作的偏移)。通過實(shí)驗(yàn)表明,文中所提出的方法能夠在一定復(fù)雜背景下快速、準(zhǔn)確定位到車牌,并且傾斜校正效果很好。在CPU為p4 3.0GHz,內(nèi)存為1G的機(jī)器上,整個過程運(yùn)行時間約為140ms,完全滿足實(shí)時性。
經(jīng)過實(shí)驗(yàn)驗(yàn)證,本文所提出的算法,處理速度快、便于實(shí)現(xiàn)。而且本文特別針對具有2排字符的車牌進(jìn)行處理,雖然本文圖例對象是日本的2排字符車牌,但是對于國內(nèi)的一排字符車牌的處理也同樣具有適用性,而在實(shí)際應(yīng)用中,要想進(jìn)一步提高準(zhǔn)確率,還需要重視所拍取圖像的質(zhì)量,車牌字符若是過于模糊不清會直接影響到算法的結(jié)果。
[1]Kamat V,Ganesan S.An efficient Implementationof the Hough transform for detecting vehicle lice-nse plates using DSP'S[C]//IEEE Proceedings of Real-Time Technology and Applications Symposium.CA: Computer Society Press,1995.
[2]Faradji F,Rezaie A H,Ziaratban M.Amorphol-ogical based license plate location[J].ICIP,2007,1(16),57-60.
[3]Ying-NongChen,Chin-Chun Han,Cheng-Tzu Wang,et al.The Application of a Convolution Neural NetworkonFace and License Plate Detection[C]// 18th International Conference on Pattern Recognition,ICPR.Hong Kong,China: IEEE Computer Society,2006.
[4]Zhang H,Jia W,He X and Wu Q.Learningbased license plate detection using global andlocal features[C]//18th International Conferenceon Pattern Recognition,ICPR.Hong Kong,China: IEEE Computer Society,2006.
[5]Ming G H,Harvey A H,Vinay T.Hough transformin car number plate skew detection[J].Signal Proc-essing and Its Application,1996,25(30):593-596.
[6]路小波,包明,黃衛(wèi).基于投影的車牌傾斜檢測方法[J].交通運(yùn)輸工程與信息學(xué)院,2004,2(4):10-15.