張振威，蘇燕辰

(西南交通大學(xué) 機械工程學(xué)院，四川 成都 610031)

0 引 言

在智能車牌識別過程中，車牌定位是車牌圖像處理的第一個過程，是車牌識別后續(xù)步驟的前提。國內(nèi)外學(xué)者對于車牌定位的研究取得了大量的成果。目前，車牌定位的研究方法可大致分為兩類，第一類是先將車牌彩色圖像轉(zhuǎn)化為灰度圖像，然后利用圖像形態(tài)學(xué)方法、邊緣分析法、神經(jīng)網(wǎng)絡(luò)等[3-5]來實現(xiàn)車牌的定位，再利用霍夫變換、Radon變換[6,7]來實現(xiàn)車牌的傾斜校正。第二類方法是利用車牌圖像的色彩信息和色彩分布特征來實現(xiàn)車牌的定位，由于在車牌定位中考慮了色彩因素，使得車牌定位準(zhǔn)確率得到提高[8]。在利用色彩信息對車牌進行定位時，HSI色彩模型對色彩的分割具有很好的優(yōu)越性[9]，因此得到廣泛的應(yīng)用，但這種模型對光照強度比較敏感，對光照強度的魯棒性差[10]?；谝陨显?，本文旨在提出一種隨光照強度改變的HSI模型，即M-HSI模型，并結(jié)合字符區(qū)域的特征，以實現(xiàn)對車牌更加快速、精確的定位和傾斜校正。

1 M-HIS模型

1.1 HIS模型

在車牌識別系統(tǒng)中拍攝的圖像通常采用RGB格式描述，但是RGB顏色模型是線性表示系統(tǒng)，雖然簡單、直觀，但其空間中兩點的歐式距離與實際顏色的距離不是線性的關(guān)系，在對顏色進行劃分時，易產(chǎn)生誤劃分現(xiàn)象，而且它與顏色概念如色調(diào)、飽和度和亮度等沒有直接的聯(lián)系，而基于色調(diào)、飽和度和亮度的HSI顏色模型才反映了人觀察色彩的方式。在該色彩系統(tǒng)中，各參數(shù)H、I和S的定義參見文獻[11]。

將RGB空間轉(zhuǎn)換為HSI空間后，會使信息結(jié)構(gòu)更加緊湊，各個分量的獨立性增強，更易于分割和識別目標(biāo)。RGB模型轉(zhuǎn)換為HSI模型的變換公式如下[12]

其中，圖像的紅綠藍(lán)分量分別用R、G和B表示，而圖像的色度、飽和度和亮度分量用H、S和I來表示。

用Matlab編制程序，繪制HSI色彩模型的散點圖如圖1所示。

圖1 HSI色彩模型(a)和該模型色彩度分辨率與亮度的關(guān)系(b)

由圖1(a)可以看出，HSI模型在不同光照強度下對色彩的分辨率是不同的，為求得HSI模型在不同亮度下對顏色的分辨率，定義分辨率求法規(guī)則如下：

(1)先將亮度區(qū)間分為100個小區(qū)間，然后利用Matlab編程求得各個小區(qū)間分布的散點個數(shù)。

(2)用各個區(qū)間中散點個數(shù)最多的點數(shù)對結(jié)果進行歸一化處理，最終繪制曲線如圖1(b)所示。

從圖1(b)中可以看出，HSI模型色彩度的分辨率隨著亮度的增加呈現(xiàn)先上升后下降的趨勢，類似于開口向下的拋物線，且在亮度為0.5時，對色彩度的分辨率最高，在亮度接近0或者1時，分辨率較低。

1.2 改進的HSI模型

從1.1中轉(zhuǎn)換公式可以看出，HSI模型各個分量的值相互獨立，因此對于同一波長、同一飽和度的顏色，無論亮度大小怎樣改變，該顏色的波長和飽和度應(yīng)該是固定不變的。但從下面的實驗可以得知，反射光亮度的改變會使

得反射光的波長發(fā)生改變。

實驗過程如下：

(1)從拍攝的300幅車牌圖像中隨機抽取100幅圖像。

(2)在每一幅車牌圖像中截取一小塊車牌藍(lán)色區(qū)域作為樣本圖像Si。

(3)對樣本圖像Si的每個像素的色度、飽和度和亮度進行統(tǒng)計并求出其平均值以消除噪聲點的影響，設(shè)圖像尺寸為Pi1×Pi2，每個像素的色度、飽和度和亮度分別為Hij、Sij、Iij，則樣本圖像平均色度、飽和度和亮度為

(4)獲得100幅樣本圖像的飽和度、色度和亮度均值后，繪制飽和度、色度和亮度的折線圖，最終結(jié)果如圖2所示。

圖2 色度值與亮度的折線圖(a)和飽和度值與亮度的折線圖(b)

從實驗結(jié)果可以得出以下結(jié)論：

(1)由圖2(a)可以看出，色度值與亮度值成線性關(guān)系，隨著亮度值的減小，色度值變大，用最小二乘法準(zhǔn)則可以求出其回歸線為：H=-0.9362*I+4.0975，色度值在回歸線上下浮動，這是因為各個車牌由于使用的年限不同，導(dǎo)致其色度存在一定的差異。

(2)由圖2(b)可以看出，在飽和度值大于0.2時，飽和度的值不隨亮度值的改變而改變，對光照強度的魯棒性比較好，但在飽和度小于0.2時，隨著亮度值的改變，飽和度出現(xiàn)隨機分布的情況，此時利用飽和度信息對車牌定位會產(chǎn)生一定的影響。

(3)綜合兩圖，可以看出在整個亮度范圍內(nèi)，色度與亮度都有著確定的線性關(guān)系，因此可以在傳統(tǒng)色度值的基礎(chǔ)上加上亮度修正項，提高色度對光照強度的魯棒性。而飽和度在亮度小于0.2時出現(xiàn)隨機分布的情況，因此在用HSI模型將彩色圖像轉(zhuǎn)換為二值圖像時，以色度值判斷為主，飽和度值判斷為輔。

由1.1節(jié)可知，對于HSI模型，在亮度為0.5時，該模型對顏色的分辨率最高，因此以亮度為0.5時的色度值為標(biāo)準(zhǔn)，對色度值進行修正，修正后的轉(zhuǎn)換公式為

2 彩色圖像的二值化

基于M-HSI模型對彩色圖像二值化的過程如下：

(1)為提高車牌定位準(zhǔn)確率，取100組修正后色度值的最值為Hmax、Hmin，車牌矯正時，若像素色度值在[HmaxHmin]范圍內(nèi)，則將像素標(biāo)記。

(2)當(dāng)亮度值大于0.2，多數(shù)樣本的飽和度值都大于0.8，而亮度小于0.2時，統(tǒng)計圖2(b)中飽和度的值，90%以上的飽和度值都大于0.6。為保證最大程度的標(biāo)記目標(biāo)像素，用試值的方法對像素標(biāo)記，即從初始飽和度值Sst=0.6開始，以梯度值為d=-0.1，對目標(biāo)像素進行標(biāo)記。當(dāng)兩步中都被標(biāo)記的像素數(shù)站整個圖像像素數(shù)的比值大于0.0025時，停止試值。

二值化流程如圖3所示。

圖3 二值化流程

車牌采用矯正法前后轉(zhuǎn)換成的二值圖像對比如圖4所示。

圖4 HSI模型矯正前后二值圖像對比

由上面的兩幅圖像可以看出，使用M-HSI模型處理后的車牌的藍(lán)色區(qū)域標(biāo)記面積增加，非車牌區(qū)域的標(biāo)記面積減少，驗證了M-HSI模型的有效性。

3 車牌字符區(qū)域的確定

對于二值化后的圖像，如果直接利用連通域?qū)ふ臆嚺茀^(qū)域，往往會因為車牌中的字符區(qū)域的存在而使得二值圖像中的車牌圖像出現(xiàn)斷裂，從而使得定位結(jié)果只是車牌的一部分，出現(xiàn)定位錯誤。如圖5所示，在第二個字符A和第六個字符0兩處出現(xiàn)斷裂，使用連通域標(biāo)記法定位車牌時，會出現(xiàn)定位范圍只是車牌圖像的一部分的情況，此時雖然可以用大的膨脹算子對圖像進行處理使得車牌斷裂的部分合并在一起，但這種方法也容易讓車牌與非車牌區(qū)域連接在一塊，影響車牌的最終定位。

圖5 彩色車牌轉(zhuǎn)成二值圖像后的圖像

因此在得到上述二值圖像以后，需要繼續(xù)求出包含字符區(qū)域的圖像，然后將這兩個圖像合成一幅圖像，經(jīng)過形態(tài)學(xué)處理，再通過各個連通域的特征值信息最終確定車牌區(qū)域。

由于車牌字符區(qū)域為純白色，其飽和度S的值很小，可以利用飽和度信息確定車牌的字符區(qū)域，實驗表明數(shù)字區(qū)域的飽和度都在0.2以下(實驗與1.1節(jié)相同)。為求得包含字符的區(qū)域，需要對第二節(jié)中二值化后的圖像進行形態(tài)學(xué)處理，并與原彩色圖像求交集。由于實際情況比較復(fù)雜，由原圖像轉(zhuǎn)化的二值圖像中會有一些噪聲點，因此應(yīng)先對二值圖像進行圖像的去噪處理。常見的圖像的去噪方法包括鄰域平均法、加權(quán)平均法、中值濾波法和通過形態(tài)學(xué)的開閉運算去噪等方法[13]。由于本文采用的方法將彩色圖像轉(zhuǎn)化為二值圖像時所產(chǎn)生的噪聲點多為孤立的噪聲點，因此采用形態(tài)學(xué)的開閉運算來實現(xiàn)圖片的降噪處理。全1結(jié)構(gòu)算子用符號Bn表示，其大小為n×n，圖像膨脹和腐蝕運算用符號⊕和?表示，選用算子B2對圖像實現(xiàn)開運算去噪。

運算法則

A°B=(A?B)⊕B

然后再對圖像進行先膨脹后腐蝕的處理和連通域填洞處理使得其白色像素區(qū)域包含字符區(qū)域。根據(jù)對圖片處理的實驗結(jié)果取膨脹算子B10，運算法則為

A·B=(A⊕B)?B

然后對各個連通域進行填洞處理，最終得出二值圖像如圖6(b)所示，然后將得出的二值圖像圖6(b)與原圖像圖6(a)進行求交集，使得原圖像中背景區(qū)域為黑色，車牌候選區(qū)域為彩色如圖6(d)所示，用最終的彩色圖像并利用飽和度信息將其轉(zhuǎn)化為包含字符區(qū)域的二值圖像如圖6(e)所示。

圖6 車牌圖像二值化過程

4 定位車牌區(qū)域

在得到包含字符區(qū)域的二值圖像后，將包含車牌藍(lán)色區(qū)域的二值圖像與包含字符區(qū)域的二值圖像合并成一幅圖像如圖6(f)，然后進行形態(tài)學(xué)處理。在這里取運算因子B1對二值圖像進行開運算以去除車牌中的背景噪聲，取B5進行閉合運算，以融合車牌中的孔洞，運算法則

這就使得車牌候選區(qū)域成為若干個連通域如圖7所示。然后對各個連通域進行標(biāo)記，本文采用的連通域標(biāo)記方法為8連通域方法，用此方法進行連通域標(biāo)記，并將結(jié)果保存為T。設(shè)共有N個獨立連通域，則

圖7 經(jīng)過形態(tài)學(xué)處理后的二值圖像

對于處理后的圖像，為了減少車牌定位時的運算量并排除干擾，應(yīng)首先去除很小的連通域(連通域像素數(shù)小于車牌圖像總像素數(shù)的1/2000)。

圖片經(jīng)過以上處理后，車牌區(qū)域已經(jīng)成為一個連通域，因此可以通過連通域?qū)ふ曳椒ú⒔Y(jié)合車牌區(qū)域的一些特征進行車牌區(qū)域定位。由于車身類型和背景比較復(fù)雜，因此必須結(jié)合多個特征來實現(xiàn)車牌的定位[14]。

本文所使用的特征值共5個：

(1)連通域的長寬比，車牌的長寬比是一個顯著的特征，因此將標(biāo)記連通域的長寬比作為一個特征值t1。

(2)藍(lán)色區(qū)域像素數(shù)占標(biāo)記連通域像素數(shù)的比值t2，即圖8(a)亮點個數(shù)和圖8(c)亮點個數(shù)之比。

(3)字符區(qū)域像素數(shù)占標(biāo)記連通域像素數(shù)的比值t3，即圖8(b)亮點個數(shù)和圖8(c)亮點個數(shù)之比。

(4)標(biāo)記連通域像素數(shù)占包含連通域的最小矩形區(qū)域像素數(shù)的比值t4，即圖8(c)亮點個數(shù)和圖片包含總像素數(shù)之比。

(5)標(biāo)記連通域像素數(shù)占所有車牌候選區(qū)域總像素數(shù)的比值t5，即圖8(d)中車牌連通域亮點個數(shù)和所有連通域的亮點個數(shù)之比。

圖8 用于定義特征值的圖像

通過對100幅樣本圖像的車牌區(qū)域特征值進行統(tǒng)計，結(jié)果見表1。

針對某一個連通域Ti，這5個特征值分別記為Ti1-Ti5，然后分別對其進行等值賦權(quán)處理。即

表1 特征值均值

然后根據(jù)各連通域的特征值T來最終選定車牌區(qū)域，車牌區(qū)域即T為最小值的標(biāo)記區(qū)域。

最終定位的車牌區(qū)域如圖8(c)所示。

通過對200幅圖像的定位，不同定位方法的準(zhǔn)確率和耗時見表2，其中運行軟件Matlab 7.10(R2010a)，筆記本電腦，CPU：Intel(R)Core(TM)i5-4200U，1.6 GHz，內(nèi)存：4 G。運行結(jié)果表明，在計算耗時基本不變的情況下，車牌定位準(zhǔn)確率提高了很多。

表2 不同定位方法定位準(zhǔn)確率和耗時對比

5 車牌的傾斜矯正和精確定位

在車牌區(qū)域定位以后，由于一些圖像中車牌區(qū)域是傾斜的，因此需要對車牌區(qū)域進行傾斜矯正。文獻[15]中使用改進的Harris算法并結(jié)合慣性主軸算法對傾斜車牌進行矯正，雖然精度相對傳統(tǒng)Harris有所提高，但這種方法運算復(fù)雜，運算時間長。文獻[16]用Hough變換和快速投影法對車牌進行矯正，在確定車牌傾斜角度時，使用的圖片是車牌彩色圖像灰度化后的邊緣檢測二值圖，這類圖片容易出現(xiàn)邊緣不明顯，特別是車牌短邊邊緣不清晰，因此容易導(dǎo)致傾斜校正失敗。

基于以上問題，本文采用運算量小，精度高的像素偏移法。由第4節(jié)中得到的定位后的車牌區(qū)域(圖8(c))可以看出利用HSI模型定位后的車牌區(qū)域邊界比較明顯，因此可以選用索貝爾算子來確定車牌的邊緣線，然后用霍夫變換求出車牌的水平傾斜角和垂直傾斜角，并找出車牌長邊的一條直線和短邊的一條直線，求出其交點，并以交點為參考點對圖片的傾斜進行矯正。

首先對車牌區(qū)域進行填洞處理，然后用對邊緣檢測效果比較好的索貝爾算子進行邊緣檢測，索貝爾卷積因子G1和G2[17,18]，其中G1為橫向梯度因子，G2為縱向梯度因子，將兩個因子分別與二值圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值

Gx=G1*P
Gy=G2*P
G2=Gx2+Gy2

取閥值為梯度矩陣G中所有非零元素的均值，根據(jù)G內(nèi)元素的值是否大于閥值來判斷該點是否為邊緣點。對圖9(a)使用Sobel算子檢測圖像邊緣結(jié)果如圖9(b)所示。

圖9 車牌二值圖像(a)和邊緣檢測結(jié)果(b)

利用索貝爾算子檢測出邊緣以后，采用霍夫變換檢測出最長的一條直線并標(biāo)記，如圖10(a)和圖10(b)中長的粗直線所示。由圖10中可知這條直線為車牌的一條長邊直線L1，其與圖像下邊緣的傾斜角記為α，然后在直線傾斜角為α的鄰域內(nèi)采用霍夫變換標(biāo)記出短邊直線L2。車牌短邊不發(fā)生傾斜時，其與長邊夾角為α+90°，記其與圖像下邊緣的傾斜角為β，考慮到車牌短邊直線和長邊直線相互之間的變形量一般不超45°，因此取鄰域為[α+45°α+135°]。在該區(qū)間內(nèi)進行霍夫變換，求出的最長直線即為車牌短邊直線L2。通過霍夫變換求得上述中的長邊直線傾斜角α和短邊直線傾斜角β后，可以求得長邊直線和短邊直線的交點(X,Y)。

然后采用像素偏移法對圖片進行拉伸矯正處理，此方法運算簡單，對字符特征影響小。

為方便介紹圖片矯正方法，先對車牌傾斜類型區(qū)分如下。以圖像下邊緣線為參考線，若車牌長邊右側(cè)與參考線垂直距離大于長邊左側(cè)與參考線的距離，則定義α為正值，否則定義α為負(fù)值。

從以上α值的定義中可以知道，車牌的傾斜情況只有兩種，如圖10(a)和圖10(b)所示，兩圖分別對應(yīng)于α>0和α<0。

為方便對傾斜矯正方法解釋，以示意圖的形式進行說明。如圖10(a)所示，為α>0的情況。在對車牌邊緣二值圖像運用Hough變換后，求得兩條直線，一條為車牌的長邊邊線，另一條為短邊邊線，則Hough變換后，共可能出現(xiàn)4種情況，如圖10中α>0的4種情況。

在圖10(a)中，粗線段代表Hough變換求出的兩條線段。由于α角已經(jīng)求出，因此，可以求得長邊線的斜率K1，因此可以求出以上情況中以交點(X,Y)為參考點的任意像素(x,y)的矯正偏移量

圖10 車牌傾斜的幾種情況

公式中round是對計算數(shù)值四舍五入。

如圖10(b)所示，為α<0的情況。與α>0類似，在Hough變換后，共可能出現(xiàn)4種情況，如圖10(b)中α<0的4種情況。

與α>0類似，可以求出以上情況中以交點(X,Y)為參考點的任意像素(x,y)的矯正偏移量

可以將上述兩種傾斜類型的矯正偏移量合并為一個

根據(jù)以上矯正偏移量可對車牌圖像進行長邊線傾斜矯正。

根據(jù)矯正前后的幾何關(guān)系，可以求得矯正后的短邊傾斜角β1的值如下

β1=β+arcsin((sin(α)*sin(90-β))/(sin(90-α)))

長邊傾斜矯正后，可能的結(jié)果如圖10(c)(分別對應(yīng)于β1>0和β1<0)：

與長邊偏移量求法相似，可以求出以上情況中以交點(X,Y)為參考點的任意像素(x,y)的矯正偏移量

由于本文在將車牌彩色圖像轉(zhuǎn)化為二值圖像時，邊緣清晰，因此用Hough變換尋找長邊和短邊時，具有很高的準(zhǔn)確率。而以上提出的車牌矯正方法對Hough變換定位出的任意一條長邊和短邊都是適用的，因此在車牌定位準(zhǔn)確的情況下，車牌矯正準(zhǔn)確率很高。

對已經(jīng)準(zhǔn)確定位的100幅傾斜車牌進行矯正，其準(zhǔn)確率為99%，每幅圖的矯正時間為0.36 s/幅。

部分測試結(jié)果如圖11所示。

圖11 部分車牌測試圖像

不同傾斜矯正方法的準(zhǔn)確率和耗時見表3。

表3 傾斜矯正方法準(zhǔn)確率和耗時

從以上實驗結(jié)果可以看出，本文提出的車牌矯正方法對各種類型的車牌長邊傾斜和短邊傾斜都有比較好的矯正效果，且矯正并精確定位后的車牌邊緣區(qū)域去除率高，為之后的車牌最終識別奠定了基礎(chǔ)。

6 結(jié)束語

針對車牌定位這一問題，本文提出了改進的M-HSI模型和基于像素偏移法的矯正方法，從而實現(xiàn)了對車牌的精確定位。

(1)本文提出的方法能以比較高的準(zhǔn)確率對車牌定位并矯正傾斜圖像。

(2)與基于車牌邊緣檢測的定位方法相比，其準(zhǔn)確率較高，且兩種方法耗時基本一樣。

實驗中也發(fā)現(xiàn)，本文所用算法定位失敗的情況主要有是車牌褪色或者污損嚴(yán)重，因此要繼續(xù)提高車牌定位準(zhǔn)確率時，需要結(jié)合其它車牌定位方法如邊緣分析法和紋理分析法，這是下一個階段需要做的工作。