程揮竣，應(yīng)　捷

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

基于OpenCV的行駛車(chē)輛車(chē)牌定位實(shí)現(xiàn)

程揮竣，應(yīng)捷

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

摘要車(chē)牌定位是車(chē)牌自動(dòng)識(shí)別系統(tǒng)中的一個(gè)關(guān)鍵問(wèn)題。系統(tǒng)從兩方面進(jìn)行了設(shè)計(jì)。一是視頻中移動(dòng)車(chē)輛的定位，采用高斯背景建立模模塊。二是靜態(tài)圖像中車(chē)牌提取系統(tǒng)，采用頂帽變換、能量濾波、尋找聯(lián)通區(qū)域等多模塊結(jié)合精確定位出車(chē)牌區(qū)域。該移動(dòng)車(chē)牌定位算法在QT平臺(tái)上采用OpenCV和C++編程，實(shí)現(xiàn)了綜合利用車(chē)牌結(jié)構(gòu)特征和紋理特征，提高了車(chē)牌定位可靠性。實(shí)驗(yàn)結(jié)果表明，該方法速度快、準(zhǔn)確度高，可滿(mǎn)足實(shí)時(shí)監(jiān)控的需求。

關(guān)鍵詞車(chē)牌識(shí)別；混合高斯建模；頂帽變換；能量濾波

目前，車(chē)輛牌照是機(jī)動(dòng)車(chē)最直觀(guān)、有效的管理標(biāo)識(shí)符號(hào)，在交通運(yùn)輸管理中具有重要的作用。車(chē)輛以及車(chē)牌的定位研究對(duì)于防控交通違章和交通事故，具有重要意義。

車(chē)牌識(shí)別核心內(nèi)容包括車(chē)牌圖像預(yù)處理、車(chē)牌區(qū)域定位、車(chē)牌字符分割和字符識(shí)別等。其中車(chē)牌區(qū)域定位最為關(guān)鍵。對(duì)車(chē)牌定位的方法，主要是使用現(xiàn)有的圖像分割算法與先驗(yàn)知識(shí)相結(jié)合。但是，由于車(chē)輛牌照的情況差別較大，也面臨著諸多困難。因此，在研究過(guò)程中，要對(duì)各種車(chē)牌的共性與異性進(jìn)行綜合考慮，國(guó)內(nèi)有眾多學(xué)者在車(chē)牌識(shí)別系統(tǒng)方面提出了新的算法[1]。比如通過(guò)邊緣檢測(cè)得到圖像，使用大津法得到二值圖像的閾值，進(jìn)行二值化；對(duì)二值化后的圖像投影來(lái)確定車(chē)牌的位置，提取出車(chē)牌。

針對(duì)傳統(tǒng)的特征提取車(chē)牌識(shí)別方法，圖像灰度特征不明顯而不能準(zhǔn)確識(shí)別相似字符，造成車(chē)牌誤識(shí)別的問(wèn)題。設(shè)計(jì)了一種頂帽能量濾波的車(chē)牌識(shí)別系統(tǒng)。頂帽變換初步處理，然后進(jìn)行能量濾波進(jìn)行識(shí)別。在Qt平臺(tái)上，首先進(jìn)行車(chē)輛的識(shí)別，然后只對(duì)包含車(chē)輛的幀進(jìn)行車(chē)牌識(shí)別，減少了些不必要的運(yùn)算，接下來(lái)對(duì)該幀進(jìn)行預(yù)處理，并利用OpenCV中查找輪廓的方法粗定位出車(chē)牌區(qū)域，再根據(jù)能量濾波精確定位出車(chē)牌區(qū)域。

1車(chē)牌定位系統(tǒng)

行駛中車(chē)輛的車(chē)牌定位系統(tǒng)由車(chē)輛定位部分和車(chē)牌定位系統(tǒng)兩大組成部分。車(chē)輛定位系統(tǒng)流程如圖1所示。

圖1　車(chē)輛定位結(jié)構(gòu)設(shè)計(jì)

車(chē)牌定位系統(tǒng)流程如圖2所示。

圖2　車(chē)牌定位流程圖

系統(tǒng)經(jīng)過(guò)高斯背景建模后可精確得到車(chē)輛在圖片中的位置，然后使用頂帽變換處理靜態(tài)的車(chē)牌，減小復(fù)雜背景對(duì)車(chē)牌提取的干擾，再此效果下對(duì)圖像進(jìn)行能量濾波，比在灰度圖上效果好。有效減少外界環(huán)境對(duì)車(chē)牌定位的干擾。對(duì)車(chē)牌定位的過(guò)程使用了能量濾波器，比通過(guò)顏色等先驗(yàn)知識(shí)判定車(chē)牌位置的效果好。能量濾波的使用，能較好地反應(yīng)車(chē)牌的紋理信息，使得該方法能夠使用在復(fù)雜背景、天氣環(huán)境、車(chē)輛顏色等諸多不利條件，使得系統(tǒng)可得到廣泛應(yīng)用。

2運(yùn)動(dòng)車(chē)輛定位

2.1高斯背景建模定位車(chē)輛

采用OpenCV實(shí)現(xiàn)車(chē)牌實(shí)時(shí)區(qū)域定位，只對(duì)經(jīng)過(guò)車(chē)輛跟蹤識(shí)別后保存下來(lái)的幀進(jìn)行識(shí)別，提高了識(shí)別效率。首先需要初始化參數(shù)。然后，在參數(shù)的基礎(chǔ)上，對(duì)傳來(lái)的第一幀圖像，對(duì)圖像進(jìn)行高斯混合模型處理流程如下：

(1)用第一幀圖像數(shù)據(jù)初始化背景模型，其中std_init經(jīng)過(guò)試驗(yàn)調(diào)試設(shè)置為20。

(1)

(2)

σ0=std_init

(3)

(2)用當(dāng)前圖像中的每個(gè)像素點(diǎn)與混合高斯模型匹配,如果成功則判定該點(diǎn)為背景點(diǎn), 否則為前景點(diǎn)[2]。在時(shí)刻t，幀的每個(gè)像素值Xt和它對(duì)應(yīng)的混合高斯模型進(jìn)行匹配檢驗(yàn)：檢測(cè)前景與背景像素，若像素值Xt與混合高斯模型中第i個(gè)高斯分布均值的距離小于其標(biāo)準(zhǔn)差的2．5倍(λ=2.5)，則定義該高斯分布Gi與像素值Xt匹配。背景像素檢測(cè)公式

|Xt-μt-1|<λσt-1

(4)

前景像素檢測(cè)公式

|Xt-μt-1|≥λσt-1

(5)

μi,t=(1-ρ)×μi,t-1+ρ×Xt

(6)

(7)

ρ=α×η(Xt|μi,t-1,σi,t-1)

(8)

式中，α為參數(shù)估計(jì)的學(xué)習(xí)效率;

(4)返回(2)直至停止。

2.2車(chē)輛定位實(shí)驗(yàn)結(jié)果與分析

運(yùn)行程序得到效果如圖3所示。

圖3　高斯背景建模效果

從圖3可看出，在視頻的前景圖中，需要找到像素0的像素點(diǎn)集中的區(qū)域，可判定為該區(qū)域?yàn)檐?chē)輛的區(qū)域。

由于背景建模在圖像中各個(gè)位置的效果有一定的差異且計(jì)算量較大，為避免影響視頻的流暢播放，增加尋找運(yùn)動(dòng)車(chē)輛的準(zhǔn)確率和效率，在圖像中固定的部分尋找運(yùn)動(dòng)車(chē)輛。如圖4所示，其固定區(qū)域?yàn)橐曨l原圖的橫線(xiàn)區(qū)域，需要在相應(yīng)前景圖的該區(qū)域內(nèi)尋找像素值為0像素點(diǎn)的聚集區(qū)域，聚集區(qū)域即是尋找的運(yùn)動(dòng)車(chē)輛，其定位效果如圖5所示。

圖4　判定視頻中運(yùn)動(dòng)車(chē)輛的標(biāo)記區(qū)域

圖5　判定視頻中運(yùn)動(dòng)車(chē)輛的標(biāo)記區(qū)域

3車(chē)牌定位算法

3.1使用Open Top-Hat處理靜態(tài)車(chē)輛圖像

當(dāng)成功從視頻中定位到運(yùn)動(dòng)的車(chē)輛，并得到該車(chē)輛的圖像后，需從靜態(tài)的圖像中準(zhǔn)確的定位處車(chē)牌。

由于背景以及車(chē)輛的顏色信息較為復(fù)雜，因此，首先需要對(duì)靜態(tài)車(chē)輛圖像的背景進(jìn)行處理。使用的基本方法是開(kāi)頂帽原理(Open Top-Hat)，首先對(duì)圖像進(jìn)行開(kāi)運(yùn)算，即先對(duì)圖像進(jìn)行腐蝕，在對(duì)圖像進(jìn)行膨脹。其數(shù)學(xué)表達(dá)為入式(9)[3]

OTHA，B=A-AΘB

(9)

式(9)中A為原圖；B為結(jié)構(gòu)元素；AΘB為開(kāi)運(yùn)算，最后得到頂帽變換后的圖像T。頂帽變換的效果如圖6所示。

圖6　開(kāi)頂帽變換效果圖

在車(chē)牌定位中使用Top-Hat變換，根本原因是車(chē)牌區(qū)域字符與車(chē)牌底色的跳變。由于車(chē)牌中字符筆劃的寬度小于字符筆劃間距，為突出車(chē)牌區(qū)域，結(jié)構(gòu)元素的大小應(yīng)介于字符筆劃的寬度和字符筆劃間距之間。

3.2使用能量濾波處理頂帽變換后的圖像

對(duì)靜態(tài)的車(chē)輛圖像使用頂帽變換得到的二值圖像，能夠較為清楚地發(fā)現(xiàn)，在車(chē)牌區(qū)域，顏色變化集中。因此，需要找到顏色變化明顯的區(qū)域，定義該區(qū)域?yàn)檐?chē)牌區(qū)域。在數(shù)字圖像處理中，能量是描述紋理特征的統(tǒng)計(jì)參數(shù)[4]，其表達(dá)式為

(10)

式(10)中，E(x,y)表示(x,y)點(diǎn)的能量值；P(x,y)為坐標(biāo)(x,y)的特征值；I(x,y)表示(x,y)點(diǎn)的像素值。根據(jù)車(chē)牌特有的灰度特征，車(chē)牌在水平方向上亮度變化劇烈且集中，選擇P(x,y)為水平方向上的亮度差分值，定義(x,y)處的像素點(diǎn)的能量E如下[6]

E(x,y)=|I(x-1,y)+I(x+1,y)-2I(x,y)|2

(11)

使用上述能量運(yùn)算，并且統(tǒng)計(jì)能量相對(duì)較大且集中的區(qū)域，能夠得到車(chē)牌的區(qū)域。為提高運(yùn)算效率，可首先將圖像分成若干等分，統(tǒng)計(jì)每一份能量的和，可提取出能量較大的若干份。文中將圖片分成8×8塊，統(tǒng)計(jì)每一塊的能量值，若能量值大于規(guī)定閾值，定義該部分是車(chē)牌區(qū)域，否則不是車(chē)牌區(qū)域，如式(12)所示

(12)

其中，Th代表閾值；c(i)代表橫向的第i(i≤8)塊；r(j)代表縱向j(j≤8)塊；B(c(i),r(j))代表第(c(i),r(j))塊是否為車(chē)牌區(qū)域。

從上式可看出存在兩點(diǎn)不足：(1)閾值的選取，對(duì)車(chē)牌定位的準(zhǔn)確度起到了至關(guān)重要的作用；(2)得到的符合規(guī)定的車(chē)牌能量塊，不一定滿(mǎn)足是真正的車(chē)牌區(qū)域。

系統(tǒng)在閾值的選取上，使用了自適應(yīng)閾值的方法，能使得系統(tǒng)的穩(wěn)定性提高，應(yīng)用的范圍擴(kuò)大。為解決問(wèn)題(1)，在系統(tǒng)中使用自適應(yīng)閾值的方法。首先，閾值設(shè)為極大值。當(dāng)為尋找到滿(mǎn)足要求的車(chē)牌區(qū)域時(shí)，閾值自動(dòng)減小，重新迭代尋找，直到尋找到合適的車(chē)牌區(qū)域。為解決問(wèn)題(2)系統(tǒng)規(guī)定，在尋找完成后，檢查找到的車(chē)牌區(qū)域的連通域中，是否存在滿(mǎn)足車(chē)牌長(zhǎng)度的先驗(yàn)知識(shí)。若不滿(mǎn)足，則閾值減小，再次尋找。

因此，改進(jìn)后的算法的步驟如下：

(1)定義閾值T的取值范圍Tmin≤T≤Tmax,且定義圖像中車(chē)牌最小長(zhǎng)度L，初始閾值T=Tmax；

(2)由式(12)得到B，判斷得到的車(chē)牌連通域的長(zhǎng)度是否>L；若是，執(zhí)行步驟(3)；否則，執(zhí)行步驟(4)；

(3)判斷該區(qū)域的顏色是否符合標(biāo)準(zhǔn)車(chē)牌的顏色；若是，則將該車(chē)牌區(qū)域輸出，算法結(jié)束；否則，將B(c(i),r(j))賦值0；

(4)減小閾值，若T≥Tmin則執(zhí)行步驟(2)，否則直接輸出不能識(shí)別，算法結(jié)束。

4車(chē)牌定位實(shí)驗(yàn)結(jié)果

對(duì)靜態(tài)的車(chē)輛圖片使用頂帽變換效果如圖7所示，在車(chē)牌的區(qū)域，顯示的像素值為255的像素點(diǎn)較為集中，因此，下一步需要使用能量濾波的方法將該區(qū)域?qū)ふ页鰜?lái)。

圖7　對(duì)靜態(tài)車(chē)牌使用高帽變換前后對(duì)比

通過(guò)該算法，可將車(chē)牌的區(qū)域?qū)ふ页鰜?lái)，在輸出過(guò)程中，由于劃分的塊不一定能夠很好地滿(mǎn)足要求，因此，可適當(dāng)擴(kuò)大找到車(chē)牌的區(qū)域，其系統(tǒng)運(yùn)行效果如圖9所示。

圖8　軟件單步演示運(yùn)行過(guò)程圖

圖9　靜態(tài)圖像中車(chē)牌的定位實(shí)驗(yàn)結(jié)果

5結(jié)束語(yǔ)

先進(jìn)行車(chē)輛的識(shí)別和跟蹤可以減少運(yùn)算量，并使后續(xù)移動(dòng)車(chē)牌的定位更加快速。結(jié)合OpenCV實(shí)現(xiàn)多特征融合的移動(dòng)車(chē)牌定位方法可快速和準(zhǔn)確地定位出車(chē)牌區(qū)域。在灰度對(duì)比不明顯的情況下也能較準(zhǔn)確識(shí)別車(chē)牌，速度快、準(zhǔn)確率較高，車(chē)牌識(shí)別算法效果良好，可應(yīng)用于實(shí)時(shí)的移動(dòng)車(chē)牌識(shí)別系統(tǒng)，準(zhǔn)確地確定車(chē)牌位置。實(shí)驗(yàn)結(jié)果表明，該方法簡(jiǎn)單且定位準(zhǔn)確、迅速、為后繼字符分割和識(shí)別奠定了基礎(chǔ)。

經(jīng)過(guò)大量實(shí)驗(yàn)，本系統(tǒng)還存在不足之處，有方面并未達(dá)到預(yù)期效果：(1)使用頂帽變換和能量濾波，能較好地將圖像中的車(chē)牌定位出來(lái)，但系統(tǒng)中找到的車(chē)牌區(qū)域相對(duì)大，并不能只將純粹的車(chē)牌從圖像中定位出來(lái)；(2)系統(tǒng)在尋找車(chē)牌區(qū)域時(shí)，要對(duì)照的車(chē)牌進(jìn)行顏色判定，并以此來(lái)確定該區(qū)域是否是車(chē)牌區(qū)域，但顏色信息會(huì)受到光照的影響。因此，使用RGB顏色信息來(lái)判定是否是車(chē)牌的方法仍需改進(jìn)。

參考文獻(xiàn)

[1]李雄,裴承鳴,鄭華.幾何特征形態(tài)學(xué)車(chē)牌識(shí)別系統(tǒng)研究[J].計(jì)算機(jī)仿真,2012,29(4):353-370.

[2]郭曉,郭曉金.基于時(shí)空的混合高斯背景建模的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].電視技術(shù),2013,37(3):185-187.

[3]蔡勇智.一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法車(chē)牌識(shí)別算法研究[J].科技通報(bào),2012,28(10) 128-130.

[4]朱士虎.形態(tài)學(xué)高帽變換與低帽變換功能擴(kuò)展及應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(34) 190-218.

[5]You Shihjui, You Zhisheng, Zhao Shelong. Practical homography-based perspective correction method for license plate recognition[C].Berlin: International Conference on Information Security and Intelligence Control (ISIC),2012.

[6]Anagnostopoulos C, Anagnostop O I, Psoroulasi, et al. License plate recognition from still images and video sequences: a survey[J].IEEE Transactions on Intelligent Transportation Systems,2008,9(3):377-391.

[7]姜文濤,劉萬(wàn)軍,袁姮.基于曲量場(chǎng)空間的車(chē)牌定位與識(shí)別[J].電子學(xué)報(bào),2011,39(11):2554-2560.

[8]薛麗霞,李濤,王佐成.一種自適應(yīng)的Canny 邊緣檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用研究,2010,27(9):3588-3590.

[9]依玉峰,高立群,程偉,等.自適應(yīng)隨機(jī)游走圖像分割算法[J].東北大學(xué)學(xué)報(bào):自然科學(xué)版,2011,32(8):1092-1097.

[10]馮慧娜,白艷萍,胡紅萍.一種基于圖像處理和投影的車(chē)牌定位方法[J].電子科技,2010,23(11):5-7.

[11]梅雪,張繼法,許松松,等.分級(jí)特征提取與選擇及在自動(dòng)目標(biāo)識(shí)別系統(tǒng)中的應(yīng)用[J].遙感技術(shù)與應(yīng)用,2012,27(5):712-715.

Vehicle License Plate Location Based on the Travel OpenCV Implementation

CHENG Huijun，YING Jie

(School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology，Shanghai 200093, China)

AbstractThe license plate location is a key problem in the automatic recognition system of the license plate. More in-depth design did in two areas. Firstly, the video of the mobile vehicle positioning that mainly involved in the Gauss background modeling. Secondly, the static image of the license plate extraction system included the top hat transform, energy filtering, to find the area of the Unicom area and other modules to accurately locate the license plate region. The mobile license plate location algorithm using OpenCV and C++ programming is based on the QT platform to achieve a comprehensive use of the structure and texture features of the license plate, improving the reliability of the license plate location. Experimental results show that the method is faster and more accurate. The system can meet the needs of real-time monitoring.

Keywordslicense plate recognition；hybrid gauss modeling；top hat transformation；energy filtering

收稿日期:2015-11-07

作者簡(jiǎn)介:程揮竣(1992-)，男，碩士研究生。研究方向：圖像處理與模式識(shí)別。

doi:10.16180/j.cnki.issn1007-7820.2016.06.043

中圖分類(lèi)號(hào)TP751.1

文獻(xiàn)標(biāo)識(shí)碼A

文章編號(hào)1007-7820(2016)06-150-04