張瑞萌，張重陽

(上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)工程研究所，上海 200240)

多特征級(jí)聯(lián)篩選的高魯棒車牌檢測(cè)

張瑞萌，張重陽

(上海交通大學(xué) 圖像通信與網(wǎng)絡(luò)工程研究所，上海 200240)

摘要：現(xiàn)有的車牌檢測(cè)算法在車牌較模糊時(shí)往往難于取得很好的檢測(cè)效果。針對(duì)監(jiān)控圖像的特點(diǎn)，首先提取清晰和模糊車牌所共有的歸一化梯度特征，進(jìn)行初步車牌檢測(cè)；然后結(jié)合車牌區(qū)域的顏色直方圖特征，進(jìn)行級(jí)聯(lián)篩選、去除非車牌樣本，得到一種高魯棒的車牌檢測(cè)方法?；谡鎸?shí)監(jiān)控圖像的實(shí)驗(yàn)結(jié)果表明，此方法具有較高的穩(wěn)定性和魯棒性，尤其對(duì)模糊車牌具有明顯優(yōu)于已有方法的召回率。

關(guān)鍵詞：車牌檢測(cè)；監(jiān)控圖像；多特征

隨著城市及道路交通控制智能化科學(xué)化管理要求的日益提高，以車輛、車牌等目標(biāo)檢測(cè)識(shí)別等為主要內(nèi)容的智能圖像監(jiān)控系統(tǒng)、智能交通系統(tǒng)受到了越來越廣泛的重視。在此類智能應(yīng)用系統(tǒng)中，車輛的車牌，作為車輛不同于其他目標(biāo)的特定屬性及唯一的身份標(biāo)識(shí)，往往成為智能交通等系統(tǒng)關(guān)注的重點(diǎn)[1]。

現(xiàn)在已經(jīng)存在很多比較成熟的車牌檢測(cè)算法，應(yīng)用在高速收費(fèi)站、停車場(chǎng)入口等處，這些算法有一個(gè)共同點(diǎn)，就是都是在車輛運(yùn)行緩慢的時(shí)候進(jìn)行拍照，以得到角度、清晰度和光照等都有保證的高質(zhì)量車臉圖片，再對(duì)車牌區(qū)域進(jìn)行高精度的檢測(cè)定位與識(shí)別。但是目前大部分的監(jiān)控視頻，尤其是道路監(jiān)控視頻，大都是在車輛快速運(yùn)動(dòng)的時(shí)候進(jìn)行拍攝、錄制的，運(yùn)動(dòng)中的車輛抓拍，本身就存在一定的變形和模糊，再加上一天中不同時(shí)刻光線的變化、監(jiān)控區(qū)域背景的復(fù)雜性、拍攝角度差異等影響，得到的圖片質(zhì)量會(huì)變差；同時(shí)視頻圖像在編碼和傳輸過程中必然帶來一定的損耗，導(dǎo)致部分車牌存在不同程度的模糊等降質(zhì)，使得傳統(tǒng)的車牌檢測(cè)與定位算法難以準(zhǔn)確地進(jìn)行檢測(cè)、定位[2-3]。

本文提出了一種基于多特征級(jí)聯(lián)篩選的高魯棒車牌檢測(cè)方法，通過對(duì)清晰和模糊車牌梯度、顏色直方圖等特征進(jìn)行級(jí)聯(lián)篩選和區(qū)域合并，實(shí)現(xiàn)清晰車牌與模糊車牌都可以準(zhǔn)確檢測(cè)的高魯棒車牌檢測(cè)。

1現(xiàn)有的車牌檢測(cè)算法

現(xiàn)有的車牌檢測(cè)的主要方法分為兩類：基于灰度圖像的車牌檢測(cè)算法和基于彩色圖像的車牌檢測(cè)算法[4]。其中，基于灰度圖像的車牌檢測(cè)算法包括基于邊緣檢測(cè)的算法、基于數(shù)學(xué)形態(tài)學(xué)的算法、基于小波變換的算法、基于紋理分析的算法等?；谶吘墮z測(cè)的算法在車牌圖像邊緣模糊的情況下檢測(cè)效果不好；基于數(shù)學(xué)形態(tài)學(xué)的算法通常需要借助其他算法進(jìn)行車牌檢測(cè)；基于小波變換的算法在車牌區(qū)域受噪聲污染較大時(shí)難以使用；基于紋理分析的算法只能處理背景簡(jiǎn)單的圖像。

而基于彩色圖像的車牌檢測(cè)算法包括基于顏色特征和紋理特征相結(jié)合的算法、基于MeanShift的算法、基于灰度圖像和彩色特征相結(jié)合的算法、基于字符邊緣特征和彩色特征相結(jié)合的算法、基于邊緣檢測(cè)和HSV色彩模型相結(jié)合的算法、基于顏色特征和邊緣紋理特征相結(jié)合的算法等?；陬伾卣骱图y理特征相結(jié)合的算法主當(dāng)車牌顏色褪色嚴(yán)重或污染時(shí)，檢測(cè)效果不好；基于MeanShift的算法使用迭代運(yùn)算，運(yùn)行時(shí)間過長；基于灰度圖像和彩色特征相結(jié)合的算法對(duì)于過于模糊的、出現(xiàn)較大污點(diǎn)的車牌檢測(cè)準(zhǔn)確率低；基于字符邊緣特征和彩色特征相結(jié)合的算法依賴于車牌的彩色信息，在車牌圖像模糊褪色情況下檢測(cè)準(zhǔn)確度有所下降；基于邊緣檢測(cè)和HSV色彩模型相結(jié)合的算法對(duì)光照條件不足所拍攝的車牌圖像定位效果不好；基于顏色特征和邊緣紋理特征相結(jié)合的算法依賴于所拍攝的車牌圖像的質(zhì)量，在車牌圖像模糊的情況下檢測(cè)準(zhǔn)確度低。

綜上所述，現(xiàn)有的車牌檢測(cè)方法都不能解決模糊車牌的檢測(cè)問題，而其實(shí)目前的監(jiān)控視頻中有很大部分都難以得到高質(zhì)量、清晰的車牌圖片，因而在用的車牌檢測(cè)識(shí)別算法大都應(yīng)用在可以約束拍攝、車牌圖片清晰的收費(fèi)站、卡口等場(chǎng)景，而并不能應(yīng)用在高速公路、城市道路等非約束拍攝等場(chǎng)景。針對(duì)此類場(chǎng)景下車牌的檢測(cè)，本文提出一種高魯棒的車牌級(jí)聯(lián)檢測(cè)篩選方法，在能準(zhǔn)確檢測(cè)清晰車牌基礎(chǔ)上，也能同時(shí)對(duì)模糊車牌進(jìn)行準(zhǔn)確檢測(cè)。

2算法設(shè)計(jì)

2.1算法簡(jiǎn)要介紹

本文提出的基于多特征級(jí)聯(lián)篩選的高魯棒車牌檢測(cè)方法包括基于梯度特征的車牌區(qū)域預(yù)檢測(cè)、基于顏色直方圖特征的級(jí)聯(lián)篩選和重合區(qū)域合并三部分。基于梯度特征的車牌區(qū)域預(yù)檢測(cè)，主要是考慮到清晰車牌和模糊車牌都具備一個(gè)共同的輪廓特征：即長寬符合一定比例的矩形邊框，以及邊框內(nèi)字符和數(shù)字間存在明顯分割區(qū)間和分割點(diǎn)等。所以提取車牌區(qū)域的歸一化梯度特征，通過訓(xùn)練分類器來進(jìn)行車牌非車牌的預(yù)分類檢測(cè)。但僅僅依賴該特征難以將車燈等具備同樣輪廓特征的區(qū)域分開，因此需要結(jié)合其他特征進(jìn)行進(jìn)一步的篩選。由于車牌存在底牌與字符顏色為固定少數(shù)的特點(diǎn)，因此可以利用車牌區(qū)域的顏色直方圖特征，剔除不符合顏色直方圖分布的候選區(qū)域。

2.2我國車牌的特點(diǎn)

我國的車牌在尺寸和顏色上有一定的規(guī)律，表1和表2為統(tǒng)計(jì)結(jié)果，尺寸和顏色的特征將作為很重要的分類器訓(xùn)練和級(jí)聯(lián)篩選的參數(shù)[5-6]。

表1我國現(xiàn)有各類車牌的長寬比

車型車牌大小車牌長寬比大型汽車440×140(前)3.14∶1440×220(后)2∶1小型汽車440×1403.14∶1教練汽車440×1403.14∶1

表2　我國現(xiàn)有各類車牌的顏色對(duì)

根據(jù)對(duì)表1和表2的分析，可以發(fā)現(xiàn)，最常見的大型汽車和小型汽車車牌比例為3.14∶1(因攝像頭多從車輛正面拍攝，且車臉信息更有價(jià)值，所以本文暫不考慮大型汽車后面的車牌)，最常見的民用汽車車牌顏色對(duì)為黃底黑字和藍(lán)底白字。

2.3算法說明

2.3.1基于梯度特征的車牌區(qū)域預(yù)檢測(cè)

為了保證車牌訓(xùn)練樣本的多樣化，將標(biāo)定的正樣本分為3種類型：

1)高清晰車牌，車牌區(qū)域大小約為195×65，可清晰辨認(rèn)每一個(gè)車牌號(hào)碼，共706張；

2)較清晰車牌，車牌區(qū)域大小約為150×50，可大致辨認(rèn)或部分辨認(rèn)車牌號(hào)碼，共298張；

3)模糊車牌，車牌區(qū)域大小約為105×35，車牌號(hào)碼不可辨認(rèn)，共623張。

根據(jù)車牌尺寸的統(tǒng)計(jì)信息，將標(biāo)定區(qū)域長寬比固定為3∶1，這樣儲(chǔ)存的尺度信息就從2個(gè)參數(shù)減少到1個(gè)。由于車牌的外邊框是重要特征，標(biāo)定時(shí)全部將外邊框包含在內(nèi)。

提取車牌的歸一化梯度(NormedGradients，NG)特征[7]訓(xùn)練SVM分類器。由于車牌的大小不是固定的，需要對(duì)標(biāo)定框的大小做遍歷，并把這個(gè)大小儲(chǔ)存下來，作為模板匹配時(shí)的依據(jù)。遍歷方法如圖1所示。

圖1特征框大小遍歷

以標(biāo)定框的左上角為原點(diǎn)，以模板大小24×8的倍數(shù)為寬高，向右向下畫框，計(jì)算所畫的框與標(biāo)定框重合部分的比例，計(jì)算公式如下

xmin=MAX(xmin1，xmin2)，

xmɑx=MIN(xmɑx1，xmɑx2)，

ymin=MAX(ymin1，ymin2)，

ymɑx=MIN(ymɑx1，ymɑx2)，

o=(xmɑx-xmin+1)×(ymɑx-ymin+1)

(1)

當(dāng)重合比例R達(dá)到95%以上，保存這個(gè)大小，并提取對(duì)應(yīng)框的特征。只保留特征框個(gè)數(shù)超過50的特征框大小。

使用得到的所有特征框進(jìn)行分類器訓(xùn)練，得到一個(gè)24×8的模板，模板的數(shù)值代表相應(yīng)位置的權(quán)值大小，權(quán)值高的點(diǎn)梯度特征越明顯。將得到的模板歸一化到(0,255)區(qū)間，畫出灰度圖如圖2所示。

圖2訓(xùn)練得到的分類器模板

將3類正樣本分別和模板進(jìn)行匹配，如圖3所示，可以看出模板對(duì)車牌4個(gè)邊框和車牌前后兩部分的分割點(diǎn)這兩個(gè)明顯特征有很好的體現(xiàn)，這是模糊車牌和清晰車牌的共同點(diǎn)，而對(duì)于清晰車牌特有的內(nèi)部紋理特征，模板只模糊的體現(xiàn)了字符個(gè)數(shù)，恰恰符合模糊車牌的特點(diǎn)。

圖3模板對(duì)正樣本的體現(xiàn)

使用訓(xùn)練好的分類器對(duì)待檢測(cè)圖片進(jìn)行模板匹配，分為多尺度遍歷、模板匹配和非極大值抑制三部分。其中非極大值抑制部分使用文獻(xiàn)[7]中已有方法，這里不再敘述。

多尺度遍歷是由于車牌大小不確定，根據(jù)候選框大小和模板的比例對(duì)測(cè)試圖片進(jìn)行縮放，每一個(gè)尺度都進(jìn)行模板匹配，取匹配度最高的前10個(gè)作為車牌候選框。

將模板歸一化到(0,255)區(qū)間，測(cè)試圖片提取特征后也歸一化到(0,255)區(qū)間，根據(jù)下列公式進(jìn)行匹配度計(jì)算。

(2)

式中：Tij為坐標(biāo)(i,j)處的模板值歸一化后的結(jié)果；Iij為待檢圖片在坐標(biāo)(i,j)處的特征值歸一化后的結(jié)果，這里使用Tij為匹配度加權(quán)，即梯度特征明顯的位置(如車牌外邊框)權(quán)值較大。Sxy的值越大，說明匹配度越高。圖4為車牌區(qū)域預(yù)檢測(cè)結(jié)果。

圖4車牌區(qū)域預(yù)檢測(cè)結(jié)果

2.3.2基于顏色直方圖特征的級(jí)聯(lián)篩選

分析得到的車牌區(qū)域預(yù)檢測(cè)結(jié)果，車牌區(qū)域候選框不只有正確的車牌區(qū)域也有車燈等梯度特征和模板相似的區(qū)域，這兩類區(qū)域最大的區(qū)別就是顏色直方圖，車牌的顏色對(duì)是固定的，如在3.2節(jié)中統(tǒng)計(jì)的一樣，通過正確的區(qū)域和錯(cuò)誤的區(qū)域之間顏色直方圖的差異，可以將剔除錯(cuò)誤的候選樣本。

將標(biāo)定的正樣本區(qū)域取出，統(tǒng)計(jì)顏色直方圖信息，因?yàn)闃?biāo)定時(shí)為了將整個(gè)車牌包含在內(nèi)，正樣本外圍有一部分不是車牌的區(qū)域，所以除去上下左右各1/8的內(nèi)容，只統(tǒng)計(jì)正樣本中心區(qū)域的直方圖信息。

筆者共統(tǒng)計(jì)了516張黃底黑字車牌，它們的H分量分布如圖5所示，98%以上的H分量集中在(0,75)的范圍內(nèi)。在試驗(yàn)統(tǒng)計(jì)中發(fā)現(xiàn)：誤檢為車牌的負(fù)樣本中，車燈區(qū)域是出現(xiàn)概率最高、最易被誤檢為車牌的。因此重點(diǎn)考慮如何利用顏色分布特征來剔除車燈區(qū)域的樣本。誤檢的車燈區(qū)域樣本的H分量分布如圖6所示，與圖5十分相似，只是相對(duì)分散，因此考慮利用H分量的分散度來進(jìn)行車牌與非車牌的判斷。于是得出黃色類型車牌顏色直方圖判決公式如下

D=ɑbs(INmɑx1-INmɑx2)

(3)

式中：hi表示 H分量的值為i的像素個(gè)數(shù)；N為圖像像素總數(shù)；P表示H分量在(0,75)范圍內(nèi)的的像素個(gè)數(shù)占圖像像素總數(shù)的比例；INmɑx1和INmɑx2分別表示最高峰和次高峰的H分量值，D表示最高峰和次高峰的距離(用來衡量H分量的分散度)，Tp=0.98，Tp=5，Y表示是否判定為黃色車牌區(qū)域，1表示是，0表示否。

圖5　黃底黑字的車牌H分量統(tǒng)計(jì)結(jié)果

圖6　車燈部分H分量統(tǒng)計(jì)結(jié)果

同時(shí)，統(tǒng)計(jì)了487張白底藍(lán)字車牌的顏色直方圖和誤檢率最高的白色車身區(qū)域?qū)Ρ?，如?所示。部分藍(lán)色車牌H分量分布為單峰(左圖)，部分藍(lán)色車牌為雙峰(右圖)，但75%以上的H分量都集中在(175，275)范圍內(nèi)[9]，誤檢區(qū)域除白色車身區(qū)域外都不具備此特征。誤檢的白色車身區(qū)域H分量與雙峰的藍(lán)色車牌極其相似，那么僅靠H分量就無法區(qū)分車身區(qū)域和車牌區(qū)域。但藍(lán)色車牌的SV分量滿足亮度過高時(shí)V分量的峰值在255左右，S分量99%以上分布在(0，100)區(qū)間，亮度過低和正常時(shí)S分量的峰值在(0，50)區(qū)間，車身區(qū)域并不滿足，于是得到藍(lán)色車牌區(qū)域的判別公式如下

(4)

式中：hi表示 H分量的值為i的像素個(gè)數(shù)；Si表示S分量值為i的像素個(gè)數(shù)；N為圖像像素總數(shù)；PH表示H分量在(175,275)范圍內(nèi)的的像素個(gè)數(shù)占圖像像素總數(shù)的比例；PS表示S分量在(0,100)范圍內(nèi)的的像素個(gè)數(shù)占圖像像素總數(shù)的比例；Vmɑx表示V分量峰值下標(biāo)；Smɑx表示S分量峰值下標(biāo)，TPH=0.75，TPS=0.99，TV=250，TS=50，B表示是否判定為藍(lán)色車牌區(qū)域，1表示是，0表示否。

2.3.3重合區(qū)域合并

由于做了多尺度遍歷，經(jīng)過顏色篩選后的候選框可能仍有多個(gè)，要將重合度大的候選框進(jìn)行合并，重合度的計(jì)算同式(1)，并且統(tǒng)計(jì)同一位置出現(xiàn)候選框的次數(shù)，刪除候選框出現(xiàn)次數(shù)較少的位置和不滿足車牌比例的候選框，得到最終的車牌區(qū)域。

表3　白底藍(lán)字的車牌和白色車身區(qū)域顏色直方圖統(tǒng)計(jì)結(jié)果

3實(shí)驗(yàn)結(jié)果

3.1實(shí)驗(yàn)平臺(tái)

本實(shí)驗(yàn)在Window7平臺(tái)進(jìn)行，使用visualstudio2013版本和opencv2.4.9版本，訓(xùn)練樣本集共1 627張圖片，在2.3.1節(jié)有具體介紹，測(cè)試樣本集共2 838張圖片，其中高清晰車牌1 173張，較清晰車牌706張，模糊車牌959張。

3.2檢測(cè)結(jié)果

筆者和近年的算法進(jìn)行了比較實(shí)驗(yàn)，下文的方法一表示基于HSI顏色空間和行掃描的方法[8]，方法二表示HSV空間和形態(tài)學(xué)處理相結(jié)合的方法[9]，方法三表示基于視頻分析的方法[10]。

3.2.1召回率和準(zhǔn)確率

本文方法平均一張圖片的檢測(cè)時(shí)間為0.49s，召回率和準(zhǔn)確率計(jì)算公式如下

(5)

(6)

檢測(cè)結(jié)果如表4所示，可以看出，本算法在保證清晰車牌召回率和準(zhǔn)確率的基礎(chǔ)上，對(duì)模糊車牌也能有不錯(cuò)的檢測(cè)效果。方法一和方法三由于使用了車牌內(nèi)部的邊緣紋理特征，對(duì)模糊車牌并不適用；方法二對(duì)顏色特征的分析過于簡(jiǎn)單，在低分辨率的情況下顏色失真非常嚴(yán)重，也不能起到很好的檢測(cè)效果；而本文方法使用的是車牌邊框的紋理特征，不受車牌內(nèi)部清晰度的影響，顏色特征被細(xì)致分析用來二次篩選，能夠降低誤檢的概率，所以可以在保證準(zhǔn)確率的前提下提升模糊車牌檢測(cè)的召回率。

表4　檢測(cè)結(jié)果　%

3.2.2檢測(cè)效果

4種方法的檢測(cè)效果如圖7所示。其中第1行為高清晰車牌，第2，3行為較清晰車牌，第4，5，6行為模糊車牌。

圖74種方法的檢測(cè)效果

可以看出，本文方法雖然在清晰車牌的檢測(cè)上略有誤差，得到的區(qū)域比車牌區(qū)域略大，這是由于訓(xùn)練分類器標(biāo)定正樣本時(shí)將整個(gè)車牌包含在內(nèi)的原因，但在較清晰和不清晰的車牌檢測(cè)上比現(xiàn)有方法取得了更好的效果，當(dāng)車牌不清晰時(shí)，現(xiàn)有方法大多無法檢出，但人眼可以模糊辨認(rèn)出車牌的字符，本文的方法可以較好地檢出。

5小結(jié)

經(jīng)過實(shí)驗(yàn)，基于多特征級(jí)聯(lián)篩選的高魯棒車牌檢測(cè)方法對(duì)模糊車牌也能很好地檢出，具有較高的穩(wěn)定性和魯棒性，并且通過顏色級(jí)聯(lián)篩選還可對(duì)車牌進(jìn)行分類，可以作為車輛目標(biāo)分類的第一步。當(dāng)然，此方法也存在一些不足，只包含了最常見的兩種車牌顏色，并且算法速度并不是很理想，筆者會(huì)對(duì)這個(gè)算法進(jìn)行進(jìn)一步的修改和優(yōu)化。

參考文獻(xiàn)：

[1]鄭世寶.智能視頻監(jiān)控技術(shù)與應(yīng)用[J].電視技術(shù)，2009，33(1)：94-96.

[2]郭天慶.快速車牌定位的方法研究[D].北京：北京郵電大學(xué)，2010.

[3]劉馨月.復(fù)雜背景下車牌分割技術(shù)的研究[D].長春：東北師范大學(xué)，2006.

[4]鄭德鍵，沈英.基于圖像處理的車牌定位算法研究[J].機(jī)電技術(shù)，2014(1)：10-12.

[5]王建，劉立，王天慧，等.基于四元數(shù)特定顏色對(duì)邊緣檢測(cè)的車牌定位[J].計(jì)算機(jī)應(yīng)用，2011，31(3)：729-732.

[6]蔣大林，丁學(xué)爽，唐榕，等.車牌識(shí)別技術(shù)的研究和實(shí)現(xiàn)綜述[C]//第二屆全國信號(hào)處理與應(yīng)用學(xué)術(shù)會(huì)議論文集.南寧：[出版社不詳]，2008：304-306.

[7]CHENGMM，ZHANGZM，LINWY.BING：binarizednormedgradientsforobjectnessestimationat300fps[C]//IEEECVPRPhilipTorr.[S.l.]：IEEE，2014：68-75.

[8]胡峰松，朱浩.基于HSI顏色空間和行掃描的車牌定位算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2015(4)：977-982.

[9]苗姣姣，徐望明.HSV空間和形態(tài)學(xué)處理相結(jié)合的車牌定位方法[J].電視技術(shù)，2015，39(5)：146-149.

[10]楊恒，楊文幫，張儒良，等.一種基于視頻分析的快速車牌定位方法[C]//系統(tǒng)工程理論與應(yīng)用：貴州省系統(tǒng)工程學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集.貴陽：貴州大學(xué)出版社，2014：70-75.

責(zé)任編輯：閆雯雯

Robustlicenseplatedetectionusingmulti-featurescascadingfiltering

ZHANGRuimeng,ZHANGChongyang

(Institue of Image Communication and Network Engineering, Shanghai Jiao Tong University,Shanghai 200240, China)

Abstract:All of the existing license plate detection algorithms can not get good detection results when the license plate is blurred. Considering the features of surveillance images, normalized gradient feature of plates in different clarity is extracted to do preliminary detection, combined with the color histogram to make up a cascade construct in order to do further filtering and delete the samples that are not plates, and get a robust license plate detection method. The simulating results with real surveillance images prove that the method has high stability and robustness, while it has a significantly better recall rate on blurred license plate than existing methods.

Key words:license plate detection; surveillance images; multi-features

中圖分類號(hào)：TN919.8

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.04.023

基金項(xiàng)目：國家“十二五”科技支撐計(jì)劃項(xiàng)目

收稿日期：2015-08-24

文獻(xiàn)引用格式：張瑞萌，張重陽.多特征級(jí)聯(lián)篩選的高魯棒車牌檢測(cè)[J].電視技術(shù)，2016，40(4)：109-114.

ZHANGRM,ZHANGCY.Robustlicenseplatedetectionusingmulti-featurescascadingfiltering[J].Videoengineering，2016，40(4)：109-114.