摘? ?要：針對復(fù)雜道路背景中車牌檢測精度低的問題，提出一種基于深度學(xué)習(xí)的車牌檢測方法。該方法首先采用快速的基于區(qū)域卷積網(wǎng)絡(luò)方法（Faster R-CNN）在圖像中檢測出車輛區(qū)域，然后對每個車輛區(qū)域采用分層抽樣方法獲取該車輛區(qū)域中的車牌候選區(qū)域，最后采用訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)過濾非平板候選項，定位車牌區(qū)域位置。這種基于車輛區(qū)域檢測的方法為車牌檢測提供尺度信息，限制搜索范圍，使車牌檢測更加可靠。文章利用Caltech和AOLP圖像數(shù)據(jù)集進行評估算法的性能，實驗表明，這種方法在準(zhǔn)確率、召回率、F-score性能方法都高于其他算法，可以應(yīng)用于不同場合下的車牌檢測問題。

關(guān)鍵詞：車牌檢測;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);條件約束

中圖分類號： TP391? ? ? ? ? 文獻標(biāo)識碼：A

1 引言

隨著現(xiàn)代城市對智能交通方面的需求，車牌檢測在車流監(jiān)控、交通管理等許多實際領(lǐng)域中的應(yīng)用越來越廣泛，研究人員幾十年來提出了多種車牌檢測方法[1，2]。現(xiàn)有的許多算法在簡單的場景中性能表現(xiàn)良好，但是在開放、復(fù)雜的工作環(huán)境中，因為道路場景圖像受到拍攝條件（扭曲、模糊、光照、遮擋等）的影響和圖像中背景雜波（如植物、建筑、行人、道路指示牌等）的干擾，加上車牌區(qū)域面積在整個圖像中占比相對較小，使得車牌檢測仍是一個難題。

傳統(tǒng)的車牌檢測方法大致可分為邊緣檢測、顏色檢測、區(qū)域檢測和字符檢測四大類。首先，基于邊緣的方法[3，4]是利用車牌字符的重復(fù)垂直邊緣模式。這種方法可以有效地檢測到車牌位置，但對背景雜波和圖像模糊敏感，容易受到干擾導(dǎo)致精確度降低。其次，基于顏色的方法是將給定的圖像分割成顏色均勻的區(qū)域，利用車牌的幾何特性選取其中的車牌區(qū)域。該方法對視角畸變具有較強的魯棒性，但對光照變化特別敏感。第三，基于區(qū)域的方法通過提取紋理特征，對候選區(qū)域進行分類。該方法可以處理許多道路場景的車牌檢測問題。最后，基于字符的方法是利用字符檢測器檢測車牌區(qū)域。由于近年來機器學(xué)習(xí)（例如CNNs）的發(fā)展，該方法表現(xiàn)出良好的性能，但由于道路場景圖像中人員、字符較多，仍存在誤報問題。

2 車牌檢測方法

車牌檢測就是在一張圖像中利用合適的矩形框定位出圖像內(nèi)所有的車牌位置。因此，本文提出的車牌檢測方法可以分解成三步：首先對輸入圖像進行車輛檢測，其次利用分層抽樣方法獲取車牌候選區(qū)，最后過濾非平板候選項，定位車牌位置。本文提出的車牌檢測方法流程圖如圖1所示。圖1a表示輸入圖像，1b和1c是檢測車輛區(qū)域，排除背景雜波信息干擾，1d是在車輛區(qū)域內(nèi)進行車牌搜索、檢測和定位。

2.1 車牌區(qū)域檢測

為了生成候選區(qū)域，本文采用了分層抽樣的方法，通過采用貪婪匹配融合程序，獲取一個全局區(qū)域。分層抽樣是一個對總體進行抽樣的方法，首先將總體按照某種特征劃分為若干次級總體（層），然后再從每一層內(nèi)對次級總體進行單純地隨機抽樣，組成新的樣本。分層抽樣可以將一個內(nèi)部變異很大的層分成一些內(nèi)部變異較小的層，從而提高總體指標(biāo)估計值的精確度。

車牌區(qū)域檢測首先使用基于圖形的分割方法生成初始區(qū)域，采用貪心算法對區(qū)域進行迭代分組：利用基于顏色、紋理、大小和填充（合并區(qū)域形狀的特征）等特征計算所有相鄰區(qū)域之間的相似度，將兩個最相似的區(qū)域組合在一起;然后計算得到的區(qū)域與其他相鄰區(qū)域之間的新相似度;最后將相似區(qū)域分組合并的過程重復(fù)進行，直到整個圖像變成一個單獨的區(qū)域。具體算法如下所示。

1）輸入圖像;

2）利用圖像分割算法生成初始區(qū)域，初始化相似度S=0;

3）選擇相鄰區(qū)域?qū)?，計算兩者的相似度?

4）若，令，合并相鄰區(qū)域?qū)ΓコP(guān)于和的相似度：和;

5）迭代第三步和第四步，直到S=0;

6）從R中的所有區(qū)域中提取車牌位置框L。

由于綜合考慮了區(qū)域之間的差異性和區(qū)域內(nèi)部的相似度問題，并且采用聚類方式對圖形中的頂點進行分割，因此可以獲取邊界保持良好的車牌候選區(qū)域：

其中，表示第i個區(qū)域的邊界框，N為候選區(qū)域的個數(shù)。在合并過程后出現(xiàn)的區(qū)域均可認(rèn)為是候選區(qū)域，如圖2所示。

2.2 車牌分類

給定一個車輛區(qū)域和R（該區(qū)域中的一組候選區(qū)域），利用該車輛區(qū)域的尺度信息可以有效地去除誤報現(xiàn)象。假定車輛區(qū)域的寬度和高度分別為和，考慮到車牌的相對大小和寬高比尺寸，本文施加兩個約束，對不滿足約束條件的車牌候選區(qū)域進行過濾：

經(jīng)過預(yù)過濾后，獲取了可能被認(rèn)為是車牌的各種邊界框。為了從多個邊界框中判斷車牌位置，本文應(yīng)用一個基于CNN的分類器來過濾剩余的非板塊候選。本文采用的CNN模型為TensorFlow框架，TensorFlow框架包含用于特征提取的兩個卷積層和兩個全連接層，模型配置如表1所示。

由于每個車輛區(qū)域中至多存在一個車牌，因此本文選取該區(qū)域內(nèi)響應(yīng)最大的一個候選區(qū)域作為車牌，當(dāng)存在車輛誤檢或車牌遮擋情況時，通過設(shè)置閾值M降低錯誤率。如果響應(yīng)值滿足M>0.8，分類器將給出檢測過程最終結(jié)果，定位出車牌位置。

3 實驗結(jié)果與分析

采用Caltech數(shù)據(jù)集（1999）和AOLP數(shù)據(jù)集兩個數(shù)據(jù)集對本文提出的方法進行性能評估，并與其他方法進行比較。Caltech數(shù)據(jù)集（1999）包括126個圖像集，分辨率為896×592，數(shù)據(jù)集部分圖像如圖1和圖2所示，由于背景雜亂、車牌顏色不同、車輛遮擋、各種拍攝環(huán)境（如光照變化、失焦模糊等）等原因，該數(shù)據(jù)集中的許多圖像對車牌檢測算法都具有很大的挑戰(zhàn)性。

從精確度（Precision）、召回率（Recall）和F-score三項指標(biāo)對本文提出的車牌檢測方法進行評估，其中F-score定義：

表2給出了本文方法與其他方法在Caltech cars數(shù)據(jù)集的實驗檢測結(jié)果。對比的車牌檢測方法有：基于主視覺單詞的字符識別算法（Principal Visual Word，PVW），MSER和SIFT分類器相結(jié)合的識別算法（Maximally Stable Extremal Regions& SIFT，MSER&SIFT）、垂直邊緣檢測算法（Vertical Edge Detection Algorithm，VEDA）、邊緣統(tǒng)計和形態(tài)學(xué)結(jié)合的算法（Edge Statistics & Morphology，ES&Morph）、離散小波變換（Discrete Wavelet Transform，DWT）、強度方差和邊緣密度（Intensity Variance & Edge Density，IV&ED）檢測算法。

從表中可以看出，本文所提方法的精確度為98.39%，召回率為96.83%，優(yōu)于其他算法。

4 結(jié)束語

由于道路場景圖像中背景雜亂、車牌顏色不同、車輛遮擋、拍攝模糊等原因，有效的車牌檢測仍然是一個十分具有挑戰(zhàn)的問題。本文提出了一種基于深度學(xué)習(xí)的車牌檢測方法，該方法根據(jù)深度學(xué)習(xí)和分層抽樣方法縮小車牌檢測區(qū)域信息，根據(jù)多尺度的約束條件，有效處理誤報問題，提高檢測精度。采用不同情況下的真實數(shù)據(jù)集Caltech和AOLP對本文提出的方法進行實驗評估，從實驗結(jié)果來看，本文提出的方法在性能指標(biāo)方面都優(yōu)于其他檢測方法，說明本文方法的有效性。

參考文獻

[1] 鄭楷，鄭翠環(huán)，郭山紅，等.基于色差的車牌快速定位算法研究[J].計算機應(yīng)用與軟件，2017，34（5）：195-199.

[2] 陳莊，楊峰，馮欣，等.多尺度積角點檢測和視覺顏色特征的魯棒車牌定位算法[J].重慶大學(xué)學(xué)報，2016，39（2）：89-98.

[3] Liu W B，Wang T. Anti-Noise Car License Plate Location Algorithm Based on Mathematical Morphology Edge Detection[J].Applied Mechanics and Materials，2014，513-517：1052-1055.

[4] 鐘偉釗，杜志發(fā)，徐小紅，等.基于字符邊緣點提取的車牌定位方法[J].計算機工程與設(shè)計，2017，38（3）：795-800.

作者簡介：

聶敏（1970-），女，土家族，湖南花垣人，貴州大學(xué)，本科，銅仁學(xué)院大數(shù)據(jù)學(xué)院，副教授;主要研究方向和關(guān)注領(lǐng)域：多媒體技術(shù)與應(yīng)用、大數(shù)據(jù)安全。