鄭 琳，王福龍

（廣東工業(yè)大學(xué)應(yīng)用數(shù)學(xué)學(xué)院，廣東廣州 510520）

0 引言

車牌識(shí)別（License Plate Recognition，LPR）是外接攝像頭或照相系統(tǒng)獲取的車輛圖像自動(dòng)提取車輛牌照信息的過程。完整的車牌識(shí)別系統(tǒng)由圖像獲取、車牌定位、字符分割、字符識(shí)別4 個(gè)部分組成。車牌識(shí)別技術(shù)是智能交通系統(tǒng)的重要組成部分，應(yīng)用場景廣泛，在停車場車輛管理、監(jiān)控違章車輛和高速公路收費(fèi)系統(tǒng)等領(lǐng)域應(yīng)用較多，開展車牌識(shí)別研究具有重要的社會(huì)意義及應(yīng)用價(jià)值。

車牌識(shí)別具有區(qū)域性特色，各個(gè)國家的車牌構(gòu)成不同，我國的車牌由漢字、字母和數(shù)字構(gòu)成。車牌識(shí)別主要存在兩方面難題：①由于漢字的復(fù)雜性、字符相似性高、車牌的模糊損耗等原因，使車牌識(shí)別難度增大；②車牌識(shí)別需要考慮實(shí)時(shí)性，因此在保證識(shí)別準(zhǔn)確率的同時(shí)，識(shí)別速度的提高是車牌識(shí)別難點(diǎn)。本文采用模板匹配法融合改進(jìn)的局部HOG 特征對(duì)車牌圖像進(jìn)行識(shí)別。模板匹配法能有效降低字符圖像的噪聲，改進(jìn)的局部HOG 特征能有效描述相似字符的不同特性，降低特征描述符冗余問題。實(shí)驗(yàn)表明，改進(jìn)方法能在保證車牌識(shí)別速度的同時(shí)有效提高車牌圖像的識(shí)別率。

1 相關(guān)研究

目前車牌識(shí)別算法主要有特征提取法、神經(jīng)網(wǎng)絡(luò)法和模板匹配法。特征提取法需要提取待識(shí)別模式的統(tǒng)計(jì)特征，再按照判別函數(shù)得到識(shí)別結(jié)果；特征提取法可以提取字符的顯著特征，但是會(huì)消耗大量時(shí)間，非穩(wěn)健特征會(huì)降低識(shí)別效率［1-6］；神經(jīng)網(wǎng)絡(luò)法通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)大量字符樣本，得到字符的樣本特征來識(shí)別車牌字符。神經(jīng)網(wǎng)絡(luò)法識(shí)別率較高，但需要大量的初始樣本，且神經(jīng)網(wǎng)絡(luò)模型復(fù)雜，計(jì)算參數(shù)多，導(dǎo)致算法成本高、識(shí)別速度慢［7-10］；模板匹配法是經(jīng)典的模式識(shí)別方法，通過重合度函數(shù)度量待識(shí)別字符與模板樣本的相似性來識(shí)別字符。模板匹配法易于實(shí)現(xiàn)，對(duì)圖像噪聲的敏感度較低，具有一定的容錯(cuò)能力，但難以區(qū)分相似字符，魯棒性較差。

胡曉霞等［11］提出了一種基于形狀上下文方式提取車牌特征，再利用聯(lián)合度量策略識(shí)別車牌的方法。但該方法對(duì)車牌圖像質(zhì)量要求高，幾乎不涉及車牌傾斜與模糊，且該方法無法完整提取字符特征，識(shí)別精度還需優(yōu)化；段賓等［12］提出一種深度可分離卷積的輕量級(jí)模糊車牌識(shí)別算法。該方法訓(xùn)練了大量的模糊車牌樣本，對(duì)模糊車牌的識(shí)別率較高，且壓縮了神經(jīng)網(wǎng)絡(luò)識(shí)別模型大小，減少了計(jì)算參數(shù)。但相較于傳統(tǒng)的識(shí)別算法，該方法識(shí)別速度較慢；凌翔等［13］提出一種改進(jìn)的頂帽重構(gòu)和模板匹配車牌識(shí)別方法，該方法解決了車牌識(shí)別中光線不均勻照射的問題，識(shí)別速度快，但僅依靠全局重合度函數(shù)識(shí)別車牌，無法提取字符的特征信息，識(shí)別率有待提升。

本文的車牌識(shí)別算法主要利用方向梯度直方圖（Histograms of Oriented Gradients，HOG）對(duì)圖像邊緣及形狀強(qiáng)大的描述能力，以及對(duì)光照不敏感和平移不變性的特點(diǎn)，同時(shí)結(jié)合模板匹配法的容錯(cuò)特性和對(duì)噪聲低敏感特性，提出改進(jìn)局部HOG 特征，避免了高維特征描述符的數(shù)據(jù)冗余問題，確定了最優(yōu)局部HOG 矩形特征塊，提高了車牌識(shí)別率，也保證了識(shí)別的實(shí)時(shí)性。

2 融合模板匹配和改進(jìn)HOG特征的字符識(shí)別

為解決車牌識(shí)別中相似字符誤識(shí)別問題，學(xué)者提出了模板匹配法結(jié)合字符特征進(jìn)行車牌字符識(shí)別的方法。在現(xiàn)實(shí)中分割后的車牌字符不可避免會(huì)出現(xiàn)些許傾斜和一定的模糊情況。

2.1 模板匹配法

在字符識(shí)別階段，模板匹配法通過判斷字符模板與分割后車牌字符的相似度來識(shí)別字符。根據(jù)我國車牌特點(diǎn)，本文建立的字符模板分為漢字、英文字母和數(shù)字模板，采用重合度函數(shù)來度量車牌字符與字符模板間的相似度，重合度函數(shù)公式如下［14］：

其中，f為模板二值圖像，g為車牌二值圖像，模板與車牌的二值圖像尺寸相同，均為M×N，Tf和Tg分別為模板字符二值圖像和車牌字符二值圖像中數(shù)值為1 的像素個(gè)數(shù)，符號(hào)Λ 為與運(yùn)算。

2.2 HOG特征

HOG 特征描述符關(guān)注被檢測圖像中物體的結(jié)構(gòu)或形狀，它通過提取邊緣梯度和方向來描述局部物體的形狀特征［15］。首先，將整個(gè)圖像分割成小的區(qū)域，每個(gè)小區(qū)域稱為細(xì)胞單元。對(duì)于每個(gè)細(xì)胞單元，采集其中各個(gè)像素點(diǎn)的梯度和方向生成方向梯度直方圖；然后，將幾個(gè)細(xì)胞單元組成一個(gè)塊進(jìn)行歸一化，減少光照變化和陰影的影響。最后，將每個(gè)塊內(nèi)的HOG 特征串聯(lián)起來得到車牌字符的HOG 特征描述符［16］。HOG 特征描述符生成步驟如下［17］：

（1）先用兩個(gè)梯度算子［-1，0，1］和［-1，0，1］T分別對(duì)原圖像做卷積運(yùn)算，得到水平方向和豎直方向的梯度分量，再計(jì)算圖像每個(gè)像素的梯度大小和方向。此步驟的主要目的是為了捕獲輪廓信息，弱化光照影響，計(jì)算公式如下：

其中，H(x，y)表示輸入圖像像素點(diǎn)(x，y)處的像素值，分別表示像素點(diǎn)的水平方向梯度和垂直方向梯度；G(x，y)，α(x，y)分別表示像素點(diǎn)處的梯度幅值和梯度方向。

（2）將圖像劃分成若干個(gè)小的細(xì)胞單元，如每個(gè)細(xì)胞單元為8×8 像素大小。將細(xì)胞單元的梯度方向360 度分成9個(gè)方向，即每40度分為一個(gè)方向。

（3）將幾個(gè)細(xì)胞單元組成一個(gè)特征塊。特征塊主要包含塊大小、每個(gè)細(xì)胞單元的方向和細(xì)胞單元大小3 個(gè)參數(shù)。塊內(nèi)歸一化梯度直方圖，將一個(gè)塊內(nèi)所有細(xì)胞單元特征描述符串聯(lián)。特征塊結(jié)構(gòu)可分為矩形塊（R-HOG）和環(huán)形塊（C-HOG），通常采用矩形塊（R-HOG）。

（4）收集HOG 特征，將所有塊的HOG 特征串聯(lián)得到HOG 特征描述符。

2.3 模板匹配結(jié)合改進(jìn)的局部HOG特征

解決車牌識(shí)別中相似字符誤識(shí)別問題的方法有：①利用字符的灰度躍變特征結(jié)合模板匹配對(duì)字符進(jìn)行二次識(shí)別提高識(shí)別率的方法；②利用HOG 特征結(jié)合模板匹配法識(shí)別車牌字符修正相似字符的誤識(shí)別方法。在實(shí)際情況中，分割后的車牌字符不可避免會(huì)出現(xiàn)些許傾斜和一定的模糊。實(shí)驗(yàn)表明，由于上述因素，使用灰度躍變特征結(jié)合模板匹配的方法仍然會(huì)出現(xiàn)將“E 識(shí)別成F”“C 識(shí)別成0”“S 識(shí)別成8”、“皖識(shí)別成冀”“Q 識(shí)別成0”的情況。由于字符特征塊的選擇問題，采用局部HOG 特征結(jié)合模板匹配法識(shí)別車牌存在將“閩識(shí)別成粵”“皖識(shí)別成冀”“F 識(shí)別成P”的問題。

本文根據(jù)HOG 特征與模板匹配法思想，結(jié)合車牌相似字符特點(diǎn)，提出一種改進(jìn)的局部HOG 特征結(jié)合模板匹配的識(shí)別方法，實(shí)現(xiàn)步驟如下：

（1）統(tǒng)計(jì)模板匹配法出現(xiàn)的誤識(shí)別字符，“0”與“Q”“B”與“8”“S”與“8”“P”與“R”“E”與“F”“F”與“P”“2”與“Z”“粵”與“閩”“皖”與“冀”。

（2）訓(xùn)練分割后的車牌字符，測試字符形變程度，構(gòu)成測試樣本集。用樣本集測試字符局部HOG 特征塊，得出局部優(yōu)化矩形特征塊。

（3）根據(jù)相似字符特征，確定相似字符組最具有區(qū)分度的特征塊位置。

（4）劃分待識(shí)別字符和模板字符圖像對(duì)應(yīng)的局部特征塊細(xì)胞單元，采集細(xì)胞單元中每個(gè)像素點(diǎn)的梯度方向直方圖，將幾個(gè)細(xì)胞單元通過滑動(dòng)窗口組合成塊（block），塊內(nèi)歸一化梯度直方圖。分別收集待識(shí)別字符和模板字符矩形特征塊內(nèi)所有的HOG 特征描述符。歸一化公式如下：

其中，v表示塊內(nèi)統(tǒng)計(jì)直方圖的未歸一化向量，δ 為極小的常數(shù)，避免分母為零。

（5）采用歐式距離度量待識(shí)別字符與模板字符之間的HOG 特征向量距離，選取與待識(shí)別字符歐式距離最小的模板字符作為識(shí)別結(jié)果，歐式距離度量公式如下：

其中，xi，yi分別為待識(shí)別字符與模板字符之間的HOG特征向量。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)采用Visual Studio 2012 實(shí)現(xiàn)，運(yùn)行環(huán)境為Inter（R）Core（TM）I5 處理器，8GB 內(nèi)存，Windows 10 操作系統(tǒng)。

3.1 實(shí)驗(yàn)方法

本文實(shí)驗(yàn)選取的測試圖片主要來源于白天和傍晚停車場車輛、十字路口的車輛和網(wǎng)絡(luò)監(jiān)控錄像下的車輛，車輛圖片存在程度較輕的傾斜和模糊度，幾乎不涉及字符粘連或斷裂。測試圖片分為兩類，選擇質(zhì)量較好的150 張圖片作為第一類，質(zhì)量相對(duì)較差的50 張圖片作為第二類（車牌存在一定程度的模糊，車牌傾斜度在-2～6度范圍內(nèi)），共200張測試圖片。

使用模板匹配法初步識(shí)別車牌字符時(shí)，車牌的傾斜會(huì)導(dǎo)致字符圖像失真變形，增加識(shí)別難度。因此，需要訓(xùn)練分割后字符形變情況，組成測試樣本集，分析規(guī)律，以便區(qū)分字符特征（本文中歸一化后的字符大小為20×40）。部分分割后的字符圖像如圖1所示。

Fig.1 Partial character sample圖1 部分字符樣本

對(duì)分割后的字符圖像局部提取HOG 特征時(shí)，細(xì)胞單元的大小會(huì)影響HOG 特征向量的編碼，所以細(xì)胞單元大小的選取至關(guān)重要，需要確定字符圖像的局部最優(yōu)特征塊。表1 為測試第一類車牌圖像得到的字符圖像不同局部特征塊的實(shí)驗(yàn)結(jié)果。

Table 1 Test results for different feature blocks表1 不同特征塊測試結(jié)果（%）

由表1可知，當(dāng)選取1×2的HOG 特征塊時(shí)，由于特征塊過大，局部圖像的適應(yīng)性變差，部分相似字符的特征無法區(qū)分，導(dǎo)致HOG 特征表述模糊；選取2×4 的HOG 特征塊時(shí)，相似字符的區(qū)分塊過小，出現(xiàn)無用的干擾信息，導(dǎo)致字符的識(shí)別率下降。HOG 特征塊的塊數(shù)越多，特征提取的計(jì)算量越大，識(shí)別速度就越慢。根據(jù)實(shí)驗(yàn)數(shù)據(jù)，最終確定選取2×3 的HOG 特征塊為局部特征塊的優(yōu)化參數(shù)，如表2所示。

Table 2 Positon and parameters of feature block表2 特征塊位置與參數(shù)

3.2 實(shí)驗(yàn)結(jié)果

為評(píng)估本文方法的識(shí)別效果，選取模板匹配法、模板匹配法結(jié)合躍變特征和模板匹配法結(jié)合局部HOG 特征作為對(duì)照，測試第一類和第二類車牌，實(shí)驗(yàn)結(jié)果如表3所示。

由表3 可知，本文所采用的方法相較于模板匹配法、模板匹配法結(jié)合躍變特征和模板匹配法結(jié)合局部HOG 特征的方法，對(duì)第一類車牌圖像進(jìn)行識(shí)別時(shí)，識(shí)別率分別提高了52%、12%和4%；對(duì)第二類車牌圖像識(shí)別時(shí)，識(shí)別率分別提高了36%、28%和4%。為了評(píng)估本文方法的識(shí)別速率，選取模板匹配法結(jié)合躍變特征和模板匹配法結(jié)合局部HOG 特征作為對(duì)照，分別測試第一類和第二類車牌圖像的識(shí)別時(shí)間，實(shí)驗(yàn)結(jié)果見表4，輸入車輛圖像像素為640×480。

Table 3 Recognition rate of different methods表3 不同方法的識(shí)別率

Table 4 Processing time of different algorithm表4 算法時(shí)間比較（ms）

3.3 結(jié)果分析

出現(xiàn)誤識(shí)別的主要原因［18］有：車牌經(jīng)過前面階段的圖像預(yù)處理、定位和分割后，統(tǒng)計(jì)得到的躍變次數(shù)無法與模板中的躍變次數(shù)匹配，例如字符“8”字符“S”和字符“B”；實(shí)際情況中，經(jīng)過分割后的字符“8”與字符“B”可能出現(xiàn)躍變次數(shù)相同的情況，導(dǎo)致字符“8”與字符“B”識(shí)別的隨機(jī)性，如圖2 所示；字符分割階段導(dǎo)致字符“P”與字符“F”出現(xiàn)相同躍變次數(shù)，如圖3所示。

出現(xiàn)誤識(shí)別的原因［19］主要有：該方法無法得到局部優(yōu)化HOG 特征，導(dǎo)致字符識(shí)別具有隨機(jī)性，例如字符“8”“S”和“B”；車牌字符“P”經(jīng)過分割后，右邊筆畫不完整，此時(shí)類似字符“F”。對(duì)于此類情況，文獻(xiàn)［19］采用的方法無法識(shí)別。

針對(duì)上述方法的不足，本文根據(jù)統(tǒng)計(jì)相似字符區(qū)分明顯的HOG 特征，考慮分割后字符筆畫缺失和字符經(jīng)過形態(tài)學(xué)運(yùn)算后產(chǎn)生的形變等情況，得到局部優(yōu)化HOG 特征來區(qū)分相似字符，提高字符識(shí)別率。字符特征塊選取示例如圖4所示。

Fig.2 8 and B圖2 字符8與B

Fig.3 F and P圖3 字符F與P

本文中部分車牌實(shí)驗(yàn)效果如表5 所示。車牌圖像存在-2～6度范圍內(nèi)的傾斜時(shí)，躍變特征結(jié)合模板匹配法會(huì)將字符“8”識(shí)別成“S”，對(duì)漢字“皖”不具備識(shí)別能力，對(duì)字符“0”的識(shí)別具有不穩(wěn)定性，易把字符“E”識(shí)別成“F”；局部HOG 特征結(jié)合模板匹配法會(huì)將字符“F”識(shí)別成“P”，對(duì)漢字“皖”不具備識(shí)別能力，對(duì)漢字“閩”的判斷存在不穩(wěn)定性。

Table 5 Part of the license plate experimental results表5 部分車牌實(shí)驗(yàn)效果

實(shí)驗(yàn)結(jié)果表明，在車牌圖像模糊度較輕、車牌傾斜范圍為-2～6度時(shí)，本文采用的方法具有一定的識(shí)別率。這是因?yàn)槟０迤ヅ浞ㄈコ嗽肼曈绊懀琀OG 特征能夠描述字符圖像的邊緣結(jié)構(gòu)和輪廓形狀，可在一定程度上減少字符圖像傾斜形變?cè)斐傻挠绊?。且在選取局部優(yōu)化HOG 特征塊后，能夠從字符結(jié)構(gòu)上快速定位相似字符的不同特征。

由實(shí)驗(yàn)結(jié)果可知，3 種方法識(shí)別時(shí)間的均值相差不大，為0.6ms 左右。實(shí)驗(yàn)證明，本文采用的方法在提高識(shí)別率的同時(shí)能夠滿足實(shí)時(shí)性要求。

4 結(jié)語

本文測試了不同HOG 特征塊對(duì)字符的結(jié)構(gòu)提取，確定了局部優(yōu)化的HOG 特征塊，融合模板匹配法，實(shí)現(xiàn)對(duì)車牌字符的識(shí)別。針對(duì)模板匹配法結(jié)合灰度躍變法，以及局部HOG 特征結(jié)合模板匹配法的不足，采用一種融合改進(jìn)的局部HOG 特征的模板匹配法提高相似字符的識(shí)別率。實(shí)驗(yàn)表明，本文所采用的方法對(duì)于傾斜角度較小或模糊的車牌圖片可以進(jìn)行識(shí)別，且對(duì)車牌定位和字符分割帶來的影響有一定的抗干擾能力。后續(xù)將在傾斜角度和模糊度增加的情況下對(duì)車牌進(jìn)行識(shí)別研究。