付城祥，仇潤(rùn)鶴

（東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海201620；數(shù)字化紡織服裝技術(shù)教育部工程研究中心，上海201620）

智能交通系統(tǒng)是解決交通問(wèn)題的重要手段，關(guān)鍵在于對(duì)道路上的過(guò)往車(chē)輛進(jìn)行準(zhǔn)確檢測(cè)與識(shí)別[1]，車(chē)牌號(hào)作為機(jī)動(dòng)車(chē)特有的字符與數(shù)字序列，如何快速、準(zhǔn)確地將車(chē)牌號(hào)識(shí)別出來(lái)顯得尤其重要。車(chē)牌識(shí)別技術(shù)已在公共安全、交通管理和軍事等領(lǐng)域得到廣泛應(yīng)用[2-3]。目前車(chē)牌識(shí)別系統(tǒng)中采用的車(chē)牌字符識(shí)別算法為基于模板匹配[4]、基于特征統(tǒng)計(jì)[5]和基于機(jī)器學(xué)習(xí)[6]的方法。基于模板匹配的識(shí)別方法是利用待識(shí)別字符和模板字符之間特征向量的相似性來(lái)識(shí)別車(chē)牌字符，取特征向量相似度最高的模板字符作為待識(shí)別字符的類(lèi)別[7]，該方法識(shí)別過(guò)程簡(jiǎn)單，在識(shí)別字符清晰且形變程度不大時(shí)能達(dá)到較好的識(shí)別效果，但在車(chē)牌字符出現(xiàn)傾斜和磨損時(shí)，識(shí)別起來(lái)相當(dāng)困難?；谔卣鹘y(tǒng)計(jì)的識(shí)別算法是利用字符的形狀及結(jié)構(gòu)等幾何特性進(jìn)行分析和統(tǒng)計(jì)，實(shí)現(xiàn)對(duì)車(chē)牌字符的分類(lèi)。該方法只需要依據(jù)字符的結(jié)構(gòu)特征進(jìn)行分類(lèi)和識(shí)別，但由于在實(shí)際的車(chē)牌定位[8-9]和識(shí)別過(guò)程中，會(huì)因?yàn)楦鞣N環(huán)境原因?qū)е伦址慕Y(jié)構(gòu)特征發(fā)生改變，從而加大識(shí)別的難度。基于機(jī)器學(xué)習(xí)的字符識(shí)別算法是通過(guò)將提取到的字符的特征作為訓(xùn)練樣本，然后通過(guò)對(duì)分類(lèi)器輸入訓(xùn)練樣本數(shù)據(jù)進(jìn)行訓(xùn)練，根據(jù)分類(lèi)器的預(yù)測(cè)結(jié)果與實(shí)際標(biāo)簽間的誤差性能指標(biāo)，進(jìn)而調(diào)節(jié)分類(lèi)器的參數(shù)，讓分類(lèi)器自動(dòng)學(xué)習(xí)數(shù)據(jù)間對(duì)應(yīng)的分布，進(jìn)而實(shí)現(xiàn)對(duì)字符的分類(lèi)[10]。該方法能夠?qū)W習(xí)到每個(gè)字符特征的分布，但是需要通過(guò)人工提取特征，再進(jìn)行分類(lèi)，這會(huì)使得對(duì)字符的表達(dá)能力不足，因而無(wú)法達(dá)到最佳的識(shí)別精度。

采用上述的車(chē)牌字符識(shí)別算法需要先對(duì)字符進(jìn)行分割，然后對(duì)分割的字符進(jìn)行識(shí)別，才能得到識(shí)別的結(jié)果，這樣會(huì)使得車(chē)牌識(shí)別的過(guò)程復(fù)雜，進(jìn)而導(dǎo)致識(shí)別的速度下降，并且準(zhǔn)確率取決于字符的清晰度和分割的效果。因此，本文設(shè)計(jì)了一種基于YOLOv3 算法的車(chē)牌識(shí)別系統(tǒng)，利用基于YOLOv3 的識(shí)別算法來(lái)識(shí)別車(chē)牌字符不但不需要進(jìn)行字符的分割，對(duì)字符像素的要求不高，并且能夠達(dá)到更快的識(shí)別速度和較高的準(zhǔn)確率。

1 系統(tǒng)總體設(shè)計(jì)

本文使用的車(chē)牌識(shí)別系統(tǒng)的總體結(jié)構(gòu)如圖1 所示，主要由車(chē)牌圖像采集、圖像預(yù)處理、車(chē)牌定位和車(chē)牌字符識(shí)別四個(gè)模塊組成，先用高清攝像機(jī)拍攝目標(biāo)車(chē)輛圖像并保存下來(lái)，然后對(duì)保存的車(chē)輛圖像進(jìn)行一系列的圖像預(yù)處理工作，再把處理過(guò)的車(chē)輛圖像分別經(jīng)過(guò)車(chē)牌定位、車(chē)牌字符識(shí)別輸出最終的車(chē)牌號(hào)碼。車(chē)牌識(shí)別系統(tǒng)的硬件部分由車(chē)輛檢測(cè)裝置、輔助照明設(shè)備、圖像拍攝設(shè)備、計(jì)算機(jī)等共同構(gòu)成，部分硬件集成在攝像頭中完成。STAR-2000S 高清攝像機(jī)內(nèi)部由智能SVAC 芯片、圖像傳感器、VS-ME8801HPC 高清視頻編碼模組、輔助照明等硬件組成。

圖1 系統(tǒng)總體框圖

2 車(chē)牌識(shí)別算法及模型訓(xùn)練

2.1 識(shí)別算法網(wǎng)絡(luò)結(jié)構(gòu)

YOLO、YOLOv2 和YOLOv3 算法是由JOSEPH 等人提出的通用目標(biāo)檢測(cè)算法[11]，其中YOLOv3 算法已經(jīng)成為當(dāng)下最新的目標(biāo)檢測(cè)算法，因此本文將利用YOLOv3 的主干網(wǎng)絡(luò)加以改進(jìn)，使其可以適用于對(duì)車(chē)牌字符的識(shí)別，車(chē)牌字符識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 車(chē)牌字符識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)

車(chē)牌識(shí)別算法的輸入層采用的是416×416 分辨率的車(chē)牌訓(xùn)練圖片，中間層采用的是YOLOv3 的主干網(wǎng)絡(luò)Darknet-53 網(wǎng)絡(luò)模型，為了使其能夠用于車(chē)牌字符的識(shí)別，將其最后3 層（即平均池化層、全連接層和softmax 層）去掉，再加入1 層512 個(gè)1×1 卷積核、激活函數(shù)為ReLU 的卷積層1、2 個(gè)包含2 100 個(gè)神經(jīng)元、激活函數(shù)為ReLU 的全連接層和7 個(gè)分支網(wǎng)絡(luò)。其中主干網(wǎng)絡(luò)用于提取車(chē)牌字符的特征，分支網(wǎng)絡(luò)的7 個(gè)全連接層用于預(yù)測(cè)每一位車(chē)牌字符的位置以及字符類(lèi)別概率。因?yàn)檐?chē)牌識(shí)別算法需要對(duì)車(chē)牌中的七個(gè)字符分別進(jìn)行識(shí)別，而車(chē)牌字符由70 個(gè)（35 個(gè)中文字符+24 個(gè)大寫(xiě)英文字母+10 個(gè)數(shù)字+1 個(gè)標(biāo)識(shí)符plate）不同類(lèi)型的字符組成，所以把每一位車(chē)牌字符當(dāng)做一個(gè)識(shí)別目標(biāo)，每一位車(chē)牌字符的預(yù)測(cè)值有70 種可能性，需要并行加入7 個(gè)含有70 個(gè)神經(jīng)元的全連接層用于檢測(cè)每一位字符的位置，通過(guò)訓(xùn)練數(shù)據(jù)使模型學(xué)習(xí)到能夠反映出70 個(gè)不同字符特征的卷積核權(quán)值，最后通過(guò)softmax 激活函數(shù)輸出每一位車(chē)牌字符類(lèi)別概率。

將輸入的包含有車(chē)牌字符的數(shù)據(jù)集用labelImg 軟件對(duì)車(chē)牌和每一位車(chē)牌字符進(jìn)行標(biāo)注，獲得對(duì)應(yīng)物體的坐標(biāo)位置，制作數(shù)據(jù)集的標(biāo)簽，生成xml 文件，進(jìn)而對(duì)圖片進(jìn)行預(yù)處理，然后運(yùn)用基于YOLOv3 的識(shí)別算法獲得每張車(chē)牌圖片的8 個(gè)邊界框的矩陣向量，得到的矩陣向量通過(guò)神經(jīng)網(wǎng)絡(luò)的卷積層和全連接層，最后使用softmax 函數(shù)得到每一位字符的類(lèi)別。

2.2 訓(xùn)練過(guò)程

訓(xùn)練過(guò)程中整個(gè)模型采用了遷移學(xué)習(xí)的思想，利用YOLOv3 的主干網(wǎng)絡(luò)進(jìn)行調(diào)整，由于模型訓(xùn)練在定位車(chē)牌的過(guò)程中不但學(xué)習(xí)了車(chē)牌的特征，也學(xué)習(xí)到了車(chē)牌字符的特征，因此可以大大加快車(chē)牌字符識(shí)別的速度。訓(xùn)練過(guò)程選擇Darknet 框架作為車(chē)牌字符識(shí)別的深度學(xué)習(xí)框架，通過(guò)多次分析實(shí)驗(yàn)，選擇設(shè)置每batch 的樣本數(shù)量為2，最大迭代次數(shù)設(shè)為10 000 次，學(xué)習(xí)率設(shè)置為0.01，并且在訓(xùn)練過(guò)程中保存模型，通過(guò)labelImg 軟件標(biāo)注好的訓(xùn)練集來(lái)訓(xùn)練模型的各項(xiàng)參數(shù)，通過(guò)對(duì)1 594×2=3 188 張圖片進(jìn)行訓(xùn)練，得到最優(yōu)的車(chē)牌字符識(shí)別模型，訓(xùn)練過(guò)程如圖3 所示。

圖3 訓(xùn)練過(guò)程

在經(jīng)過(guò)長(zhǎng)時(shí)間的訓(xùn)練之后，會(huì)得到最優(yōu)的車(chē)牌識(shí)別模型，并且可以得到訓(xùn)練過(guò)程的性能指標(biāo)Region Avg IoU、Loss和識(shí)別準(zhǔn)確率Accuracy。在訓(xùn)練模型達(dá)到5 000 左右個(gè)batch時(shí)，Region Avg IoU 曲線基本穩(wěn)定至1 并基本保持不變，意味著每batch 的字符預(yù)測(cè)框與真實(shí)框間的誤差達(dá)到了穩(wěn)定；在訓(xùn)練模型達(dá)到8 000 左右個(gè)batch 時(shí)，Losss 曲線漸漸變?yōu)槠骄忂M(jìn)而穩(wěn)定在0.15，整個(gè)車(chē)牌字符識(shí)別訓(xùn)練模型趨于穩(wěn)定；在訓(xùn)練模型達(dá)到8 000 左右個(gè)batch 時(shí)，識(shí)別率Accuracy曲線趨于穩(wěn)定，整個(gè)訓(xùn)練模型的識(shí)別率達(dá)到了0.91。

3 車(chē)牌識(shí)別系統(tǒng)的實(shí)現(xiàn)

3.1 系統(tǒng)識(shí)別過(guò)程

首先將輸入的包含有車(chē)牌字符的數(shù)據(jù)集用labelImg 軟件對(duì)車(chē)牌和每一位車(chē)牌字符進(jìn)行標(biāo)注，獲得對(duì)應(yīng)物體的坐標(biāo)位置，制作數(shù)據(jù)集的標(biāo)簽，生成xml 文件，然后通過(guò)訓(xùn)練得到最優(yōu)的車(chē)牌字符識(shí)別模型，并保存至主控臺(tái)；在目標(biāo)車(chē)輛進(jìn)入至高清攝像機(jī)所拍攝區(qū)域時(shí)，圖像傳感器器感應(yīng)到有目標(biāo)車(chē)輛通過(guò)，隨后立即向智能SVAC 芯片發(fā)出觸發(fā)信號(hào)，輔助照明設(shè)備將為目標(biāo)發(fā)出瞬時(shí)的光線，與此同時(shí)圖像傳感器的某些參數(shù)將發(fā)生變化，進(jìn)而將控制攝像機(jī)抓拍。因此，最后得到的圖片基本上位于同一位置，此功能有助于將車(chē)牌定位在照片中，并確保獲得清晰的車(chē)輛圖像。

主控臺(tái)具有預(yù)先建立的數(shù)據(jù)庫(kù)，用于保存從采集系統(tǒng)獲得的車(chē)輛的這些圖像，然后對(duì)數(shù)據(jù)庫(kù)中的這些圖片進(jìn)行圖像預(yù)處理和車(chē)牌定位，再經(jīng)過(guò)車(chē)牌字符識(shí)別模型多層卷積層和全連接層，最后使用softmax 函數(shù)進(jìn)行字符識(shí)別，輸出相應(yīng)的車(chē)牌號(hào)碼。

3.2 系統(tǒng)識(shí)別結(jié)果

本文使用20 張不同情況（車(chē)牌傾斜、夜晚環(huán)境等）下的車(chē)輛圖片作為測(cè)試數(shù)據(jù)集，對(duì)訓(xùn)練好的車(chē)牌識(shí)別模型進(jìn)行測(cè)試，最終可以準(zhǔn)確識(shí)別出18 張車(chē)牌圖片，識(shí)別率為90%，其中不同場(chǎng)景的測(cè)試圖片如圖4 所示，最終車(chē)牌字符識(shí)別結(jié)果如圖5 所示。

實(shí)驗(yàn)結(jié)果可以表明，基于YOLOv3 的識(shí)別算法不僅可以快速地檢測(cè)出每一位的車(chē)牌字符，并且識(shí)別結(jié)果準(zhǔn)確，能夠達(dá)到車(chē)牌識(shí)別的要求。

圖4 不同場(chǎng)景的測(cè)試圖片

圖5 車(chē)牌字符識(shí)別結(jié)果

4 結(jié)論

基于現(xiàn)代智能交通系統(tǒng)中車(chē)牌識(shí)別的主要發(fā)展現(xiàn)狀，本文通過(guò)對(duì)車(chē)牌識(shí)別系統(tǒng)的構(gòu)成、原理和識(shí)別算法進(jìn)行研究，并采用了一種最新的基于YOLOv3 算法的車(chē)牌識(shí)別系統(tǒng)方案。通過(guò)對(duì)車(chē)牌識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu)模型進(jìn)行訓(xùn)練和測(cè)試，實(shí)驗(yàn)結(jié)果表明，利用改進(jìn)后的YOLOv3 算法來(lái)識(shí)別車(chē)牌不需要經(jīng)過(guò)車(chē)牌矯正、字符分割等步驟，可以直接提取車(chē)牌圖像的特征進(jìn)行識(shí)別，這樣極大地提升了識(shí)別的速度，因此，在實(shí)際需求中有著一定的理論意義和工程價(jià)值。