朱文和

摘 要：目前，車牌識別發(fā)揮在眾多應(yīng)用程序和許多技術(shù)已經(jīng)提出。但是，他們中的大多數(shù)可以僅適用于單行車牌。在實際應(yīng)用程序方案，也有現(xiàn)有的許多多行車牌。傳統(tǒng)方法需要對雙行車牌的原始輸入圖像。這是一個非常復(fù)雜場景中的難題。為了解決這個問題，我們建議一個端到端的神經(jīng)網(wǎng)絡(luò)為兩個單行和雙行車牌識別。是的原始輸入車牌圖像的分段。我們查看這些整個圖像作為一個單位在要素映射后直接深度卷積神經(jīng)網(wǎng)絡(luò)。大量的實驗表明我們的方法是有效的。

關(guān)鍵詞：深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 車牌識別

Dual-line License Plate Recognition System based on Convolutional Neural Network

Zhu Wenhe

Abstract：Currently， license plate recognition plays a role in numerous applications and many technologies have been proposed. However， most of them can only be applied to single-line license plates. In the actual application program， there are also many existing multi-line license plates. The traditional method requires the original input image of the double-row license plate. This is a difficult problem in an extraordinarily complex scenario. To solve this problem， we propose an end-to-end neural network to recognize two single-line and double-line license plates， that is， the segmentation of the original input license plate image. We view these entire images as a unit and directly deep convolutional neural network after feature mapping. Many experiments show that our method is effective.

Key words：deep learning， convolutional neural network， license plate recognition

1 引言

隨著深度學(xué)習(xí)和人工智能技術(shù)的發(fā)展，車牌識別技術(shù)也發(fā)展迅猛。自動車牌識別在眾多應(yīng)用中起重要作用，如無人值守的停車場、自動收費等。由于車輛的不同屬性和功能，法律和不同國家的法規(guī)對車牌管理。

目前大多數(shù)車牌識別方法只關(guān)注單行車牌識別任務(wù)[1][2]，通過分割并得到字符，然后對字符進行分類，或通過端到端神經(jīng)網(wǎng)絡(luò)。這些方法可以在單行車牌上有很好的效果。但是，只有少數(shù)方法會考慮雙行車牌。這些方法需要分段輸入雙行車牌。具體來說，他們需要分割車牌的每個字符并正確識別。每個字符分割和識別精度會影響最終結(jié)果。

本文的主要貢獻是提出一種新型神經(jīng)網(wǎng)絡(luò)模型，其網(wǎng)絡(luò)架構(gòu)專為識別雙行車牌而設(shè)計的。我們把每個整個圖像輸入到深度卷積神經(jīng)網(wǎng)絡(luò)得到特征圖。然后，對獲取的特征圖進行重新組織。對于所有單行和雙行車牌，每個特征圖都表示為序列樣要素的地圖。雙向長期短期記憶[3]用于獲取要素貼圖以計算序列標(biāo)簽。由組裝這些序列標(biāo)簽信息，我們可以得到最終車牌識別結(jié)果。建議的神經(jīng)網(wǎng)絡(luò)可以應(yīng)用到許多車牌基于識別的系統(tǒng)，因為它可以培訓(xùn)和測試非常方便。廣泛的實驗結(jié)果證明我們提出的方法取得了顯著成就與當(dāng)前最先進的方法相比，改進。

2 算法設(shè)計與實現(xiàn)

2.1 算法設(shè)計

（1）特征提取

我們使用卷積神經(jīng)網(wǎng)絡(luò)對圖片進行特征提取。我們設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)是，輸出的特征映射是一個高度為2的矩陣。這就為后續(xù)進一步特征重組，做好了鋪墊。

（2）特征重組

根據(jù)雙行車牌的特點，我們提出將特征映射上下分開，然后重新水平組合。這就符合雙行車牌的特征分布。

（3）序列標(biāo)簽預(yù)測

在卷積神經(jīng)網(wǎng)絡(luò)后要建立深度雙向遞歸神經(jīng)網(wǎng)絡(luò)，作為循環(huán)層。循環(huán)層有能力從左到右處理特征映射。通過結(jié)合上下文信息，當(dāng)前幀的處理與先前的記憶、遺忘結(jié)果結(jié)合，當(dāng)前信息被處理以進行預(yù)測，并且結(jié)果傳遞到下一幀進行記憶門和忘記門處理。在我們的任務(wù)中，字符序列識別具有從左到右的時序特征。對于雙行車牌，整個特征映射識別通過數(shù)據(jù)重組也具有時序特征。

單向RNN的問題是當(dāng)時刻t被分類時，只有可以使用t之前的信息，但是有時也可能需要使用未來時間的信息。雙向RNN模型試圖解決這個問題。雙向RNN在任何時候都保持兩個隱藏層。一個隱藏層用于傳輸從左到右的信息和另一個隱藏層則傳輸從右到左的信息。許多文章和實驗表明，雙向循環(huán)網(wǎng)絡(luò)在語音等領(lǐng)域有更好的表現(xiàn)。因此，我們使用雙向LSTM網(wǎng)絡(luò)預(yù)測卷積神經(jīng)網(wǎng)絡(luò)后的時序。

2.2 算法實現(xiàn)

本文提出一種雙行車牌識別方法，在本文中，直接將待識別車牌圖片的車牌特征作為一個整體進行輸入，無需對車牌的每個字符進行分割、識別，相比于傳統(tǒng)方法對字符進行單獨識別，可節(jié)約工作量，提高工作效率。同時，相比于傳統(tǒng)的識別方法需對每個字符都單獨識別，一個字符錯誤會導(dǎo)致整個車牌識別錯誤，使得車牌識別率不高，而本文將整個車牌放入網(wǎng)絡(luò)一起訓(xùn)練，精度較高，可提高識別結(jié)果的精度。

本文的雙行車牌識別方法可以是由服務(wù)器實現(xiàn)的。具體包括：

（1）獲取待識別車牌圖片，采用預(yù)設(shè)特征提取模型對所述待識別車牌圖片進行特征提取，得到車牌特征矩陣。

在本文中，先獲取待識別車牌圖片，然后將待識別車牌圖片輸入至預(yù)設(shè)特征提取模型中，可得到車牌特征矩陣。其中，預(yù)設(shè)特征提取模型的類型可選為卷積神經(jīng)網(wǎng)絡(luò)模型，該卷積神經(jīng)網(wǎng)絡(luò)模型包括1個輸入層（Input），7個卷積層（Conv）和4個池化層（Pool），各層結(jié)構(gòu)的維度和配置參數(shù)如下表1，其中，維度分別表示通道數(shù)x高x寬，配置參數(shù)中的K、S、P分別表示卷積核大小、步長和padding的數(shù)目。其中，輸入層用于接收待識別車牌圖片，卷積層用于根據(jù)卷積核提取待識別車牌圖片的圖像特征矩陣;池化層用于提取出每個圖像特征矩陣中最能代表圖像局部特征的圖像特征值。

在經(jīng)過特征提取之后，所得到的車牌特征矩陣的維度為512x2x12，即為一個高度為2的矩陣。

（2）按預(yù)設(shè)規(guī)則對所述車牌特征矩陣進行特征重組，得到目標(biāo)車牌特征;

在得到車牌特征矩陣之后，按預(yù)設(shè)規(guī)則對該車牌特征矩陣進行特征重組，得到目標(biāo)車牌特征。具體的，根據(jù)雙行車牌的特點，可將特征矩陣進行上下對半拆分，然后重新水平組合，重組后的矩陣維度為512x1x24，即重組得到高度為1的矩陣。

（3）將所述目標(biāo)車牌特征輸入至預(yù)設(shè)深度雙向遞歸神經(jīng)網(wǎng)絡(luò)中，得到車牌識別結(jié)果。

在得到目標(biāo)車牌特征之后，將目標(biāo)車牌特征輸入至預(yù)設(shè)深度雙向遞歸神經(jīng)網(wǎng)絡(luò)中，得到車牌識別結(jié)果。其中，預(yù)設(shè)深度雙向遞歸神經(jīng)網(wǎng)絡(luò)可選地為雙向長短期記憶網(wǎng)絡(luò)（Bi-directional Long Short-Term Memory，Bi-LSTM）?？梢岳斫?，現(xiàn)有的Bi-LSTM有能力從左到右處理特征信息，通過上下文信息，當(dāng)前幀的處理結(jié)果與之前記憶和忘記結(jié)果融合，從而能夠進行預(yù)測，并且能夠?qū)⒔Y(jié)構(gòu)傳遞給后續(xù)的幀。而本文中的字符序列識別具有從左到右的時序特征，而雙行車牌在重新組合后也是一個字符序列，因此可以采用雙向遞歸神經(jīng)網(wǎng)絡(luò)進行車牌字符識別。

需要說明的是，單向的遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的問題在于只可以使用t時刻之前的信息，但是有時可能還需要使用將來的信息。而雙向RNN模型可以解決這個問題。雙向RNN在任何時候都保持兩個隱藏層，一個隱藏層用于傳輸從左到右的信息，并使用另一個隱藏層對于從右到左的傳播信息進行記錄。因此，相比于采用單向的遞歸神經(jīng)網(wǎng)絡(luò)，本算法可以提高識別結(jié)果的準(zhǔn)確性。

（4）通過CTC對車牌識別結(jié)果進行處理，得到最終的車牌信息。

最后，通過CTC對車牌識別結(jié)果進行處理，以進行字符對齊操作，得到最終的車牌信息其中，CTC（Connectionist Temporal Classifier，聯(lián)接時間分類器）[5]，主要用于解決輸入特征與輸出標(biāo)簽的對齊問題。

進一步地，在對待識別圖像進行特征提取之前，還可以先對待識別車牌圖片進行預(yù)處理，其中，預(yù)處理包括但不限于灰度處理、裁剪處理等，以使得處理后的待識別車牌圖片符合模型圖片的輸入要求。

3 實驗

為了驗證模型的有效性，我們測試了其公共數(shù)據(jù)集的性能。我們評估我們的方法SYSU-ITS[6]數(shù)據(jù)集。它包括總共1402圖像、958 個單行車牌圖像和84張雙行車牌圖像。每個圖像都包含只有一個車牌，每個車牌字符成像清晰，無粘附，輕好，均勻，車牌圖像垂直傾斜角度和水平傾斜角度很?。珊雎裕?。

本文提出的算法在SYSU-ITS公開數(shù)據(jù)集實驗結(jié)果取得了很好的成績。單行車牌的識別精度為98.7%，雙行車牌的識別精度為96.4%。均超過了其他四種方法，如圖1所示。

4 結(jié)論

本文提出一種端到端的雙行車牌識別神經(jīng)網(wǎng)絡(luò)。實驗結(jié)果表面本文提出的方法的有效性。

參考文獻：

[1]Chang S L， Chen L S， Chung Y C， et al. Automatic license plate recognition[J]. IEEE transactions on intelligent transportation systems，2004，5（1）：42-53.

[2]Gou C，Wang K，Yao Y，et al. Vehicle license plate recognition based on extremal regions and restricted Boltzmann machines[J]. IEEE Transactions on Intelligent Transportation Systems，2016，17（4）：1096-1107.

[3]Messina R， Louradour J. Segmentation-free handwritten Chinese text recognition with LSTM-RNN[C]//Document Analysis and Recognition（ICDAR），2015 13th International Conference on. IEEE，2015： 171-175.

[4]Schuster M，Paliwal K K. Bidirectional recurrent neural networks[J].IEEE Transactions on Signal Processing，1997，45（11）：2673-2681.

[5]Graves A，Gomez F. Connectionist temporal classification：labelling unsegmented sequence data with recurrent neural networks[C]//International Conference on Machine Learning. ACM，2006：369-376.

[6]http：//www.openits.cn/openData4/569.jhtml.