李 巖 ，舒 言 ，范曉焓 ，宿漢辰 ，李斌陽

(1.國際關(guān)系學(xué)院 網(wǎng)絡(luò)空間安全學(xué)院， 北京 100191；2.哈爾濱工業(yè)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院， 黑龍江 哈爾濱 150006)

0 引言

車牌識別是智能交通系統(tǒng)的重要組成部分，在收費控制、數(shù)字安全監(jiān)控等諸多應(yīng)用中發(fā)揮著重要作用。傳統(tǒng)的車牌識別系統(tǒng)通常將任務(wù)分解為車牌區(qū)域檢測(車牌定位)、字符分割和字符識別3個階段[1-3]，同時借助端到端訓(xùn)練技術(shù)[4-8]，深度學(xué)習(xí)方法進一步提升了車牌檢測與識別的整體性能。

盡管深度學(xué)習(xí)方法提升了車牌識別能力，但是大部分車牌識別系統(tǒng)在困難場景下依然無法兼顧識別精度與算法效率。這是因為大部分端到端車牌識別模型依然遵循車牌定位—識別這一框架[9-12]?；诖?，本文提出了一種基于字符區(qū)域感知[13-14]的端到端車牌識別方法，有效平衡了復(fù)雜場景下車牌識別的精度與速度。該框架無需借助車牌區(qū)域檢測即可實現(xiàn)對字符的識別。與現(xiàn)有方法不同，本文提出的方法直接提取單字符特征并進行分類，同時在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計階段采用由特征金字塔增強模塊和特征融合模塊組成的低計算量分割頭[15]彌補其在特征提取方面的精度缺陷，構(gòu)建高效精準(zhǔn)的車牌識別模型。

1 相關(guān)工作

1.1 車牌識別系統(tǒng)

傳統(tǒng)的車牌識別系統(tǒng)通常分為車牌區(qū)域檢測、字符分割和字符識別3個階段。隨著深度學(xué)習(xí)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型被廣泛用于車牌識別，典型的有YOLO[16]，R-CNN[17]和SSD[18]。大量車牌識別工作基于以上目標(biāo)檢測模型展開深入研究。Brillantes等[17]提出了一種基于Faster R-CNN[19]架構(gòu)的車牌檢測網(wǎng)絡(luò)，使用特征金字塔網(wǎng)絡(luò)(FPN)作為Faster R-CNN的探測器，進一步提升了檢測速度。Wu等[18]在車牌檢測階段使用殘差網(wǎng)絡(luò)ResNet替代SSD中的VGG[20]網(wǎng)絡(luò)，通過引入殘差網(wǎng)絡(luò)結(jié)構(gòu)加深網(wǎng)絡(luò)深度，提升模型學(xué)習(xí)能力。

在車牌識別階段，Zhang等[4]在字符識別階段將車牌視為二維信號，改善了傳統(tǒng)因?qū)④嚺埔暈橐痪S序列所導(dǎo)致的復(fù)雜環(huán)境下車牌識別能力下降的問題。Chang等[1]設(shè)計了一種由字符分類、拓撲排序和自組織識別3個步驟組成的字符識別方法，顯著提升了識別的準(zhǔn)確性。上述方法一定程度上提高了車牌自動識別能力，但卻局限于傳統(tǒng)三階段框架，當(dāng)受到復(fù)雜環(huán)境影響時系統(tǒng)整體性能會受到較大影響。

1.2 端到端車牌識別模型

深度學(xué)習(xí)中的端到端訓(xùn)練是提升車牌檢測與識別整體性能的重要技術(shù)手段。Li等[7]第一次將車牌檢測和識別集成到一個統(tǒng)一的端到端網(wǎng)絡(luò)中，通過共享卷積特征層對檢測和識別任務(wù)損失函數(shù)進行聯(lián)合優(yōu)化，提升系統(tǒng)效能。Chen等[10]設(shè)計了一種基于車牌關(guān)系挖掘的端到端車牌檢測網(wǎng)絡(luò)，先根據(jù)車牌中心與車輛偏移量估計車牌位置，再對車牌四邊形框進行細化，最終聚合成車牌拼接區(qū)域，減少了車牌搜索面積，并提高了小尺寸車牌檢測性能。Wang等[12]提出了基于級聯(lián)網(wǎng)絡(luò)的實時端到端車牌識別框架，使用級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)以及多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，將板塊分類、邊界框回歸、車牌地標(biāo)檢測和板塊顏色識別4個任務(wù)同時進行，極大地提高了訓(xùn)練速度。上述端到端車牌識別方法有效提升了車牌識別的精度，但受限于車牌定位—識別這一框架，計算開銷較大，無法在車牌識別的速度和精度間取得較好的平衡。

本文提出的車牌識別框架如圖1所示。

圖1 本文提出的車牌識別框架Fig.1 The proposed license plate recognition framework

2 字符區(qū)域感知方法

2.1 方法框架

本文車牌識別網(wǎng)絡(luò)體系結(jié)構(gòu)如圖2所示。對于輸入的含有車牌的圖像，首先利用預(yù)訓(xùn)練好的共享卷積層對車牌區(qū)域進行字符感知，從而生成正式訓(xùn)練時所需要的標(biāo)簽。在正式訓(xùn)練中，車牌區(qū)域的字符區(qū)域高斯熱力圖和字符聯(lián)通高斯熱力圖將被預(yù)測,以檢測車牌框。與此同時，字符定位的結(jié)果被用于在共享卷積層輸出的特征圖中，以提取感興趣區(qū)域的特征向量。最后，2個并列的輕量卷積神經(jīng)網(wǎng)絡(luò)用于預(yù)測不同位置的車牌字符輸出。值得注意的是，本文構(gòu)建了一個統(tǒng)一模型，可以實現(xiàn)端到端訓(xùn)練。作為主干網(wǎng)絡(luò)的共享卷積層架構(gòu)的說明詳見2.2節(jié)。

為了有效解決因相機視角劇烈變化導(dǎo)致識別精度降低的問題，本文提出了一種通過構(gòu)造人造數(shù)據(jù)集模擬多角度車牌字符進行預(yù)訓(xùn)練的方法。同時針對車牌字符排列的特殊規(guī)律并參考車牌顏色的先驗信息，進一步提升字符定位精度。由于車牌具有自然場景文本中沒有的顏色以及字符規(guī)律等特性，在檢測過程中加入對車牌的顏色以及字符排列特性的處理，成功降低了車牌中字符定位的難度。

圖2 車牌識別網(wǎng)絡(luò)體系結(jié)構(gòu)Fig.2 The architecture of license plate recognition network

2.2 主干網(wǎng)絡(luò)架構(gòu)

分割頭對網(wǎng)絡(luò)的增強示意圖如圖3所示。主干網(wǎng)絡(luò)主要由特征金字塔增強模塊(FPEM)和特征融合模塊(FFM)組成。ResNet18[20]作為主干網(wǎng)絡(luò)雖然計算量較小，但由于網(wǎng)絡(luò)層數(shù)較低，模型學(xué)習(xí)能力有限。為了解決這一問題，使用FPEM和FFM彌補這一缺陷。FPEM呈級聯(lián)結(jié)構(gòu)且計算量小，可以連接在主干網(wǎng)絡(luò)后面使不同尺寸的特征更深，從而更具表征能力。FPEM模塊可以看成是一個輕量級的FPN，可以不停級聯(lián)以達到不停增強特征的作用。而FFM模塊用于融合不同尺度的特征，最后通過上采樣將它們合并到一起。具體地，特征提取部分全部使用3×3大小的卷積核進行圖像特征提取，并以一個平均池化層和含有1 000路Softmax的全連接層結(jié)束。使用1×1卷積將特征圖通道數(shù)減少到128后得到縮小的特征金字塔，并用FPEM進行增強，每個FPEM產(chǎn)生一個增強的特征金字塔，最后由FFM將增強后的特征金字塔融合，通道數(shù)為512。實驗結(jié)果表明，本文使用輕量級網(wǎng)絡(luò)ResNet18配合由特征FPEM和FFM組合成的低計算分割頭作為主干網(wǎng)絡(luò)[15]，在保證模型準(zhǔn)確性的同時極大地提升了模型的推理速度。

圖3 分割頭對網(wǎng)絡(luò)的增強示意Fig.3 The diagram of the segmentation head’s enhancement to the network

2.3 預(yù)訓(xùn)練&訓(xùn)練

為了進一步提高模型對車牌字符區(qū)域的感知能力，本文使用帶有字符級標(biāo)注的人造數(shù)據(jù)集進行預(yù)訓(xùn)練。與構(gòu)造自然場景光學(xué)字符識別(OCR)人造數(shù)據(jù)集不同[13]，本文根據(jù)真實車牌特性構(gòu)造的人造數(shù)據(jù)集僅包含大寫字母與數(shù)字的字符形式。由于車牌首位一般為代表地區(qū)的漢字，訓(xùn)練時只需將最前的字母前一位確定為該漢字位置即可。構(gòu)造人造數(shù)據(jù)集時不僅需要模擬產(chǎn)生多種視角的車牌字符，同時應(yīng)模擬與真實車牌相似的各類復(fù)雜場景，從而提升模型在各類復(fù)雜情況下的車牌字符區(qū)域感知能力。

模型預(yù)訓(xùn)練與訓(xùn)練流程如圖2所示，綠線和藍線流程分別揭示了檢測模塊和識別模塊的訓(xùn)練流程。由卷積網(wǎng)絡(luò)輸出2個通道的字符區(qū)域高斯熱力圖和字符聯(lián)通高斯熱力圖用于定位字符的邊界框，包含16個通道的特征圖用于識別模塊。識別模塊利用模型自動定位的每個車牌字符區(qū)域，輸出車牌的內(nèi)容信息，并根據(jù)車牌的字符數(shù)量和位置信息輸出車牌的具體類型。值得注意的是，預(yù)訓(xùn)練階段標(biāo)簽已由人造數(shù)據(jù)集提供；正式訓(xùn)練時由于缺少字符級別的標(biāo)注，需要利用弱監(jiān)督學(xué)習(xí)生成偽造標(biāo)簽，即紅線所展示的流程。具體地，紅線流程首先使用人造車牌數(shù)據(jù)集中的每張圖片，裁剪出車牌區(qū)域，針對圖像中每個文本實例經(jīng)過共享卷積網(wǎng)絡(luò)生成單個字符區(qū)域的高斯熱力圖，使用分水嶺算法將高斯熱力圖與背景分開，并使用最小外接矩形框出每個車牌字符的位置，最后通過尺度變化的方式即可在原始圖像中得到每個字符的邊界框。

本文采取端到端訓(xùn)練方式，預(yù)訓(xùn)練階段誤差函數(shù)由檢測端和識別端共同組成，其中檢測端的誤差函數(shù)可表示為：

(1)

識別端的誤差函數(shù)表示為：

(2)

式中，xi為預(yù)測出該字符類別的概率；ci為該字符類別在真實標(biāo)簽中的概率。對于第2個分類器，i為該字符類別；yi為預(yù)測出該字符類別的概率；di為該字符類別在真實標(biāo)簽中的概率。

總的誤差函數(shù)表示為：

L=w1Ldet+w2Lrec，

(3)

式中，超參數(shù)取值w1=w2=1。

預(yù)訓(xùn)練結(jié)束后將輸入真實車牌數(shù)據(jù)以弱監(jiān)督學(xué)習(xí)方式進行正式訓(xùn)練。在此過程中， 通過預(yù)訓(xùn)練事先得到的模型已經(jīng)具備預(yù)測字符級標(biāo)注的能力。同時，為保證訓(xùn)練過程可靠性，在正式訓(xùn)練時建立真值評估機制，通過設(shè)置置信度對生成的真值進行評估、篩選和糾正。假設(shè)對于某車牌w，由模型分割出的字符框數(shù)量為l*(w)，車牌字符真值數(shù)量為l(w)，可得分割置信度為：

(4)

訓(xùn)練過程中設(shè)定該置信度最小閾值為0.7，如果置信度大于等于最小閾值，則使用模型產(chǎn)生的真值；相反，則啟用矯正機制重新對字符進行分割。正式訓(xùn)練的誤差函數(shù)在引入真值置信度后可修改為：

(5)

本文提出的模型可以通過不斷學(xué)習(xí)原始圖像中的字符提升識別能力。隨著訓(xùn)練時間的增加，模型可以獲得越來越多的正確車牌數(shù)據(jù)標(biāo)簽，從而提高車牌識別性能。

3 實驗結(jié)果與分析

本文使用PyTorch 1.8版本，在Intel酷睿i5 CPU，單塊GTX3090 GPU的平臺上進行車牌識別模型的訓(xùn)練和評估。實驗比較了幾種優(yōu)秀的車牌識別方法，同時進行了消融實驗比較分析。

3.1 數(shù)據(jù)集與評價指標(biāo)

本文在公開大型車牌數(shù)據(jù)集CCPD 2019[21]上與之前的工作[18-19]進行了對比實驗。CCPD數(shù)據(jù)集是目前中國最大的公開可得的車牌數(shù)據(jù)集，收錄近30萬張彩色圖片，每張圖片分辨率為720 pixel×1 160 pixel，包含多種類型的車牌。其中“DB”為光線較暗或較亮車牌、“Challenge”為具有挑戰(zhàn)性的車牌、“Blur”為模糊的車牌、“FN”為距離攝像頭較遠或較近的車牌、“Rotate”為小傾斜角度車牌(水平傾斜20°～50°，垂直傾斜-10°～10°)、“Tilt”為大傾斜角度車牌(水平傾斜15°～45°，垂直傾斜15°～45°)、“FPS”為幀率、“AP”為平均準(zhǔn)確率，具體如表1所示。這些圖片包含不同背景、不同拍攝角度、不同拍攝時間和不同光照等級的獨立車牌圖像，是現(xiàn)有公開車牌識別數(shù)據(jù)集中種類最為豐富、度最高的數(shù)據(jù)集，可以很好地驗證本文提出方法的有效性。

表1 CCDP數(shù)據(jù)集檢測結(jié)果

評價指標(biāo)選取上，在車牌檢測任務(wù)中本文使用目標(biāo)檢測中廣泛使用的VOC評價標(biāo)準(zhǔn)[20]進行評估。具體地，對比每張圖片檢測出的結(jié)果和真實標(biāo)簽的交并比(IOU)，如果IOU值超過了某個閾值，則將它劃歸到真陽(True Positive,TP)中，IOU值低于某個閾值，則將它劃歸到假陽(False Positive,FP)中。最終根據(jù)TP，F(xiàn)P計算準(zhǔn)確率和召回率，然后據(jù)此計算平均準(zhǔn)確率(Mean Average Precision,MAP)。車牌識別任務(wù)的評價指標(biāo)與ICDAR2013場景文字識別的評價指標(biāo)相同，即當(dāng)某個文本識別的結(jié)果和真實標(biāo)簽一致時才算正樣本，最終計算每個類別的平均準(zhǔn)確率即為最終的MAP結(jié)果。

3.2 車牌識別結(jié)果比較

本文提出的模型同時在檢測器和識別器中進行端到端聯(lián)合訓(xùn)練。檢測器采用了一種基于弱監(jiān)督框架的學(xué)習(xí)方法進行訓(xùn)練,因此識別器只反向傳播由正確分割的車牌在訓(xùn)練每個階段產(chǎn)生的損失。此外，在訓(xùn)練過程中還應(yīng)用了水平翻轉(zhuǎn)、隨機裁剪、仿射變換和顏色變化等數(shù)據(jù)增強技術(shù)。本文訓(xùn)練過程可以分為2個階段：基于人造數(shù)據(jù)集的預(yù)訓(xùn)練階段和基于真實數(shù)據(jù)的參數(shù)微調(diào)階段。首先，利用人造數(shù)據(jù)對主干網(wǎng)絡(luò)進行預(yù)訓(xùn)練初始化網(wǎng)絡(luò)參數(shù)，直到損失值收斂；然后，在CCPD數(shù)據(jù)集上進行正式訓(xùn)練，正式訓(xùn)練階段的損失函數(shù)引入真值置信度。

為了驗證模型的有效性，本文選取了最具代表性的Faster R-CNN和SSD作為基線模型進行實驗對比，定量結(jié)果如表1所示。實驗結(jié)果表明，本文提出的車牌識別模型在車牌檢測任務(wù)上遠超基線模型，尤其在旋轉(zhuǎn)和傾斜數(shù)據(jù)上顯著地超過了基于目標(biāo)檢測的模型。而在車牌識別任務(wù)上，本文選取“ SSD+HC ”的模型[21]作為基線模型，定量結(jié)果如表2所示。

表2 CCPD數(shù)據(jù)識別結(jié)果

實驗結(jié)果表明，本文提出的網(wǎng)絡(luò)模型在車牌識別任務(wù)上具有明顯優(yōu)勢。部分檢測識別可視化結(jié)果如圖4所示，可以看出，本文提出的模型可以成功檢測并識別常規(guī)、傾斜角度及低分辨率圖像中的車牌。

圖4 車牌識別可視化結(jié)果Fig.4 The visualization results of license plate recognition

為了進一步驗證本文輕量級主干網(wǎng)絡(luò)中FPEM和FFM模塊的必要性，采用消融實驗進行驗證。實驗使用ResNet18作為基本骨架網(wǎng)絡(luò)，具體結(jié)果如表3所示。實驗結(jié)果表明，相比于傳統(tǒng)的FPN，F(xiàn)PE和FFM結(jié)構(gòu)，本文方法在保證模型準(zhǔn)確率的前提下極大地降低了模型復(fù)雜度和推理時間；同時相較于不使用該模塊又提升了模型準(zhǔn)確率。因此相較于傳統(tǒng)的CNN特征提取架構(gòu)，本文采取的FPEM和FFM的結(jié)構(gòu)能夠更好地與主干網(wǎng)絡(luò)架構(gòu)相結(jié)合，在具有輕量級網(wǎng)絡(luò)快速提取特征的基礎(chǔ)上，增強了圖像中不同尺度車牌區(qū)域特征表示能力，從而使其適合于各類富有挑戰(zhàn)的車牌識別任務(wù)。

表3 本模型關(guān)于分割頭的消融實驗

4 結(jié)束語

本文的主要貢獻包括兩方面：① 提出了一種基于字符區(qū)域感知的車牌識別框架，將車牌識別問題轉(zhuǎn)換為直接對車牌中每個字符進行定位并識別的問題，有效兼顧了復(fù)雜場景下車牌識別的精度與實時性需求；② 構(gòu)造了人造車牌相關(guān)字符數(shù)據(jù)集并將其應(yīng)用于車牌字符區(qū)域感知模型預(yù)訓(xùn)練過程，有效提升了模型對車牌字符區(qū)域的感知能力與識別精度。

未來的工作將會繼續(xù)優(yōu)化改進端到端車牌識別模型，如利用模型壓縮剪枝等方法加快模型推理速度，使之可以更好地適應(yīng)實際應(yīng)用。