董朋林

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

基于計(jì)算機(jī)視覺的交通標(biāo)志識(shí)別方法是近幾年的研究重點(diǎn)，現(xiàn)有的識(shí)別系統(tǒng)往往分為兩部分，交通標(biāo)志檢測(cè)和交通標(biāo)志識(shí)別。交通標(biāo)志檢測(cè)常使用顏色特征[1-3]、形狀特征[4-6]以及兩者相結(jié)合[7-9]的辦法。由于交通標(biāo)志處于室外環(huán)境，基于計(jì)算機(jī)視覺的檢測(cè)方法不僅容易受到光照的影響，而且容易受到交通標(biāo)志褪色、形變和遮擋的影響。為了解決該問題，不少研究人員提出了消除光照影響的辦法，例如使用多顏色空間或者自動(dòng)白平衡等方法[10-11]。在形狀檢測(cè)方面，有Hough 變換[12]、最小二乘法擬合[6]等常用辦法。有研究員使用了顏色與形狀特征結(jié)合的辦法，但是容易存在計(jì)算量大、耗費(fèi)時(shí)間的問題。

而交通標(biāo)志識(shí)別上，常用的方法是先提取紋理特征例如HOG 特征[13]、Hu 不變矩和Zernike 不變矩特征[14]、Haar[15]特征等，然后使用SVM 或者AdaBoost 等分類器進(jìn)行分類。近年來，深度學(xué)習(xí)算法在物體識(shí)別上取得了不錯(cuò)的效果，例如R-CNN 系列算法[16]。也有研究員將該方法用以交通標(biāo)志的識(shí)別和檢測(cè)，但是交通標(biāo)志通常只占整個(gè)圖像的很小一部分，而該系列算法對(duì)于小目標(biāo)的識(shí)別效果不是特別好。

為了解決當(dāng)前算法存在的問題，本文針對(duì)文獻(xiàn)[17]提出的RGB 空間顏色分割算法進(jìn)行了改進(jìn)，能較好地降低光照對(duì)顏色分割的影響。然后使用HOG 與LBP特征結(jié)合的融合特征訓(xùn)練SVM 分類器，實(shí)現(xiàn)交通標(biāo)志的檢測(cè)和基于顏色的初分類。最后設(shè)計(jì)了兩個(gè)相同結(jié)構(gòu)的十層卷積神經(jīng)網(wǎng)絡(luò)，對(duì)兩種類別的交通標(biāo)志精確分類。整個(gè)算法檢測(cè)與識(shí)別交通標(biāo)志的流程如圖1 所示，經(jīng)試驗(yàn)表明，該方法能從復(fù)雜的街道實(shí)景中檢測(cè)到交通標(biāo)志，部分小交通標(biāo)志依然有較好的效果，并以較高的分類準(zhǔn)確率對(duì)36 種交通標(biāo)志精確分類，且具有魯棒性高和抗干擾性強(qiáng)的優(yōu)點(diǎn)。

圖1 算法流程

1 預(yù)處理

為了減小候選ROI 的數(shù)量，需要先對(duì)圖像進(jìn)行預(yù)處理，大體流程如圖2 所示。

圖2 顏色分割流程

前3 個(gè)步驟需要在YUV 顏色空間中處理，該顏色空間的一個(gè)重要特性就是亮度信號(hào)Y 和色度信號(hào)U、V是分離的。為了消除光照的影響而不使物體的顏色發(fā)生變化，只需要對(duì)Y 通道進(jìn)行處理而保持U、V 通道不變。計(jì)算Y 通道直方圖，然后進(jìn)行直方圖均值化，使整副圖像的像素Y 通道值占有更多的級(jí)別且均勻分布，提高了對(duì)比度。處理過程如下：

（1）按照公式（1），將RGB 顏色空間轉(zhuǎn)換為YUV顏色空間：

（2）計(jì)算Y 通道直方圖H，并進(jìn)行歸一化，使直方圖分布到255 個(gè)級(jí)別，計(jì)算直方圖積分（式（2）），然后將計(jì)算后的結(jié)果當(dāng)作一個(gè)查找表，將原始圖像各像素點(diǎn)的Y 值，轉(zhuǎn)換為新的值Y’；

（3）計(jì)算均衡之后的Y’通道平均值Yavg；

（4）計(jì)算均衡之后Y’值大于Yavg部分的平均值YHav和Y’值小于Yavg部分的平均值YLav；

（5）設(shè)定預(yù)期的Y’通道平均值YDavg、大于Yavg部分的期望平均值YDHav和小于Yavg部分的期望平均值YDLav，本文中設(shè)置YDLav=120，YDavg=160，YDHav=200；

（6）按照公式（3）計(jì)算每個(gè)像素點(diǎn)新的Y 通道值；

（5）再次使用公式（1），從YUV 顏色空間轉(zhuǎn)回RGB顏色空間，然后轉(zhuǎn)換到HSV 顏色空間；

（6）結(jié)合YUV 空間和HSV 空間信息從原圖分割出紅色和藍(lán)色，并二值化（式（4））；

（7）形態(tài)學(xué)處理，并提取輪廓。

本部分各階段處理效果如圖3 所示。

圖3 顏色分割

2 交通標(biāo)志檢測(cè)

在經(jīng)過顏色分割之后，過濾掉了原始圖像中的大部分信息，但是還存在很多的干擾，本部分主要闡述從剩余輪廓篩選出交通標(biāo)志的過程。

根據(jù)剩余輪廓在原始彩色圖像上提取最小包圍矩形作為候選區(qū)域ROI，在ROI 內(nèi)提取HOG 特征和LBP特征，用于訓(xùn)練兩個(gè)不同的SVM 分類器，分別用于區(qū)域內(nèi)是否含有紅色和藍(lán)色交通標(biāo)志。

2.1 紋理特征

方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征是一種常被用來做物體檢測(cè)的特征描述子，該特征通過計(jì)算和統(tǒng)計(jì)設(shè)定區(qū)域內(nèi)的方向梯度直方圖得出。含有交通的區(qū)域會(huì)有明顯的圓形、矩形或者三角形邊緣，其方向梯度直方圖與不含有交通標(biāo)志的區(qū)域有明顯的區(qū)別。圖4 為提取HOG 特征之后的效果。經(jīng)過大量實(shí)驗(yàn)，在樣本大小為64×64 的條件下，設(shè)置block 為16×16，cell 為4×4，bin 等于9 時(shí)，效果最好。

圖4 交通標(biāo)志的HOG特征

使用單獨(dú)的HOG 特征無法區(qū)分某些極端情況下候選ROI 中是否含有交通標(biāo)志，因此采用LBP 特征與HOG 特征融合形成最終的特征。局部二值模式（Local Binary Pattern，LBP）也是一種計(jì)算機(jī)視覺中常用的特征算子，LBP 特征具有灰度不變性、旋轉(zhuǎn)不變性和計(jì)算簡(jiǎn)單的特點(diǎn)。在形成該特征的時(shí)候，同樣需要將原圖劃分為若干區(qū)域，統(tǒng)計(jì)每個(gè)區(qū)域內(nèi)的LBP 的歸一化直方圖，連接每個(gè)區(qū)域的統(tǒng)計(jì)直方圖成為最后的特征向量。經(jīng)過實(shí)驗(yàn)取每個(gè)區(qū)域?yàn)?×8 大小時(shí)，效果最好。

2.2 SVM分類

根據(jù)前文描述的方法提取HOG 特征，特征維度為6084 維；提取LBP 特征，特征長(zhǎng)度為576 維，采用特征層融合的方式將兩個(gè)特征串行為6660 維融合特征。由于特征長(zhǎng)度過長(zhǎng)，直接輸入到SVM 中，訓(xùn)練和分類過程都會(huì)非常緩慢，故采用主成分分析（PCA）進(jìn)行特征降維。經(jīng)實(shí)驗(yàn)，降維后保留1500 維左右的特征能達(dá)到最好的效果。

本實(shí)驗(yàn)采用以徑向基函數(shù)（RBF）為核函數(shù)的SVM作為分類器，訓(xùn)練了兩個(gè)分類器分別區(qū)分含有紅色交通標(biāo)志的ROI、不含交通標(biāo)志的紅色ROI 和含有藍(lán)色交通標(biāo)志的ROI、不含交通標(biāo)志的藍(lán)色ROI。正負(fù)樣本來自訓(xùn)練集經(jīng)過顏色分割后的局部彩色圖像，正樣本為含有交通標(biāo)志的區(qū)域，負(fù)樣本為不含交通標(biāo)志的區(qū)域，如圖5 所示。

圖5 正負(fù)樣本

3 交通標(biāo)志分類

經(jīng)過SVM 分類之后，樣本已經(jīng)被初分為了3 類，分別是含有紅色交通標(biāo)志、含有藍(lán)色交通標(biāo)志和不含交通標(biāo)志，接下來使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)前兩類進(jìn)行精確分類。卷積神經(jīng)網(wǎng)絡(luò)由一系列卷積層和池化層構(gòu)成，每一層的輸入數(shù)據(jù)為前一層的輸出數(shù)據(jù)，最后再連接2-3 個(gè)全連接層，用于輸出最后的分類結(jié)果。將輸出結(jié)果與物體的真實(shí)類別相比較，得出損失函數(shù)值，通過最小化損失函數(shù)來調(diào)整每一層的參數(shù)。

3.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

在文獻(xiàn)[19]中，Cires an D 等人設(shè)計(jì)了一個(gè)多列深度神經(jīng)網(wǎng)絡(luò)用于交通標(biāo)志的分類，在GTSRB 測(cè)試集上取得了比肉眼識(shí)別準(zhǔn)確率跟高的結(jié)果，達(dá)到了99.46%的準(zhǔn)確率。他們?cè)趯颖舅腿刖W(wǎng)絡(luò)之前，先做了5 種不同的預(yù)處理，每種預(yù)處理之后的結(jié)果單獨(dú)輸入5 個(gè)不同初始化但是具有相同結(jié)構(gòu)的9 層卷積神經(jīng)網(wǎng)絡(luò)中。這樣的多列深度神經(jīng)網(wǎng)絡(luò)雖然在該數(shù)據(jù)集上能取得很高的效果，但是訓(xùn)練該神經(jīng)網(wǎng)絡(luò)的時(shí)間多達(dá)幾十個(gè)小時(shí)，且在識(shí)別的時(shí)候無法滿足實(shí)時(shí)性需求。因此，本文設(shè)計(jì)了2 個(gè)十層卷積神經(jīng)網(wǎng)絡(luò)分別用于分類紅色和藍(lán)色交通標(biāo)志，訓(xùn)練時(shí)間大幅度減少，而且還有很高的分類精度，在TT100K 的單純用于測(cè)試分類的測(cè)試集上能達(dá)到98%左右的準(zhǔn)確率。

表1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示，在前6 層使用了兩個(gè)卷積層接一個(gè)池化層的模型代替了卷積層與池化層交替的結(jié)構(gòu)，然后在每一個(gè)卷積層后面增添非線性激活函數(shù)ReLU。在池化層中，使用了尺寸為2×2，步長(zhǎng)為2 的最大池化。在池化層2 后面再接上交替的卷積層和池化層進(jìn)一步提取特征。最后兩層是全連接層，在每一個(gè)全連接層后面駕駛drop 率為0.5 的dropout 層防止過擬合，最后一個(gè)全連接層的神經(jīng)元個(gè)數(shù)為最后要分類的交通標(biāo)志的類別數(shù)目。在損失函數(shù)的選擇上，使用了Softmax 作為損失函數(shù)，并使用了Adam 作為優(yōu)化損失函數(shù)的方法。

3.2 訓(xùn)練

為了訓(xùn)練該神經(jīng)網(wǎng)絡(luò)，我們使用了TT100K 數(shù)據(jù)集[20]，關(guān)于該數(shù)據(jù)集的詳細(xì)介紹在下一節(jié)中。該數(shù)據(jù)集各類別的樣本數(shù)量分布不均衡，所以在訓(xùn)練之前對(duì)數(shù)據(jù)集進(jìn)行了增廣。保持原始樣本數(shù)量大于1000 的類別的樣本數(shù)量不變，對(duì)數(shù)量小于1000 的樣本我們使用了兩種方式增廣數(shù)據(jù)集，一是將原始樣本隨機(jī)旋轉(zhuǎn)[-5°,5°]，第二中方式是將原始樣本隨機(jī)平移[-10,10]個(gè)像素位置，這樣就使得樣本數(shù)量為原始數(shù)量的3 倍。各類別樣本數(shù)量如圖8 所示。

圖6 每種類別的樣本數(shù)量

在訓(xùn)練的時(shí)候，將訓(xùn)練集的20%作為驗(yàn)證集，并設(shè)置了可變學(xué)習(xí)率，當(dāng)?shù)M(jìn)行到某個(gè)次數(shù)的時(shí)候，將學(xué)習(xí)率變?yōu)楫?dāng)前學(xué)習(xí)率的1/10，初始學(xué)習(xí)率設(shè)置為0.001。圖6 為訓(xùn)練過程中，準(zhǔn)確率和損失的變化趨勢(shì)。該網(wǎng)路的一個(gè)明顯優(yōu)勢(shì)是訓(xùn)練時(shí)間，與動(dòng)輒訓(xùn)練需要幾十個(gè)小時(shí)的深度神經(jīng)網(wǎng)絡(luò)相比，訓(xùn)練本網(wǎng)絡(luò)使用的時(shí)間不足1 個(gè)小時(shí)。

圖7 準(zhǔn)確率與損失趨勢(shì)（左為紅色交通標(biāo)志，右為藍(lán)色交通標(biāo)志）

圖8 數(shù)據(jù)集中包含的紅藍(lán)交通標(biāo)志類別

4 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估本方法的效果，在參考了其他文獻(xiàn)的數(shù)據(jù)之后，在交通標(biāo)志檢測(cè)和識(shí)別方面與一些典型方法做了多個(gè)相關(guān)對(duì)照實(shí)驗(yàn)，最主要有：一是與傳統(tǒng)的交通標(biāo)志檢測(cè)算法進(jìn)行了對(duì)比，二是與完全使用神經(jīng)網(wǎng)絡(luò)的辦法就檢測(cè)與識(shí)別同時(shí)進(jìn)行時(shí)的對(duì)比。所有實(shí)驗(yàn)均在一臺(tái)CPU 為Intel Core i7、GPU 為GTX 1080、64G 內(nèi)存的Linux 計(jì)算機(jī)上進(jìn)行。

4.1 數(shù)據(jù)集介紹

本文使用Tsinghua-Tencent 100K[20]數(shù)據(jù)集對(duì)交通標(biāo)志的檢測(cè)與識(shí)別進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)集是適合中國道路情況的、全新的開放交通標(biāo)志基準(zhǔn)，由清華大學(xué)與騰訊街景聯(lián)合推出的。整個(gè)數(shù)據(jù)集有100000 張圖片，其中包含交通標(biāo)志的圖片有9000 余張，這些圖片是不同條件下的騰訊街景圖像，大小為2048×2048 像素。包含交通標(biāo)志的圖片又分為test 測(cè)試集和train 訓(xùn)練集，其中test 集包括3073 張、train 集包括6107 張。數(shù)據(jù)集中包括大量各種光照條件下的樣本，而且部分標(biāo)志有形變、遮擋、褪色和與背景顏色相似等情況出現(xiàn)，因此該數(shù)據(jù)集能夠較好地測(cè)試交通標(biāo)志識(shí)別分類算法應(yīng)對(duì)各種復(fù)雜情況下的能力。數(shù)據(jù)集中包含的紅色和藍(lán)色交通標(biāo)志類別如圖8，幾乎涵蓋了所有中國道路上常見的紅藍(lán)標(biāo)志。在測(cè)試的時(shí)候，部分交通標(biāo)志樣本數(shù)量實(shí)在過少，故選取了樣本數(shù)量大于80 的類別，共計(jì)36 類，并按上一節(jié)所述方法進(jìn)行增廣。

4.2 交通標(biāo)志檢測(cè)

傳統(tǒng)的方法對(duì)于圓形交通標(biāo)志的檢測(cè)使用Hough變換或者最小二乘擬合的方法，使用機(jī)器學(xué)習(xí)的辦法則使用HOG 特征加SVM 或者Haar 特征加AdaBoost的辦法，在相同的數(shù)據(jù)集上，我們與這幾種方法進(jìn)行了對(duì)比，對(duì)比結(jié)果如表2 所示。從下表可以看出，本文的方法與其它方法相比，無論是在準(zhǔn)確率還是在召回率上都有明顯的優(yōu)勢(shì)，只是在處理時(shí)間上，雖然比Hough變換所用時(shí)間少，但是卻比最小二乘擬合多，這暴露出了本方法的一個(gè)可以改進(jìn)的地方。

在實(shí)驗(yàn)過程中也發(fā)現(xiàn)，本方法在有遮擋、形變和旋轉(zhuǎn)的情況下依然能從圖中檢測(cè)到交通標(biāo)志，而傳統(tǒng)方法則很難處理該情況。機(jī)器本方法則不使用形狀進(jìn)行判別，從而避免這兩種情況的干擾。相比于使用單特征的機(jī)器學(xué)習(xí)方法，本方法有更高的準(zhǔn)確率和召回率以及更低的漏檢率。

表2 檢測(cè)準(zhǔn)確率

4.3 交通標(biāo)志檢測(cè)與識(shí)別

僅用本文提出的網(wǎng)絡(luò)用于分類能取得98%的準(zhǔn)確度，但是將檢測(cè)階段聯(lián)合在一起的準(zhǔn)確度則更能說明效果。我們主要與文獻(xiàn)[20]中提出的卷積神經(jīng)網(wǎng)絡(luò)和經(jīng)典的Fast R-CNN[21]進(jìn)行了比較。表3 顯示的是與這兩種方法相比各類別的準(zhǔn)確率（FA 為Fast R-CNN 的準(zhǔn)確率，TA 為文獻(xiàn)[20]的準(zhǔn)確率，OA 為本文方法的準(zhǔn)確率），從表中數(shù)據(jù)可以看出，雖然在部分類別的分類正確率上不如文獻(xiàn)[20]中的方法和Fast R-CNN，但是總體上準(zhǔn)確率較穩(wěn)定，在部分類別的識(shí)別準(zhǔn)確率上有明顯優(yōu)勢(shì)，F(xiàn)ast R-CNN 的準(zhǔn)確率約為0.50，文獻(xiàn)20 的準(zhǔn)確率約為0.88，本文的準(zhǔn)確率約為0.91。不過在實(shí)驗(yàn)中發(fā)現(xiàn)，三種方法都存在一定程度上的漏檢，尤其是Fast R-CNN，原因在于交通標(biāo)志相對(duì)于整個(gè)圖片來說所占比例太少，暴露出不管是傳統(tǒng)方法還是深度學(xué)習(xí)的方法，在小目標(biāo)的檢測(cè)上都需要提高。

5 結(jié)語

本文主要說明了一種針對(duì)街道實(shí)景交通標(biāo)志的高效檢測(cè)和識(shí)別方法，對(duì)方法的各主要步驟進(jìn)行了詳細(xì)的說明。與傳統(tǒng)方法相比，使用了YUV 與HSV 顏色空間結(jié)合的顏色分割方法。針對(duì)傳統(tǒng)的使用顏色分割+形狀匹配的方法不能有效解決遮擋、形變和旋轉(zhuǎn)的情況，提出了使用顏色分割和SVM 檢測(cè)的方法，在顏色分割之后使用HOG 與LBP 結(jié)合的融合特征用于判定ROI 是否含有交通標(biāo)志。在精確分類的時(shí)候，使用了2 個(gè)具有相同結(jié)構(gòu)的10 層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，與其他的深度學(xué)習(xí)方法相比，在分類準(zhǔn)確率上有明顯的優(yōu)勢(shì)。

在未來，還需要對(duì)本方法進(jìn)行改進(jìn)，希望能降低檢測(cè)所用時(shí)間，針對(duì)小目標(biāo)也能有不錯(cuò)的檢測(cè)效果。

表3 各類別分類準(zhǔn)確率