田 謹(jǐn)，應(yīng) 捷

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

交通信號(hào)燈的檢測(cè)與識(shí)別是汽車輔助駕駛系統(tǒng)的重要組成部分。近年來，國內(nèi)外學(xué)者對(duì)信號(hào)燈的檢測(cè)與識(shí)別進(jìn)行了大量研究[1-9,12-15]。文獻(xiàn)[1]提出在YCbCr空間實(shí)現(xiàn)顏色分割并結(jié)合形態(tài)濾波定位信號(hào)燈，通過Gabor小波變換及2DICA算法及最近鄰分類器實(shí)現(xiàn)箭頭方向分類。文獻(xiàn)[2]提出結(jié)合亮度分割、K均值聚類及前景直方圖的交通信號(hào)燈識(shí)別方法。文獻(xiàn)[3]采用自適應(yīng)背景抑制與支持向量機(jī)識(shí)別圓形和箭頭形信號(hào)燈。文獻(xiàn)[4]采用快速徑向?qū)ΨQ變換檢測(cè)圓形信號(hào)燈。文獻(xiàn)[5]采用自適應(yīng)模板匹配進(jìn)行信號(hào)燈檢測(cè)與識(shí)別。文獻(xiàn)[6]采用高斯建模和訓(xùn)練分類器實(shí)現(xiàn)信號(hào)燈檢測(cè)與識(shí)別。文獻(xiàn)[9]采用Gabor結(jié)合PCA的特征提取方法進(jìn)行箭頭形信號(hào)燈識(shí)別。

目前仍存在難以解決的問題，例如圖像顏色失真、信號(hào)燈變形及殘缺、面積小而邊界模糊的信號(hào)燈圖像，給準(zhǔn)確檢測(cè)與識(shí)別帶來困難。本文提出一種信號(hào)燈檢測(cè)方法和Gabor濾波結(jié)合稀疏表示的信號(hào)燈識(shí)別方法。

1 交通信號(hào)燈檢測(cè)

信號(hào)燈檢測(cè)流程如圖1所示。圖像預(yù)處理包括中值濾波、頂帽變換和圖像截取處理。頂帽變換去除圖像中面積較大的均勻區(qū)域，截取圖像上半部分可以減少汽車尾燈的干擾。首先采用基于形狀特征的信號(hào)燈檢測(cè)方法。檢測(cè)信號(hào)燈的矩形背板及背板中的高亮度區(qū)域。如果檢測(cè)不到信號(hào)燈的背板，采用基于亮度的檢測(cè)方法，在圖像中搜索亮度高的類圓形區(qū)域。背板檢測(cè)通過閾值分割、連通域和形態(tài)學(xué)處理，以及類矩形檢測(cè)實(shí)現(xiàn)，矩形度計(jì)算公式見式(1)。選擇矩形度范圍在0.8～1.0，長(zhǎng)寬比范圍2.8～3.4以及區(qū)域面積在500～5 000像素的類矩形區(qū)域，然后對(duì)類矩形區(qū)域取最小外接矩形作為候選信號(hào)燈背板。在背板內(nèi)進(jìn)行亮度分割，對(duì)高亮度區(qū)域進(jìn)行類圓形檢測(cè)，圓形度計(jì)算公式如式(2)所示。提取圓形度范圍在0.6～1.0且面積在100～800像素的類圓形區(qū)域作為候選信號(hào)燈。根據(jù)檢測(cè)距離調(diào)整類矩形和類圓形區(qū)域面積的閾值。

圖1 交通信號(hào)燈檢測(cè)流程圖

(1)

其中，Px是矩形度；As是檢測(cè)區(qū)域面積；Ar是最小外接矩形的面積。

(2)

其中，C是圓形度；L是檢測(cè)區(qū)域的周長(zhǎng)；A是檢測(cè)區(qū)域的面積。

2 交通信號(hào)燈顏色識(shí)別

為減小圖像顏色失真帶來的誤差，本文首先通過矩形背板和發(fā)光區(qū)域位置關(guān)系判定信號(hào)燈顏色。若未檢測(cè)到背板，再采用RGB結(jié)合HSV顏色空間判定信號(hào)燈顏色的方法。矩形背板與發(fā)光區(qū)域位置關(guān)系判定信號(hào)燈紅綠狀態(tài)如式(3)～式(5)所示，分別是信號(hào)燈紅色、黃色和綠色的判定公式。

(3)

(4)

(5)

其中信號(hào)燈發(fā)光區(qū)域的中心坐標(biāo)為(x0，y0)，其背板坐標(biāo)為(x1，y1)，w與h分別是矩形背板的寬度與高度。

采用RGB結(jié)合HSV顏色特征值判定時(shí)，取信號(hào)燈區(qū)域內(nèi)像素顏色平均值。用R、G、B和H分別代表檢測(cè)出的信號(hào)燈區(qū)域內(nèi)R、G、B和色度H分量的平均值，h1、h2、t1和t2為根據(jù)實(shí)驗(yàn)確定的閾值，信號(hào)燈顏色判定方法如下：若Ht2，判定為紅燈；若h2h1且G>t1，為綠燈。實(shí)驗(yàn)中取h1=80，h2=30，t1=200，t2=80。采用RGB結(jié)合HSV顏色空間的方法可以減小單純采用一種顏色空間時(shí)的識(shí)別誤差。

3 交通信號(hào)燈類型識(shí)別

本文采用Gabor和稀疏表示的方法對(duì)圓形和4種箭頭形信號(hào)燈(左、右、直行和轉(zhuǎn)彎)進(jìn)行類型識(shí)別，流程如圖2所示。

圖2 交通信號(hào)燈類型識(shí)別流程圖

其中感興趣區(qū)域即檢測(cè)出的信號(hào)燈。將信號(hào)燈圖像分為訓(xùn)練圖像和測(cè)試圖像，首先對(duì)圖像進(jìn)行Gabor濾波，然后對(duì)訓(xùn)練圖像采用K-SVD(K mean - Singular Value Decomposition)算法進(jìn)行字典學(xué)習(xí)，形成過完備字典。對(duì)測(cè)試圖像利用OMP(Orthogonal Matching Pursuit)算法求解稀疏系數(shù)。利用稀疏系數(shù)與訓(xùn)練好的過完備字典進(jìn)行圖像重構(gòu)，獲得與各交通信號(hào)燈類別對(duì)應(yīng)的重構(gòu)圖像。根據(jù)測(cè)試樣本與各重構(gòu)圖像間的殘差判定測(cè)試樣本所屬交通信號(hào)燈類別。

稀疏表示[10-11]利用訓(xùn)練樣本的線性組合對(duì)測(cè)試樣本進(jìn)行描述，把交通燈的方向判別變成對(duì)多個(gè)線性回歸模型的分類。訓(xùn)練樣本圖像集合表示為式(6)。測(cè)試樣本y如式(7)所示。所有訓(xùn)練圖像結(jié)合形成字典D，如式(8)所示。

Di=[vi,1,…,vi,ni]∈Rm×ni

(6)

y=αi,1vi,1+αi,2vi,2+…+αi,nivni

(7)

D=[D1,…,Di,…Dk]=
[v1,1,…vi,1,…,vni,…,vk,nk]∈Rm×N

(8)

其中k是交通燈的類別，nk是屬于第k類的訓(xùn)練樣本數(shù)量，N是訓(xùn)練樣本總數(shù)。測(cè)試樣本y可用式(9)描述

y=Dx

(9)

基于稀疏表示的分類方法主要是根據(jù)測(cè)試樣本在各個(gè)類別中的重構(gòu)誤差來判斷，如式(10)所示。

(10)

式中Di為第i類訓(xùn)練樣本。利用稀疏表示進(jìn)行交通信號(hào)燈類型識(shí)別的流程如下：(1)輸入訓(xùn)練樣本集合以及測(cè)試樣本；(2)對(duì)字典D中各列進(jìn)行歸一化處理，對(duì)y進(jìn)行稀疏編碼；(3)逐一計(jì)算y于每個(gè)類型中的重構(gòu)誤差；(4)通過比較重構(gòu)誤差，實(shí)現(xiàn)測(cè)試樣本y類型的判別。

4 實(shí)驗(yàn)結(jié)果

4.1 信號(hào)燈檢測(cè)結(jié)果

信號(hào)燈檢測(cè)結(jié)果如圖3所示。檢測(cè)出的信號(hào)燈背板和信號(hào)燈區(qū)域如圖3(b)和圖3(c)所示。信號(hào)燈背板檢測(cè)不出時(shí)，直接在圖像中獲取高亮度區(qū)域。經(jīng)過連通域判定與形態(tài)學(xué)處理，將區(qū)域像素面積在閾值范圍內(nèi)的類圓形區(qū)域判定為候選交通信號(hào)燈。

圖3 信號(hào)燈檢測(cè)結(jié)果

4.2 信號(hào)燈類型識(shí)別結(jié)果

實(shí)驗(yàn)中對(duì)圓形、箭頭形向左、向右、向前和轉(zhuǎn)彎4種方向信號(hào)進(jìn)行識(shí)別燈。檢測(cè)到的信號(hào)燈區(qū)域經(jīng)過預(yù)處理和歸一化處理后，變?yōu)闉?6×16大小的圖像。然后進(jìn)行Gabor小波變換，通過實(shí)驗(yàn)確定濾波器尺度S=4，方向K=6，卷積模板取5×5的Gabor濾波器對(duì)圖像進(jìn)行濾波，提取交通信號(hào)燈的幅值特征。對(duì)箭頭形交通信號(hào)燈進(jìn)行描述得到的結(jié)果如圖4所示。為減小數(shù)據(jù)量，對(duì)每幅圖像經(jīng)過Gabor濾波后生成的S×K幅圖像，進(jìn)行加權(quán)平均處理，使濾波的結(jié)果還原為一幅圖像。

圖4 箭頭形交通信號(hào)燈的Gabor描述

每種類型信號(hào)燈取500幅圖像，共2 500幅進(jìn)行字典訓(xùn)練。字典訓(xùn)練過程主要與稀疏度、字典個(gè)數(shù)和迭代次數(shù)3個(gè)參數(shù)相關(guān)，不同稀疏度生成的字典不同，圖5為字典個(gè)數(shù)取60，迭代次數(shù)為40，稀疏度為10的實(shí)驗(yàn)結(jié)果。不同稀疏度和字典個(gè)數(shù)訓(xùn)練出的字典識(shí)別率不同，本實(shí)驗(yàn)取稀疏度T=10，字典個(gè)數(shù)D=200，此時(shí)訓(xùn)練的字典識(shí)別率較高。

圖5 稀疏度為10時(shí)生成的字典

字典學(xué)習(xí)之后，利用OMP算法對(duì)測(cè)試樣本的稀疏系數(shù)進(jìn)行求解。通過重構(gòu)的方式求取測(cè)試樣本與重構(gòu)圖像的殘差，實(shí)現(xiàn)交通燈的分類。信號(hào)燈識(shí)別結(jié)果如表1所示，實(shí)時(shí)性為平均每幀86 ms。文獻(xiàn)[3]提出的信號(hào)燈檢測(cè)方法，平均正確率為92.2%，召回率(Recall)為94.69%，平均處理時(shí)間為15 fps。文獻(xiàn)[4]提出的紅黃兩色燈檢測(cè)的正確率為84.93%，召回率為87.32%。文獻(xiàn)[9]提出了采用主成分分析法(PCA)與獨(dú)立分量分析(ICA)方法進(jìn)行交通信號(hào)燈類型識(shí)別的方法，信號(hào)燈識(shí)別準(zhǔn)確率小于本文結(jié)果。實(shí)驗(yàn)結(jié)果表明，基于稀疏表示的信號(hào)燈識(shí)別算法準(zhǔn)確率和實(shí)時(shí)性較好。

表1 基于稀疏表示算法的交通燈檢測(cè)與識(shí)別結(jié)果

5 結(jié)束語

本文采用檢測(cè)類矩形包含類圓形區(qū)域和高亮度區(qū)域篩選的方法實(shí)現(xiàn)信號(hào)燈檢測(cè)。交通信號(hào)燈紅綠狀態(tài)的識(shí)別采用形狀特征和RGB結(jié)合HSV顏色特征的判定方法，顏色識(shí)別率達(dá)到了99.5%，實(shí)時(shí)性為每幀86 ms。提出了Gabor濾波結(jié)合稀疏表示的交通信號(hào)燈類型識(shí)別算法，對(duì)圓形和4種箭頭形信號(hào)燈的類型識(shí)別正確率達(dá)到98.75%，漏檢率為0.75%，虛警率為1.17%。實(shí)驗(yàn)結(jié)果表明，本文提出的算法信號(hào)燈檢測(cè)與識(shí)別準(zhǔn)確率較高。對(duì)信號(hào)燈區(qū)域面積過小的圖像檢測(cè)錯(cuò)誤率較高，算法耗時(shí)較多，需要進(jìn)一步研究，改善算法性能。