朱 軍,侯振杰,陳樹越,蘇海明

(常州大學(xué) 信息科學(xué)與工程學(xué)院,江蘇 常州 213164) E-mail:jjundwayne@gmail.com

1 引 言

交通標(biāo)志因具有特定的顏色和形狀特性,相比較背景具有很高的辨識度,容易引起駕駛員的注意.交通標(biāo)志識別作為高級輔助駕駛系統(tǒng)的重要組成部分,對未來的智能駕駛系統(tǒng)(intelligent transportation system,ITS)的研究和發(fā)展具有重要意義[1].但是,復(fù)雜的自然環(huán)境給交通標(biāo)志的實(shí)時(shí)檢測和識別帶來了巨大的挑戰(zhàn).基于顏色分割和模板匹配等方法[2-4]的路標(biāo)檢測技術(shù)已經(jīng)相當(dāng)成熟,在此檢測技術(shù)的基礎(chǔ)上,如何實(shí)時(shí)高效識別交通標(biāo)志成為目前研究的熱點(diǎn).

近年來,以卷積神經(jīng)網(wǎng)絡(luò)CNN為代表的圖像處理技術(shù),在目標(biāo)識別,語義分割,以及目標(biāo)檢測上都取得了較大進(jìn)展.CNN模型通過網(wǎng)絡(luò)學(xué)習(xí)的方式,自動提取交通標(biāo)志圖像特征,完成圖像的分類,并取得很好的識別效果.基于此,很多學(xué)者探索有效的深度學(xué)習(xí)模型應(yīng)用到交通標(biāo)志方面的識別.Sermanet等[5]將多尺度圖像放入神經(jīng)網(wǎng)絡(luò)中訓(xùn)練,將不同卷積層的特征映射級聯(lián)操作,最后聯(lián)合特征輸送到全連接層進(jìn)行識別,取得不錯(cuò)的識別效果,但多尺度圖像特征的獲取也增加了模型的時(shí)間復(fù)雜度.Jin等[6]受支持向量機(jī)中鉸鏈損失函數(shù)的啟發(fā),提出利用鉸鏈損失代替交叉熵作為CNN的損失函數(shù),加快模型收斂的同時(shí),訓(xùn)練參數(shù)依舊很多.Xie等[7]將Fish準(zhǔn)則加入深度學(xué)習(xí)網(wǎng)絡(luò)中,對有交通標(biāo)志圖像的視頻流提取慢性空間不變性的特征,并用SVM作為分類器.孫偉等[8]提出CNN提取多尺度特征后,將聯(lián)合多尺度多屬性的特征放入極限學(xué)習(xí)機(jī)中分類,大大縮短訓(xùn)練時(shí)間,但交通標(biāo)志圖像識別率仍有提升空間.劉占文等[9]針對限速標(biāo)志,在CNN中加入圖模型,獲取更多的圖像結(jié)構(gòu)信息,提升了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和識別能力.Luo[10]等人構(gòu)建了多任務(wù)卷積神經(jīng)網(wǎng)絡(luò),對視頻流中每一幀中交通標(biāo)志進(jìn)行感興趣提取,細(xì)化,分類,并將所有幀的結(jié)果組合得出最終的識別結(jié)果,該方法有很好地實(shí)際應(yīng)用.段書凱等[11]提出對一種多列空間變換的卷積神經(jīng)網(wǎng)絡(luò)交通標(biāo)志識別算法,在多列CNN中分別加入空間變換網(wǎng)絡(luò)(spatial transform network,STN)[12],很好地適應(yīng)不同尺寸圖像的空間分布問題,但是多列卷積的訓(xùn)練并沒有將通道特征的空間維度信息,增加網(wǎng)絡(luò)訓(xùn)練的計(jì)算量.Zeng等[13]將CNN作為特征提取器,用加了核函數(shù)的極限學(xué)習(xí)機(jī)作為分類器,極大縮短了識別交通標(biāo)志時(shí)間,但網(wǎng)絡(luò)獲得的特征缺乏多樣性,特別是對危險(xiǎn)標(biāo)志和解除其他禁令標(biāo)志效果遠(yuǎn)低于其他方法.

針對以上問題,本文提出了一種深度特征重構(gòu)與權(quán)重分配的交通標(biāo)志識別算法.加入空間變換網(wǎng)絡(luò)STN,彌補(bǔ)CNN不能提取具有空間不變性特征的缺陷;將神經(jīng)網(wǎng)絡(luò)特征分為3個(gè)階段特征,每個(gè)階段特征按照特征的重要性分析,對通道特征進(jìn)行權(quán)重分配,完成卷積特征的重構(gòu).實(shí)驗(yàn)結(jié)果表明,經(jīng)過特征選擇后的新特征對交通標(biāo)志具有更強(qiáng)的表達(dá)能力,提高了識別交通標(biāo)志圖像的準(zhǔn)確度.

2 交通標(biāo)志識別算法概述

本文提出了一種基于不同權(quán)重分配特征映射的交通標(biāo)志識別算法,算法總框架如圖1所示.將空間變換網(wǎng)絡(luò)STN引入深度學(xué)習(xí)的識別任務(wù)中,自適應(yīng)對交通標(biāo)志進(jìn)行諸如平移,旋轉(zhuǎn),縮放,翻折等空間變換,增加訓(xùn)練樣本的多樣性,獲得更多具有空間不變性的特征.STN變換后圖像作為神經(jīng)網(wǎng)絡(luò)的輸入,對多層卷積和池化構(gòu)成的階段特征構(gòu)建通道特征之間的依賴關(guān)系,根據(jù)不同卷積特征對網(wǎng)絡(luò)識別交通標(biāo)志的貢獻(xiàn)率不同,獲取不同通道特征中的特征映射重要程度,并分配不同權(quán)重,完成3個(gè)階段特征的重構(gòu),提升有效的特征,抑制無用的特征,增強(qiáng)卷積特征的表達(dá)能力,提升識別交通標(biāo)志的準(zhǔn)確度.

圖1 交通標(biāo)志識別算法總框架Fig.1 Framework of traffic sign recognition algorithm

2.1 基于STN網(wǎng)絡(luò)的空間多樣性增強(qiáng)

理想的交通識別系統(tǒng)的主要特性是對交通標(biāo)志圖像位置,旋轉(zhuǎn)以及形變的不變性.傳統(tǒng)的CNN模型中pooling操作可以用來實(shí)現(xiàn)微小的位置不變性,但對于較大位置平移,旋轉(zhuǎn)以及形變的圖像識別效果不好.本文提出一種基于神經(jīng)網(wǎng)絡(luò)自適應(yīng)空間變換的圖像預(yù)處理方法.在圖像輸入網(wǎng)絡(luò)訓(xùn)練之前,加入空間變換網(wǎng)絡(luò),增強(qiáng)圖像空間結(jié)構(gòu)的多樣性,并為CNN網(wǎng)絡(luò)識別交通標(biāo)志提供充足的空間特征信息.STN作為識別網(wǎng)絡(luò)的前級網(wǎng)絡(luò),通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練,能夠自適應(yīng)地對數(shù)據(jù)進(jìn)行空間變換,可以進(jìn)一步提高圖像識別的準(zhǔn)確度.

STN的本質(zhì)是通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),對交通標(biāo)志圖像進(jìn)行多種形式的仿射變換,并利用反向傳播算法,自適應(yīng)學(xué)習(xí)變換,獲取具有空間多樣性的圖像.在保證樣本圖像多樣性的同時(shí),去除交通標(biāo)志圖像中的噪聲和冗余信息,有利于網(wǎng)絡(luò)正確識別交通標(biāo)志.圖像的仿射變換過程是通過2×3維度的變換矩陣對交通標(biāo)志圖像進(jìn)行平移、縮放、旋轉(zhuǎn)等操作,變換公式可以表示為

(1)

(2)

(3)

其中,θ13,θ23表示圖像進(jìn)行左右平移以及圖像進(jìn)行上下平移的像素,θ11,θ22表示圖像在水平方向和垂直方向的縮放尺度,Aθ表示圖像經(jīng)過θ角度旋轉(zhuǎn)的變換矩陣,α表示圖像經(jīng)過旋轉(zhuǎn)之后的狀態(tài),(x,y)表示交通標(biāo)志圖像的像素值,公式(1)表示圖像經(jīng)過平移變換,公式(2)表示圖像進(jìn)行縮放操作,公式(3)表示圖像旋轉(zhuǎn)的過程.

空間網(wǎng)絡(luò)主要包括局部網(wǎng)絡(luò),網(wǎng)格生成器以及采樣器3個(gè)部分,STN網(wǎng)絡(luò)的結(jié)構(gòu)示意圖如圖2.交通標(biāo)志圖像經(jīng)過去除光照的預(yù)處理方法后,輸送到含有多層卷積和池化操作的局部網(wǎng)絡(luò)中,得到初始維度為2×3的變換矩陣A1;利用變換矩陣A1建立網(wǎng)格采樣,得到期望的輸出圖像A2;利用STN網(wǎng)絡(luò)的輸入圖像與輸出圖像一一對應(yīng)關(guān)系,對輸入圖像進(jìn)行雙線性插值,完成變換后的圖像A3為識別模塊的輸入.網(wǎng)格生成器是根據(jù)局部網(wǎng)絡(luò)獲得的參數(shù)來創(chuàng)建定位網(wǎng)絡(luò),這是一組點(diǎn)集,即輸入映射經(jīng)過采樣產(chǎn)生期望的轉(zhuǎn)換輸出.采用逆變換的方法,得到輸出像素點(diǎn)的對應(yīng)值,變換公式如下:

(4)

圖2 STN結(jié)構(gòu)示意圖Fig.2 STN structure

采樣器的作用就是保證STN網(wǎng)絡(luò)自適應(yīng)變換后輸出圖像的準(zhǔn)確性,建立輸出與輸入上所有像素點(diǎn)灰度值聯(lián)系.采樣器可以用雙線性差值方法,對輸入像素點(diǎn)采樣,獲取輸入圖像變換后的像素值,像素構(gòu)成的圖像即為所求的輸出圖像.采樣公式表示為:

(5)

2.2 基于重構(gòu)CNN通道特征的交通標(biāo)志識別

受SE-Network[14],Network-in-Network[15],GoogleNet[16]等新型網(wǎng)絡(luò)的啟發(fā),提出了一種基于重構(gòu)CNN特征的交通標(biāo)志識別算法.采用一種全新的特征重標(biāo)定策略來建立模型來構(gòu)建特征通道數(shù)之間的依賴關(guān)系,在空間維度層面提升網(wǎng)絡(luò)的學(xué)習(xí)性能.通過網(wǎng)絡(luò)學(xué)習(xí)進(jìn)行特征選擇,分配特征權(quán)重,獲取不同特征對網(wǎng)絡(luò)識別圖像的貢獻(xiàn)率,依照貢獻(xiàn)率有用特征增強(qiáng),并抑制無用的特征,重構(gòu)CNN特征的具體過程如圖3所示.圖中的X,U表示多層卷積特征,X*表示經(jīng)過重構(gòu)的新特征,特征重構(gòu)前后的維度相同,都為H×W×C,保證重構(gòu)特征不會影響識別模塊的反向傳播求導(dǎo)過程.CNN訓(xùn)練得到特征后,加入全局池化模型,對卷積特征進(jìn)行壓縮,獲得具有全局信息的特征;并通過網(wǎng)絡(luò)學(xué)習(xí)的方式得到不同通道特征映射需要分配的權(quán)重;最后,利用自適應(yīng)學(xué)習(xí)的權(quán)重完成網(wǎng)絡(luò)層特征重標(biāo)定.

圖3 重構(gòu)CNN特征的流程Fig.3 Process of reconstructing CNN features

2.2.1 特征壓縮

特征壓縮的目的是獲取CNN訓(xùn)練交通標(biāo)志圖像中的全局信息.CNN中的每個(gè)通道學(xué)習(xí)到濾波器都對局部感受野操作,因此無法利用特征映射中的上下文信息,而且較低網(wǎng)絡(luò)層上其感受野尺寸都是很小的,這樣情況就會更嚴(yán)重.通過空間維度對特征進(jìn)行壓縮,將二維的特征變成一個(gè)實(shí)數(shù),這個(gè)實(shí)數(shù)從某種程度具有全局的感受野,代表圖像的全局特征,從而使其具有全局的感受野,使得網(wǎng)絡(luò)低層也能利用全局信息.輸出的維度和輸入的特征通道數(shù)相匹配.特征壓縮的公式可以表示為:

(6)

其中,zc表示通道特征經(jīng)過壓縮后的結(jié)果,Fsq(·) 為圖像特征壓縮函數(shù),uc表示卷積神經(jīng)網(wǎng)絡(luò)中獲得特征,H,W是特征的高度和寬度,壓縮后的特征表示特征通道上響應(yīng)的全局分布,使得靠近輸入的網(wǎng)絡(luò)層也可以獲得全局的感受野.

特征壓縮的操作可以看成是對通道特征進(jìn)行的全局池化.全局池化在Network-in-Network網(wǎng)絡(luò)中被提出,并看作是卷積神經(jīng)網(wǎng)絡(luò)中一種特殊的池化方式,常見的池化方式主要包括最大池化,平均池化和全局池化等.全局池化使用更少的特征數(shù)據(jù)表示圖像的特征信息,減少參數(shù)量的訓(xùn)練,加快網(wǎng)絡(luò)識別圖像;同時(shí)獲得網(wǎng)絡(luò)層的全局信息,避免模型在反向傳播過程中陷入局部最小值,提高網(wǎng)絡(luò)的學(xué)習(xí)性能.全局池化還可以放入全連接層前面,并取代一些全連接網(wǎng)絡(luò)訓(xùn)練,提升網(wǎng)絡(luò)的訓(xùn)練速度.通過全局池化對通道特征進(jìn)行壓縮,獲取CNN網(wǎng)絡(luò)中的全局特征,并為特征的權(quán)重分配提供充足的信息和依據(jù).

2.2.2 特征權(quán)重分配

與機(jī)器學(xué)習(xí)中的特征權(quán)重分配不同,本文提出在CNN特征選擇的過程中,利用神經(jīng)網(wǎng)絡(luò)反向傳播,自適應(yīng)獲取分配給通道特征的權(quán)重,提升交通標(biāo)志識別的準(zhǔn)確度.由于CNN訓(xùn)練分類任務(wù)時(shí),網(wǎng)絡(luò)層不同通道特征對識別圖像的貢獻(xiàn)率不同,需要對卷積特征進(jìn)行特征選擇.特征選擇的本質(zhì)是對特征進(jìn)行重要性分析,分配特征不同權(quán)重.對分類任務(wù)貢獻(xiàn)率高的特征賦予大的權(quán)重值,刺激網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí);對于無效或者貢獻(xiàn)率低的特征則采取抑制的手段.因此,在深度學(xué)習(xí)的識別交通標(biāo)志任務(wù)中分配特征權(quán)重是很有必要的.

特征分配權(quán)重的過程主要包括特征重要性分析和權(quán)重獲取兩個(gè)重要的部分,具體結(jié)構(gòu)如圖4所示.選取網(wǎng)絡(luò)層某層卷積特征進(jìn)行特征壓縮,壓縮后的特征經(jīng)過多層全連接學(xué)習(xí)后,完成特征重要性分析,最后用sigmoid函數(shù)獲取特征分配所需要的權(quán)重.其中,FC1和FC2表示全連接層,ReLU表示用于增強(qiáng)特征非線性表達(dá)能力的激活函數(shù).

圖4 特征分配權(quán)重Fig.4 Feature assignment weights

在進(jìn)行特征權(quán)重分配之前,需要對深度網(wǎng)絡(luò)中的通道特征進(jìn)行重要性分析.通道的重要性是通過壓縮后的特征來體現(xiàn)的,全局池化后的特征能夠表示網(wǎng)絡(luò)的上下文信息,利用多層全連接層進(jìn)行特征重要性分析,并完成重要特征的提取.全連接的目的就是將特征重新通過權(quán)重矩陣組成完整的特征映射,CNN加入多層全連接層,大大增加模型非線性表達(dá)能力.在重構(gòu)CNN特征的過程中,需要防止學(xué)習(xí)的權(quán)重參數(shù)過多,而影響整個(gè)網(wǎng)絡(luò)識別交通標(biāo)志.因此,特征重要性分析時(shí),選用2層全連接進(jìn)行網(wǎng)絡(luò)訓(xùn)練,加入中間層ReLU激活函數(shù)層,獲得更多的非線性特征,可以很好地?cái)M合通道間復(fù)雜的相關(guān)性.圖像分類時(shí),選取某層卷積特征的通道為192,特征經(jīng)全局池化壓縮后的維度為1×1×192,并引入超參數(shù)降低率r=16,全連接1特征重組后,特征維度降低為1×1×92/16=1×1×12;對降維的特征進(jìn)行ReLU操作,由于重構(gòu)特征需要192個(gè)權(quán)重分配,全連接2需要將1×1×12的特征維度升為1×1×12×16=1×1×192,網(wǎng)絡(luò)需要訓(xùn)練參數(shù)數(shù)目為192×16=2304,而一般兩層全連接學(xué)習(xí)所需要的訓(xùn)練參數(shù)為192×192=36864個(gè),極大地減少參數(shù)學(xué)習(xí)和訓(xùn)練網(wǎng)絡(luò)的時(shí)間復(fù)雜度.因此,2層全連接和中間層ReLU的結(jié)構(gòu),保證分析重要特征時(shí),篩選出更多具有非線性表達(dá)能力強(qiáng)的特征;同時(shí),引入降低率r,降低全連接過程的參數(shù)學(xué)習(xí),從而避免了重組特征過程中,因過多網(wǎng)絡(luò)參數(shù)學(xué)習(xí),而影響整個(gè)識別網(wǎng)絡(luò)對于交通標(biāo)志重要特征的選取.

完成特征通道的重要性分析后,需要對不同特征分配不同權(quán)重值.由于權(quán)重值大小在[0,1]區(qū)間,可以選擇激活函數(shù)Sigmoid作為分配通道特征的重要依據(jù).分配權(quán)重的過程類似于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,rnn)門的機(jī)制.對重要的特征通道開啟,對無效的特征通道關(guān)閉.得到不同通道特征的權(quán)重值,進(jìn)而顯示地建立特征通道數(shù)之間的相關(guān)性.特征通道分配權(quán)重的公式如下:

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))

(7)

2.2.3 特征重標(biāo)定

對CNN網(wǎng)絡(luò)中的特征壓縮和分配權(quán)重之后,對原始的CNN通道特征進(jìn)行重新標(biāo)定,獲得具有更強(qiáng)表達(dá)能力的特征,提高網(wǎng)絡(luò)對交通標(biāo)志識別.特征重標(biāo)定的過程是將經(jīng)過壓縮的CNN特征放入多層全連接層中,并使用Sigmoid函數(shù)獲取不同通道特征的權(quán)重,每次迭代訓(xùn)練過程中都會獲取分配特征的權(quán)重,訓(xùn)練的權(quán)重,網(wǎng)絡(luò)通過特征的重要性程度,自適應(yīng)對圖像特征分配權(quán)重.最后,乘法逐通道加權(quán)之前的特征,實(shí)現(xiàn)對CNN特征的重標(biāo)定.特征重標(biāo)定的公式可以表示為:

(8)

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)環(huán)境是在ubuntu16.04 64位操作系統(tǒng),CPU為2.6GHz,內(nèi)存為8G,顯卡GTX 1080 Ti 10核24G的服務(wù)器上運(yùn)行,使用Tensorflow,keras等深度學(xué)習(xí)框架訓(xùn)練數(shù)據(jù).

3.1 數(shù)據(jù)集

在公開的德國交通數(shù)據(jù)集(Germany Traffic Sign Recognition Benchmark,GTSRB)上進(jìn)行測試,其中訓(xùn)練集有39209張,測試集有12630張,共有43類交通標(biāo)志.原始彩色圖像中都包含一個(gè)交通標(biāo)志,標(biāo)志周圍帶有10%的邊界,圖像像素從15×15到250×250大小不等,而且不一定是方形的.網(wǎng)絡(luò)訓(xùn)練采用灰度圖像,因?yàn)榛叶葓D的識別率在保證和彩色圖相差無幾的情況下,可以更快完成圖像訓(xùn)練.深度學(xué)習(xí)網(wǎng)絡(luò)識別目標(biāo)圖像取相同尺寸的圖像,圖像縮放為32×32.

3.2 實(shí)驗(yàn)設(shè)置

在CNN對交通標(biāo)志圖像識別之前,需要對網(wǎng)絡(luò)的關(guān)鍵參數(shù)設(shè)置,使得CNN網(wǎng)絡(luò)朝著正確方向進(jìn)行訓(xùn)練,獲得損失函數(shù)中的最小值,從而獲得最佳的識別效果.本文選取CNN結(jié)構(gòu)主要包括多個(gè)5×5的卷積核,多個(gè)尺度(2×2,4×4,8×8)的池化操作進(jìn)行下采樣,以及全連接層進(jìn)行圖像分類.為了防止CNN反向傳播過程中出現(xiàn)梯度損失和過擬合,選用relu作為激活函數(shù).在每次卷積操作后,加入BN(Batch Normalization)操作,將每次訓(xùn)練后特征變換為符合均值為0方差為1正太分布數(shù)據(jù),并引入scale和shift,對正太分布的數(shù)據(jù)進(jìn)行變形,解決傳統(tǒng)CNN因?yàn)樘喾蔷€性特征表達(dá)出現(xiàn)網(wǎng)絡(luò)收斂速度過慢的問題,提升識別交通標(biāo)志的效率.在訓(xùn)練時(shí)對卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化采用SGD_Nesterov(Momentum=0.9,Weight decay=1e-4,Learning rate=1e-3),RMSprop(alpha=0.99,Weight decay=0,Learning rate=1e-5)和Adam(beta1=0.9,beta2=0.999,e=1e-8,Weight decay=0,Learning rate=1e-4)方法.訓(xùn)練中每批次的交通標(biāo)志圖像數(shù)目為128,充分利用GPU,并加速訓(xùn)練速度.

對整個(gè)網(wǎng)絡(luò)訓(xùn)練80次迭代,得到的損失函數(shù)曲線如圖5所示.SGD_Nesterov優(yōu)化器在網(wǎng)絡(luò)迭代60次完成收斂,RMSprop完成收斂至少需要40次迭代,而adam在CNN迭代20次完成最終的收斂.這說明adam優(yōu)化器在訓(xùn)練的過程中自適應(yīng)地調(diào)整各個(gè)參數(shù)的學(xué)習(xí)率,并且快速完成網(wǎng)絡(luò)的收斂.帶有牛頓加速法的隨機(jī)梯度下降(SGD_Nesterov)雖然設(shè)置了更高的學(xué)習(xí)率,但其收斂速度仍然比adam和RMSprop優(yōu)化器收斂慢.這充分體現(xiàn)了Adam具有很好的自適應(yīng)學(xué)習(xí)率的調(diào)整能力,使得該優(yōu)化器很適合對交通標(biāo)志這種高維度和大數(shù)據(jù)集的凸優(yōu)化,完成對交通標(biāo)志的準(zhǔn)確識別.

圖5 不同優(yōu)化函數(shù)下的損失值Fig.5 Loss under different optimization functions

3.3 STN增加圖像的多樣性

深度學(xué)習(xí)在識別任務(wù)過程中,通常為了增加樣本的多樣性,會對圖像進(jìn)行空間變換,使得數(shù)據(jù)在網(wǎng)絡(luò)識別過程中具有泛化能力.常見的數(shù)據(jù)增強(qiáng)的方法主要包括平移,旋轉(zhuǎn),翻折,縮放等等.為了驗(yàn)證STN網(wǎng)絡(luò)對圖像進(jìn)行自適應(yīng)空間變換的能力,選取任意0～15度的旋轉(zhuǎn)變換后的圖像,任意0～15%縮放變換后的交通標(biāo)志,以及任意0～10%平移變換后圖像分別放入網(wǎng)絡(luò)模型中訓(xùn)練,并比較這幾種變換方式對交通標(biāo)志的識別效果.圖6中給出交通標(biāo)志圖像經(jīng)過STN變換前后的效果,可以發(fā)現(xiàn)網(wǎng)絡(luò)自適應(yīng)對圖像進(jìn)行幾何變換后,去除圖像冗余的背景信息,使得圖像更有利于被CNN分類和識別.

圖6 經(jīng)過STN網(wǎng)絡(luò)變換前后的圖像Fig.6 Image before and after STN network transformation

變換類型識別率(%)位移(%)旋轉(zhuǎn)(°)縮放(%)訓(xùn)練集測試集00010098.03100010098.12015010097.8910151010098.29STN10098.49

表1給出圖像經(jīng)過數(shù)據(jù)增強(qiáng)和加入STN網(wǎng)絡(luò)后對交通標(biāo)志識別的結(jié)果,對圖像的變換操作來自Committee of CNNS[17]中數(shù)據(jù)增強(qiáng)的方法,選取平移10%,旋轉(zhuǎn)15度以及縮放15%后的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).隨著圖像隨機(jī)變換種類的增多,交通標(biāo)志在網(wǎng)絡(luò)識別任務(wù)中表現(xiàn)也會變得更好.其中,經(jīng)過三種任意方式變換圖像最終的識別率可以達(dá)到97.84%,這說明訓(xùn)練時(shí)樣本的多樣性對神經(jīng)網(wǎng)絡(luò)識別圖像很重要.同時(shí),加入STN網(wǎng)絡(luò)的模型對交通標(biāo)志識別的準(zhǔn)確度可以達(dá)到98.29%,比使用數(shù)據(jù)增強(qiáng)的最好識別效果提升0.45%,這說明STN網(wǎng)絡(luò)的使用可以很好的對原始的輸入樣本進(jìn)行矯正,在網(wǎng)絡(luò)中獲得具有空間不變性特征,使其能夠更好的分類交通標(biāo)志.

3.4 深度特征重構(gòu)

在對深度特征重構(gòu)和分配權(quán)重的時(shí)候需要注意以下兩點(diǎn):第一,CNN訓(xùn)練獲得網(wǎng)絡(luò)層包括卷積層和池化層,對深度特征重構(gòu)的是卷積層特征,而不是池化層的特征,這是因?yàn)槌鼗瘜拥淖饔檬菍矸e特征的下采樣操作,本質(zhì)上也屬于卷積層特征,而原始卷積特征包含了重構(gòu)特征更多可能性;第二,CNN包含很多的卷積層,對所有的卷積特征都進(jìn)行重構(gòu),會破壞原有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),不利于保證網(wǎng)絡(luò)對交通標(biāo)志識別有著的泛化能力.因此,選擇合適的卷積特征進(jìn)行重構(gòu),改變通道特征的空間維度,有利于提升識別交通標(biāo)志網(wǎng)絡(luò)的性能.為了方便卷積特征的選取,將多層卷積特征和池化特征稱為階段特征(stage feature,sf),在每個(gè)階段特征中選取卷積特征進(jìn)行重構(gòu).

在重構(gòu)通道特征的過程中,特征重要性分析決定最終的特征權(quán)重分配.因此,確定特征重要性分析中的超參數(shù)降低率r大小影響最終識別效果.當(dāng)降低率過高時(shí),丟失很多的全局信息;當(dāng)降低率過低時(shí),增加多層全連接的參數(shù)計(jì)算以及網(wǎng)絡(luò)訓(xùn)練的時(shí)間復(fù)雜度.表2給出了不同降低率對第一階段特征的最后一層卷積特征做重構(gòu)處理,得到的識別率情況和每步訓(xùn)練所需時(shí)間對比.卷積特征的通道數(shù)為192,降低率選取4,8,16,32這4組數(shù)據(jù)進(jìn)行訓(xùn)練,則重構(gòu)特征過程需要訓(xùn)練額外的網(wǎng)絡(luò)學(xué)習(xí)參數(shù)為9212,4608,2304,1152.當(dāng)r=16時(shí),交通標(biāo)志最高識別率可以達(dá)到98.84%,而加入STN網(wǎng)絡(luò)無重構(gòu)特征的最高識別率為98.45%,識別率提高了0.39%;當(dāng)r=4時(shí),對交通標(biāo)志識別準(zhǔn)度提升也有0.24%.這說明一定程度的重構(gòu)卷進(jìn)特征會提高交通標(biāo)志識別率,當(dāng)r=16時(shí),特征在神經(jīng)網(wǎng)絡(luò)中表達(dá)能力最強(qiáng).在多組訓(xùn)練所需時(shí)間相差不大的情況下,選取r為16作為特征分析中全連接層的降低率比.

為了研究階段特征中需要重構(gòu)特征的位置,設(shè)置在同一階段特征里,分別對不同的卷積特征進(jìn)行重構(gòu),并比較重構(gòu)特征之后的圖像識別效果.以第一階段特征為例,網(wǎng)絡(luò)階段包含5個(gè)卷積層和1個(gè)池化層,卷積核的數(shù)目為16,32,64,128,192,卷積核的大小為5×5,pooling窗口大小為2×2的尺度.表3給出經(jīng)過50次迭代訓(xùn)練后,第一階段不同位置卷積特征重構(gòu)后對圖像的識別結(jié)果,特征C1,C2,C3,C4,C5表示5個(gè)卷積層特征.當(dāng)重構(gòu)特征C1時(shí),出現(xiàn)重構(gòu)特征后的網(wǎng)絡(luò)對交通標(biāo)志識別率最低,這是由于通道權(quán)重的范圍在(0,1),在網(wǎng)絡(luò)較深反向傳播優(yōu)化時(shí)會在靠近輸入層容易出現(xiàn)梯度消散的情況,導(dǎo)致模型難以優(yōu)化,影響最終的識別效果;當(dāng)重構(gòu)特征C5時(shí),網(wǎng)絡(luò)識別交通標(biāo)志效果達(dá)到最優(yōu),這是因?yàn)槎鄬泳矸e后的特征包含之前卷積篩選的特征,多層卷積層是為了增加網(wǎng)絡(luò)非線性表達(dá)能力,重構(gòu)特征C5的過程相當(dāng)于是對前面所有同一階段特征不同卷積特征重構(gòu)會對交通標(biāo)志識別產(chǎn)生影響,同樣的,不同階段特征同一位置特征重構(gòu)也會對圖像識別任務(wù)產(chǎn)生影響.表4給出某一階段的特征重構(gòu)對交通標(biāo)志識別準(zhǔn)確度的影響.重構(gòu)第一階段特征后,交通標(biāo)志的識別率最高達(dá)98.84%,比沒有重構(gòu)CNN特征的識別率提高0.35%.同樣的,重構(gòu)第二,第三階段特征后,識別率也分別提高了0.2%和0.24%.這說明不同階段特征重構(gòu)會對圖像識別產(chǎn)生影響,并且重組后的特征能在神經(jīng)網(wǎng)絡(luò)中更好地表達(dá).表5給出多個(gè)階段的特征重構(gòu)對交通標(biāo)志識別準(zhǔn)確度的影響.對第二和第三階段獲得重構(gòu)特征,圖像的識別率可以達(dá)到99.14%,比CNN特征高出0.65%,遠(yuǎn)高于單個(gè)階段特征最高識別效果提升的幅度0.35%.其中,對三個(gè)階段的特征重構(gòu),最好識別效果可以達(dá)到99.32%.實(shí)驗(yàn)表明,多階段的特征重構(gòu)可以共存,并沒有抑制網(wǎng)絡(luò)特征的表達(dá).更多的特征重構(gòu),對CNN通道特征更好地進(jìn)行權(quán)重分配,分配大的權(quán)重給對識別圖像貢獻(xiàn)率大的特征,并抑制無效特征,有利于CNN識別交通標(biāo)志.

表2 不同降低率r對應(yīng)的識別率與時(shí)間
Table 2 Rate and time to different reduction rates r

降低率r識別率(%)訓(xùn)練時(shí)間(μs)498.69838898.788461698.848613298.72904

表3 第一階段不同位置特征重構(gòu)后的識別結(jié)果
Table 3 Results after reconstruction of different
position features in the first stage

特征識別率(%)STN+CNN特征98.45STN+重構(gòu)特征C197.96STN+重構(gòu)特征C298.53STN+重構(gòu)特征C398.65STN+重構(gòu)特征C498.61STN+重構(gòu)特征C598.84

表4 重構(gòu)某一階段特征的識別結(jié)果
Table 4 Reconstruction of the results of a stage feature

特征識別率(%)CNN特征98.49重構(gòu)sf198.84重構(gòu)sf298.69重構(gòu)sf398.73

圖7,圖8,圖9中給出了重構(gòu)3個(gè)階段特征的權(quán)重分配情況,重構(gòu)階段特征的通道數(shù)分別為192,256,128.圖中的橫坐標(biāo)表示特征通道channel,縱坐標(biāo)表示特征分配的權(quán)重weight,也可以叫做特征的重要程度,范圍為0-1.第一階段特征重構(gòu)的劇烈程度低于第二階段和第三階段特征重構(gòu),這是由于隨著網(wǎng)絡(luò)層的增加,提取的CNN特征也變得更加復(fù)雜,重構(gòu)特征的可能性也變得多樣性.其中,第二階段特征權(quán)重分配情況變化最多, 這表明特征通道數(shù)也會決定卷積特征的重構(gòu),通道數(shù)越多,重構(gòu)特征過程也會更加復(fù)雜.并且,對3個(gè)階段特征分配權(quán)重值大多都是超過0.5,這表明重構(gòu)階段特征并沒有完全破壞原有的神經(jīng)網(wǎng)絡(luò),而是對通道特征進(jìn)行重要性分析,對卷積特征進(jìn)行選擇,有效特征進(jìn)行增強(qiáng),無效特征則進(jìn)行抑制,提升識別交通標(biāo)志網(wǎng)絡(luò)的性能.

表5 重構(gòu)多個(gè)階段特征的識別結(jié)果
Table 5 Reconstruction results of multiple stage features

特征識別率(%)CNN特征98.49重構(gòu)sf1+重構(gòu)sf298.91重構(gòu)sf1+重構(gòu)sf399.12重構(gòu)sf2+重構(gòu)sf399.14重構(gòu)sf1+重構(gòu)sf2+重構(gòu)sf399.32

圖7 重構(gòu)第一階段特征的權(quán)重Fig.7 Weight of reconstructing the first stage feature

圖8 重構(gòu)第二階段特征的權(quán)重Fig.8 Weight of reconstructing the second stage feature

本文提出的STN+重構(gòu)CNN特征的網(wǎng)絡(luò)與let-5,Alexnet,VGG[18],Google-net以及殘差網(wǎng)絡(luò)ResNet[19]等多個(gè)網(wǎng)絡(luò)對交通標(biāo)志識別效果進(jìn)行對比,結(jié)果如表6所示.Let-5和Alexnet屬于輕型CNN,優(yōu)點(diǎn)是網(wǎng)絡(luò)簡單,能夠快速完成圖像的識別任務(wù);缺點(diǎn)是模型過于簡單,卷積特征表達(dá)能力不強(qiáng),對于交通標(biāo)志圖像的識別率也只有87.26%和94.82%.VGG,Google-net,ResNet屬于深層CNN,深度特征具有很強(qiáng)是非線性表達(dá)能力,其中,ResNet的識別率高達(dá)到98.28%,但這類網(wǎng)絡(luò)往往訓(xùn)練時(shí)間較長.本文提出的方法,在CNN訓(xùn)練圖像之前,加入STN空間變換,自適應(yīng)對圖像進(jìn)行空間變換,消除圖像的幾何噪聲和背景信息,只保留輸入圖像感興趣的部分.為了防止過擬合以及無效特征的過度使用,對CNN特征進(jìn)行重構(gòu),按照不同通道特征的重要程度,對特征分配權(quán)重,從空間維度上對網(wǎng)絡(luò)特征進(jìn)行選擇,激勵(lì)有效的特征,抑制無效的特征.因此,STN+重構(gòu)CNN特征的方法識別效果達(dá)到99.32%,遠(yuǎn)高于其他一些經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型.

圖9 重構(gòu)第三階段特征的權(quán)重Fig.9 Weight of reconstructing the third stage feature

表6 交通標(biāo)志在經(jīng)典網(wǎng)絡(luò)模型上的識別結(jié)果
Table 6 Results of traffic signs on the classic network mode

網(wǎng)絡(luò)模型識別結(jié)果(%)Let-587.26Alexnet94.82VGG97.31Googlenet98.02ResNet98.28STN+重構(gòu)CNN特征99.32

本文方法分別與GABOR+LBP+HOG多特征融合[20],人眼直接識別[21],Committee of CNNS,Multi-Scale-CNN[5],CNN+KELM[22],加入空間變換網(wǎng)絡(luò)沒有重構(gòu)CNN特征,加入重構(gòu)特征的ResNet等方法進(jìn)行對比,結(jié)果如表7所示, 除了前面兩種方法,其余方法都是采用深度學(xué)習(xí)的方法識別交通標(biāo)志.本文在GTSRB數(shù)據(jù)集上的結(jié)果在這幾個(gè)經(jīng)典算法中,識別效果僅次于CNN+LELM算法.其中,CNN+ELM方法中加入不同顏色空間信息,識別率高達(dá)99.54%.Committee of CNNS方法雖然獲得圖像的識別率達(dá)到99.17%,但訓(xùn)練時(shí)間過長,很難達(dá)到實(shí)時(shí)性要求.其他經(jīng)典算法的識別率均低于99%.本文方法迭代1次訓(xùn)練過程只需要30s,雖然STN+CNN網(wǎng)絡(luò)模型迭代1次所需要時(shí)間為20s,但是該網(wǎng)絡(luò)模型遠(yuǎn)低于STN+重構(gòu)特征方法的識別效果.因此,本文提出的基于重構(gòu)特征與權(quán)重分配的交通標(biāo)志的識別在識別的準(zhǔn)確度以及識別圖像的效率都有著一定的優(yōu)勢.

表7 與經(jīng)典算法對比
Table 7 Comparison with classic algorithms

網(wǎng)絡(luò)模型識別結(jié)果(%)GABOR+LBP+HOG97.04Human average98.81Committee of CNNS99.17Multi-Scale CNN98.31CNN+KELM99.54STN+CNN98.49重構(gòu)特征+ResNet98.88STN+重構(gòu)CNN特征99.32

4 總 結(jié)

本文提出了重構(gòu)深度特征的交通標(biāo)志識別算法,加入預(yù)處理STN網(wǎng)絡(luò),獲得具有多樣性的空間特征,去除冗余信息,保留圖像的感興趣區(qū)域.并對深度特征進(jìn)行重構(gòu),充分考慮不同卷積特征對網(wǎng)絡(luò)識別圖像的貢獻(xiàn)率不同,對不同通道特征進(jìn)行加權(quán)操作,激勵(lì)高效特征,抑制無效特征,重構(gòu)后的特征表達(dá)能力增強(qiáng).

針對空間特征增強(qiáng)以及不同階段特征的權(quán)重分配,突出重要特征,消除無用特征,反向傳播時(shí),CNN網(wǎng)絡(luò)更易獲得較小損失值,優(yōu)化網(wǎng)絡(luò)模型.但圖像尺度歸一化,且卷積核的大小都是固定,導(dǎo)致網(wǎng)絡(luò)會丟失部分邊緣信息.下一步工作,針對識別錯(cuò)誤的圖像以及提取特征的卷積核進(jìn)行多尺度的方法,獲取更多圖像的局部特征,進(jìn)一步提升交通標(biāo)志識別效果.