蔡 凱,周永霞

(中國計(jì)量大學(xué) 信息工程學(xué)院,浙江 杭州 310018)

由于無人駕駛的蓬勃發(fā)展,車載輔助系統(tǒng)是近年來研究的熱點(diǎn)。其核心的步驟之一便是如何能夠快速、準(zhǔn)確地理解前方道路的信息。在這之中,由于交通標(biāo)志所含有的有效信息最多,因此對(duì)交通標(biāo)志的快速檢測(cè)與識(shí)別是駕駛輔助系統(tǒng)的關(guān)鍵[1-2]。

近年來,國內(nèi)外的學(xué)者對(duì)交通標(biāo)志的檢測(cè)與識(shí)別有諸多研究。在傳統(tǒng)算法中,一方面,通過交通標(biāo)志的顏色進(jìn)行檢測(cè),KAMADA H等人[3]提出了根據(jù)特定的RGB顏色分量的強(qiáng)度與RGB的強(qiáng)度之和的顏色比的方法。ESCALERA A等人[4]也提出了一種通過RGB相關(guān)性閾值進(jìn)行分割的方法。MIURA J[5]提出基于YUV的方法,ARNOUI P[6]提出通過HIS彩色空間進(jìn)行檢測(cè)的方法;另一方面,通過交通標(biāo)志的形狀進(jìn)行檢測(cè)。MALDONADO-BASCON S[7],LIU H[8]提出了基于徑向?qū)ΨQ的算法。MATHIAS M等人[9]分別將現(xiàn)有的部分交通標(biāo)志檢測(cè)算法在德國交通標(biāo)志數(shù)據(jù)集和比利時(shí)交通標(biāo)志數(shù)據(jù)集進(jìn)行性能評(píng)估。

隨著深度學(xué)習(xí)的發(fā)展,業(yè)界普遍認(rèn)為深度學(xué)習(xí)在圖像方面的表現(xiàn)是優(yōu)于某些傳統(tǒng)方法的。尤其在目標(biāo)檢測(cè)方面取得了巨大的進(jìn)展,通過諸多學(xué)者的不懈努力,提出了SPPNet[10]，F(xiàn)ast R-CNN[11],Faster R-CNN[12],YOLO[13]和SSD[14]等諸多目標(biāo)檢測(cè)算法。使得基于卷積網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法在檢測(cè)速度和檢測(cè)精度上都有了大幅度的提高。JIN J Q等[15]提出了使用鉸鏈損失隨機(jī)梯度下降的優(yōu)化神經(jīng)網(wǎng)絡(luò)的方法。QIAN R等[16]提出了一種基于區(qū)域的深度卷積神經(jīng)網(wǎng)絡(luò)的方法。

在數(shù)據(jù)集方面,交通標(biāo)志的公開數(shù)據(jù)集數(shù)目遠(yuǎn)遠(yuǎn)落后于計(jì)算機(jī)視覺其他領(lǐng)域的數(shù)據(jù)集數(shù)目。其中,比較知名的數(shù)據(jù)集有德國交通標(biāo)志檢測(cè)基準(zhǔn)數(shù)據(jù)集(GTSDB)、德國交通標(biāo)志識(shí)別數(shù)據(jù)集(GTSRB)等,但以上數(shù)據(jù)集均來自國外,交通標(biāo)志的類型和形狀與我國的交通標(biāo)志有一定的差異。隨著我國對(duì)無人駕駛的重視,由清華大學(xué)與騰訊共同合作收集了Tsinghua-Tencent 100K數(shù)據(jù)集[17]。

本文通過對(duì)比不同檢測(cè)算法的檢測(cè)時(shí)間和檢測(cè)召回率,采用了檢測(cè)召回率與速度最優(yōu)的YOLO V3算法。但是,該算法在檢測(cè)目標(biāo)框的精度上不太理想,因此本文結(jié)合Ranking Saliency算法[18],對(duì)檢測(cè)得到的位置進(jìn)行二次修正。通過實(shí)驗(yàn)可知,結(jié)合后的算法能夠有效提高檢測(cè)目標(biāo)框的交并比(Intersection-over-Union, IoU)。

1 算法分析

1.1 目標(biāo)檢測(cè)

隨著深度學(xué)習(xí)的發(fā)展,目標(biāo)檢測(cè)在計(jì)算機(jī)視覺上取得了巨大的成功。主要的目標(biāo)檢測(cè)算法有Faster R-CNN，YOLO以及SSD。本文分別通過檢測(cè)時(shí)間、檢測(cè)召回率對(duì)比分析不同算法的性能,從而確定本實(shí)驗(yàn)所需模型。

1.1.1 目標(biāo)檢測(cè)算法

目標(biāo)檢測(cè)算法分為兩類,一類是基于候選區(qū)域的目標(biāo)檢測(cè)算法,另一類則是單級(jí)式目標(biāo)檢測(cè)算法。

基于候選區(qū)域的目標(biāo)檢測(cè)算法主要代表有R-CNN，F(xiàn)ast R-CNN和Faster R-CNN。該類型算法的主要思想是首先通過選擇性搜索產(chǎn)生整張圖片中的若干個(gè)候選框,之后通過神經(jīng)網(wǎng)絡(luò)提取候選框的圖像的特征,將得到的特征圖傳入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中進(jìn)行識(shí)別。由于選擇性搜索法只能在CPU上運(yùn)行且運(yùn)行速度較慢,故算法的實(shí)時(shí)性不可避免就大打折扣。雖然Faster R-CNN通過使用候選區(qū)域網(wǎng)絡(luò)代替了原本的選擇性搜索方法,但本質(zhì)上仍然需要先進(jìn)行候選區(qū)域的選擇。改進(jìn)后的算法雖然使得最終的檢測(cè)精度有所提高,但是仍不能滿足實(shí)時(shí)性的要求。

單級(jí)式目標(biāo)檢測(cè)算法,主要代表有YOLO和SSD等。該類算法的主要思想是不再使用類似選擇性搜索的方式先產(chǎn)生若干候選框,而是通過預(yù)先假設(shè)錨點(diǎn),即預(yù)先假設(shè)預(yù)測(cè)框的大小。算法首先利用神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征學(xué)習(xí),對(duì)特征圖的每一個(gè)區(qū)域在滑窗的同時(shí),進(jìn)行不同錨點(diǎn)尺度的預(yù)測(cè)。這樣會(huì)在滑動(dòng)的同時(shí)預(yù)測(cè)出結(jié)果,從而提高算法的時(shí)間性能。

本文通過檢測(cè)召回率以及對(duì)檢測(cè)時(shí)間的評(píng)估,最終確定使用YOLO V3算法。

1.1.2 YOLO V3

在YOLO V1和YOLO V2之后,為了進(jìn)一步提升模型的性能,算法優(yōu)化了模型結(jié)構(gòu)并且引入特征金字塔網(wǎng)絡(luò)(FPN)[19]的思想,使得模型的性能和效率進(jìn)一步加強(qiáng)。主要提升有以下幾點(diǎn)。

其一,YOLO V3改善了前兩個(gè)版本的特征提取器。使用DarkNet 53網(wǎng)絡(luò)結(jié)構(gòu)模型,模型主要由3×3和1×1的卷積核構(gòu)成,并且借鑒了ResNet跳過連接的思想。除此之外,DarkNet 53相比與ResNet有更低的BFLOP(十億次浮點(diǎn)數(shù)運(yùn)算),但是能夠以兩倍的速度獲得相同的分類精度。

其二,YOLO V3引入了特征金字塔網(wǎng)絡(luò)的思想,這樣使得算法在多尺度檢測(cè)上有較好的表現(xiàn),能夠有效解決小目標(biāo)檢測(cè)的難題。YOLO V3分別預(yù)測(cè)三種不同尺度,并且在每個(gè)尺度中又設(shè)置有3個(gè)不同比例的錨框。特征金字塔網(wǎng)絡(luò)分別對(duì)得到的不同尺度的圖片構(gòu)建兩條路徑。一條為使用卷積操作從下到上的特征提取路徑,另一條則是由上到下重新構(gòu)建高分辨率層的路徑。

通過對(duì)Tsinghua-Tencent 100K數(shù)據(jù)集的分析,交通標(biāo)志大部分為小目標(biāo),因此使用YOLO V3算法進(jìn)行小目標(biāo)的檢測(cè),可以取得其余目標(biāo)檢測(cè)算法如Faster R-CNN和SSD達(dá)不到的效果,具體的實(shí)驗(yàn)結(jié)果參考本文2.3節(jié)。但是,YOLO V3算法在定位精度上卻有所偏差。

1.2 檢測(cè)框的修正

由于上文提到的YOLO V3在檢測(cè)框的定位上不準(zhǔn)確,會(huì)使得在后續(xù)的分類上損失精度。因此,如何提高定位的精度是提升分類精度的關(guān)鍵。本文提高定位精度的主要思想是在通過YOLO V3目標(biāo)檢測(cè)算法檢測(cè)出初始的檢測(cè)框之后,通過進(jìn)一步的算法結(jié)合,修正所得的檢測(cè)框,從而提高檢測(cè)框的定位精度。

1.2.1 Ranking Saliency算法

Ranking Saliency算法通過模擬人的視覺特點(diǎn),提取圖像中的顯著區(qū)域。由于交通標(biāo)志一般均為較醒目的顏色,算法選取自底向上基于數(shù)據(jù)驅(qū)動(dòng)的注意力機(jī)制。主要思想是僅通過感知數(shù)據(jù)的驅(qū)動(dòng),將人的視點(diǎn)指導(dǎo)到場景中的顯著區(qū)域。正因?yàn)榻煌?biāo)志會(huì)與周圍環(huán)境有較強(qiáng)烈的反差,所以通過圖像的顏色、亮度、邊緣等特征表示,判斷它與周圍的差異,從而計(jì)算圖像的顯著性。算法的主要思想是根據(jù)公式(1)計(jì)算結(jié)點(diǎn)的顯著性。

f*=(D-αW)-1y。

(1)

式(1)中，D表示圖的度矩陣,W表示權(quán)重矩陣,y表示指示向量；當(dāng)前結(jié)點(diǎn)是種子結(jié)點(diǎn)y取1,否則y取0。f*表示當(dāng)前計(jì)算所得到的顯著性值。通過式(1)計(jì)算每個(gè)結(jié)點(diǎn)的顯著性從而得到排名分?jǐn)?shù)。

Ranking Saliency算法主要通過邊框大多為背景的先驗(yàn)信息,將前景的信息通過流行排序的方法加強(qiáng),最后得到顯著性物體。

最終選擇使用Ranking Saliency算法對(duì)檢測(cè)框進(jìn)行二次修正,通過實(shí)驗(yàn)表明,算法能夠有效提高檢測(cè)位置的精度。

2 實(shí)驗(yàn)結(jié)果

2.1 數(shù)據(jù)集的選擇

本實(shí)驗(yàn)采用清華大學(xué)與騰訊合作建立的Tsinghua-Tencent 100K數(shù)據(jù)集。其中,訓(xùn)練集共有6 105張,測(cè)試集共有3 071張。該數(shù)據(jù)的特點(diǎn)是高分辨率(2 048×2 048),并且采集的交通標(biāo)志全部來源于中國的城市與鄉(xiāng)村,具有較好的代表性。但是,此數(shù)據(jù)集的交通標(biāo)志主要的特點(diǎn)為小尺寸的涵蓋比很高。具體分布情況如表1。

表1 交通標(biāo)志尺寸分布

由表1可知,對(duì)于2 048×2 048高分辨率的圖像,交通標(biāo)志的分布主要集中在160×160分辨率以下,可見小目標(biāo)的含占比極高,這就對(duì)目標(biāo)檢測(cè)算法造成了很大的挑戰(zhàn),因?yàn)槟繕?biāo)檢測(cè)算法在小目標(biāo)檢測(cè)方面的表現(xiàn)并不理想。

2.2 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)在Linux環(huán)境下,使用4塊Titan X顯卡服務(wù)器進(jìn)行訓(xùn)練。通過遷移學(xué)習(xí)的方法,首先取得在COCO數(shù)據(jù)集上預(yù)訓(xùn)練的權(quán)重,之后將得到的訓(xùn)練權(quán)重結(jié)合交通標(biāo)志訓(xùn)練集進(jìn)行再次進(jìn)行30 000次訓(xùn)練,其中Dropout為0.8,Batch size為32,使用RMSprop優(yōu)化器,初始學(xué)習(xí)率為0.004,Momentum中β為0.9。

2.3 目標(biāo)檢測(cè)算法對(duì)比

為驗(yàn)證不同目標(biāo)檢測(cè)算法在檢測(cè)召回率以及檢測(cè)時(shí)間中的表現(xiàn)。本文通過對(duì)比Faster R-CNN,SSD和YOLO等算法,在特征提取階段分別結(jié)合現(xiàn)有的表現(xiàn)優(yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu),如ResNet，Inception-Net與MobileNet等。最終不同檢測(cè)模型在檢測(cè)時(shí)間上的結(jié)果如表2。

表2 不同模型的檢測(cè)速度對(duì)比

通過表2分析可得,在結(jié)合不同的網(wǎng)絡(luò)模型下,YOLO V3和SSD有較高的實(shí)時(shí)性,處理一張圖片的時(shí)間基本需要80 ms左右,但是,對(duì)于Faster R-CNN,模型的平均處理時(shí)間為200ms左右,其中更有Inception-ResNet V2模型,所耗時(shí)間達(dá)到了1 000 ms。對(duì)比可得,SSD和YOLO的速度基本上比Faster R-CNN快3倍左右,最多快12倍。因此,從實(shí)時(shí)性來看,SSD和YOLO V3更適合實(shí)時(shí)要求。

其次,本文對(duì)不同模型的檢測(cè)召回率做了分析,分別統(tǒng)計(jì)了不同閾值情況下,各算法可以檢測(cè)到的交通標(biāo)志個(gè)數(shù),具體情況如表3。表3中只體現(xiàn)每種算法結(jié)合不同模型時(shí)平均表現(xiàn)最好的情況。置信度閾值從0.5開始,因?yàn)橐坏┲眯哦鹊陀?.5,則已經(jīng)不能有效確保檢測(cè)到的目標(biāo)為交通標(biāo)志。

表3 不同算法在不同閾值下的召回率

Table 3 Recall rate of different algorithms at different thresholds

檢測(cè)算法與模型閾值召回率/%Faster R-CNN(InceptionV2)0.592.20.690.40.788.20.885.00.979.0YOLO V3(DarkNet 53)0.598.40.698.00.797.40.896.50.995.0SSD(MobileNet V2)0.583.70.681.90.777.40.872.30.963.8

通過分析表3可知,在不同閾值下,YOLO V3的檢測(cè)召回率遙遙領(lǐng)先,比SSD平均高出20%,比Faster R-CNN高出10%,YOLO V3在小目標(biāo)的檢測(cè)上優(yōu)勢(shì)明顯。因此,本文采用YOLO V3算法實(shí)現(xiàn)交通標(biāo)志的檢測(cè)。

2.4 檢測(cè)框修正

由于速度的提升,檢測(cè)框的定位精度受到了影響,部分檢測(cè)框定位不準(zhǔn)確如圖1。為了解決該問題,本文提出結(jié)合Ranking Saliency算法對(duì)檢測(cè)框進(jìn)行二次修正。評(píng)價(jià)標(biāo)準(zhǔn)為IoU,公式如(2)。

(2)

式(2)中,Overlap表示真實(shí)框和檢測(cè)框交集的面積,Union表示真實(shí)框和檢測(cè)框并集的面積,IoU越接近1則表明目標(biāo)檢測(cè)的位置越準(zhǔn)確。

圖1 算法檢測(cè)結(jié)果Figure 1 Algorithm detection result

通過分析可知,使用YOLO V3檢測(cè)算法所得到的檢測(cè)框有一定的誤差,不能得到完整的交通標(biāo)志,這樣會(huì)對(duì)后續(xù)分類精度產(chǎn)生影響。因此,需要結(jié)合本文提出的Ranking Saliency算法對(duì)其進(jìn)行二次修正。

本文分別計(jì)算了單使用YOLO V3算法得到的IoU和結(jié)合Ranking Saliency算法得到的IoU。具體情況如表4。去掉測(cè)試集中IoU大于0.7的圖片,然后再進(jìn)行目標(biāo)檢測(cè),結(jié)果如表5。

表4 不同算法的IoU表現(xiàn)

表5 不同算法的IoU(<0.7)表現(xiàn)

由表4和表5可知,YOLO V3檢測(cè)算法結(jié)合Ranking Saliency算法能夠使得目標(biāo)檢測(cè)算法的精度進(jìn)一步提高。由此可見,本文提出的算法有較好的效果,可有效的提高了檢測(cè)精度。算法的效果如圖2(a)～(e),其中(a)為YOLO V3算法檢測(cè)得到的結(jié)果圖,(b)為對(duì)檢測(cè)得到的圖的長寬進(jìn)行20%的擴(kuò)充后得到的圖,(c)為對(duì)擴(kuò)充后的圖進(jìn)行Ranking Saliency算法檢測(cè)得到的結(jié)果圖,(d)是經(jīng)過對(duì)(c)進(jìn)行閾值分割以及形態(tài)學(xué)操作后得到的圖,(e)為最終分割得到的結(jié)果圖。

圖2 結(jié)合Ranking SaliencyFigure 2 Combined with Ranking Saliency

3 結(jié) 論

本文主要研究了不同目標(biāo)檢測(cè)算法結(jié)合不同的網(wǎng)絡(luò)模型在交通標(biāo)志檢測(cè)方面的表現(xiàn),最終,通過實(shí)時(shí)性以及檢測(cè)召回率的評(píng)價(jià)標(biāo)準(zhǔn),在Tsinghua-Tencent 100K數(shù)據(jù)集上YOLO V3取得了十分顯著的效果。除此之外,為了解決檢測(cè)框精度的問題提出結(jié)合Ranking Saliency算法,對(duì)YOLO V3的檢測(cè)框進(jìn)行了二次修正,目標(biāo)檢測(cè)的IoU提高了3%～9%。