徐樂 劉翔 張華

摘 要：目標(biāo)檢測是計算機(jī)視覺領(lǐng)域重要的研究方向，應(yīng)用于無人駕駛、機(jī)器人、行人檢測等領(lǐng)域。然而，高檢測準(zhǔn)確率、魯棒性等對目標(biāo)檢測方法提出了嚴(yán)苛要求。針對SSD對不同場景下檢測準(zhǔn)確率較低的問題，提出了一種改進(jìn)的基于殘差網(wǎng)絡(luò)的SSD目標(biāo)檢測模型，以提升對不同場景的檢測精度。對比研究了不同算法在MIT數(shù)據(jù)集和真實交通場景下的檢測能力。實驗結(jié)果表明，該方法的車輛目標(biāo)檢測準(zhǔn)確率為96.72%，耗時短，魯棒性高，有一定的泛化能力，為未來智能輔助駕駛系統(tǒng)提供了一種全新思路。

關(guān)鍵詞：深度學(xué)習(xí)；SSD；車輛目標(biāo)檢測

DOI：10. 11907/rjdk. 182396

中圖分類號：TP306 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2019）005-0027-04

Absrtact： Target detection has become an important research direction and research hotspot in the field of computer vision， and has been applied in the fields of unmanned driving， robot， pedestrian detection and so on. However， the requirements of high detection accuracy， robustness， etc. put forward more stringent requirements and challenges to target detection methods. An improved SSD target detection model based on residuals network is proposed to improve the accuracy of SSD detection for different scenes. In addition， the detection ability of different algorithms in MIT data sets and real traffic scene data sets is compared. The experimental results show that the accuracy of vehicle target detection based on this method is 96.72%， the time consuming is short， the robustness is high， and the method has certain generalization ability， which provides a new way of thinking for the future intelligent auxiliary driving system.

Key Words： deep learning； SSD； vehicle target detection

0 引言

高級駕駛輔助系統(tǒng)（Advanced Driver Assistance Systems， ADAS）是目前智能車輛領(lǐng)域研究和發(fā)展的重點，對車輛行駛環(huán)境中前方移動目標(biāo)的準(zhǔn)確實時檢測是ADAS完成其駕駛?cè)蝿?wù)的重要前提[1]。近年來，智能交通系統(tǒng)（Intelligent Traffic System， ITS）在駕駛技術(shù)方面發(fā)展迅速，前方車輛檢測作為ITS的重要組成部分，起著舉足輕重的作用。然而，車輛種類復(fù)雜多樣，場景環(huán)境復(fù)雜多變，前方車輛檢測成為智能交通系統(tǒng)研究的難點之一，常用方法主要基于傳統(tǒng)算法、深度學(xué)習(xí)?；趥鹘y(tǒng)算法的方法通常通過提取圖像中的車輛目標(biāo)特征進(jìn)行檢測，但魯棒性較低，泛化能力弱，準(zhǔn)確率較低[2]。隨著深度學(xué)習(xí)[3-4]技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺領(lǐng)域得以廣泛應(yīng)用，在目標(biāo)檢測領(lǐng)域使用深度學(xué)習(xí)實現(xiàn)目標(biāo)檢測成為一個新的研究方向[5]。

1 前方車輛檢測研究現(xiàn)狀

傳統(tǒng)前方車輛檢測算法模型通常使用基于滑動窗口的局域選擇以及手工設(shè)計原理解決前方車輛目標(biāo)難以識別問題，但對滑動窗口的區(qū)域選擇易受人為主觀因素影響[6]。其中，Haar、梯度方向直方圖（Histograms of Oriented Gradient， HOG）等被用來檢測車輛，但易造成誤檢和丟失幀 [7-9]。MB-LBP和Adaboost在提取車輛候選區(qū)域方面，根據(jù)區(qū)域的水平邊緣和灰度特征去除誤檢車輛，魯棒性不高是其缺陷[10]。傳統(tǒng)算法的泛化能力較弱，處理大量圖片的能力較差，已無法滿足日趨復(fù)雜的交通場景需求[11]。隨著深度學(xué)習(xí)理論知識的不斷強(qiáng)化，實踐操作不斷完善，對此提出更加有效的解決方法是大勢所趨。

文獻(xiàn)[12]設(shè)計了R-CNN框架，提出基于region proposal（候選區(qū)域）的目標(biāo)檢測方法，但該方法計算復(fù)雜，難以滿足實時性需求。文獻(xiàn)[13-14]提出了一種基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Fast R-CNN）的車輛目標(biāo)發(fā)現(xiàn)方法，對前期樣本候選區(qū)域（object proposals[15]）提取過程較為費時，無法在樣本和網(wǎng)絡(luò)之間形成端到端的檢測過程。文獻(xiàn)[16]提出了一個基于卷積神經(jīng)網(wǎng)絡(luò)[17]（Convolutional Neural Network，CNN）分類器和卷積算法，魯棒性較好，但避免不了漏檢情況。針對在光照、場景發(fā)生變換時車輛檢測效果不佳問題，文獻(xiàn)[18-20]以Faster R-CNN目標(biāo)檢測方法為基礎(chǔ)，提出了改進(jìn)后的算法，提高了車輛目標(biāo)檢測的準(zhǔn)確性，但無法檢測出小目標(biāo)。針對獲得小目標(biāo)精確檢測和定位問題，文獻(xiàn)[21]提出了區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster-RCNN模型對空地車輛的檢測方法，但樣本數(shù)量不夠充分，僅僅局限于檢測小型客車車型。為提高檢測精度，文獻(xiàn)[22]提出了YOLO目標(biāo)檢測框架，但未應(yīng)用到實際場景中。

針對上述研究方法的不足，本文提出基于SSD（Single Shot MultiBox Detection）的前方車輛檢測模型與殘差網(wǎng)絡(luò)（Residuals Network， ResNet）結(jié)合算法，收集大量的實驗數(shù)據(jù)樣本，研究對比了不同算法在相同數(shù)據(jù)集上的前方車輛檢測能力。實驗結(jié)果表明，該方法檢測率較高，實時性較強(qiáng)，魯棒性較好，能應(yīng)用于車輛目標(biāo)檢測。

2 前方車輛檢測算法

2.1 算法核心流程

本文將之前SSD網(wǎng)絡(luò)中的VGG網(wǎng)絡(luò)替換為ResNet網(wǎng)絡(luò)，其余結(jié)構(gòu)不變。ResNet結(jié)構(gòu)如表1所示。

首先將采集到的圖像輸入到ResNet網(wǎng)絡(luò)模型，對數(shù)據(jù)樣本進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練參數(shù)；再將SSD目標(biāo)提取檢測網(wǎng)絡(luò)接在ResNet網(wǎng)絡(luò)之后，對特征進(jìn)行提??；多次迭代，選擇準(zhǔn)確率較高的訓(xùn)練模型，最后將確定的訓(xùn)練模型對測試集進(jìn)行測試，得到前方車輛檢測的準(zhǔn)確率，流程如圖1所示。

2.2 實驗數(shù)據(jù)集圖像預(yù)處理

本文收集的數(shù)據(jù)集共兩萬多張，包括小部分MIT數(shù)據(jù)集和行車記錄儀視頻選取的圖片，使用labelImg對圖片進(jìn)行標(biāo)注。標(biāo)注框沒有重疊，圖片中小于6×6像素的車輛不進(jìn)行標(biāo)注。每幀標(biāo)注的圖片自動保存為一個XML文件，并與圖片一一對應(yīng)。

3 前方車輛檢測模型構(gòu)建

3.1 預(yù)訓(xùn)練模型

將ResNet結(jié)構(gòu)作為前置網(wǎng)絡(luò)，在收集到的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)初始化，得到前方車輛檢測訓(xùn)練模型的初始參數(shù)和權(quán)重。

迭代訓(xùn)練2 000次得到前方車輛檢測粗略模型，以此為基礎(chǔ)模型繼續(xù)進(jìn)行訓(xùn)練，迭代20 000次時檢測效果最佳。

3.2 訓(xùn)練前方車輛檢測模型

本文將SSD網(wǎng)絡(luò)中的VGG網(wǎng)絡(luò)替換為ResNet網(wǎng)絡(luò)，與基于SSD的網(wǎng)絡(luò)相結(jié)合進(jìn)行迭代訓(xùn)練。首先ResNet對采集到的數(shù)據(jù)樣本進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練參數(shù)。然后利用不同大小的卷積層對圖像進(jìn)行特征提取，多層特征融合得到更好的特征，最后放到兩個全連接層里，得到目標(biāo)類別和位置。

在此理論基礎(chǔ)上，將損失目標(biāo)函數(shù)最小化。

4 測試過程

4.1 數(shù)據(jù)樣本

為保證卷積神經(jīng)網(wǎng)絡(luò)對樣本容量的要求，本文通過公開的Caltech1999數(shù)據(jù)集、MIT數(shù)據(jù)集、車載攝像頭采集到的部分圖片和道路實拍場景圖片作為模型的數(shù)據(jù)樣本，按3∶7的比例分為正樣本和負(fù)樣本。本次實驗經(jīng)過多次訓(xùn)練選取較好的訓(xùn)練模型，部分車輛樣本如圖2所示。對比實驗HOG+SVM的部分負(fù)樣本如圖3所示。

4.2 測試環(huán)境

本文操作系統(tǒng)為Windows7，搭建深度學(xué)習(xí)Caffe框架，編程環(huán)境基于C++，GPU為Nvidia GTX 850M。訓(xùn)練一次模型的時間大概為40min，整個訓(xùn)練過程采取批量隨機(jī)梯度下降算法（SGD）優(yōu)化每一層參數(shù)。

5 測試結(jié)果及分析

5.1 前方車輛檢測對比實驗

本文將收集到的數(shù)據(jù)集和MIT數(shù)據(jù)集整合，80%作為訓(xùn)練驗證集，20%作為測試集；在訓(xùn)練驗證集中再重新按比例進(jìn)行分配成訓(xùn)練集和驗證集。按照改進(jìn)的算法模型進(jìn)行訓(xùn)練，通過迭代訓(xùn)練調(diào)優(yōu)，得到最佳的網(wǎng)絡(luò)模型。利用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練和測試，實驗結(jié)果如表2所示。

改進(jìn)后的SSD網(wǎng)絡(luò)結(jié)構(gòu)在不同場景下的目標(biāo)檢測效果如圖4所示，圖4（a）為停車場檢測效果，圖4（b）為交通道路場景檢測效果，圖4（c）為夜晚檢測效果，圖4（d）為陰雨天檢測效果。

通過在相同數(shù)據(jù)集上與原算法作對比，本文改進(jìn)的SSD網(wǎng)絡(luò)結(jié)構(gòu)在平均精準(zhǔn)度上有明顯提升。

在保證樣本數(shù)據(jù)集相同的情況下，利用文獻(xiàn)[24]中的傳統(tǒng)方法HOG+SVM對實驗數(shù)據(jù)再訓(xùn)練多次，訓(xùn)練一次時長50min，得到較好的訓(xùn)練模型后測試樣本數(shù)據(jù)集。HOG+SVM的傳統(tǒng)算法只能檢測出正前方車輛而不能檢測出旁側(cè)車道的行駛車輛，極易出現(xiàn)漏檢情況，如圖5所示。

表3為使用HOG+SVM傳統(tǒng)算法檢測車輛所需耗時和準(zhǔn)確率對比。通過表1的對比數(shù)據(jù)，可看出本文提出的網(wǎng)絡(luò)模型與HOG+SVM算法相比在準(zhǔn)確率上有了明顯提高。

圖6是其它深度學(xué)習(xí)網(wǎng)絡(luò)檢測車輛目標(biāo)的折線圖。按不同的epoch進(jìn)行多次訓(xùn)練，發(fā)現(xiàn)隨著epoch次數(shù)的增加，準(zhǔn)確率隨之增大，當(dāng)epoch達(dá)到100時，準(zhǔn)確率趨于穩(wěn)定，接近于收斂狀態(tài)，SSD的檢測效果明顯優(yōu)于Lenet-5和ResNet。本文所列所有方法對比結(jié)果如圖7所示。

6 結(jié)語

本文以深度學(xué)習(xí)理論為基礎(chǔ)，結(jié)合ResNet網(wǎng)絡(luò)模型，提出了一種基于SSD的目標(biāo)檢測方法。該網(wǎng)絡(luò)將ResNet作為前置網(wǎng)絡(luò)對樣本數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練模型和預(yù)訓(xùn)練參數(shù)；然后將SSD網(wǎng)絡(luò)接入ResNet網(wǎng)絡(luò)中，對樣本數(shù)據(jù)進(jìn)行特征提取。將傳統(tǒng)方法HOG+SVM、網(wǎng)絡(luò)模型Lenet-5和Caffe-net在相同數(shù)據(jù)集上進(jìn)行實驗和比較，研究結(jié)果顯示，在數(shù)據(jù)集相同的情況下，SSD車輛檢測準(zhǔn)確率、魯棒性、速度更高，對無人駕駛技術(shù)研究具有重要的指導(dǎo)意義。

參考文獻(xiàn)：

[1] PIAO J， MCDONALD M. Advanced driver assistance systems from autonomous to cooperative approach[J]. Transport Reviews，2008，28（5）：695-684.

[2] 宋煥生， 張向清， 鄭寶峰，等. 基于深度學(xué)習(xí)方法的復(fù)雜場景下車輛目標(biāo)檢測[J]. 計算機(jī)應(yīng)用研究， 2018（4）：1206-1211.

[3] LECUN Y， BENGIO Y， HINTON G. Deep learning[J].Nature，2015，521（7553）：436-444.

[4] REN L，CUI J，SUN Y，et al. Multi-bearing remaining useful life collaborative prediction： a deep learning approach[J]. Journal of Manufacturing Systems，2017（43）：248-256.

[5] 吳天舒， 張志佳，劉云鵬，等. 基于改進(jìn)SSD的輕量化小目標(biāo)檢測算法[J]. 紅外與激光工程， 2018（7）：59-63.

[6] WANG C C R，LIEN J J J. Automatic vehicle detection using local features a statistical approach[J]. IEEE Transactions on Intelligent Transportation systems，2008，9（1）：83-96.

[7] 金立生，王巖，劉景華，等. 基于Adaboost算法的日間前方車輛檢測[J]. 吉林大學(xué)學(xué)報：工學(xué)版， 2014， 44（6）：1604-1608.

[8] 陳擁權(quán)，陳影，陳學(xué)三. 基于Adaboost分類器的車輛檢測與跟蹤算法[J]. 計算機(jī)技術(shù)與發(fā)展， 2017， 27（9）：165-168.

[9] 吳迪，蔡曉東，華娜，等. 基于HOG和SVM的級別自適應(yīng)車型識別算法[J]. 桂林電子科技大學(xué)學(xué)報，2016，36（1）：23-28.

[10] 吳駿，李文杰，耿磊，等. 基于單目視覺的前方車輛檢測與測距[J]. 計算機(jī)工程，2017，43（2）：26-32.

[11] 李琳輝，倫智梅，連靜，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的道路車輛檢測方法[J]. 吉林大學(xué)學(xué)報：工學(xué)版，2017，47（2）：384-391.

[12] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C].2014 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.2014：580-587.

[13] 曹詩雨，劉躍虎，李辛昭. 基于Fast R-CNN的車輛目標(biāo)檢測[J]. 中國圖像圖形學(xué)報，2017，22（5）：0671-0677.

[14] GIRSHICK R. Fast r-cnn[C]. IEEE ICCV，2015：1440-1448.

[15] WANG X，SHRIVASTAVA A，GUPTA A. A-Fast-RCNN： hard positive generation via adversary for object detection[C].IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2017：3039-3048.

[16] 羅靖遙，黃征. 基于CNN分類器和卷積的目標(biāo)檢測[J]. 信息技術(shù)，2017（9）：101-104，108.

[17] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems，2012，25（2）：20-26.

[18] 韓凱，張紅英，王遠(yuǎn)，等. 一種基于Faster R-CNN的車輛檢測算法[J]. 西南科技大學(xué)學(xué)報，2017，32（4）：65-70，94.

[19] 林封笑，陳華杰，姚勤煒，等. 基于混合結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)快速檢測[J]. 計算機(jī)工程，2017（6）：1-7.

[20] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2016（3）：1-10.

[21] 彭瑋航，王軻，劉少鵬，等. 基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)在空對地車輛檢測中的應(yīng)用[J]. 導(dǎo)航與控制，2017，16（5）：40-46.

[22] 龔靜，曹立，亓琳，等. 基于YOLOv2算法的運(yùn)動車輛目標(biāo)檢測方法研究[J]. 電子科技，2018（6）：92-101.

[23] LIU W，ANGUELOV D，ERHAN D，et al. Ssd： single shot multibox detector[J]. European Conference on Computer Vision，2016（8）： 21-37.

[24] 龔露鳴， 徐美華， 劉冬軍，等. 基于混合高斯和HOG+SVM的行人檢測模型[J]. 上海大學(xué)學(xué)報：自然科學(xué)版，2018（3）：62-68.

（責(zé)任編輯：杜能鋼）