摘? 要:自動(dòng)泊車系統(tǒng)已經(jīng)成為高級(jí)輔助駕駛系統(tǒng)(ADAS)中的一項(xiàng)重要功能,車輛在泊車過(guò)程中時(shí)常會(huì)出現(xiàn)泊車不到位、與相鄰車位中的車輛發(fā)生剮蹭等事故。為提升自動(dòng)泊車的精準(zhǔn)性,文章提出了一種實(shí)時(shí)檢測(cè)限位器的改進(jìn)算法SSD-L,通過(guò)定位限位器的位置,對(duì)車輛的泊車位置進(jìn)行修正。該方法對(duì)原先的SSD網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行精簡(jiǎn)和改進(jìn),并使用卡爾曼濾波增加識(shí)別的穩(wěn)定性。在實(shí)際泊車場(chǎng)景中的測(cè)試結(jié)果表明,SSD-L算法檢測(cè)限位器的平均精度(mAP)較高,為95%。
關(guān)鍵詞:限位器檢測(cè);SSD;卡爾曼濾波;ADAS
中圖分類號(hào):TP391.4? ? ? ?文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):2096-4706(2022)02-0174-04
Abstract: Automatic parking system has become an important function of advanced driver assistance system (ADAS). In the process of parking, there are often accidents such as vehicle not parking in place and rubbing with vehicles in adjacent parking spaces. In order to improve the accuracy of automatic parking, an improved algorithm SSD-L for real-time detection of the limiter is proposed, which modifies the parking position of the vehicle by locating the position of the limiter. This method simplifies and improves the original SSD network structure, and uses Kalman filter to increase the stability of recognition. The test results in the actual parking scene show that SSD-L algorithm has a high average accuracy (mAP) of? 95% for limiter.
Keywords: limiter detection; SSD; Kalman filter; ADAS
0? 引? 言
隨著汽車智能駕駛輔助技術(shù)的不斷發(fā)展,自動(dòng)泊車技術(shù)成為汽車輔助駕駛系統(tǒng)的關(guān)鍵技術(shù)之一,為了提高泊車過(guò)程中車位位置的定位精度,本文通過(guò)識(shí)別車位限位器來(lái)修正車輛在車位中的停車位置。將目標(biāo)檢測(cè)技術(shù)作為實(shí)現(xiàn)ADAS(Advanced Driver Assistance System)的基礎(chǔ),可以通過(guò)傳感器準(zhǔn)確地感知車輛周圍的環(huán)境信息,并根據(jù)傳感器系統(tǒng)的信息對(duì)限位器進(jìn)行實(shí)時(shí)檢測(cè),并將檢測(cè)結(jié)果傳給決策層和控制層,及時(shí)采取相應(yīng)的決策來(lái)控制車輛的停車位置,提升了汽車行駛過(guò)程的安全性和準(zhǔn)確性,減少了財(cái)產(chǎn)損失。
目前,ADAS還是以視覺(jué)感知的方式來(lái)實(shí)現(xiàn)目標(biāo)檢測(cè)為主,雷達(dá)傳感器作為輔助功能。隨著基于深度學(xué)習(xí)網(wǎng)絡(luò)的方法在ADAS目標(biāo)檢測(cè)方面的廣泛應(yīng)用,目標(biāo)檢測(cè)的效果不斷提升,ADAS的實(shí)現(xiàn)等級(jí)也隨之提高,安全性能也不斷地提高。ADAS對(duì)使用的目標(biāo)檢測(cè)算法提出了嚴(yán)格的要求,主要體現(xiàn)在高準(zhǔn)確率、實(shí)時(shí)檢測(cè)、高魯棒性方面,為此,國(guó)內(nèi)外學(xué)者、高校研究院、工業(yè)界工程師做了大量的研究工作。
基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法,在目標(biāo)檢測(cè)的精度和魯棒性方面都比傳統(tǒng)的目標(biāo)檢測(cè)方法有了顯著的提高。傳統(tǒng)的目標(biāo)檢測(cè)算法是通過(guò)手工設(shè)計(jì)特征,而基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法則是通過(guò)卷積運(yùn)算來(lái)學(xué)習(xí)各個(gè)層級(jí)的特征,與手工設(shè)計(jì)的特征相比,可以學(xué)習(xí)到更加豐富的特征,也具有了很強(qiáng)的表征能力。從ADAS的市場(chǎng)來(lái)看,工業(yè)界常用的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要有:YOLOv3[1]和SSD[2]。基于回歸的目標(biāo)檢測(cè)算法則去掉了耗時(shí)的目標(biāo)區(qū)域的生成過(guò)程,而是按照預(yù)先設(shè)定好的方法去生成默認(rèn)框,這樣做使得檢測(cè)速度得到了有效的提升,同時(shí)又可以保證檢測(cè)的實(shí)時(shí)性。而SSD算法相比于YOLOv3算法加入了Faster R-CNN[3]的Anchor機(jī)制,這樣做既能保證算法的實(shí)時(shí)性,又可以擁有較高的檢測(cè)準(zhǔn)確率。
本文對(duì)自動(dòng)泊車場(chǎng)景下的限位器特點(diǎn)進(jìn)行分析,限位器的種類主要分為分離式和長(zhǎng)桿型兩種,位于車位的中間靠后的位置,從標(biāo)注的數(shù)據(jù)集來(lái)看,限位器不存在小目標(biāo)檢測(cè)問(wèn)題,也沒(méi)有遮擋問(wèn)題,所以為了降低特征提取的計(jì)算量和模型的復(fù)雜度,將SSD算法模型中的淺層特征提取層刪除,對(duì)SSD網(wǎng)絡(luò)的主干部分進(jìn)行改進(jìn),以此提出了一種適合的限位器檢測(cè)的模型SSD-L,在限位器數(shù)據(jù)集和實(shí)際交通場(chǎng)景中進(jìn)行SSD-L算法精度的驗(yàn)證。
1? SSD-L目標(biāo)檢測(cè)算法
1.1? 原始SSD網(wǎng)絡(luò)結(jié)構(gòu)
原始SSD網(wǎng)絡(luò)是使用VGG-16[4]作為主干網(wǎng)絡(luò),相比于輕量化網(wǎng)絡(luò)VGG-16的網(wǎng)絡(luò)結(jié)構(gòu)比較深,模型參數(shù)量也比較大,SSD采用了多尺度特征檢測(cè)的原理,第一個(gè)特征預(yù)測(cè)層輸出的特征矩陣大小為38×38,用于檢測(cè)小目標(biāo)。
在不同的特征層上,Proir Box(區(qū)域候選框,類似于Anchor)的尺寸大小是不一樣的,最低層的尺寸大小為0.2,最高層的尺寸大小為0.95,其他層的計(jì)算公式為:
1.2? SSD-L改進(jìn)網(wǎng)絡(luò)
車載ADAS系統(tǒng)對(duì)目標(biāo)檢測(cè)的實(shí)時(shí)性提出了較高的要求,為了提高系統(tǒng)檢測(cè)的實(shí)時(shí)性,本文采用輕量化模型MobileNetV2[5]作為基礎(chǔ)特征提取層,減少了模型的參數(shù)量,改進(jìn)后的SSD-L的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,總共有5層特征圖,去掉了原始SSD中的38×38大小的特征圖,卷積層Conv4_b的特征圖輸入大小為19×19,用于檢測(cè)小目標(biāo),1×1層特征圖用于檢測(cè)大目標(biāo),中間層的特征圖分別用于預(yù)測(cè)目標(biāo)的邊框偏移以及得分,使用非極大值抑制(Non-Maximum-Suppression, NMS)[6]算法,將檢測(cè)框按照得分高低進(jìn)行排序,保留得分最高的框,同時(shí)刪除與該框的重疊面積大于一定閾值的其他的檢測(cè)框,就得到了最終的檢測(cè)結(jié)果。
輕量級(jí)網(wǎng)絡(luò)模型的復(fù)雜度和性能在一定程度上是有限的,當(dāng)檢測(cè)單幀圖像上的目標(biāo)時(shí),得到的檢測(cè)結(jié)果可能會(huì)出現(xiàn)以下問(wèn)題:目標(biāo)漏檢、目標(biāo)誤檢、難以檢出小目標(biāo)、較低的魯棒性(無(wú)法很好地適應(yīng)遮擋、大霧、雨天、夜間黑暗、反光、逆光等復(fù)雜場(chǎng)景)。上述問(wèn)題使得目標(biāo)信息極為不穩(wěn)定,為后續(xù)算法的使用帶來(lái)極大挑戰(zhàn),且誤差不斷向后傳播,嚴(yán)重影響整體功能的效果。本文對(duì)檢測(cè)框使用卡爾曼濾波器[7],可以實(shí)現(xiàn)物體檢測(cè)框的高穩(wěn)定性,能有效克服目標(biāo)丟失誤檢、包圍盒抖動(dòng)等問(wèn)題,在時(shí)序視頻流上表現(xiàn)優(yōu)越。
2? 損失函數(shù)改進(jìn)
2.1? 原始SSD損失函數(shù)
原始SSD網(wǎng)絡(luò)在訓(xùn)練過(guò)程中對(duì)目標(biāo)類別和目標(biāo)位置進(jìn)行回歸,它的目標(biāo)損失函數(shù)分為兩部分:定位損失(loc)與置信度損失(conf),其表達(dá)式為:
式(2)中:N表示區(qū)域候選框與真實(shí)框的匹配個(gè)數(shù),如果N等于0則設(shè)置Loss的大小為0,x表示區(qū)域候選框與不同類別的真實(shí)框的匹配結(jié)果,如果匹配x等于1,如果不匹配則x等于0,c表示預(yù)測(cè)物體類別的置信度,l表示預(yù)測(cè)框位置的偏移信息,g表示真實(shí)邊框和區(qū)域候選框的偏移量,α表示位置損失權(quán)重參數(shù),其值通常設(shè)為1。
實(shí)際目標(biāo)檢測(cè)回歸任務(wù)中,原始SSD算法的位置損失函數(shù)采用Smooth-L1[8],對(duì)區(qū)域候選框(p)的中心坐標(biāo)(cx,cy)、寬(w)、高(h)的偏移量進(jìn)行回歸,按以下公式:
3? 實(shí)驗(yàn)與結(jié)果
3.1? 數(shù)據(jù)預(yù)處理
本文使用含有ADAS功能的車輛采集車位限位器,將采集的圖片統(tǒng)一縮放到分辨率為640×480,并按照模型評(píng)估的規(guī)則制成LIMITER數(shù)據(jù)集,LIMITER數(shù)據(jù)集按照一定比例拆分成訓(xùn)練集和測(cè)試集,其中訓(xùn)練集包含100 000張圖片,測(cè)試集包含20 000張圖片,另外,正樣本中的標(biāo)注框按照一定的偏移制作10 000張負(fù)樣本。該數(shù)據(jù)集主要包含日常中常見(jiàn)的分離式和長(zhǎng)桿型兩類車位限位器。模型在訓(xùn)練過(guò)程中,對(duì)訓(xùn)練集采用與原始SSD相同的數(shù)據(jù)增強(qiáng)方法,使得數(shù)據(jù)集數(shù)量達(dá)到一定的量級(jí),還可以提高模型的泛化能力。
3.2? 模型訓(xùn)練
本文目標(biāo)檢測(cè)網(wǎng)絡(luò)訓(xùn)練所使用的預(yù)訓(xùn)練網(wǎng)絡(luò)模型是基于VGG-16網(wǎng)絡(luò),預(yù)訓(xùn)練的網(wǎng)絡(luò)參數(shù)是通過(guò)在PASCAL VOC 2007[10]數(shù)據(jù)集和COCO[11]數(shù)據(jù)集上對(duì)VGG-16網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到。接下來(lái)使用預(yù)訓(xùn)練的網(wǎng)絡(luò)參數(shù)對(duì)改進(jìn)的SSD-L網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行fine-tuning,fine-tuning過(guò)程中采用隨機(jī)梯度下降法[12](Stochastic Gradient Descent, SGD)尋找目標(biāo)函數(shù)的最優(yōu)解,網(wǎng)絡(luò)輸入大小320×320,并根據(jù)LIMITER數(shù)據(jù)集標(biāo)注框的大小,重新設(shè)計(jì)Proir Box的大小,訓(xùn)練采用的batch_size為64,總訓(xùn)練次數(shù)為210 000。
3.3? 實(shí)驗(yàn)結(jié)果及分析
分別訓(xùn)練原始SSD網(wǎng)絡(luò)(使用Smooth-L1損失函數(shù)),和改進(jìn)型SSD_L網(wǎng)絡(luò)(使用CIOU損失函數(shù)),兩個(gè)模型在測(cè)試集上的檢測(cè)性能如表1所示??梢钥闯?,mAP從89.3%、提高到了95.0%,檢測(cè)性能提高了約6.7%。從表2可以看出,SSD-L模型的大小減少了9倍,相應(yīng)的參數(shù)量也大約減少了9倍,模型的計(jì)算量大大減少,滿足了算法對(duì)實(shí)時(shí)性的要求。
從圖2中兩種限位器的檢測(cè)結(jié)果可以得出,SSD-L對(duì)兩種車位限位器的檢測(cè)準(zhǔn)確率能達(dá)到95%以上,很好地滿足了ADAS對(duì)檢測(cè)的高準(zhǔn)確率需求。
4? 結(jié)? 論
本文通過(guò)重新設(shè)計(jì)SSD的網(wǎng)絡(luò)結(jié)構(gòu),使用MobileNetV2作為主干網(wǎng)絡(luò),使其輕量化并降低了模型的復(fù)雜度,去掉了多余的區(qū)域候選框和目標(biāo)預(yù)測(cè)層,比原始的SSD網(wǎng)絡(luò)具有更少的參數(shù)量,預(yù)測(cè)速度也更快。使用CIOU損失函數(shù),提高了模型對(duì)重疊目標(biāo)的檢測(cè)準(zhǔn)確率,并使用卡爾曼濾波,進(jìn)一步提高檢測(cè)的準(zhǔn)確度,SSD-L模型在工況良好的情況下,檢測(cè)的準(zhǔn)確率可以達(dá)到95%,在雨雪、陰天、夜晚等工況不好的情況下,其檢測(cè)準(zhǔn)確率還有待驗(yàn)證,這也是下一步需要進(jìn)行優(yōu)化的方向。
參考文獻(xiàn):
[1] REDMON J,F(xiàn)ARHADI A. YOLOv3:An Incremental Improvement [J/OL].arXiv:1804.02767 [cs.CV].[2021-11-08].https://arxiv.org/abs/1804.02767.
[2] LIU W,ANGUELOV D,ERHAN D,et al. SSD:Single Shot MultiBox Detector [C]//Computer Vision–ECCV 2016.Amsterdam:Springer,2016:21-37.
[3] REN S Q,HE K M,GIRSHICK R,et al. Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.
[4] SIMONYAN K,ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition [J/OL].arXiv:1409.1556 [cs.CV].[2021-12-03].https://arxiv.org/abs/1409.1556.
[5] SANDLER M,HOWARD A,ZHU M L,et al. MobileNetV2:Inverted Residuals and Linear Bottlenecks [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City:IEEE,2018:4510-4520.
[6] NEUBECK A,GOOL L V. Efficient Non-Maximum Suppression [C]//18th International Conference on Pattern Recognition(ICPR06).Hong Kong:IEEE,2006:850-855.
[7] KALMAN R E. A New Approach To Linear Filtering and Prediction Problems [EB/OL].1960:35-45.[2021-11-23].https://ieeexplore.ieee.org/document/5311910.
[8] GIRSHICK R. Fast R-CNN [J/OL].arXiv:1504.08083 [cs.CV].[2021-11-23].https://arxiv.org/abs/1504.08083.
[9] ZHENG Z H,WANG P,LIU W,et al. Distance-IoU Loss:Faster and Better Learning for Bounding Box Regression [J/OL].arXiv:1911.08287 [cs.CV].[2021-11-20].https://arxiv.org/abs/1911.08287v1.
[10] EVERINGHAM M,ESLAMI S M A,GOOL L V,et al. The Pascal Visual Object Classes Challenge:A Retrospective [J].International Journal of Computer Vision,2015,111(1):98-136.
[11] LIN T Y,MAIRE M,BELONGIE S,et al. Microsoft COCO:Common Objects in Context [J/OL].arXiv:1405.0312 [cs.CV].[2021-11-20].https://arxiv.org/abs/1405.0312.
[12] KETKAR N. Stochastic Gradient Descent [M]//KETKAR N. Deep Learning with Python.[S.I.]:Apress,2014:113-132.
作者簡(jiǎn)介:張鳳(1991—),女,漢族,山東臨沂人,講師,碩士研究生,研究方向:圖像處理。