張依林 王學(xué)穎

（沈陽師范大學(xué)軟件學(xué)院 遼寧省沈陽市 110034）

車輛檢測(cè)與分類是高級(jí)駕駛員輔助系統(tǒng)(ADAS)和智能交通系統(tǒng)(ITS)領(lǐng)域的重要研究課題。隨著圖像處理和模式識(shí)別技術(shù)的發(fā)展，基于視覺的車輛檢測(cè)和分類成為近年來的研究熱點(diǎn)。

車輛檢測(cè)是利用各種圖像處理算法從視頻序列或圖像的感興趣區(qū)域中提取車輛目標(biāo)的過程。根據(jù)圖像是否靜止，車輛檢測(cè)方法可分為兩類：基于運(yùn)動(dòng)信息的車輛檢測(cè)和基于特征的車輛檢測(cè)?；谶\(yùn)動(dòng)信息的車輛檢測(cè)主要針對(duì)運(yùn)動(dòng)中的目標(biāo)車輛。方法包括背景差法、幀差法、光流法等。但這些方法只能檢測(cè)移動(dòng)的車輛，檢測(cè)效果受光照的影響很大。基于特征的車輛檢測(cè)主要采用車輛對(duì)稱、燈光、邊緣、顏色等車輛外觀特征。然而，這些特性只能在特定的情況下工作，這并不是普遍的。隨著人工智能的快速發(fā)展，一系列優(yōu)秀的目標(biāo)識(shí)別算法被提出。與傳統(tǒng)的定位方法相比，深度學(xué)習(xí)定位目標(biāo)的準(zhǔn)確性和通用性更強(qiáng)。考慮到算法的實(shí)時(shí)性，所以我們選擇Yolov2-tiny 進(jìn)行車輛檢測(cè)。

傳統(tǒng)的機(jī)器學(xué)習(xí)需要人工提取特征并將其輸入到各種分類器中進(jìn)行分類，例如HOG + SVM或DPM + SVM。然而，特征選擇是準(zhǔn)確性的關(guān)鍵，但不同的環(huán)境和特征可能會(huì)導(dǎo)致性能漂移。因此，選擇最合適的特征來描述對(duì)象是一個(gè)巨大的挑戰(zhàn)。基于CNN 的深度學(xué)習(xí)通過學(xué)習(xí)自動(dòng)優(yōu)化特征提取，獨(dú)特地解決了這一問題。

1 車輛檢測(cè)

車輛檢測(cè)是智能交通系統(tǒng)的重要組成部分，是后續(xù)車輛類型識(shí)別的前提步驟。因此，準(zhǔn)確、高效的車輛檢測(cè)方法至關(guān)重要。基于運(yùn)動(dòng)信息的車輛檢測(cè)方法可以檢測(cè)出視頻幀中的運(yùn)動(dòng)車輛。但是，該算法對(duì)靜止的目標(biāo)檢測(cè)失敗，不能在單個(gè)圖像中檢測(cè)出目標(biāo)?；谔卣鞯能囕v檢測(cè)由于難以找到合適的特征來描述目標(biāo)而不具有通用性。因此，我們采用Yolov2-tiny深度學(xué)習(xí)算法進(jìn)行車輛檢測(cè)，具有較強(qiáng)的適用性和通用性。

1.1 BIT數(shù)據(jù)集

本研究中使用的數(shù)據(jù)集是基于BIT-Vehicle，這是一個(gè)由北京理工大學(xué)制作的數(shù)據(jù)集。該數(shù)據(jù)集由9850 張?jiān)诟咚俟方煌z查站拍攝的車輛正面圖像組成。車輛數(shù)據(jù)集被分為六類。卡車、巴士、轎車、小型客車、小型貨車、和SUV。每個(gè)車輛類型的總數(shù)分別為558、883、476、5922、1392 和822。

1.2 K-means均值聚類法

使用K-means 算法對(duì)BIT 數(shù)據(jù)集中的車輛邊界盒的基礎(chǔ)事實(shí)進(jìn)行聚類。聚類數(shù)對(duì)聚類效果有很大影響。圖1 反映了k 和IOU 之間的關(guān)系。我們可以發(fā)現(xiàn)，當(dāng)k 等于5 的時(shí)候，網(wǎng)絡(luò)的綜合性能是最好的。

圖1：IOU-聚類關(guān)系曲線

1.3 車輛檢測(cè)結(jié)果

實(shí)驗(yàn)硬件環(huán)境為CPU Intel Core i7-10700k, 物理內(nèi)存為32GB，GPU 為NVIDIA RTX2080Ti， 軟件環(huán)境為VS2015+OPENCV，操作系統(tǒng)為windows 10。

在訓(xùn)練中可以發(fā)現(xiàn)，隨著訓(xùn)練的進(jìn)行，平均損失接近0。當(dāng)訓(xùn)練完成后，最終的IOU 超過了80%。雖然召回率有所波動(dòng)，但當(dāng)訓(xùn)練批次達(dá)到2500步時(shí)，召回率穩(wěn)定在95%以上。

訓(xùn)練結(jié)束后，使用OPENCV 擴(kuò)展模塊中的深度神經(jīng)網(wǎng)絡(luò)（DNN）模塊，將在暗網(wǎng)中訓(xùn)練的模型遷移到VS2015 中，并在此環(huán)境下測(cè)試測(cè)試數(shù)據(jù)集。

檢測(cè)網(wǎng)絡(luò)的檢測(cè)閾值被設(shè)定為0.8。測(cè)試數(shù)據(jù)集的測(cè)試數(shù)據(jù)如下。

（1）平均召回率為94.45%，車輛的檢測(cè)率非常高。測(cè)試數(shù)據(jù)集中的所有目標(biāo)都被提取出來。但是，有些物體沒有被檢測(cè)出來，因?yàn)樗鼈兊闹眯哦鹊陀陂撝?。這個(gè)問題可以通過在保證檢測(cè)精度的前提下適當(dāng)降低閾值來解決。此外，我們還對(duì)不同數(shù)據(jù)集下的網(wǎng)絡(luò)進(jìn)行了遷移實(shí)驗(yàn)，發(fā)現(xiàn)當(dāng)環(huán)境發(fā)生劇烈變化時(shí)，召回率會(huì)明顯降低。這部分問題只能通過增加訓(xùn)練樣本或使用數(shù)據(jù)增強(qiáng)來解決。

（2）平均IOU 為82.25%。在最初選擇神經(jīng)網(wǎng)絡(luò)的時(shí)候，算法的運(yùn)行速度被作為首要考慮因素。所以我們采用了簡(jiǎn)化的Yolov2 神經(jīng)網(wǎng)絡(luò)，并放棄了一定的網(wǎng)絡(luò)深度，這導(dǎo)致了檢測(cè)率的下降。但這個(gè)IOU 仍然能夠滿足大多數(shù)實(shí)驗(yàn)情況。

（3）平均識(shí)別速度為38.78ms，檢測(cè)率超過25FPS。這個(gè)檢測(cè)率完全可以滿足一般視頻處理的速度要求。

2 車輛分類

如前所述，人工提取的特征不能準(zhǔn)確描述物體。因此，我們使用CNN 和SVM 的組合來對(duì)物體進(jìn)行分類。在構(gòu)建網(wǎng)絡(luò)后，我們?cè)赨A-DETRAC 數(shù)據(jù)集上驗(yàn)證其有效性。我們的CNN 是基于AlexNet 的。

2.1 算法的結(jié)構(gòu)

本文的網(wǎng)絡(luò)由一個(gè)車輛特征提取器和一個(gè)車輛分類器組成。第一步，我們訓(xùn)練一個(gè)由卷積神經(jīng)網(wǎng)絡(luò)(CNN)+全連接層(FC)組成的AlexNet 模型，使CNN 能夠?qū)W習(xí)獲得物體的精確特征描述。第二步，我們將訓(xùn)練好的CNN 作為特征提取器，然后將提取的特征發(fā)送給SVM 進(jìn)行訓(xùn)練。最后，我們建立一個(gè)由CNN+SVM 組成的識(shí)別網(wǎng)絡(luò)。

2.2 擬議的AlexNet改善措施

在原有的AlexNet 中加入了SPP，這樣就可以使用任何輸入圖像的大小。由于數(shù)據(jù)集中的圖像大小幾乎都是中等和小型的，我們?cè)诒Ａ鬉lexNet 整體框架的前提下，減少了內(nèi)核的大小和數(shù)量。與原來的AlexNet 相比，進(jìn)行了以下改動(dòng)。

（1）使用SPP 來代替Pool3 層，避免了因圖像失真而造成的精度損失。

（2）刪除了卷積層使得模型變小。

（3）將原Conv1 層的11×11 核改為5×5 核，并將其他層的核改為3×3 核。

（4）更少的特征圖，更少的模型參數(shù)，更快的識(shí)別速度。

2.3 SVM的最佳參數(shù)

由于UA-DETRAC 數(shù)據(jù)集來自真實(shí)的道路視頻，因此數(shù)據(jù)集中存在不同的照明條件和一些遮擋。用邊界盒數(shù)據(jù)裁剪UA-DETRAC 數(shù)據(jù)集中的車輛，以建立一個(gè)分類數(shù)據(jù)集。由于不同的照明條件等，提出了CNN-SVM 來實(shí)現(xiàn)高分類精度。使用K-fold 交叉驗(yàn)證法(使用SKLearn)選擇SVM 的最佳參數(shù)。在本文中，選擇CV 為5，C 的取值范圍為lg，d=-2，-1，0，1，2。伽馬值的范圍是lg，d=0,1,2,3,4，圖2 是交叉驗(yàn)證的結(jié)果。由圖像可知，最佳gamma=0.0006，最佳C=10。

圖2：交叉驗(yàn)證的結(jié)果

2.4 UA-DETRAC數(shù)據(jù)集

UA-DETRAC 數(shù)據(jù)集的分辨率為960×540 像素。訓(xùn)練集中選取了49076 張圖像，測(cè)試集中選取了12053 張圖像。

2.5 車輛分類結(jié)果

表1 顯示了三種方法(原始Alexnet、改進(jìn)的Alexnet 和改進(jìn)的Alexnet+SVM)在EPOCH 10 上的測(cè)試結(jié)果比較。每個(gè)類別的結(jié)果都顯示在召回中。

表1：在EPOCH 10 上的測(cè)試結(jié)果

比較改進(jìn)后的AlexNet 和AlexNet，我們可以注意到改進(jìn)后的網(wǎng)絡(luò)的每個(gè)類別的召回率都有所提高，尤其是 “貨車”和“其他”類別。因此，改進(jìn)后的CNN 部分要比AlexNet好得多，這證明了加入SPP 方法可以提高網(wǎng)絡(luò)的性能。

將改進(jìn)后的AlexNet+SVM 與改進(jìn)后的AlexNet 進(jìn)行比較，SVM 的加入使得每個(gè)類別的召回率進(jìn)一步提高，這證明SVM 比FC 有更好的泛化能力，并能在一定程度上微調(diào)準(zhǔn)確性，精度高于其他兩個(gè)網(wǎng)絡(luò)。與原AlexNet 相比，總準(zhǔn)確率提高了1.73%。圖3 顯示了改進(jìn)后的AlexNet+SVM 的最終測(cè)試結(jié)果，其形式為混淆矩陣?？梢钥吹?，“汽車”和“巴士”的準(zhǔn)確率足夠高，而“貨車”和“其他”的準(zhǔn)確率仍有提升空間。本研究專注于提高分類精度且方法比原來的AlexNet 更快。

圖3：混淆矩陣的結(jié)果

3 結(jié)論

本文中討論了車輛檢測(cè)和類型分類。對(duì)于車輛檢測(cè)，提出了一種使用Yolov2-tiny 的目標(biāo)提取方法。在網(wǎng)絡(luò)訓(xùn)練的過程中，進(jìn)行了網(wǎng)絡(luò)參數(shù)調(diào)整和K-means 聚類。使用Darknet 來訓(xùn)練檢測(cè)部分。實(shí)驗(yàn)表明，本文的方法具有較強(qiáng)的實(shí)時(shí)性，較高的召回率及準(zhǔn)確率，可以很容易地提取視頻序列中的車輛位置。

在車輛類型分類中，采用改進(jìn)的CNN 網(wǎng)絡(luò)進(jìn)行特征提取，彌補(bǔ)了人工特征提取泛化性差的缺點(diǎn)。在AlexNet 的基礎(chǔ)上對(duì)網(wǎng)絡(luò)進(jìn)行了修改，并加入SPP 以解決因圖像調(diào)整大小和重新縮放而導(dǎo)致的分類精度低的問題。在CNN 訓(xùn)練完成后，我們對(duì)SVM 進(jìn)行二次訓(xùn)練。減少了網(wǎng)絡(luò)的過擬合，提高了模型的泛化能力，并進(jìn)一步提高網(wǎng)絡(luò)的準(zhǔn)確性。實(shí)驗(yàn)表明，我們?cè)趦刹糠值霓D(zhuǎn)化上是成功的，但仍有一定的改進(jìn)空間。

為了解決車輛檢測(cè)中網(wǎng)絡(luò)流動(dòng)性差的問題，未來考慮增加數(shù)據(jù)集的數(shù)量，在多個(gè)訓(xùn)練數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)。