楊茜茜　周籮魚(yú)　鄒學(xué)玉

關(guān)鍵詞：交通標(biāo)志識(shí)別；小目標(biāo)檢測(cè)；YOLOv5；Cluster NMS；標(biāo)志替換法

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）02-0001-03

1 概述

交通標(biāo)志檢測(cè)是復(fù)雜道路環(huán)境感知任務(wù)中十分重要的一個(gè)環(huán)節(jié)，交通標(biāo)志檢測(cè)模型保持高精確度的同時(shí)保證較快的檢測(cè)速度對(duì)汽車自動(dòng)駕駛系統(tǒng)（Mo?tor Vehicle Auto Driving System，MVADS）有著重大的意義，因此攻克交通標(biāo)志檢測(cè)這個(gè)難題迫在眉睫。

縱觀交通標(biāo)志檢測(cè)的發(fā)展史，檢測(cè)方法包括傳統(tǒng)的檢測(cè)方法、二階段檢測(cè)方法、一階段檢測(cè)方法總共三種方法。傳統(tǒng)檢測(cè)方法的分類依據(jù)是目標(biāo)的色彩、形狀、邊緣等特征，但該傳統(tǒng)方法的適用性較差，在特征被遮擋時(shí)將無(wú)法完成檢測(cè)任務(wù)。目前利用神經(jīng)網(wǎng)絡(luò)進(jìn)行交通標(biāo)志檢測(cè)的方法主要分為二階段目標(biāo)檢測(cè)方法和一階段目標(biāo)檢測(cè)方法。二階段目標(biāo)檢測(cè)首先利用區(qū)域建議網(wǎng)絡(luò)進(jìn)行初步的邊框回歸，再利用ROI池化生成建議框，最后經(jīng)過(guò)全連接得到分類結(jié)果與邊框。王海等[1]將不同的R-CNN檢測(cè)器串聯(lián)起來(lái)，用GIOU（Generalized IoU loss）取代原始的IOU損失函數(shù)，得到一種改進(jìn)的Cascade R-CNN檢測(cè)網(wǎng)絡(luò)。該方法提高了交通標(biāo)志的檢測(cè)精度但是只能識(shí)別四類交通標(biāo)志，并且檢測(cè)速度只有2.74幀每秒。

一階段檢測(cè)方法同時(shí)完成預(yù)測(cè)框的回歸和物體的分類。鄧天民等[2]利用改進(jìn)后的YOLOv3網(wǎng)絡(luò)檢測(cè)交通標(biāo)志，將BN 層（Batch Normalization）和conv 層（convolution）合并減少網(wǎng)絡(luò)的計(jì)算量，使用kmeans++聚類算法來(lái)尋找更合適的錨框大小。檢測(cè)精度和檢測(cè)速度都得到了提升但是小目標(biāo)識(shí)別的效果不太好，模型的參數(shù)量大不利于移動(dòng)端的部署。

綜上所述，針對(duì)在檢測(cè)較小的交通標(biāo)志時(shí)檢測(cè)精度不高、檢測(cè)速度慢的問(wèn)題，本文將YOLOv5的加權(quán)非極大抑制模塊改進(jìn)為Cluster NMS，采用交通標(biāo)志替換法對(duì)小目標(biāo)進(jìn)行數(shù)據(jù)擴(kuò)增。最終，采用TT100K（Tsin?ghua-Tencent 100K）數(shù)據(jù)集作為訓(xùn)練集和測(cè)試集，對(duì)改進(jìn)后的算法和經(jīng)典算法開(kāi)展大量對(duì)比試驗(yàn)來(lái)證明改進(jìn)后算法的識(shí)別精度和識(shí)別速度都得到了較大的提升。

2 改進(jìn)YOLOv5 的交通標(biāo)志檢測(cè)

2.1 YOLOv5 算法

YOLOv5由四個(gè)部分組成，根據(jù)網(wǎng)絡(luò)的深度與寬度的不同產(chǎn)生了四種模型，其中由于YOLOv5s的推理速度最快，因此將YOLOv5s運(yùn)用在交通標(biāo)志檢測(cè)中。

Input部分是指數(shù)據(jù)的輸入端，Input運(yùn)用了Mosa?ic數(shù)據(jù)增強(qiáng)模塊，采用隨機(jī)縮放、剪裁、色域變換等操作對(duì)四張圖片進(jìn)行圖像增強(qiáng)后進(jìn)行拼接，使得數(shù)據(jù)集更加豐富[3]。在backbone部分中，首先利用Focus模塊將輸入通道擴(kuò)充了四倍，并且在沒(méi)有信息丟失的情況下完成采樣。YOLOv5s分別在backbone和neck中加入了CSP 結(jié)構(gòu)（Cross Stage Partial Networks）， CSP1_X 將梯度流分開(kāi)，兩個(gè)部分通過(guò)不同的網(wǎng)絡(luò)結(jié)構(gòu)再通過(guò)Concat將梯度流匯合，CSP結(jié)構(gòu)減少了計(jì)算量，加強(qiáng)了網(wǎng)絡(luò)的學(xué)習(xí)能力。在neck部分中增加了FPN（FeaturePyramid Networks）+PAN（Path Aggregation Network）結(jié)構(gòu)，F(xiàn)PN將低層特征融入高層特征，再經(jīng)過(guò)PAN將高層特征融入低層特征，這樣不僅加強(qiáng)了語(yǔ)義特征信息又加強(qiáng)了定位信息[4]。在張量拼接（Concat）后增加CSP2_X結(jié)構(gòu)加強(qiáng)了網(wǎng)絡(luò)的融合能力。在prediction中通過(guò)NMW篩選出最優(yōu)的預(yù)測(cè)框。采用GIOU_Loss作為損失函數(shù)[5]，解決了在錨框不相交時(shí)無(wú)法篩選預(yù)測(cè)框的問(wèn)題。

2.2 改進(jìn)NMW

YOLOv5 采用了加權(quán)非極大抑制NMW[6] 模塊，NMW利用wi 對(duì)邊界框進(jìn)行加權(quán)平均后得到最佳邊界框，計(jì)算如式（1）、式（2）。假設(shè)有n 個(gè)邊界框，wi 為邊界框的權(quán)重，Bi 是大于閾值的候選框，Bargmaxsj是置信度最大的邊界框，sj 是當(dāng)前錨框的置信度大小。

Cluster NMS首先上三角化IoU矩陣X，得到除上三角元素外都為0的矩陣X。而后取矩陣Ci 每列元素中最大的值依次排列，如果bi 中元素小于一定的閾值就置1，否則就置0，最終得到bⁱ=[b₁，b₂，…，b_n]。接著將bⁱ轉(zhuǎn)換成一個(gè)對(duì)角矩陣E，E與IoU矩陣X相乘得到新的矩陣C_i，取其每列元素中最大的值依次排列得到新的張量bⁱ，接著將b_i 依據(jù)閾值轉(zhuǎn)換成一個(gè)對(duì)角矩陣E，繼續(xù)將E與IoU矩陣X相乘得到新的矩陣C_i。重復(fù)上述操作直至bi等于b^{i ? 1}，就篩選出了最優(yōu)的預(yù)測(cè)框。

3數(shù)據(jù)擴(kuò)增

TT100K數(shù)據(jù)集包含很多不同的復(fù)雜道路場(chǎng)景，具有更高的分辨率，數(shù)據(jù)集中的交通標(biāo)志大部分是小目標(biāo)[8]，這很符合實(shí)際的交通場(chǎng)景。該數(shù)據(jù)集收集了在不同的亮度和天氣條件下的10000幅包含30000個(gè)交通標(biāo)志實(shí)例的圖像。但是，數(shù)據(jù)集里不同類別的交通標(biāo)識(shí)之間數(shù)量差異巨大，需要采用數(shù)據(jù)擴(kuò)增來(lái)平衡數(shù)量差異。標(biāo)志替換法首先對(duì)交通標(biāo)志進(jìn)行模糊和亮度變化處理，再將該標(biāo)志隨機(jī)替換掉圖片中已有的標(biāo)志[9]。

本文采用標(biāo)志替換法，對(duì)實(shí)例個(gè)數(shù)不足1000個(gè)的交通標(biāo)志擴(kuò)增，不僅增加了小目標(biāo)的數(shù)量，而且縮小了各種類標(biāo)志之間的數(shù)量差異。擴(kuò)增后的數(shù)據(jù)集包含17935張圖片，訓(xùn)練集有12555張圖片，測(cè)試集有5382張圖片，輸入網(wǎng)絡(luò)的圖片分辨率為640×640。

4 試驗(yàn)與結(jié)果分析

4.1 模型訓(xùn)練環(huán)境

本文進(jìn)行實(shí)驗(yàn)采用了Ryzen 7 5800H 型號(hào)的CPU，NVIDIA GeForce RTX 3060 Laptop型號(hào)的GPU和win10系統(tǒng)操作系統(tǒng)。本文的模型是在CUDA 11.0的PyTorch 深度學(xué)習(xí)框架下進(jìn)行訓(xùn)練，初始學(xué)習(xí)率為0.001，采用余弦退火策略降低學(xué)習(xí)率和adam優(yōu)化器，訓(xùn)練了300epoch，批次大小為24。

4.2 評(píng)價(jià)指標(biāo)

本文采用準(zhǔn)確率（P）、召回率（R）、mAP@0.5、mAP@0.5：0.95、FPS作為評(píng)價(jià)指標(biāo)。召回率（R）用來(lái)衡量模型遺漏目標(biāo)的程度。mAP@0.5用來(lái)衡量模型精確率隨召回率變化趨勢(shì)，mAP@0.5高就說(shuō)明模型在高準(zhǔn)確率的同時(shí)擁有高召回率。mAP@0.5：0.95用來(lái)衡量檢測(cè)框與標(biāo)定框擬合的精準(zhǔn)度。FPS是指模型每秒處理的圖片數(shù)量，F(xiàn)PS超過(guò)30幀/s才滿足實(shí)時(shí)性要求。

4.3 實(shí)驗(yàn)結(jié)果分析

在測(cè)試集上利用原始的算法和改進(jìn)后的算法分別進(jìn)行檢測(cè)。圖1是誤檢對(duì)比圖，本文的算法沒(méi)有出現(xiàn)誤檢的情況，無(wú)誤地識(shí)別出限速60的交通標(biāo)志。在圖2中改進(jìn)后的算法準(zhǔn)確地識(shí)別出了圖中所有的交通標(biāo)志，這說(shuō)明改進(jìn)后的算法能很好地避免漏檢的情況。圖3是夜晚情景中的檢測(cè)效果圖，改進(jìn)后的算法不僅沒(méi)有誤檢還識(shí)別出了限速60和禁止鳴笛的標(biāo)志，這說(shuō)明改進(jìn)后的算法可以解決夜間的交通標(biāo)志檢測(cè)問(wèn)題。綜上所述，本文的方法適用性更強(qiáng)，很好地解決了誤檢和漏檢的問(wèn)題。

從數(shù)據(jù)集中挑選21類常見(jiàn)的交通標(biāo)志，利用YO?LOv5算法與改進(jìn)后的算法分別進(jìn)行檢測(cè)，圖4中改進(jìn)后算法檢測(cè)21類交通標(biāo)志的mAP@0.5都比較高說(shuō)明泛化性能好，改進(jìn)后算法進(jìn)行檢測(cè)的大部分識(shí)別精度都比原始算法高，檢測(cè)精度平均增加了11.3%，本文方法檢測(cè)精度最低的交通標(biāo)志是禁止鳴笛，還是比原始算法提高了2.8%，這說(shuō)明改進(jìn)后的方法以高精度很好地完成了交通標(biāo)志細(xì)分類。

利用改進(jìn)后的算法、YOLOv5算法和文獻(xiàn)[10]對(duì)交通標(biāo)志進(jìn)行檢測(cè)，檢測(cè)結(jié)果如表1所示。mAP@0.5s是針對(duì)小目標(biāo)檢測(cè)的精度，原始算法檢測(cè)小目標(biāo)的準(zhǔn)確率不高，文獻(xiàn)[10]的mAP@0.5為0.893，而本文算法將小目標(biāo)的檢測(cè)精度mAP@0.5提高為0.916。

原始YOLOV5算法的準(zhǔn)確率是0.81，文獻(xiàn)[10]的準(zhǔn)確率是0.508，改進(jìn)后的算法準(zhǔn)確率是0.892，本文的方法提高了交通標(biāo)志檢測(cè)的準(zhǔn)確度。本文算法的召回率比原始算法高0.14，改進(jìn)后算法很好地改善了漏檢的情況。改進(jìn)后算法的mAP@0.5為0.898，比文獻(xiàn)[10]提高了0.041，證明改進(jìn)后算法的檢測(cè)框與標(biāo)定框擬合更精準(zhǔn)。改進(jìn)后的算法FPS達(dá)到93幀/s遠(yuǎn)遠(yuǎn)超出實(shí)時(shí)性的需求，比YOLOv5 算法、文獻(xiàn)[10]分別高出2.74 幀/s、4.87幀/s，說(shuō)明本文提出的方法在提高了識(shí)別的準(zhǔn)確度的同時(shí)兼顧了識(shí)別的速率。

4.4 消融試驗(yàn)

如表2所示，使用標(biāo)志替換法后mAP@0.5：0.95增加了0.038，mAP@0.5增加了0.057，數(shù)據(jù)擴(kuò)增很好地提高了檢測(cè)精度。數(shù)據(jù)擴(kuò)增后檢測(cè)速度還提升了1.91幀/s，說(shuō)明標(biāo)志替換法還提高了檢測(cè)速度?？偟膩?lái)說(shuō)標(biāo)志替換法很好地提升了模型的性能，一方面提高了檢測(cè)精度，另一方面提升了檢測(cè)速度。

加入Cluster NMS 后mAP@0.5：0.95 增加了0.05，mAP@0.5 增加了0.057，YOLOv5 算法采用ClusterNMS相比于采用NMW檢測(cè)精度得到大幅度提升。采用Cluster NMS后將檢測(cè)速度提高為92.59幀/s，證明了Cluster NMS模塊很好地平衡了識(shí)別精度和識(shí)別速度的要求。

5 結(jié)論

針對(duì)交通標(biāo)志檢測(cè)任務(wù)，本文利用Cluster NMS模塊替換了YOLOv5網(wǎng)絡(luò)模型的NMW模塊，實(shí)驗(yàn)表明采用Cluster NMS不僅提高了檢測(cè)精度還提升了檢測(cè)效率。利用標(biāo)志替換法進(jìn)行數(shù)據(jù)擴(kuò)增，實(shí)驗(yàn)證明標(biāo)志替換法通過(guò)均衡各類別交通標(biāo)志之間數(shù)量分布，很好地提高了檢測(cè)精度的同時(shí)檢測(cè)速度也得到了提高?？偟膩?lái)說(shuō)，在TT100K數(shù)據(jù)集上將改進(jìn)后的算法與經(jīng)典算法開(kāi)展大量實(shí)驗(yàn)對(duì)比后，證明了本文的方法很好地平衡了準(zhǔn)確性和實(shí)時(shí)性的要求。但是本文依然有一些尚未解決的問(wèn)題，本文提出的方法不能應(yīng)對(duì)如雨雪、霧霾等極端天氣下的交通標(biāo)志檢測(cè)情況，并且模型參數(shù)量較大，不利于資源有限的車載環(huán)境進(jìn)行部署。下一步可以研究的方向有解決惡劣天氣下的交通標(biāo)志識(shí)別和輕量化模型等。