李嘉豪，閔衛(wèi)東，2，3，陳炯縉，朱 夢，展國偉

（1.南昌大學 數(shù)學與計算機學院，南昌 330031；2.南昌大學 元宇宙研究院，南昌 330031；3.江西省智慧城市重點實驗室，南昌 330031）

0 概述

隨著智能交通領域中自動駕駛等技術不斷發(fā)展，如何保障交通安全也愈發(fā)受到重視。交通標志檢測利用快速檢測交通標志并將信息傳遞給智能交通系統(tǒng)，輔助智能交通系統(tǒng)快速了解重要的道路信息，從而保障交通安全。然而，在復雜環(huán)境下光照、遮擋、尺度變化、交通標志的形變和褪色等因素都為交通標志檢測帶來諸多挑戰(zhàn)。除此之外，部分交通標志的外觀十分相似，模型在尺度變化下難以識別它們之間的特征差異，導致分類錯誤。此外，在交通場景中存在與交通標志相似的其他物體容易被誤檢，包括因為距離、模糊等因素而無法區(qū)分類別的原交通標志。

傳統(tǒng)交通標志檢測方法主要基于顏色和形狀等手工特征，例如，形狀、顏色、HOG、SIFT、邊緣等［1-3］手工特征的方法。但是這些方法在面對上述問題時，往往不能取得較優(yōu)的檢測效果。許多研究人員將卷積神經(jīng)網(wǎng)絡應用于交通標志檢測領域，并取得一定的進展。然而，如何提高卷積神經(jīng)網(wǎng)絡的準確性仍然是研究熱點。

近年來，基于卷積神經(jīng)網(wǎng)絡的交通標志檢測方法成為主流。文獻［4］基于YOLOv3 提出多尺度注意力模塊（Multi-Scale Attention Module，MSAM）融合不同尺度特征，增強網(wǎng)絡表示能力，并增加1 個檢測層以有效利用較淺層的小目標特征。TSingNet［5］基于RetinaNet 提出注意力驅(qū)動的雙邊特征金字塔網(wǎng) 絡（Attention-driven Bilateral Feature Pyramid Network，ABFPN）和適應性感受野融合（Adaptive Receptive Field Fusion，ARFF）學習尺度感知和上下文信息，有效檢測小而遮擋的交通標志。

然而，上述方法主要通過改進整體網(wǎng)絡結構和注意力優(yōu)化特征提取過程，提高小目標的檢測效果?，F(xiàn)有方法很少關注交通標志數(shù)據(jù)集的外觀特點，尤其是TT100K［6］數(shù)據(jù)集，在該數(shù)據(jù)集分類下的部分交通標志之間有著十分相似的外觀，優(yōu)化網(wǎng)絡和改進注意力都難以指導模型學習其中的細微差異。此外，由于其他相似物體尤其是原交通標志具有交通標志的外觀特征，因此通過優(yōu)化網(wǎng)絡結構和添加注意力的方式難以有效抑制對這種特征的提取，導致誤檢。

本文選取綜合性能較優(yōu)的一階段檢測模型RetinaNet［7］作為主體框架，提出逐層特征細化檢測（Layer-by-layer Feature Refinement Detection，LFRD）模型。通過對RetinaNet 模型的錨框機制優(yōu)化設計分層聚類錨框，并根據(jù)交通標志外觀特點提出分組損失，有效應對因交通標志尺度變化和相似交通標志的漏檢和錯誤分類問題。此外，設計弱語義分割（Weak Semantic Segmentation，WSS）模塊和特征細化模塊（Feature Refinement Module，F(xiàn)RM），通過主動學習的方式減少對其他相似物體的誤檢。WSS 利用弱語義分割生成可信區(qū)域和非可信區(qū)域，F(xiàn)RM 利用多尺度信息主動學習并消除非可信區(qū)域特征中造成誤檢的干擾特征，結合通道注意力［8］（SENet）抑制細化特征的背景并增強前景。利用上述方法沿自底向上子網(wǎng)逐層細化特征，構建逐層細化特征金字塔（Layer-by-layer Refinement of Feature Pyramid Network，LRFPN）從而降低誤檢。

1 相關工作

1.1 基于卷積神經(jīng)網(wǎng)絡的交通標志檢測

卷積神經(jīng)網(wǎng)絡的交通標志檢測方法主要基于兩階段檢測模型和一階段檢測模型。兩階段檢測模型是將區(qū)域建議與卷積神經(jīng)網(wǎng)絡相結合進行目標檢測。經(jīng)典的兩階段檢測模型如Faster R-CNN［9］、R-FCN［10］、Cascade R-CNN［11］、Mask R-CNN［12］等。文獻［13］提出多分支樣本金字塔，基于Faster R-CNN，利用圖像金字塔和動態(tài)卷積適應交通標志的尺度變化。文獻［14］基于R-FCN，將符號的位置和大小作為先驗知識縮小搜索范圍，提出高性能輕量級超類檢測器和精化分類器，從而提高檢測性能。

雖然兩階段檢測模型在交通標志檢測中取得優(yōu)異的性能，但是一階段檢測模型因其更具時效性而成為交通標志檢測的主流方法。一階段檢測模型是將目標檢測轉(zhuǎn)化為1 個回歸問題來進行端到端的檢測。經(jīng)典的 一階段 檢測模型有SSD［15］、YOLO［16］、RetinaNet 等。文 獻［17］對YOLOv3［16］做出一些調(diào)整，在此基礎上提出1 個多尺度注意力特征模塊，該模塊有助于融合不同層次的特征信息以此對特征進行細化，增強特征金字塔網(wǎng)絡性能。文獻［18］在改進RetinaNet 的基礎上級聯(lián)1 個二分類網(wǎng)絡，有助于從第一階段預測結果中識別有效的交通標志，提高準確率。文獻［19］基于SSD 提出一種基于語義場景理解和結構化交通標志定位的方法，利用空間位置約束減少對其他類似物體的誤檢。

1.2 基于語義分割的交通標志檢測

語義分割是提取圖像特征并對特征的每個像素進行分類，從而獲取到1 張關于圖像類別信息的分割圖。Mask R-CNN 結合FCN 中的語義分割技術在經(jīng)典兩階段檢測模型Faster R-CNN 的基礎上增加1 個分支網(wǎng)絡作為語義分割的輸出。通過共享分支特征以及修改網(wǎng)絡，在實現(xiàn)目標檢測的同時分割目標像素。文獻［20］在檢測頭前加入基于弱語義分割的動態(tài)增強附件，避免提取能力下降，導致誤檢、漏檢。

1.3 基于特征金字塔的交通標志檢測

特征金字塔網(wǎng)絡［21］（Feature Pyramid Network，F(xiàn)PN）是利用多尺度特征融合來緩解不同尺度之間語義信息不平衡問題的方法，可以在不同尺度上檢測目標。該方法簡單高效，被用于YOLO 系列、RetinaNet 等諸多一階段檢測模型中。隨著對特征金字塔的深入研究，自FPN 后又出現(xiàn)如路徑聚合網(wǎng)絡［22］（Path Aggregation Network，PAN）等優(yōu)秀的特征金字塔方法。文獻［5］提出一種注意力驅(qū)動的雙邊特征金字塔，在尺度注意力學習中雙循環(huán)低、中、高尺度特征的前景語義信息，從而提高交通標志的檢測效果。

上述現(xiàn)有方案從不同方面對交通標志檢測進行改進，并取得較優(yōu)的檢測效果，但是大多數(shù)方法更加關注對小目標檢測效果的提高，很少關注交通標志外觀特點。除此之外，現(xiàn)有方案大多利用通道注意力或空間注意力對特征進行細化，從而抑制誤檢，這種方式是針對整體進行優(yōu)化，對光照和部分相似物體有一定的效果，但是對與交通標志更相似的其他物體檢測效果不佳。本文通過對交通標志數(shù)據(jù)集的外觀特點進行分析，利用修改損失指導模型學習相似交通標志之間的差異。另外，本文不是基于全局優(yōu)化的方式抑制誤檢，而是采用弱語義分割和特征細化模塊主動學習和消除造成誤檢的干擾特征。

2 逐層特征細化檢測模型

2.1 模型的整體結構

逐層特征細化檢測 模型的整體框架：以ResNet 50［23］作為特征提取網(wǎng)絡，以特征細化模塊和弱語義分割模塊結合通道注意力構建的逐層細化特征金字塔來實現(xiàn)多尺度特征優(yōu)化，最后以語義分割圖調(diào)整檢測結果。模型輸入尺寸為512×512 像素，經(jīng)過8 倍、16 倍和32 倍的下采樣倍率得到3 種不同尺寸的特征并分別利用1×1 卷積降低特征維度（P3、P4、P5），在模型 Neck 部分將P3輸入到弱語義分割模塊，結合最大池化下采樣得到不同尺度的語義分割圖，之后將尺度最小的分割圖和P5輸入到特征細化模塊獲取細化特征Fr,5和輸出特征Fout,5。將Fout,5輸入檢測頭中得到該層檢測結果，將Fr,5上采樣并利用通道注意力抑制背景增強前景，實現(xiàn)淺層特征和深層語義特征的融合。在其余2 層中重復上述過程，實現(xiàn)自底向上逐層細化的效果。除此之外，F(xiàn)r,5利用3×3 卷積下采樣作為第4 層檢測頭的輸入，在獲取到檢測結果時，利用語義分割圖調(diào)整置信度實現(xiàn)對結果的優(yōu)化。LFRD 模型的結構如圖1 所示。

圖1 逐層特征細化檢測模型整體結構Fig.1 Overall structure of layer-by-layer feature refinement detection model

2.2 分層聚類錨框與分組損失

RetinaNet 使用平移不變錨框，類似于文獻［21］中RPN 變體的錨框。錨框在金字塔層次P3～P7上的面積分別為322～5122。但是平移不變錨框難以適應尺寸小且尺度靈活多變的交通標志，尤其是交通標志中有大量面積小于322的實例。通過分析TT100K 數(shù)據(jù)集中的訓練集，其中面積小于322的正樣本（模型的錨框和標簽框交并比大于0.5）占17.5%，最小尺度的交通標志僅有72 像素。針對該問題，本文提出一種分層聚類錨框方法，使不同檢測層檢測適合尺度的目標。參考RetinaNet 為每層分配的尺度和比例分別為{322,642,1282,2562,5122}和，為每個檢測層重新規(guī)劃檢測區(qū)域，每層的最小尺寸為{0,322,642,1282,2562}，最大尺寸為{322,642,1282,。因為滿足第5 層條件的樣本數(shù)量太少，所以在去掉第5 層的同時將第4 層的最大尺寸增大為5122。

分層聚類錨框結構如圖2 所示。計算訓練數(shù)據(jù)集中交通標志的長寬，根據(jù)每層檢測區(qū)域的范圍將交通標志按照所屬層次分組為多個子集，分別利用K-means 聚類算法對不同子集進行分析，選擇各層對應合適的錨框數(shù)。本文選擇每層錨框數(shù)為3。

圖2 分層聚類錨框結構Fig.2 Structure of hierarchical clustering anchors

除此之外，RetinaNet 采用Focal loss 作為分類損失，該損失能有效改善TT100K 中類不平衡的問題，但并不能指導模型學習相似交通標志之間的細微差異，導致分類錯誤。

在TT100K 數(shù)據(jù)集中的功能類別和相似案例如圖3 所示（彩色效果見《計算機工程》官網(wǎng)HTML版）。TT100K 數(shù)據(jù)集按照功能將標志分為禁止（P）、建議（I）、警告（W）3 大超類。同一超類下的交通標志顏色和形狀都更加相似，禁止（P）多為白底并帶有紅色圓形邊框，建議（I）多為藍底圓形邊框，警告（W）多為黃底三角形邊框。

圖3 在TT100K 數(shù)據(jù)集中的功能類別和相似案例Fig.3 Functional categories and similar cases in TT100K dataset

從圖3 的右邊可以看出，受距離和光照影響，同超類下的交通標志細節(jié)更模糊，容易誤檢，尤其是包含多個稀少類別的io、po、wo 3 類。在TT100K 數(shù)據(jù)集中有221 個類別，其中大量類別的實例數(shù)量稀少甚至只有個位數(shù)，TT100K 數(shù)據(jù)集［6］將數(shù)量稀少的類別按功能（I、P、W）統(tǒng)一為io、po、wo 3 類。

針對這個問題，本文根據(jù)交通標志類別功能設計分組損失函數(shù)，定義如式（1）和式（2）所示：

其中：pi和為按照功能類別劃分為3組的預 測和標簽；θ為Softmax 激活函數(shù)；ci為第i組的類別總數(shù)；pi,j和分別代 表pi和內(nèi) 第j位預測 和標簽的結果；條件保證了該損失僅在正樣本的時候才會起到效果。將外觀特征相似的交通標志類別放在同一組并分別計算損失函數(shù)，借助Softmax 局部注意力放大的效果，有利于在同組下突出不同類之間的差異并指導模型學習這種差異，減少交通標志的分類錯誤。

2.3 逐層細化特征金字塔

逐層細化特征金字塔（LRFPN）是在特征金字塔的基礎上包含1 個弱語義分割模塊、2 個通道注意力模塊、3 個特征細化模塊。采用自下而上的子網(wǎng)，結合弱語義分割和特征細化模塊學習并消除底層特征對誤檢產(chǎn)生的干擾，從而獲取細化特征和輸出特征，利用通道注意力抑制細化特征的背景并增強前景，沿著子網(wǎng)迭代細化過程，以實現(xiàn)對整個特征金字塔的優(yōu)化，從而降低對其他相似物體的誤檢。

2.3.1 自適應多尺度探索模塊

弱語義分割模塊和特征細化模塊都需要學習目標的上下文信息，為此，本文設計1 個自適應多尺度探索模塊。該模塊由自適應權重（Adaptive Weights，AW）和輕量級多尺度方案組成，能夠在像素級層面上自適應地控制網(wǎng)絡感受野，以獲取豐富的上下文信息。

自適應多尺度探索模塊結構如圖4 所示。

圖4 自適應多尺度探索模塊結構Fig.4 Structure of adaptive multi-scale exploration module

自適應權重和人為分配權重不同，自適應權重并不像后者根據(jù)先驗知識為不同感受野分配相應權重，而是利用卷積神經(jīng)網(wǎng)絡學習每個像素點特征的周邊信息以生成相應的感受野權重，如式（3）所示：

其中：CCBR表示1×1 卷積和Batch_Norm 以及ReLU激活函數(shù)，用于提取像素點的特征信息并將通道數(shù)映射到分支數(shù)K（K=4）；C7×7表示7×7 大核卷積，用于獲取像素點的周邊信息；θ表示Softmax 激活函數(shù)，獲取不同分支的比例。自適應多尺度探索模塊利用反向傳播和Softmax 激活函數(shù)增強局部注意的效果，學習像素級感受野分支權重圖W。

輕量級多尺度探索模塊利用通道壓縮和分組卷積減少計算量和參數(shù)量。FRM 使用的自適應多尺度探索模塊參數(shù)如表1 所示，其中A×A表示卷積核大小為A，r表示卷積擴張率大小。

表1 FRM 使用的自適應多尺度探索模塊參數(shù)Table 1 Parameters of the adaptive multi-scale exploration module used by FRM

輕量級多尺度探索模塊利用1×1 標準卷積壓縮輸入特征通道，其中，F(xiàn)RM 模塊和SSW 模塊針對壓縮輸入特征通道有所不同，前者壓縮通道為原通道數(shù)的50%，后者壓縮通道為原通道數(shù)的25%，還設計4 個平行的分組卷積和隨后具有不同擴張率的分組擴張卷積層組成感受野分支，在小標志和大標志之間有效平衡感受野并獲取充分的上下文信息。增大的擴張率通過強調(diào)上下文內(nèi)容和大目標來擴大有效感受野，而減小的擴張率則更傾向于關注小目標。WSS 模塊所使用的輕量級多尺度探索模塊參數(shù)如表2 所示，WSS 模塊所采用的輕量級多尺度探索模塊實現(xiàn)感受野范圍從1×1 到13×13 的變化，分組數(shù)為16。

表2 WSS 使用的輕量級多尺度探索模塊參數(shù)Table 2 Parameters of the lightweight multi-scale exploration module used by WSS

自適應多尺度探索模塊在得到自適應權重和多條分支的特征后，對兩者進行特征融合，如式（4）所示：

其 中：CCGH表 示1×1 標準卷積和GroupNorm 以 及Hardswish 激活函數(shù)，用于壓縮特征通道數(shù)來提取隱藏特征；BBranchi表示提取不同感受野特征的第i個感受野分支；Wi表示由自適應權重模塊生成對應分支i的權重圖；?表示哈達瑪積；C2表示恢復通道數(shù)的點卷積。

2.3.2 弱語義分割模塊與特征細化模塊

部分誤檢是由于交通標志相似的物體造成的，它們具有交通標志的特征所以難以被模型消除，能夠避免受網(wǎng)絡優(yōu)化和注意力的影響。

針對這個問題，本文提出特征細化模型，通過主動學習并消除特征中的干擾來降低誤檢概率。弱語義分割模塊與特征細化模塊結構如圖5 所示。

圖5 弱語義分割與特征細化模塊結構Fig.5 Structure of weak semantic segmentation and feature refinement modules

為學習干擾特征，首先獲取干擾的位置，獲取干擾位置的流程如圖5 的左圖所示，本文結合自適應多尺度探索模塊和1 個7×7 卷積，提出1 個弱語義分割模塊，并利用卷積核為3、步長為2 的最大池化獲取不同尺寸的分割圖，其過程如式（5）所示：

其中：SSCE表示基于表2 中參數(shù)的自適應多尺度探索模塊，其感受野范圍從3×3 到15×15 的變化，分組數(shù)為32；P3表示通道壓縮后的淺層特征；Conv7×7表示7×7 大核卷積將通道數(shù)映射為1，以閾值為0 生成分割圖，避免產(chǎn)生反向傳播影響到特征細化模塊的優(yōu)化。

語義分割圖除了輔助特征細化以外，還可以作為懲罰模塊（Punishment Module，PM）對預測結果進行優(yōu)化，對位于非可信區(qū)域的預測結果進行懲罰，懲罰系數(shù)為0.5，如式（6）所示：

FRM 結構如圖5 的右圖所示，在利用弱語義分割圖獲取到非可信區(qū)域特征后，F(xiàn)c,i是第i個模塊的輸入特征，首先利用上下文信息學習其中的假陽性干擾，然后利用簡單的元素相減方式從特征中消除這些干擾從而得到細化特征Fr,i，其過程如式（7）所示：

其中：Fc,i為第i層FRM 模塊的輸入特征；表示根據(jù)表1 中參數(shù)構建的自適應多尺度探索模塊，用于學習非可信區(qū)域中的干擾特征；σ表示ReLU 激活函數(shù)。

將細化后的Fr,i沿著特征金字塔向上傳遞的同時利用1 個新的自適應多尺度探索模塊獲取細化特征豐富的上下文信息表示Fout,i，如式（8）所示：

CEi,2和CEi,1的參數(shù)雖然一致但作用不同，前者是為了學習全局上下文信息代替7×7 標準卷積。

為了避免因數(shù)據(jù)集過少而造成過擬合問題，從而影響LRFPN 的檢測效果，本文在訓練時人為地生成一些干擾信息影響弱語義分割，以50%的概率遮擋正樣本區(qū)域，提高模塊保留假陰性干擾的能力，同樣以50%的概率生成1 個位置隨機且面積在50%～150%目標的正向干擾區(qū)域，以提高全局挖掘并消除可信區(qū)域假陽性干擾的能力。

3 實驗與結果分析

3.1 實驗數(shù)據(jù)集與評價指標

本文采用TT100K［6］和德國交通標志檢測基準GTSDB［24］數(shù)據(jù)集驗證實驗效果。清華大學和騰訊公司聯(lián)合制作的數(shù)據(jù)集TT100K 是1 個數(shù)量和圖像尺度都較大的交通標志基準，由10 000 個分辨率為2 048×2 048 像素的街景圖像和30 000 個交通標志實例組成，對應200 多個類別。因為獲得難度不同，所以TT100K 存在類不平衡的現(xiàn)象。參考數(shù)據(jù)集來源的文獻［6］，本文挑選大于100 實例的42 類別，并根據(jù)建議、禁止、警告將其余類別統(tǒng)一成io、po、wo 3 類，共計45 類，利用數(shù)據(jù)增強將低于1 000 實例的類別擴充至1 000。GTSDB 被廣泛用于交通標志檢測的評價，包括900 幅分辨率為1 360×800 像素的圖像（600 幅用于訓練，300 幅用于測試）。

本文采用AP50、AP75、AP、精確率（P）、召回率（R）、F1 值 這6 個指標 評價模 型性能。AP50、AP75分別表示交并比IoU 大于0.50 和0.75 時的綜合平均精確率mAP，AP 是IoU 在［0.50∶0.05∶0.95］下分別計算獲得的mAP，并計算這些結果的均值，為了區(qū)分每個類別的平均精度，每個類別的平均精度被設置為ap。mAP 是計算所有類別P-R曲線下面積的平均值，如式（9）所示：

其中：iou 為設置好的IoU 閾值；N為該數(shù)據(jù)集樣本類別數(shù)量；Pn為該樣本類別的平均精度值。

F1 值（F1）是利用精確率和召回率計算獲得的綜合指標，如式（10）所示：

3.2 訓練策略

本文實驗平臺設置：CPU 為Intel Core i9-10900K，內(nèi)存 64 GB，GPU 為NVIDIA GeForce RTX P4000，顯存8 GB，操作系統(tǒng)為Ubuntu 16.04，深度學習框架為PyTorch。

TT100K 數(shù)據(jù)集的圖像分辨率太大而無法進行訓練。為解決這個問題，本文參照文獻［25］的圖像處理方法，使用大小為512×512 的滑窗對訓練集進行裁剪，滑窗之間的重疊率為20%，過濾掉包含0.5 個目標（一個標簽所占面積的50%）以下的子圖。GTSDB 的圖像尺寸直接調(diào)整為640×640 像素。

因為添加了弱語義分割，所以利用IoU 損失?iou［26］和二進 制交叉 熵損失?BCE［26］優(yōu)化分割圖，如式（11）所示：

為了實現(xiàn)聯(lián)合訓練，結合本文提出的分組損失，總損失的表達式如下：

其中：λ1、λ2、λ3、λ4分別為各項損失設置的權重系數(shù)；Lreg、Lcls、lgroup、Lmap分別為回歸損失、分類損失、分組損失、弱語義分割損失。

3.3 與其他模型的性能對比

為評估本文提出檢測模型LFRD 對小交通標志檢測的能力，在GTSDB 數(shù)據(jù)集上進行實驗。通過直接縮小的GTSDB 尺寸來滿足模型輸入的需求，導致GTSDB 數(shù)據(jù)集中的目標小于其原先尺寸，增加了小目標在數(shù)據(jù)集中的比例。本文方法和其他交通標志檢測方法在GTSDB 數(shù)據(jù)集上的實驗結果如表3 所示，加粗表示最優(yōu)數(shù)據(jù)，AP50表示檢測的綜合結果，禁止、建議、警告表示每個類別在IoU 閾值為0.5 時的平均精度ap。

表3 不同方法在GTSDB 數(shù)據(jù)集上的實驗結果Table 3 Experimental results among different methods on the GTSDB dataset %

從表3 可以看出：本文提出的LFRD 在GTSDB數(shù)據(jù)集中3 個類的ap 中有1 個取得最優(yōu)結果，總體AP50也優(yōu)于其他方法，說明LFRD 即使面對小目標也有較優(yōu)的檢測效果，與其他方法相比具有一定的競爭力。

為進一步檢驗模型性能，本文選取RetinaNet、SSD、YOLOv3、YOLOv5s、Faster R-CNN、Cascade R-CNN 和本文提出的LFRD 共7 種模型在TT100K 數(shù)據(jù)集上進行性能分析，實驗結果如表4 所示，其中前4 個模型是一階段檢測模型，F(xiàn)aster R-CNN、Cascade R-CNN是兩階段檢測模型，這些模型都被應用于交通標志檢測方法的研究中。

表4 不同方法在TT100K 數(shù)據(jù)集上的實驗結果Table 4 Experimental results among different methods on the TT100K dataset %

從表4 可以看出，本文提出的LFRD 的AP、AP50和FI 值分別取得76.1%、96.3%和93.8%，均優(yōu)于其他方 法。與一般 檢測器RetinaNet、SSD、YOLOv5s、YOLOv3 相比，LFRD 的AP50評價指標分別提高約6.3、6.0、1.8 和1.1 個百分 點。與Faster R-CNN 和Cascade R-CNN 相 比，LFRD 在AP50上分別提高5.4和5.7 個百分點。相比SSD、Faster R-CNN、Cascade R-CNN，雖然LFRD 的召回率略低，但是精確率提高了約10 個百分點。因此，LFRD 能有效降低誤檢率，從而提高綜合檢測性能。

為進一步驗證該方法的性能，本文將在TT100K數(shù)據(jù)集上檢測的結果映射至原圖，消除因窗口剪裁所導致部分錯誤的交通標志被子圖邊界截斷，從而容易得到對不完整交通標志檢測的結果?，F(xiàn)有交通標志檢測方法在TT100K 數(shù)據(jù)集上的實驗結果對比如表5 所示。

表5 現(xiàn)有交通標志檢測方法在TT100K 數(shù)據(jù)集上的實驗結果Table 5 Experimental results of existing traffic sign detection methods on TT100K dataset

從表5 可以看出，本文提出的LFRD 在AP 和AP75上取得最高結果分別為75.4%和89.5%，與輸入尺 寸1 024×1 024 像素的SignHRNet 相 比AP50降 低0.1 個百分點，可能是因為輸入尺寸較大減少了因剪裁產(chǎn)生的不完整目標。AP 和AP75對預測結果和標簽之間的IoU 要求更高，本文方法在AP 和AP75取得更優(yōu)的檢測效果，表明LFRD 在交通標志檢測任務中檢測更精確的邊界盒。

3.4 消融實驗

為驗證分層聚類錨框的有效性以及為每層選擇合適的錨框數(shù)量，本文設計2 種參數(shù)不同的方案，分別在TT100K 數(shù)據(jù)集上進行實驗，實驗結果如表6 所示。消融實驗都是基于RetinaNet 作為檢測框架，更換了模型中的anchor機制，在使用分層聚類錨框時僅保留了P3～P6檢測層。RetinaNet 使用文獻［7］中描述的平移不變錨框，Kmeans3、Kmeans6使用本文提出的分層聚類錨框且每層錨框數(shù)分別為3 個和6 個。

表6 不同錨框策略的實驗結果對比Table 6 Comparison of experimental results among different anchor box strategies

從表6 可以看出，RetinaNet 雖然精確率更高，但是受尺度變化的影響，其召回率較低，存在較多漏檢問題。使用分層聚類錨框的Kmeans3和Kmeans6方法都能更好應對尺度變化問題并有效提高召回率，其綜合性能AP、AP50、AP75更優(yōu)。雖然Kmeans3和Kmeans6方法的精確率較低，但是分層聚類錨框主要是針對交通標志的尺度變化降低漏檢。Kmeans6的參數(shù)量更多但是效果提升并不明顯，Kmeans3在精確 率、AP 以 及AP75的效果 都略優(yōu) 于Kmeans6。因此，本文選擇Kmeans3對平移不變錨框進行改進。

在確定錨框策略后，為驗證其他模塊對模型的有效性，本文基于Kmeans3依次加入lgroup、LRFPN、PM 在TT100K 數(shù)據(jù)集上進行實驗，實驗結果如表7所示。

表7 消融實驗結果Table 7 Ablation experiment results

從表7可以看出，實驗2僅加入lgroup，lgroup通過指導模型學習相似類別之間的差異，與實驗1 相比在降低錯誤分類的同時精確率和召回率提高2.4 和0.3 個百分點。實驗3 僅加入LRFPN，LRFPN 有效降低干擾特征產(chǎn)生的影響，利用WSS 和FRM 模塊實現(xiàn)逐層細化并利用通道注意力優(yōu)化特征，與實驗1 相比精確率和召回率提高6.4 和0.1 個百分點。

實驗4 加入lgroup和LRFPN，與實驗1 相比lgroup與LRFPN 相結合的精確率和召回率提高8.1 和0.7 個百分點，AP、AP50、AP75分別提高到76.1%、96.3%、91.1%。實驗5 在實驗3 的基礎上加入PM，PM 模塊是為了更高效地使用多尺度語義分割圖，利用其監(jiān)督檢測結果。將PM 模塊加入到lgroup和LRFPN 中召回率減少了0.1 個百分點，而精確率提高1.7 個百分點。

LRFPN 的檢測和分割效果如圖6 所示，位于黑色區(qū)域?qū)艿紽RM 的特征細化以及PM 模塊的懲罰，降低相似物體的誤檢。

圖6 小目標的檢測和分割結果Fig.6 Detection and segmentation results for small targets

圖7 所示為本文以熱力圖的形式展示模塊功能（彩色效果見《計算機工程》官網(wǎng)HTML 版）。P3、P4分別代表主干網(wǎng)絡提取第3 層和第4 層特征所使用的卷積壓縮模塊的熱力圖，CE3,1和CE3,2分別代表細化第3 層特征所使用FRM 中2 個模塊的熱力圖。經(jīng)多尺度特征融合后，同樣將多尺度特征中的干擾特征匯聚在一起，由CE3,1注意可能誤檢的部分，CE3,2獲取最終特征來提高檢測精度。

圖7 不同模塊的熱力圖Fig.7 Heat maps among different modules

窗體剪裁會因窗體邊緣和交通標志重疊導致交通標志不完整。本文將IoU 大于50%的不完整交通標志設置為正樣本并進行訓練。但是數(shù)據(jù)增強中采用的隨機縮放、圖像平移、旋轉(zhuǎn)等操作會模糊這些不完整交通標志的差異。不同區(qū)域的檢測結果如圖8所示，不完整的交通標志依舊保留外觀特征容易被誤檢。

圖8 不同區(qū)域的檢測結果Fig.8 Detection results for different regions

為減小不完整交通標志對檢測效果的影響，本文將檢測結果映射回原圖位置并利用非極大值抑制（Non-Maximum Suppression，NMS）消除重復項。NMS 通過計算檢測結果之間的交并比作為條件，當2 個結果重復區(qū)域大于閾值時，則去除置信度低的結果?？紤]到部分特征突出置信度更高從而壓制整體目標的問題，本文對NMS 進行改進，不再只考慮置信度，而是將尺度大小也作為考量。改進NMS 算法如算法1 所示，在原有的NMS 基礎上加入尺度判斷，當置信度都高于設定好的閾值時作為可信樣本，計算兩者的面積比例并提高交并比的閾值，以判斷面積小的結果是否是突出特征部分。改進NMS 性能測試結果如表8 所示。

表8 改進NMS 性能測試結果Table 8 Test results of improved NMS performance %

算法1 改進NMS 算法

從表8 可以看出，利用NMS 將結果映射至原圖位置來降低不完整交通標志對檢測結果的影響，將AP50提高到96.9%，AP 和AP75因為數(shù)據(jù)調(diào)整相對于未映射至原圖的檢測結果有一定下降。改進NMS方法在NMS 的基礎上解決局部特征置信度大于全局的問 題，在AP、AP50、AP75上分別提高0.3、0.1 和0.4 個百分點。

4 結束語

針對現(xiàn)有交通標志檢測方法在復雜場景下難以準確識別外觀相似的交通標志以及對其他相似物體誤檢的問題，本文設計一種高精度檢測模型LFRD。為應對交通標志的尺度變化，設計一種分層聚類的錨框機制來降低漏檢。為降低外觀相似交通標志分類錯誤，提出分組損失來指導和學習相似類之間的細微差異，還設計弱語義分割模塊和特征細化模塊，利用主動學習方式降低對其他相似物體的誤檢。實驗結果表明，相較于主體框架RetinaNet，LFRD 在采用壓縮通道和分組卷積減少模型負擔的同時，精確率和召回率分別提高2.8 和6.0 個百分點。下一步將利用蒸餾機制訓練輕量化主干網(wǎng)絡，并加入PAN 優(yōu)化多尺度特征融合，在實現(xiàn)輕量化的同時提高模型性能。