張峻祎，丁 冰，丁 潔

（1.太原理工大學電氣與動力工程學院，山西太原 030024；2.北京理工大學集成電路與電子學院，北京 100081）

0 引 言

隨著道路基建的完善與車輛保有量的提升，人們對于智能交通系統(tǒng)的需求日益增加。作為智能交通系統(tǒng)的基礎，車輛檢測引起了研究人員的關注并逐漸成為相關領域研究的重點?；趫D像的車輛檢測算法可分為傳統(tǒng)檢測算法與基于深度學習的檢測算法。傳統(tǒng)檢測算法通?；谑止ぬ卣?，具有檢測精度差、檢測速度慢等問題；基于深度學習的車輛檢測算法因其檢測精度高、檢測速度快等優(yōu)勢，逐漸成為車輛檢測研究的主要研究方向。相較于正常光照環(huán)境下的車輛識別，弱光環(huán)境下的車輛識別更為復雜，在弱光條件下車輛往往會與背景融合導致神經網絡難以提取車輛特征，進而難以識別車輛。因此，研究如何在弱光環(huán)境下識別車輛具有重要的現(xiàn)實意義。

目前深度學習的檢測算法通常基于早期提出的經典神經網絡——AlexNet。在此之后，深度學習逐漸廣泛用于目標檢測領域，并提出了許多經典的底層框架，如VGG、GoogleNet、MobileNet[1]等，同時也提出了許多經典的網絡結構，如FPN、CSP[2]、SPP、殘差結構等。相較于傳統(tǒng)檢測方法，2014 年Ross 等人提出的基于卷積神經網絡的RCNN 網絡在檢測準確率方面有了大幅提升，而RCNN 系列網絡也是two-stage 檢測的代表作之一。相較于two-stage 檢測，Girshick 等人于2016 年提出的one-stage 代表作YOLO 網絡，以犧牲較小的準確率，大幅提高了網絡的運行速度，使之可以進行實時檢測，并在之后以此為基礎陸續(xù)提出了多個YOLO[3-6]系列網絡，在檢測速度、檢測精度上都有了顯著的提高。近年來，隨著transformer[7-8]在NLP 領域的興起，許多研究人員嘗試將其引入到計算機視覺領域并提出了各種注意力機制[9-11]，這些注意力機制在圖像分類、目標識別等傳統(tǒng)計算機視覺任務中可有效提高網絡的效果，同時也有著非?？捎^的發(fā)展前景。

基于以上研究，可在正常光照條件下較好地完成各種車輛識別任務。但想要在弱光環(huán)境下完成車輛識別任務就需要進一步的研究。文獻[12]通過融合來自CycleGAN的多尺度特征等方法提取弱光環(huán)境下的目標車輛特征進而進行識別；文獻[13]基于全卷積網絡提出了一個端到端訓練的低光圖像處理網絡以增強圖像在弱光環(huán)境下的特征；文獻[14]提出了一種改進的BIMEF算法并將不同尺度的目標車輛特征進行融合以增強目標車輛特征，進而有效識別弱光環(huán)境下的車輛；文獻[15]提出了一種基于細粒度車輛識別的全局拓撲約束網絡，采用全局拓撲約束的關系以集成目標車輛各部分的特征進而識別車輛。

目前基于深度學習的弱光環(huán)境車輛檢測網絡雖然可以完成檢測任務，但仍有提升的空間，主要包括以下三點：

1）雖然當前弱光檢測神經網絡可提取弱光環(huán)境下的目標特征，但仍要考慮如何進一步優(yōu)化網絡在弱光環(huán)境下的特征提取能力以提高網絡的檢測效果。

2）為了能更好地在弱光環(huán)境下進行車輛識別，通常會在網絡中設計復雜的模塊以提取弱光環(huán)境下的車輛特征。雖然可以提高網絡的檢測效果，但是也會使網絡更為復雜、檢測時間更長，因此也要考慮如何在保證網絡檢測效果的同時提高網絡的檢測速度。

3）目前現(xiàn)有的方法雖然可以有效提取目標車輛在弱光環(huán)境下的特征，但對訓練數(shù)據(jù)集的要求較高，需要建立專門的對比數(shù)據(jù)集，即在相同背景環(huán)境、相同車輛、不同光照條件下的車輛圖片。

為了建立這樣的數(shù)據(jù)集，一種方法是在不同的光照條件下拍攝相同背景環(huán)境、相同車輛的真實圖片，但這種方法對現(xiàn)實條件要求較高，很難獲得大量有效的圖片；另一種方法是拍攝車輛圖片后用計算機隨機調整亮度，并加入人工模擬噪聲，雖然這種方法可以獲得大量不同光照條件下的圖片，但訓練出的網絡在效果上不如使用真實圖片的效果好。為了解決上述問題，本文提出了一種弱光環(huán)境下的車輛識別網絡，在該網絡中，通過提出的特征提取模塊以提取弱光環(huán)境下的目標車輛特征；使用設計的特征融合模塊以提高網絡的檢測精度；最后在網絡中使用模型結構重參數(shù)化的方法以提高網絡的檢測速度。在構建訓練網絡的數(shù)據(jù)集時不需要額外地對照圖片，僅使用弱光環(huán)境下的圖片就可訓練網絡且取得較好的效果。

1 本文網絡

為了使網絡能在弱光環(huán)境下有效檢測目標車輛，同時保證網絡檢測的實時性，本文基于YOLO-v7 網絡，使用了PAN、SPP 等結構，提出了特征提取模塊、特征融合模塊，并使用模型結構重參數(shù)化方法以優(yōu)化網絡。

網絡的整體架構如圖1 所示。

圖1 網絡結構

網絡可分為三個部分：特征提取部分、特征增強部分與檢測部分。

1）特征提取部分用以提取弱光圖像的特征，該部分由卷積模塊、ELAN 模塊、特征提取模塊等構成，其核心是本文提出的特征提取模塊。

2）特征增強部分用以增強特征提取部分提取到的圖像特征，進一步提高網絡的檢測精度。該模塊由卷積模塊、特征融合模塊等模塊構成，其核心是本文提出的特征融合模塊。

3）檢測部分的核心是三個檢測輸出頭，用以輸出網絡在不同尺度上的預測結果，最后統(tǒng)一縮放映射到原圖片。

1.1 特征提取模塊

現(xiàn)有的目標檢測網絡通常較為依賴輸入的圖像或視頻的質量，即待檢測的圖片或視頻中目標特征較為明顯時會有較好的效果。但在弱光環(huán)境下，目標往往與背景相融合或被外界光源干擾，此時難以提取有效特征。為了解決該問題，本文提出了特征提取模塊，如圖2所示。

圖2 特征提取模塊結構

考慮到弱光環(huán)境下圖像內容較為復雜，如果使用簡單的網絡結構難以提取有效的目標特征，因此采用多分支的方式設計特征提取模塊，將弱光環(huán)境下的特征提取問題分解為不同維度下特征相關的子問題，最后將多分支的輸出進行融合以實現(xiàn)對弱光環(huán)境下目標特征的提取。在特征提取模塊的構成上，首先輸入特征提取模塊的特征圖經過5 個串聯(lián)的卷積層，用以提取不同維度的特征，其中每個卷積層的后面都接了一層BN（Batch Normalization）層與一層Mish 激活函數(shù)層，用以提高網絡的訓練速度與收斂速度，同時也防止過擬合。同時，在其中加入了SimAM 注意力機制以進一步提高該模塊的特征提取能力，用以從通道維度與空間維度對特征進一步細化增強，SimAM 注意力機制將在1.2 節(jié)中闡述。其次給上述每一個串聯(lián)的卷積層都并聯(lián)了一個子網絡，其中每個子網絡由一層卷積層與一層反卷積層組成，最后將每一個子網絡的反卷積層輸出在深度上進行拼接，并通過一個卷積核為1×1 的卷積層進行特征的融合。最后也對該模塊使用模塊結構重參數(shù)化的方法進行優(yōu)化，以提高其運行速度，模塊結構重參數(shù)化將在1.3 節(jié)中闡述。

圖3 為設計的特征提取模塊在對弱光環(huán)境下的圖像進行增強后的效果圖，使用的圖片為訓練集中的圖片。此時圖片成像效果更好，目標車輛與背景環(huán)境有明顯的區(qū)分，目標特征更為明顯，便于之后的檢測。

圖3 特征提取模塊效果圖

1.2 特征融合模塊

為了進一步提高網絡的檢測效果，在特征提取模塊后，本文設計了相應的特征融合模塊，以對提取到弱光環(huán)境下的目標特征進一步的增強。特征融合模塊的具體結構如圖4 所示。該模塊采用自上而下的傳播路徑與橫向連接的方式將特征提取模塊中不同尺度的特征圖進行融合。首先，在特征提取部分的三個指定層各引出一個分支作為特征融合模塊的輸入，此時這三個輸入的特征圖尺寸不同，以便之后網絡利用不同維度的特征識別原始輸入圖像上不同大小的目標；其次，當最小尺寸的特征圖輸入到特征融合模塊時，先經過三層并聯(lián)的池化層與一層卷積層，將每個池化層的輸出特征圖在深度上進行拼接，再將拼接后的特征圖與卷積層輸出的特征圖再次在深度上進行拼接，這樣既初步實現(xiàn)了不同尺度的特征圖融合，也提高了網絡對小目標的檢測能力；然后，將上述拼接后的特征圖依次通過卷積、池化、上采樣等操作進行進一步處理，并與特征提取部分剩下的兩個輸入特征圖在指定的位置于深度上進行拼接，此時特征融合模塊將低分辨率和語義強的特征與高分辨率及語義弱的特征相結合，以提高網絡的特征提取能力與對不同大小目標的檢測能力；最后，在特征融合模塊的指定層引出三個分支作為該模塊的輸出。

圖4 特征融合模塊結構

同時，本文在特征融合模塊中引入了SimAM 注意力機制，以進一步提高網絡的檢測效果。在視覺神經科學中，信息量最大的神經元通常與其周圍神經元的放電模式不同且活動的神經元也會抑制其周圍神經元的活動?；谶@一理論，不同于傳統(tǒng)的注意力機制對一個通道或一個空間位置的所有神經元進行同等的處理，SimAM 注意力機制在一維通道維度上與二維空間維度上進一步提出了一個三維權重，通過設計的能量函數(shù)對網絡中每一個神經元的重要性進行評估，以增強特征在通道維度與空間維度的聯(lián)系。

此時網絡的特征提取能力有了進一步的增強，同時也不會增加額外的參數(shù)以對網絡的運行速度產生負面影響。

1.3 模塊結構重參數(shù)化

基于以上所提出的網絡，雖然可以有效地提高網絡對弱光環(huán)境下目標特征的提取能力，但不可避免地使網絡的結構更復雜。而在實際應用中，復雜的網絡不僅對硬件有一定的要求，也會影響網絡的推理速度。因此，本文采用結構重參數(shù)化的方法簡化網絡模型，提高網絡運行速度。

結構重參數(shù)化的核心思想是保留多分支結構優(yōu)點的同時將多分支結構轉為單路模型，這樣可以使得網絡更快、更靈活且節(jié)約內存。在多分支結構中，網絡推理在每個分支的推理速度不同，此時往往要等待所有的分支計算完成后才會進行下一層推理，這無疑增加了網絡運行的時間成本，同時也要考慮內存訪問成本（Memory Access Cost, MAC），即在計算機計算時每一次計算都要訪問內存。

相較于單路模型，多分支結構的訪問次數(shù)更多，消耗的時間也更多，因此結構重參數(shù)化可提高網絡的運行速度。同時，相較于復雜的多分支結構，單路模型構建的更簡單，也更容易修改，因此結構重參數(shù)化使得網絡更靈活。最后，相較于復雜的多分支結構，單路模型由于只有一條通道，也可以節(jié)約內存，降低網絡對硬件的要求。

模塊結構重參數(shù)化的具體應用如圖5 所示。

圖5 模塊結構重參數(shù)化

最初設計的多分支結構共有三個分支：第一個分支由一個卷積核為3×3的卷積層與一層BN 層組成；第二個分支由一個卷積核為1×1 的卷積層與一層BN 層組成；第三個分支只有一層BN 層。之后再將這三個分支的輸出在通道上拼接，最后輸入到激活函數(shù)中。為了進一步優(yōu)化網絡，首先是將卷積層與BN 層進行融合，其中BN層的計算公式如下：

式中：i= 1,2,…,c（c為通道數(shù)）為輸入BN 層的特征圖的第i個通道；μi=為沿著輸入特征圖的批次方向計算每個相同通道位置處所有像素值的均值；=為沿著輸入特征圖的批次方向計算每個相同通道位置處所有像素的方差；ε為一個無窮小的正數(shù)，用以防止分母處為0；γi與βi為待學習的BN參數(shù)，一開始訓練時分別設為1與0，之后可通過反向傳播進行學習。

對于方程（1），可以進一步對其進行變換，此時公式如下：

進一步將方程（2）展開，此時公式如下：

此時將BN 層的計算公式轉換為y=WTx+b的形式，而在卷積神經網絡中，其基礎卷積計算的形式也是y=WTx+b，也就是說，可以將相鄰的卷積層與BN 層融合為一層，此時公式如下：

而在程序編寫中，為了使得經過該模塊的輸入特征圖與輸出特征圖尺寸相同，在第一個卷積核為3×3 的分支中將輸入的特征圖周圍填充了一圈0；在第二個卷積核為1×1 的分支中，原輸入的特征圖不變，將卷積核周圍填充了一圈0，使其尺寸由1×1 變?yōu)?×3，但輸出結果不變；在第三個只有BN 層的分支中，為了使其滿足y=WTx+b的形式，人為添加了一層卷積，在該卷積層中卷積核尺寸為3×3，其不同通道的卷積核中心處的值依次為1，其余值分別為0，以此保證不改變原輸出的前提下滿足形式要求。

2 實驗驗證與結果分析

2.1 實驗平臺

本文采用的操作系統(tǒng)版本為Ubuntu 18.04；處理器為Intel@Xeon?Silver 4210R CPU @2.40 GHz*20；GPU 為NVIDIA GeForce RTX 3090/PCIe/SSE2；CUDA 版本為11.4；深度學習框架為PyTorch 1.13.1；編程語言為Python。

2.2 數(shù)據(jù)集與評價指標

本文自制了訓練數(shù)據(jù)集，為了使網絡可以在不同光照環(huán)境下都可有效地檢測車輛，在制作數(shù)據(jù)集時選擇了不同光照環(huán)境（即正常光照環(huán)境與弱光環(huán)境）、不同背景、不同視角的道路圖片共計18 000 張。在訓練網絡時按照7∶3 的比例將其劃分為訓練集與驗證集。同時，也額外建立了一個測試數(shù)據(jù)集，用以檢測訓練好的網絡針對弱光環(huán)境下的檢測效果，該測試數(shù)據(jù)集包含200 張弱光環(huán)境下的道路圖片。本文提出的網絡與后面對比實驗提到的網絡在訓練時都使用自制的訓練數(shù)據(jù)集。

本文使用的評價指標為以下三種：準確率P（Precision）、召回率R（Recall）與mAP（mean Average Precision），其計算公式如下：

式中：當網絡預測框與GT（Ground Truth）的IoU 大于設定閾值時為TP（True Positive），表示網絡檢測結果為目標的同時實際上也是目標；當網絡預測框與GT 的IoU小于設定閾值時為FP（False Positive），表示網絡檢測結果為目標但實際上不是目標；FN（False Negative）表示網絡檢測結果不是目標但實際上是目標。此外，將網絡預測框與GT 的IoU 閾值設置為0.5。

2.3 實驗結果與分析

為了驗證提出方法的有效性，本文采用Faster-RCNN 網絡、RetinaNet 網絡、SSD 網絡、YOLO-v3 網絡、YOLO-v5 網絡、YOLO-v7 網絡這些主流檢測網絡作為對比網絡，并使用自制的數(shù)據(jù)集對本文提出的網絡與對比網絡進行訓練。同時也對對比網絡進行一定的優(yōu)化：在Faster-RCNN、SSD、RetinaNet 網絡中將底層特征提取部分改為ResNet50 以進行結構優(yōu)化，同時在SSD 網絡中采用了混合精度訓練的方法；在RetinaNet 網絡加入了FPN 結構；而在YOLO-v3 網絡中加入了SPP 結構并使用了CIoU 損失。各網絡的訓練結果如圖6 與表1 所示，從中可見，本文提出的網絡不僅在mAP 值上高于其他網絡，提高了檢測的效果，同時檢測單張圖片僅需要5.2 ms，低于其他大部分網絡且與檢測速度最快的網絡僅差了0.4 ms，保證了檢測的速度，可進行實時檢測。

表1 不同網絡檢測結果

圖6 不同網絡效果對比

本文也使用自制的測試數(shù)據(jù)集將提出的網絡與對比實驗中檢測效果最好的網絡進一步進行測試，其結果如表2 所示。

表2 網絡檢測結果對比

由表2 可見，本文提出的網絡在檢測準確率、召回率、mAP 上都有較好的表現(xiàn)。

圖7是本文提出的網絡與對比網絡的實際檢測效果圖。

圖7 實際檢測結果對比（漏檢）

由圖7 可見：在對比網絡檢測的圖像中，通常存在漏檢目標車輛的情況，如在無燈光輔助照明的條件下車輛會與背景相融合，此時肉眼難以有效看出目標車輛，對比網絡也無法有效地檢測出來，甚至無法檢測到任何車輛目標，在圖像中的車輛重疊部分，由于光照環(huán)境差導致車輛特征不明顯，此時對比網絡只能檢測到1 個或0 個目標車輛；而本文提出的網絡則可有效檢測出目標車輛，效果較好。

圖8 是本文提出的網絡與對比網絡的實際檢測效果圖。

圖8 實際檢測結果對比（誤檢）

由圖8 可見：在對比網絡檢測的圖像中，通常存在誤檢目標車輛的情況，如圖中橋上的指示燈、車輛尾燈等也會被對比網絡誤檢測為車輛目標；而在本文提出的網絡中，不僅可以有效地檢測出目標車輛，同時也不會將其他目標誤檢為車輛，減少了誤檢問題的發(fā)生。

3 結 語

本文以one-stage 目標檢測算法YOLO-v7 為基礎，對弱光環(huán)境下的目標車輛進行檢測，提出了特征提取模塊與特征融合模塊以增強網絡的特征提取能力與目標識別能力，并使用模型結構重參數(shù)化的方法以提高網絡的檢測速度，使網絡可以在保證檢測速度的前提下有效檢測弱光環(huán)境下的目標車輛。在使用相同的數(shù)據(jù)集進行訓練后，本文方法不僅在檢測指標上有較理想的效果，同時在實際檢測結果上也有較好的表現(xiàn)。在實驗中，本文方法對弱光環(huán)境下小目標的檢測有一定效果，但仍有較大的提升空間，下一階段的工作將以小目標檢測為核心進行研究。

注：本文通訊作者為丁潔。