雷 鳴，王曙光，凌 沖，楊傳棟，秦 杰

(陸軍炮兵防空兵學(xué)院 高過載彈藥制導(dǎo)控制與信息感知實(shí)驗(yàn)室， 合肥 230031)

1 引言

如何將性能優(yōu)越的目標(biāo)檢測(cè)算法移植到彈載平臺(tái)，實(shí)現(xiàn)圖像制導(dǎo)彈藥的自尋的打擊，并且滿足準(zhǔn)確率、功耗和實(shí)時(shí)性要求是圖像制導(dǎo)彈藥的重要發(fā)展趨勢(shì)。彈載平臺(tái)是指通過艦炮、榴彈炮、迫擊炮和火箭炮等發(fā)射的精確制導(dǎo)彈藥上搭載的嵌入式平臺(tái)。彈載平臺(tái)是一個(gè)高速旋轉(zhuǎn)且不斷前進(jìn)的平臺(tái)，會(huì)造成圖像抖動(dòng)、旋轉(zhuǎn)、失焦和尺度變化較大等問題，不僅對(duì)目標(biāo)檢測(cè)算法的實(shí)時(shí)性和精度有著較高要求，而且需要算法有較好的尺度適應(yīng)性和魯棒性。彈載圖像目標(biāo)檢測(cè)技術(shù)指的是利用彈載攝像機(jī)獲取的圖像進(jìn)行逐幀(場(chǎng))分析計(jì)算，獲得目標(biāo)的位置、大小和類別信息的技術(shù)，是智能彈藥發(fā)展的關(guān)鍵技術(shù)之一。傳統(tǒng)彈載圖像目標(biāo)檢測(cè)算法主要有模板匹配法、特征統(tǒng)計(jì)法、圖像分割法等。雖然傳統(tǒng)目標(biāo)檢測(cè)算法在硬件平臺(tái)上實(shí)際應(yīng)用成熟，但是人工設(shè)計(jì)算法來(lái)提取特征對(duì)研究者經(jīng)驗(yàn)要求較高，在光照、尺度和背景變化的情況下魯棒性不足。近年來(lái)，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)得到廣泛應(yīng)用，省去了人工提取特征的步驟，是一種更為高效的方法。

值得注意的是，深度學(xué)習(xí)算法在彈載平臺(tái)上的移植要考慮運(yùn)算資源占用的問題。目前，深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLOv4(You Only Look Once v4)[1]集成多種先進(jìn)算法策略，在MS COCO數(shù)據(jù)集的實(shí)時(shí)檢測(cè)速度約為65 FPS，平均精度均值為43.5%，相比上一代YOLOv3算法分別提高12%和10%。雖然YOLOv4算法在PC端利用GPU加速，可以做到實(shí)時(shí)高精度檢測(cè)，但是其權(quán)重文件達(dá)到了244 MB，在運(yùn)算資源有限且條件復(fù)雜的彈載平臺(tái)上，檢測(cè)啟動(dòng)慢、預(yù)存開銷大且運(yùn)算成本高，必須針對(duì)特定打擊目標(biāo)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的針對(duì)性訓(xùn)練，并且對(duì)模型進(jìn)行輕量化處理，在精度下降不大的情況下提高檢測(cè)速度，以更好地適應(yīng)彈載平臺(tái)硬件的特殊需求。

2 YOLOv4目標(biāo)檢測(cè)算法

為實(shí)現(xiàn)效果最佳的實(shí)時(shí)高精度檢測(cè)，本文選取一階段深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLOv4作為基礎(chǔ)網(wǎng)絡(luò)。YOLOv4算法首先將輸入圖像分割成K×K的柵格網(wǎng)格，然后每個(gè)網(wǎng)格負(fù)責(zé)檢測(cè)中心坐標(biāo)位于網(wǎng)格內(nèi)的目標(biāo)，同時(shí)網(wǎng)格內(nèi)會(huì)預(yù)測(cè)邊框的位置坐標(biāo)和邊框的置信度，最后對(duì)預(yù)測(cè)邊框進(jìn)行篩選時(shí)使用非極大值抑制算法選出最優(yōu)邊框[2]。YOLOv4算法檢測(cè)網(wǎng)絡(luò)是由改進(jìn)的輸入端、基于CSP Darknet53的特征提取網(wǎng)絡(luò)、SPP(Spatial Pyramid Pooling)附加模塊、PANet(Path Aggregation Network)特征融合模塊以及基于錨框機(jī)制的YOLOv3預(yù)測(cè)模塊組成的體系結(jié)構(gòu)。本算法網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)框圖

Darknet53特征提取網(wǎng)絡(luò)分為5個(gè)大殘差塊，其中包含的小殘差單元的個(gè)數(shù)分別為1、2、8、8、4。CSP Darknet53是在Darknet53的每個(gè)大殘差分塊上加上CSP(Cross Stage Partial)模塊[3]，CSP模塊將上一層的特征映射劃分為兩部分，然后通過跨階段層次結(jié)構(gòu)將它們合并，608×608的特征圖經(jīng)過5個(gè)CSP模塊后輸出19×19的特征圖。CSP模塊可以增強(qiáng)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，能夠在保證網(wǎng)絡(luò)結(jié)構(gòu)輕量化的同時(shí)減少內(nèi)存成本、降低運(yùn)算瓶頸和維持準(zhǔn)確性。CSP殘差塊網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 CSP殘差塊網(wǎng)絡(luò)結(jié)構(gòu)框圖

其中，BN[4]指的是批量歸一化(Batch Normalization)，起著優(yōu)化訓(xùn)練的作用，可緩解訓(xùn)練時(shí)的梯度消失與梯度爆炸問題，批量是指訓(xùn)練模型設(shè)置的圖片數(shù)量。YOLO系列網(wǎng)絡(luò)模型都引用了BN層，在每個(gè)卷積層后面添加，防止了過擬合且降低了模型向前推理速度。BN計(jì)算過程為

(1)

式中：γ為縮放參數(shù)；μ為均值；σ2為方差；β為偏置量；ω為權(quán)值參數(shù)；xconv為通道特征圖卷積計(jì)算值。

卷積層和BN層合并后，權(quán)值參數(shù)變?yōu)椋?/p>

(2)

偏置量變?yōu)椋?/p>

(3)

最終，合并后的BN計(jì)算公式為：

(4)

卷積層和BN層的合并可以減少運(yùn)算成本，有利于提升模型速度與模型泛化能力。輸入圖片經(jīng)過卷積層得到特征圖，接著經(jīng)過BN層的歸一化處理后由激活函數(shù)激活。其中，γ和β是用來(lái)縮放和偏置的2個(gè)參數(shù)，通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練迭代得到，體現(xiàn)每層網(wǎng)絡(luò)的特征分布。本文剪枝過程基于BN層γ縮放參數(shù)實(shí)現(xiàn)[5]，不需額外引入其他參數(shù)，可大幅減小模型參數(shù)和計(jì)算資源占用量，從而提升神經(jīng)網(wǎng)絡(luò)模型的推理速度。

3 模型壓縮策略

神經(jīng)網(wǎng)絡(luò)模型中有大量冗余參數(shù)，其存在對(duì)目標(biāo)檢測(cè)結(jié)果無(wú)影響，這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)模型在訓(xùn)練過程中需要保有一個(gè)大參數(shù)量來(lái)尋找最優(yōu)解[6]。這些大部分無(wú)用的參數(shù)在訓(xùn)練結(jié)束后還是保留在了權(quán)重文件中，使得權(quán)重文件過大。本文模型壓縮策略通俗來(lái)講就是在原始參數(shù)范圍內(nèi)找到對(duì)檢測(cè)效果影響最大的計(jì)算路徑，剪枝掉冗余的通道和層，這樣神經(jīng)網(wǎng)絡(luò)模型的精度不會(huì)降低且占用儲(chǔ)存空間大幅減少。模型剪枝的策略有細(xì)粒度剪枝[7]和粗粒度剪枝[8]兩種類型，分別對(duì)應(yīng)權(quán)重剪枝和通道剪枝。細(xì)粒度剪枝在目標(biāo)類別數(shù)量多的情況下效果較好，本文研究的是針對(duì)艦船目標(biāo)檢測(cè)的模型剪枝，檢測(cè)目標(biāo)類別較少。粗粒度剪枝具有原理簡(jiǎn)單、計(jì)算開銷小、硬件依賴小和可行性高等特點(diǎn)，針對(duì)特定數(shù)據(jù)集的剪枝效果較好，所以本文采用粗粒度的通道剪枝對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮。

本文模型壓縮的策略是：首先，在PC端使用YOLOv4訓(xùn)練艦船目標(biāo)數(shù)據(jù)集，獲取權(quán)重文件為后續(xù)工作做準(zhǔn)備；其次，對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行稀疏訓(xùn)練；再次，對(duì)神經(jīng)網(wǎng)絡(luò)中冗余的通道或?qū)舆M(jìn)行剪枝，壓縮神經(jīng)網(wǎng)絡(luò)模型的深度和寬度；最后，對(duì)剪枝后的模型進(jìn)行微調(diào)來(lái)回升精度。

3.1 稀疏訓(xùn)練

縮放參數(shù)γ決定著BN層特征圖通道的重要性，代表著每一通道的權(quán)重。假設(shè)輸入通道i對(duì)應(yīng)的γi值接近0，那么式(1)分子部分隨著γi的減小而減小從而接近常數(shù)0，導(dǎo)致此通道卷積計(jì)算值對(duì)后續(xù)計(jì)算不產(chǎn)生影響[9]。通常來(lái)講，訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)中BN權(quán)重一般呈正態(tài)分布，等于或者接近0的參數(shù)較少。顯然，如果想要完成冗余參數(shù)的剪枝，那么就要在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)減小縮放參數(shù)γ值，這種方法叫做稀疏訓(xùn)練。引入稀疏規(guī)則算子L1范數(shù)(Lasso Regularization)進(jìn)行正則化，計(jì)算過程為

(5)

式中，前項(xiàng)對(duì)應(yīng)于卷積神經(jīng)網(wǎng)絡(luò)的正常訓(xùn)練損失，其中(x，y)表示訓(xùn)練的輸入和目標(biāo)邊框，W表示可訓(xùn)練的權(quán)重，后項(xiàng)中的g(γ)是對(duì)縮放因子的稀疏性懲罰，s是用于平衡損失和稀疏性懲罰的超參數(shù)，引入L1范數(shù)g(γ)=|γ|，對(duì)于非平滑L1懲罰項(xiàng)，采用次梯度作為優(yōu)化方法。 另一種選擇是用平滑L1罰分代替L1罰分[10]，以避免在非平滑點(diǎn)使用次梯度。

超參數(shù)s根據(jù)數(shù)據(jù)集大小、平均精確率mAP(mean Average Precision)和BN權(quán)重分布進(jìn)行調(diào)整，稀疏訓(xùn)練中s越大稀疏就越快，但mAP下降的也越快。學(xué)習(xí)率調(diào)整更大，稀疏會(huì)加快，但是小的學(xué)習(xí)率有助于后期mAP的回升。通過調(diào)整學(xué)習(xí)率μ和s來(lái)保持mAP下降較少而同時(shí)實(shí)現(xiàn)模型的高稀疏度。

稀疏訓(xùn)練整個(gè)訓(xùn)練過程保持恒定的s，這樣可以保持均勻的壓縮力度從而獲得較高的壓縮度，但是此方法對(duì)精度的折損較大，且最優(yōu)s值的調(diào)參過程時(shí)間成本較大。如果在訓(xùn)練進(jìn)行一半的階段把s值衰減100倍，有助于精度的回升，減少了尋找最優(yōu)s值的時(shí)間成本，但是會(huì)犧牲一部分壓縮度。

3.2 模型剪枝

模型剪枝屬于模型壓縮的范疇，實(shí)際應(yīng)用成熟。通道剪枝即有選擇地剪枝刪除某個(gè)卷積核對(duì)應(yīng)通道。層剪枝即有選擇地直接刪除某個(gè)卷積層。

剪枝效果取決于稀疏訓(xùn)練的效果[11]，BN權(quán)重稀疏度越高，粗粒度剪枝后模型壓縮度越大。通道剪枝后可以進(jìn)行層剪枝，進(jìn)一步提升壓縮度。本文通道剪枝利用全局閾值篩選出各卷積層的掩膜，然后和與之相連的直接連接層(shortcut)取并集進(jìn)行剪枝，此方法考慮了每一個(gè)相關(guān)卷積層，并且限制了每一卷積層的保留通道。層剪枝的原理與通道剪枝的原理相似，本文通過對(duì)每一個(gè)直接連接層前的殘差塊進(jìn)行打分，排列各層γ值分?jǐn)?shù)，對(duì)最小得分的層進(jìn)行剪枝來(lái)壓縮骨干網(wǎng)絡(luò)。為保證神經(jīng)網(wǎng)絡(luò)模型的完整性，對(duì)直接連接層做處理時(shí)同時(shí)剪掉其之前的2個(gè)卷積層。

3.3 知識(shí)蒸餾

2015年Hinton團(tuán)隊(duì)首次提出知識(shí)蒸餾(Knowledge of distillation，KD) 的思想[12]。針對(duì)剪枝導(dǎo)致的精度下降問題，本文對(duì)剪枝后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行微調(diào)以回升精度。剪枝后的小模型與原始模型在結(jié)構(gòu)上相似，可采用知識(shí)蒸餾的策略進(jìn)行微調(diào)。知識(shí)蒸餾是基于TS(teacher-student) 框架的模型壓縮策略，指一個(gè)參數(shù)量大的復(fù)雜神經(jīng)網(wǎng)絡(luò)模型(teacher)學(xué)習(xí)到的特征表征能力傳遞給一個(gè)參數(shù)量小的簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)模型(student)，從而獲得一個(gè)速度快、參數(shù)少且學(xué)習(xí)能力強(qiáng)的模型。具體算法流程如圖3所示。

圖3 知識(shí)蒸餾流程框圖

利用標(biāo)注目標(biāo)邊框的數(shù)據(jù)集訓(xùn)練大模型，即基礎(chǔ)訓(xùn)練模型，設(shè)定一個(gè)蒸餾溫度值(Temperature，T)，然后用基礎(chǔ)訓(xùn)練模型的預(yù)測(cè)輸出值除于T，再進(jìn)行soft max回歸[13]，由此獲得介于0～1的軟目標(biāo)(soft target)預(yù)測(cè)概率值。然后將基礎(chǔ)訓(xùn)練模型的特征表征能力傳遞給小模型，這一階段分為兩部分進(jìn)行，一是一部分小模型預(yù)測(cè)輸出除以T然后進(jìn)行softmax回歸，二是剩余部分小模型預(yù)測(cè)輸出直接進(jìn)行softmax回歸。硬目標(biāo)(hard target)指的是真實(shí)目標(biāo)，0表示無(wú)真實(shí)目標(biāo)，1表示有真實(shí)目標(biāo)。參數(shù)λ是權(quán)重參數(shù)，用于調(diào)節(jié)基礎(chǔ)訓(xùn)練模型與小模型之間交叉熵?fù)p失函數(shù)的權(quán)重，作為小模型訓(xùn)練的損失函數(shù)之一。

4 實(shí)驗(yàn)結(jié)果與分析

本研究實(shí)驗(yàn)環(huán)境為Microsoft Windows 10專業(yè)版(64位) 操作系統(tǒng)，英特爾Intel(R) Core(TM) i5-8300H @ 2.30GHz(2304 MHz) CPU，HP 84DB主板，8.00 GB(2667 MHz) 內(nèi)存，NVIDIA GeForce GTX 1060(6144MB) 顯卡，CUDA版本10.1.168，cudnn版本7.6.4，OpenCV版本3.4.1，Visual Studio版本2015?；趐ytorch框架實(shí)現(xiàn)模型壓縮算法。

本研究采用A7200CG30彩色面陣工業(yè)相機(jī)拍攝水面上的艦船模型，模擬彈載攝像機(jī)獲取圖像時(shí)的光照條件、下滑角與尺度變化，同時(shí)考慮到了實(shí)際情況中目標(biāo)出視場(chǎng)或處于視場(chǎng)邊緣對(duì)目標(biāo)檢測(cè)效果的影響，拍攝了部分處于圖像邊緣的艦船目標(biāo)圖像，充分保證艦船目標(biāo)數(shù)據(jù)的真實(shí)性與多樣性。獲取圖片3 548張，隨機(jī)選取2 838張圖片作為訓(xùn)練集，選取355張圖片作為驗(yàn)證集，選取剩余355張圖片作為測(cè)試集，使用Yolo-mark工具進(jìn)行目標(biāo)邊框標(biāo)注。在訓(xùn)練過程引入馬賽克(Mosaic)數(shù)據(jù)增強(qiáng)方法，把4張具有不同語(yǔ)義信息的輸入圖像通過隨機(jī)裁剪、隨機(jī)排列、隨機(jī)縮放的方式拼接成一張圖像，然后通過批量歸一化的操作從每層的拼接圖像中獲取激活統(tǒng)計(jì)信息。如此可以使檢測(cè)器檢測(cè)超出常規(guī)語(yǔ)境的目標(biāo)，進(jìn)一步豐富了數(shù)據(jù)集，同時(shí)可以減少對(duì)微型批量(mini-batch)大小的依賴從而增強(qiáng)模型的魯棒性，訓(xùn)練過程可視化如圖4所示。

圖4 Mosaic數(shù)據(jù)增強(qiáng)訓(xùn)練過程可視化圖形

首先進(jìn)行模型的基礎(chǔ)訓(xùn)練，調(diào)整學(xué)習(xí)率等參數(shù)獲得效果最佳的模型作為稀疏訓(xùn)練的預(yù)訓(xùn)練模型。設(shè)置稀疏訓(xùn)練超參數(shù)s，經(jīng)過反復(fù)測(cè)試，通過可視化工具查看BN層中γ稀疏的稀疏情況，調(diào)整超參數(shù)s與學(xué)習(xí)率。根據(jù)先驗(yàn)知識(shí)，超參數(shù)s值設(shè)置區(qū)間為10-3～10-5，根據(jù)數(shù)據(jù)集、學(xué)習(xí)率、BN分布和mAP調(diào)整，學(xué)習(xí)率越小越有助于稀疏訓(xùn)練后期精度提升，s值越大γ系數(shù)的壓縮越快，同時(shí)精度也下降越快。經(jīng)過循環(huán)測(cè)試，最終設(shè)定s為10-4，在訓(xùn)練中段s衰減之前可以達(dá)到較高壓縮度的同時(shí)，在s衰減之后恢復(fù)精度能力較好。稀疏訓(xùn)練前后γ系數(shù)的壓縮程度如圖5和圖6所示，可以看到γ系數(shù)大部分都被壓縮至接近0，γ系數(shù)接近0的通道影響作用極小，可以進(jìn)行通道剪枝。

圖5 稀疏訓(xùn)練前的γ系數(shù)分布圖形

圖6 稀疏訓(xùn)練后的γ系數(shù)分布圖形

稀疏訓(xùn)練過程可視化如圖7所示，可見稀疏訓(xùn)練在較小影響精度的情況下完成了γ系數(shù)壓縮的任務(wù)，符合剪枝條件。稀疏訓(xùn)練前后各評(píng)價(jià)指標(biāo)對(duì)比如表1所示。

表1 稀疏訓(xùn)練前后各評(píng)價(jià)指標(biāo)

圖7 稀疏訓(xùn)練各評(píng)價(jià)指標(biāo)曲線

YOLOv4神經(jīng)網(wǎng)絡(luò)原始模型有161層，其中有104 個(gè)BN層，通道數(shù)量為32 256個(gè)，包含63 943 071個(gè)參數(shù)，權(quán)重文件大小為244 MB?？梢妳?shù)量與體積巨大，不適合在彈載平臺(tái)部署，所以對(duì)其進(jìn)行剪枝處理。

全局通道剪枝0.85，層保留0.01，剪枝后的神經(jīng)網(wǎng)絡(luò)模型參數(shù)為7 033 738，被壓縮了89%，通道數(shù)為11 153，被壓縮了65.4%，模型大小為25.7 MB，被壓縮了89.5%。mAP為0.698，可以繼續(xù)對(duì)冗余的卷積層進(jìn)行剪枝。

YOLOv4中有23個(gè)直接連接層，對(duì)于艦船數(shù)據(jù)集這種各類別特征較為相似的簡(jiǎn)單數(shù)據(jù)集，可以在剪枝大量直接連接層的同時(shí)精度衰減較少，本研究剪枝了16個(gè)直接連接層和其前面的兩個(gè)卷積層，共48層，層剪枝后BN層數(shù)為56層，減少了46.2%，總層數(shù)為113層模型大小19.9 MB，mAP為0.621。

為了恢復(fù)精度，使用知識(shí)蒸餾的思想對(duì)剪枝后模型進(jìn)行微調(diào)。設(shè)置原始模型為老師模型，剪枝后模型為學(xué)生模型，使簡(jiǎn)單模型可以學(xué)習(xí)到復(fù)雜模型的特征表征能力，進(jìn)而回升精度。

各模型效果如表2所示，A代表YOLOv4原始模型，B代表通道剪枝后模型，C代表層剪枝后模型，D代表知識(shí)蒸餾微調(diào)后的模型。

表2 各模型評(píng)價(jià)指標(biāo)

對(duì)艦船目標(biāo)檢測(cè)效果如圖8所示。

圖8 艦船目標(biāo)檢測(cè)效果圖形

最終微調(diào)后的神經(jīng)網(wǎng)絡(luò)模型相較于原始模型精度稍有提升，這是因?yàn)橄∈栌?xùn)練和知識(shí)蒸餾訓(xùn)練也相當(dāng)于進(jìn)行了L1正則化，推理速度提升了2倍，通道數(shù)縮減為原始模型的16.8%，剪枝了46.2%的層，參數(shù)量規(guī)模下降91.9%，模型大小為原始模型的8%。

5 結(jié)論

1) 提出了一種可以完成實(shí)時(shí)高精度檢測(cè)的輕量級(jí)艦船目標(biāo)深度學(xué)習(xí)檢測(cè)模型，對(duì)硬件設(shè)備要求更小，充分利用運(yùn)算資源，為深度學(xué)習(xí)算法的彈載平臺(tái)移植提供了一個(gè)可行預(yù)研方案。

2) 此模型主要針對(duì)水面環(huán)境的艦船類目標(biāo)檢測(cè)，對(duì)其他戰(zhàn)場(chǎng)環(huán)境下的目標(biāo)檢測(cè)能力有待考證，接下來(lái)需進(jìn)一步在彈載平臺(tái)上進(jìn)行驗(yàn)證。