高一博 楊傳棟 陳棟 凌沖

引用格式：高一博，楊傳棟，陳棟，等.面向彈載圖像的深度學習網絡壓縮方法研究［J］.航空兵器，2023，30（1）：95-103.

GaoYibo，YangChuandong，ChenDong，etal.ResearchonDeepLearningNetworkCompressionMethodforMissileBorneImage［J］.AeroWeaponry，2023，30（1）：95-103.（inChinese）

摘要：針對基于深度學習目標識別算法具有網絡結構復雜、參數量大、計算延遲高等特點，難以直接應用于彈載任務的問題，對網絡輕量化方法進行了歸納總結。介紹了已有的壓縮方法和輕量化網絡的優(yōu)點及各自特點，并選擇各個方面優(yōu)秀的算法進行比較。最后，結合深度學習在目標檢測領域中的發(fā)展，對輕量化彈載圖像目標識別算法進行了展望。

關鍵詞：網絡模型壓縮；輕量化網絡；彈載圖像；深度學習模型；算法移植

中圖分類號：TJ413+.6

文獻標識碼：A

文章編號：1673-5048（2023）01-0095-09

DOI：10.12132/ISSN.1673-5048.2022.0079

0引言

精確制導武器是現(xiàn)代戰(zhàn)爭制勝的關鍵因素，精確制導武器的核心部件是導引頭［1］。制導過程中，導引頭行使著觀測目標、感知環(huán)境、進行識別與跟蹤的職責，直到完成對目標的精確打擊。然而導引頭制導的效果取決于對目標位置判斷的精度，半主動制導的激光制導需要前哨站進行對目標的激光指引，隱蔽性極差；被動制導的雷達制導，極易被空間各種信號干擾以及被敵人捕捉。圖像制導使用CMOS（ComplementaryMetalOxideSemiconductor）采集目標可見光信息，抗電磁干擾能力強，且不需架設前哨站［2］。與普通的移動終端所使用專用芯片ASIC（ApplicationSpecificIntegratedCircuit）不同，導引頭中的彈載計算機核心處理單元架構主要包括DSP（DigitalSignalProcessing），DSP+FPGA（FieldProgrammableGateArray），SoC（SystemonChip）等。DSP資源較少，無法滿足目前的算法需求，如今主流方式是使用DSP+FPGA的方式。FPGA具有接口豐富、靈活性高的特點，然而其具有高功耗性，對于本就高消耗的深度學習算法是較難承受的。對此，各大廠商提出SoC，從而提高系統(tǒng)性能，降低系統(tǒng)成本、功耗以及重量和尺寸，但開發(fā)周期較長，研制費用較高，不適用于需要快速應用的小型武器系統(tǒng)。嵌入SoC的芯片，既有PL端的資源靈活性，又有PS端的強大處理器功能，適合深度學習算法的部署，但其中參數量和網絡結構的巨大是難以實用的難點之一。模型壓縮與輕量化是設計的關鍵步驟，既需要滿足軟件層面算法足夠的精度，又應保證移植硬件時參數量少、速度快。內部空間小、彈丸作用時間短、嵌入式硬件平臺處理速度要求高是限制在彈載平臺上部署深度學習算法的關鍵因素［3］。因此，很有必要研究壓縮深度學習的算法。

1面向彈載目標的跟蹤算法

1.1彈載目標特性

圖像制導彈的成像特點包括以下幾方面：

（1）尺度變化大。彈體在空中飛行速度非?？?，平均速度可達200～300m/s，目標圖像在視場內的尺度變化非常大，如圖1所示。當彈目距離較遠時，目標在視場中成像較小，細節(jié)不清晰；當彈目距離較近時，目標在視場內的成像較大，細節(jié)不斷出現(xiàn)。因此，彈載圖像跟蹤算法需要有尺度不變性。

（2）目標旋轉。由于彈體外形和氣動特性影響，圖像制導彈在飛行時伴有連續(xù)旋轉。雖然攝像機獲取的圖像經過了消旋處理，但是由于彈體舵機控制和消旋精度的影響，彈體仍會出現(xiàn)一定程度的旋轉，導致視場中目標圖像的位置不斷發(fā)生變化，如圖2所示。彈體的連續(xù)旋轉導致目標圖像連續(xù)旋轉，可以看出在不同時刻目標所在位置不同。因此，彈載圖像跟蹤算法需要具有旋轉不變性。

（3）目標進出視場（目標進入或離開視場范圍）。圖像制導彈在高速飛行過程中伴隨一定程度的章動，導致目標頻繁進出視場。當目標出視場后，由于前后兩幀中必定有相同的場景，根據深度學習中前景與背景特征提取方法，可以利用深度學習中掩膜激活，或者特征關聯(lián)方式預測下一幀目標出現(xiàn)的范圍；而對于半出視場或者部分出視場的目標，基于深度學習的方法可以輕松進行識別跟蹤。

1.2各種跟蹤算法對比

結合上述彈載目標獨有的特征，尋找跟蹤算法，各種算法的對比如表1所示。

由表1可以看出，背景減除法只適合固定背景下目標的識別，且易受環(huán)境光線的影響，不適用于亮度不斷變換的彈載圖像。幀間差分法通過幀間圖像的差別來區(qū)分目標區(qū)域，但是由于彈體高速運動，彈載圖像間的幀間差別太大，很難識別出有效的目標區(qū)域。光流法抗噪聲能力差，簡單模板匹配法實時性差，且此方法魯棒性較差，缺少模板更新，而彈載圖像的尺度處于不斷變化當中，準確度較低。SFIT算法對旋轉、尺度放縮、亮度變化保持較高水平，對視角變化、仿射變化、噪聲的穩(wěn)定性較差，且不夠實時。基于深度學習的算法由于各種目標都是訓練出來的，訓練好的網絡，準確度高，對尺度不變性和旋轉不變性，甚至遮擋出視場都有極強的適應能力。由于深度學習訓練網絡非常多，故速度和準確度相互有所取舍，其通病就是網絡結構過大，參數量多，計算量大，對彈載平臺有著巨大的負荷。因此，需要尋找各種壓縮深度學習網絡的方式使之符合彈載平臺的承受力。

2模型壓縮方法

本節(jié)重點介紹當前主流的壓縮方法和輕量化網絡設計，具體技術如表2所示。

2.1參數量化與共享

大多數操作系統(tǒng)和編程語言默認為32位浮點數組成的單精度數，對內存占用量較大，尤其在深度學習網

絡模型中，大量的權值、激活值均需要占4bit的內存。而在彈載環(huán)境中，允許保證近似效果的情況下減少參數量。常用量化、哈希、改變計算形式等技術降低參數量，減少冗余。

2.1.1量化參數

量化網絡過程常見的有1-bit二值網絡，2-bit三值網絡，以及將32位浮點數降低為16位浮點數或16位、8位的定點數。

Mohammad等［4］在二進制權重網絡中，將濾波器近似為二進制值，結果可節(jié)省32×的內存。Guo等［5］提出一種基于二進制權值網絡結構和深度優(yōu)先搜索算法相結合的多類別圖像分割模型，將其應用于人臉識別領域，取得較好效果。用二進制權重網絡的Alex網絡版本與完全準確的AlexNet版本一樣準確。

Li等［6］引入了三元權值網絡TWNs神經網絡，權值限制為+1，0和-1。全精度權重利用歐氏距離最小原則轉換為三值權值。另外，對基于閾值的三元函數進行了優(yōu)化，獲得一種快速、簡便的近似解，并通過實驗證明，該算法在保持較高預測性能和壓縮效率的情況下提高了圖像質量；TWNs比最近提出的二進制精度對應物等網絡更具有表達能力和有效性。同時，TWNs可實現(xiàn)16×或32×的模型壓縮率，且在較高維度下也具有良好的壓縮效果。因此，TWNs是一個非常有潛力的基于深度學習的圖像分類方法。來自MNIST，CIFAR-10和大型ImageNet數據集的標準顯示，TWNs只比全精度略低，但比類似的二進制精度要好得多。

Krishnamoorthi［7］提出一種采用非線性量化的方法，將權值和輸入值都量化為unit8類型，而激活函數中偏置量化為unit32位。該方法統(tǒng)計了每一層權值的范圍分布，非線性地對應每個量化后的權值，同時還提供了一個權值量化訓練網絡，以確保端到端的精度。

2.1.2權值替代

Han等［8］使用k-means聚類算法將權重分類，并不斷微調權值，減少精度損失。根據調整后的權值進行分類，得到各個中心，然后使用所得的中心值替代該類其他值，最后使用霍夫曼編碼再次壓縮。Chen［9］利用哈希函數，建立HashNet，其建議在訓練前對網絡權重進行量化和分組，并在每個組內分享權重。HashNet的結構如圖3所示。在這種方法下，儲存值就是哈希索引以及

少量的權值，減少了大量存儲消耗。由于采用了一種新的算

法來處理數據集的相似性度量問題，也減少了對查詢結果進行匹配所需的計算量。實驗結果表明，該系統(tǒng)能夠取得很好的效果，但是該技術無法節(jié)省運行時的內存和推理時間，因為需要哈希映射找回共享的權值。

2.1.3降低計算復雜度

與廉價的加法運算相比，乘法運算的計算復雜度要高得多。而深度神經網絡中廣泛使用的卷積恰好是互相

關的，方便測量輸入特征和卷積濾波器之間的相似性，但是這涉及浮點值之間的大量乘法。Chen等［10］提出加法器網絡（AdderNets），來替換深度神經網絡中的這些大規(guī)模乘法，特別是卷積神經網絡CNN（ConvolutionalNeuralNetwork），以獲得更少的計算復雜度，降低計算成本。AdderNets采用濾波器和輸入特征之間的L1范數距離作為輸出響應，并提出一種自適應學習速率策略，根據每個神經元梯度的幅度來增強AdderNets的訓練過程。AdderNets可以在ImageNet數據集上使用ResNet-50實現(xiàn)74.9%Top-1精度和91.7%Top-5精度，而不會在卷積層中進行任何乘法。

2.2參數剪枝

彈載圖像數據量多而復雜，對于目標識別和分類網絡是巨大的考驗，故需要強大魯棒的網絡，而嵌入式網絡部署工程要求網絡更加輕量，剪枝可以將原本魯棒的網絡減去大量連接和計算，并維持相當的精度。剪枝模式如圖4所示。

剪枝可分為非結構化剪枝和結構化剪枝。非結構化剪枝是細粒度剪枝，即可以去除任意“冗余”的單獨神經元權值，以獲得高壓縮率，實質是稀疏化卷積核矩陣。剪枝粒度示意圖如圖5所示。但裁剪后的網絡結構混亂，難以進行進一步操作，例如移位代替卷積、加法代替乘法等。結構化剪枝的最小單位是濾波器內的一組參數，通過為濾波器或特征圖設置評價因子，甚至通過刪除整個濾波器或某些通道，網絡“縮小”，允許直接對現(xiàn)有的軟件/硬件進行有效加速。但如果沒有一個合適的優(yōu)化算法，則不能保證得到最優(yōu)解。

2.2.1非結構化剪枝

早期的一些方法基本都是基于非結構化的，非結構化剪枝都是細粒度的。以LeCun等［11］提出的最優(yōu)腦損傷（OptimalBrainDamage）和Hassibi等［12］提出的最優(yōu)腦手術（OptimalBrainSurgeon）方法為代表，該類方法基于損失函數的海森矩陣判斷連接重要程度，減少連接的數量。Neubeck等［13］提出逐層導數修建算法，對每一層的參數計算損失，找到損失最大的參數對其二階導數進行獨立剪枝，修剪后經過再訓練以恢復性能。

非結構剪枝常用正則化項作為損失函數的一種懲罰項，用來限制某些參數，因此，利用正則化權重評價非必須參數并裁剪以達到壓縮效果。但由于參數的L0范數不可微分，難以參與優(yōu)化，Louizos等［14］將權重值變?yōu)榉秦摂?，并設置特定參數權值為0以變?yōu)榭晌栴}。Tartaglione等［15］量化權重參數對輸出的影響力，并設計正則化項，降低或減少影響力小的權重值。Li等［16］減去L1正則化影響小的卷積核。He等［17］使用L2正則化標準一邊訓練一邊剪枝（即軟剪枝）。

Lin等［18］定義BN（BatchNormalize）層系數和濾波器F-范數的乘積作為影響因子，評價各個連接的重要性。Luo等［19］提出一種基于熵的方法來評價濾波器的重要性。Chen等［20］引入硬件約束（例如延遲）后，刪除范數值低的權重并調整參數，使任務精度最大化。Yang等［21］將能耗作為優(yōu)化約束條件，對卷積神經網絡的能耗大小進行排序，裁掉大能耗的濾波器。該方法與傳統(tǒng)的卷積網絡相比大大降低了能耗，精度損失也在可接受范圍內。He等［22］以給定的最大硬件資源數量作為約束的模型自動裁剪。

2.2.2結構化剪枝

結構化剪枝的對象由單個神經變成了向量級、通道級乃至整個濾波器級連接。結果表明，結構化剪枝與非結構化剪枝具有相似的稀疏率，且不損失準確性；在相同的精度下，結構化剪枝由于索引存儲的原因可以獲得比非結構化剪枝更好的壓縮率；更常規(guī)的稀疏性使得細化網絡更適合于較快的硬件部署。因此，結構化剪枝具有優(yōu)勢。

結構化剪枝又可進一步細分為通道級或濾波器級。通道裁剪是在網絡中直接刪除某層的一個或多個通道，缺點是精度損失較大；優(yōu)點是不生成稀疏矩陣，可以直接進行計算，而且大大節(jié)省空間和時間。He等［23］提出將通道中所有權值的絕對值和列為通道的重要性指標，然后剪枝不重要的通道，缺點是需要花時間重訓練。Molchanov等［24］直接考慮特征圖有無對損失函數的影響，并使用一階泰勒展開近似刪除不重要通道。濾波器級別剪枝是直接對整個三維濾波器進行裁剪，能夠保持網絡的結構特性，相當于變窄的原網絡結構。

需要指出，對于結構化剪枝，經過往復訓練得到的精度并不如將目標網絡從頭開始訓練的精度高，因此，剪枝的目標網絡的結構設計其實最為重要，需要合理設計和選擇。

2.3知識蒸餾

知識蒸餾是將“知識”從復雜模型傳遞給一個結構更簡單、運行速度更快的網絡模型。Hinton等［25］首次提出知識蒸餾的概念，將教師網絡中學到的各個類別之間的關系作為學生網絡學習的目標，實現(xiàn)“知識”傳遞的過程，如圖6所示。該方法中，總的loss函數是由兩部分構成的，一部分是由現(xiàn)實與學生網絡自測的loss，該部分為hard_loss；另一部分為教師網絡與學生網絡升高同樣的“溫度”，兩者之間的loss，該部分為soft_loss?？俵oss為兩者之和。這樣既能找到學生網絡與現(xiàn)實的差距，又可以學到教師網絡中各類別之間聯(lián)系。該方法適用于小型或者中型數據集上，由于壓縮后的學生模型學到了已有知識，故在數據集不大時，使用學生模型也能取得魯棒的性能。

2.3.1改進學生網絡

Sergey等［26］通過區(qū)域注意力機制找尋教師網絡中注意力高的區(qū)域，迫使學生網絡模擬一個強大的教師網絡的感興趣的區(qū)域來顯著提高其表現(xiàn)。Li等［27］提出轉移注意力的新方法，將教師網絡的“知識”相關性和學生網絡感興趣的事務傳給下次學習的學生網絡，如圖7所示。其中，ATloss（AttentionLoss）是將教師網絡通過注意力機制學到的知識通過該loss傳給學生網絡。ATloss與該group中的teacher和student網絡均相關，故上個group的學生網絡能影響下個教師網絡傳遞知識的過程，即影響ATloss，是教學相長的過程。

Tian等［28］利用對比學習，提出一個替代目標，通過該目標，訓練學生在教師對數據的表示中捕獲更多信息。Heo等［29］激活隱藏神經元使得學生網絡和教師網絡分類的區(qū)域邊界最相近，以提高學生網絡分類精細度。

2.3.2改進教師網絡

教師網絡的信息傳遞也是一大改進的方向。Xu［30］等提出一個新型自監(jiān)督知識蒸餾模型，利用自監(jiān)督從教師網絡中挖掘出更多的隱含信息。You等［31］提出通過平均多個教師網絡的軟化輸入，即“知識”，并施加關于示例之間的差異性約束，在中間層中再施加于學生網絡。Ahn等［32］將針對相同或者類似的任務預先訓練的教師網絡轉移到學生網絡。

2.4輕量化網絡

在彈載嵌入式環(huán)境中對輕量化網絡的需求很大，然而對彈載環(huán)境中輕量化網絡的應用較少。近年來，宋泰年等［33］面向彈載環(huán)境開發(fā)了一種將空間、通道注意力機制與MobileNetV2結合的模塊，說明輕量化網絡有應用于彈載環(huán)境的巨大潛力。以下從不同結構級別設計綜述輕量化網絡的發(fā)展。

2.4.1卷積核設計

Zhang等［34］在ShuffleNetV1中使用分組卷積大大降低了參數量分組卷積參數，并提出通道混洗（ChannelShuffle）的方式，使得各個組間、通道之間相互交流，避免近親繁殖。Ma等［35］提出ShuffleNetV2，并提出四個輕量化網絡設計準則：（1）輸入輸出通道數相同時，內存訪問量MAC最??；（2）分組數過大的分組卷積會增加MAC；（3）碎片化操作對并行加速不友好；（4）逐元素操作（Element-wise）帶來的內存和耗時不可忽略。Xception［36］是inception的最終版，由GoogLeNet［37］（inceptionV1）演變而來。GoogLeNet將卷積層并行拆分成不同的大小，如3×3，5×5，7×7，加上一個全連接層，再加上1×1卷積的降維，可以在不增加太多參數的條件下大大提高分類的細粒度。隨后，inceptionV2和inceptionV3分別設計了depth-wise和point-wise，將5×5和7×7分離為3×3卷積核，并在不同條件下選擇了1×3和3×1卷積核，大大減少了參數量。該方法得到的結果是很好的，且具有一定的可擴展性。Xception只包含了1×1和3×3個模塊，共享1×1個模塊，且每個3×3卷積只劃分為第一層的一部分，以區(qū)分不同卷積，是深度可分類卷積。

2.4.2層級別設計

Huang等［38］建議對ResNet等具有殘差連接的網絡進行隨機深度訓練，隨機刪除block子集并使用殘差連接繞過其每次訓練。Dong等［39］為每個卷積層配備了輕量化的協(xié)同層LCCL（Low-CostCollaborativeLayer），該協(xié)同層可以預測經過激活層后0的個數與來源，并且刪除了測試時的消耗。Li等［40］將網絡層分為權重層和非權重層，計算權重層參數，忽略非權重層參數的計算。Prabhu等［41］設計了一種濾波器之間的稀疏連接。Wu等［42］用平移特征圖、特征向量取代卷積，減少了計算量。Chen等［43］使用稀疏移位層（SSL）代替原有卷積層構建網絡。在此體系結構中，基本塊僅由1×1卷積層組成，用來升維和降維，并在中間特征圖設計稀疏的移位操作。

2.4.3網絡結構級別設計

Kim等［44］提出SplitNet，其自動學會將網絡的各個層分為多個組，從而形成根節(jié)點，每個子節(jié)點共享根節(jié)點權值。Gordon等［45］提出通過裁剪和擴張來循環(huán)優(yōu)化網絡的方法：在裁剪階段，使用正則化損失判斷權值，去除影響小的權值；在擴展階段，利用旁邊節(jié)點擴展同倍的所有層的大小，因此，重要節(jié)點越多的層最終越寬，對應資源越多。但這些方法都存在一定問題：需要大量計算時間；對節(jié)點進行遍歷操作導致局部最優(yōu)解無法搜索到全局最好結果。Kim等［46］提出嵌套稀疏網絡，每層由多層次網絡組成，其中，高層次網絡和低層次網絡以網絡的形式共享參數：低層次網絡感受野小，學習知識粗略，僅學習表面特征；高層次網絡感受野大，可以看到內部關聯(lián)，用來學習精細知識。

2.4.4神經網絡架構搜索

EfficientDet［47］的高性能主要得益于兩個方面：強大的特征提取器和BiFPN。其中對BiFPN的研究與輕量化無關，而特征提取器EfficientNet［48］使用一種全新的網絡設計模式，即網絡結構搜索NAS（NeuralArchitectureSearch）［49］。NAS是一種搜索網絡框架的網絡設計模式，在圖像識別、圖像分類等領域中得到廣泛應用，并取得一些有意義的成果。

NAS的設計思路為：在特定的搜索空間利用高效搜索策略進行與實際應用相關性更大的神經網絡搜索。很多輕量網絡都使用了NAS架構搜索，如NASNet［50］和MobileNetv3［51］。而EfficientNet的搜索空間主要有常見的skip網絡、卷積網絡、池化網絡、全連接網絡及輕量網絡中常用的深度卷積，評價策略為輸入尺度、網絡深度、網絡寬度，搜索出了一套輕量級、高性能的卷積網絡。

2016年，MIT提出MetaQNN［52］用強化學習的方式，學習每一個CNN層的類型、參數，生成網絡結構，并形成損失函數，用來參與強化訓練。MetaQNN使用馬爾可夫決策過程搜索網絡架構，利用RL（RuturnLoss）方法生成CNN架構。Zoph［53］采用RNN（RecurrentNeuralNetwork）網絡作為控制器，對網絡結構的語義進行采樣和生成，然后利用REINFORCE算法理解網絡結構（早期的RL方法），從而達到較高的準確度。通過采用800GPU，最終在CIFAR-10數據集中以類似的網絡架構擊敗了人工設計模型，并發(fā)現(xiàn)了比LSTM（Long-Short-TimeMemory）更好的結構。

Real等［54］首先將基于進化算法（EvolutionaryAlgorithm）的思想融入到NAS問題，利用CIFAR-10數據集證明了算法的高精度。首先，將網絡結構當作DNA（DeoxyriboNucleicAcid）并進行編碼。在不斷變異進化的過程中，網絡模型會不斷增加，每次進化后判斷其精度，淘汰其中差的。將另一個模型作為父節(jié)點，子節(jié)點是由變異形成的（即在某些預先確定的網絡結構變更操作中的隨機選擇）。對子節(jié)點進行訓練和驗證，以便將其放置在集合中。文獻［55］中，去除種群中年齡最大的節(jié)點，使進化向更年輕方向發(fā)展，這有助于更好地探索。以此找出的最優(yōu)網絡結構稱為AmoebaNet。此外，通過對三個算法的比較，發(fā)現(xiàn)強化學習算法和進化算法更準確。進化算法搜索速度快于強化學習（特別是在早期），并產生較小的模型。

基于梯度的搜索算法有卡內基梅隆大學（CarnegieMellonUniversity，CMU）和Google的研究人員提出的DARTS（DifferentiableArchitectureSearch）方法［56］，該方法尋求最優(yōu)結構的單元是包含N個有序結點的有向無環(huán)圖。文中利用隱馬爾科夫模型對局部區(qū)域進行描述，并把這種描述應用于求解多分類問題。結點表示隱式表征（如特征圖），運算符表示運算符的向邊聯(lián)接。在DARTS方法中，關鍵的技巧是使用softmax函數混合候選，通過計算每個子區(qū)域內所有操作與該區(qū)域中心之間的距離來決定結點是否需要添加或刪除。對于每一種新出現(xiàn)的子域，反饋時也應該更新其值以使之保持不變，形成可微函數。通過這種方法，可以利用基于梯度搜索的方法找到最優(yōu)結構。最后，選取權重最高的參數形成網絡。此外，文獻［57］中還提出另一種搜索效率更高的方法。該方法是將網絡結構嵌入到搜索空間中，使用點表示各個區(qū)域網路，可以在這個空間中定義精度的預測值。通過基于梯度搜索的方法，找到一種合適的嵌入式網絡結構表示方法，優(yōu)化后，將此表示嵌入到網絡結構中。

3壓縮效果比較

為了測試各種算法對彈載圖像的指導意義，使用Xilinx的四核armcortex-A53的zynqUltrascale+MPSOCZCU104進行測試。Xilinx官方有成熟的深度學習算法IP，例如LeNet，AlexNet，ResNet等，對于參數量化共享、參數剪枝、知識蒸餾等網絡有著方便的植入。使用常見數據集ImageNet［58］和自制的艦船目標數據集，對AlexNet和ResNet進行參數量減少和準確度變化的測試。定義Δaccuracy=壓縮后Top-1準確率-壓縮前Top-1準確率，#Param為壓縮后參數量/壓縮前參數量，#FLOPs為壓縮后浮點計算量/壓縮前浮點計算量。知識蒸餾壓縮前代表teacher網絡，壓縮后代表student網絡。不同壓縮方法在AlexNetonImageNet上的壓縮效果如表3所示。

由表3可以看出，這四類壓縮方法的結果差別是十分巨大的。權值量化［4］的參數量化有著很大的優(yōu)勢，對參數量和計算量的壓縮都十分可觀，且精度下降在可接受的范圍內。而觀察并非頂級輕量化網絡SplitNet［44］的結果可知，輕量化網絡也具有很強的壓縮能力，但缺點是各種輕量化網絡層出不窮，想將其部署到彈載平臺上有著較長的周期；另一方面，可以將更多更優(yōu)的網絡部署于平臺，達到更優(yōu)更快的結果，這也是輕量化網絡的潛力所在。參數剪枝與知識蒸餾并沒有過于驚人的表現(xiàn)，但優(yōu)勢是可以與其他方法結合使用，構成更優(yōu)的性能。

對于炮彈來說，裝甲類目標更加真實。為了對比壓縮效果，自制一個裝甲目標數據集。該數據集利用無人機航拍500張各種裝甲類目標圖片，拍攝高度為2500～3000m，是末制導炮彈圖像制導階段的高度。拍攝傾角為30°～40°，是炮彈末端制導的俯仰角度。通過對每張圖片進行隨機1.1～1.5的亮度增強，加上每張圖片的間隔90°的旋轉及每張圖片的反轉，將數據集擴大到3000張目標圖像，其中包括2400張訓練集、200張驗證集、400張測試集，分辨率均為500×500，包括自行火炮、坦克、遠程火箭炮三個種類。原本500張圖片中，自行火炮占180張，坦克占180張，遠程火箭炮占140張。使用AlexNet對裝甲目標數據集進行壓縮效果測試，結果如表4所示。

現(xiàn)在的各種嵌入式語言有著例如int8和int16的參數定義，使得研究者在部署過程中直接使用量化后的參數進行運算，表4中的結果也反映出參數量化的優(yōu)越性。而輕量化網絡仍然有著超強的壓縮能力以及較高的準確度。從剪枝的隨機性推測剪枝降低了網絡損失的過擬合，根據學生網絡的指向性，推測知識蒸餾的專項能力有所提升，所以參數剪枝與知識蒸餾對準確率均有提升。

從上述測試可看出輕量化網絡的巨大潛力，但由于不同輕量化網絡結構差距較大且指向性不同，難以部署。在GPU為NVIDIARTX3080顯卡、CPU為AMD5000的計算機上對各個算法在ImageNet上進行測試，為下一步將各種輕量化網絡部署到彈載平臺上提供一定的指向。Top-1精度與FLOPs（FloatingPointOperations）的關系以及使用參數量大小如圖8所示。

由圖8可以看出，ResNeXt-101精度高，然而消耗的計算量巨大，參數量將近64M，若想部署則必須進行壓縮；而AmoebaNet有著更高的準確度，以及小的計算量和參數量，此性能十分適合部署，但由于這是在GPU空間上搜索出的算法，對于FPGA等彈載平臺是否適配還需進一步驗證；ResNeXt-50網絡不僅是手工設計網絡，而且準確率很高，計算量也適中，適合壓縮后部署進行工作。

選取ResNeXt-50作為主干網絡，使用YoloV3的特征提取網絡CSPNet作為檢測頭，訓練100次進行一次驗證，針對彈載目標特性訓練得到跟蹤結果。圖9為每隔5幀抽取的視頻結果。

參數量已經大大減少的ResNeXt-50的主干網絡經過訓練，可以解決圖片旋轉、尺度變化和目標進出視場等問題。

綜上所述，各種深度學習網絡的潛力巨大，選擇合適的壓縮方法，可以保證較高的準確性及合適的參數計算量，滿足彈上硬件需求。

4展望

對于將識別算法移植嵌入式平臺，壓縮網絡應該從各個方面進行評估和分析，結合本文綜述的各類算法特點的研究以及彈載平臺對于算法的特殊要求，對識別算法在彈載平臺的實現(xiàn)方式作如下展望：

（1）優(yōu)化模塊提升輕量化網絡性能?，F(xiàn)階段的很多輕量化網絡中都是優(yōu)化模塊提升輕量化網絡算力，例如Xception最終的inception模塊，加入該模塊可以提高速度以及減少參數。而NAS又為尋找這種模塊提供了新的可能，根據彈載嵌入式環(huán)境設計的NAS搜尋網絡，更易發(fā)現(xiàn)合適輕量化模塊以插入到目標算法中，為算法在彈載平臺的實現(xiàn)提供了新思路。

（2）合理利用DSP和Mac（MultiplyingAccumulator）模塊。在芯片或邊緣計算設備有更多的DSP模塊和Mac模塊，卷積模塊可以改進乘加模塊，以便更充分、有效地利用彈上資源。例如FPGA有大量的并行Mac模塊，將算法改進后部署到設備上，不但可以在彈上大放光彩，在普通的智能移動終端上也會有更快的速度以及更高的性能。

（3）采用直接壓縮方式。例如常用的剪枝、知識蒸餾一類壓縮現(xiàn)有模型的算法，均可以用作改進現(xiàn)有模型，可以在損失精度較小甚至不損失精度的情況下成功實現(xiàn)網絡的輕量化，與其他方法結合使用，可以在彈載平臺保證其魯棒性。

參考文獻：

［1］錢立志.電視末制導炮彈武器系統(tǒng)關鍵技術研究［D］.合肥：中國科學技術大學，2006.

QianLizhi.ResearchontheKeyTechnologyofTVTerminalGuidedArtilleryWeaponSystem［D］.Hefei：UniversityofScienceandTechnologyofChina，2006.（inChinese）

［2］郭鵬程，王晶晶，楊龍順.雷達地面目標識別技術現(xiàn)狀與展望［J/OL］.航空兵器，doi：10.12312/ISSN.1673-5048.2022.0012.

GuoPengcheng，WangJingjing，YangLongshun.StatusandProspectsofRadarGroundTargetRecognitionTechnology［J/OL］.AeroWeaponry，doi：10.12312/ISSN.1673-5048.2022.0012.（inChinese）

［3］陳棟，田宗浩.面向深度學習的彈載圖像處理異構加速現(xiàn)狀分析［J］.航空兵器，2021，28（3）：10-17.

ChenDong，TianZonghao.ResearchonHeterogeneousAccelerationofDeepLearningMethodforMissile-BorneImageProcessing［J］.AeroWeaponry，2021，28（3）：10-17.（inChinese）

［4］MohammadR，VicenteO，JosephR，etal.XNOR-Net：ImageNetClassificationUsingBinaryConvolutionalNeuralNetworks［C］∥ComputerVision-ECCV2016，2016：525-542.

［5］GuoYW，YaoAB，ZhaoH，etal.NetworkSketching：ExploitingBinaryStructureinDeepCNNs［C］∥IEEEConferenceonComputerVisionandPatternRecognition，2017：4040-4048.

［6］LiFF，ZhangB，LiuB.TernaryWeightNetworks［EB/OL］.（2016-11-19）［2022-04-23］.https：∥arxiv.org/abs/1605.04711v2.

［7］KrishnamoorthiR.QuantizingDeepConvolutionalNetworksforEfficientInference：AWhitepaper［EB/OL］.（2018-06-21）［2022-04-23］.https：∥arxiv.org/abs/1806.08342v1.

［8］HanS，MaoHZ，DallyWJ.DeepCompression：CompressingDeepNeuralNetworkswithPruning，TrainedQuantizationandHuffmanCoding［EB/OL］.（2016-02-15）［2022-04-23］.https：∥arxiv.org/abs/1510.00149v5.

［9］ChenWL，WilsonJT，TyreeS，etal.CompressingNeuralNetworkswiththeHashingTrick［C］∥32ndInternationalConferenceonMachineLearning，2015：2285-2294.

［10］ChenHT，WangYH，XuCJ，etal.AdderNet：DoWeReallyNeedMultiplicationsinDeepLearning？［C］∥IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR），2020：1465-1474.

［11］LeCunY，DenkerJS，SollaSA.OptimalBrainDamage［J］.AdvancesinNeuralInformationProcessingSystems，1989，2：598-605.

［12］HassibiB，StorkDG.SecondOrderDerivativesforNetworkPruning：OptimalBrainSurgeon［C］∥AdvancesinNeuralInformationProcessingSystems，1992：164-171.

［13］NeubeckA，vanGoolL.EfficientNon-MaximumSuppression［C］∥18thInternationalConferenceonPatternRecognition（ICPR06），2006：850-855.

［14］LouizosC，WellingM，KingmaDP.LearningSparseNeuralNetworksthroughL0Regularization［EB/OL］.（2018-06-22）［2022-04-23］.https：∥arxiv.org/abs/1712.01312v2.

［15］TartaglioneE，LepsyS，F(xiàn)iandrottiA，etal.LearningSparseNeuralNetworksviaSensitivity-DrivenRegularization［C］∥32ndInternationalConferenceonNeuralInformationProcessingSystems，2018：3882-3892.

［16］LiH，KadavA，DurdanovicI，etal.PruningFiltersforEfficientConvNets［C］∥5thInternationalConferenceonLearningRepresentations，2017：2538-2547.

［17］HeY，KangGL，DongXY，etal.SoftFilterPruningforAccele-ratingDeepConvolutionalNeuralNetworks［C］∥27thInternationalJointConferenceonArtificialIntelligence，2018：2234-2240.

［18］LinC，ZhongZ，WuW，etal.SynapticStrengthforConvolutionalNeuralNetwork［C］∥Proceedingsofthe32ndInternationalConferenceonNeuralInformationProcessingSystems，2018：10170-10179.

［19］LuoJH，WuJX.AnEntropy-BasedPruningMethodforCNNCompression［EB/OL］.（2017-06-19）［2022-04-23］.https：∥arxiv.org/abs/1706.05791v1.

［20］ChenCG，TungF，VedulaN，etal.Constraint-AwareDeepNeuralNetworkCompression［C］∥ComputerVision-ECCV，2018：409-424.

［21］YangTJ，ChenYH，SzeV.DesigningEnergy-EfficientConvolutionalNeuralNetworksUsingEnergy-AwarePruning［C］∥IEEEConferenceonComputerVisionandPatternRecognition（CVPR），2017：6071-6079.

［22］HeYH，LinJ，LiuZJ，etal.AMC：AutoMLforModelCompressionandAccelerationonMobileDevices［C］∥ComputerVision-ECCV，2018：815-832.

［23］HeYH，ZhangXY，SunJ.ChannelPruningforAcceleratingVeryDeepNeuralNetworks［C］∥IEEEInternationalConferenceonComputerVision（ICCV），2017：1398-1406.

［24］MolchanovP，TyreeS，KarrasT，etal.PruningConvolutionalNeuralNetworksforResourceEfficientInference［EB/OL］.（2017-06-08）［2022-04-23］.https：∥arxiv.org/abs/1611.06440v2.

［25］HintonG，VinyalsO，DeanJ.DistillingtheKnowledgeinaNeuralNetwork［EB/OL］.（2015-03-09）［2022-04-23］.https：∥arxiv.org/abs/1503.02531v1.

［26］ZagoruykoS，KomodakisN.PayingMoreAttentiontoAttention：ImprovingthePerformanceofConvolutionalNeuralNetworksviaAttentionTransfer［EB/OL］.（2017-02-12）［2022-04-23］.https：∥arxiv.org/abs/1612.03928v3.

［27］LiP，ShuC，XieY，etal.HierarchicalKnowledgeSqueezedAdversarialNetworkCompression［C］∥AAAIConferenceonArtificialIntelligence，2020：11370-11377.

［28］TianYL，KrishnanD，IsolaP.ContrastiveRepresentationDistillation［EB/OL］.（2022-01-24）［2022-04-23］.https：∥arxiv.org/abs/1910.10699v3.

［29］HeoB，LeeM，YunS，etal.KnowledgeTransferviaDistillationofActivationBoundariesFormedbyHiddenNeurons［C］∥33rdAAAIConferenceonArtificialIntelligence，2019：3779-3787.

［30］XuGD，LiuZW，LiXX，etal.KnowledgeDistillationMeetsSelf-Supervision［C］∥ComputerVision-ECCV，2020：588-604.

［31］YouS，XuC，XuC，etal.LearningfromMultipleTeacherNetworks［C］∥23rdACMSIGKDDInternationalConferenceonKnowledgeDiscoveryandDataMining，2017：1285-1294.

［32］AhnS，HuSX，DamianouA，etal.VariationalInformationDistillationforKnowledgeTransfer［C］∥IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR），2019：9155-9163.

［33］宋泰年，秦偉偉，梁卓，等.面向輕量化網絡的改進雙通道注意力機制圖像分類方法［J］.航空兵器，2021，28（5）：81-85.

SongTainian，QinWeiwei，LiangZhuo，etal.ImprovedDual-ChannelAttentionMechanismImageClassificationMethodforLightweightNetwork［J］.AeroWeaponry，2021，28（5）：81-85.（inChinese）

［34］ZhangXY，ZhouXY，LinMX，etal.ShuffleNet：AnExtremelyEfficientConvolutionalNeuralNetworkforMobileDevices［C］∥IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR），2018：6848-6856.

［35］MaNN，ZhangX，ZhengHT，etal.ShuffleNetV2：PracticalGuidelinesforEfficientCNNArchitectureDesign［EB/OL］.（2018-07-30）［2022-04-23］.https：∥arxiv.org/abs/1807.11164v1.

［36］CholletF.Xception：DeepLearningwithDepthwiseSeparableConvolutions［C］∥IEEEConferenceonComputerVisionandPatternRecognition，2017：1800-1807.

［37］SzegedyC，LiuW，JiaYQ，etal.GoingDeeperwithConvolutions［C］∥IEEEConferenceonComputerVisionandPatternRe-cognition（CVPR），2015：1-9.

［38］HuangG，SunY，LiuZ，etal.DeepNetworkswithStochasticDepth［C］∥ComputerVision-ECCV，2016：646-661.

［39］DongXY，HuangJS，YangY，etal.MoreisLess：AMoreComplicatedNetworkwithLessInferenceComplexity［C］∥IEEEConferenceonComputerVisionandPatternRecognition（CVPR），2017：1895-1903.

［40］LiDW，WangXL，KongDG.DeepRebirth：AcceleratingDeepNeuralNetworkExecutiononMobileDevices［C］∥32ndAAAIConferenceonArtificialIntelligence，2018：2322-2330.

［41］PrabhuA，VarmaG，NamboodiriA.DeepExpanderNetworks：EfficientDeepNetworksfromGraphTheory［C］∥ComputerVision-ECCV，2018：20-35.

［42］WuBC，WanA，YueXY，etal.Shift：AZeroFLOP，ZeroParameterAlternativetoSpatialConvolutions［C］∥IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR），2018：9127-9135.

［43］ChenWJ，XieD，ZhangY，etal.AllYouNeedIsaFewShifts：DesigningEfficientConvolutionalNeuralNetworksforImageClassification［C］∥IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR），2019：7234-7243.

［44］KimJ，ParkY，KimG，etal.SplitNet：LearningtoSemanticallySplitDeepNetworksforParameterReductionandModelParalleli-zation［C］∥34thInternationalConferenceonMachineLearning，2017：1866-1874.

［45］GordonA，EbanE，NachumO，etal.MorphNet：Fast&SimpleResource-ConstrainedStructureLearningofDeepNetworks［C］∥IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR），2018：1586-1595.

［46］KimE，AhnC，OhS.NestedNet：LearningNestedSparseStructuresinDeepNeuralNetworks［C］∥IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR），2018：8669-8678.

［47］LoweDG.ObjectRecognitionfromScale-InvariantKeypoints［C］∥IEEEInternationalConferenceonComputerVision（ICCV），1999：1150-1157.

［48］JinYH，MishkinD，MishchukA，etal.ImageMatchingacrossWideBaselines：FromPapertoPractice［J］.InternationalJournalofComputerVision，2021，129（2）：517-547.

［49］BateniP，GoyalR，MasraniV，etal.ImprovedFew-ShotVisualClassification［C］∥IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR），2020：14481-14490.

［50］BarronJT.AGeneralandAdaptiveRobustLossFunction［C］∥IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR），2019：4326-4334.

［51］BertinettoL，MuellerR，TertikasK，etal.MakingBetterMistakes：LeveragingClassHierarchieswithDeepNetworks［C］∥IEEE/CVFConferenceonComputerVisionandPatternRecognition（CVPR），2020：12503-12512.

［52］BakerB，GuptaO，NaikN，etal.DesigningNeuralNetworkArchitecturesUsingReinforcementLearning［EB/OL］.（2017-03-22）［2022-04-23］.https：∥arxiv.org/abs/1611.02167v3.

［53］ZophB，LeQV.NeuralArchitectureSearchwithReinforcementLearning［EB/OL］.（2017-02-15）［2022-04-23］.https：∥arxiv.org/abs/1611.01578v2.

［54］RealE，MooreS，SelleA，etal.Large-ScaleEvolutionofImageClassifiers［EB/OL］.（2017-06-11）［2022-04-23］.https：∥arxiv.org/abs/1703.01041v2.

［55］RealE，AggarwalA，HuangYP，etal.RegularizedEvolutionforImageClassifierArchitectureSearch［C］∥33rdAAAIConferenceonArtificialIntelligence，2019：4780-4789.

［56］LiuHX，SimonyanK，YangYM.DARTS：DifferentiableArchitectureSearch［EB/OL］.（2019-04-23）［2022-04-23］.https：∥arxiv.org/abs/1806.09055v2.

［57］LuoRQ，TianF，QinT，etal.NeuralArchitectureOptimization［C］∥32ndInternationalConferenceonNeuralInformationProcessingSystems，2018：7827-7838.

［58］DengJ，DongW，SocherR，etal.ImageNet：ALarge-ScaleHie-rarchicalImageDatabase［C］∥IEEEConferenceonComputerVisionandPatternRecognition，2009：248-255.

ResearchonDeepLearningNetworkCompression

MethodforMissileBorneImage

GaoYibo，YangChuandong，ChenDong*，LingChong

（LaboratoryofGuidanceControlandInformationPerceptionTechnologyofHighOverloadProjectiles，

ArmyAcademyofArtilleryandAirDefense，Hefei230031，China）

Abstract：Aimingattheproblemthatthetargetrecognitionalgorithmbasedondeeplearninghasthecharacteristicsofcomplexnetworkstructure，largeamountofparametersandhighcomputationdelay，whichisdifficulttodirectlyapplytothemissile-bornetask，thenetworklightweightmethodaresummarized.Theadvantagesandrespectivecharacteristicsofexistingcompressionmethodsandlightweightnetworksareintroduced，andtheexcellentalgorithmsinva-riousaspectsareselectedforcomparison.Finally，combinedwiththedevelopmentofdeeplearninginthefieldoftargetdetection，thelightweightmissileborneimagetargetrecognitionalgorithmisprospected.

Keywords：networkmodelcompression；lightweightnetwork；missileborneimage；deeplearningmodel；algorithmtransplantation

收稿日期：2022-04-24

作者簡介：高一博（1998-），男，安徽阜陽人，碩士研究生。

*通信作者：陳棟（1983-），男，安徽黃山人，副教授。