曹 磊 王 強 史潤佳 蔣忠進

(東南大學毫米波國家重點實驗室， 南京 210096)

近年來，深度學習迅猛發(fā)展，被應用到軍事、地探、醫(yī)療等各個領域，并取得了很好的效果[1].其中，卷積神經(jīng)網(wǎng)絡(CNN)[2]以其在圖像處理方面優(yōu)異的檢測與識別能力受到了普遍的重視.CNN不僅大量用于光學圖像處理，也在SAR圖像自動解譯中表現(xiàn)出色[3-8]，能夠高效準確地進行目標檢測與識別[9].

Girshick等[10]提出了基于區(qū)域卷積神經(jīng)網(wǎng)絡(R-CNN)的目標檢測框架.自此，目標檢測由基于視覺特征和統(tǒng)計特征為主的時期進入基于深度學習的時期，并獲得了快速的發(fā)展.從R-CNN到SPP-NET[11]、Fast-RCNN[12]，再到Faster-RCNN[13]，網(wǎng)絡的性能越來越好，尤其Faster-RCNN是真正意義上的端到端深度學習目標檢測算法.Faster-RCNN最大的創(chuàng)新點在于設計了候選區(qū)域生成網(wǎng)絡(RPN)，由RPN來提取特征和完成候選區(qū)域的篩選，并對目標進行檢測和定位，然后將篩選出的候選框送至分類識別層進行目標分類操作，明顯提高了目標檢測與識別的效率.

近年來，F(xiàn)aster-RCNN逐漸成為一種重要的SAR圖像目標檢測和識別方法[14-16].在某些情況下，無需知道車輛目標的具體類別，只需完成目標檢測即可，本文便是采用Faster-RCNN進行SAR圖像中的車輛目標檢測.在傳統(tǒng)Faster-RCNN中，RPN模塊僅采用圖像的頂層特征完成目標檢測，由于頂層特征比較抽象，對SAR圖像的細節(jié)信息丟失較為嚴重，不利于目標與地物的區(qū)分.因此，本文以VGG-16網(wǎng)絡作為基礎網(wǎng)絡提取多個特征層，并對RPN進行改進，將細節(jié)信息比較豐富的較低層特征與信息抽象的頂層特征進行處理和融合，用于SAR圖像中的車輛目標檢測，并取得了良好效果.

1 改進的RPN與目標檢測

圖1 傳統(tǒng)RPN結(jié)構圖

RPN網(wǎng)絡主要學習2部分信息：①類別信息，根據(jù)候選區(qū)域特征信息計算候選區(qū)域類別信息，判斷其中是否包含目標，若包含即為前景類，否則為背景類；②位置信息，即通過候選區(qū)域邊框回歸出目標位置邊框.事實上，RPN并未直接對位置信息本身進行訓練學習，而是學習候選區(qū)域邊框相對于目標位置邊框的偏移量.

傳統(tǒng)RPN僅僅以最深特征層作為候選框提取層，這會導致經(jīng)過多次下采樣后，最深特征層里的圖像細節(jié)信息損失較多，目標特征信息損失較大，帶來一定的目標定位誤差.

圖2 改進RPN結(jié)構圖

在測試階段，每張測試集圖片均會被檢測出許多感興趣區(qū)域(ROI)，而每一個目標也會被不止一個ROI包圍.本文采用非極大值抑制(NMS)方法去除冗余的ROI.首先將ROI按照目標辨識中所得到的分數(shù)進行降序排列，選中其中分數(shù)最高的ROI，并遍歷其他ROI，若其他ROI與所選中ROI的IoU大于某閾值(本文實驗中閾值設為0.8)，則認定此ROI與所選中ROI是針對同一目標，將此ROI刪除；然后為剩下的其他ROI重復上述去冗余操作，確保每一個目標只被一個ROI包圍.

2 實驗數(shù)據(jù)集的制作

由于包含軍事目標的大場景SAR圖像較為稀缺，因此本文在MSTAR數(shù)據(jù)集基礎上，制作帶車輛目標的大場景數(shù)據(jù)集，用于對卷積神經(jīng)網(wǎng)絡的訓練與測試.MSTAR數(shù)據(jù)集是美國國防高級研究計劃局(DARPA)提供的實測SAR圖像數(shù)據(jù)集，其中包含了大量的車輛目標圖像和少量的大場景圖像.本文將這些大場景圖像作為車輛目標檢測的背景使用，由于大場景圖像尺寸過大，為1 500×800像素，在制作訓練數(shù)據(jù)時，將其分割成多個大小為300×300像素的小場景圖像，如圖3所示.

(a) 小場景1

(b) 小場景2

MSTAR數(shù)據(jù)集中共有10類車輛目標的SAR圖像，圖像大小為128×128像素.這些目標多是不同型號坦克、裝甲車在0～360°方位角下的靜止圖像.本文挑選其中8類目標圖像作預處理后，將其貼入小場景背景圖像，生成訓練數(shù)據(jù)集.圖4展示了8類車輛目標2S1、BMP2、BRDM_2、BTR_60、BTR_70、T62、T72、ZSU_23_4的SAR圖像樣本.

(a) 2S1

(b) BMP2

(c) BRDM_2

(d) BTR_60

(e) BTR_70

(f) T62

(g) T72

本文的貼圖操作是由編寫的程序自動完成，不需要手工介入，因此可以快速大批量地生成實驗數(shù)據(jù)集.程序會自動將目標貼入坐標等重要信息寫入標簽，因此本文并未采用Pascal VOC數(shù)據(jù)集中標簽的格式，而是自擬了一種更簡潔的標簽格式，格式中包含目標的種類、位置和尺寸等信息.圖5展示了貼上目標以后的小場景背景圖像，可以看出，背景與目標的融合效果很好.

(a) 小場景1

(b) 小場景2

在制作數(shù)據(jù)集時，在每張小場景背景圖中隨機貼2類軍事目標，如圖5(a)和(b)所示，共生成 20 294個訓練樣本和894個測試樣本.為了驗證改進RPN的目標檢測性能，測試樣本中不乏環(huán)境地物非常復雜的場景.

3 代碼實現(xiàn)與實驗分析

本文的目標檢測代碼基于Python語言和TensorFlow框架編寫.為了縮短訓練時間，用于提取圖片特征的基礎網(wǎng)絡是已在ImageNet數(shù)據(jù)集上經(jīng)過預訓練的VGG-16網(wǎng)絡.本文直接利用VGG-16網(wǎng)絡的模型參數(shù)對所提出的改進RPN網(wǎng)絡進行初始化，然后再利用MSTAR實驗數(shù)據(jù)集進行訓練.在目標檢測代碼中，本文為每個像素點設置了9個錨點，采用的長寬比包括 1∶1, 1∶2, 2∶1.操作系統(tǒng)是64位Windows 10，計算機處理器Intel(R) Core (TM) i7-8700 CPU @ 3.20 GHz，內(nèi)存容量16 GB，顯卡是NVIDA GeForce RTX2070 (8 GB).

訓練中8類目標場景圖、共20 294個訓練樣本前800次迭代的損失函數(shù)值見圖6.由圖可知，改進RPN的收斂速度比傳統(tǒng)RPN更快.

圖6 訓練中的前800次損失函數(shù)值

在評價指標方面，本文首先統(tǒng)計檢出個數(shù)NTP、漏檢個數(shù)NFN、虛警個數(shù)NFP等直觀結(jié)果，然后采用查全率rR、查準率rP及查全率與查準率的調(diào)和平均數(shù)F1三個指標衡量檢測效果，即

(1)

(2)

(3)

如表1所示，測試集中的目標總數(shù)共1 788個，傳統(tǒng)RPN與改進RPN基本均不會漏檢，查全率rR=100%.但是改進RPN在虛警方面有所改善，傳統(tǒng)RPN的查準率rP=97.7%，而改進 RPN的rP達99.7%.傳統(tǒng)RPN的調(diào)和平均數(shù)F1= 0.988，而改進RPN的F1=0.998.

表1 檢測性能比較

圖7展示了傳統(tǒng)RPN方法檢測結(jié)果圖，這里的大場景圖是第2節(jié)中檢測后的小場景按照分割順序和邊界重新組合而成，其中2個虛警目標稱為虛警1和虛警2.改進RPN方法檢測結(jié)果如圖8所示，同樣的區(qū)域則未出現(xiàn)這2個虛警.因此，傳統(tǒng)RPN對于復雜地域(如樹林、石塊區(qū)等地物分布復雜區(qū)域)的檢測虛警率更高.

(a) 帶有多個目標的復雜背景

(c) 虛警2放大圖

(a) 帶有多個目標的復雜背景

(b) 虛警1消失

(c) 虛警2消失

為測試改進RPN的泛化能力，本文采用8類目標中的5類目標場景圖作為訓練集，共13 453個樣本，剩余3類目標的場景圖作為測試集.該訓練集均勻地包含2S1、BMP2、BRDM_2、BTR_60、BTR_70五類車輛目標，測試集則有1 206個，僅包含T62、T72、ZSU_23_4三類目標.傳統(tǒng)RPN和改進RPN泛化能力測試的實驗結(jié)果對比見表2.

表2 泛化性能比較

由表2分析可知，2種方法對于未訓練過的車輛目標的檢出效果差異不大，傳統(tǒng)RPN與改進RPN查全率rR均超過99.9%，僅有4×10-6的差值.但改進RPN的虛警個數(shù)僅約為傳統(tǒng)RPN的 1/2，兩者的查準率rP分別為99.0%和98.0%.綜上所述，改進RPN的泛化能力也相對更好.

4 結(jié)論

1) 與傳統(tǒng)RPN相比，改進RPN在進行網(wǎng)絡訓練時具有更快的收斂速度，節(jié)省一定訓練時間.

2) 2個版本的RPN在目標檢測方面的性能相當，但改進RPN的虛警更少，將查準率由97.7%提高到99.7%.

3) 與傳統(tǒng)RPN相比，改進RPN具有更好的泛化能力，針對訓練范圍以外的目標，能將查準率由98.0%提高到99.0%.