李家起 江政杰 姚力波 簡 濤

（1.海軍航空大學(xué)信息融合研究所 煙臺(tái) 264001）（2.海軍裝備部信息系統(tǒng)局 北京 100841）

1 引言

隨著遙感衛(wèi)星技術(shù)的發(fā)展，大量的SAR遙感衛(wèi)星已經(jīng)發(fā)射到太空進(jìn)行地球觀測，例如Sentinel-1、RadarSat-1（2）、TerraSAR-X、TanDEM-X、COS?MO-Skymed和高分3號(hào)[1]。這些遙感衛(wèi)星能夠全天候、全天時(shí)提供多分辨率、多波段和多極化SAR圖像，已廣泛應(yīng)用于全球海事領(lǐng)域監(jiān)視。大多數(shù)衛(wèi)星SAR傳感器通常具備條帶式、聚束式、掃描式和其他成像模式[2～3]。根據(jù)成像距離向分辨率、方位向分辨率，SAR衛(wèi)星遙感圖像可分為高分辨率遙感圖像（＜2m）和低分辨率遙感圖像（＞2m）。

高分辨率的SAR衛(wèi)星可以為圖像提供更多的艦船細(xì)節(jié)信息，通常采用窄幅掃描的單極化模式，主要用于艦船分類和識(shí)別[4]。低分辨率SAR衛(wèi)星首先提供被探測艦船的意義排序，以指導(dǎo)高分辨率SAR或光學(xué)衛(wèi)星進(jìn)一步識(shí)別潛在的敵對(duì)非合作艦船。因此，低分辨率SAR遙感圖像中的艦船分類或識(shí)別是多衛(wèi)星協(xié)同海洋觀測任務(wù)中的一個(gè)重要環(huán)節(jié)。

用于SAR遙感圖像中目標(biāo)分類或識(shí)別的特征主要包括幾何特征，統(tǒng)計(jì)特征，變換域特征，代數(shù)特征和機(jī)器學(xué)習(xí)特征。SAR遙感圖像中的目標(biāo)分類或識(shí)別算法可分為三類[5～6]：1）統(tǒng)計(jì)方法，根據(jù)灰度，紋理，顏色等圖像特征的統(tǒng)計(jì)特征，采用一些特征匹配方法將圖像像素分為幾個(gè)不同的類別；2）基于模型的匹配方法，首先通過從訓(xùn)練圖像中提取特征來建立目標(biāo)和背景模型，然后使用這些模型預(yù)測特征，并通過匹配模型的預(yù)測特征和圖像的提取特征來識(shí)別目標(biāo)；3）機(jī)器學(xué)習(xí)方法，通過使用人為設(shè)計(jì)的特征或使用無監(jiān)督或監(jiān)督學(xué)習(xí)方法的機(jī)器學(xué)習(xí)特征建立低級(jí)特征和高級(jí)語義之間的關(guān)系來實(shí)現(xiàn)。以上這些算法主要用于高分辨率光學(xué)或SAR遙感圖像，而提供較少目標(biāo)特征或細(xì)節(jié)的低分辨率遙感衛(wèi)星SAR圖像大多不能滿足這些算法的前提條件。

在低分辨率衛(wèi)星遙感圖像中，目標(biāo)分類識(shí)別仍需較大的改進(jìn)。其中一種方法是基于超分辨率重建，可以通過單幀圖像或多幀圖像實(shí)現(xiàn)[7～8]。多幀圖像的超分辨率重建方法利用幀間冗余信息，如迭代反投影（IBP）、最大后驗(yàn)概率（MAP）、凸集投影（POCS）等經(jīng)典算法[9]。單幀圖像的超分辨率重建方法主要利用樣本圖像的先驗(yàn)信息，如基于實(shí)例學(xué)習(xí)、基于稀疏表示和基于流形學(xué)習(xí)的算法。這些算法在低分辨率衛(wèi)星遙感圖像的地面信息提取、分類和變化監(jiān)測等領(lǐng)域得到了廣泛的研究和應(yīng)用。由于艦船目標(biāo)像素較少，容易受到噪聲、斑點(diǎn)等因素的影響，以及圖像的一致性會(huì)降低對(duì)艦船目標(biāo)的識(shí)別效果，低分辨率SAR衛(wèi)星遙感圖像中的艦船目標(biāo)分類或識(shí)別通常采用單幀圖像[10]?？紤]到極化模式、入射角、海況尺度、艦船運(yùn)動(dòng)狀態(tài)等因素也影響了SAR傳感器的性能[11]。因此，在低分辨率的SAR衛(wèi)星遙感圖像中，采用超分辨率重建方法進(jìn)行艦船分類識(shí)別是一項(xiàng)十分困難和具有挑戰(zhàn)性的工作。

低分辨率的合成孔徑雷達(dá)衛(wèi)星通常工作在雙極化或四極化模式，可以提供多通道合成孔徑雷達(dá)圖像，各類艦船的雙極化SAR遙感圖像如圖1所示。單通道圖像相對(duì)于多通道圖像包含的信息有限，合理利用多通道圖像特征和極化特征的互補(bǔ)信息，可以有效提高目標(biāo)融合識(shí)別的準(zhǔn)確率[12]。

圖1 各類艦船的雙極化SAR遙感圖像

多極化SAR圖像可以提供極化特征和傳統(tǒng)的圖像特征，如雷達(dá)截面、目標(biāo)的材料、結(jié)構(gòu)和方位等。在多極化SAR圖像中，有一些融合方法利用人工設(shè)計(jì)的特征進(jìn)行目標(biāo)檢測、分類和識(shí)別，其中兩個(gè)重要的處理步驟是多極化特征提取和多極化特征融合規(guī)則。最常用的極化特征可分為兩類：第一類是極化參數(shù)，包括極化熵、共極化相位差、共極化比、共極化相關(guān)系數(shù)和交叉極化比等。第二類是極化矩陣，分別用極化散射矩陣、穆勒矩陣、斯托克斯矩陣、極化協(xié)方差矩陣和極化相干矩陣表示。為了獲取更多可解釋的極化信息，通常使用相干目標(biāo)分解（CTD）或非相干目標(biāo)分解（ICTD）對(duì)這些矩陣進(jìn)行分解[13～14]。這些極化特征和形狀和紋理等傳統(tǒng)的SAR圖像特征，通常通過串行、并行和典型相關(guān)分析（CCA）等策略融合到一個(gè)新的高階特征空間中。這些融合策略通常以矢量形式組織特征，忽略了空間鄰域關(guān)系或通道間關(guān)系。

近年來，在地面攝像圖像和視頻的場景中，深度學(xué)習(xí)方法在目標(biāo)檢測、分類、識(shí)別和跟蹤方面表現(xiàn)出了令人印象深刻的能力。這些方法已逐漸應(yīng)用于遙感圖像處理，主要是針對(duì)單通道高分辨率光學(xué)或者SAR圖像而設(shè)計(jì)的[15]。多通道遙感圖像，如多光譜或超光譜光學(xué)圖像、雙極化或四極化SAR圖像，既能提供空間信息，又能提供光譜或極化信息，有助于提高目標(biāo)的監(jiān)測、分類和識(shí)別性能。與傳統(tǒng)的人工設(shè)計(jì)的特征相比，深度學(xué)習(xí)特征具有層次性、稀疏性和語義信息量大的特點(diǎn)。同一目標(biāo)的多源特征在表征上是異質(zhì)的，在語義層次上是相關(guān)的。因此，基于深度學(xué)習(xí)的特征融合方法對(duì)于多通道多極化遙感圖像的目標(biāo)分類和識(shí)別更為有利。

本文提出了一種新的基于深度卷積神經(jīng)網(wǎng)絡(luò)低分辨率極化SAR圖像融合識(shí)別方法。

2 融合算法模型

本文提出的基于深度卷積神經(jīng)網(wǎng)絡(luò)的融合識(shí)別流程主要包括三個(gè)步驟：1）針對(duì)各類艦船存在數(shù)量不均衡的問題，經(jīng)過數(shù)據(jù)增強(qiáng)的上采樣擴(kuò)充數(shù)據(jù)集得到訓(xùn)練測試集；2）將各類艦船的極化訓(xùn)練樣本經(jīng)過改進(jìn)的單通道VGG16網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，訓(xùn)練測試數(shù)據(jù)得到類別權(quán)重和概率得分；3）將類別權(quán)重和概率得分按照融合規(guī)則進(jìn)行判定，得到艦船分類結(jié)果，最終實(shí)現(xiàn)極化SAR艦船目標(biāo)的自動(dòng)識(shí)別。

2.1 融合識(shí)別前的數(shù)據(jù)預(yù)處理

深度學(xué)習(xí)往往需要大量的樣本進(jìn)行訓(xùn)練。SAR艦船圖像獲取方式相對(duì)于可見光圖像較少，對(duì)應(yīng)的艦船數(shù)據(jù)集也很有限，并且往往存在著類別間艦船數(shù)據(jù)不均衡的問題。由于樣本多的艦船類別的訓(xùn)練損失貢獻(xiàn)會(huì)覆蓋樣本少的艦船類別，導(dǎo)致分類器的性能下降，深度學(xué)習(xí)無法訓(xùn)練出較好的模型[16]。為了解決這個(gè)問題，在訓(xùn)練之前需要通過數(shù)據(jù)增強(qiáng)上采樣擴(kuò)充的方式對(duì)SAR艦船數(shù)據(jù)集進(jìn)行擴(kuò)充。

本文采取數(shù)據(jù)增強(qiáng)的方式有：

1）旋轉(zhuǎn)、反射變換（Rotation/reflection）：將圖像隨機(jī)旋轉(zhuǎn)一定角度，改變圖像目標(biāo)的朝向；

2）翻轉(zhuǎn)變換（flip）：將圖像沿著水平或者垂直方向翻轉(zhuǎn)；

3）尺度變換（scale）：圖像按照指定的尺度因子，進(jìn)行放大或縮小，或者利用尺度因子對(duì)圖像進(jìn)行濾波構(gòu)造尺度空間，改變圖像內(nèi)目標(biāo)的大小或者模糊程度；

4）平移變換（shift）：在平面上對(duì)圖像以一定方式進(jìn)行位移。

經(jīng)過上述數(shù)據(jù)增強(qiáng)的操作，在一定程度上能夠緩解數(shù)據(jù)集類別間樣本不均衡的問題[17]。數(shù)據(jù)增強(qiáng)相比于簡單的復(fù)制增加了樣本的多樣性，減少卷積神經(jīng)網(wǎng)絡(luò)的過擬合現(xiàn)象，可以得到泛化能力更強(qiáng)的網(wǎng)絡(luò)模型，更好地適應(yīng)應(yīng)用場景，因此所提的方法可以得到更高的準(zhǔn)確率。

2.2 基于VGG16的改進(jìn)模型

深度學(xué)習(xí)圖像識(shí)別的關(guān)鍵在于深度卷積神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)和結(jié)果優(yōu)化[18]?？紤]到數(shù)據(jù)集的艦船目標(biāo)類別較少，并且訓(xùn)練樣本較少，為了避免發(fā)生過擬合，選取卷積神經(jīng)網(wǎng)絡(luò)VGG16模型為基本框架進(jìn)行改進(jìn)。

VGG16模型是由牛津大學(xué)的A.Zisserman和K.Simonyan所共同設(shè)計(jì)的，解釋了網(wǎng)絡(luò)隱含層的增加在一定程度上提高預(yù)測精度。與更早的Alexnet網(wǎng)絡(luò)相比，VGG16的一個(gè)改進(jìn)是用幾個(gè)連續(xù)的3×3卷積核替換Alexnet中較大的卷積核（5×5、7×7、11×11）[19]。因此，在保證具有相同感知野的前提下，VGG16模型增加了網(wǎng)絡(luò)深度，在一定程度上提升了分類識(shí)別的效果，是繼AIexNet模型之后的一種具備更多隱含層的深度卷積神經(jīng)網(wǎng)絡(luò)。

各類艦船的極化SAR圖像在輸入深度卷積神經(jīng)網(wǎng)絡(luò)之前需要統(tǒng)一固定的尺寸，維度為128×128×1。為了匹配輸入圖像的維度，將VGG16模型的輸入從三通道改為一通道，相應(yīng)的卷積層、池化層和全連接層的結(jié)構(gòu)也進(jìn)行優(yōu)化，輸出層輸出相應(yīng)的類別權(quán)重和概率得分，概率得分代表的是每個(gè)類別權(quán)重對(duì)應(yīng)的置信度，具體結(jié)構(gòu)如圖2所示。

圖2 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)VGG16模型結(jié)構(gòu)圖

2.3 基于VGG16權(quán)重決策級(jí)融合學(xué)習(xí)

決策級(jí)融合是最高級(jí)別的融合。在此級(jí)別中，首先對(duì)每個(gè)數(shù)據(jù)執(zhí)行屬性描述，然后對(duì)結(jié)果進(jìn)行融合，以獲得目標(biāo)的融合屬性描述，即目標(biāo)的分類結(jié)果。分類結(jié)果融合判定的關(guān)鍵在于數(shù)據(jù)融合規(guī)則的設(shè)計(jì)，融合規(guī)則設(shè)計(jì)好后會(huì)被用于識(shí)別結(jié)果融合處理，融合后的結(jié)果將被作為最后的識(shí)別結(jié)果。根據(jù)決策級(jí)融合的思路，本文提出的基于深度卷積神經(jīng)網(wǎng)絡(luò)VGG16權(quán)重決策級(jí)融合學(xué)習(xí)算法的框圖如圖3所示。

圖3 基于VGG16權(quán)重決策級(jí)融合學(xué)習(xí)算法的結(jié)構(gòu)框圖

本文方法中，概率得分P1、P2和類別權(quán)重W1、W2均由網(wǎng)絡(luò)學(xué)習(xí)得到，人不對(duì)權(quán)重學(xué)習(xí)進(jìn)行干涉，充分利用了VGG16網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力。將得到的類別權(quán)重和概率得分按照數(shù)據(jù)融合規(guī)則進(jìn)行融合，獲得目標(biāo)的最終分類結(jié)果。融合規(guī)則如式（1）所示：

3 實(shí)驗(yàn)設(shè)計(jì)和結(jié)果分析

3.1 數(shù)據(jù)集構(gòu)建和訓(xùn)練

本文實(shí)驗(yàn)采用的是OpenSARShip數(shù)據(jù)集。OpenSARShip數(shù)據(jù)集是上海交通大學(xué)在2017年公開的用于SAR艦船目標(biāo)識(shí)別的數(shù)據(jù)集，有十一類艦船目標(biāo)，共計(jì)有11346張艦船圖像。該數(shù)據(jù)集存在著類別間樣本數(shù)據(jù)不平衡的問題，各類的艦船數(shù)量統(tǒng)計(jì)如圖4所示。本文實(shí)驗(yàn)從OpenSARShip數(shù)據(jù)集Patch_Uint8文件夾中選取六類艦船進(jìn)行實(shí)驗(yàn)，分別是 Cargo、Dredging、Fishing、Passenger、Tanker和Tug，個(gè)數(shù)分別是8240、80、126、38、1670 和176，其余類別艦船數(shù)目太少或者類別未劃分，不符合實(shí)驗(yàn)的條件。經(jīng)過數(shù)據(jù)增強(qiáng)的上采樣擴(kuò)充，Cargo、Dredging、Fishing、Passenger、Tanker和 Tug六類艦船樣本對(duì)應(yīng)的個(gè)數(shù)分別為8240、2400、2520、2280、3340和3520，VH極性和VV極性艦船圖像各占一半，每類艦船的訓(xùn)練集和測試集按照8：2的比例隨機(jī)劃分。

圖4 每類艦船數(shù)量統(tǒng)計(jì)

VGG16網(wǎng)絡(luò)的訓(xùn)練采用（Stochastic Uradient Descent，SUD）方法，權(quán)重延遲為0.0001，批處理尺寸m=64，沖量為1.0，初始學(xué)習(xí)率為0.01，當(dāng)損失函數(shù)趨于穩(wěn)定后學(xué)習(xí)率降到0.001，學(xué)習(xí)周期為500。仿真驗(yàn)證平臺(tái)為Ubuntul 16.04LTS，i7-8700處理器，GeForce GTX1080Ti顯卡，采用TensorFlow深度學(xué)習(xí)框架進(jìn)行網(wǎng)絡(luò)的構(gòu)造和訓(xùn)練，在迭代40000次的情況下，訓(xùn)練時(shí)間大約為2h。

3.2 評(píng)價(jià)指標(biāo)

針對(duì)實(shí)驗(yàn)艦船分類結(jié)果進(jìn)行評(píng)價(jià)，確定分類的精度和可靠性，表征分類精度的指標(biāo)有很多，其中最常用的就是利用混淆矩陣?；煜仃嚹軌蚝苤庇^的看到每類艦船正確分類的個(gè)數(shù)以及被錯(cuò)分的類別和個(gè)數(shù)。但是，混淆矩陣并不能直接看出類別分類精度的好壞。為了解決這個(gè)問題，從混淆矩陣中衍生出來各種分類精度指標(biāo)，其中總體分類精度（Overall Accuracy，OA）和卡帕系數(shù)（Kappa）應(yīng)用最為廣泛。

總體分類精度是指被正確分類的類別個(gè)數(shù)占總的類別個(gè)數(shù)的比例，如式（2）所示：

其中，N表示總體樣本的個(gè)數(shù)，xi表示每類樣本正確分類的個(gè)數(shù)。

OA值雖然能很好的表征艦船總體分類精度，但是對(duì)類別間個(gè)數(shù)不平衡的數(shù)據(jù)集來說，其值受到艦船樣本個(gè)數(shù)較多類別的影響較大，不能很好地表征每一類艦船分類精度。

Kappa系數(shù)是一種衡量分類精度的比例，具體代表著分類與完全隨機(jī)的分類產(chǎn)生錯(cuò)誤減少的比例，如式（3）所示：

其中，OA表示總體分類精度，假設(shè)每一類的真實(shí)樣本個(gè)數(shù)分別為a1，a2，…，ai，而預(yù)測出來的每一類的樣本個(gè)數(shù)分別為b1，b2，…，bi，總體樣本個(gè)數(shù)為N，則有：

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 單極性的SAR艦船目標(biāo)識(shí)別實(shí)驗(yàn)

表1 VV極化的SAR艦船目標(biāo)識(shí)別性能

為了與本文提出決策級(jí)融合學(xué)習(xí)算法進(jìn)行對(duì)比，實(shí)驗(yàn)部分首先進(jìn)行單極性的SAR艦船目標(biāo)識(shí)別，得到單極性圖像下的艦船目標(biāo)識(shí)別結(jié)果。根據(jù)實(shí)驗(yàn)需求，將數(shù)據(jù)集分成VV極化和VH極化兩個(gè)部分，分別進(jìn)行訓(xùn)練VGG網(wǎng)絡(luò)模型參數(shù)。由于測試數(shù)據(jù)集輸入的是單極性SAR艦船目標(biāo)圖像，不涉及到?jīng)Q策級(jí)融合，VGG網(wǎng)絡(luò)模型輸出只有類別權(quán)重。根據(jù)權(quán)重大小，確定艦船類別。實(shí)驗(yàn)結(jié)果如表1和表2所示。

表2 VH極化的SAR艦船目標(biāo)識(shí)別性能

3.3.2 多極化SAR艦船目標(biāo)決策級(jí)融合識(shí)別實(shí)驗(yàn)

為了驗(yàn)證基于VGG16權(quán)重決策級(jí)融合學(xué)習(xí)算法模型應(yīng)用于低分辨率極化SAR艦船目標(biāo)識(shí)別的有效性和合理性，本部分的實(shí)驗(yàn)采用數(shù)據(jù)加強(qiáng)的OpenSARShip數(shù)據(jù)集，經(jīng)過改進(jìn)VGG16網(wǎng)絡(luò)模型獲得相應(yīng)的類別權(quán)重和概率得分按照本文提出的融合規(guī)則進(jìn)行融合，并且與加權(quán)平均的融合規(guī)則進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果如表3和表4所示。

表3 多極化SAR艦船目標(biāo)加權(quán)平均融合識(shí)別性能

表4 多極化SAR艦船目標(biāo)決策級(jí)融合識(shí)別性能

3.3.3 實(shí)驗(yàn)結(jié)果分析

由表4可知，多極化SAR艦船目標(biāo)決策級(jí)融合方法的總體分類精度達(dá)到76.90%，卡帕系數(shù)為0.6929。對(duì)比單極性SAR艦船識(shí)別算法實(shí)驗(yàn)結(jié)果，本文方法均表現(xiàn)出較好的識(shí)別性能，主要原因是多極性SAR艦船圖像相對(duì)于單極性SAR艦船圖像包含的信息更加豐富，決策級(jí)融合方法能夠合理利用多通道圖像極化特征的互補(bǔ)信息，從而提高艦船目標(biāo)的識(shí)別率。對(duì)比表4實(shí)驗(yàn)結(jié)果可知，本文方法識(shí)別性能優(yōu)于加權(quán)平均融合識(shí)別方法，說明本文提出的融合規(guī)則更加靈活，適用于比較復(fù)雜的數(shù)據(jù)集。

4 結(jié)語

為了改善低分辨率極化SAR低分辨率艦船目標(biāo)識(shí)別性能，本文提出的方法改進(jìn)了VGG16網(wǎng)絡(luò)模型，并獲取VV和VH極化艦船圖像的類別權(quán)重和概率得分，基于決策級(jí)融合規(guī)則，實(shí)現(xiàn)了基于目標(biāo)的類別自主選擇，并最終實(shí)現(xiàn)了極化SAR目標(biāo)的自動(dòng)識(shí)別。仿真試驗(yàn)結(jié)果表明，基于本文提出基于VGG16的低分辨率極化SAR艦船目標(biāo)融合識(shí)別方法，在對(duì)OpenSARShip數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)的情況下，總體分類精度和卡帕系數(shù)分別達(dá)到76.90%和0.6929。與單極性的SAR艦船目標(biāo)識(shí)別方法和融合規(guī)則為加權(quán)平均決策級(jí)融合識(shí)別方法相比較，本文提出的方法識(shí)別性能更加優(yōu)異，進(jìn)而驗(yàn)證了方法的合理性和有效性。

后續(xù)研究將繼續(xù)圍繞基于卷積神經(jīng)網(wǎng)絡(luò)的遙感艦船目標(biāo)識(shí)別開展工作，研究基于深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)多維度特征融合課題，為遙感艦船目標(biāo)識(shí)別提供新的理論與技術(shù)支撐。