趙煒東，郭鵬宇，劉 勇，曹 璐，楊偉麗，季明江

（軍事科學(xué)院 國防科技創(chuàng)新研究院，北京 100071）

0 引言

艦船目標(biāo)檢測具有很高的民用與軍用價值。我國是一個海洋大國，擁有豐富的海洋資源，隨著經(jīng)濟貿(mào)易的發(fā)展，我國的水上交通越來越發(fā)達，艦船的數(shù)量快速增長，對港口航道等區(qū)域進行艦船監(jiān)控管理，有利于我國水運資源的合理運用［1］。同時，艦船目標(biāo)作為戰(zhàn)場偵察的重要目標(biāo)，需要獲取艦船目標(biāo)的準(zhǔn)確信息以進行軍事部署，艦船目標(biāo)的精確檢測對維護我國海洋安全與實現(xiàn)走向深藍(lán)的海軍戰(zhàn)略具有重大意義［2］。隨著科學(xué)技術(shù)的發(fā)展，衛(wèi)星圖像的分辨率不斷提高，不同種類的衛(wèi)星圖像為艦船目標(biāo)的檢測提供了有力的數(shù)據(jù)支撐［3］。同時，在區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Region-Convolutional Neural Network，R-CNN）［4］提出之后，深度學(xué)習(xí)逐漸成為了目標(biāo)檢測領(lǐng)域的主流工具，研究基于深度學(xué)習(xí)的艦船目標(biāo)檢測方法，可以提高艦船檢測的準(zhǔn)確性、實時性和魯棒性，滿足艦船目標(biāo)智能檢測的需求［5］。

研究人員針對艦船目標(biāo)的檢測，開展了大量的工作。文獻［6］將注意力機制引入多尺度特征融合網(wǎng)絡(luò)精煉模型，通過旋轉(zhuǎn)錨框緩解艦船密集排列引起的噪聲問題，并且設(shè)計特征重建模塊緩解特征不對齊的問題，在公開數(shù)據(jù)集上驗證了算法有效性；文獻［7］通過在單射檢測器（Single-Shot Detector，SSD）［8］網(wǎng)絡(luò)的淺層添加串行修正線性單元（Concatenated Rectified Linear Units，CReLU）［9］，提升了網(wǎng)絡(luò)傳遞淺層特征的效率，并且采用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）［10］融合多尺度特征圖，在艦船小目標(biāo)檢測上取得了10%的檢測精度提升；文獻［11］在檢測框架中引入場景分割，通過排除非目標(biāo)區(qū)的錯誤候選目標(biāo)，減小了復(fù)雜場景對艦船目標(biāo)檢測的干擾。文獻［12］使用稠密網(wǎng)絡(luò)模塊代替用于提取中小尺度特征的殘差網(wǎng)絡(luò)模塊，實現(xiàn)端到端的目標(biāo)檢測，提升了艦船目標(biāo)檢測算法的泛化能力。

但是，以上工作都在單一模式圖像的基礎(chǔ)上開展研究，算法的檢測性能由于圖像自身的特點受到限制，傳統(tǒng)的單一模式圖像檢測在復(fù)雜場景下面臨著巨大的挑戰(zhàn)。目前衛(wèi)星遙感成像手段呈現(xiàn)多樣化的趨勢，有多光譜、高光譜、紅外、合成孔徑雷達、夜光等多種衛(wèi)星遙感影像［13］。在同一場景下，同一地物對象的衛(wèi)星遙感影像由于類型不同，目標(biāo)的空間特征和譜段特征存在差異，多源信息具有互補性和合作性，同時也具有冗余性［14］。研究人員逐漸將目光聚焦于構(gòu)建多模態(tài)輸入的神經(jīng)網(wǎng)絡(luò)用于目標(biāo)檢測，探索了可見光+熱圖像、可見光+深度圖、可見光+激光雷達等多種模態(tài)融合方式［15］。可見光衛(wèi)星圖像具有分辨率高且獲取代價低、顏色紋理特征清晰的優(yōu)點，但是易受天氣干擾，在背景復(fù)雜、有云霧遮擋的情況下，會出現(xiàn)艦船目標(biāo)的錯檢、漏檢［16］。紅外衛(wèi)星圖像相較于可見光衛(wèi)星圖像，分辨率較低，艦船目標(biāo)邊緣紋理不清晰，但具有不易受干擾、可全天候觀測、云霧穿透能力強等優(yōu)點［17］。

不同情況下可見光圖像與紅外圖像如圖1 所示。分別對比了在一般場景、云霧遮擋、海岸干擾情況下針對同一場景拍攝的艦船目標(biāo)可見光遙感圖像與紅外遙感圖像，顯著艦船目標(biāo)用紅色方框標(biāo)記，模糊艦船目標(biāo)用紅色圓框標(biāo)記?？梢钥闯鲈谝话銏鼍跋?，可見光遙感圖像中的艦船目標(biāo)顏色紋理信息更清晰；在云霧干擾下，可見光遙感圖像中的艦船目標(biāo)被云霧遮擋，難以觀測，紅外遙感圖像可穿透云霧，使得艦船目標(biāo)更加顯著；在海岸干擾下，可見光遙感圖像中的艦船目標(biāo)緊貼海岸難以區(qū)分，紅外遙感圖像中的艦船目標(biāo)與背景的區(qū)分度更高，特征更為顯著。

圖1 不同情況下可見光圖像與紅外圖像的對比Fig.1 Comparison of visible images and infrared images under different conditions

目前，國內(nèi)外已有多顆衛(wèi)星可以實現(xiàn)可見光與紅外波段的覆蓋，如國外的Sentinel-2、Landsat8 等，國內(nèi)的高分五號、資源一號02D 等，在農(nóng)業(yè)、減災(zāi)、國家安全、海洋監(jiān)視等領(lǐng)域發(fā)揮了重要作用［18］。利用可見光圖像與紅外圖像之間的互補性，可以實現(xiàn)對艦船目標(biāo)的聯(lián)合監(jiān)視，是未來天機海洋監(jiān)視的重要發(fā)展趨勢之一，具有廣闊的應(yīng)用前景。文獻［19］提出了一種改進的YOLOv3［20］艦船目標(biāo)檢測方法，在數(shù)據(jù)集中引入艦船目標(biāo)的紅外圖像彌補夜晚場景下可見光圖像的目標(biāo)信息缺失，在簡化后的YOLOv3 網(wǎng)絡(luò)中加入空間金字塔池化（Spatial Pyramid Pooling，SPP）［21］模塊，提高了網(wǎng)絡(luò)在特征提取方面的性能，提高了艦船目標(biāo)的檢測精度。雖然文獻［19］通過在數(shù)據(jù)集中引入紅外圖像提高了艦船目標(biāo)的檢測精度，但沒有進一步對可見光與紅外圖像之間的聯(lián)合目標(biāo)檢測展開研究，且文中所用數(shù)據(jù)集均為安防相機拍攝的艦船目標(biāo)圖像，提出的算法并不適用于天基艦船目標(biāo)檢測。

為探究可見光與紅外衛(wèi)星圖像的互補性，提升艦船目標(biāo)檢測算法的性能，本文開展了基于可見光與紅外衛(wèi)星圖像的艦船目標(biāo)檢測算法研究。由于公開數(shù)據(jù)中，沒有已配準(zhǔn)的可見光/紅外艦船目標(biāo)數(shù)據(jù)集，制作了可見光和紅外艦船目標(biāo)（Visible and Infrared Ship，VI-ship）數(shù)據(jù)集。本文提出了基于可見光與紅外衛(wèi)星圖像融合的艦船目標(biāo)檢測算法VIYOLOv5，以YOLOv5 中的CSP-Darknet53 網(wǎng)絡(luò)為骨干網(wǎng)絡(luò)，構(gòu)建了可見光+紅外衛(wèi)星圖像的雙模態(tài)融合網(wǎng)絡(luò)，同時提取目標(biāo)空間特征與譜段特征；加入快速空間金字塔池化（Spatial Pyramid Pooling FAST，SPPF）模塊，在增強網(wǎng)絡(luò)特征提取能力的同時提升了檢測精度和檢測速度；通過引入SIoU［22］損失函數(shù)，降低了網(wǎng)絡(luò)回歸的自由度，加快了網(wǎng)絡(luò)收斂，提升了回歸精度。在VI-ship 數(shù)據(jù)集上的實驗結(jié)果表明VI-YOLOv5 算法具有較好的檢測性能，驗證了可見光與紅外衛(wèi)星圖像聯(lián)合的艦船目標(biāo)檢測算法的有效性。

1 算法設(shè)計

本文設(shè)計算法VI-YOLOv5 在輸入端構(gòu)建可見光與紅外圖像融合輸入網(wǎng)絡(luò)，在骨干網(wǎng)絡(luò)中引入了受跨階段局部網(wǎng)絡(luò)（CSPNet）［23］啟發(fā)的CSP 結(jié)構(gòu)，將基礎(chǔ)層的特征映射劃分為兩部分，然后通過跨階段層次結(jié)構(gòu)將它們合并，在減少計算量的同時保證了準(zhǔn)確率。在網(wǎng)絡(luò)頸部引入SPPF 模塊以及特征金字塔網(wǎng)絡(luò)（FPN）+像素聚合網(wǎng)絡(luò)（Pixel Aggregation Network，PAN）［24］的特征融合結(jié)構(gòu)，加強了網(wǎng)絡(luò)的特征融合能力。在繼承YOLO［25］系列網(wǎng)絡(luò)的基礎(chǔ)上實現(xiàn)了進一步的性能提升，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。圖中，CBS 是由卷積層（Conv）、批歸一化層（BN）和雙彎曲線性單元（SiLU）組成的模塊，CSP 是由若干CBS 模塊和拼接層（Concat）組成的模塊。

1.1 可見光與紅外衛(wèi)星圖像雙模態(tài)融合輸入網(wǎng)絡(luò)

原始的YOLOv5 網(wǎng)絡(luò)輸入為可見光三通道圖像，隨著網(wǎng)絡(luò)層數(shù)不斷加深，深層網(wǎng)絡(luò)會不斷丟棄目標(biāo)的細(xì)節(jié)特征，在復(fù)雜場景下由于艦船目標(biāo)特征嚴(yán)重?fù)p失將導(dǎo)致檢測性能的下降。為了彌補這一過程中的艦船目標(biāo)特征損失，將紅外衛(wèi)星圖像引入檢測網(wǎng)絡(luò)，在原有的可見光輸入通道基礎(chǔ)上，增加紅外輸入通道，將紅外圖像與可見光圖像合并為一個四通道圖像后送入網(wǎng)絡(luò)。經(jīng)過一系列數(shù)據(jù)增強操作后，將送入網(wǎng)絡(luò)中的原始數(shù)據(jù)切分為4 份，相當(dāng)于對原始數(shù)據(jù)進行2 倍下采樣，之后在channel 維度進行拼接。最后進行卷積操作，得到了沒有信息丟失情況下的2 倍下采樣特征圖，在不影響計算速度的情況下引入了紅外衛(wèi)星圖像。圖像融合過程如圖3 所示。

圖3 圖像融合Fig.3 Schematic diagram of image fusion

網(wǎng)絡(luò)將輸入圖像劃分為s×s個網(wǎng)格單元，每個網(wǎng)格單元產(chǎn)生n個預(yù)測框、預(yù)測框的置信度以及分類概率，每個預(yù)測框有6 個預(yù)測值，即x、y、w、h、置信度得分和分類概率。坐標(biāo)(x，y)表示預(yù)測框的中心相對于網(wǎng)格單元的位置，框尺寸(w，h)是預(yù)測框的寬度和高度，置信度分?jǐn)?shù)表示預(yù)測框的正確性，最終檢測輸出張量的大小為s×s×6。

1.2 引入SPPF 模塊的特征融合網(wǎng)絡(luò)

為了緩解圖形畸變引起的信息丟失，減少卷積運算，YOLOv5 網(wǎng)絡(luò)引入了空間金字塔池化模塊，其工作原理是對接收到的特征圖進行三種不同尺度的最大池化后對特征向量進行拼接，得到固定大小的特征向量，可將任意尺寸的特征圖轉(zhuǎn)換成固定大小的特征向量，進而實現(xiàn)局部特征和全局特征的融合，豐富了特征圖的表達能力。當(dāng)待檢目標(biāo)大小差異較大時，可以提高檢測的精度。本文引入的快速空間金字塔池化（SPPF）結(jié)構(gòu)相較于空間金字塔池化結(jié)構(gòu)，改變了池化層的下采樣倍數(shù)，用三個串行的卷積核尺寸為5×5 的最大池化層代替了原本并行的卷積核分別為5×5、9×9 和13×13 的三個最大池化層。當(dāng)輸入為一個64×64×3×1 的張量時，空間金字塔池化模塊和快速空間金字塔池化模塊最終會輸出一個結(jié)果相同的64×64×3×1的張量，對精度不會產(chǎn)生影響，但是快速空間金字塔池化具有更少的計算量和更快的速度，在多尺度特征提取中保留了更多信息，空間金字塔池化模塊與快速空間金字塔池化模塊的結(jié)構(gòu)如圖4 所示。

圖4 SPP 和SPPF 結(jié) 構(gòu)Fig.4 Diagram of SPP and SPPF structures

1.3 引入向量角度的SIoU 損失函數(shù)

VI-YOLOv5 的損失函數(shù)由定位損失、分類損失和置信度損失三部分構(gòu)成，其中定位損失采用SIoU 損失函數(shù)描述，分類損失和置信度損失采用二元交叉熵?fù)p失函數(shù)描述。相較于YOLOv5 用于描述定位損失的CIoU 損失函數(shù)，SIoU 損失函數(shù)進一步引入檢測框與目標(biāo)框之間的向量角度，利用了更多位置信息。添加向量角度約束之后，抑制了檢測框位置在平面上的自由變化，使得檢測框在一個更合理的范圍內(nèi)向目標(biāo)框逼近，加快網(wǎng)絡(luò)收斂的同時提升了網(wǎng)絡(luò)精度。向量角度對定位的貢獻如圖5 所示，圖中，B為檢測框，BGT為目標(biāo)框，α為向量角度。

圖5 向量角度Fig.5 Schematic diagram of the vector angle

SIoU 定位損失的計算公式如下：

式中：IoU 為檢測框與目標(biāo)框之間的交并比；Δ為距離損失；Ω為形狀損失；Λ為角度損失；α為檢測框與目標(biāo)框中心連線與水平軸的夾角；bcx、bcy分別為邊界框中心點的橫縱坐標(biāo)；cw、ch為兩邊界框外接矩形的寬與高；θ定義形狀成本，控制對形狀損失的注意力；wb、hb分別為邊界框的寬與高。

由公式可知，當(dāng)α→0 時，距離損失趨于常數(shù)，降低了網(wǎng)絡(luò)回歸的自由度，加快了網(wǎng)絡(luò)收斂，提升了回歸精度。

分類損失與置信度損失的表達式如下：

式中：m為每個網(wǎng)格產(chǎn)生的候選框數(shù)目；p(c)為類c的分類概率；C為置信度，將定位損失、分類損失與置信度損失三者相加即為總的損失函數(shù)。

2 實驗內(nèi)容及結(jié)果分析

本文實驗環(huán)境為圖像工作站，包含一塊NVIDIA RTX3090GPU，CUDA 版本為11.5，CUDNN 版本為8.3.0，處理器為Intel I7 7800X。艦船目標(biāo)數(shù)據(jù)來自于自主標(biāo)注的Sentinel-2 衛(wèi)星圖像，包含一一對應(yīng)的可見光與紅外圖像共2 280 張，按照7∶2∶1 的比例劃分為訓(xùn)練集、驗證集與測試集。評價指標(biāo)選擇VOC2007 平均精度（mAP_0.5）、精 度、召回率、F1 值及檢測速度，選用SGD 優(yōu)化器，設(shè)置初始學(xué)習(xí)率為0.01，動量為0.937，權(quán)重衰減為0.000 5。

2.1 VI-ship 數(shù)據(jù)集制作

目前公開的艦船目標(biāo)光學(xué)遙感圖像數(shù)據(jù)集均由可見光遙感圖像構(gòu)成，不包含本文研究所需的艦船目標(biāo)紅外遙感圖像，無法滿足本文的研究需求，需要自行制作同時包含可見光與紅外遙感圖像的艦船目標(biāo)聯(lián)合數(shù)據(jù)集。

Sentinel-2 是歐空局的高分辨率多光譜成像衛(wèi)星，且數(shù)據(jù)公開，衛(wèi)星包含13 個光譜波段，通過對衛(wèi)星多光譜遙感圖像的處理可以得到一一對應(yīng)的可見光遙感圖像與紅外遙感圖像，進而可以得到滿足本文實驗所需的艦船目標(biāo)可見光和紅外遙感圖像聯(lián)合數(shù)據(jù)集。選取多張Sentinel-2 衛(wèi)星圖像，包含多云、海岸等多個復(fù)雜場景。在ENVI 軟件中對衛(wèi)星圖像進行處理，將可見光三通道數(shù)據(jù)融合得到原始可見光遙感圖像，提取短波紅外通道數(shù)據(jù)得到原始紅外遙感圖像。

設(shè)置重疊間距為64 像素值，將原始圖片切割為256×256 的圖片，進行篩選后得到可見光與紅外遙感圖像一一對應(yīng)的共2 280 張艦船目標(biāo)遙感圖像，利用LabelImg 軟件對圖片中的艦船目標(biāo)進行矩形框標(biāo)注，共標(biāo)注7 500 多個艦船目標(biāo)，大部分為像素值小于30×30 的艦船目標(biāo)，VI-ship 數(shù)據(jù)集中一般場景、云層干擾以及海岸干擾下的可見光與紅外圖像如圖6 所示。

圖6 VI-ship 數(shù)據(jù)集中的典型樣本Fig.6 Typical samples in the VI-ship dataset

2.2 對比實驗

對比VI-YOLOv5可見光+紅外融合檢測網(wǎng)絡(luò)在損失函數(shù)分別為SIoU 和CIoU 下的mAP_0.5、精度、召回率、F1值以及檢測速度，結(jié)果見表1。

表1 SIoU 與CIoU 性能對比Tab.1 Comparison of the performances of SIoU and CIoU

實驗結(jié)果表明，SIoU 損失函數(shù)相較于CIoU 損失函數(shù)同時提升了網(wǎng)絡(luò)精度與速度，與理論分析結(jié)果一致。

本文還對比了VI-YOLOv5 可見光+紅外融合檢測網(wǎng)絡(luò)、可見光檢測網(wǎng)絡(luò)與紅外檢測網(wǎng)絡(luò)的mAP_0.5、精度、召回率、F1 值、參數(shù)量、FLOPs 和檢測速度。結(jié)果表明，可見光+紅外雙模態(tài)融合檢測網(wǎng)絡(luò)的mAP_0.5、精度、召回率和F1 值均優(yōu)于單模態(tài)檢測網(wǎng)絡(luò)，三組網(wǎng)絡(luò)的參數(shù)量均在7 MB 左右，融合檢測網(wǎng)絡(luò)由于增添了紅外通道輸入，參數(shù)量和FLOPs最大，但與單模態(tài)檢測網(wǎng)絡(luò)相比，性能差距不大，檢測速度可達6.2 ms/幀，在保持較快檢測速度的同時取得了最好的精度指標(biāo)，融合檢測網(wǎng)絡(luò)的mAP_0.5 可達0.976，精度為0.972，召回率為0.982，結(jié)果見表2。

表2 融合網(wǎng)絡(luò)與單模態(tài)網(wǎng)絡(luò)性能對比Tab.2 Comparison of the performances of the fusion network and single-mode networks

海岸干擾下的檢測結(jié)果、云層干擾下的檢測結(jié)果如圖7 和圖8 所示。結(jié)果表明，在海岸干擾下可見光網(wǎng)絡(luò)出現(xiàn)了漏檢，紅外網(wǎng)絡(luò)出現(xiàn)了錯檢，而融合網(wǎng)絡(luò)正確檢測出了岸邊的艦船目標(biāo)，且檢測置信度大于紅外網(wǎng)絡(luò)；在云層干擾下，可見光網(wǎng)絡(luò)出現(xiàn)了漏檢，融合網(wǎng)絡(luò)和紅外網(wǎng)絡(luò)正確檢測出了艦船目標(biāo)，融合網(wǎng)絡(luò)對艦船目標(biāo)的檢測置信度大于紅外網(wǎng)絡(luò)。以上結(jié)果說明雙模態(tài)融合網(wǎng)絡(luò)的檢測性能優(yōu)于單模態(tài)網(wǎng)絡(luò)，驗證了本文提出的VI-YOLOv5 融合檢測網(wǎng)絡(luò)的有效性。

圖7 海岸干擾下的檢測結(jié)果對比Fig.7 Comparison of the detection results under coastal interference

圖8 云層干擾下的檢測結(jié)果對比Fig.8 Comparison of the detection results under cloud interference

對比VI-YOLOv5 融合檢測網(wǎng)絡(luò)與其他經(jīng)典目標(biāo)檢測網(wǎng)絡(luò)的各項性能指標(biāo)，結(jié)果表明VI-YOLOv5融合檢測網(wǎng)絡(luò)相較于YOLOv5 平均精度提高了3.9%，且各項性能指標(biāo)優(yōu)于其他網(wǎng)絡(luò)，結(jié)果見表3。

不同網(wǎng)絡(luò)的部分檢測結(jié)果如圖9和圖10所示。結(jié)果表明，VI-YOLOv5相較于其他網(wǎng)絡(luò)在一般場景下可以取得最好的檢測結(jié)果，在云層干擾下算法仍能保持良好的檢測性能，具有較強的穩(wěn)定性和抗干擾能力。

圖9 一般場景下的不同網(wǎng)絡(luò)檢測結(jié)果對比Fig.9 Comparison of the detection results of different networks in general scenarios

圖10 云層干擾下的不同網(wǎng)絡(luò)檢測結(jié)果對比Fig.10 Comparison of the detection results of different networks under cloud interference

3 結(jié)束語

本文針對云層遮擋、海岸干擾等復(fù)雜場景下基于光學(xué)遙感圖像單模態(tài)艦船目標(biāo)檢測方法性能下降的問題，以YOLOv5 為基礎(chǔ)框架，提出了VI-YOLOv5 雙模態(tài)艦船目標(biāo)檢測網(wǎng)絡(luò)。該網(wǎng)絡(luò)在輸入端將可見光與紅外衛(wèi)星圖像合并，同時提取了艦船目標(biāo)的空間特征和譜段特征，保留了更多目標(biāo)信息，通過引入SPPF 模塊與SIoU 損失函數(shù)，增強了網(wǎng)絡(luò)的特征提取能力，提高了網(wǎng)絡(luò)的檢測性能。在自主標(biāo)注艦船目標(biāo)數(shù)據(jù)集VI-ship 上，VI-YOLOv5 可見光+紅外融合網(wǎng)絡(luò)的平均精度可達0.976，性能優(yōu)于可見光檢測網(wǎng)絡(luò)和紅外檢測網(wǎng)絡(luò)，且本文提出的網(wǎng)絡(luò)相較于其他經(jīng)典網(wǎng)絡(luò)，檢測性能也有一定的提升。實驗結(jié)果表明：可見光與紅外圖像聯(lián)合目標(biāo)檢測可以緩解艦船目標(biāo)在云層和海岸干擾下的錯檢漏檢問題。后續(xù)將進一步豐富數(shù)據(jù)集，增添更多復(fù)雜場景，更好地利用可見光與紅外圖像之間的互補性，提升算法在不同光照、天氣、地形下的檢測性能。