白 玉，遲文愷，謝寶蓉，張 雷，鄭蓮玉，穆文濤

(1.沈陽航空航天大學(xué) 電子信息工程學(xué)院，沈陽110136；2.上海航天電子研究所，上海 201109；3.上海衛(wèi)星工程研究所，上海 201109)

0 引 言

海域作戰(zhàn)技術(shù)水平是國防能力的一個重要方面，星上紅外監(jiān)測系統(tǒng)具有能晝夜偵測、監(jiān)控面積廣、隱蔽性強(qiáng)等優(yōu)點(diǎn)，已經(jīng)成為了海域安全監(jiān)測研究的重點(diǎn)。在軍事領(lǐng)域，紅外監(jiān)測系統(tǒng)的應(yīng)用主要包括目標(biāo)捕捉、跟蹤、全天候監(jiān)控等；在非軍事領(lǐng)域，主要應(yīng)用為公共安全監(jiān)控、應(yīng)急救援、環(huán)境監(jiān)控等。紅外成像方式是通過捕獲目標(biāo)的紅外輻射波來形成圖像，可以不受光線、天氣以及大型煙霧等影響因素，因?yàn)榧t外成像的高度穩(wěn)定性和良好隱蔽性等因素，對其成像的處理與研究就顯得尤為重要。

美國國防高級研究計(jì)劃局在2010年進(jìn)行了MOIRE實(shí)驗(yàn)項(xiàng)目，實(shí)驗(yàn)結(jié)果表明目標(biāo)在靜止軌道分辨率能夠達(dá)到l m，并且更進(jìn)一步地研究出了可以連續(xù)監(jiān)視敵方目標(biāo)的系統(tǒng)，大大提高了對動態(tài)艦船目標(biāo)的監(jiān)控能力。美國研發(fā)的低軌電子偵察衛(wèi)星“宇宙神-5”在2015年搭載著“海軍海洋監(jiān)視系統(tǒng)”進(jìn)入太空，可以為海軍部隊(duì)提供海上船隊(duì)的航行方向、速度和周圍環(huán)境等重要信息。我國在2016年和2018年分別發(fā)射了雷達(dá)衛(wèi)星“高分三號”、靜止軌道衛(wèi)星“高分四號”等，標(biāo)志著我國在高分辨率遙感技術(shù)領(lǐng)域已經(jīng)達(dá)到世界領(lǐng)先水平。

2014年提出的R-CNN(Region Proposals with Convolution Neural Network)檢測方法，使卷積神經(jīng)網(wǎng)絡(luò)在圖像識別和處理領(lǐng)域?qū)崿F(xiàn)了重大突破，開啟了深度學(xué)習(xí)方法應(yīng)用于目標(biāo)檢測領(lǐng)域的研究熱潮。向濤[1]提出了一種傳統(tǒng)的顯著區(qū)域提取和目標(biāo)精確分割相結(jié)合的紅外艦船目標(biāo)檢測方法，平均準(zhǔn)確率達(dá)到了75.6%。顧佼佼等[2]提出了一種基于改進(jìn) Faster R-CNN 的紅外艦船目標(biāo)檢測算法，準(zhǔn)確率達(dá)到了83.98%?；诖耍疚奶岢鲆环N新型紅外船艦檢測方法，結(jié)合了傳統(tǒng)方法與深度學(xué)習(xí)方法的優(yōu)勢，使得改進(jìn)后的算法更加適用于紅外艦船目標(biāo)檢測。

1 深度學(xué)習(xí)算法

基于學(xué)習(xí)的目標(biāo)識別方法的處理過程分為兩個模塊。第一個模塊是學(xué)習(xí)模塊，在此模塊中，第一步為正樣本和負(fù)樣本通過特征提取算子得到特征圖[3]；第二步是將特征圖進(jìn)入分類器[4]進(jìn)行訓(xùn)練，當(dāng)達(dá)到約束條件后訓(xùn)練完成。第二個模塊是目標(biāo)檢測識別模塊，將準(zhǔn)備檢測的圖像進(jìn)行特征提取，獲得特征圖后，再將特征圖輸入到分類器得到檢測的結(jié)果。算法流程如圖1所示。

圖1 深度學(xué)習(xí)目標(biāo)檢測算法結(jié)構(gòu)圖

2 Faster-R-CNN 算法原理

Faster-R-CNN算法[5]在檢測精度和運(yùn)算速度上都達(dá)到了很高水平，是目標(biāo)檢測和分類的代表性算法。Faster-R-CNN算法[6]總結(jié)了R-CNN[7]和Fast-R-CNN 的不足和缺點(diǎn)，通過區(qū)域提取網(wǎng)絡(luò)(Region Proposal Network，RPN)來代替選擇性搜索(Selective Search，SS)算法[8]，并且引入了Andchor box概念[9]，成功解決了R-CNN和Fast-R-CNN的不足，更使得訓(xùn)練集能夠優(yōu)化整個過程，訓(xùn)練效率和算法效果得到了提升。算法網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 Faster R-CNN 算法流程圖

算法核心主要由三個步驟構(gòu)成，即CNN 目標(biāo)特征提取、區(qū)域候選網(wǎng)絡(luò)的搭建、分類和回歸：第一步，使用深度卷積網(wǎng)絡(luò)對輸入的圖像進(jìn)行目標(biāo)特征提??；第二步，特征圖像經(jīng)過 RPN 網(wǎng)絡(luò)，得到候選框所在位置，再使用 ROI pooling[10]將目標(biāo)對應(yīng)到特征圖像上；第三步，將結(jié)果輸入到全連接層進(jìn)行最終的分類和檢測框回歸[11]。

特征層依然選用卷積、激活和池化組成的結(jié)構(gòu)，在網(wǎng)絡(luò)深度上對比CNN算法有所增加。區(qū)域候選網(wǎng)絡(luò)和全連接層會應(yīng)用到提取的特征圖。特征圖像在 RPN 網(wǎng)絡(luò)結(jié)構(gòu)中第一步先通過卷積層，之后會馬上經(jīng)過兩個卷積層，卷積層大小為1×1。得到結(jié)果后，Softmax 分類器需要其中一個結(jié)果進(jìn)行分類，候選區(qū)域的定位則使用另一個結(jié)果。候選框的定位，以特征圖像的像元為此框的中心點(diǎn)生成一個框，然后再經(jīng)過對比特征圖像和原始圖像就能夠得到候選框的具體位置。分類器的作用是將所有的候選框分為前景和背景，然后每個候選框?qū)⒌玫絻深惙謹(jǐn)?shù)，再進(jìn)行回歸分析計(jì)算，計(jì)算后能夠得到[x,y,w,h] 4 個偏移量。由每個候選框得到的參數(shù)作為 RPN 的輸出，再將候選框的特征圖像和參數(shù)輸入到候選框池化層。

交并比(Intersection over Union,IoU)代表了兩個數(shù)據(jù)的重疊程度，在進(jìn)行RPN 訓(xùn)練時，使用 IoU 指標(biāo)對樣本進(jìn)行分類。公式如下：

(1)

式中：I(X)代表數(shù)據(jù)交集；U(X)代表數(shù)據(jù)并集。將IoU小于0.3的作為負(fù)樣本，將標(biāo)注框與候選框的指標(biāo)大于0.7作為正樣本。 RPN的損失函數(shù)定義如下：

(2)

Faster-R-CNN最大的改進(jìn)就是棄用了SS網(wǎng)絡(luò)[12]，改用 RPN 網(wǎng)絡(luò)[13]來代替，使得候選框的個數(shù)大大降低，并且質(zhì)量也進(jìn)一步提高。

3 基于深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合的紅外艦船檢測算法

3.1 本文算法流程

本算法分為兩個部分：第一部分是傳統(tǒng)算法部分，對紅外圖像進(jìn)行處理，主要目的提取出候選區(qū)域，因?yàn)閭鹘y(tǒng)算法相較于深度學(xué)習(xí)算法速度快，所以第一部分會大量節(jié)省檢測的時間；第二部分是利用深度學(xué)習(xí)網(wǎng)絡(luò)對候選區(qū)域進(jìn)行目標(biāo)的分類提取，通過兩次精準(zhǔn)的深度學(xué)習(xí)網(wǎng)絡(luò)的檢測，得出對目標(biāo)的判斷。本文算法流程如圖3所示。

圖3 算法流程圖

3.2 算法部分

3.2.1 高低帽變換

圖像進(jìn)行預(yù)處理，首先對圖像進(jìn)行切割，輸出512×512的圖像，使圖像縮小為以前的1/4。進(jìn)行中值濾波降低條紋噪聲的影響，同時可以濾掉一些點(diǎn)狀海雜波。

分別利用高帽變換(TOP-HAT)和低帽變換(Bottom-HAT)[14]提取暗背景下亮目標(biāo)和亮背景下暗目標(biāo)：

TH(x,y)=f(x,y)-(f°B)(x,y) ，

(3)

BH(x,y)=(f·B)(x,y)-f(x,y) 。

(4)

圖4為經(jīng)過低帽變換后的結(jié)果，圖5為經(jīng)過高帽變換后的結(jié)果。

圖4 低帽變換

圖5 高帽變換

3.2.2 閾值分割

因?yàn)榧t外圖像為灰度圖像，設(shè)置灰度閾值將疑似艦船目標(biāo)分割出來，閾值的選取分別利用了圖像中的max/2、(均值+max)/2和預(yù)先設(shè)置的經(jīng)驗(yàn)值三個參數(shù)進(jìn)行目標(biāo)分割。因?yàn)榧t外圖像背景與艦船目標(biāo)的灰度值相差較大，為了將疑似目標(biāo)全部提取出來防止漏檢，所以選取三個值中的最小值作為閾值。目標(biāo)經(jīng)過分割后，對連通區(qū)進(jìn)行標(biāo)注。將這些連通區(qū)的重心坐標(biāo)標(biāo)記到數(shù)組中，并保存目標(biāo)，圖6為經(jīng)過閾值分割后得出來的暗極性目標(biāo)，圖7為經(jīng)過閾值分割后得出的亮極性目標(biāo)結(jié)果圖。

圖6 通過閾值分割后的暗極性目標(biāo)

圖7 通過閾值分割后的亮極性目標(biāo)

3.2.3 候選區(qū)域合并算法

針對傳統(tǒng)的 ROI 提取算法容易受到噪聲的影響，難以準(zhǔn)確地提取出前景目標(biāo)感性區(qū)域的問題，本文算法對候選目標(biāo)進(jìn)行合并，并且裁選出候選區(qū)域。將通過閾值分割后的得到的目標(biāo)進(jìn)行歸并處理。歸并算法的核心是遍歷候選每個重心點(diǎn)，在一個64×64的范圍以重心點(diǎn)為中心，比較在這個范圍內(nèi)重心坐標(biāo)。選擇重心最多的那個點(diǎn)，這些重心點(diǎn)就合并為一個候選框，依次將全部重心點(diǎn)遍歷。合并之后的候選區(qū)會大大減少。如果候選區(qū)域超過64，就將圖像分為64個均勻塊。經(jīng)過此步驟，不僅預(yù)防了噪聲對檢測到影響，更降低了虛警率。圖8為經(jīng)過歸并算法后的目標(biāo)檢測，圖9為檢測陸地后的結(jié)果，圖10為候選區(qū)域超過64的檢測結(jié)果。

圖8 經(jīng)過歸并算法后的目標(biāo)檢測結(jié)果

圖9 檢測陸地后的結(jié)果

圖10 候選區(qū)域超過64對圖片進(jìn)行平均切塊

3.2.4 快速深度學(xué)習(xí)網(wǎng)絡(luò)排序

經(jīng)過歸并后，會有提取出很多候選區(qū)域，利用較為簡單的快速網(wǎng)絡(luò)先進(jìn)行第一次粗檢，為第二次精細(xì)的檢測做準(zhǔn)備，不僅減小了計(jì)算量，同時該網(wǎng)絡(luò)也更適用于硬件平臺實(shí)現(xiàn)，更適用于載荷目標(biāo)檢測系統(tǒng)?？焖倬W(wǎng)絡(luò)由4個卷積層+1個 FC層搭建，如圖11所示，輸入是將64×64縮小1/4，為32×32，神經(jīng)元分別是16、16、32、32。

圖11 快速深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)表

3.2.5 精細(xì)深度學(xué)習(xí)最后的判斷

精細(xì)網(wǎng)絡(luò)共由7個卷積層+FC 構(gòu)成，如圖12所示，輸入的大小為64×64，神經(jīng)元的個數(shù)分別為32、32、64、64、96、96、16，經(jīng)過精細(xì)深度學(xué)習(xí)網(wǎng)絡(luò)判斷，對候選區(qū)域做最終判定，如圖13所示。

圖12 精細(xì)深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)表

圖13 各個候選區(qū)進(jìn)行判別

4 檢測結(jié)果及性能分析

4.1 仿真平臺介紹

此仿真平臺操作系統(tǒng)為64位Windows 7，采用Matlab深度學(xué)習(xí)框架搭建，在硬件方面 CPU 使用了 Intel Pentium G2030，GPU采用了GeForce 30RTX 3090。

4.2 測試結(jié)果

測試使用了7 000張訓(xùn)練集，其中選用的紅外圖像大部份來自于網(wǎng)絡(luò)，其他還包括從工廠搜集的包含艦船目標(biāo)的紅外圖像等。選用了696 張包含各種不同的紅外艦船目標(biāo)的圖片為測試集，艦船大多散布在海洋、港口等各種各樣的背景下。對檢測算法的精準(zhǔn)度進(jìn)行評估的度量指標(biāo)為 mAP(Mean Average Precision)，對檢測算法的速度評估指標(biāo)為檢測一張圖片所用的時間，單位為s。圖14為紅外艦船圖像檢測前后的結(jié)果。

圖14 紅外艦船圖像檢測結(jié)果

4.3 結(jié)果分析

統(tǒng)計(jì)和對比了傳統(tǒng)的紅外艦船檢測算法、基于深度學(xué)習(xí)的紅外艦船檢測算法和改進(jìn)后傳統(tǒng)與深度學(xué)習(xí)相結(jié)合的算法的性能，結(jié)果如表1所示。

表1 各種算法性能對比分析

通過對圖表的對比分析可知，傳統(tǒng)算法檢測到艦船的平均準(zhǔn)確率為75.60%，目標(biāo)提取與深度學(xué)習(xí)結(jié)合算法平均準(zhǔn)確率為83.69%,提高了8.09%。深度學(xué)習(xí)算法檢測一張圖片的時間為0.316 s，傳統(tǒng)與深度學(xué)習(xí)結(jié)合的算法檢測一張圖片的時間為0.296 s，提升了0.02 s。統(tǒng)計(jì)結(jié)果表明，與傳統(tǒng)的顯著區(qū)域提取和目標(biāo)精確分割相結(jié)合算法相比目標(biāo)提取與深度學(xué)習(xí)結(jié)合算法的準(zhǔn)確率得到了大幅度的提升，同時也沒有耗費(fèi)過多的時間；與改進(jìn)的Faster-R-CNN算法相比，在準(zhǔn)確率僅僅降低0.29%的情況下，檢測速度得到了大幅度的提高。

5 結(jié) 論

本文提出一種結(jié)合傳統(tǒng)的目標(biāo)區(qū)域提取方法與深度學(xué)習(xí)中分類的思想的紅外艦船目標(biāo)檢測算法，既提高了檢測的準(zhǔn)確率，也提升了檢測的速度。仿真和統(tǒng)計(jì)結(jié)果驗(yàn)證了本文算法的可行性。本文算法可用于海上監(jiān)測、海上救援、碼頭船舶檢測， 還可用于武裝系統(tǒng)提升海軍戰(zhàn)斗力。