陳文龍,張來線，孫華燕，郭惠超，王明乾

(1.航天工程大學(xué) 電子與光學(xué)工程系， 北京 101416； 2.航天工程大學(xué) 研究生院， 北京 101416)

1 引言

目前軍事，生活中常用的光電裝備由于其光學(xué)系統(tǒng)對入射光線有很強(qiáng)的原路返回特性，這種特性稱為“貓眼”效應(yīng)，具有該效應(yīng)的光電目標(biāo)稱為貓眼目標(biāo)。貓眼目標(biāo)識別是一個重要的問題，其廣泛應(yīng)用于無源光學(xué)系統(tǒng)的識別，目前在反偵察、反狙擊、酒店反竊視等安保應(yīng)用領(lǐng)域中都發(fā)揮著很重要的作用。在復(fù)雜場景中檢測貓眼目標(biāo)存在著諸多難點，如行人走動、背景變化、光照變化等，使得背景中存在大量噪聲，這種情形下檢測貓眼目標(biāo)十分困難，誤報率很高。國內(nèi)外針對這一技術(shù)難題進(jìn)行了大量研究與探索。

目前，利用激光主動探測技術(shù)識別貓眼目標(biāo)是熱門的研究領(lǐng)域，也是主要探測手段之一。相比國內(nèi)，國外在此領(lǐng)域研究起步很早，已經(jīng)研制了多種成熟的光電探測設(shè)備。如英國研制的ELLIPSE反狙擊手激光檢測設(shè)備，法國的SLD系列的狙擊手探測裝置。在國內(nèi)，同蘭娟等根據(jù)貓眼目標(biāo)的特征提出基于圓度和偏心度識別方法；李麗等提出的貓眼目標(biāo)快速識別方法與任熙明等人提出的形頻對偶準(zhǔn)則方法相比雖然提高了算法速度，減少了算法所需的圖像數(shù)量，但識別速度仍然比較長。針對復(fù)雜場景的識別問題，王興賓等提出的基于視覺顯著性的貓眼目標(biāo)識別方法與王喆堃等提出的基于OFSD配準(zhǔn)算法的貓眼目標(biāo)識別方法在算法速度和精度上有所提升，但都只能識別一個真實目標(biāo)?；趥鹘y(tǒng)的圖像處理算法識別貓眼目標(biāo)有其局限性，在算法精度和速度上難以平衡。隨著近年來深度學(xué)習(xí)的不斷完善發(fā)展，陸續(xù)有學(xué)者使用卷積神經(jīng)網(wǎng)絡(luò)來檢測貓眼目標(biāo)，如柯學(xué)結(jié)合了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法識別隱蔽相機(jī)，Liu等提出利用分類網(wǎng)絡(luò)檢測室內(nèi)微型相機(jī)，但是他們在檢測速度和檢測距離上有所缺陷難以得到應(yīng)用。關(guān)鍵問題是由于貓眼目標(biāo)在圖像中所占像素過少的原因，僅利用深度學(xué)習(xí)目標(biāo)檢測算法識別貓眼目標(biāo)效果較差，而傳統(tǒng)圖像處理算法由于其局限性又難以兼并速度與精度。如何在復(fù)雜環(huán)境下準(zhǔn)確剔除假目標(biāo)，并快速穩(wěn)定識別真實目標(biāo)是一個急需解決的問題。

因此針對上述問題，本文中利用了貓眼目標(biāo)的顯著性特征與孿生網(wǎng)絡(luò)的相似性檢測原理，通過傳統(tǒng)圖像處理方法與深度學(xué)習(xí)方法相結(jié)合的思路提升算法精度與檢測速度。相比于傳統(tǒng)圖像處理方法，該方法大大減少了檢測時間，同時也提升了識別準(zhǔn)確率，該方法可滿足實際復(fù)雜場景中的實時性檢測。

2 本文算法

本文算法流程如圖1所示。先對主被動圖像進(jìn)行圖像預(yù)處理得到差分圖像，然后使用顯著性檢測方法來增強(qiáng)差分圖像中的貓眼目標(biāo)；通過閾值分割在顯著圖中找出候選區(qū)域并將該區(qū)域返回差分圖像，對其候選區(qū)域使用綜合形狀度量值進(jìn)一步判別得到候選目標(biāo)區(qū)域；最后，利用本文中改進(jìn)的基于SKNet21的孿生網(wǎng)絡(luò)對差分圖像中的候選目標(biāo)區(qū)域進(jìn)行貓眼目標(biāo)識別，提取真實的貓眼目標(biāo)。

3 改進(jìn)的孿生網(wǎng)絡(luò)

3.1 孿生網(wǎng)絡(luò)與貓眼目標(biāo)識別的聯(lián)系

孿生網(wǎng)絡(luò)簡單來說，是用神經(jīng)網(wǎng)絡(luò)來判別2個輸入的相似程度，輸出為相似度數(shù)值。例如它將2個圖像分別輸入到2個卷積神經(jīng)網(wǎng)絡(luò)中，通過Loss的計算，可以比較出2個圖像的相似程度。對于貓眼目標(biāo)識別任務(wù)來說，計算圖像中候選目標(biāo)區(qū)域與貓眼目標(biāo)的相似程度可以判斷該區(qū)域是否為真實目標(biāo)，這與傳統(tǒng)的貓眼目標(biāo)識別問題類似，為解決貓眼目標(biāo)識別問題提供了新的思路與途徑。

圖1 本文算法流程框圖

3.2 基于全卷積殘差網(wǎng)絡(luò)模塊的孿生網(wǎng)絡(luò)

本文中采用的網(wǎng)絡(luò)模塊結(jié)構(gòu)如圖2所示，該網(wǎng)絡(luò)借鑒了一種改進(jìn)的殘差網(wǎng)絡(luò)，即SKNet。其模型可以根據(jù)輸入信息的多尺度自適應(yīng)地調(diào)整感受野的大小并選擇對分類有效的感受野捕捉到的信息。

圖2 SKNet模塊結(jié)構(gòu)示意圖

表1 SKNet21網(wǎng)絡(luò)結(jié)構(gòu)

為了達(dá)到算法處理的快速高效，同時降低網(wǎng)絡(luò)參數(shù)與計算量，本文中將SKNet模塊構(gòu)建成21層，即SKNet21,孿生網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。網(wǎng)絡(luò)采用3通道的候選目標(biāo)區(qū)域作為輸入，輸入大小為105×105，經(jīng)過2個SKNet21網(wǎng)絡(luò)后，將得到的2個多維特征展開成一維向量，將這2個一維向量進(jìn)行相減再進(jìn)行絕對值求和，相當(dāng)于求取了2個特征向量插值的1范數(shù)。接著對其結(jié)果進(jìn)行2次全連接，全連接的輸出為一個神經(jīng)元，最后對其結(jié)果取Sigmoid，使其值在0～1，代表2個輸入圖片的相似程度。網(wǎng)絡(luò)預(yù)測推理時，輸入與分別是貓眼目標(biāo)樣本與差分圖像中的候選目標(biāo)區(qū)域。

圖3 本文孿生網(wǎng)絡(luò)結(jié)構(gòu)框圖

4 圖像預(yù)處理及顯著性區(qū)域檢測

4.1 圖像預(yù)處理

為了盡可能消除圖像噪聲，需對實驗采集的原始主動和被動圖像進(jìn)行形態(tài)學(xué)處理，而Tophat變換可以起到抑制背景且增強(qiáng)目標(biāo)的作用。由于貓眼目標(biāo)的形狀并不是嚴(yán)格的圓形結(jié)構(gòu)，因此本文中進(jìn)行形態(tài)學(xué)處理時選取橢圓形狀的結(jié)構(gòu)元素。

設(shè)經(jīng)預(yù)處理后的主被動圖像分別為和，其灰度圖像尺寸大小為×，設(shè)是主動圖像與被動圖像的平均灰度差，如式(1)所示：

(1)

采用圖像差分方法消除主被動圖像的背景平均灰度差過大的影響，圖像差分運(yùn)算如下式：

=-(+)

(2)

4.2 圖像顯著性檢測

差分圖像中存在少許的虛警點，這些虛警點主要來自于圖像背景中的斑點狀強(qiáng)噪聲和強(qiáng)邊緣特征。因此，為了抑制這些難以去除的虛警，降低其對貓眼目標(biāo)識別的影響，有必要引入圖像顯著性特征檢測。由于圖像背景復(fù)雜多樣，但經(jīng)過圖像差分后的貓眼目標(biāo)在圖像里非常顯著，即貓眼目標(biāo)與局部鄰域之間具有較高的對比度，從而具備顯著性。

在眾多的顯著性檢測方法中，光譜殘差(spectral residual,SR)方法具有較低的計算復(fù)雜度，無需先驗知識就能進(jìn)行顯著性檢測。SR方法可以很好的濾除背景中的冗余，保留并突顯目標(biāo)。因此，該方法能使貓眼目標(biāo)在圖像中得到進(jìn)一步增強(qiáng)，本文中簡要表示采用PFT計算顯著性區(qū)域的過程，公式如下：

A(f)=R([(,)])

(3)

()=I([(,)])

(4)

=log(())

(5)

()=()-()*()

(6)

(,)=(,)*[exp(()+())]

(7)

式中，(,)表示差分圖像，[·]和[·]分別為傅里葉變換和傅里葉逆變換，R和I分別是取傅里葉變換的振幅和相位，()和()分別為幅值和相位，()為幅值()的對數(shù)譜，()為譜殘差，()和(,)分別為二維的均值濾波器和高斯低通濾波器(=15)，為了突顯及保留目標(biāo)的形狀輪廓，其濾波器大小分別為3×3和5×5，為顯著圖。

4.3 貓眼目標(biāo)特征判別

在得到顯著圖后，先對顯著性區(qū)域進(jìn)行粗檢測。為了防止閾值過高導(dǎo)致候選區(qū)域出現(xiàn)過度分割、貓眼目標(biāo)特征不明顯的情況，將閾值設(shè)置為160，該閾值也能減少后續(xù)識別的可疑區(qū)域。最后，把以粗候選區(qū)域為中心的20×20區(qū)域作為候選區(qū)域。對于貓眼目標(biāo)來說，僅是判斷灰度值是否足夠大還不夠，還要看其候選區(qū)域是否符合貓眼目標(biāo)的其他光學(xué)特性。除了貓眼目標(biāo)的亮度特性外，反射光斑的形狀也具有鮮明的特征。它在圖像中的表現(xiàn)為實心且近似圓形，可以依據(jù)反射光斑的這種形狀特征判別真實目標(biāo)。貓眼目標(biāo)的形狀特征選取綜合形狀度量值作為判別準(zhǔn)則，只需對顯著圖中的全部候選區(qū)域進(jìn)行圓形度的計算，計算時間增加很少，可忽略不計。本文圓形度的計算公式如下：

(8)

式中，為等效直徑，是面積與輪廓面積相等的圓的直徑，為輪廓的面積，其中，的計算公式如下：

(9)

則本文綜合形狀度量值的計算公式如下：

=|-1|

(10)

當(dāng)候選區(qū)域中的輪廓形狀為理想的圓形時，綜合形狀度量值的理想值應(yīng)為0。經(jīng)實驗證明，在計算時，的值應(yīng)設(shè)為030，小于等于該值即可視為是候選目標(biāo)區(qū)域。最后，使用本文提出的孿生網(wǎng)絡(luò)對差分圖像中的候選目標(biāo)區(qū)域判別，提取真實貓眼目標(biāo)。

5 實驗結(jié)果及分析

5.1 貓眼目標(biāo)圖像數(shù)據(jù)集

對每次實驗采集到的每個場景的貓眼目標(biāo)區(qū)域進(jìn)行裁剪，裁剪的目標(biāo)圖像總數(shù)為6 850，同時也在所有主動圖像中裁剪出各種虛假目標(biāo)樣本圖像13 000張，裁剪大小為20×20。為了豐富數(shù)據(jù)樣本，根據(jù)貓眼目標(biāo)的特性構(gòu)建貓眼目標(biāo)樣本，在所有場景的被動圖像中隨機(jī)裁剪出大小為20×20的背景圖像用以構(gòu)造貓眼目標(biāo)圖像，為了使構(gòu)造的目標(biāo)圖像更具真實性，限定了裁剪的背景圖像的平均灰度，范圍在[80,120]。當(dāng)目標(biāo)與成像探測器距離較遠(yuǎn)時，其輻射特性接近一個點源，在圖像中呈類高斯?fàn)?，可以用一個二維高斯函數(shù)來模擬，如式(11)所示：

(11)

圖4 部分貓眼目標(biāo)圖像

5.2 實驗設(shè)置及評估指標(biāo)

搭建了文獻(xiàn)[6]的貓眼目標(biāo)探測激光成像系統(tǒng)采集主被動圖像。圖5為探測系統(tǒng)結(jié)構(gòu)框圖，其中包括一個CCD工業(yè)相機(jī)，一個波長為532 nm的激光器，工業(yè)相機(jī)所采集的圖像尺寸大小為640×480。利用構(gòu)建的貓眼目標(biāo)數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，數(shù)據(jù)集總共26 000張圖像，包含貓眼目標(biāo)圖像和虛假目標(biāo)圖像，隨機(jī)選取20 800張作為訓(xùn)練集，5 200張作為測試集。實驗使用開源框架pytorch構(gòu)建基于SKNet21的孿生網(wǎng)絡(luò)，實驗環(huán)境是Inter(R)Core(TM)i7-9700F CPU@3.00 GHz，GPU內(nèi)存為12GB 的GTX TITIAN XP，系統(tǒng)內(nèi)存為64GB的Windows10操作系統(tǒng)。網(wǎng)絡(luò)訓(xùn)練采用帶動量的SGD優(yōu)化器，交叉熵?fù)p失函數(shù)BCELoss，動量設(shè)置為0.9，初始學(xué)習(xí)率設(shè)為0.001，每隔10代下降到原來的0.92，每次學(xué)習(xí)的訓(xùn)練樣本為30，總共迭代80代。訓(xùn)練結(jié)束后，將評估結(jié)果最好的一次作為最終模型保存。實驗測試平臺為Windows10操作系統(tǒng)，CPU為Inter(R)Core(TM)i5-7300U CPU@2.71 GHz，運(yùn)行內(nèi)存為8 GB的筆記本電腦。

圖5 貓眼目標(biāo)激光成像探測系統(tǒng)結(jié)構(gòu)框圖

準(zhǔn)確率和虛警率是評估貓眼目標(biāo)識別方法性能的重要指標(biāo)，用于評價算法的檢測能力，二者定義為：

(12)

式中:表示檢測到的真實目標(biāo)數(shù)量，表示所有真實目標(biāo)的總數(shù)，表示檢測到的虛假目標(biāo)數(shù)量，表示所有測試圖像中檢出目標(biāo)的總數(shù)。

5.3 圖像預(yù)處理

使用本文方法對原始圖像預(yù)處理的實驗結(jié)果如圖6所示，圖6(a)中的貓眼目標(biāo)用紅色方框標(biāo)記。從圖中可以觀察出，經(jīng)過預(yù)處理后，圖6(b)中的貓眼目標(biāo)相對于背景來說仍然顯著，而圖中大部分背景已經(jīng)被抑制，其背景灰度值很低。這說明了使用圖像預(yù)處理能很好的增大貓眼目標(biāo)的對比度，同時有效減少了一些假目標(biāo)區(qū)域。

圖6 圖像預(yù)處理實驗結(jié)果

5.4 有無顯著性檢測分析

為了評估圖像顯著性檢測機(jī)制在本文算法中的作用，在有無顯著性檢測方法的情況下對本文算法的檢測性能進(jìn)行了評估。

檢測性能參數(shù)如表2所示，結(jié)果表明，在不含顯著性檢測方法下，檢測率和誤報率都更高。這是由于貓眼目標(biāo)特征判別時容易將差分圖像中的斑點狀強(qiáng)噪聲和強(qiáng)邊緣特征等誤識別為貓眼目標(biāo)進(jìn)而造成虛警，而顯著性檢測方法有利于對這些虛警進(jìn)行有效抑制。顯著性檢測結(jié)果如圖7(b)所示，從圖中可以看出，貓眼目標(biāo)在圖像中被顯著增強(qiáng)，同時背景被有效抑制，這說明本文方法的有效性。

表2 有無顯著性檢測時的檢測性能參數(shù)

5.5 網(wǎng)絡(luò)結(jié)構(gòu)分析

為了驗證本文網(wǎng)絡(luò)中SKNet模塊相比其他模塊的優(yōu)劣，實驗中選擇了ResNet、SENet、以及Res2Net一共3個模塊，并分別構(gòu)建相對應(yīng)的孿生網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將保存下來的模型結(jié)合本文所提的識別方法分別對260幀主被動圖像進(jìn)行測試，并分別比較其準(zhǔn)確率、誤報率以及運(yùn)行速度和模型大小。

圖7 顯著性檢測結(jié)果圖

檢測性能參數(shù)如表3所示，從表3可看出，雖然SE-ResNet21網(wǎng)絡(luò)的檢測率很高，但是它的檢測時間最長且模型最大，并不適合實時性檢測和模型部署應(yīng)用，而本文采用的SKNet21對于貓眼目標(biāo)的檢測性能較好，在保證高檢測率的同時模型最小，運(yùn)行速度最快，誤報率最低，其各方面表現(xiàn)都較好。

表3 不同網(wǎng)絡(luò)結(jié)構(gòu)的檢測性能參數(shù)

5.6 不同算法的檢測結(jié)果和性能比較

為了測試所提出方法的檢測性能，對所提方法進(jìn)行驗證，并與文獻(xiàn)[8]方法進(jìn)行了比較。實驗的圖像是在2種不同條件的典型場景下采集的。在貓眼目標(biāo)附近增加了具有高反射率的貼紙作為干擾并隨貓眼目標(biāo)一起被激光照射，所有圖片均在早上、中午和黃昏拍攝的，檢測設(shè)備與目標(biāo)之間的距離在2個場景的距離分別約為80 m和130 m。

本文方法與文獻(xiàn)[8]方法的檢測結(jié)果如圖8所示，圖8(a1)和圖8(a2)是在不同背景下，其中圖8(a2)是在動態(tài)背景下。2個場景分別是在樹林中和有行人和汽車的過道上，其中(a1)(a2)是2幅含有貓眼目標(biāo)的原始主動圖像，(b1)(b2)是基于本文方法的目標(biāo)識別結(jié)果圖，(c1)(c2)是基于文獻(xiàn)[8]方法的目標(biāo)識別結(jié)果圖，紅色矩形框標(biāo)記的為最后識別出來的目標(biāo)。

從圖8(c1)(c2)中可以看出，在無法完全濾除干擾目標(biāo)時，文獻(xiàn)[8]的方法無法正確識別出貓眼目標(biāo)，而且在圖像中出現(xiàn)2個貓眼目標(biāo)時，該方法只能識別出一個目標(biāo)；通過圖8(b1)可以看出，本文提出的方法不僅能濾除掉絕大部分的虛假目標(biāo)，且對于無法去除的高反射率的虛假目標(biāo)，通過貓眼目標(biāo)特征判別以及本文提出的孿生網(wǎng)絡(luò)可以很好地識別出真實貓眼目標(biāo)。圖8(b2)的結(jié)果說明了本文方法不僅可以很準(zhǔn)確識別動態(tài)背景下的真實目標(biāo)，而且能識別場景中的多個目標(biāo)。

圖8 本文方法與文獻(xiàn)[8]方法檢測結(jié)果圖Fig.8 Comparison results between Ref.[8]and our method

為了定量評價，進(jìn)一步證明本文方法的優(yōu)越性，選取了260張主被動圖像幀序列進(jìn)行測試。將本文方法與文獻(xiàn)[8]方法以及文獻(xiàn)[12]的方法進(jìn)行檢測性能對比，如表4所示。結(jié)果表明，本文方法能在復(fù)雜場景下具有更高的準(zhǔn)確率和較低的誤報率，而測試多輪該圖像幀序列后，在2張主被動圖像的處理上平均用時約為0.26 s，遠(yuǎn)快于文獻(xiàn)[8]方法。此外，從表4中可看出本文方法也比文獻(xiàn)[12]90.37%的準(zhǔn)確率要高。

表4 3種方法的檢測性能參數(shù)

6 結(jié)論

本文提出并驗證了基于孿生網(wǎng)絡(luò)與視覺顯著性的貓眼目標(biāo)識別方法，主要包括圖像預(yù)處理、顯著性檢測與孿生網(wǎng)絡(luò)判別等步驟。實驗結(jié)果表明，本文方法能有效對背景進(jìn)行抑制，使用孿生網(wǎng)絡(luò)能排除圖像中的高反射率虛假目標(biāo)，本文方法準(zhǔn)確率較高，在復(fù)雜環(huán)境中能夠準(zhǔn)確識別出多個貓眼目標(biāo)，識別速度更快，能夠滿足實時性要求。本文方法將貓眼目標(biāo)識別問題與孿生網(wǎng)絡(luò)聯(lián)系在一起，提供了新的思路與途徑，也克服了在激光主動探測系統(tǒng)中使用深度學(xué)習(xí)方法的局限性。在未來研究中，可以針對硬件部署對網(wǎng)絡(luò)結(jié)構(gòu)與算法進(jìn)行優(yōu)化設(shè)計，并可以就卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)檢測算法的結(jié)合展開研究。