（中國航天科工二院七○六所 北京 100854）

1 引言

隨著海面艦船、民船以及其他干擾目標的種類、數(shù)量的日益增多，海面環(huán)境的復雜性越來越高，艦船和民船形態(tài)的高速更新?lián)Q代，目前的艦船目標識別系統(tǒng)面臨諸多難題，其識別正確率和可用性已經(jīng)難以滿足要求。目前我國海軍武器裝備的艦船目標能力不高，智能化程度較低，主要表現(xiàn)在以下幾個方面。

艦船目標識別正確率不高。目前應用廣泛的恒虛警率算法[1～2]、小波變換[3～4]等艦船目標識別算法對于艦船目標識別的正確率為80%～85%，隨著海面軍艦、民船以及其他干擾目標的種類、數(shù)量的日益增多，海面環(huán)境變得越來越復雜，這對于海面目標識別算法的識別準確率提出了新的挑戰(zhàn)。

艦船目標識別實時性較差。目前國內(nèi)艦船目標識別大多基于SAR、IR等衛(wèi)星遙感圖像數(shù)據(jù)[5～9]，由于與地面的距離過長，衛(wèi)星數(shù)據(jù)傳輸速度慢、易受干擾，無法及時發(fā)現(xiàn)并識別指定海域上出現(xiàn)的船只，并且在惡劣天氣環(huán)境下海面圖像很差。

艦船目標識別系統(tǒng)智能化程度較低。目前國內(nèi)艦船目標識別主要依靠人工判讀，隨著戰(zhàn)場環(huán)境日益復雜，海面目標成倍增長，傳統(tǒng)的目標識別方法耗費人力、效率低，難以滿足未來海面作戰(zhàn)的發(fā)展需求。

2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的可見光艦船目標識別系統(tǒng)方案

基于深度卷積神經(jīng)網(wǎng)絡(luò)的可見光艦船目標識別系統(tǒng)主要分為兩部分：一部分是部署在數(shù)據(jù)中心的艦船圖像離線訓練平臺，主要進行PB級艦船圖像、視頻數(shù)據(jù)樣本的存儲，以及離線艦船目標識別模型的訓練；另一部分是在艦船、無人機、指揮所等武器裝備終端上運行的艦船圖像采集預處理平臺和艦船目標在線識別平臺，負責艦船目標圖像采集、檢測、分類和識別，具體如圖1所示。

可見光艦船目標識別系統(tǒng)各模塊的具體功能如下。

1）艦船圖像數(shù)據(jù)庫采用已有的圖像、參數(shù)和模型數(shù)據(jù)構(gòu)建，并在使用過程中，通過檢測目標數(shù)據(jù)采集不斷的進行豐富；

圖1 基于深度卷積神經(jīng)網(wǎng)絡(luò)的可見光艦船目標識別系統(tǒng)框圖

2）艦船目標特征訓練是在卷積神經(jīng)網(wǎng)絡(luò)的框架下，通過對艦船樣本庫的識別訓練，形成可見光/紅外和二維/三維融合的艦船特征知識庫，用于進行艦船目標分類識別；

3）艦船目標數(shù)據(jù)采集用于對海上艦船目標的可見光或紅外視頻數(shù)據(jù)進行實時高分辨率的采集；

4）艦船目標檢測是對海上艦船目標進行檢測，在檢測到存在艦船目標后，開展后續(xù)的圖像預處理和分類識別工作；

5）艦船目標圖像預處理包括海陸背景圖像分離、艦船目標分割等圖像預處理工作，為艦船目標的分類識別做好準備；

6）艦船目標圖像粗分類在本地進行，針對艦船的大類進行簡單的分類，降低后續(xù)艦船目標細分類識別的工作量；

7）最后，在艦船目標在線識別平臺開展艦船目標的識別工作，準確地識別出艦船的類型。

2.1 艦船圖像采集預處理平臺

本方案基于可見光/紅外圖像進行艦船目標識別，艦船圖像采集預處理平臺部署在艦船上。

2.1.1 艦船目標圖像采集

艦船目標圖像采集硬件架構(gòu)如圖2所示，包括艦船目標圖像采集傳感模塊、艦船目標圖像采集預處理模塊、多碼流圖像編碼模塊和圖像傳輸模塊。其中，艦船目標圖像采集傳感模塊通過可見光/紅外傳感器采集海面目標圖像，主要包括全高清CMOS圖像傳感器和紅外激光云臺；艦船目標圖像采集預處理模塊對采集到的圖像進行初步的濾波、圖像增強等；多碼流圖像編碼模塊基于FPGA實現(xiàn)視頻壓縮、編碼和碼流生成三部分功能；圖像傳輸模塊實現(xiàn)視頻信號的電/光轉(zhuǎn)換，通過光纜進行遠距離傳輸，主要包括光端機、光交換機等。

圖2 艦船目標圖像采集硬件架構(gòu)

2.1.2 艦船目標檢測

艦船動態(tài)目標檢測是整個系統(tǒng)的基礎(chǔ)，只有及時、準確地檢測和定位到場景中出現(xiàn)的目標，才能保證后續(xù)的目標識別。艦船目標檢測既要保證實時性，因為戰(zhàn)場瞬息萬變，不及時捕捉變化就會貽誤戰(zhàn)機；又要保證目標檢測與分割的準確率，因為目標的精確識別才是整個系統(tǒng)的核心[10]。

本方案首先通過SLIC算法對艦船圖像進行分割，然后利用方向梯度直方圖和支持向量機，基于圖像中船、天空和海洋的紋理特征差異實現(xiàn)艦船目標檢測。

SLIC（簡單線性迭代聚類）算法[11]是一個基于聚類算法的超像素分割算法，由LAB空間以及x、y像素坐標共5維空間來計算。該算法提出了一種全新的距離計算方法加強了超像素形狀的整齊性，不僅可以分割彩色圖，也可以兼容分割灰度圖，另外還可以設(shè)置需要分割的超像素的數(shù)量。SLIC在產(chǎn)生相似或更好的分割時效率可以大幅度提高。如圖3所示，SLIC算法產(chǎn)生的分割片段，大小均勻，可指定塊的個數(shù)，較為靈活。

圖3 艦船目標檢測示例

方向梯度直方圖（HOG）特征的核心思想是一幅圖像中的物體的表象和形狀可以被梯度或邊緣的方向密度分布很好地描述。其實現(xiàn)方法是先將圖像分成小的叫做方格單元連通區(qū)域；然后采集方格單元中各像素點的梯度方向或邊緣方向直方圖；最后把這些直方圖組合起來就可以構(gòu)成特征描述子。為了提高精確度，還可以把這些局部直方圖在圖像的更大的區(qū)間（block）中進行對比度歸一化，此方法通過先計算各直方圖在這個區(qū)間（block）中的密度，然后根據(jù)這個密度值對區(qū)間中的各個方格單元做歸一化。通過這個歸一化后，能對光照變化和陰影獲得更好的穩(wěn)定性。

在對圖像的各區(qū)域提取特征后，訓練出合適的分類器來完成區(qū)域的分類，以實現(xiàn)排除海面、天空的大塊區(qū)域，定位到感興趣區(qū)域的目標。支持向量機（Support Vector Machine，SVM）在有監(jiān)督的分類器中性能突出，可以有效解決小樣本下的機器學習問題，有效解決泛化問題和非線性分類問題。結(jié)合SVM與提取的特征，可以得到如下的可見光目標初步定位示例如下。

2.1.3 艦船目標圖像預處理

艦船目標圖像預處理包括圖像降噪、海陸分離等，常見的海陸分離方法包括灰度閾值法、區(qū)域紋理分析法和區(qū)域生長法等。

1）灰度閾值法包括直方圖谷底法、OTSU算法、活動輪廓法、最大熵法、最小誤差法、迭代最優(yōu)閾值法、局部閾值法等。OTSU算法以最佳門限將灰度直方圖分割成兩部分，使兩部分類間方差取最大值，即分離性最大；活動輪廓分割方法通過有約束地最小化分割結(jié)果中海水區(qū)域的類內(nèi)方差來降低分割閾值，能夠得到較為理想的海陸分割結(jié)果，保證了后續(xù)船頭檢測、船身定位的準確度。

2）區(qū)域紋理法是通過利用海域與陸地背景的紋理差異進行海陸分割，如用區(qū)域方差、區(qū)域直方圖來刻畫區(qū)域紋理的相似性。

3）區(qū)域生長法利用先驗的地理信息得到位于海域的點作為種子點，進行區(qū)域生長提取海域。

2.1.4 艦船目標粗分類

海面環(huán)境中會有若干的干擾因素，如民用船只、礁石、海島等，所以在進行識別時也必須將這些干擾類別進行甄別，以降低識別的虛警率。如果將各型號軍用艦船與干擾類別（如各種民用船只、燈塔、小島）進行一同分類，這樣特征空間的類間距離會各異。軍用艦船、民用船只、干擾目標之間的類間距離會較大，而作為同一個大類下的各型號軍用艦船之間的類間距離會較小，將這些類混合在一起進行分類識別，會影響到特征空間中各類劃分的準確性，即影響到最終分類的準確率。所以，綜合考慮，需要對已經(jīng)定位的可見光目標進行粗分類，完成大類的識別，在此基礎(chǔ)上再進行精細類別的劃分。

本方案應用SIFT[12]描述子進行艦船目標粗分類包括以下幾個基本步驟：

1）構(gòu)建尺度空間并進行極值檢測；

2）對關(guān)鍵點進行精確定位；

3）確定關(guān)鍵點的方向；

4）生成特征點描述子。

艦船目標粗分類流程如圖4所示。

圖4 目標粗分類流程

2.2 艦船圖像離線訓練平臺

2.2.1 艦船樣本數(shù)據(jù)庫

艦船樣本數(shù)據(jù)庫包括用于訓練深度學習模型的PB級圖像數(shù)據(jù)訓練集、驗證集以及測試集，其中驗證集可以從訓練集中分離一部分得到。用于艦船目標檢測識別模型的訓練和測試圖像數(shù)據(jù)集，與用于軍艦和民船分類模型的訓練和測試圖像數(shù)據(jù)存在很大差異：用于艦船目標檢測識別的訓練和測試圖像數(shù)據(jù)需要在其上對艦船目標進行標簽框定并給予艦船類別的標記，而用于軍艦與民船分類的訓練和測試圖像數(shù)據(jù)只需要對軍艦圖像以及民船圖像給予對應的類別標記。

數(shù)據(jù)庫中艦船圖像的獲取有以下幾種方法：

1）艦船圖像采集預處理平臺得到的圖像數(shù)據(jù)；

2）互聯(lián)網(wǎng)開源圖像數(shù)據(jù)庫，如 ImageNet[13]、VOC2012[14]、Fleetmoom[15]等；

3）艦船三維模型降維映射得到的二維圖像。

2.2.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的艦船目標特征訓練

基于深度卷積神經(jīng)網(wǎng)絡(luò)的艦船目標特征訓練架構(gòu)包括特征共享CNN層、可微調(diào)CNN層、區(qū)域提取模型、ROI池化層以及分類回歸全連接層等，詳見圖5所示。

圖5 基于深度卷積神經(jīng)網(wǎng)絡(luò)的艦船目標特征訓練架構(gòu)

共享特征CNN層可以是現(xiàn)存的深度卷積神經(jīng)網(wǎng)絡(luò)分類模型去掉最后全連接層的部分，該部分在進行艦船目標識別模型訓練前，一般需要在VOC分類數(shù)據(jù)集或是ImageNet分類數(shù)據(jù)集上進行預訓練來提高對圖像特征的提取能力，然后再利用此訓練好的分類模型去掉全連接層部分的參數(shù)對共享特征CNN層進行參數(shù)初始化。常用的共享特征CNN層的分類模型包括AlexNet、GoogleNet、VGG16、VGG19以及ResNet[16]等。

可微調(diào)CNN層主要用于在線增量學習。具體過程為：當在線進行艦船目標檢測時，如果被檢測到的艦船目標滿足標注條件，則需要對目標檢測模型進行在線增量學習。在線增量學習過程中需要將共享特征CNN層、區(qū)域提取模型以及可微調(diào)CNN層后續(xù)的ROI池化層、全連接層參數(shù)進行固定，然后通過分類誤差對可微調(diào)CNN層進行參數(shù)微調(diào)，從而達到從新圖像數(shù)據(jù)中學習新知識并盡可能保留以前學習到知識的能力。在線增量學習保證可見光艦船目標識別系統(tǒng)能夠在使用過程中進行系統(tǒng)模型參數(shù)優(yōu)化和升級，可持續(xù)不斷地提高目標識別的準確率。

區(qū)域提取模型是卷積神經(jīng)網(wǎng)絡(luò)，在共享CNN層和可微調(diào)CNN層后，構(gòu)造了一個卷積層和兩個并列的全連接層的神經(jīng)網(wǎng)絡(luò)。該模型的作用是通過共享CNN層特征以及可微調(diào)CNN層特征來實現(xiàn)可能存在待檢艦船目標區(qū)域的提取。在該模型的基礎(chǔ)上，為了解決小目標難檢測難題，可以加入圖像上下文Context的信息，從而有效解決該問題。目前，比較常用的區(qū)域提取模型包括Faster RCNN基于Attention機制提出的RPN區(qū)域提取模型、基于鄰域信息及自適應縮放Anchors策略的AZ-Net模型以及能自動適應對象及其組成部分尺度的HAZN模型，這些區(qū)域提取模型通過提高區(qū)域提取的質(zhì)量，解決了圖片解析度較低、小尺寸目標難檢測的問題[17]。

ROI池化層的設(shè)計思路來源于Faster RCNN，該設(shè)計是為了解決檢測目標檢測識別模型能夠接受任意尺度輸入圖像的問題。經(jīng)過ROI池化后，模型會輸出一個固定維度的特征向量，其后可以連接Softmax或是相關(guān)能進行分類的算法，如支持向量機SVM，進行是否為艦船目標的分類。

2.3 艦船目標在線識別平臺

艦船目標在線識別平臺部署在艦船上，基于選擇性負相關(guān)集成學習的深度CNN艦船分類識別方法實現(xiàn)。負相關(guān)學習是一種訓練神經(jīng)網(wǎng)絡(luò)集成的方法，記訓練集為{(x1,t1),……,(xN,tN) }，其中xi是輸入，ti是目標輸出，N是訓練集的樣本數(shù)。在負相關(guān)學習里，深度神經(jīng)網(wǎng)絡(luò)集成的輸出定義為其中m為神經(jīng)網(wǎng)絡(luò)的個數(shù)，F(xiàn)i(n)是第i個深度神經(jīng)網(wǎng)絡(luò)在第n個樣本上的輸出，而F(n)則是深度神經(jīng)網(wǎng)絡(luò)集成在第n個樣本上的輸出。本方案使用的ResNet深度神經(jīng)網(wǎng)絡(luò)用于集成學習，從而達到對新來圖像數(shù)據(jù)集的增量學習。圖6基于選擇性負相關(guān)學習的深度ResNet集成學習框架，主要包括四個模塊：初始ResNet深度神經(jīng)網(wǎng)絡(luò)集成、當前ResNet深度神經(jīng)網(wǎng)絡(luò)集成、復制ResNet深度神經(jīng)網(wǎng)絡(luò)集成以及新ResNet深度神經(jīng)網(wǎng)絡(luò)集成。

它們之間的交互關(guān)系為：首先利用第一個軍艦和民船圖像數(shù)據(jù)集對初始ResNet深度神經(jīng)網(wǎng)絡(luò)集成進行訓練得到當前ResNet深度神經(jīng)網(wǎng)絡(luò)集成；然后，將當前ResNet深度神經(jīng)網(wǎng)絡(luò)集成進行復制得到復制ResNet深度神經(jīng)網(wǎng)絡(luò)集成；接下來，當?shù)诙€軍艦和民船圖像數(shù)據(jù)集到來時，利用該數(shù)據(jù)集對復制ResNet深度神經(jīng)網(wǎng)絡(luò)集成進行訓練，得到新ResNet深度神經(jīng)網(wǎng)絡(luò)集成；最后，為了使ResNet深度神經(jīng)網(wǎng)絡(luò)集成能夠在學習新圖像數(shù)據(jù)知識的同時能夠較大程度保留已經(jīng)學習過的知識，同時保持深度集成模型的大小不變，因此需要應用選擇性負相關(guān)學習方法進行選擇。

圖6 基于選擇性負相關(guān)的深度ResNet集成學習框架

3 結(jié)語

本文基于深度卷積神經(jīng)網(wǎng)絡(luò)進行了艦船目標識別系統(tǒng)的方案設(shè)計，該系統(tǒng)基于可見光/紅外圖像進行艦船目標識別，實時性高；該系統(tǒng)可離線地對目標識別模型進行訓練，相比于傳統(tǒng)基于恒虛警率算法、小波變換等算法，基于深度卷積神經(jīng)網(wǎng)絡(luò)的方案具有更高的識別準確率；該系統(tǒng)可進行在線增量學習，在使用過程中可不斷進行模型參數(shù)的優(yōu)化，不斷提高識別準確率。