楊欽寧, 佘浩平, 龐羽佳

(1.北京理工大學(xué) 宇航學(xué)院, 北京 100081;2.中國空間技術(shù)研究院 錢學(xué)森空間技術(shù)實驗室, 北京 100094)

0 引言

隨著人類對空間探索的不斷深入，空間技術(shù)對科技的發(fā)展也相應(yīng)地提出了更高的要求。當(dāng)前，空間任務(wù)已不局限于衛(wèi)星發(fā)射與實現(xiàn)衛(wèi)星功能，在軌服務(wù)正成為空間技術(shù)研究中一個新的關(guān)鍵領(lǐng)域[1]。其中包括：在軌航天器的維修更換、衛(wèi)星燃料加注、廢棄衛(wèi)星的回收和空間碎片的回收等[2]。而這些技術(shù)都離不開對目標(biāo)航天器的識別和檢測技術(shù)[3]。

在空間目標(biāo)識別檢測中，光學(xué)傳感器因其體積小、成本低、信息內(nèi)容直觀豐富等優(yōu)點受到了廣泛關(guān)注，其中，光學(xué)相機作為其中最常用、成本最低的解決方案，自然成為了空間目標(biāo)檢測的重要選擇之一。

目前針對空間目標(biāo)識別與檢測使用較多的是傳統(tǒng)機器視覺算法。這種方法通常根據(jù)先驗信息設(shè)計，在特定識別場景中具有很高的精度，但其泛化能力一般[4-5]。同時，由于大多數(shù)的空間任務(wù)中服務(wù)飛行器的服務(wù)對象一般都是不具有固定外形和結(jié)構(gòu)的非合作目標(biāo)。這就更要求視覺檢測算法具有較高的泛化能力[6]。此外，因為目標(biāo)航天器運動及空間環(huán)境的特殊性，使得傳統(tǒng)視覺檢測算法面臨這3個技術(shù)難點：1)外形、尺度問題：目標(biāo)航天器在運動時可能因光學(xué)相機的拍攝角度變化導(dǎo)致目標(biāo)產(chǎn)生較大的成像輪廓變化。同時，在距離光學(xué)相機的距離變化比較大時，其在圖像上的大小尺度也會發(fā)生較大變化；2)光照問題：空間中由于缺少漫反射的存在，導(dǎo)致飛行器不同表面反射太陽光的亮度會有較大差異。當(dāng)光照太強或過弱時，都不利于視覺識別和檢測的進(jìn)行；3)運動模糊與遮擋問題：當(dāng)目標(biāo)在相機視野中移動較快時，會導(dǎo)致視野中目標(biāo)圖像出現(xiàn)模糊；當(dāng)目標(biāo)被其他物體遮擋時，可能導(dǎo)致目標(biāo)的特征部分或全部損失，增大了檢測失敗的可能性。綜合以上原因，傳統(tǒng)機器視覺方法可能無法很好地完成空間目標(biāo)識別檢測任務(wù)[7]。

近年來，基于深度學(xué)習(xí)的目標(biāo)識別檢測方法逐漸被廣泛使用，其建模靈活方便，綜合性強，且能自適應(yīng)的提取目標(biāo)不同層級的特征[8]。能將訓(xùn)練好的模型應(yīng)用在不同場景，其對檢測物的泛化能力大大提升。且可以同時識別和檢測多類目標(biāo)，主動性好，目前已廣泛應(yīng)用于車輛[9]和行人檢測[10]等領(lǐng)域，在航天領(lǐng)域中使用較多的是對衛(wèi)星遙感圖進(jìn)行地面物體或云層等信息的識別和檢測[11]，但在空間目標(biāo)識別和檢測方面的研究目前較少，尚缺乏專用的深度學(xué)習(xí)框架。Girshick等[12]首次使用RCNN(Regions with CNN)，將卷積神經(jīng)網(wǎng)絡(luò)運用到目標(biāo)檢測中來，為目標(biāo)檢測開辟了新的道路，但其檢測精度和效率均不高。Fast R-CNN在R-CNN的架構(gòu)上引入了金字塔池化層并進(jìn)行單尺度池化，極大提高了檢測速度[13]。之后，F(xiàn)aster R-CNN在Fast R-CNN的基礎(chǔ)上引入了區(qū)域建議網(wǎng)絡(luò)(RPN)，進(jìn)行了端到端的訓(xùn)練，提高了區(qū)域提取的速度和網(wǎng)絡(luò)訓(xùn)練的速度，從此目標(biāo)檢測終于進(jìn)入到了可實時檢測的階段[14]。Mask R-CNN將Faster R-CNN中使用RoIAlign方法代替RoIPooling，通過雙線性插值方法降低了邊界框的誤差，一定程度上提高了檢測精度，同時加入了Mask分支，將每個待檢測目標(biāo)進(jìn)行了像素級分割，實現(xiàn)了實例分割功能[15]。Chen等[16]使用輕量級的實力分割網(wǎng)絡(luò)，為改善殘差模塊，使用了深度可分離卷積的方法，并且使用了非線性激活代替線性激活，簡化殘差網(wǎng)絡(luò)的層數(shù)以減輕網(wǎng)絡(luò)負(fù)擔(dān)，通過仿真軟件生成衛(wèi)星的模型圖片，經(jīng)測試可實現(xiàn)對典型衛(wèi)星部件的識別和檢測，但其訓(xùn)練及測試的圖像均為理想條件下的正視圖，未代入實際空間應(yīng)用中的實際場景，因此在實用性方面欠缺一定考量。

本文提出了Ring-Engine-Mask R-CNN，是一種改進(jìn)的Mask R-CNN。針對衛(wèi)星這一特定目標(biāo)下特征部位檢測任務(wù)的特點和要求，使用深度學(xué)習(xí)方法完成對衛(wèi)星目標(biāo)部位的檢測，主要工作包括：1)建立專用于衛(wèi)星目標(biāo)識別檢測的數(shù)據(jù)集，確保數(shù)據(jù)具有代表性，提高訓(xùn)練數(shù)據(jù)集的質(zhì)量；2)針對Mask R-CNN對大面積遮擋目標(biāo)檢測效果差的問題，采用局部標(biāo)注方法，以使網(wǎng)絡(luò)能學(xué)習(xí)到衛(wèi)星目標(biāo)部位的更多的局部特征信息，以提高在遮擋情況的網(wǎng)絡(luò)對于目標(biāo)局部外形的識別能力。3)將其主干網(wǎng)絡(luò)規(guī)模進(jìn)行改進(jìn)，減少卷積運算量，同時縮減分類回歸、Mask分支，以減少網(wǎng)絡(luò)模型在末端的運行量，保證網(wǎng)絡(luò)模型更適合衛(wèi)星目標(biāo)部位的檢測任務(wù)。

1 待檢測目標(biāo)的選取及數(shù)據(jù)集的建立

針對衛(wèi)星目標(biāo)，由于其星箭對接環(huán)作為最常用的對接裝置[17]，所以它與其同一面的遠(yuǎn)地點發(fā)動機噴管也成為了衛(wèi)星的識別與檢測中最常用的特征部位之一。

所選取的檢測目標(biāo)為衛(wèi)星星箭對接環(huán)和遠(yuǎn)地點發(fā)動機噴管，如圖1所示。為了提高模型的泛化能力，數(shù)據(jù)集樣本分別采集于實物模型和仿真平臺。

圖1 衛(wèi)星星箭對接環(huán)和遠(yuǎn)地點發(fā)動機噴管示意圖

1.1 實物圖像數(shù)據(jù)集

實物圖像采集自實驗室中衛(wèi)星星箭對接環(huán)和遠(yuǎn)地點發(fā)動機噴管及衛(wèi)星艙體的1：1實物模型，使用光學(xué)相機拍攝，物理分辨率為4 000*3 000，分別以多種不同視角和過曝光-正常曝光-欠曝光3種不同照度情況，拍攝實物模型的全局圖片，通過圖像旋轉(zhuǎn)拉伸翻轉(zhuǎn)的操作進(jìn)行數(shù)據(jù)增強，并篩選掉效果不佳的圖片，最終選定1 000張圖片用于制作數(shù)據(jù)集。同時，因為本課題應(yīng)用背景為空間對接、抓捕等，在航天器對目標(biāo)衛(wèi)星進(jìn)行對接過程后期，由于目標(biāo)距離光學(xué)相機較近，目標(biāo)難免會溢出光學(xué)相機的視野，導(dǎo)致相機無法獲得目標(biāo)的全部圖像。針對該問題，采用局部標(biāo)注方法，制作了兩種目標(biāo)的局部圖像數(shù)據(jù)集。使用相機在較近距離下拍攝目標(biāo)，使其部分輪廓溢出相機視野，在該情況下拍攝了1 000張圖片，同樣經(jīng)過數(shù)據(jù)增強和篩選，選定1 000張圖片制作數(shù)據(jù)集。

將獲取到的圖片使用Labelme軟件進(jìn)行標(biāo)注，標(biāo)注之后生成一個對應(yīng)的json文件，使用Labelme軟件進(jìn)行處理得到訓(xùn)練所需數(shù)據(jù)集，其可視化后的全局圖像數(shù)據(jù)集如圖2所示，局部圖像數(shù)據(jù)集如圖3所示。最終得到目標(biāo)的實物圖像數(shù)據(jù)集2 000個，按照訓(xùn)練集：驗證集：測試集=6：2：2的比例進(jìn)行隨機分配，所得三者的數(shù)目分別為1 200、400、400。

圖2 兩種目標(biāo)的實物全局圖像數(shù)據(jù)集

圖3 兩種目標(biāo)的實物局部圖像數(shù)據(jù)集

1.2 仿真圖像數(shù)據(jù)集

受空間限制的約束，實驗室中采集的目標(biāo)實物圖像的距離較近，只滿足了較近距離下數(shù)據(jù)集的構(gòu)建。由于仿真平臺不受現(xiàn)實空間約束，可采集目標(biāo)距相機任意距離的圖像。為了增加中遠(yuǎn)距離時的數(shù)據(jù)集樣本，同時提高近距離時的樣本豐富性，在3dsMax中建立了某衛(wèi)星的三維模型，并渲染生成仿真圖像。同樣，為了解決目標(biāo)距離光學(xué)相機較近時可能會導(dǎo)致的檢測失敗問題，也同制作實物圖像數(shù)據(jù)集時一樣，建立其全局圖像數(shù)據(jù)集和局部圖像數(shù)據(jù)集，數(shù)量均為1 000張。生成數(shù)據(jù)集的方法與實物圖像數(shù)據(jù)集相同，均使用Labelme軟件完成。建立的全局圖像數(shù)據(jù)集如圖4所示，局部圖像數(shù)據(jù)集如圖5所示。最終得到目標(biāo)的仿真圖像數(shù)據(jù)集2 000個，按照訓(xùn)練集：驗證集：測試集=6：2：2的比例進(jìn)行隨機分配，所得三者的數(shù)目分別為1 200、400、400。

圖4 兩種目標(biāo)的仿真模型全局圖像數(shù)據(jù)集

圖5 兩種目標(biāo)的仿真模型局部圖像數(shù)據(jù)集

最終，形成了樣本量為4 000個的深度學(xué)習(xí)數(shù)據(jù)集，其中，實物樣本數(shù)據(jù)量與仿真樣本數(shù)據(jù)量均為2 000，它們各自包含1 000個全局圖像樣本和1 000個局部圖像樣本。

2 衛(wèi)星目標(biāo)檢測方案

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

Ring-Engine-Mask R-CNN分別由主干網(wǎng)絡(luò)、區(qū)域建議網(wǎng)絡(luò)(RPN)、ROI分類器和邊框回歸、Mask分支構(gòu)成，網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 網(wǎng)絡(luò)結(jié)構(gòu)圖

在Ring-Engine-Mask R-CNN中，主干網(wǎng)絡(luò)是一個殘差網(wǎng)絡(luò)結(jié)構(gòu)，同Mask R-CNN主干網(wǎng)絡(luò)原理相同，其使用shortcut直接將輸入連接至后面的層，以降低特征損失[18]。相對于基于ResNet-101作為主干網(wǎng)絡(luò)的Mask R-CNN，其改進(jìn)處為網(wǎng)絡(luò)的第3階段的4個Block增加至6個，第4階段的23個Block縮減至4個，每個Block內(nèi)部為標(biāo)準(zhǔn)殘差結(jié)構(gòu)，包含3個卷積層。這兩個階段的通道數(shù)與卷積核大小均不變。改進(jìn)后的網(wǎng)絡(luò)的仍然采用5階段方式，第1、2、5階段的卷積核尺寸、通道數(shù)、Block數(shù)量均不變。所以，改進(jìn)后的主干網(wǎng)絡(luò)5個階段共計68個卷積層，其結(jié)構(gòu)見表1。

表1 Ring-Engine-Mask R-CNN主干網(wǎng)絡(luò)結(jié)構(gòu)表

針對待檢測的兩類衛(wèi)星特征部位，Ring-Engine-Mask R-CNN中分類回歸分支和Mask分支中的通道數(shù)均將Mask R-CNN的80修改為3，分別對應(yīng)著背景(background)、星箭對接環(huán)和遠(yuǎn)地點發(fā)動機噴管。

對于每一張輸入的圖片，在第1階段中，使用零填充和7×7的卷積核對其進(jìn)行卷積運算，在這之后接有BatchNorm層進(jìn)行歸一化，ReLU層進(jìn)行非線性激活，MaxPooling層進(jìn)行池化。除第1階段外，每個階段都采用Block塊的方式，Block數(shù)代表每一階段中含有的殘差結(jié)構(gòu)模塊數(shù)量，每一個Block包含3個卷積層，其后都跟隨著一個BatchNorm層和ReLU激活層。其中每個Block的首端卷積層和末端卷積層采用的是1×1的卷積核，中間采用的是3×3的卷積核，這樣做的目的是在保證網(wǎng)絡(luò)精度的情況下降低網(wǎng)絡(luò)的計算消耗，以第5階段的第1個Block為例，首先通過1×1的卷積進(jìn)行降維，將輸入的降低為512維，然后是正常的3×3的卷積操作，最后通過1×1的卷積將維度提升至與shortcut對應(yīng)上。

經(jīng)主干網(wǎng)絡(luò)計算得到的特征圖經(jīng)由RPN網(wǎng)絡(luò)得到RoI，它與主干網(wǎng)絡(luò)提取的特征圖共同經(jīng)由RoIAlign處理，RoIAlign使用雙線性插值的方法，相比Faster R-CNN中的RoIPooling降低了由于像素?zé)o法對齊引起的誤差。從RoI出來后分為兩個分支，第一個分支經(jīng)過一個卷積核為7×7，通道數(shù)為256的卷積，再經(jīng)過兩個1 024維的全連接層，完成目標(biāo)的分類和邊界框的回歸；另一個分支經(jīng)過多個3×3卷積層生成5個14×14×256的特征圖，一個反卷積生成28×28×256的特征圖，最終通過全連接層為每張圖片生成Mask掩碼，完成目標(biāo)的實例分割。

2.2 損失函數(shù)設(shè)計

在Ring-Engine-Mask R-CNN中，損失函數(shù)由三部分組成，其損失函數(shù)具體為：

L=Lcls+Lbox+Lmask

(1)

其中：Lcls為多分類損失；Lbox為邊界框損失；Lmask為掩碼損失。

多分類損失Lcls和邊界框損失Lbox這兩部分與Faster R-CNN相同，分別用來預(yù)測目標(biāo)的類別和進(jìn)行邊界框的回歸。掩碼損失Lmask即實例分割損失，使用平均二值交叉熵?fù)p失來定義，Mask分支對于每個RoI有個k*m2個輸出，即k個類別數(shù)和每個類別所包含的分辨率為m*m的掩碼，對于每一個像素，利用了sigmoid函數(shù)計算相對熵，最后得到平均相對熵誤差，這里需要注意的是，由于掩碼分支與分類回歸分支共享一個RoI，所以對于一個確定RoI，在分類回歸分支計算出其所屬類別后，掩碼分支就僅計算這一類分類的相對熵誤差，并作為其誤差值進(jìn)行l(wèi)oss運算，這樣做可以不需要去區(qū)分每一個像素屬于哪一個類別，避免了類別競爭，最后通過與閾值0.5進(jìn)行比較，最后生成二值掩碼。

3 目標(biāo)檢測實驗與結(jié)果分析

3.1 實驗平臺配置

本次實驗平臺選用臺式計算機，其硬件環(huán)境配置為：CPU：i5-4750 3.2 GHz×4核心，GPU：NVDIA GeForce RTX2080s 8 GB，內(nèi)存：8 GB。軟件環(huán)境配置為：操作系統(tǒng)：Ubuntu 18.04.5LTS，編程語言：Python，網(wǎng)絡(luò)框架：Keras + TensorFlow1，IDE：Jupyter Notebook。

3.2 實驗方法及流程

圖像采集及數(shù)據(jù)集的建立見前文內(nèi)容。

這里用于訓(xùn)練完測試的圖片也使用前述的圖像采集方法，分別有實物圖片及仿真模型圖片。

為了提高模型的適應(yīng)性，減少對標(biāo)定數(shù)據(jù)的依賴，從側(cè)面擴大數(shù)據(jù)集，使用遷移學(xué)習(xí)的方法，使用已經(jīng)在COCO數(shù)據(jù)集上訓(xùn)練好的Mask R-CNN模型對網(wǎng)絡(luò)進(jìn)行初始化[19]。COCO數(shù)據(jù)集為微軟推出的通用數(shù)據(jù)集，包含80個語義分割的類別[20]，可以為網(wǎng)絡(luò)提供一個較優(yōu)的初始化結(jié)果。

Ring-Engine-Mask R-CNN實驗流程如圖7所示，其具體流程步驟如下：

圖7 Ring-Engine-Mask R-CNN實驗流程圖

1)采集目標(biāo)圖像，制作兩種目標(biāo)的數(shù)據(jù)集，按6：2：2的比例將其分為訓(xùn)練集、驗證集和測試集[21]。

2)搭建Ring-Engine-Mask R-CNN并配置軟件環(huán)境。

3)使用COCO數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行初始化，同時使用數(shù)據(jù)集進(jìn)行Ring-Engine-Mask R-CNN的訓(xùn)練，經(jīng)訓(xùn)練得到對應(yīng)模型。

4)使用驗證集對得到的模型進(jìn)行驗證，得檢測及分割圖像并計算mAP指標(biāo)。

5)根據(jù)檢測分割圖片及mAP指標(biāo)，重新進(jìn)行(2)～(4)步，直到效果達(dá)到預(yù)期。

3.3 實驗結(jié)果及分析

3.3.1 Ring-Engine-Mask R-CNN模型網(wǎng)絡(luò)結(jié)構(gòu)選擇

為了得到較優(yōu)的改進(jìn)網(wǎng)絡(luò)模型的性能，在實驗開始前對Ring-Engine-Mask R-CNN模型的網(wǎng)結(jié)構(gòu)進(jìn)行了多次調(diào)優(yōu)測試，使用平均交并比(mIoU，mean Intersection over Union)，來評價模型的檢測分割精度，測試的結(jié)果見表2。其中，改進(jìn)模型1、2和原Mask R-CNN在階段4擁有不同的Block數(shù)，其他階段的Block數(shù)相同，可以看到改進(jìn)模型1的的精確度較原模型有1.6%的提升。改進(jìn)模型3、4在原Mask R-CNN基礎(chǔ)上調(diào)整了階段3的Block數(shù)，但模型3改進(jìn)效果很小，模型4效果變差。改進(jìn)模型5、6在改進(jìn)模型1的基礎(chǔ)上分別將階段3改為2個Block和6個Block，其中改進(jìn)模型5的精度出現(xiàn)下降，分析原因為該模型在階段3模型使用2個Block未能充分提取訓(xùn)練集特征，而模型6的精度提高，較改進(jìn)模型1提高了3%，較原Mask R-CNN提高了5.6%。綜上，選用改進(jìn)模型6作為Ring-Engine-Mask R-CNN的最終主干網(wǎng)絡(luò)結(jié)構(gòu)，其卷積層和全連接層共68層。

表2 Ring-Engine-Mask R-CNN網(wǎng)絡(luò)參數(shù)調(diào)優(yōu)

3.3.2 不同模型性能對比

為了比較Ring-Engine-Mask R-CNN模型與現(xiàn)有模型的性能差異，使用了制作的4 000個樣本的數(shù)據(jù)集對改進(jìn)模型和基于ResNet-101的Mask R-CNN進(jìn)行訓(xùn)練。之后使用相同的測試圖片在Ring-Engine-Mask R-CNN模型與Mask R-CNN模型進(jìn)行檢測與分割，結(jié)果如圖8所示。

圖8 兩種網(wǎng)絡(luò)模型檢測分割結(jié)果比較圖

由兩種網(wǎng)絡(luò)模型檢測分割的結(jié)果圖來看：Ring-Engine-Mask R-CNN模型與原版Mask R-CNN模型均可以正確地進(jìn)行目標(biāo)分類；在分割精度上Ring-Engine-Mask R-CNN模型優(yōu)于原版Mask R-CNN模型，且在目標(biāo)較大時，Ring-Engine-Mask R-CNN在兩種目標(biāo)圖像輪廓接觸處和輪廓角較銳利處擁有更高的精度。

本研究服務(wù)于空間在軌服務(wù)，目的是檢測和分割衛(wèi)星星箭對接環(huán)和遠(yuǎn)地點發(fā)動機噴管。使用環(huán)境為太空中的星載嵌入式系統(tǒng)，這必然對模型的大小，檢測運算量和實時性有較高的要求，因此最后在這幾個方面對兩種模型進(jìn)行性能比較，結(jié)果見表3。

表3 兩種網(wǎng)絡(luò)模型性能比較

本文算法模型相比于傳統(tǒng)的Mask R-CNN網(wǎng)絡(luò)，在檢測分割精度上有5.6%的提升，說明了對于該場景下星箭對接環(huán)和發(fā)動機噴管的檢測分割，網(wǎng)絡(luò)結(jié)構(gòu)不是越復(fù)雜越好，過深的網(wǎng)絡(luò)的結(jié)構(gòu)會導(dǎo)致網(wǎng)絡(luò)分割性能的過擬合，不能很好的處理兩種目標(biāo)的邊緣接觸區(qū)的分割問題，同時還造成了運算資源的浪費。同時，也要適當(dāng)增加網(wǎng)絡(luò)中部分結(jié)構(gòu)的卷積層數(shù)，這樣可更好的提取圖形的特征信息，能使分割精度進(jìn)一步提高。改進(jìn)的Ring-Engine-Mask R-CNN模型比原版Mask R-CNN體積縮小了27.2%，檢測分割所用時間減少17.8%，同時，檢測分割精度提高了5.6%，具有較好的效果。

4 結(jié)束語

本文提出了一種改進(jìn)的衛(wèi)星目標(biāo)識別檢測實例分割網(wǎng)絡(luò)模型Ring-Engine-Mask R-CNN，可應(yīng)用于空間在軌服務(wù)的目標(biāo)航天器識別檢測中，該網(wǎng)絡(luò)模型在Mask R-CNN基礎(chǔ)上改進(jìn)了主干網(wǎng)絡(luò)結(jié)構(gòu)和分類回歸、Mask分支通道數(shù)，以便更好的適應(yīng)所需任務(wù)。

1)Ring-Engine-Mask R-CNN模型在測試集上均得了較好的效果，檢測分割精度達(dá)到了91.2%，比Mask R-CNN在同樣情況下的精度提高5.6%。相比于Mask R-CNN，在網(wǎng)絡(luò)模型規(guī)模上縮小了27.2%，檢測速度也提升17.8%。

2)改進(jìn)模型對空間衛(wèi)星目標(biāo)檢測性能較好，可用于空間在軌服務(wù)抵近?？亢妥ゲ犊刂齐A段的衛(wèi)星目標(biāo)的識別檢測。