李勝永，張智華，王超男，王 孟

(1.南通航運(yùn)職業(yè)技術(shù)學(xué)院 交通工程系，江蘇 南通 226000；2.南通大學(xué) 理學(xué)院，江蘇 南通 226000)

0 引 言

目前，實(shí)現(xiàn)圖像識(shí)別主要分為兩類，傳統(tǒng)方法和深度學(xué)習(xí)方法。傳統(tǒng)的圖像識(shí)別技術(shù)基于手工提取特征，對(duì)于應(yīng)用來說不魯棒[1]。而深度學(xué)習(xí)特別是卷積神經(jīng)網(wǎng)絡(luò)(CNN)的發(fā)展，使得在復(fù)雜背景下的高精度目標(biāo)識(shí)別技術(shù)能夠?qū)崿F(xiàn)并應(yīng)用于現(xiàn)實(shí)場景。在圖像識(shí)別的兩大基礎(chǔ)任務(wù)中，目標(biāo)檢測主要分為基于區(qū)域提議的兩階段網(wǎng)絡(luò)[2]和基于回歸的單一網(wǎng)絡(luò)[3,4]。而基于CNN的語義分割技術(shù)，實(shí)現(xiàn)像素級(jí)分類[5]。另外，一些其它技術(shù)被應(yīng)用到CNN中以提升識(shí)別效果，如擴(kuò)張卷積[6]和隨機(jī)場[7,8]。顯然，語義分割能夠?qū)AR中目標(biāo)的形態(tài)實(shí)現(xiàn)準(zhǔn)確的區(qū)域分界。最近，一些方法在語義分割中注意到時(shí)效的重要性，它們[9,10]嘗試模型壓縮以實(shí)現(xiàn)實(shí)時(shí)分割，但這些方法以犧牲精度為代價(jià)。

基于圖像識(shí)別技術(shù)，SAR圖像中的不同目標(biāo)也被大量研究，包括制作可用的公開數(shù)據(jù)集[11]和算法研究[12-16]。這些研究使用手工提取特征的傳統(tǒng)方法[13,15]或CNN方法[12,14,16]實(shí)現(xiàn)對(duì)不同目標(biāo)的檢測或解析。但值得注意的是，非常少的研究針對(duì)港口中的船只這一對(duì)國防安全以及港口調(diào)度十分重要的目標(biāo)，而基于圖像技術(shù)能夠?qū)崟r(shí)魯棒識(shí)別船只和港口區(qū)域解析的研究成果還沒有公開顯示。

針對(duì)以上問題，本文提出一種多分支融合級(jí)聯(lián)網(wǎng)絡(luò)(multi-branch fusion cascade network，MBFCN)，以實(shí)現(xiàn)SAR影像中的港口和船只目標(biāo)識(shí)別。主要貢獻(xiàn)如下：提出多分支網(wǎng)絡(luò)實(shí)現(xiàn)特征提取，結(jié)合下采樣圖像和模型壓縮方法以提升運(yùn)行速度；提出一種級(jí)聯(lián)方法以融合和細(xì)化兩不同輸出網(wǎng)絡(luò)的特征，以提升架構(gòu)的準(zhǔn)確性；將網(wǎng)絡(luò)剪枝、模型壓縮、下采樣圖像以及級(jí)聯(lián)等網(wǎng)絡(luò)加速技術(shù)融合使用；收集了一種可驗(yàn)證的港口SAR圖像數(shù)據(jù)集，可進(jìn)一步開放以供其它研究。

1 多分支融合級(jí)聯(lián)網(wǎng)絡(luò)

單任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)分為特征提取部分和特征處理部分。檢測網(wǎng)絡(luò)在CNN提取特征圖后使用anchor框用于和真實(shí)標(biāo)簽匹配以篩選出正確目標(biāo)，而場景解析分割網(wǎng)絡(luò)基于像素級(jí)分類，使用特征圖進(jìn)行逐像素分類并在分類后映射至原始圖像。所以，基于CNN實(shí)現(xiàn)目標(biāo)分割任務(wù)與檢測任務(wù)的不同之處僅在于特征圖的處理機(jī)制。MBFCN的目的是在分割配合下實(shí)現(xiàn)港口和車輛的實(shí)時(shí)識(shí)別，這需要網(wǎng)絡(luò)的參數(shù)足夠少以實(shí)現(xiàn)高速計(jì)算。所提出的架構(gòu)如圖1所示，圖中分?jǐn)?shù)(如1/8等)表示前一卷積模塊輸出的特征圖相對(duì)于原始圖像的大小。

圖1 MBFCN架構(gòu)

1.1 實(shí)時(shí)策略分析

深度學(xué)習(xí)算法雖然實(shí)現(xiàn)了目標(biāo)特征的自主學(xué)習(xí)并大大提高了圖像識(shí)別的準(zhǔn)確度。但同時(shí)也伴隨著數(shù)以萬計(jì)的數(shù)據(jù)處理，這需要依賴強(qiáng)大的硬件以支持這種運(yùn)算。這種困惑也催生了網(wǎng)絡(luò)加速技術(shù)的出現(xiàn)。目前的網(wǎng)絡(luò)加速策略主要包括3個(gè)方面，即下采樣輸入、下采樣特征以及模型壓縮。

下采樣輸入策略以原始圖像為目標(biāo)，將原始圖像下采樣為更小比例的圖像，如1/2或1/4。由于CNN主要對(duì)圖像中的每個(gè)像素點(diǎn)做特征計(jì)算，縮小圖像意味著計(jì)算量的減少。這種方法雖然極為有效，但以犧牲準(zhǔn)確度為代價(jià)，隨機(jī)處理縮小圖像會(huì)使圖像的某些重要特征丟失，尤其是面對(duì)小目標(biāo)特征，這是無法彌補(bǔ)的。

不同于下采樣輸入，下采樣特征圖是對(duì)CNN特征提取后的輸出圖做比例縮小，這仍然為了減少后續(xù)特征處理步驟的計(jì)算量，對(duì)特征圖做隨機(jī)丟棄仍然會(huì)失去某些重要特征，甚至劣于下采樣輸入策略。

模型壓縮是最現(xiàn)實(shí)的策略。它基于減少網(wǎng)絡(luò)層數(shù)或減少卷積層的濾波器數(shù)量，以從結(jié)構(gòu)上實(shí)現(xiàn)參數(shù)的減少。但這需要較好的理論計(jì)算，且不同的圖像可能需要不同的策略，并不能具有很好的通用性。減少網(wǎng)絡(luò)層數(shù)對(duì)于尺寸較大的原始圖像來說并不適用，這不能捕捉到圖像中更細(xì)微的特征。而隨機(jī)減少某一卷積層中濾波器的數(shù)量可能會(huì)導(dǎo)致精度的迅速下降。

如何將不同方法相結(jié)合，既保留較多的特征信息又能夠加快計(jì)算是值得考慮的問題。MBFCN利用以上3種策略結(jié)合的方式實(shí)現(xiàn)最終的目標(biāo)。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

MBFCN使用多尺度網(wǎng)絡(luò)實(shí)現(xiàn)不同大小目標(biāo)的特征提取。主要包括3個(gè)基礎(chǔ)CNN特征提取網(wǎng)絡(luò)和特征圖處理網(wǎng)絡(luò)。3個(gè)基礎(chǔ)CNN分別處理原始、下采樣1/2以及下采樣1/4的高中低3種分辨率圖像。其中，針對(duì)下采樣1/4的圖像輸入網(wǎng)絡(luò)最深，它是基于FCN的改進(jìn)版本，基礎(chǔ)網(wǎng)絡(luò)采用輕量化網(wǎng)絡(luò)MobileNet[17]。卷積層相應(yīng)地將輸入縮小1/8并且產(chǎn)生原始空間尺寸的1/32。然后使用幾個(gè)擴(kuò)張的卷積層來擴(kuò)大感受野而不對(duì)空間尺寸下采樣，輸出尺寸為原始的1/32的特征圖。針對(duì)下采樣1/2比例的輸入網(wǎng)絡(luò)相比于1/4比例包含更多的信息，對(duì)此該分支縮減基礎(chǔ)網(wǎng)絡(luò)的層數(shù)，僅包含MobileNet而不包含擴(kuò)張卷積模塊，這可以減少參數(shù)。另外，值得注意的是，中分辨率分支和低分辨率分支在MobileNet上實(shí)現(xiàn)權(quán)值共享，這不但壓縮了模型也加快了收斂速度，更少的迭代次數(shù)實(shí)現(xiàn)較好的結(jié)果。對(duì)于參數(shù)最多的原始圖像分支，保留大多數(shù)的小目標(biāo)信息。文獻(xiàn)[2]中表明，底層網(wǎng)絡(luò)包含較多的信息。而下采樣一定的比例并不會(huì)對(duì)圖像中包含的大目標(biāo)信息產(chǎn)生較大的影響，所以中低分辨率分支負(fù)責(zé)大目標(biāo)的精細(xì)特征提取，而高分辨率分支負(fù)責(zé)保留并提取小目標(biāo)特征。高分辨率分支僅包含3個(gè)卷積層，輸出特征圖為原始圖像的1/8。

3個(gè)分支輸出的特征圖大小并不一致，所以不能直接融合使用。為此，MBCFN使用級(jí)聯(lián)結(jié)構(gòu)(cascade structure，CS)融合兩個(gè)不同的特征圖并計(jì)算融合后的損失。級(jí)聯(lián)融合結(jié)構(gòu)如圖2所示。

圖2 CS級(jí)聯(lián)結(jié)構(gòu)

如圖2所示，給定兩個(gè)不同大小的特征圖F1和F2，其中后者的空間分辨率是前者的兩倍(這符合MBFCN這3個(gè)分支結(jié)構(gòu))，經(jīng)過處理后輸出融合后的特征圖F3。首先F1輸入結(jié)構(gòu)后使用上采樣擴(kuò)展一倍，使之與F2大小相同。然后使用3ⅹ3卷積核和擴(kuò)張為1的擴(kuò)張卷積細(xì)化上采樣后的特征圖，之后使用批量歸一化。將細(xì)化后的特征與F2使用逐像素相加后取平均的策略實(shí)現(xiàn)融合，如式(1)所示。融合后的特征通過PENLU[18]激活，最終輸出F3

(1)

其中，每個(gè)矩陣表示n×m大小的特征圖，Aij和Bij分別表示對(duì)應(yīng)特征圖中的某個(gè)元素。

高分辨率分支在經(jīng)過CS結(jié)構(gòu)后輸出圖像尺度為原始大小的1/8。此時(shí)的特征圖包含了不同大小的極其細(xì)微的特征，但圖像尺寸仍然太大。以輸入1024×1024像素圖像為例，高分辨率分支經(jīng)過CS后得到的特征圖大小為128×128，這顯然不適合后續(xù)策略。所以，在其后增加卷積層以及池化層以快速縮小圖像尺寸使得最終輸出32×32大小的特征圖。由于不需要檢測極大的目標(biāo)，所以不需要極小的特征圖。

1.3 金字塔池化分割模塊

圖像中不同目標(biāo)之間的相互關(guān)系也被稱為上下文聯(lián)系，這在語義分割中顯得不可忽略。MBFCN引入文獻(xiàn)[19]中金字塔特征模塊來處理特征圖中每個(gè)像素點(diǎn)之間的聯(lián)系。所謂上下文關(guān)系即圖像中物體之間的相互關(guān)系，即船只不可能出現(xiàn)在公路上，而應(yīng)該在水中或港口。這加強(qiáng)了特征之間的聯(lián)系。MBFCN使用的金字塔池化模塊結(jié)構(gòu)如圖3所示。

圖3 金字塔池化模塊結(jié)構(gòu)

如圖3所示，從Conv6中輸出的特征圖經(jīng)過平均池化后輸入3級(jí)網(wǎng)絡(luò)分支以聯(lián)系上下文信息。3個(gè)不同分支分別由3個(gè)卷積核大小不同的卷積層組成，卷積核分別為1×1、3×3以及5×5。不同的卷積核大小將同一特征圖拆分成不同大小的子區(qū)域，這能夠概括細(xì)節(jié)和細(xì)節(jié)周邊的相互關(guān)系。之后每個(gè)分支通過上采樣以統(tǒng)一尺度，最終輸入連接層進(jìn)行最后的預(yù)測。

在MBFCN中，每個(gè)像素點(diǎn)被Softmax分類以預(yù)測該像素的類別概率，如式(2)所示。損失函數(shù)采用交叉熵?fù)p失，它計(jì)算所有像素點(diǎn)分類損失之和，如式(3)所示

(2)

(3)

損失計(jì)算中X表示所有像素點(diǎn)的集合，Q(xij) 表示真實(shí)標(biāo)簽，而P(xij) 則為式(2)中計(jì)算的概率。

2 實(shí)驗(yàn)與評(píng)估

為了充分評(píng)估MBFCN的性能，利用公共數(shù)據(jù)集與眾多優(yōu)秀場景解析網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)對(duì)比。另外，為了驗(yàn)證所使用策略的作用，進(jìn)行消融實(shí)驗(yàn)以更具有說服力。

2.1 數(shù)據(jù)集

廣袤海洋中尋找船只極為不易，且背景單一，不利于評(píng)估架構(gòu)的性能。而公開數(shù)據(jù)集的缺乏增加了自主收集數(shù)據(jù)的必要性。港口區(qū)域內(nèi)目標(biāo)復(fù)雜，船只、車輛、機(jī)械設(shè)備以及集裝箱等共存，背景包括海洋和陸地且二者之間分界線往往是不規(guī)則的曲線分布，這給利用SAR圖像識(shí)別船只帶來的較大地干擾，也能為評(píng)估識(shí)別架構(gòu)的魯棒性提供真實(shí)的測試數(shù)據(jù)。為此，在Google Earth中收集包含眾多船只的港口區(qū)域圖像。這些區(qū)域包括長江、珠江以及東海附近的碼頭和港口。所有被收集圖像的比例尺固定為1∶100，并由一個(gè)1024×1024大小的固定框選取以避免人為手動(dòng)收集產(chǎn)生誤差。整理收集后的圖像，其中3000張被用作訓(xùn)練集，800張被用作驗(yàn)證集，235張被用作測試集。之后手動(dòng)對(duì)這些數(shù)據(jù)進(jìn)行像素點(diǎn)標(biāo)注。另外，為了增加測試難度，本文的任務(wù)不僅僅解析船只，也對(duì)陸地進(jìn)行分割解析，以分割出海岸線，海洋區(qū)域則被視為負(fù)樣本，即背景0。

2.2 評(píng)估指標(biāo)

為了更好地評(píng)估所提出算法的性能，采用均交并比(mean intersection over union，MIoU)指標(biāo)評(píng)估解析的準(zhǔn)確性。另外，執(zhí)行時(shí)間(Times)以及執(zhí)行速度(FPS)被采用以評(píng)估MBFCN的實(shí)時(shí)性。IoU在語義分割中指單個(gè)類別中真實(shí)標(biāo)簽與預(yù)測值集合的交集和并集的比值，轉(zhuǎn)換到具體的數(shù)據(jù)時(shí)即為TP(正樣本被預(yù)測為正樣本)與TP、FN(正樣本被預(yù)測為負(fù)樣本)及FP(負(fù)樣本被預(yù)測為正樣本)之和的比值，MIoU則在此基礎(chǔ)上對(duì)所有類別中的IoU求和后取類別平均，如式(4)所示

(4)

其中，k表示類別數(shù)量，在本文中k=2。

另外，執(zhí)行時(shí)間(Times)表示單張測試圖像從輸入至結(jié)果輸出所用時(shí)間(即網(wǎng)絡(luò)前向時(shí)間)。而執(zhí)行速度(FPS)表示模型每秒可處理的圖像幀數(shù)。

2.3 實(shí)驗(yàn)過程

實(shí)驗(yàn)基于深度學(xué)習(xí)框架Caffe[20]，使用兩張NVIDIA GeForce 1070 GPU并行訓(xùn)練，測試時(shí)使用單張GPU。另外，所有的實(shí)驗(yàn)均使用CUDNN 5.1以及CUDA 8.0加速優(yōu)化。由于MBFCN沒有合適的預(yù)訓(xùn)練模型，所以采用了數(shù)據(jù)增強(qiáng)進(jìn)行原始訓(xùn)練，數(shù)據(jù)增強(qiáng)的方法包括鏡像和隨機(jī)翻轉(zhuǎn)。訓(xùn)練時(shí)的參數(shù)設(shè)置為：原始輸入圖像為1024×1024，高分辨率圖像由原始圖像直接輸入；中分辨率分支由原始圖像下采樣至512×512后輸入；低分辨率圖像由原始圖像下采樣至256×256后輸入；批量大小為12；初始學(xué)習(xí)率為0.01；學(xué)習(xí)率衰減方式為多項(xiàng)式衰減(poly)，衰減功率為0.9；優(yōu)化方式采用Adam優(yōu)化；權(quán)重衰減為0.0001，動(dòng)量為0.9；最大迭代次數(shù)為60 000。所有的消融實(shí)驗(yàn)均基于此設(shè)置標(biāo)準(zhǔn)。另外，復(fù)現(xiàn)了其它先進(jìn)場景解析架構(gòu)在本數(shù)據(jù)集中的表現(xiàn)，經(jīng)過多次參數(shù)優(yōu)化使之實(shí)現(xiàn)最好的效果。

2.4 結(jié)果分析

實(shí)驗(yàn)分為兩個(gè)部分，消融實(shí)驗(yàn)以驗(yàn)證所使用不同策略的有效性，而與先進(jìn)架構(gòu)的對(duì)比實(shí)驗(yàn)以驗(yàn)證MBFCN的先進(jìn)性。

2.4.1 消融實(shí)驗(yàn)

實(shí)驗(yàn)被分為兩組，一組驗(yàn)證分支級(jí)聯(lián)架構(gòu)，另一組在分支級(jí)聯(lián)架構(gòu)基礎(chǔ)上使用特征金字塔結(jié)構(gòu)。第一組實(shí)驗(yàn)中又分為7個(gè)部分，分別為完整的分支級(jí)聯(lián)結(jié)構(gòu)、每個(gè)分支單獨(dú)作用以及3分支兩兩組合以驗(yàn)證完整級(jí)聯(lián)架構(gòu)的優(yōu)秀。實(shí)驗(yàn)結(jié)果見表1。表1中以數(shù)字A、B、C分別表示低、中、高分辨率3個(gè)子分支，ABC則表示完整的分支級(jí)聯(lián)架構(gòu)，AB、BC及AC表示兩兩組合的雙分支結(jié)構(gòu)。所有單分支均使用原始圖像直接輸入。使用雙分支結(jié)構(gòu)時(shí)，較低分辨率分支由原始圖像下采樣1/2后輸入。

表1 分支級(jí)聯(lián)架構(gòu)結(jié)果對(duì)比

由表1結(jié)果可知，只使用高分辨率分支速度最快，但這以大大犧牲精度為代價(jià)，實(shí)際速度已經(jīng)遠(yuǎn)遠(yuǎn)超過現(xiàn)實(shí)需求。另外，雙分支結(jié)構(gòu)在準(zhǔn)確度相差無幾的情況下能有效提高運(yùn)算速度，這驗(yàn)證了級(jí)聯(lián)結(jié)構(gòu)的優(yōu)勢。完整的三分支級(jí)聯(lián)結(jié)構(gòu)在MIoU指標(biāo)中表現(xiàn)最好，且速度相比高精度的單分支結(jié)構(gòu)擁有優(yōu)勢，實(shí)現(xiàn)了18FPS。這驗(yàn)證了MBFCN能夠在保證速度的前提下實(shí)現(xiàn)最好的像素解析效果。低分辨率分支能夠較好地學(xué)習(xí)較大范圍目標(biāo)的特征而高分辨率分支能夠較好地保留小目標(biāo)信息。

消融實(shí)驗(yàn)的第二項(xiàng)測試金字塔池化模塊。這項(xiàng)工作主要驗(yàn)證金字塔池化結(jié)構(gòu)對(duì)于目標(biāo)間聯(lián)系的重要性。選用表1中ABC分支結(jié)構(gòu)為基礎(chǔ)網(wǎng)絡(luò)搭配特征金字塔池化與單一池化網(wǎng)絡(luò)對(duì)比。實(shí)驗(yàn)結(jié)果見表2。1×1、3×3以及5×5分別表示池化層后單獨(dú)使用該卷積核大小的一個(gè)卷積，1+3表示使用1×1和3×3兩個(gè)并行卷積，3+5表示使用3×3和5×5兩個(gè)并行卷積，而1+3+5表示使用如圖3中的完整金字塔池化模塊。需要注意的是，本實(shí)驗(yàn)關(guān)注的重點(diǎn)是實(shí)驗(yàn)的準(zhǔn)確度，所以表2中只統(tǒng)計(jì)MIoU指標(biāo)。

表2 金字塔池化模塊實(shí)驗(yàn)結(jié)果

由表2結(jié)果可知，1ⅹ1單卷積核相比于3×3及5×5卷積核效果更好，這是因?yàn)?×1卷積核能夠細(xì)化特征。另外，使用雙卷積均優(yōu)于單獨(dú)使用其中之一。而完整的金字塔池化模塊結(jié)果最優(yōu)則驗(yàn)證了目標(biāo)之間聯(lián)系的重要性。圖4顯示了單獨(dú)使用1×1卷積核與使用完整金字塔池化模塊識(shí)別效果圖，其中黑色背景被視為海洋?？梢钥闯霾皇褂媒鹱炙K可能會(huì)將陸地上其它類似物體識(shí)別為船只，而金字塔池化模塊可以有效避免。

圖4 單卷積池化模塊與金字塔池化模塊識(shí)別對(duì)比

2.4.2 與先進(jìn)架構(gòu)的性能比較

FCN[5]、PSPNet[19]、SegNet[10]、ENet[9]等作為目前最先進(jìn)的深度學(xué)習(xí)方法被用于驗(yàn)證MBFCN的性能，這些架構(gòu)按照作者最先進(jìn)的操作方式復(fù)現(xiàn)在提出的數(shù)據(jù)集中。統(tǒng)計(jì)指標(biāo)包括MIoU、運(yùn)行時(shí)間以及測試速度，而被對(duì)比的原始架構(gòu)采用其它評(píng)估指標(biāo)時(shí)轉(zhuǎn)換為MIoU指標(biāo)。實(shí)驗(yàn)結(jié)果見表3。

表3 MBFCN與先進(jìn)架構(gòu)的對(duì)比

由表3中實(shí)驗(yàn)結(jié)果可知MBFCN識(shí)別結(jié)果最好，領(lǐng)先PSPNet達(dá)1.29%，且在速度指標(biāo)上遠(yuǎn)遠(yuǎn)領(lǐng)先PSPNet。另外，MBFCN的速度排在所有架構(gòu)中的第二位，超過18 FPS，但在MIoU指標(biāo)上大幅領(lǐng)先其它實(shí)時(shí)架構(gòu)，這表明MBFCN性能均衡。圖5顯示了MBFCN分割結(jié)果。圖5中分割結(jié)果與真實(shí)標(biāo)簽對(duì)比顯示了良好的適用性。

圖5 MBFCN分割結(jié)果

3 結(jié)束語

使用Google Earth中采集的多樣化圖像數(shù)據(jù)進(jìn)行測試，結(jié)果表明了提出的多分支融合級(jí)聯(lián)網(wǎng)絡(luò)能夠識(shí)別到大部分的船只目標(biāo)，對(duì)港口區(qū)域的邊界分割也較為準(zhǔn)確，這表明了MBFCN的適用性。與眾多先進(jìn)架構(gòu)和自身消融結(jié)構(gòu)的測試結(jié)果對(duì)比表明，不同分辨率的多分支表現(xiàn)優(yōu)于其它先進(jìn)單一網(wǎng)絡(luò)結(jié)構(gòu)，融合多種加速優(yōu)化策略綜合表現(xiàn)優(yōu)于單獨(dú)的模型壓縮或剪枝。值得注意的是，MBFCN在細(xì)節(jié)處仍然存在表現(xiàn)不佳的情況，例如船只邊界模糊不清，這需要更加精細(xì)的特征。MBFCN有助于利用SAR影像多用途海上偵測和港口船只調(diào)度等任務(wù)，為進(jìn)一步提升港口智能化管理以及監(jiān)測提供一種新的參考方法。MBFCN顯示了在復(fù)雜背景下優(yōu)秀的識(shí)別能力，未來將盡可能將其擴(kuò)展至其它SAR圖像目標(biāo)識(shí)別領(lǐng)域，并繼續(xù)優(yōu)化模型以捕捉更精細(xì)的特征。