朱柏松,王燕妮

(西安建筑科技大學(xué)信息與控制工程學(xué)院,陜西 西安 710055)

0 引言

目標(biāo)檢測是計算機視覺中一項基本任務(wù),它是圖像分割、目標(biāo)跟蹤、動作分析等高級任務(wù)的重要基石。近些年來提出的許多優(yōu)秀目標(biāo)檢測算法逐漸成為社會生活中一些關(guān)鍵技術(shù)的核心,這些技術(shù)在智慧鄉(xiāng)村建設(shè)、智能交通管理、人臉識別等現(xiàn)實問題中發(fā)揮了巨大的作用。

隨著深度學(xué)習(xí)技術(shù)的進步,基于深度學(xué)習(xí)的目標(biāo)檢測算法也取得了顯著的成果。目標(biāo)檢測算法主要衍化為兩種不同類型的方法,就結(jié)構(gòu)流程而言,它們主要分為單階段目標(biāo)檢測方法和雙階段目標(biāo)檢測方法[1]。其中,雙階段目標(biāo)檢測算法是在Girshick等人率先提出的R-CNN算法的基礎(chǔ)上展開的[2]。R-CNN利用選擇性搜索算法獲取候選區(qū)域,通過卷積神經(jīng)網(wǎng)絡(luò)提取區(qū)域特征[3],最后通過支持向量機(support vector machine,SVM)進行分類[4]。Faster-R-CNN是在前人研究的基礎(chǔ)上利用候選區(qū)域生成網(wǎng)絡(luò)替換了傳統(tǒng)的選擇性搜索算法[5]。另一類則不需要產(chǎn)生候選區(qū)域,采用端到端的方式,直接進行分類和回歸。代表算法有SSD(single shot mutlibox detector)[7-9],YOLO(you only look once)等[10-11]。YOLO系列算法不再采用窗口滑動,而是將原始圖像分割成互補重合的小方塊,再通過卷積產(chǎn)生不同大小的特征圖[12]。SSD算法則是利用卷積神經(jīng)網(wǎng)絡(luò)提取了不同尺度的特征圖,從而實現(xiàn)對不同尺度物體的檢測[13]。

在計算機視覺領(lǐng)域,一個極具挑戰(zhàn)性的研究方向是小目標(biāo)檢測。小目標(biāo)物體存在缺乏物體代表性特征等問題,而現(xiàn)有的檢測算法通常專注于檢測全尺寸目標(biāo),沒有對小目標(biāo)的檢測進行專有的優(yōu)化。主流的目標(biāo)檢測算法重復(fù)使用池化層、卷積層等提取高級語義信息導(dǎo)致淺層信息不可避免的流失[14]。SSD算法使用多尺度特征并根據(jù)特征層的感受野大小設(shè)置相應(yīng)的先驗框,從而檢測不同尺度和縱橫比的目標(biāo)。但是由于每個特征層獨立使用,導(dǎo)致對小目標(biāo)的檢測效果并不理想[15-16]。文獻[17]提出了一種結(jié)合特征金字塔(feature pyramid net-works,FPN)的改進算法,采用自上而下的融合方式結(jié)合了不同尺度的特征信息,提高了小目標(biāo)的檢測能力。而后NAS-FPN[18]、PANet(path-aggregation network)[19]、BiFPN[20]等性能也取得了一定進步,但是其結(jié)構(gòu)相對FPN優(yōu)化仍然較少,對于淺層特征信息的利用并不充足。

針對現(xiàn)階段小目標(biāo)檢測算法精度不佳且計算資源耗費多的問題,本文設(shè)計了一種輕量化的跨層特征融合算法。

1 理論基礎(chǔ)

1.1 SSD算法

SSD算法是一種基于深度學(xué)習(xí)的單階段多尺度目標(biāo)檢測算法,它繼承了YOLO算法中回歸的思想和Faster R-CNN的錨框機制,直接在特征圖中生成先驗框的坐標(biāo)和分類概率。SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。其中主干網(wǎng)絡(luò)選用VGG16,并添加了多個卷積層用于提取圖像的更深層特征,整個網(wǎng)絡(luò)由VGG16和附加的卷積層級聯(lián)而成。

圖1 SSD網(wǎng)絡(luò)示意圖Fig.1 Network diagram of SSD

SSD算法在網(wǎng)絡(luò)后端構(gòu)造了一個檢測器,用于對多尺度特征圖進行回歸和分類[18]。網(wǎng)絡(luò)總共提取6個特征圖輸送到檢測器實現(xiàn)回歸和目標(biāo)種類預(yù)測,其中感受野大的深層特征圖用于預(yù)測大目標(biāo),感受野小的淺層特征圖用于預(yù)測小目標(biāo)。由于特征圖中每個像素點都會生成不同尺度的先驗框用于和真實框計算誤差,很大程度上增加了計算量,于是,使用非極大抑制算法(non maximum suppression,NMS),消除冗余預(yù)測框以獲得最優(yōu)預(yù)測框。

1.2 MobileNetV2網(wǎng)絡(luò)

MobileNetV2網(wǎng)絡(luò)是谷歌研發(fā)的應(yīng)用于移動端和終端的邊緣計算網(wǎng)絡(luò)[21],區(qū)別于其他復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)模型更小且相對精確。它的主要創(chuàng)新點是倒殘差結(jié)構(gòu)(inverted residuals,IR)和線性瓶頸層[22]。

殘差結(jié)構(gòu)是文獻[23]提出的Resenet網(wǎng)絡(luò)結(jié)構(gòu)中的一個重要創(chuàng)新結(jié)構(gòu),其目的是為了解決隨著網(wǎng)絡(luò)深度的加深帶來的梯度爆炸和消失。它的優(yōu)勢是使網(wǎng)絡(luò)加深的同時保證良好的信息獲取[24]。為了解決移動端算力資源受限的問題,MobileNetV2中構(gòu)建了倒殘差結(jié)構(gòu)以實現(xiàn)網(wǎng)絡(luò)的輕量化。倒殘差結(jié)構(gòu)是建立在深度可分離卷積之上的,通過將傳統(tǒng)卷積分解為深度可分離卷積和逐點卷積,從而使計算量減小。第一部分稱為深度卷積(depth-wise,DW),它對每一個輸入通道使用一個卷積濾波器以完成輕量化濾波;第二部分是1×1逐點卷積(point-wise,PW),它通過分析輸入通道的線性關(guān)系來構(gòu)建新特征。與普通深度可分離卷積不同的是,MobileNetV2創(chuàng)造性地在DW之前又新增了一個PW,從而構(gòu)成了倒殘差結(jié)構(gòu)。MobileNetV2的另一創(chuàng)新點是線性瓶頸層,即在每個微結(jié)構(gòu)的末層將容易造成信息損失的激活函數(shù)ReLU替換成線性激活函數(shù)ReLU6,函數(shù)曲線如圖2所示。基本單元模塊結(jié)構(gòu)如圖3所示,圖中分別為stride=1和stride=2時的結(jié)構(gòu)。MobileNetV2的整體網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 MobileNetV2結(jié)構(gòu)Tab.1 Structure of MobileNetV2

圖2 Relu6激活函數(shù)曲線Fig.2 Relu6 activation function curve

圖3 MobileNetV2的基本單元模塊Fig.3 Basic unit module of MobileNetV2

2 算法改進

MobileNetV2-SSD相對SSD算法雖然在參數(shù)量上得到大幅度降低,但是與SSD算法類似,不考慮不同層之間的關(guān)系,每個特征層都是獨立使用的。淺層特征層中缺乏高級語義信息,因此對小目標(biāo)的檢測效果不佳。FPN等特征融合方法雖然在一定程度上利用了淺層細節(jié)信息,但是淺層信息在傳遞過程中仍然損失較多,實際效果并不理想。

為解決現(xiàn)有算法對小目標(biāo)檢測效果不佳的相關(guān)問題,提出一種兩階段的特征融合方法。首先使用嵌入了坐標(biāo)注意力機制(coordinate attention,CA)模塊的MobileNetV2作為骨干網(wǎng)絡(luò),同時采用倒殘差模塊替換額外的卷積層進一步降低模型參數(shù)量;設(shè)計了特征交叉融合模塊,初步聚合底層特征信息;在PANet的基礎(chǔ)上,添加跨層連接路徑進一步豐富網(wǎng)絡(luò)中非相鄰的深層和淺層特征。加入輕量化的注意力機制模塊ECA(efficient channel attention module),從而突出關(guān)鍵部位特征而抑制無用信息。具體結(jié)構(gòu)圖如圖4所示。

圖4 本文模型結(jié)構(gòu)圖Fig.4 Structure diagram of this model

2.1 網(wǎng)絡(luò)復(fù)雜度分析

使用MobileNetV2做為骨干網(wǎng)絡(luò)有兩個原因:第一個是深度可分離卷積方法中,在輸入的每個通道上都獨立執(zhí)行空間卷積;另一個是雖然深度卷積無法升維,但逐點卷積起到了一個升維的作用,使深度卷積可以在高維度工作,從而減少計算量。標(biāo)準(zhǔn)卷積的參數(shù)大小為K×K×C1×C2,其中K為卷積核的寬和高,C1和C2分別為輸入通道數(shù)和輸出通道數(shù)。

深度可分離卷積參數(shù)量為K×K×C1+1×1×C1×C2。所以可以推出,使用深度卷積之后,參數(shù)縮小倍數(shù)為

(K×K×C1+1×1×C1×C2)/(K×K×C1×C2)=
(1/C2)+(1/K2)。

2.2 改進的MobileNetV2-SSDLite網(wǎng)絡(luò)

MobileNetV2中靠前端的bottleneck模塊,與原SSD的淺層網(wǎng)絡(luò)性能類似,其特征圖雖然分辨率比較高,位置細節(jié)信息豐富,對小目標(biāo)比較敏感,但是未經(jīng)過一定數(shù)量的卷積操作提取特征,所以其中用來分類的高級語義信息比較少,噪聲較多。針對這一情況,本文在MobileNetV2中前部的3個倒殘差模塊中嵌入了坐標(biāo)注意力機制模塊,從而捕獲具有精準(zhǔn)位置信息的空間長距離依賴性,用于增強淺層網(wǎng)絡(luò)的特征提取能力。圖5所示為添加CA模塊前后的類激活熱力圖對比,圖5(a)為原圖,圖5(b)為不添加CA模塊模型輸出的熱力圖,圖5(c)為添加CA模塊模型輸出的熱力圖。圖中高亮區(qū)域為本文模型所關(guān)注的目標(biāo),可以發(fā)現(xiàn)添加CA模塊后輸出的熱力圖中,高亮區(qū)域的目標(biāo)輪廓更為清晰。

圖5 CA熱力圖對比Fig.5 Comparison of CA heat maps

坐標(biāo)注意力機制是一種輕量化和高效的注意力機制,它巧妙地將位置信息融入進通道注意力中,允許網(wǎng)絡(luò)在更大的范圍內(nèi)提取特征。首先,將通道注意力分解為兩個特征編碼過程,即垂直和水平方向,從而獲得一對具有方向感知的特征圖。通過這種處理,可以在空間方向上捕獲遠程相關(guān)性,而在另一個空間方向上保持精確的位置信息。然后,將獲得的特征進行擴展,并分別用作水平坐標(biāo)和垂直坐標(biāo)的注意力權(quán)重。CA模塊具體結(jié)構(gòu)如圖6所示。

圖6 CA模塊結(jié)構(gòu)Fig.6 CA module structure

同時,借鑒SSDlite[25]的思想,去掉MobileNetV2中的池化層和全連接層,將原SSD中額外的卷積層替換為四個額外的標(biāo)準(zhǔn)倒殘差模塊(extra inverted residual,EIR),從而使網(wǎng)絡(luò)更加輕量化。

2.3 跨層級特征交叉融合和感受野擴張模塊

FPN采用的自上而下的融合方式,通過上采樣將高層特征和底層特征相融合,雖然增強了模型對圖像特征的學(xué)習(xí)能力,但淺層特征在傳遞過程中大幅度丟失,最終導(dǎo)致用于分類和回歸的特征圖中細節(jié)信息較少,不利于小目標(biāo)的檢測。PANet在FPN基礎(chǔ)上通過添加自下而上的融合路徑傳遞更多的底層特征信息,從而彌補FPN的不足。但是面對密集小目標(biāo)場景和一些特殊場景,PANet則表現(xiàn)出對小目標(biāo)特征學(xué)習(xí)能力的不足。

在此基礎(chǔ)上本文提出一種兩階段的特征融合網(wǎng)絡(luò)。在第一階段,提出特征交叉融合模塊(feature cross fusion moudle,FCFM)。該模塊延續(xù)了SSD算法中抽取多尺度特征圖進行檢測的優(yōu)點,但是打破了一般特征融合中逐級融合的理念,這種新的融合方法呈現(xiàn)了一種“階躍式”的特征選擇,即交叉抽取不同層級且通道數(shù)跨度較大的特征層。在融合方式中通過添加額外的路徑,可以有效避免淺層特征不可挽回的流失。通過重復(fù)利用淺層特征,可以在不同深度的低層級特征中逐次融入更為多樣化的深層特征。首先從主干網(wǎng)絡(luò)MobileNetV2中尾部抽取3個倒殘差模塊輸出的特征層IR1,IR2,IR3,再從extra部分抽取EIR4,EIR5,EIR6,EIR7,最后將這7個特征層重復(fù)交叉融合送入第二階段的網(wǎng)絡(luò)中從而充分利用語義信息和文本特征。具體步驟:將IR1,IR2,EIR4融合,生成新特征層IR1_1;將IR2,EIR4,EIR5融合,生成新特征層IR1_2;將IR3,EIR5,EIR6融合,生成新特征層IR1_3;最后將EIR6,EIR7融合,生成IR1_4。具體結(jié)構(gòu)如圖7所示。

圖7 特征交叉融合模塊Fig.7 Feature intersection and fusion module

所抽取的特征圖IR1,IR2,IR3由骨干網(wǎng)絡(luò)中最后3個倒殘差層輸出,其網(wǎng)絡(luò)層級較淺,包含了較多的淺層信息。而添加的4個額外層輸出的EIR4,EIR5,EIR6,EIR7經(jīng)過一系列卷積操作,相對淺層網(wǎng)絡(luò)已經(jīng)獲得了更為抽象的高級語義特征。在第一階段中多次重復(fù)使用了IR2,IR3,EIR4等相對低層級的特征圖,并使之與深層特征圖融合,初步整合了一定的淺層細粒度信息和深層粗粒度信息,保留了更多的底層特征。

針對小目標(biāo)分辨率低,易融于背景的特點,為了能準(zhǔn)確定位各種小目標(biāo),則需要獲取小目標(biāo)周圍更多的上下文信息。在神經(jīng)網(wǎng)絡(luò)中,一般通過下采樣來獲取更多的上下文信息。然而過多的下采樣會導(dǎo)致信息的損失和增加網(wǎng)絡(luò)模型的計算量,所以受到文獻[26-27]啟發(fā)在新的特征融合結(jié)構(gòu)中添加了基于殘差結(jié)構(gòu)的擴張感受野模塊 (residual dilated module,RDM),利用擴張卷積獲得更多的上下文信息以適應(yīng)本文任務(wù)。RDM如圖8所示。

圖8 擴張感受野模塊Fig.8 Extended receptive field module

在本文的一階段特征融合模塊中,根據(jù)輸入特征圖尺度的不同,在輸入淺層特征圖的RDM模塊里設(shè)置了不同大小擴張率的擴張卷積來擴大感受野。利用殘差結(jié)構(gòu)的思想,RDM模塊具體運作方式是將輸入特征圖分配給3個擴張率不同的支路進行特征提取,并與具有全局感受野的原始特征圖進行融合。其中,感受野的計算公式為

R=(D-1)(k-1)+k,

(1)

式(1)中,D是擴張率,k是卷積核的大小。根據(jù)式(1),RDM1中擴張率分別為1,12,18;RDM2中擴張率分別為1,6,8;RDM3中擴張率分別為1,2,4。在特征融合結(jié)構(gòu)中應(yīng)用具有不同擴張率的RDM模塊,可以有效豐富特征圖的上下文信息。另外,在融合結(jié)構(gòu)末端添加ReLU函數(shù),可以使網(wǎng)絡(luò)具有稀疏性,避免過擬合的發(fā)生以及擁有更好的預(yù)測性能。同時,特征融合模塊使用了上采樣來提升深層特征圖的尺度與淺層特征圖保證一致從而完成特征融合,這一過程是利用轉(zhuǎn)置卷積完成的。圖9所示為普通卷積和轉(zhuǎn)置卷積。

圖9 普通卷積和轉(zhuǎn)置卷積Fig.9 Ordinary convolution and transposed convolution

為了進一步提升PANet結(jié)構(gòu)對淺層信息的利用率,添加了3條水平連接路徑,即第二階段的跨層特征融合。對于第一階段生成的IR1_1,IR1_2,IR1_3,IR1_4采用改進的自下而上的融合方式。骨干網(wǎng)絡(luò)中最后3個倒殘差層所處網(wǎng)絡(luò)層級較淺,于是重復(fù)利用其生成的淺層特征圖IR1,IR2,IR3,將前一模塊生成的特征圖進行相應(yīng)倍數(shù)的下采樣,然后與之分別相加融合,得到新的特征圖。同時改變了一般意義上PANet的結(jié)構(gòu),IR1_4由網(wǎng)絡(luò)層級較深的EIR6,EIR7融合而成,其包含的更多粗粒度的信息,于是不將其加入PANet結(jié)構(gòu)以減少特征融合時產(chǎn)生的噪聲和額外的參數(shù)量,具體結(jié)構(gòu)如圖10所示。

圖10 跨層融合模塊Fig.10 Cross-layer fusion module

這樣進一步將底層和高層信息流同步整合到網(wǎng)絡(luò)結(jié)構(gòu)中,特征提取更具有魯棒性和區(qū)分度。圖11所示為第一、第二階段特征融合可視化的分步仿真結(jié)果,可以看出在一階段中初步聚合淺層特征后,特征圖聚合的主要是輪廓、紋理、位置等細粒度信息,在經(jīng)過第二階段模塊后,可以發(fā)現(xiàn)特征圖更加抽象化。最后在網(wǎng)絡(luò)末端添加ECA模塊,抑制冗余特征的影響,該模塊通過捕捉相鄰?fù)ǖ篱g的交互關(guān)系從而關(guān)注模型感興趣的區(qū)域,如圖12所示為ECA模塊的類激活熱力圖,圖12(a)為原圖,圖12(b)為不添加ECA模塊模型輸出的熱力圖,圖12(c)為添加ECA模塊模型輸出的熱力圖?？梢钥闯鎏砑覧CA模塊輸出后的熱力圖中,背景信息被更加有效地抑制,突出關(guān)鍵部位特征。

圖11 特征圖可視化Fig.11 Visualization of feature map

圖12 ECA熱力圖對比Fig.12 Comparison of ECA heat maps

2.4 數(shù)據(jù)增強

數(shù)據(jù)增強也叫數(shù)據(jù)增廣,實際內(nèi)容是在不增加新數(shù)據(jù)的情況下,讓原有的數(shù)據(jù)集通過裁剪、旋轉(zhuǎn)等方式,產(chǎn)生與增加數(shù)據(jù)相同的效果。為了達到更好的訓(xùn)練效果,本文通過旋轉(zhuǎn)、裁剪、位移、噪聲等數(shù)據(jù)增強方式,阻止了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不相關(guān)的特征,使輸入到神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集多樣化,從而增強了模型的訓(xùn)練效果。

2.5 損失函數(shù)

訓(xùn)練模型的過程本質(zhì)是使用梯度優(yōu)化函數(shù)降低損失值的過程,同時對位置和目標(biāo)種類進行回歸,所以本文損失函數(shù)沿襲了SSD算法,包括類別損失和定位損失兩部分[28],表達式為

(2)

其中置信度損失就是多種類別的softmax函數(shù)損失:

(3)

(4)

(5)

3 實驗分析

3.1 實驗準(zhǔn)備

3.1.1實驗平臺和參數(shù)設(shè)置

模型搭建使用的硬件設(shè)備:CPU Intel Xeon E5-2686 v4,GPU為NVIDIA 3090,內(nèi)存64 GB,顯存24 GB。操作系統(tǒng)為Windows10 64位,使用python3.8作為編程語言,基于深度學(xué)習(xí)框架pytorch 1.8完成訓(xùn)練和測試。優(yōu)化器使用收斂速度較快的Adam。

在VOC2007+2012數(shù)據(jù)集上訓(xùn)練,損失函數(shù)曲線如圖13所示。訓(xùn)練參數(shù)設(shè)置如表2所示。

表2 訓(xùn)練參數(shù)設(shè)置Tab.2 Training parameter setting

圖13 迭代曲線Fig.13 Iteration curve

3.1.2數(shù)據(jù)集

為了評估改進后的算法性能,選取了PASCAL VOC數(shù)據(jù)集進行訓(xùn)練和驗證。VOC2007包含訓(xùn)練集5 011張,測試集4 952張;VOC2012中包含訓(xùn)練集5 717張,驗證集5 823張。其中包含了21個類別(包括背景),如人、貓、馬、飛機、自行車、船、餐桌、盆栽植物等。訓(xùn)練階段使用VOC2007+2012,共16 551張圖片。測試階段使用VOC2007評估算法性能,共4 952張圖片。

3.1.3評價指標(biāo)

采用平均精度值(mean average precision,mAP)和檢測速度(frames per second,FPS)作為評價模型的主要指標(biāo)。FPS是指每秒可以檢測圖像的幀數(shù)。mAP是所有類別精確度(average precision,AP)的平均值,AP實際上是指利用精度值為縱軸,召回率的值為橫軸組成的曲線包絡(luò)出的面積。計算公式為

(6)

式(6)中,k表示目標(biāo)任務(wù)的類別,APi為第i類的平均精度值。

3.2 實驗結(jié)果定量分析

3.2.1模型性能客觀評價

為了綜合比較算法的性能,將改進的算法和一些主流目標(biāo)檢測算法Faster R-CNN,DSSD,YOLOv5s等進行對比,詳細結(jié)果如表3所示。與SSD算法相比,改進后的算法在檢測精度上與其基本保持持平,但模型體積下降了4倍多,有利于植入內(nèi)存受限的設(shè)備;與Faster-RCNN相比,檢測精度提升了3.6%,但是模型體積卻大幅度下降,符合輕量化模型的要求;與YOLOv5s相比,雖然精度輕微下降,但是模型體積得到了大幅減少?？傮w而言,改進后的模型在保證輕量化的同時,檢測精度也有了一定的提升,檢測速度的犧牲也控制在了較小的范圍。

表3 不同算法在PASCL VOC 2007測試集上檢測結(jié)果對比Tab.3 Comparison of detection results of different algorithms on PASCL VOC 2007 test set

為了更清晰地比較改進后的算法與其他輕量化目標(biāo)檢測算法對小目標(biāo)的檢測性能,從VOC數(shù)據(jù)集中的20個類別里挑選了6種具有代表意義的小目標(biāo)類別,如表4所示為不同輕量化模型在這6種類別上的檢測精度。可以發(fā)現(xiàn),改進后的算法相對于基線算法MobileNetV2+SSD和MobileNetV3+SSD分別提升了4.5%和3.9%。MobileNetV2+SSD的模型體積為18.6 MB,改進后的算法僅多耗費6.8 MB即在小目標(biāo)類別上有了較多的提升,證明了本文模型針對小目標(biāo)檢測問題所做改進的有效性。

表4 小目標(biāo)類別檢測結(jié)果對比Tab.4 Comparison of detection results of small target categories

3.2.3消融實驗

為了能夠直觀地反映出本文中各模塊對模型整體性能的貢獻,在VOC2007測試集上進行消融實驗的驗證,具體結(jié)果如表5所示?？梢钥闯?在骨干網(wǎng)絡(luò)MobileNetV2中加入CA注意力模塊之后,準(zhǔn)確度提升了0.7%,證明CA注意力模塊增強了骨干網(wǎng)絡(luò)的特征提取,有利于小目標(biāo)檢測。加入FCFM模塊后,發(fā)現(xiàn)準(zhǔn)確度提升了1.8%,證明一階段的特征交叉融合在一定程度上聚合了深層和淺層特征。加入跨層融合模塊(cross-layer connection module,CLF)后,準(zhǔn)確度提升了1.5%,證明所提出的跨層級特征融合模塊可以進一步聚合深層和淺層特征,更充分地利用細節(jié)信息。為了驗證添加不同注意力機制模塊對模型的增益,選取SE(squeeze excitation)和ECA模塊進行對照實驗,結(jié)果表明添加ECA模塊對模型檢測精度提升效果更好。

表5 消融實驗結(jié)果Tab.5 Reuslts of ablation experiments

3.3 實驗結(jié)果定性分析

為了能直觀地展示改進后的算法針對小目標(biāo)檢測問題的有效性,在不同室內(nèi)外環(huán)境、小目標(biāo)尺度多變、目標(biāo)與環(huán)境存在遮擋關(guān)系等場景下改進后的算法與MobileNetV2+SSD算法的檢測結(jié)果對比如圖14所示。

圖14 檢測結(jié)果對比Fig.14 Detection results of algorithm

可以看出,MobileNetV2+SSD算法對于密集、微小目標(biāo)以及相互遮擋的目標(biāo)等出現(xiàn)漏檢的情況,而改進后的算法對于圖片中小型目標(biāo)的檢測效果有著明顯提升。不管是單個、密集還是存在遮擋的小目標(biāo),改進后的算法相對基線算法都可以準(zhǔn)確檢測出更多目標(biāo),表現(xiàn)了更好的檢測效果,證明了本文改進算法的有效性。

3.4 遷移實驗

小目標(biāo)往往因重疊或者背景的影響而出現(xiàn)漏檢,只在稀疏的小目標(biāo)或者簡單場景下的小目標(biāo)檢測效果有提升,并不能體現(xiàn)模型的泛化能力。為了驗證本文模型的魯棒性和泛化能力,將本文在VOC2007+2012的數(shù)據(jù)集中訓(xùn)練好的模型遷移到密集,復(fù)雜室內(nèi)外場景的目標(biāo)檢測中。從COCO數(shù)據(jù)集和VOC2007測試集中挑選了100張室內(nèi)外復(fù)雜密集場景的圖片組成遷移數(shù)據(jù)集進行遷移實驗。MobileNetV2+SSD算法和改進后的算法在遷移數(shù)據(jù)集上的mAP分別為70.3%和73.9%,改進后的算法提升了3.6%。遷移實驗對比結(jié)果如圖15所示。從結(jié)果可以發(fā)現(xiàn),本文模型相較于基線算法,在密集小目標(biāo)的檢測效果上表現(xiàn)了更為優(yōu)秀的檢測能力,這是由于所提出的兩階段的特征融合網(wǎng)絡(luò)更充分地聚合了深層和淺層特征信息。

圖15 遷移實驗對比Fig.15 Migration experiment comparison

4 結(jié)論

本文針對目標(biāo)檢測模型因內(nèi)存受限而對小目標(biāo)檢測精度不佳的問題,在MobileNetV2-SSDLite算法的基礎(chǔ)上,設(shè)計了兩階段的特征融合方式:第一階段利用所設(shè)計的交叉融合模塊初步聚合淺層特征,同時在路徑中部署了基于殘差結(jié)構(gòu)的多支路擴張感受野模塊以獲得更多小目標(biāo)相關(guān)的上下文信息;第二階段設(shè)計了基于PANet的跨層級融合模塊,進一步整合深層和淺層特征。本文模型在公開的PASCAL VOC2007test上進行驗證,與基線算法相比準(zhǔn)確度提升了4.5%;在遷移實驗中的小目標(biāo)數(shù)據(jù)集上進行驗證時,準(zhǔn)確度提升了2.6%。證明了本文算法有效改善了基線算法在小目標(biāo)檢測上存在的誤檢,漏檢情況,同時本文方法解決了內(nèi)存受限的移動端上小目標(biāo)檢測效果不佳的問題。但是因為輕量化骨干網(wǎng)絡(luò)的通道深度以及結(jié)構(gòu)問題,對圖像的特征提取能力仍然欠佳,后續(xù)的研究將會關(guān)注于設(shè)計更為優(yōu)秀且輕量化的骨干網(wǎng)絡(luò)。