李曉艷,符惠桐,牛文濤,王鵬,呂志剛,王偉明

(1.西安工業(yè)大學(xué)電子信息工程學(xué)院,710021,西安; 2.西安工業(yè)大學(xué)發(fā)展規(guī)劃處,710021,西安;3.西安翔迅科技有限責(zé)任公司,710068,西安; 4. 陜西航天技術(shù)應(yīng)用研究院有限公司,710100,西安)

行人檢測是深度學(xué)習(xí)中目標(biāo)檢測內(nèi)一項(xiàng)重要的研究內(nèi)容,廣泛應(yīng)用于安防安檢、自動(dòng)駕駛、人機(jī)交互等工業(yè)領(lǐng)域[1]。卷積神經(jīng)網(wǎng)絡(luò)的快速發(fā)展及應(yīng)用使目標(biāo)檢測的精度有了質(zhì)的飛躍,但極大地依賴于卷積神經(jīng)網(wǎng)絡(luò)的多參數(shù)、多運(yùn)算以及高功耗[2]。例如,Faster R-CNN[3]、SSD[4]、YOLO[5]等先進(jìn)的目標(biāo)檢測算法逐漸被提出,行人檢測任務(wù)從此變得高效、精準(zhǔn)。此外,在軍事作戰(zhàn)、偵察中,以大規(guī)模有生力量的作戰(zhàn)已經(jīng)逐步被機(jī)械化、智能化的武器裝備所取代,復(fù)雜的應(yīng)用背景、全天候的應(yīng)用需求、高效的檢測效率對目標(biāo)檢測的魯棒性、檢測精度和推理延遲提出了更高的要求[6]。如何在光照不足的夜間場景下提升行人檢測算法的質(zhì)量是目前研究的重點(diǎn)與難點(diǎn)。

單一的可見光傳感器難以適應(yīng)微光及無光環(huán)境,無法完成復(fù)雜環(huán)境下的行人檢測工作,多傳感器的信息融合有助于完成不同信息間的互補(bǔ),從而更好地適應(yīng)全天候的工作[7]。可見光和紅外數(shù)據(jù)的多光譜融合有效地提升了算法對于環(huán)境的感知能力,使夜間高精度行人檢測成為了可能,各國學(xué)者也在積極進(jìn)行研究。文獻(xiàn)[8]由聚合通道特征的方法擴(kuò)展而來,提出可見光和紅外信息融合的聚合通道特征(ACF)+熱通道+熱通道直方圖方向梯度的方法,并創(chuàng)建了KAIST多光譜行人檢測數(shù)據(jù)集[9]。該方法對可見光和紅外光圖像進(jìn)行了圖像配準(zhǔn),可有效地進(jìn)行特征融合,但是該方法為傳統(tǒng)方法,檢測效率及準(zhǔn)確率都很不理想。文獻(xiàn)[10]首次將可見光圖像和紅外圖像進(jìn)行圖像深度特征的融合,相較于傳統(tǒng)方法在準(zhǔn)確率上有了極大提升。文獻(xiàn)[11]進(jìn)一步對可見光和紅外圖像的特征級融合進(jìn)行了探索,提出了更加高效的中層特征融合方案。文獻(xiàn)[12]基于中層特征級融合方法,結(jié)合Faster R-CNN中候選區(qū)建議網(wǎng)絡(luò)(RPN)[13-14]的思想,最終采用提高決策樹(BDT)分類的方法,進(jìn)一步提升了行人檢測精度。文獻(xiàn)[15]基于Faster R-CNN目標(biāo)檢測算法,在不同的階段進(jìn)行可見光和紅外圖像深層特征的融合,并且提出一種感知光照導(dǎo)向的融合算法,實(shí)現(xiàn)了全天候行人的精確檢測,但是效率依然不高。文獻(xiàn)[16]討論了多模態(tài)融合檢測過程中存在的模態(tài)不平衡的問題,并搭建了MBNet網(wǎng)絡(luò)以解決模態(tài)不平衡的問題,極大地提升了算法的檢測效率,但算法體積龐大,推理效率有較大的優(yōu)化空間。綜上所述可知,多模態(tài)行人檢測算法大多數(shù)存在推理效率不高、算法體積龐大的問題。

本文在MBNet算法的基礎(chǔ)上,提出了一種針對可見光和紅外多模態(tài)融合的輕量級行人檢測算法(G-MBNet),在保證檢測精度的情況下,有效地壓縮了算法體積、提升了算法推理效率。本文以ResNet18[17]為基礎(chǔ)網(wǎng)絡(luò),結(jié)合跨鏈接[18]的思想搭建跨階段部分殘差網(wǎng)絡(luò)(CSP-ResNet18),并且在殘差結(jié)構(gòu)內(nèi)容引入輕量級注意力機(jī)制ECA[19]提升算法性能,最終通過Ghost輕量級模塊[20]進(jìn)行算法重構(gòu),減少算法參數(shù),提升算法效率。

1 MBNet多模態(tài)行人檢測算法

MBNet多模態(tài)行人檢測算法由特征提取結(jié)構(gòu)、光照感知結(jié)構(gòu)和特征對齊模塊共3部分組成,如圖1 所示。

圖1 MBNet多模態(tài)行人檢測算法Fig.1 MBNet multi-modal pedestrian detection algorithm

在特征提取階段融入了差分模態(tài)感知融合(DMAF)模塊以解決特征模態(tài)不平衡問題。該模塊以差分放大電路為原型,通過兩個(gè)模態(tài)特征之間進(jìn)行互補(bǔ),以一種模態(tài)去增強(qiáng)另外一種模態(tài),從而可以提高算法對另一個(gè)模態(tài)特征信息的敏感程度,提升兩個(gè)通道間信息交互的程度。DMAF模塊具體公式為

(1)

(2)

式中:FW和FR分別表示模態(tài)增強(qiáng)后的可見光和紅外圖像特征;FW1和FW2分別表示模態(tài)增強(qiáng)前的通道1和通道2的可見光圖像特征;FR1和FR2分別表示模態(tài)增強(qiáng)前的通道1和通道2的紅外圖像特征。

差分模態(tài)很好地反映了兩個(gè)模態(tài)之間的差異。為了更好地讓差分信息融入至對應(yīng)的通道中,對差分信息進(jìn)行平均全局池化、激活以及點(diǎn)乘操作,之后與對應(yīng)通道進(jìn)行相加得到新的融合特征,公式為

(3)

(4)

式中:F′R和F′T分別代表經(jīng)過差分放大后的可見光和紅外通道特征;f表示殘差映射;GAP表示全局平均池化;σ表示激活函數(shù);⊕、?分別表示逐元素相加和相乘操作;FTD表示可見光互補(bǔ)特征;FRD表示紅外互補(bǔ)特征。

此外,光照感知特征對齊模塊可以使算法適應(yīng)不同的光照條件,并且在區(qū)域建議階段后對齊兩個(gè)模態(tài)的特征。其中,光照感知值通過一個(gè)微型神經(jīng)網(wǎng)絡(luò)捕獲照明機(jī)制獲得,只采用RGB圖像進(jìn)行光照感知,得到的感知系數(shù)作為可見光和紅外特征的權(quán)重系數(shù)并進(jìn)行加權(quán)融合,得到最終的特征值。由于可見光和紅外圖像并不是完美校準(zhǔn),所以通過形態(tài)對齊模塊用于預(yù)測兩個(gè)模態(tài)之間的偏移量,以此進(jìn)行模態(tài)之間的校準(zhǔn)。此外,緊接著基于光照感知特征補(bǔ)充階段對可變形錨框和置信度分?jǐn)?shù)進(jìn)行微調(diào),提高檢測精度。

總體來說,特征提取階段計(jì)算量極大,推理效率不足,所以本文主要對特征提取階段的網(wǎng)絡(luò)進(jìn)行輕量化設(shè)計(jì),以壓縮算法體積、加快整體算法的推理效率。

2 G-MBNet輕量化行人檢測算法

本文基于MBNet多模態(tài)行人檢測檢測算法,通過特征提取網(wǎng)絡(luò)構(gòu)建、網(wǎng)絡(luò)模型優(yōu)化、網(wǎng)絡(luò)模型重構(gòu)等方法,在保證檢測精度的情況下對檢測算法進(jìn)行輕量化設(shè)計(jì),最終的輕量化設(shè)計(jì)方案如圖2所示。首先,選用MBNet算法的ResNet50特征提取網(wǎng)絡(luò)作為基礎(chǔ)特征提取網(wǎng)絡(luò);其次,在特征提取階段采用更加輕量的ResNet18特征提取網(wǎng)絡(luò),并結(jié)合跨階段連接的方式搭建CSP-ResNet18算法,同時(shí)在殘差中嵌入ECA輕量級注意力機(jī)制,以很小的計(jì)算代價(jià)提升輕量級特征提取網(wǎng)絡(luò)性能;最終,利用即插即用的輕量級模塊重構(gòu)特征提取網(wǎng)絡(luò),基于冗余思想而設(shè)計(jì)的Ghost卷積可進(jìn)一步壓縮算法體積,加快算法效率。

圖2 輕量化方案示意Fig.2 Schematic diagram of lightweight scheme

2.1 CSPResNet18特征提取網(wǎng)絡(luò)

在MBNet網(wǎng)絡(luò)中,兩個(gè)特征采集通道均采用ResNet50網(wǎng)絡(luò),網(wǎng)絡(luò)模型較大且推理時(shí)延較長,所以本文選擇最輕量的ResNet18結(jié)構(gòu)作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行優(yōu)化,并且保證識(shí)別精度。ResNet網(wǎng)絡(luò)的殘差結(jié)構(gòu)如圖3所示。

圖3 殘差結(jié)構(gòu)示意Fig.3 Schematic diagram of residual structure

由于ResNet18網(wǎng)絡(luò)結(jié)構(gòu)的特征提取能力隨著網(wǎng)絡(luò)深度的減少而減弱,所以本文參考借鑒CSPNet網(wǎng)絡(luò)的跨階段部分連接網(wǎng)絡(luò),對ResNet18進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化,跨階段部分CSP網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 CSP結(jié)構(gòu)示意Fig.4 Diagram of CSP structure

前向預(yù)測過程可表示為

Xk=Wk*[X″0,X1,...,Xk-1]

(5)

XT=WT*[X″0,X1,...,Xk]

(6)

XU=WU*[X′0,XT]

(7)

式中:*表示卷積操作;Xk為第k層的輸出特征;Wk為第k層的權(quán)重;[X″0,X1,...,Xk-1]表示將輸入特征X″0,X1,...,Xk-1進(jìn)行拼接操作;X′0、X″0為輸入特征X0的兩個(gè)部分,X″0分別經(jīng)過式(5)、(6)兩個(gè)卷積層后與X′0進(jìn)行拼接操作,最后通過卷積操作輸出特征XU,從而完成該階段的前向預(yù)測。

CSP結(jié)構(gòu)有效地豐富了網(wǎng)絡(luò)優(yōu)化中的梯度信息,增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力,可以在減少參數(shù)、增加效率的同時(shí),保證網(wǎng)絡(luò)的準(zhǔn)確性,并且有效地降低了內(nèi)存成本。最終,基于ResNet的CSP結(jié)構(gòu)如圖5所示。

圖5 CSPResNet結(jié)構(gòu)Fig.5 CSPResNet structure diagram

2.2 ECA輕量級注意力機(jī)制

人類視覺在快速地進(jìn)行了全局圖像掃描后,可以關(guān)注到一些重點(diǎn)目標(biāo)區(qū)域,對需要注意的地方投入更多的精力,以獲取所需的細(xì)節(jié)信息。與此同時(shí),會(huì)降低對其他區(qū)域投入的權(quán)重。通過這種方式,可以極大地提升圖像識(shí)別精度與處理效率。研究人員受此啟發(fā)后發(fā)現(xiàn):應(yīng)對識(shí)別重要的特征數(shù)據(jù)提升權(quán)重,增強(qiáng)重要特征對識(shí)別結(jié)果的影響;應(yīng)壓制不重要數(shù)據(jù)的權(quán)重,減弱其在網(wǎng)絡(luò)中的影響力。

輕量級ECA通道注意力機(jī)制以SE注意力機(jī)制[21]為原型,但其沒有使用降維操作,從而避免了降維而引起的信息丟失,同時(shí)進(jìn)行了適當(dāng)?shù)目缧诺澜换?在顯著降低模型復(fù)雜度的同時(shí)保證了模型性能。此外,自適應(yīng)卷積核的方法確定了局部信道的覆蓋范圍,十分高效。ECA模塊示意如圖6所示。

圖6 ECA通道注意力示意Fig.6 ECA channel attention diagram

ECA模塊相較傳統(tǒng)的注意力機(jī)制避免了全連接操作,并且使用了一個(gè)k×C的矩陣Wk用于學(xué)習(xí)通道間的注意力信息,矩陣Wk可表示為

(8)

矩陣Wk將可學(xué)習(xí)的權(quán)重分為k個(gè)一組,避免了不同組之間的完全獨(dú)立。此時(shí),輸入權(quán)重yi以及k個(gè)相鄰?fù)ǖ乐g的信息計(jì)算式為

(9)

為了讓模塊更加高效,采用權(quán)重共享的方式,公式為

(10)

式(11)可以直接通過一個(gè)k×k的一維卷積實(shí)現(xiàn),較為簡單。k的選擇十分重要,跨信道交互作用的覆蓋范圍應(yīng)該與特征維度C成正比。映射關(guān)系可表示為

C=φ(k)=2γk-b

(11)

此時(shí),k的表達(dá)式為

(12)

式中:|·|odd表示取最接近的奇數(shù);超參數(shù)γ和b根據(jù)經(jīng)驗(yàn)設(shè)置為2和1。

最終,ECA模塊引入ResNet的位置如圖7所示。

圖7 ECA模塊插入位置Fig.7 The ECA module insertion position

2.3 基于Ghost模塊重構(gòu)

Han等[20]認(rèn)為,深度學(xué)習(xí)中對冗余信息的利用也很關(guān)鍵,由此基于對相似冗余信息的重復(fù)利用提出Ghost輕量級卷積模塊。傳統(tǒng)卷積和Ghost卷積模塊卷積示意圖如圖8所示。

(a)標(biāo)準(zhǔn)卷積

傳統(tǒng)卷積操作計(jì)算了大量的近似特征,使最終的特征圖存在過多重復(fù)信息,所以冗余信息的生成操作可以用更廉價(jià)的線性變換完成。Ghost模塊基于該思想完成冗余信息的計(jì)算。首先,通過傳統(tǒng)的標(biāo)準(zhǔn)卷積完成m層本源特征的生成,公式為

Y′=X*f+b

(13)

式中:b為偏置項(xiàng);輸出特征圖Y′∈h′×w′×m。接著,基于Y′進(jìn)行線性映射

yij=φi,j(y′i),?i=1,...,m, ?j=1,...,s

(14)

式中:y′i∈Y′;φi,j表示本源特征i的第j次線性變換。

φi,j可以生成對應(yīng)的Ghost特征yij,可見y′i可以生成一個(gè)或多個(gè)Ghost特征。當(dāng)j=s時(shí),φi,j為普通的卷積操作,最終獲得n=ms個(gè)特征圖,其中n為卷積操作最終的通道數(shù)量。

傳統(tǒng)卷積操作的浮點(diǎn)型運(yùn)算量為n×h′×w′×c×k×k,其中,c為輸入的通道數(shù),Ghost卷積由傳統(tǒng)卷積操作結(jié)合m(s-1)=n/s(s-1)次線性操作兩部分,線性變換部分采用的卷積核平均尺寸為d×d,故理論加速比率R為

(15)

由于d×d=k×k,s?c,所以可以認(rèn)為,Ghost卷積相比傳統(tǒng)卷積,運(yùn)算速度提升了s倍。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)測試環(huán)境為Ubuntu 16.04操作系統(tǒng),由Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)G-MBNet多模態(tài)輕量化行人檢測算法。服務(wù)器顯卡型號(hào)為NVIDIA RTX2080 Ti。

3.2 實(shí)驗(yàn)數(shù)據(jù)集及預(yù)訓(xùn)練

本文采用KAIST行人數(shù)據(jù)集,該數(shù)據(jù)集包含95 328對對齊的可見光和紅外圖像對,共103 128個(gè)邊界框,覆蓋1 182個(gè)獨(dú)特的行人,圖像尺寸為640×512 像素。此外,測試集包含2 252幀從視頻中每20幀采集的圖像,其中,1 455幀白天拍攝圖像,797幀夜間拍攝圖像。評價(jià)指標(biāo)為平均缺失率,表示每張圖片的平均誤檢率(FPPI)在[0.01,1]范圍內(nèi)的對數(shù)空間均勻取9個(gè)點(diǎn)時(shí)的缺失率均值,即FPPI分別為0.010 0、0.017 8、0.031 6、0.056 2、0.100 0、0.177 8、0.316 2、0.562 3、1.000時(shí)的平均缺失率。平均缺失率越低,則證明算法性能越好。

此外,為了使小網(wǎng)絡(luò)有更加合理的初始權(quán)重、更加有效地進(jìn)行收斂,本文提取COCO數(shù)據(jù)集[22]中行人目標(biāo)數(shù)據(jù)對G-MBNet以及中間網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,從而獲得更合理的初始化權(quán)重,實(shí)驗(yàn)結(jié)果如表1所示。

表1 基于預(yù)訓(xùn)練權(quán)重的對比實(shí)驗(yàn)結(jié)果

由表1可以看出,未使用預(yù)訓(xùn)練權(quán)重的時(shí)長為使用預(yù)訓(xùn)練權(quán)重的1.5倍,使用預(yù)訓(xùn)練權(quán)重能夠使時(shí)間成本大幅度降低。并且,使用預(yù)訓(xùn)練權(quán)重的漏檢率優(yōu)于未使用預(yù)訓(xùn)練權(quán)重的。在MBNet中,漏檢率降低了1.56%,在G-MBNet中,漏檢率降低了0.22%,證明了預(yù)訓(xùn)練權(quán)重的重要性。此外,MBNet在未使用預(yù)訓(xùn)練權(quán)重時(shí),紅外通道出現(xiàn)了梯度爆炸的現(xiàn)象,預(yù)訓(xùn)練權(quán)重的引入使整個(gè)網(wǎng)絡(luò)的訓(xùn)練更加穩(wěn)定,證明了合理初始化權(quán)重在網(wǎng)絡(luò)訓(xùn)練時(shí)的必要性。

3.3 消融實(shí)驗(yàn)

MBNet(基礎(chǔ)算法)、CSPR-MBNet(在MBNet中引入CSP結(jié)構(gòu)搭建的ResNet18網(wǎng)絡(luò)CSP-ResNet18)、CSPR-ECA-MBNet(引入ECA注意力模塊后的骨干網(wǎng)絡(luò)算法)、G-MBNet、G-MBNet-CBAM(在Ghost-MBNet中引入CBAM[23]注意力機(jī)制)、G-MBNet-SE(在Ghost-MBNet中引入SE注意力機(jī)制)、DW-ECA-MBNet(在MBNet中引入深度可分離卷積(DW)[24-25]與ECA注意力機(jī)制)算法的對比如表2所示。

由表2可以看出,CSPR-MBNet相較于原始的MBNet參數(shù)減少了55.51%,并且算法體積也減少了62.38%,推理效率由原來的52 ms提升至38 ms,效率提升1.37倍,精度僅下降了4.58%。在引入ECA注意力機(jī)制后,算法參數(shù)、體積以及推理時(shí)延基本沒有發(fā)生變化,但是精度相較于MBNet僅下降了3.95%,證明了ECA模塊的輕量以及對于檢測精度有較大的提升。此外,本文對比了不同注意力機(jī)制,如CBAM與SE模塊。在引入CBAM與SE后,由于引入的模塊數(shù)量較少,所以算法的體積與運(yùn)算量變化不大。根據(jù)實(shí)驗(yàn)結(jié)果來看,輕量級ECA模塊具有更好的漏檢率以及推理時(shí)延,有較高的性價(jià)比。

表2 各輕量級算法的對比實(shí)驗(yàn)結(jié)果

在Ghost卷積模塊重構(gòu)后,本文將Ghost模塊與深度可分離卷積DW模塊進(jìn)行了性能比較,在使用DW卷積模塊進(jìn)行網(wǎng)絡(luò)重構(gòu)后發(fā)現(xiàn),推理時(shí)延有較大的提升,優(yōu)于Ghost重構(gòu)網(wǎng)絡(luò)的,但是漏檢率相較于G-MBNet具有較大的差距。權(quán)衡之下可知,Ghost卷積模塊兼顧了精度與速度,具有較大的優(yōu)勢,證明了Ghost模塊在本文方案中的適用性。最終,本文對比了搭建的各個(gè)輕量級算法的損失值曲線,如圖9所示。

圖9 各輕量級算法損失值曲線的對比Fig.9 Comparison of loss value curves of various lightweight algorithms

由圖9可以看出,各輕量級算法均有優(yōu)秀的收斂性能。其中,CSPR-ECA-MBNet收斂性能最佳,在第9次迭代后損失值趨于穩(wěn)定。CSPR-MBNet由于缺少ECA的支持,整體損失略微遜色于CSPR-ECA-MBNet,也于第9次迭代后趨于穩(wěn)定。G-MBNet收斂性能較弱,不過在前9個(gè)迭代數(shù)也進(jìn)行了快速收斂,同樣達(dá)到了較好的收斂效果。

白天、夜晚情況下的G-MBNet行人檢測結(jié)果如圖10和圖11所示。白天情況下的檢測結(jié)果如下:從圖10(a)可以看出,當(dāng)光線較好且人員可視效果較好時(shí),G-MBNet具有良好的檢測效果,相較于真值標(biāo)簽所發(fā)生的偏移小且精度良好;從圖10(b)可以看出,當(dāng)光線較弱且目標(biāo)較小時(shí),發(fā)生了一個(gè)標(biāo)注框標(biāo)注多個(gè)目標(biāo)的現(xiàn)象;從圖10(c)可以看出,當(dāng)場景較為復(fù)雜且目標(biāo)較小時(shí),目標(biāo)框發(fā)生了較大的偏移,檢測效果較差。圖10(b)和10(c)檢測效果不佳的原因是特征提取網(wǎng)絡(luò)深度的減少削弱了其特征提取能力。

(a)光線良好場景

夜晚情況下的檢測結(jié)果如下:從圖11(a)可以看出,當(dāng)場景簡單時(shí),G-MBNet檢測效果較為理想;從圖11(b)和11(c)可以看出,在面對小目標(biāo)場景及復(fù)雜場景時(shí),出現(xiàn)了小目標(biāo)漏檢的情況,檢測效果較差。

綜上所述可知,經(jīng)過輕量化設(shè)計(jì)后的網(wǎng)絡(luò)在進(jìn)行多模態(tài)行人檢測時(shí)具有良好的表現(xiàn)。但是,在針對遠(yuǎn)距離的小目標(biāo)時(shí),特征提取能力較弱,沒有表現(xiàn)出較好的檢測精度,在多個(gè)小目標(biāo)在一起或者目標(biāo)框較小時(shí),出現(xiàn)了目標(biāo)框定位較大、多目標(biāo)在一個(gè)標(biāo)注框內(nèi),甚至漏檢的情況?？傮w而言,本文算法在多模態(tài)目標(biāo)檢測階段檢測速度較快、檢測精度較高。為了更好地進(jìn)行算法驗(yàn)證,本文在下一小節(jié)對不同算法進(jìn)行了精度對比。

(a)光線良好復(fù)雜場景下的檢測結(jié)果

3.4 算法對比實(shí)驗(yàn)

本文算法與其他先進(jìn)算法在KAIST數(shù)據(jù)集上的對比結(jié)果如表3所示?？梢钥闯?經(jīng)過輕量化后的行人檢測算法在檢測速度上有了極大提升。雖然精度相較于MBNet有部分損失,但在檢測精度和檢測時(shí)延上依然優(yōu)于其他算法,并且速度達(dá)到了最優(yōu)。由此,本文所設(shè)計(jì)的輕量級多模態(tài)行人檢測算法G-MBNet的有效性得到了證明。

表3 不同先進(jìn)算法的對比結(jié)果

4 結(jié) 論

目前,主流的多模態(tài)行人檢測算法大多數(shù)存在檢測速度不足的問題,本文提出一種基于Ghost模塊的搭建的G-MBNet輕量級多模態(tài)行人檢測算法。該算法選取輕量級骨干網(wǎng)絡(luò)ResNet18,借鑒跨階段部分CSP構(gòu)架的思想重構(gòu)CSP-ResNet18網(wǎng)絡(luò),在減少參數(shù)以及算法體積的基礎(chǔ)上提升了ResNet18算法的檢測性能。其次,引入ECA通道注意力機(jī)制。通過引入極少的參數(shù)提升了網(wǎng)絡(luò)關(guān)注特征通道中重要的部分,從而提升了算法的檢測精度。最終,通過Ghost輕量級卷積模塊重構(gòu)網(wǎng)絡(luò),減少了網(wǎng)絡(luò)不必要的卷積操作,提升了整體算法的檢測效率。實(shí)驗(yàn)結(jié)果表明,本文提出的輕量級多模態(tài)行人檢測算法G-MBNet有效。相較于MBNet,G-MBNet體積更小、預(yù)測速度更快、精度損失更小。本文提出的輕量化特征提取網(wǎng)絡(luò)可以在其他檢測方案中直接使用,為深度學(xué)習(xí)算法的部署提供了有效方案。但是,本文方案僅考慮了MBNet算法特征提取部分算法參數(shù)的減少,其他部分依舊存在較多的冗余操作,如光照感知部分的全連接層、復(fù)雜的特征對齊模塊等,可以在未來的研究中提出更加高效的光照感知和特征對齊操作。