吳長柯 陳虎 潘濤 黃菊 劉洪 張萍 吳志紅 蘇強(qiáng)

摘 要： 針對無人機(jī)檢測中存在的目標(biāo)較小、受背景環(huán)境影響大、以及多光譜特征難以深度融合等問題，本文提出了針對無人機(jī)小目標(biāo)檢測的多尺度多光譜交互注意力融合目標(biāo)檢測模型. 首先，將骨干網(wǎng)絡(luò)設(shè)計(jì)為雙流網(wǎng)絡(luò)，分別提取不同尺度紅外和可見光特征，并增加小目標(biāo)檢測層和BiFPN 級聯(lián)操作，提升對無人機(jī)小目標(biāo)特征的提取能力. 其次，創(chuàng)新性的設(shè)計(jì)了多光譜交互注意力融合模塊，在該融合模塊的指導(dǎo)下，網(wǎng)絡(luò)可以在不同尺度融合紅外和可見光模態(tài)的信息，使紅外和可見光的特征進(jìn)行深度聚合，發(fā)揮各自模態(tài)的優(yōu)勢，指導(dǎo)開展無人機(jī)小目標(biāo)檢測. 實(shí)驗(yàn)結(jié)果表明，與最先進(jìn)的多光譜目標(biāo)檢測模型相比，本文提出的模型在FLIR、LLVIP 兩個公開的多光譜目標(biāo)檢測數(shù)據(jù)集上都達(dá)到了優(yōu)越的性能，在構(gòu)建的多光譜無人機(jī)數(shù)據(jù)集上，本文提出的模型有效提升了無人機(jī)的檢測精度和魯棒性.

關(guān)鍵詞： 無人機(jī)檢測； 小目標(biāo)檢測； 多光譜交互注意力融合； 多尺度

中圖分類號： TP391 文獻(xiàn)標(biāo)志碼： A DOI： 10. 19907/j. 0490-6756. 2024. 032005

1 引言

近年來，隨著無人機(jī)技術(shù)的發(fā)展，無人機(jī)在軍用和民用領(lǐng)域發(fā)揮著越來越重要的作用，帶來便利的同時，如何監(jiān)管無人機(jī)也成為了一個巨大的挑戰(zhàn). 一方面，在民用領(lǐng)域，無人機(jī)的“黑飛”、“濫飛”問題日益突出，不僅對公民隱私和財(cái)產(chǎn)安全造成了危害，更是對社會治安和人民生命安全帶來了十分巨大的威脅［1］. 另一方面，在軍用領(lǐng)域，無人機(jī)成為了現(xiàn)代戰(zhàn)爭的新型武器，在當(dāng)前爆發(fā)的俄烏沖突中，俄烏雙方大量使用無人機(jī)進(jìn)行偵察和打擊，對自殺式無人機(jī)的運(yùn)用更是屢見不鮮，對無人機(jī)的檢測是軍事領(lǐng)域反制無人機(jī)的重要手段.

然而無人機(jī)檢測領(lǐng)域仍存在許多問題，制約著無人機(jī)檢測技術(shù)的發(fā)展. 首先是無人機(jī)具有體積較小、雷達(dá)截面小、低速的特點(diǎn)，利用傳統(tǒng)的雷達(dá)設(shè)備很難探測和識別出無人機(jī)［2］. 隨著機(jī)器學(xué)習(xí)算法的發(fā)展和應(yīng)用，無人機(jī)識別有了新的手段，即通過可見光相機(jī)拍攝到無人機(jī)視頻或者照片，利用目標(biāo)檢測算法檢測出無人機(jī)目標(biāo). 但是在夜晚、霧天等光照條件較差或遮擋嚴(yán)重的環(huán)境下會受到很大的影響，容易造成無人機(jī)的漏檢問題.

可見光和熱紅外圖像的交叉光譜融合已經(jīng)成為目標(biāo)檢測的研究熱點(diǎn)［3-10］，因?yàn)槎嗄B(tài)信息直觀地被認(rèn)為是互補(bǔ)的［11］. 可見光圖像具有豐富的紋理細(xì)節(jié)，而紅外圖像具有較強(qiáng)的穿透力，兩種圖像互補(bǔ)通常能夠提升目標(biāo)檢測的精度和魯棒性. 考慮到運(yùn)行的無人機(jī)目標(biāo)具有紅外熱輻射特性，將可見光與紅外探測兩種手段相結(jié)合開展無人機(jī)檢測具有現(xiàn)實(shí)意義. 然而無人機(jī)目標(biāo)較小，特征較為單一，且兩個模態(tài)之間的特征差別較大，要深入融合無人機(jī)可見光和紅外圖像特征比較困難. 使用傳統(tǒng)特征相加或級聯(lián)等方式融合可見光與紅外特征，往往會出現(xiàn)較強(qiáng)特征覆蓋較弱特征的情況，容易造成無人機(jī)的多檢錯檢問題. 研究如何開展可見光和紅外特征的深度融合，對指導(dǎo)提高無人機(jī)小目標(biāo)檢測性能和多光譜融合相關(guān)領(lǐng)域研究具有積極意義.

目前為止，無人機(jī)的檢測方法主要集中在圖像識別、音頻信號分析、頻譜探測以及雷達(dá)數(shù)據(jù)分析等方面. 最早的研究采用雷達(dá)信號分析來探測無人機(jī)，再利用支持向量機(jī)進(jìn)行訓(xùn)練與分類識別［12］. 機(jī)器學(xué)習(xí)和目標(biāo)檢測算法的發(fā)展讓無人機(jī)檢測有了新的手段，文獻(xiàn)［13］提出了一種基于隨機(jī)森林的無人機(jī)檢測方法，通過采集可見光下的圖像序列，使用混合高斯模型和聚類檢測算法檢測圖像中的運(yùn)動小目標(biāo)，再使用隨機(jī)森林算法融合目標(biāo)的多種特征得到檢測目標(biāo). 文獻(xiàn)［14］提出了一種基于多隱含層深度神經(jīng)網(wǎng)絡(luò)的弱小無人機(jī)目標(biāo)檢測模型. 文獻(xiàn)［15，16］采用了改進(jìn)的YOLOv3模型，提高了無人機(jī)目標(biāo)檢測精度，但其采用的數(shù)據(jù)集都是基于可見光的，未考慮復(fù)雜環(huán)境的影響. 文獻(xiàn)［17］提出了使用可見光和紅外圖像融合開展無人機(jī)目標(biāo)檢測的方法，但其在融合方式上只是使用簡單的平均融合和級聯(lián)融合，未加入注意力機(jī)制，無法做到可見光和紅外模態(tài)特征的深度融合. 在多光譜融合目標(biāo)檢測領(lǐng)域，網(wǎng)絡(luò)性能的好壞通常取決于融合策略的設(shè)計(jì). 文獻(xiàn)［18］提出了一種新的循環(huán)融合和細(xì)化模塊，以改進(jìn)多光譜特征融合，同時考慮到特征的互補(bǔ)性和一致性平衡. 文獻(xiàn)［19］提出了引導(dǎo)注意力特征融合來指導(dǎo)紅外和可見光的融合過程. 文獻(xiàn)［20］使用Transformer 自注意力機(jī)制融合紅外和可見光圖像，能夠突出模態(tài)內(nèi)部的重要特征，但無法很好區(qū)分紅外和可見光的特征，難以學(xué)習(xí)模態(tài)之間的優(yōu)勢.

本文研究的主要內(nèi)容是以深度學(xué)習(xí)為基礎(chǔ)，通過改進(jìn)常見的目標(biāo)檢測算法YOLOv5，探索融合紅外和可見光兩個模態(tài)進(jìn)行檢測的可行性. 同時通過對交互注意力機(jī)制進(jìn)行研究，提出新穎高效的紅外和可見光融合模塊以及相應(yīng)的目標(biāo)檢測網(wǎng)絡(luò).