睢丙東 苗林星 于國(guó)慶
關(guān)鍵詞:無人機(jī);目標(biāo)檢測(cè);目標(biāo)跟蹤
近幾年,關(guān)于無人機(jī)應(yīng)用方面的科學(xué)技術(shù)快速進(jìn)步,推動(dòng)了以無人機(jī)為絕對(duì)主力的“低、慢、小”航空器的迅猛快速發(fā)展,國(guó)內(nèi)的無人機(jī)“黑飛”事件也在逐漸增多。僅僅依靠政府出臺(tái)的法規(guī),依靠廣大無人機(jī)愛好者自覺自律,是無法徹底解決無人機(jī)的“黑飛”“濫飛”問題。因此,本文基于深度學(xué)習(xí)技術(shù),提出了對(duì)無人機(jī)目標(biāo)檢測(cè)系統(tǒng)的研究。
1無人機(jī)目標(biāo)檢測(cè)模型的選取
現(xiàn)在主流的目標(biāo)檢測(cè)算法包括兩階段和單階段目標(biāo)檢測(cè)算法,本文選擇具有代表性的Fast-RCNN、Faster-RCNN、SSD、YOLOvl、YOLOv2、YOLOv3算法使用VOC2007和2012公開數(shù)據(jù)集對(duì)上述算法進(jìn)行了對(duì)比測(cè)試,根據(jù)試驗(yàn)結(jié)果最終選擇YOLOv3作為本文的基準(zhǔn)模型。實(shí)驗(yàn)結(jié)果如表1所示。
從表1的評(píng)估結(jié)果中可以看到:檢測(cè)的精確度方面,YOLOv3的精度是最高的,達(dá)到78. 9%,比SSD和R-CNN系列都要好;同時(shí)實(shí)時(shí)性也是最好的,這樣極大地提高了系統(tǒng)的應(yīng)用價(jià)值。因此本文選用YOLOv3網(wǎng)絡(luò)模型,并在此基礎(chǔ)上做相應(yīng)的改進(jìn)以達(dá)到更好的檢測(cè)效果。
2無人機(jī)目標(biāo)檢測(cè)模型的改進(jìn)
2.1網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)
對(duì)數(shù)據(jù)集分析后發(fā)現(xiàn)無人機(jī)具有小尺度的特殊性,針對(duì)小尺度無人機(jī)的目標(biāo)檢測(cè),原模型架構(gòu)顯得不夠出色。針對(duì)此問題,本文在YOLOv3的基礎(chǔ)上對(duì)網(wǎng)絡(luò)結(jié)構(gòu)模型改進(jìn),在原網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上增加第四個(gè)尺度。經(jīng)過模型的改進(jìn)得到四個(gè)特征尺度分別為:104×104,52×52,26×26和13×13。增加第四個(gè)尺度的結(jié)構(gòu)如圖1所示:
2.2無人機(jī)預(yù)測(cè)框篩選算法改進(jìn)
當(dāng)生成的錨框數(shù)量較多時(shí),同一個(gè)目標(biāo)可能存在重復(fù)檢測(cè)的情況,這樣會(huì)輸出許多相似的預(yù)測(cè)邊界框。為了使最后的預(yù)測(cè)結(jié)果更簡(jiǎn)潔,我們需要去除相似的預(yù)測(cè)邊界框,篩選出預(yù)測(cè)效果最好的框。本文采用Soft-NMS算法進(jìn)行預(yù)測(cè)邊框過濾。Soft-NMS算法不會(huì)將這些框過濾而是通過函數(shù)變換,用稍低的分?jǐn)?shù)替換原有分?jǐn)?shù)。Soft-NMS算法如式(1)所示:
3無人機(jī)目標(biāo)跟蹤
KCF算法中,以前一幀目標(biāo)的位置信息作為下一幀目標(biāo)跟蹤區(qū)域擴(kuò)展和采樣的中心,這樣即認(rèn)為下一幀目標(biāo)出現(xiàn)的位置總在擴(kuò)展后的區(qū)域內(nèi),但事實(shí)卻并非如此,被跟蹤目標(biāo)一直處于運(yùn)動(dòng)的狀態(tài),所以前一幀和下一幀總存在一定的位移,這就是跟蹤誤差產(chǎn)生的原因,隨著幀數(shù)的增多,誤差也會(huì)一點(diǎn)點(diǎn)增大,最終會(huì)跟丟目標(biāo),因而本文采用了基于運(yùn)動(dòng)預(yù)測(cè)的跟蹤算法。檢測(cè)示意圖如圖2所示。
首先預(yù)測(cè)運(yùn)動(dòng)的方向:將當(dāng)前幀和前一幀的位置進(jìn)行連線,根據(jù)連線的方向和運(yùn)動(dòng)趨勢(shì)預(yù)測(cè)下一幀目標(biāo)的運(yùn)動(dòng)方向,通過計(jì)算得到預(yù)測(cè)的位置。
4仿真實(shí)驗(yàn)和結(jié)果分析
4.1實(shí)驗(yàn)環(huán)境
從硬件和軟件兩個(gè)方面列舉說明本文的實(shí)驗(yàn)環(huán)境,具體如表2和表3所示,其他依賴函數(shù)庫(kù)省略不列舉。
4.2實(shí)驗(yàn)數(shù)據(jù)集處理
無人機(jī)目標(biāo)檢測(cè)的樣本是包含目標(biāo)位置和類別信息的圖像集。樣本收集后通過圖像增強(qiáng)等方法使照片數(shù)量達(dá)到約9700張,采用手動(dòng)人工標(biāo)注的方式,使用Labellmg工具按照PASCAL VOC數(shù)據(jù)集的標(biāo)簽格式(.xml)對(duì)預(yù)處理后的照片進(jìn)行手動(dòng)標(biāo)記,并設(shè)置標(biāo)簽為“uav”。
4.3評(píng)價(jià)指標(biāo)
為了更好地對(duì)算法的性能進(jìn)行評(píng)估,本文選用目前常用的目標(biāo)檢測(cè)評(píng)價(jià)標(biāo)準(zhǔn)分別是:平均精度均值(mAP),召回率(Recall)和檢測(cè)速度。而精度均值是測(cè)試集中每一類別檢測(cè)準(zhǔn)確率(Precision)的平均值。
公式(2)中:TP為被模型正確預(yù)測(cè)出的樣本數(shù),F(xiàn)P為被模型錯(cuò)誤預(yù)測(cè)出的樣本數(shù),TP+FP為總的樣本數(shù)。AP的計(jì)算公式如式(3)所示。
公式(3)中:∑Precision,為所有樣本檢測(cè)某一類別準(zhǔn)確率的總和,N為所有包含該類別的總樣本數(shù)。而mAP是對(duì)所有類別的AP取平均值。則mAP的計(jì)算公式如式(4)所示:
4.4實(shí)驗(yàn)結(jié)果分析
樣本收集后通過圖像增強(qiáng)等方法處理后獲得的無人機(jī)照片約9700張,本文按照無人機(jī)標(biāo)注框的大小從整體數(shù)據(jù)集中劃分出小目標(biāo)、中目標(biāo)兩個(gè)部分的子數(shù)據(jù)集用于對(duì)改進(jìn)后的模型進(jìn)行檢測(cè)。小目標(biāo)和中目標(biāo)的照片分別如圖3中(a)(b)所示。
改進(jìn)后的模型在整體數(shù)據(jù)集以及各子數(shù)據(jù)集上的AP如表3所示。
由表3可以看出,在原YOLOv3的基礎(chǔ)上對(duì)網(wǎng)絡(luò)模型和預(yù)測(cè)框篩選設(shè)計(jì)算法進(jìn)行改進(jìn)后,在整體無人機(jī)數(shù)據(jù)集上的AP提升了1.54%,達(dá)到了較好的實(shí)驗(yàn)效果。本文在原結(jié)構(gòu)基礎(chǔ)上增加了第四個(gè)尺度用于對(duì)小目標(biāo)進(jìn)行檢測(cè),改進(jìn)后的模型在小目標(biāo)和中目標(biāo)數(shù)據(jù)集上的AP分別提升了1. 96%和2.21%,試驗(yàn)結(jié)果表明改進(jìn)后模型在無人機(jī)檢測(cè)性能上得到很大提升。圖4為改進(jìn)后KCF跟蹤效果與原KCF跟蹤效果的對(duì)比圖。圖4(a)和圖4(b)表明由于運(yùn)動(dòng)目標(biāo)比較小且運(yùn)動(dòng)速度過快,導(dǎo)致KCF算法沒有實(shí)現(xiàn)有效跟蹤,出現(xiàn)了位置偏差,而圖4(c)和(d)所示,在同樣的情況下改進(jìn)后的算法實(shí)現(xiàn)了對(duì)目標(biāo)的有效跟蹤,跟蹤效果不錯(cuò)。
結(jié)語(yǔ)
本文介紹了無人機(jī)目標(biāo)檢測(cè)系統(tǒng),在原YOLOv3的基礎(chǔ)上對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和預(yù)測(cè)框篩選算法兩方面進(jìn)行了改進(jìn),增加了用于小目標(biāo)檢測(cè)的第四個(gè)尺度,預(yù)測(cè)框篩選算法采用Soft-NMS代替了原來的NMS算法;采用KCF跟蹤算法對(duì)識(shí)別后無人機(jī)進(jìn)行跟蹤。試驗(yàn)結(jié)果表明改進(jìn)后的模型在無人機(jī)的識(shí)別檢測(cè)性能上得到了較大提高。同時(shí),改進(jìn)后的KCF跟蹤算法可以對(duì)目標(biāo)進(jìn)行有效跟蹤,完成了跟蹤任務(wù)。
作者簡(jiǎn)介:睢丙東(1963— ),男,教授,研究方向:智能儀器儀表、計(jì)算機(jī)測(cè)控。
*通訊作者:苗林星(1990— ),女,碩士,研究方向:圖像處理、無人機(jī)識(shí)別;于國(guó)慶(1969— ),男,副教授,碩士研究生導(dǎo)師,研究方向:計(jì)算機(jī)測(cè)控、電子信息技術(shù)應(yīng)用。