侯英娟

中國(guó)直升機(jī)設(shè)計(jì)研究所

作為無(wú)人直升機(jī)偵察領(lǐng)域的關(guān)鍵技術(shù)，目標(biāo)識(shí)別與跟蹤技術(shù)正在快速發(fā)展。但是，無(wú)人直升機(jī)難以識(shí)別和跟蹤小型目標(biāo)。鑒于此，本文提出深度學(xué)習(xí)yolov5算法與圖像特征算法相融合的方法，以解決無(wú)人直升機(jī)不易跟蹤小型目標(biāo)的問(wèn)題。

作為當(dāng)代低空超低空作戰(zhàn)領(lǐng)域的重要裝備之一，無(wú)人直升機(jī)具有空中懸停、低空飛行等優(yōu)勢(shì)，在監(jiān)視、偵察、精確打擊等作戰(zhàn)任務(wù)中發(fā)揮著重要作用。隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，無(wú)人直升機(jī)自主飛行能力得到快速提升，可出色完成目標(biāo)識(shí)別與跟蹤任務(wù)。當(dāng)前，目標(biāo)識(shí)別與跟蹤技術(shù)已成為眾多學(xué)者及開(kāi)發(fā)者重點(diǎn)研究的熱點(diǎn)方向。

無(wú)人直升機(jī)目標(biāo)跟蹤算法

早期目標(biāo)跟蹤技術(shù)主要采用雷達(dá)發(fā)射電磁波，雷達(dá)對(duì)所獲取的回波信息進(jìn)行分析，進(jìn)而識(shí)別目標(biāo)。近年來(lái)，隨著圖像處理技術(shù)的發(fā)展，許多基于圖像處理技術(shù)的目標(biāo)檢測(cè)算法應(yīng)運(yùn)而生。無(wú)人直升機(jī)在識(shí)別與跟蹤目標(biāo)時(shí)，選用基于圖像處理技術(shù)的目標(biāo)檢測(cè)算法，能夠快速而精準(zhǔn)地識(shí)別、跟蹤目標(biāo)。

本文提出深度學(xué)習(xí)yolov5算法與圖像特征算法相融合的目標(biāo)跟蹤算法，該算法提升了無(wú)人直升機(jī)識(shí)別與跟蹤小型目標(biāo)的精度與速度。

本文算法

本文提出的目標(biāo)跟蹤算法分為兩方面內(nèi)容。一是使用yolov5算法對(duì)目標(biāo)進(jìn)行檢測(cè)，在復(fù)雜背景下提取候選目標(biāo)；二是使用圖像特征算法，從候選目標(biāo)中篩選出最終目標(biāo)。相較于普通目標(biāo)跟蹤算法，本文提出的算法具有識(shí)別與跟蹤精度高、檢測(cè)速度快等優(yōu)勢(shì)。

yolov5算法

在計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，yolo系列算法是比較流行的單階段目標(biāo)檢測(cè)算法，它的創(chuàng)新點(diǎn)是將候選區(qū)域識(shí)別和對(duì)象識(shí)別這兩個(gè)階段融于一體，算法結(jié)構(gòu)簡(jiǎn)單，提高了目標(biāo)檢測(cè)速度。yolov5算法是yolo系列中的第五個(gè)版本，在yolov4算法的基礎(chǔ)上，添加了如下新的改進(jìn)思路，計(jì)算速度與精度得到極大的提升。

1.輸入端

在模型訓(xùn)練階段，yolov5算法提出了一些改進(jìn)思路，主要包括Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放。

2.準(zhǔn)網(wǎng)絡(luò)

yolov5算法融合了其他檢測(cè)算法的一些新思路，例如Focus結(jié)構(gòu)與CSP結(jié)構(gòu)。

3.Neck網(wǎng)絡(luò)

目標(biāo)檢測(cè)網(wǎng)絡(luò)通常會(huì)在輸入端與最后的Head輸出層之間插入一些層。yolov5算法添加了FPN+PAN結(jié)構(gòu)。

4.Head輸出層

輸出層的錨框機(jī)制與yolov4算法相同，訓(xùn)練時(shí)的損失函數(shù)GIOU_Loss以及預(yù)測(cè)框篩選的DIOU_nms獲得改進(jìn)。

yolov5算法的網(wǎng)絡(luò)結(jié)構(gòu)

yolov5算法的網(wǎng)絡(luò)結(jié)構(gòu)以coco數(shù)據(jù)集為基準(zhǔn)。網(wǎng)絡(luò)結(jié)構(gòu)由輸入端，輸出端組成。此外，還包含CBL模塊、Resunit模塊、CSPX模塊、SPP模塊、Focus模塊共5個(gè)基本組件。其他基礎(chǔ)操作包括張量拼接和張量相加。

損失函數(shù)

yolov5算法用到的損失函數(shù)為定位損失(box_loss)、置信度損失(object_loss)和分類(lèi)損失(class_loss)三部分的加權(quán)和。yolov5算法的定位損失使用的是CIoU_loss，損失函數(shù)計(jì)算公式如式(1)所述。

其中，IoU為預(yù)測(cè)框和真實(shí)框的交并比，交并比計(jì)算公式如式(2)所述；dc為預(yù)測(cè)框中心點(diǎn)與真實(shí)框中心點(diǎn)之間的距離；ds為預(yù)測(cè)框和真實(shí)框最小外接矩形的對(duì)角線(xiàn)長(zhǎng)度；α表示平衡參數(shù)；ν表示真實(shí)框?qū)捀弑鹊膬A斜角度。

α的計(jì)算公式如式(3)所述，ν的計(jì)算公式如式(4)所述。

其中，w表示寬度；h表示高度；wgt表示真實(shí)框?qū)挾?；hgt表示真實(shí)框高度。

CIoU_Loss的計(jì)算公式如式(5)所述。

圖像特征提取

無(wú)人直升機(jī)光電系統(tǒng)拍攝的視頻存在光照引起的顏色誤差以及不同角度拍攝導(dǎo)致的形態(tài)多樣化問(wèn)題。單一的圖像匹配算法不能很好地解決上述問(wèn)題，所以本文圖像特征提取同時(shí)采用感知哈希算法、HSV顏色直方圖算法以及LBP局部紋理直方圖算法，對(duì)圖像相似度進(jìn)行打分，篩選出分?jǐn)?shù)最高的候選目標(biāo)，作為光電系統(tǒng)識(shí)別與跟蹤的目標(biāo)。

在感知哈希算法中，一維離散余弦變換公式如式(6)所述。

式(6)中，F(xiàn)(n)表示一維離散余弦變換后的系數(shù)；c(n)表示補(bǔ)償系數(shù)，公式(7)可計(jì)算補(bǔ)償系數(shù)；f(i)表示最原始信號(hào)；N表示原始信號(hào)的點(diǎn)數(shù)；n表示廣義頻率，i表示第i個(gè)信號(hào)。

二維離散余弦變換公式如式(8)所述。

式(8)中，F(xiàn)(n,m)表示二維離散余弦變換后的系數(shù)；f(i,j)表示在i行j列的圖像的像素值；m，n表示離散頻率變量(0，1，2……7)。

HSV顏色直方圖算法第一步把圖像從RGB格式轉(zhuǎn)換到HSV格式，HSV顏色直方圖算法公式如式(9)、式(10)所述。

式(9)中，V表示亮度值，(R、G、B)表示顏色空間內(nèi)的任一像素值，而R,G,B屬于[0,255]。

式(10)中，S表示飽和度值。

式(11)中，H表示色彩值。假如H＜0，則H=H+360，輸出0≤V≤1,0≤S≤1,0≤H≤1。

LBP局部紋理直方圖算法公式如式(12)所述。

式(12)中，(xc,yc)表示中心像素；p表示采樣點(diǎn)數(shù)；s表示一個(gè)函數(shù)；ip表示相鄰像素的灰度值；ic表示灰度值。

式(13)中，s(x)為符號(hào)函數(shù)。

圖像相似度計(jì)算打分

本文使用漢明距離算法對(duì)感知哈希算法進(jìn)行相似度計(jì)算。HSV顏色直方圖算法和LBP局部紋理直方圖算法用巴氏距離算法進(jìn)行相似度計(jì)算。

漢明距離算法如式(14)所述。

式(14)中，d(r,t)表示距離；j=0,1,..n-1；r，j都是n位的編碼；⊕表示異或。

公式(15)可計(jì)算出HSV顏色直方圖算法的相似度的巴氏距離。

式(15)中，d(H1+H2)為HSV顏色直方圖算法相似度距離值；H1和H2分別表示目標(biāo)圖像和檢測(cè)圖像的HSV顏色直方圖算法特征提取值；R表示直方圖的bin數(shù)目；I表示bin的序號(hào)。

公式(16)可計(jì)算出LBP局部紋理直方圖算法的相似度的巴氏距離。

式(16)中，d(L1+L2)為L(zhǎng)BP局部直方圖算法相似度巴氏距離值；T表示直方圖的bin數(shù)目;L1和L2分別表示目標(biāo)圖像和檢測(cè)目標(biāo)圖像的LBP局部紋理直方圖算法提取的向量。

計(jì)算打分時(shí)相似度得分設(shè)置閾值為60%。當(dāng)最高相似度得分低于閾值時(shí)，則當(dāng)前幀沒(méi)有目標(biāo)。當(dāng)最高相似度得分大于閾值時(shí)，即該候選目標(biāo)為當(dāng)前幀的目標(biāo)。本文HSV顏色直方圖算法相似度的權(quán)重系數(shù)a=0.4；LBP局部紋理直方圖算法相似度的權(quán)重系數(shù)b=0.4，感知哈希算法特征相似度的權(quán)重系數(shù)c=0.2。

式(17)中，Si表示相似度打分；Y表示放大系數(shù)；d(Hi+H0)表示HSV顏色直方圖算法巴氏相關(guān)系數(shù)；d(Li+L0)表示LBP局部紋理直方圖算法巴氏相關(guān)系數(shù)；d(r,t)表示感知哈希算法相關(guān)系數(shù)。

實(shí)驗(yàn)與結(jié)果

數(shù)據(jù)采集

制作數(shù)據(jù)集的圖片來(lái)源于無(wú)人直升機(jī)光電系統(tǒng)拍攝的視頻及圖片。在拍攝過(guò)程中，光電系統(tǒng)應(yīng)在不同角度、光照下對(duì)地面情報(bào)物體進(jìn)行拍攝。數(shù)據(jù)采集者將錄制好的視頻以MP4格式保存，使用opencv開(kāi)發(fā)庫(kù)讀取視頻總幀數(shù)，并將視頻文件轉(zhuǎn)換成圖片格式的文件。

圖1 部分?jǐn)?shù)據(jù)集樣本。

圖2 標(biāo)記后的圖片。

數(shù)據(jù)集制作

本文采用人工標(biāo)注的方法，首先使用VoTT工具對(duì)圖像進(jìn)行標(biāo)記，然后設(shè)置標(biāo)簽，最后導(dǎo)出需要的數(shù)據(jù)集格式。VoTT工具支持CNTK Faster-RCNN、TFRcords、TensorFlow Pascal VOC和YOLO等多種導(dǎo)出格式的數(shù)據(jù)集。

實(shí)驗(yàn)結(jié)果對(duì)比

本文采用yolov5算法作為目標(biāo)檢測(cè)算法，與原來(lái)的yolo系列算法相比，yolov5算法在性能、靈活性、計(jì)算速度以及模型快速部署等方面均有一定的提升。本文采用yolo系列算法和Faster-RCNN算法進(jìn)行模型訓(xùn)練與對(duì)比，實(shí)驗(yàn)結(jié)果是，對(duì)于一些小目標(biāo)檢測(cè)，yolov5算法的精確度占優(yōu)勢(shì)。本文以船舶、人員、車(chē)輛作為實(shí)驗(yàn)對(duì)象進(jìn)行實(shí)驗(yàn)對(duì)比。

表1 基于yolov5、yolov3、Faster-RCNN算法的目標(biāo)檢測(cè)精度。

總結(jié)

本文提出的無(wú)人直升機(jī)目標(biāo)跟蹤算法，采用深度學(xué)習(xí)yolov5算法與圖像特征算法相融合的方法，提高了目標(biāo)跟蹤精度與速度。在每次執(zhí)行任務(wù)時(shí)，使用者可以切換不同種類(lèi)的數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)，對(duì)檢測(cè)出的圖像進(jìn)行圖像特征對(duì)比，最后得到跟蹤的目標(biāo)。該算法不足之處是須要提前訓(xùn)練好各種目標(biāo)跟蹤的模型，以及須要大量數(shù)據(jù)進(jìn)行訓(xùn)練。