謝松云, 劉祥惠, 吳曉亮, 高川林, 沈冬睿

(西北工業(yè)大學(xué) 電子信息學(xué)院, 陜西 西安 710072)

目標(biāo)的完整性評(píng)估指目標(biāo)發(fā)生變化后，獲取相關(guān)多源信息如圖像、視頻、軌跡和雷達(dá)等數(shù)據(jù)，根據(jù)其結(jié)構(gòu)和特點(diǎn)，通過(guò)多種技術(shù)方法給出目標(biāo)當(dāng)前完整程度的判定。在如自然災(zāi)害的檢測(cè)評(píng)估、土地利用以及軍事等多個(gè)領(lǐng)域具有重要應(yīng)用[1-2]。尤其在國(guó)防領(lǐng)域的應(yīng)用中，準(zhǔn)確及時(shí)地對(duì)目標(biāo)進(jìn)行完整性評(píng)估是戰(zhàn)場(chǎng)協(xié)調(diào)控制和正確決策的重要基礎(chǔ)和依據(jù)，能有效提高戰(zhàn)場(chǎng)資源的利用效率。本文即依托空中飛行物這一目標(biāo)對(duì)其進(jìn)行實(shí)時(shí)的完整性評(píng)估。

自20世紀(jì)90年代起，國(guó)內(nèi)外學(xué)者對(duì)目標(biāo)完整性判斷的方法進(jìn)行了大量研究，如貝葉斯網(wǎng)絡(luò)法、模糊綜合評(píng)估法、深度學(xué)習(xí)法等[3]。其中，由于圖像信息來(lái)源較多且相對(duì)容易獲取，基于圖像變化檢測(cè)來(lái)判斷目標(biāo)完整性是較為常用的方法。如Hajeb等[4]基于地震事件前后SAR圖像的紋理特征對(duì)震后城市損害進(jìn)行了評(píng)估。Zhai等[5]基于卷積神經(jīng)網(wǎng)絡(luò)，選取谷歌街景圖像，對(duì)颶風(fēng)災(zāi)后建筑物的損壞程度進(jìn)行了檢測(cè)。然而對(duì)于現(xiàn)實(shí)環(huán)境下的空中飛行目標(biāo)，即使完整性未發(fā)生變化，其周?chē)赡芤矔?huì)存在干擾評(píng)估的火焰或者煙霧，產(chǎn)生的原因一般是并未接觸目標(biāo)，或者是被目標(biāo)釋放的誘餌提前引燃。這些干擾信息也會(huì)呈現(xiàn)在采集到的圖像數(shù)據(jù)中，從而影響目標(biāo)完整性評(píng)估的準(zhǔn)確率。

近些年，基于非圖像信息源的目標(biāo)完整性評(píng)估研究也取得了較多進(jìn)展。Gu等[6]分析了戰(zhàn)術(shù)彈道導(dǎo)彈的系統(tǒng)特性和功能特性，構(gòu)建了導(dǎo)彈的易損性模型進(jìn)行完整性評(píng)估。Zhai等[7]對(duì)導(dǎo)彈打擊下島礁目標(biāo)區(qū)域的完整性建立了評(píng)估模型，結(jié)合灰色關(guān)聯(lián)度法和層次分析法解決了不同島礁設(shè)施重要性的量化。但該類(lèi)方法建立評(píng)估模型時(shí)要考慮的因素眾多，過(guò)程十分復(fù)雜。

針對(duì)上述基于單一數(shù)據(jù)源對(duì)目標(biāo)進(jìn)行完整性評(píng)估不夠準(zhǔn)確、實(shí)現(xiàn)過(guò)程復(fù)雜等問(wèn)題，提出了一種結(jié)合圖像和航跡信息的目標(biāo)完整性綜合評(píng)估方法：首先利用目標(biāo)變化前后的圖像紋理、角點(diǎn)、方向梯度直方圖(histogram of oriented gradient,HOG)等特征，通過(guò)K-近鄰(K-nearest neighbors,KNN)、支持向量機(jī)(support vector machine,SVM)分類(lèi)器轉(zhuǎn)化為圖像分類(lèi)問(wèn)題，之后結(jié)合航跡信息的分類(lèi)結(jié)果綜合判斷，得出最終的完整性評(píng)估結(jié)果。該方法易于實(shí)現(xiàn)，且能夠滿(mǎn)足準(zhǔn)確率和實(shí)時(shí)性的雙重要求。

1 完整性評(píng)估方法概述

隨著獲取信息能力越來(lái)越強(qiáng)，可獲得數(shù)據(jù)種類(lèi)的增多，基于單一數(shù)據(jù)源的目標(biāo)完整性評(píng)估方法已經(jīng)不能滿(mǎn)足人們的需求。利用不同信息源傳遞的數(shù)據(jù)，按照一定的規(guī)則進(jìn)行融合，能做出更完備、更高效、更準(zhǔn)確合理的判斷。本研究即采用可見(jiàn)光圖像和航跡信息2種不同源的數(shù)據(jù)進(jìn)行融合評(píng)估，可避免單一數(shù)據(jù)源的某種限制造成評(píng)估結(jié)果的偏差。方法的整體框圖如圖1所示，基于可見(jiàn)光圖像和航跡信息分別給出評(píng)估結(jié)果，在決策層根據(jù)各自的評(píng)估性能確定權(quán)重進(jìn)行加權(quán)融合，得出最終的融合評(píng)估結(jié)果。

在分別基于可見(jiàn)光圖像和航跡信息進(jìn)行評(píng)估時(shí)，提出了一種新的基于分類(lèi)的評(píng)估方法。經(jīng)典的評(píng)估方法多為提取目標(biāo)變化前后特定信息的變化率，由評(píng)估模型得到目標(biāo)的完整性系數(shù)，根據(jù)不同的評(píng)估標(biāo)準(zhǔn)將系數(shù)對(duì)應(yīng)到不同的完整性等級(jí)，該類(lèi)方法的難點(diǎn)在于完整性系數(shù)與評(píng)估標(biāo)準(zhǔn)的對(duì)應(yīng)往往需要一定的專(zhuān)家經(jīng)驗(yàn)，而利用目標(biāo)變化前后的評(píng)估特征，通過(guò)分類(lèi)器轉(zhuǎn)化為目標(biāo)數(shù)據(jù)分類(lèi)問(wèn)題則可以避免這一困難。該方法首先將目標(biāo)的完整性分為3個(gè)類(lèi)別，分別為完整目標(biāo)(類(lèi)別0)、部分完整目標(biāo)(類(lèi)別1)、不完整目標(biāo)(類(lèi)別2)，記變化前目標(biāo)的完整性均為類(lèi)別0，則當(dāng)前目標(biāo)的分類(lèi)類(lèi)別等同于任務(wù)前后類(lèi)別的變化量，也即任務(wù)后目標(biāo)的完整性等級(jí)。

當(dāng)空中目標(biāo)受到打擊發(fā)生變化時(shí)，在可見(jiàn)光圖像上一般會(huì)表現(xiàn)為燃燒或者爆炸的現(xiàn)象，且飛行目標(biāo)往往有著比較規(guī)則的邊緣，目標(biāo)一旦命中，規(guī)則的邊緣就會(huì)受到大幅度破壞。圖像的紋理特征、角點(diǎn)個(gè)數(shù)和HOG特征都會(huì)隨著目標(biāo)狀態(tài)的不同發(fā)生較明顯變化，可將其作為圖像分類(lèi)的特征。

正常情況下空中目標(biāo)在三維空間中的飛行軌跡是一條平滑且連續(xù)的曲線(xiàn)，一旦目標(biāo)變化，飛行軌跡會(huì)發(fā)生突變甚至消失。因此目標(biāo)在三維空間內(nèi)飛行軌跡的參數(shù)變化也可作為航跡分類(lèi)的特征。

在分類(lèi)器的選擇上，K近鄰方法易于實(shí)現(xiàn)，對(duì)異常值和噪聲有較高的容忍度，支持向量機(jī)是一種學(xué)習(xí)及泛化能力很強(qiáng)的分類(lèi)器，在非線(xiàn)性和高維識(shí)別問(wèn)題以及小樣本問(wèn)題中展現(xiàn)了其獨(dú)特的優(yōu)勢(shì)，正符合本文樣本量較少的需求。

2 基于圖像和航跡信息的完整性評(píng)估

2.1 基于圖像分類(lèi)的目標(biāo)完整性評(píng)估方法

基于圖像分類(lèi)的目標(biāo)完整性評(píng)估如圖1所示，由圖像預(yù)處理、紋理角點(diǎn)特征與KNN分類(lèi)器、HOG特征與SVM分類(lèi)器3個(gè)部分組成。

2.1.1 圖像預(yù)處理

為了提高圖像質(zhì)量，減少圖像背景對(duì)評(píng)估結(jié)果的影響，縮短后續(xù)特征信息提取時(shí)間，首先需對(duì)目標(biāo)圖像進(jìn)行預(yù)處理。

由于待評(píng)估對(duì)象為?？毡尘跋碌目罩酗w行目標(biāo)，減少天空背景中的煙霧可有效增強(qiáng)圖像質(zhì)量。本文采用的暗通道去霧方法[8]處理速度快且效果好，是目前諸多去霧算法中比較出色的算法之一。

得到更為清晰的去霧圖像后，為防止非目標(biāo)的圖像背景變化會(huì)對(duì)后續(xù)評(píng)估產(chǎn)生干擾，在評(píng)估特征提取之前對(duì)去霧后的可見(jiàn)光圖像進(jìn)行待評(píng)估目標(biāo)的檢測(cè)與裁剪，把后續(xù)特征提取的區(qū)域縮小至空中目標(biāo)本身，此步驟同時(shí)可縮短后續(xù)特征提取所需時(shí)間。具體操作分別為高斯去噪、sobel算子計(jì)算圖像梯度、二值化確定目標(biāo)的4個(gè)邊界完成對(duì)圖像的裁剪,結(jié)果如圖2所示。

圖2 圖像預(yù)處理效果圖

2.1.2 基于紋理角點(diǎn)特征和KNN的完整性評(píng)估

考慮到目標(biāo)完整性評(píng)估穩(wěn)定和快速的需求，研究選取的紋理特征為圖像均值、標(biāo)準(zhǔn)差、平均梯度、信息熵，計(jì)算方式如下，其中,w為圖像的寬，h為圖像的高，Pxy為像素點(diǎn)(x,y)的像素灰度值，pn為灰度值為n的像素點(diǎn)在所有像素中所占比例。

圖像均值：圖像里全部像素的灰度平均值

(1)

圖像標(biāo)準(zhǔn)差：像素灰度值和均值之間的離散程度

(2)

圖像平均梯度：反映了圖像的紋理變化及圖像的清晰度

(3)

圖像信息熵：代表了圖像數(shù)據(jù)的信息豐富度

(4)

在紋理特征發(fā)生變化的同時(shí)，目標(biāo)圖像中的角點(diǎn)數(shù)目也存在較大變化。研究采用的角點(diǎn)檢測(cè)方法為 Shi-Tomasi 角點(diǎn)檢測(cè)算法，如圖2g)所示：完整目標(biāo)的角點(diǎn)個(gè)數(shù)為6，部分完整目標(biāo)角點(diǎn)個(gè)數(shù)為10，不完整目標(biāo)的角點(diǎn)個(gè)數(shù)為15。通過(guò)變化前后目標(biāo)圖像的角點(diǎn)個(gè)數(shù)統(tǒng)計(jì)發(fā)現(xiàn)目標(biāo)的完整性和目標(biāo)圖像角點(diǎn)個(gè)數(shù)變化具有一定的相關(guān)性，不完整程度越大，角點(diǎn)個(gè)數(shù)變化越大，記變化量為ΔD。

KNN算法是一種基于回歸和分類(lèi)問(wèn)題的算法，有實(shí)現(xiàn)簡(jiǎn)單、訓(xùn)練速度快等優(yōu)點(diǎn)。其分類(lèi)過(guò)程如下：選取一個(gè)待測(cè)樣本，在全部的訓(xùn)練樣本集中搜索k個(gè)待測(cè)樣本的最近鄰，然后通過(guò)多數(shù)投票的方式在k個(gè)最近鄰中確定待測(cè)樣本的所屬類(lèi)別,以此實(shí)現(xiàn)待測(cè)樣本的分類(lèi)識(shí)別。文中k值取3，距離采用歐氏距離。每個(gè)圖像的特征向量即為

Y=(μ,σ,G,H,ΔD)T

(5)

則2個(gè)圖像所對(duì)應(yīng)的紋理角點(diǎn)特征向量之間的歐氏距離為：

(6)

為了提高準(zhǔn)確率，對(duì)紋理角點(diǎn)特征進(jìn)行歸一化：

(7)

對(duì)于某個(gè)未知類(lèi)別的特征實(shí)例來(lái)說(shuō)，計(jì)算其與訓(xùn)練集中所有特征實(shí)例的歐氏距離，然后取 3 個(gè)與其相距最近的特征實(shí)例，通過(guò)判斷這3個(gè)特征實(shí)例中的大多數(shù)類(lèi)別，即可決定該未知實(shí)例的類(lèi)別，也即完整性評(píng)估結(jié)果，該部分流程圖如圖3所示。

圖3 基于紋理角點(diǎn)特征和KNN的完整性評(píng)估方法流程圖

2.1.3 基于HOG特征和SVM的完整性評(píng)估

HOG特征本質(zhì)也是圖像梯度的統(tǒng)計(jì)信息，將圖像分解成若干個(gè)小的單元，采集單元中各像素點(diǎn)的梯度直方圖，構(gòu)建表征梯度的統(tǒng)計(jì)特征向量。圖4為3種情況下目標(biāo)圖像的HOG特征可視化圖，可以看出也存在較明顯區(qū)別。

圖4 不同情況下的圖像HOG特征可視化圖

SVM是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的學(xué)習(xí)機(jī)，其主要原理為通過(guò)使用非線(xiàn)性映射算法將輸入的特征向量從低維空間映射至另一個(gè)高維的空間內(nèi)使其線(xiàn)性可分，并且在該高維空間內(nèi)構(gòu)建最優(yōu)的線(xiàn)性分類(lèi)面。同時(shí)，把特征向量映射至高維空間里僅僅是改變了內(nèi)積運(yùn)算，算法的復(fù)雜度并沒(méi)有隨著維數(shù)的提高而提高，在圖像識(shí)別和分類(lèi)領(lǐng)域得到了廣泛應(yīng)用。與HOG特征組合得到的分類(lèi)結(jié)果同樣可作為當(dāng)前目標(biāo)的完整性評(píng)估結(jié)果，流程圖如圖5所示。

圖5 基于HOG和SVM的完整性評(píng)估方法流程圖

2.2 基于航跡信息的完整性評(píng)估方法

本研究通過(guò)飛行模擬軟件FlightGear控制飛行器在三維空間內(nèi)飛行的方式來(lái)進(jìn)行目標(biāo)的航跡模擬仿真。通過(guò)模擬進(jìn)行正常飛行、某一時(shí)刻突然墜落、某一時(shí)刻突然停止飛行，分別對(duì)完全完整(未受到命中)、部分不完整(部分受到命中)、不完整(完全受到命中)等3種情況進(jìn)行仿真，得出對(duì)應(yīng)的3種空中目標(biāo)的航跡數(shù)據(jù)。其中包括7個(gè)參數(shù)：經(jīng)度、緯度、高度、速度、傾角、俯仰角、航向角，區(qū)別較明顯的參數(shù)為高度、速度、俯仰角。

通過(guò)對(duì)比目標(biāo)在變化前后的參數(shù)大小，可以得出目標(biāo)在變化前后的高度、速度和俯仰角的變化；將變化值作為特征，同樣采用KNN分類(lèi)器進(jìn)行三分類(lèi)。分別記高度、速度、俯仰角為G,S,F，同時(shí)下標(biāo)q,h分別代表變化前(即目標(biāo)變化點(diǎn)之前的那一點(diǎn))和變化后(即目標(biāo)變化點(diǎn)之后的那一點(diǎn)；如果目標(biāo)完全變化，則為目標(biāo)變化點(diǎn)本身)。

則目標(biāo)在變化后的軌跡特征向量V為

V=(|Gh-Gq|,|Sh-Sq|,|Fh-Fq|)T

(8)

把V輸入KNN進(jìn)行分類(lèi)，得到目標(biāo)軌跡測(cè)試數(shù)據(jù)在變化后的類(lèi)別，即當(dāng)前目標(biāo)的完整性結(jié)果, 流程圖如圖6所示。

圖6 基于航跡信息和KNN的完整性評(píng)估方法流程圖

2.3 融合方法

通過(guò)上述方法分別得到圖像類(lèi)別變化(記為ΔCI(image category))和航跡類(lèi)別變化(記為ΔCT(track category))的結(jié)果后，對(duì)2個(gè)類(lèi)別變化進(jìn)行加權(quán)平均，得到綜合類(lèi)別變化 。

ΔC=aΔCI+bΔCT

(9)

在基于圖像數(shù)據(jù)源分類(lèi)方面，為了對(duì)目標(biāo)的完整性進(jìn)行更全面評(píng)估，記ΔCIK為KNN和紋理角點(diǎn)分類(lèi)所得到的類(lèi)別變化，ΔCIS為SVM和HOG分類(lèi)所得到的類(lèi)別變化，則有下式：

ΔCI=c1ΔCIK+c2ΔCIS

(10)

將(10)式帶入(9)式可得

ΔC=ac1ΔCIK+ac2ΔCIS+bΔCT

(11)

其中，a,b,c1,c2分別為各分類(lèi)結(jié)果所占權(quán)重。由于最后的類(lèi)別變化應(yīng)該為整數(shù)(0或1或2)，對(duì)ΔC進(jìn)行四舍五入取整，得到最終的綜合類(lèi)別變化，也即目標(biāo)完整性評(píng)估的最終結(jié)果。

3 方法驗(yàn)證和結(jié)果分析

首先基于紋理角點(diǎn)特征與KNN圖像分類(lèi)方法對(duì)目標(biāo)完整性進(jìn)行評(píng)估，數(shù)據(jù)集共選取360張圖像，其中包括完整圖像120張(類(lèi)別標(biāo)簽為0)，部分完整圖像120張(類(lèi)別標(biāo)簽為1)，不完整圖像120張(類(lèi)別標(biāo)簽為2)，訓(xùn)練集與測(cè)試集的比例為2∶1。圖7中藍(lán)色代表4維紋理特征向量，橙色為加入角點(diǎn)變化量的5維特征向量。結(jié)果表明選擇紋理角點(diǎn)5維特征的準(zhǔn)確率達(dá)到了93.33%，高于無(wú)角點(diǎn)變化量特征的90.83%, 且無(wú)論是否加入角點(diǎn)變化量，歸一化操作都提高了圖像的分類(lèi)準(zhǔn)確率，驗(yàn)證了歸一化操作的有效性。

圖7 紋理角點(diǎn)+KNN完整性評(píng)估準(zhǔn)確率對(duì)比(是否歸一化)

圖8為將紋理角點(diǎn)、HOG、2種特征拼接分別和KNN、SVM分類(lèi)器進(jìn)行組合后的6種分類(lèi)準(zhǔn)確率結(jié)果，從圖中可以看出，紋理角點(diǎn)+KNN組合的準(zhǔn)確率93.33%高于紋理角點(diǎn)+SVM組合的91.67%，HOG+SVM組合的準(zhǔn)確率90.83%高于HOG+KNN組合的89.16%，但拼接特征與任意分類(lèi)器組合的準(zhǔn)確率都沒(méi)有超過(guò)紋理角點(diǎn)與KNN的組合,因此基于圖像源的評(píng)估方法本文采用的組合即為2.1.2和2.1.3節(jié)所述的方法。

圖8 基于圖像的完整性評(píng)估正確率對(duì)比

雖然從圖8中可以看出，紋理角點(diǎn)特征相比HOG特征擁有更高的準(zhǔn)確率，但2種特征從不同角度反映了圖像的特點(diǎn)，為了對(duì)目標(biāo)的完整性進(jìn)行更全面的判斷，2種方法均作為基于圖像分類(lèi)的一部分加入綜合評(píng)估。在結(jié)合航跡分類(lèi)結(jié)果進(jìn)行綜合評(píng)估的過(guò)程中，權(quán)重的選擇是一個(gè)重要的因素。由于前2種方法的數(shù)據(jù)源均為圖像，只有第3種方法基于航跡信息且準(zhǔn)確率并不低于2種圖像源的方法，為了充分發(fā)揮航跡信息的作用故將第3種方法的權(quán)重定為略高于1/3的0.4，前2種圖像源的方法權(quán)重均分為0.3和0.3。由圖9不同權(quán)重下的完整性綜合評(píng)估準(zhǔn)確率柱狀圖中可以看出，當(dāng)圖像分類(lèi)權(quán)重為0.6，且其中紋理角點(diǎn)特征和HOG特征各占比0.5(即紋理角點(diǎn)特征、HOG特征和航跡特征分類(lèi)結(jié)果的權(quán)重分別為0.3，0.3，0.4)時(shí)，處于高準(zhǔn)確率區(qū)域的中心位置，相對(duì)較穩(wěn)定。

圖9 不同權(quán)重下的完整性綜合評(píng)估準(zhǔn)確率

基于以上權(quán)重，圖10給出了單數(shù)據(jù)源和綜合評(píng)估的準(zhǔn)確率對(duì)比結(jié)果，實(shí)驗(yàn)證明基于圖像和航跡信息的綜合評(píng)估方法準(zhǔn)確率高達(dá)97.5%,相比僅依賴(lài)圖像(無(wú)論是紋理角點(diǎn)還是HOG特征)或者航跡信息進(jìn)行判斷分別高出了4.17%，6.67%，4.17%，證實(shí)了結(jié)合圖像和航跡信息綜合評(píng)估方法的有效性。

圖10 單數(shù)據(jù)源和綜合完整性評(píng)準(zhǔn)確率對(duì)比

由于目標(biāo)的完整性評(píng)估需要極高的實(shí)時(shí)性，基于Intel(R) Core(TM) i7-9700F CPU @ 3.00GHz，GTX1660Ti顯卡，16G內(nèi)存的工作環(huán)境，進(jìn)行了評(píng)估方法各環(huán)節(jié)速度的測(cè)試，如表1所示。整個(gè)完整性評(píng)估的用時(shí)可保持在毫秒級(jí)別，完全滿(mǎn)足實(shí)時(shí)性的要求。

表1各環(huán)節(jié)單張圖片平均用時(shí)

4 結(jié) 論

論文通過(guò)對(duì)目標(biāo)可見(jiàn)光圖像和航跡信息仿真及預(yù)處理得到可用于分類(lèi)的數(shù)據(jù)，并對(duì)數(shù)據(jù)分別進(jìn)行評(píng)估特征提取及分類(lèi)，將分類(lèi)情況對(duì)應(yīng)為目標(biāo)發(fā)生變化后的完整性結(jié)果，最終通過(guò)加權(quán)平均得到基于圖像數(shù)據(jù)和航跡信息的綜合評(píng)估結(jié)果。該方法將目標(biāo)的完整性評(píng)估轉(zhuǎn)換為分類(lèi)問(wèn)題，采用2種數(shù)據(jù)源成功提高了評(píng)估的準(zhǔn)確率及速度，最終評(píng)估準(zhǔn)確率高達(dá)97.5%，單張圖片的用時(shí)為100 ms左右。在后續(xù)的研究中可繼續(xù)引入更多的數(shù)據(jù)源進(jìn)行綜合評(píng)估，如雷達(dá)回波和紅外圖像等，進(jìn)一步驗(yàn)證基于多數(shù)據(jù)源進(jìn)行目標(biāo)完整性評(píng)估的優(yōu)勢(shì)。

致謝感謝陜西省腦機(jī)一體化及其無(wú)人系統(tǒng)應(yīng)用國(guó)際聯(lián)合研究中心提供數(shù)據(jù)和設(shè)備支持。