蔣 攀, 單連平, 劉義海

(江蘇自動(dòng)化研究所, 江蘇 連云港 222061)

基于多特征多神經(jīng)網(wǎng)絡(luò)融合的目標(biāo)識(shí)別技術(shù)*

蔣 攀, 單連平, 劉義海

(江蘇自動(dòng)化研究所, 江蘇 連云港 222061)

針對(duì)決策級(jí)融合識(shí)別中各單源識(shí)別結(jié)果高度沖突或拒判時(shí)目標(biāo)綜合識(shí)別結(jié)果不夠準(zhǔn)確的問題,提出了一種基于目標(biāo)融合特征和多神經(jīng)網(wǎng)絡(luò)融合的識(shí)別方法,該方法首先應(yīng)用遺傳算法融合目標(biāo)的多種特征,其次使用裝袋方法獨(dú)立地構(gòu)建多個(gè)神經(jīng)網(wǎng)絡(luò),并提出蒙特卡洛隨機(jī)融合法融合多神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果,實(shí)驗(yàn)結(jié)果表明該方法能夠通過兩級(jí)融合提升目標(biāo)識(shí)別的準(zhǔn)確率和穩(wěn)定性。

目標(biāo)識(shí)別; 遺傳算法; 融合特征; 多神經(jīng)網(wǎng)絡(luò); 蒙特卡洛隨機(jī)融合法

目標(biāo)綜合識(shí)別是通過融合各類傳感器探測(cè)到的目標(biāo)信息,充分利用相互之間的互補(bǔ)和冗余性,得到目標(biāo)身份信息的過程[1]。準(zhǔn)確穩(wěn)定的目標(biāo)識(shí)別是戰(zhàn)場(chǎng)態(tài)勢(shì)評(píng)估和威脅判斷的基礎(chǔ),也是聯(lián)合作戰(zhàn)和精確打擊的前提。

目前,目標(biāo)綜合識(shí)別的方法已有較多文獻(xiàn)研究,最常用的手段是在決策級(jí)進(jìn)行融合,即基于不同的單源特征使用不同的分類器進(jìn)行識(shí)別,然后對(duì)單源識(shí)別結(jié)果按照一定的策略進(jìn)行融合完成目標(biāo)綜合識(shí)別[2-3]。這種方式雖然簡單有效,但存在如下問題:1)由于單源識(shí)別導(dǎo)致目標(biāo)有效信息損失較多,因而當(dāng)單源識(shí)別結(jié)果高度沖突或有部分單源識(shí)別拒判時(shí),決策層融合后得到的結(jié)果不夠準(zhǔn)確;2)當(dāng)所有單源均出現(xiàn)拒判情形時(shí),決策級(jí)融合識(shí)別無法進(jìn)行。文獻(xiàn)[4-5]考慮特征級(jí)融合,先提取出了目標(biāo)的多種特征量,并按照一定的方法對(duì)提取到的多種特征量進(jìn)行融合,得到具有較強(qiáng)區(qū)分性的融合特征量,再使用分類器識(shí)別目標(biāo)。這種方式雖然避免了決策級(jí)融合中有效信息損失過多的問題,但在識(shí)別目標(biāo)時(shí)通常使用單一分類器,很少考慮多分類器融合方法,容易受到噪聲和過擬合影響。

本文針對(duì)上述決策級(jí)融合和特征級(jí)融合方法的不足,研究了一種基于目標(biāo)融合特征和多神經(jīng)網(wǎng)絡(luò)融合的識(shí)別策略,即融合目標(biāo)的多種特征提升每個(gè)神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率,融合多個(gè)神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果來改善目標(biāo)識(shí)別的穩(wěn)定性。

1 目標(biāo)特征融合

單個(gè)傳感器提取的特征由于其自身的探測(cè)特點(diǎn)不能獲得目標(biāo)的完全描述,利用多種異類傳感器提取的獨(dú)立互補(bǔ)的特征進(jìn)行識(shí)別往往有利于降低誤識(shí)別率。但異類傳感器提供的目標(biāo)數(shù)據(jù)通常存在結(jié)構(gòu)各異、形式多樣等特點(diǎn),為了實(shí)現(xiàn)多樣異構(gòu)數(shù)據(jù)的統(tǒng)一利用,必須采用有效的特征級(jí)融合算法來生成目標(biāo)的融合特征數(shù)據(jù)集。遺傳算法(Genetic Algorithm,GA)是建立在自然選擇和遺傳變異基礎(chǔ)上的利用隨機(jī)化技術(shù)來指導(dǎo)的自適應(yīng)概率性搜索算法。其高效搜索性和強(qiáng)魯棒性能夠快速求得全局最優(yōu)解,此外,遺傳算法的編碼方式十分契合目標(biāo)特征融合的應(yīng)用。

本文首先從目標(biāo)圖像中提取了Hu不變矩特征和仿射不變矩特征[6],將其與目標(biāo)運(yùn)動(dòng)特征和目標(biāo)的電磁輻射特征組成目標(biāo)的原始特征空間,然后使用遺傳算法對(duì)目標(biāo)原始特征進(jìn)行融合得到了融合特征空間,目標(biāo)特征數(shù)據(jù)融合的遺傳算法過程如下:

1)算法初始化:采用二進(jìn)制編碼方式將目標(biāo)原始特征空間表示為一個(gè)長度為n(n為目標(biāo)特征個(gè)數(shù))的二進(jìn)制串。隨機(jī)產(chǎn)生M個(gè)個(gè)體作為初始群體P(0),設(shè)置進(jìn)化代數(shù)計(jì)數(shù)器t=0、最大代數(shù)T以及交叉和變異概率;

2)適應(yīng)度計(jì)算:對(duì)于第t代進(jìn)化,以類間距離作為適應(yīng)度函數(shù),公式如下:

4)交叉運(yùn)算:根據(jù)交叉概率將種群中的兩個(gè)個(gè)體交換某些基因,以期望將有益基因組合在一起;

5)變異運(yùn)算:對(duì)當(dāng)前種群中的所有個(gè)體以事先設(shè)定的變異概率判斷是否進(jìn)行變異;

6)終止條件判斷:若t>T或連續(xù)10代最佳個(gè)體不發(fā)生變化,則以進(jìn)化過程中所得到的具有最大適應(yīng)度個(gè)體作為融合特征編碼輸出,否則轉(zhuǎn)到2)。

2 多神經(jīng)網(wǎng)絡(luò)融合

2.1 多分類器融合理論框架

多分類器融合模型的構(gòu)建通常分為兩個(gè)階段:1)基分類器集合設(shè)計(jì),在給定數(shù)據(jù)集上獨(dú)立的構(gòu)建一組基分類器,要求這組基分類器融合后能獲得盡量好的分類性能;2)融合規(guī)則設(shè)計(jì),為精心設(shè)計(jì)的基分類器集合設(shè)計(jì)融合規(guī)則,使得多分類器融合后的分類效果最好。文獻(xiàn)[7]系統(tǒng)研究了多分類器的融合,并給出了多分類器融合的理論框架,如圖1所示。

圖1 多分類器融合的理論框架

本文基于多分類器融合模型的理論框架,并依據(jù)特征級(jí)融合得到的目標(biāo)融合特征數(shù)據(jù)集,建立基于目標(biāo)融合特征的多神經(jīng)網(wǎng)絡(luò)融合模型。

2.2 多神經(jīng)網(wǎng)絡(luò)集合的構(gòu)建方法

文獻(xiàn)[8]證明了基分類器的性能越好、相互之間的差異越大,融合后的分類效果越理想。對(duì)于已經(jīng)得到的目標(biāo)融合特征數(shù)據(jù)集,通常有裝袋(Bagging)和提升(Boosting)兩種方式來生成基分類器集合[9-10]:

1)裝袋:對(duì)于含有N個(gè)樣本的訓(xùn)練數(shù)據(jù)集D,按照均勻概率分布從訓(xùn)練數(shù)據(jù)集D中有放回地抽樣N次,并重復(fù)該過程k次,得到k個(gè)含有N個(gè)樣本的自助訓(xùn)練集,用于生成k個(gè)基分類器。由于裝袋按照均勻分布有放回抽樣,因此,在同一自助訓(xùn)練集中,某些樣本可能出現(xiàn)多次也有可能不出現(xiàn),但每個(gè)樣本被抽取的概率都為1-(1-1/N)N,當(dāng)N趨于無窮時(shí),該概率收斂于1-1/e。

2)提升:對(duì)于含有N個(gè)樣本的訓(xùn)練數(shù)據(jù)集D,迭代的學(xué)習(xí)k個(gè)分類器。開始時(shí),為每一個(gè)樣本分配一個(gè)初始權(quán)重,在第i次迭代學(xué)習(xí)時(shí),從D中有放回抽樣每一個(gè)樣本被抽中的機(jī)會(huì)由其權(quán)重決定,得到新的訓(xùn)練集并導(dǎo)出基分類器Ci,用Ci對(duì)D中N個(gè)樣本分類,提升被誤分類樣本的權(quán)重,以迫使以后的迭代更關(guān)注先前被誤分類的樣本。

提升和裝袋導(dǎo)出的融合分類器識(shí)別準(zhǔn)確率要高于從原始訓(xùn)練數(shù)據(jù)集導(dǎo)出的單個(gè)分類器,雖然提升常常能夠得到比裝袋更高的準(zhǔn)確率,但由于提升關(guān)注誤分類樣本,因而存在過擬合的風(fēng)險(xiǎn)。裝袋能夠有效降低由于訓(xùn)練數(shù)據(jù)不同導(dǎo)致的誤差,因而裝袋方式導(dǎo)出的融合分類器有更好的穩(wěn)定性。另外,由于裝袋不關(guān)注訓(xùn)練集中的任何特定實(shí)例,因而也不容易受到噪聲數(shù)據(jù)和過分?jǐn)M合的影響。

本文選擇BP神經(jīng)網(wǎng)絡(luò)作為基分類器,由于希望通過多個(gè)BP神經(jīng)網(wǎng)絡(luò)融合來降低識(shí)別誤差的方差,從而提升目標(biāo)識(shí)別的穩(wěn)定性,所以采用裝袋方法來導(dǎo)出BP神經(jīng)網(wǎng)絡(luò)集合,對(duì)于包含n個(gè)元組的目標(biāo)融合特征數(shù)據(jù)集D,按如下方式構(gòu)建k個(gè)BP神經(jīng)網(wǎng)絡(luò):第i(i=1,2,…,k)次裝袋,按照均勻概率分布從融合特征數(shù)據(jù)集D中有放回抽出樣本容量同樣為n的數(shù)據(jù)集Di,每一個(gè)數(shù)據(jù)集Di都用于訓(xùn)練導(dǎo)出一個(gè)BP神經(jīng)網(wǎng)絡(luò)。

2.3 多神經(jīng)網(wǎng)絡(luò)的蒙特卡洛隨機(jī)融合方法

多分類器的融合算法可以分為固定的融合算法和可訓(xùn)練的融合算法。可訓(xùn)練的融合算法把k個(gè)BP神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果作為中間特征再學(xué)習(xí)得到?jīng)Q策分類器,雖然在訓(xùn)練樣本充足的情況下,能夠獲得更好的識(shí)別準(zhǔn)確率,但容易受到過擬合的影響。固定的融合算法給每個(gè)BP神經(jīng)網(wǎng)絡(luò)賦予投票權(quán)值融合它們的結(jié)果做出最終決策,在投票權(quán)值分配合理的情況下,能夠獲得較好的識(shí)別準(zhǔn)確率,也不容易受到過擬合的影響。

為了合理分配每一個(gè)神經(jīng)網(wǎng)絡(luò)的投票權(quán)值,本文提出一種蒙特卡洛隨機(jī)融合法對(duì)多神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果進(jìn)行融合。只要實(shí)驗(yàn)次數(shù)足夠多,就能逼近最優(yōu)的權(quán)值組合,既能有效地避免優(yōu)化過程陷入局部最優(yōu)的情況,又能快速獲得近似最優(yōu)權(quán)值組合，且該方法易于實(shí)現(xiàn)。

對(duì)于包含N個(gè)目標(biāo)的樣本,設(shè)BPi(j)是第i個(gè)BP神經(jīng)網(wǎng)絡(luò)對(duì)第j個(gè)目標(biāo)的識(shí)別結(jié)果,multiBP-fore(j)是融合神經(jīng)網(wǎng)絡(luò)對(duì)第j個(gè)目標(biāo)的識(shí)別結(jié)果,label(j)是第j個(gè)目標(biāo)的標(biāo)簽,wi是第i個(gè)BP神經(jīng)網(wǎng)絡(luò)的投票權(quán)值,且∑wi=1,則有

對(duì)于第j個(gè)目標(biāo),識(shí)別誤差ej設(shè)定如下,融合輸出錯(cuò)誤記為1,正確記為0,即

于是問題轉(zhuǎn)化為一個(gè)有約束的優(yōu)化問題,如下:

蒙特卡洛隨機(jī)法優(yōu)化該問題時(shí),首先按照約束條件隨機(jī)生成M組(M≥100000)投票權(quán)值;其次計(jì)算每一組w對(duì)應(yīng)的識(shí)別誤差E(w);最后從M組w中選出使得融合分類器識(shí)別誤差最小的一組w作為多神經(jīng)網(wǎng)絡(luò)的投票權(quán)值。

3 仿真實(shí)驗(yàn)與分析

為了驗(yàn)證本文提出的基于目標(biāo)融合特征和多神經(jīng)網(wǎng)絡(luò)融合的識(shí)別方法具有良好的性能,本文設(shè)計(jì)了目標(biāo)特征的提取與融合實(shí)驗(yàn)、基于不同特征的BP神經(jīng)網(wǎng)絡(luò)識(shí)別實(shí)驗(yàn)和基于融合特征的多BP神經(jīng)網(wǎng)絡(luò)融合識(shí)別實(shí)驗(yàn)。

3.1 目標(biāo)多特征的提取與融合

本文首先選擇三類飛機(jī)目標(biāo)(B1戰(zhàn)略轟炸機(jī)、Ah-64直升機(jī)和F16戰(zhàn)斗機(jī))的可見光圖像各100張,圖2給出了經(jīng)過灰度處理后的三類示例目標(biāo)的灰度圖像,從左到右依次是B1戰(zhàn)略轟炸機(jī)、Ah-64直升機(jī)和F16戰(zhàn)斗機(jī)。首先提取出目標(biāo)圖像的仿射不變矩特征和Hu不變矩特征,三類示例目標(biāo)的仿射不變矩特征和Hu不變矩特征分別如表1和表2所示,其次按照表3設(shè)定的區(qū)間范圍,以高斯分布為每類目標(biāo)各隨機(jī)生成100條運(yùn)動(dòng)特征數(shù)據(jù)和電磁輻射特征數(shù)據(jù),其中高斯分布的均值為相應(yīng)區(qū)間的中間值,均方差為區(qū)間長度的0.2。

圖2 三類示例目標(biāo)的灰度圖像

表1 三類示例目標(biāo)的仿射不變矩特征

表2 三類示例目標(biāo)的Hu不變矩特征

表3 三類示例目標(biāo)的運(yùn)動(dòng)特征和機(jī)載雷達(dá)特征參數(shù)區(qū)間

對(duì)表1、表2、表3中原始數(shù)據(jù)進(jìn)行歸一化處理后按照遺傳算法完成目標(biāo)多特征數(shù)據(jù)融合,遺傳算法的運(yùn)行參數(shù)設(shè)置如下:群體大小M=30,終止進(jìn)化迭代次數(shù)T=500,交叉變異概率分別為0.7和0.05,總的遺傳代數(shù)和連續(xù)10代最佳個(gè)體不發(fā)生變化為終止條件。目標(biāo)特征數(shù)據(jù)融合實(shí)驗(yàn)得到的融合特征編碼為101101111001111100。所以融合后的特征空間為φ1φ3φ4φ6φ7φ8φ9φ12φ13φ14φ15φ16。

3.2 基于不同特征的BP網(wǎng)絡(luò)識(shí)別

為了比較單BP神經(jīng)網(wǎng)絡(luò)基于不同特征識(shí)別時(shí)的準(zhǔn)確率,從表1、表2、表3代表的數(shù)據(jù)集中,分別隨機(jī)選擇相同數(shù)量的樣本作為訓(xùn)練數(shù)據(jù)集,用于訓(xùn)練單一的BP神經(jīng)網(wǎng)絡(luò),剩余樣本作為檢驗(yàn)數(shù)據(jù)集,用于測(cè)試BP神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。

圖3 基于目標(biāo)不同特征的BP網(wǎng)絡(luò)識(shí)別

圖3給出了訓(xùn)練樣本數(shù)量分別為50、100、150、200、250時(shí),BP神經(jīng)網(wǎng)絡(luò)基于某種單一特征識(shí)別的準(zhǔn)確率和基于融合特征識(shí)別的準(zhǔn)確率。分析圖3可以發(fā)現(xiàn)：分類器的識(shí)別準(zhǔn)確率與分類器訓(xùn)練樣本數(shù)量大致上呈正相關(guān),但訓(xùn)練樣本數(shù)過多時(shí),檢驗(yàn)結(jié)果因檢驗(yàn)樣本數(shù)不足而波動(dòng)較大,因此本文設(shè)定訓(xùn)練樣本數(shù)為200。另外,基于融合特征識(shí)別的準(zhǔn)確率曲線高于其他所有曲線,說明了在使用的分類器相同時(shí),基于融合特征的識(shí)別效果明顯優(yōu)于基于單一特征。

3.3 基于融合特征的多BP網(wǎng)絡(luò)融合識(shí)別

為了比較單一分類器與融合分類器的識(shí)別穩(wěn)定性,首先從目標(biāo)融合特征數(shù)據(jù)集中隨機(jī)選擇200條數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集D-Train,對(duì)D-Train進(jìn)行裝袋處理,得到的5組訓(xùn)練集分別用于訓(xùn)練5個(gè)BP神經(jīng)網(wǎng)絡(luò)。然后以D-Train作為5個(gè)已經(jīng)訓(xùn)練完成的BP網(wǎng)絡(luò)輸入,按照蒙特卡洛隨機(jī)模擬法計(jì)算出各個(gè)基分類器的權(quán)值,最后使用剩余的100條數(shù)據(jù)作為檢驗(yàn)數(shù)據(jù)集對(duì)整個(gè)融合分類器進(jìn)行檢驗(yàn)。該實(shí)驗(yàn)重復(fù)10次,得到了每次實(shí)驗(yàn)中每個(gè)BP神經(jīng)網(wǎng)絡(luò)識(shí)別的準(zhǔn)確率和多BP網(wǎng)絡(luò)融合識(shí)別的準(zhǔn)確率,如圖4所示。

圖4 基于融合特征的多分類器融合識(shí)別

從圖4可以看出:在同一次實(shí)驗(yàn)下,雖然融合分類器相比于最好的BP神經(jīng)網(wǎng)絡(luò),識(shí)別準(zhǔn)確率提升不大,但識(shí)別準(zhǔn)確率仍然高于最好的BP神經(jīng)網(wǎng)絡(luò),另外,融合分類器的識(shí)別準(zhǔn)確率的波動(dòng)明顯小于任意BP神經(jīng)網(wǎng)絡(luò),即多BP網(wǎng)絡(luò)融合識(shí)別的準(zhǔn)確率相比于單一的BP神經(jīng)網(wǎng)絡(luò)呈現(xiàn)穩(wěn)中有升的態(tài)勢(shì)。

4 結(jié)束語

本文提出了一種基于多特征和多神經(jīng)網(wǎng)絡(luò)融合的目標(biāo)識(shí)別方法。首先用遺傳算法得到目標(biāo)的融合特征,并提出蒙特卡洛隨機(jī)法融合多神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果,最后仿真實(shí)驗(yàn)驗(yàn)證了該方法在穩(wěn)定識(shí)別的情況下有較高的識(shí)別準(zhǔn)確率。如果進(jìn)一步優(yōu)化特征融合的遺傳算法并仔細(xì)考慮基分類器的選擇,識(shí)別的準(zhǔn)確率還能夠繼續(xù)提升。

[1] 郭小賓,王壯,胡衛(wèi)東等.基于貝葉斯網(wǎng)絡(luò)的目標(biāo)融合識(shí)別方法研究[J].系統(tǒng)仿真學(xué)報(bào),2005,17(11):2713-2716.

[2] 朱旭峰,馬彩文. 基于多不變量和多分類器融合的飛機(jī)識(shí)別[J]. 儀器儀表學(xué)報(bào)， 2011,32(7):1621-1627.

[3] 張桂林,王紅杰,朱霞等. 基于多分類器ESM與雷達(dá)情報(bào)融合識(shí)別[J]. 指揮信息系統(tǒng)與技術(shù)， 2013,4(6):54-58.

[4] 王東明. 基于特征級(jí)融合的目標(biāo)識(shí)別方法研究[D]. 沈陽理工大學(xué), 2013.

[5] 李小花,李姝. 基于數(shù)據(jù)挖掘的戰(zhàn)場(chǎng)目標(biāo)綜合識(shí)別技術(shù)[J]. 指揮控制與仿真， 2016(3):16-23.

[6] 劉新科,于吉紅等. 基于仿射不變矩特征的艦船圖像識(shí)別方法[J]. 海軍航空工程學(xué)院學(xué)報(bào)， 2011,26(6):687-690.

[7] Kittler J,Hatef M,Duin R P W,et al. On Combining Classifiers[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998,20:832-844.

[8] Kittler J,Hatef M,Duin R P W,et al. On Combining Classifiers[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998,20:832-844.

[9] 范明,范宏建等譯. 數(shù)據(jù)挖掘?qū)д?完整版)[M]. 北京:人民郵電出版社， 2011.

[10] Li Xiang, Li Tao. Classification Algorithm of Kernel-based In Adaboost[J]. Computer Knowledge &Technology, 011,7(28):6970-6979.

Target Recognition Technology Based on Multi-feature Fusionand Multiple Neural Networks Fusion

JIANG Pan, SHAN Lian-ping, LIU Yi-hai

(Jiangsu Automation Research Institute, Lianyungang 222061, China)

Aiming at the problem that the result of comprehensive target recognition, given by the decision-level fusion, is not accurate enough when some single-source results are highly conflicting or unavailable, a new method based on target fusion feature and multiple neural networks fusion is studied. In this method, multiple features of a target are fused by genetic algorithm firstly. And then the Monte Carlo fusion method is used to fuse the multiple neural networks, build by bagging method separately. The experiment verifies that this method can respectively promote the accuracy and stability of target recognition by two-level fusion.

target recognition; genetic algorithm; fusion feature; multiple neural networks; Monte Carlo fusion method

1673-3819(2017)06-0104-05

E917

A

10.3969/j.issn.1673-3819.2017.06.022

2017-09-25

2017-10-16

國防預(yù)研基金項(xiàng)目

蔣 攀(1992-),男,江蘇宜興人,碩士研究生,研究方向?yàn)槎嘣葱畔⑷诤吓c目標(biāo)識(shí)別。 單連平(1964-),男,研究員,碩士生導(dǎo)師。 劉義海(1988-),男,博士,高級(jí)工程師。