丁曉劍，程文迪

(信息系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210007)

基于ELM的作戰(zhàn)方案樣本驗(yàn)證及評估方法*

丁曉劍，程文迪

(信息系統(tǒng)工程重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210007)

針對專家制定作戰(zhàn)方案訓(xùn)練樣本時(shí)容易受主觀性影響的問題，提出了基于ELM的樣本驗(yàn)證及評估方法。首先根據(jù)ELM建立作戰(zhàn)方案樣本的預(yù)測模型，然后更正錯(cuò)誤標(biāo)記的樣本。仿真實(shí)驗(yàn)表明，利用ELM模型訓(xùn)練更正后的樣本集能有效降低均方根誤差值和提高預(yù)測的準(zhǔn)確率。與RBF神經(jīng)網(wǎng)絡(luò)相比，訓(xùn)練ELM模型的時(shí)間縮短了98.8%，而且無需調(diào)節(jié)激活函數(shù)的參數(shù)就可以得到足夠好的泛化性能。

超限學(xué)習(xí)機(jī); 徑向基函數(shù)；作戰(zhàn)方案；評估；泛化性能

0 引言

現(xiàn)代化作戰(zhàn)需要在戰(zhàn)前經(jīng)過嚴(yán)格論證，建立多個(gè)可行的作戰(zhàn)方案，并從中選取最優(yōu)方案，該過程也稱為作戰(zhàn)方案評估。傳統(tǒng)的方法是由作戰(zhàn)參謀對方案進(jìn)行推演分析，然后做出決策，給出作戰(zhàn)效果[1-2]。這種方法受人的主觀因素影響較大，決策結(jié)果具有不確定性。一個(gè)可行的方法是軍事專家根據(jù)經(jīng)驗(yàn)對該任務(wù)建立訓(xùn)練樣本，給出可信的打擊效果。然后利用機(jī)器學(xué)習(xí)方法對作戰(zhàn)方案訓(xùn)練樣本集進(jìn)行學(xué)習(xí)，得到預(yù)測網(wǎng)絡(luò)，再對不同的作戰(zhàn)方案進(jìn)行預(yù)測。

上述方法會衍生一個(gè)重要的問題，如果根據(jù)經(jīng)驗(yàn)建立的訓(xùn)練樣本的標(biāo)簽值出現(xiàn)錯(cuò)誤，是否會對未知的測試樣本預(yù)測造成影響。機(jī)器學(xué)習(xí)方法的成功率受訓(xùn)練樣本準(zhǔn)確性的依賴較大，如果訓(xùn)練樣本的標(biāo)簽值被錯(cuò)誤地賦值，預(yù)測出的測試樣本可能也會出現(xiàn)錯(cuò)誤，在訓(xùn)練樣本集較小的情況錯(cuò)誤率會明顯放大。

針對這個(gè)問題，本文利用一種新型神經(jīng)網(wǎng)絡(luò)方法ELM (extreme learning machine)[3-6]對作戰(zhàn)方案進(jìn)行建模，尋找可能標(biāo)記錯(cuò)誤的訓(xùn)練樣本，并測試ELM網(wǎng)絡(luò)在未知樣本上的泛化性能。

1 相關(guān)工作

神經(jīng)網(wǎng)絡(luò)類型算法由于其模式識別和函數(shù)逼近能力較強(qiáng)，在軍事作戰(zhàn)方案領(lǐng)域有較多成功的應(yīng)用。文獻(xiàn)[7]利用基于神經(jīng)網(wǎng)絡(luò)的集成方法建立了合成旅作戰(zhàn)方案評估網(wǎng)絡(luò)，有效降低了評價(jià)過程中認(rèn)為因素的影響。文獻(xiàn)[8]設(shè)計(jì)了基于BP神經(jīng)網(wǎng)絡(luò)對一般性機(jī)動發(fā)射導(dǎo)彈作戰(zhàn)方案評估的方法，在短時(shí)間對多個(gè)作戰(zhàn)方案評估可以有效節(jié)約時(shí)間。文獻(xiàn)[9]利用徑向基(radial basis function, RBF)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了聯(lián)合作戰(zhàn)方案的評估網(wǎng)絡(luò)，并給出了應(yīng)用實(shí)例。RBF神經(jīng)網(wǎng)絡(luò)是由輸入層、隱層和輸出層3層組成的典型前饋式神經(jīng)網(wǎng)絡(luò)，不但具有最佳逼近性能和全局最優(yōu)性，而且結(jié)構(gòu)簡單，學(xué)習(xí)速度較快。然而RBF神經(jīng)網(wǎng)絡(luò)需要調(diào)節(jié)隱層節(jié)點(diǎn)個(gè)數(shù)、隱層節(jié)點(diǎn)中徑向基函數(shù)的中心和寬度、隱層到輸出層連接權(quán)值等多個(gè)參數(shù)才能得到最優(yōu)訓(xùn)練網(wǎng)絡(luò)，不僅耗時(shí)，而且網(wǎng)絡(luò)性能對參數(shù)值比較比較敏感。

ELM和RBF同屬于單隱層神經(jīng)網(wǎng)絡(luò)(single-hidden layer feedforward neural network,SLFN)，但是ELM網(wǎng)絡(luò)可以表示為線性方程組的形式，而且線性方程組中的隱藏矩陣是隨機(jī)生成的，與訓(xùn)練樣本無關(guān)。不同于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法，ELM網(wǎng)絡(luò)能在最小化訓(xùn)練樣本錯(cuò)誤的同時(shí)獲得較好的泛化性能。ELM網(wǎng)絡(luò)主要用于函數(shù)的逼近，既可以用于分類學(xué)習(xí)，也可以用于回歸分析。文獻(xiàn)[10]證明了當(dāng)激活函數(shù)是Sigmoid函數(shù)g(x)=1/1+e-x時(shí)，SLFN可以以任意精度逼近任意的連續(xù)函數(shù)。文獻(xiàn)[11]已證明幾乎所有的分段連續(xù)函數(shù)(可微的或者不可微的)用于ELM時(shí)都具有全局逼近性質(zhì)。

2 ELM方法與方案建模

2.1 ELM方法

j=1,…,N，

(1)

(2)

這N個(gè)方程可稱為線性方程組的形式：

Hβ=T，

(3)

式中：

(4)

(5)

(6)

式中：H?為矩陣H的Moore-Penrose廣義逆。

ELM是基于參數(shù)隨機(jī)化和最小二乘解思想的SLFN，ELM算法可描述如下：

步驟1：隨機(jī)賦值輸入權(quán)wi和偏置bi，i=1,…,N；

步驟2：計(jì)算隱藏層輸出矩陣H；

步驟3：計(jì)算輸出權(quán)值β=H?T，其中T=(t1,…,tN)T。

算法步驟1中輸入權(quán)wi和偏置bi在(-1,1)N×(0,1)中基于平均概率分布隨機(jī)取值。步驟2矩陣H的計(jì)算參考式(4)，激活函數(shù)g(x)可選取sigmoidal函數(shù)或者指數(shù)函數(shù)等等。步驟3輸出權(quán)值β的計(jì)算參考式(6)，利用廣義逆矩陣的方法不但能最小化訓(xùn)練樣本的錯(cuò)誤，還能最小化β模的值，能夠保證ELM算法具有較好的泛化性能。

2.2 ELM與RBF的比較

(7)

式中：βi=(βi1,βi2,…,βim)T為連接第i個(gè)核和輸出神經(jīng)元的權(quán)向量；μi=(μi1,μi2,…,μim)T為第i個(gè)核的中心；σi為核的寬度。一般用高斯函數(shù)的形式來表示核φ：

(8)

訓(xùn)練RBF網(wǎng)絡(luò)需要進(jìn)行2個(gè)階段的學(xué)習(xí)：核參數(shù)和權(quán)值向量。首先確定核函數(shù)的中心和寬度，然后再進(jìn)行連接權(quán)值的學(xué)習(xí)。核參數(shù)的確定通常需要額外的算法和多次迭代才能找到最優(yōu)值。

與RBF網(wǎng)絡(luò)相比，ELM網(wǎng)絡(luò)中的核函數(shù)參數(shù)由隨機(jī)分布函數(shù)產(chǎn)生，并且與訓(xùn)練樣本無關(guān)。訓(xùn)練ELM網(wǎng)絡(luò)即連接權(quán)值β的學(xué)習(xí)，只需簡單地計(jì)算線性方程組，無需迭代過程。

3 實(shí)驗(yàn)仿真與結(jié)果分析

本節(jié)實(shí)驗(yàn)的目的是驗(yàn)證ELM網(wǎng)絡(luò)在作戰(zhàn)方案評估中的效果以及與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)RBF網(wǎng)絡(luò)的學(xué)習(xí)性能比較。ELM的激活函數(shù)使用常用的sigmoid函數(shù)，即g(x)=1/(1+exp(-x))。文獻(xiàn)[3]指出BP網(wǎng)絡(luò)由于其學(xué)習(xí)機(jī)制需要花費(fèi)大量時(shí)間迭代得到最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，并且泛化性能較差，在趨向于實(shí)時(shí)效果的作戰(zhàn)方案評估應(yīng)用中不太適合，本文不采用BP網(wǎng)絡(luò)進(jìn)行試驗(yàn)比較。

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)的數(shù)據(jù)來自文獻(xiàn)[9]的航空兵火力打擊作戰(zhàn)方案數(shù)據(jù)，分為訓(xùn)練樣本集和擬評估測試樣本集。訓(xùn)練樣本集有8個(gè)樣本，見表1。測試樣本集有4個(gè)樣本，見表2。

表1 作戰(zhàn)方案訓(xùn)練樣本集Table 1 Training samples of battle scheme

表2 作戰(zhàn)方案測試樣本集Table 2 Testing samples of battle scheme

3.2 方案建模

借鑒文獻(xiàn)[9]中的航空兵火力打擊方案數(shù)據(jù)，ELM網(wǎng)絡(luò)的訓(xùn)練樣本xi可選取飛機(jī)機(jī)型、數(shù)量、攜彈威力、命中精度、突防高度、突擊速度等10個(gè)參數(shù)作為屬性，ti可選值有“襲擾”、“壓制”和“摧毀”。由ti的可選值可以看出，對方案的建模實(shí)際上是回歸學(xué)習(xí)的過程。將火力打擊效果 “襲擾”、“壓制”和“摧毀”量化為1，2和3。對測試樣本進(jìn)行學(xué)習(xí)時(shí)，預(yù)測的火力打擊效果模型為

(9)

式中：f(xi)為ELM網(wǎng)絡(luò)對測試樣本xi的預(yù)測值。

3.3 訓(xùn)練樣本實(shí)驗(yàn)分析

本節(jié)實(shí)驗(yàn)的目的是驗(yàn)證訓(xùn)練樣本的健壯性。訓(xùn)練樣本是由專家組聽取多方意見，共同決策而形成的較為可信的樣本。然而在戰(zhàn)前籌劃階段，由于時(shí)間緊任務(wù)重，專家制定的訓(xùn)練樣本也可能出現(xiàn)誤差。將訓(xùn)練樣本分為2組，用ELM網(wǎng)絡(luò)訓(xùn)練一組樣本，再用訓(xùn)練好的ELM網(wǎng)絡(luò)測試另一組樣本。每次實(shí)驗(yàn)將樣本次序隨機(jī)打亂，取前4個(gè)樣本訓(xùn)練，后4個(gè)樣本測試。一共進(jìn)行10次實(shí)驗(yàn)，利用均方根誤差(root mean square error, RMSE)、預(yù)測正確率(test rate，TR)、預(yù)測錯(cuò)誤的樣本(test error data, TED)和預(yù)測的值(prediction value, PV)作為測試指標(biāo)。

從表3可以看出，在10次實(shí)驗(yàn)中，預(yù)測錯(cuò)誤的樣本以4號和8號居多。在第1，5，8次實(shí)驗(yàn)中，8號樣本為訓(xùn)練樣本，4號樣本作為測試樣本預(yù)測的值接近于2，即8號樣本的標(biāo)簽值。在第2，4，6，7，10次實(shí)驗(yàn)中，4號樣本為訓(xùn)練樣本，8號樣本作為測試樣本預(yù)測的值接近于1，即4號樣本的標(biāo)簽值。從表1分析4號樣本和8號樣本的特點(diǎn)，可以看出這兩個(gè)樣本在8個(gè)屬性上是完全一樣的，只有飛機(jī)數(shù)量和攜彈威力2個(gè)屬性的值上有少許不同，這說明2個(gè)樣本是很相似的，應(yīng)該賦予相同的標(biāo)簽值。在第9次實(shí)驗(yàn)中，雖然2個(gè)樣本都預(yù)測正確，但是8號樣本偏離標(biāo)簽的值較4號樣本大一些。結(jié)合第3次實(shí)驗(yàn)，8號樣本的標(biāo)簽值應(yīng)賦予“襲擾”，即數(shù)值1。

下面比較ELM網(wǎng)絡(luò)在原始訓(xùn)練樣本和更正后的訓(xùn)練樣本上的泛化性能，實(shí)驗(yàn)采用本節(jié)的配置，結(jié)果見圖1。

表3 訓(xùn)練樣本實(shí)驗(yàn)結(jié)果Table 3 Training samples simulation results

圖1 ELM在2個(gè)數(shù)據(jù)集上泛化性能比較Fig.1 Generalization performance comparison of ELM on two datasets

從圖1 a)可以看出，修正訓(xùn)練樣本的標(biāo)簽值以后，RMSE值更小，這表明ELM網(wǎng)絡(luò)在更正后的樣本集上預(yù)測準(zhǔn)度更高一些。在10次實(shí)驗(yàn)中ELM網(wǎng)絡(luò)在原始訓(xùn)練樣本集上的只有1次完全預(yù)測正確，而在更正后的訓(xùn)練樣本集上只有2次預(yù)測不正確。

3.4 ELM與RBF的泛化性能比較

本節(jié)的目的是分析ELM與RBF對表2測試樣本的泛化性能。測試指標(biāo)包括訓(xùn)練時(shí)間(training time，TT)、均方根誤差(root mean square error, RMSE)和預(yù)測的值(prediction value, PV)。由于文獻(xiàn)[4]中沒有給出樣本的標(biāo)簽值，我們通過多次實(shí)驗(yàn)比較和屬性值的分析，得出4個(gè)樣本的標(biāo)簽值為：“壓制”、“摧毀”、“襲擾”和“襲擾”，分別量化為：2，3，1，1。RBF網(wǎng)絡(luò)的學(xué)習(xí)利用Matlab軟件提供的神經(jīng)網(wǎng)絡(luò)工具箱，對4個(gè)樣本的PV為(2.045 7, 3.000 0, 1.192 6, 1.056 3)，RMSE值為0.102 9，TT為0.039 8 s。訓(xùn)練ELM網(wǎng)絡(luò)得到的PV為(1.808 2, 3.000 0, 1.048 5, 1.005 7)，RMSE值為0.099 0，TT為4.746 1e-4 s。

從上面的結(jié)果看出，RBF網(wǎng)絡(luò)的泛化性能和ELM相差不大，但是訓(xùn)練網(wǎng)絡(luò)的時(shí)間是ELM的83.86倍。這是由于訓(xùn)練RBF網(wǎng)絡(luò)首先要確定核函數(shù)的中心和寬度，然后再進(jìn)行連接權(quán)值的學(xué)習(xí)。核參數(shù)的確定通常需要額外的算法和多次迭代才能找到最優(yōu)值，所以網(wǎng)絡(luò)訓(xùn)練時(shí)間很長。當(dāng)訓(xùn)練樣本較大時(shí)，將會極大增加網(wǎng)絡(luò)訓(xùn)練的時(shí)間，影響方案決策的效率。由于ELM網(wǎng)絡(luò)中的核函數(shù)參數(shù)由隨機(jī)分布函數(shù)產(chǎn)生，與訓(xùn)練樣本無關(guān)，所以ELM網(wǎng)絡(luò)無需迭代即可完成訓(xùn)練過程，所需訓(xùn)練時(shí)間很短。另外ELM網(wǎng)絡(luò)的所有參數(shù)都是由某分布隨機(jī)產(chǎn)生，與訓(xùn)練樣本無關(guān)，比較使用于時(shí)效性要求較高的軍事應(yīng)用場合。

4 結(jié)束語

作戰(zhàn)方案訓(xùn)練樣本集通常由專家根據(jù)經(jīng)驗(yàn)制定，含有主觀因素，可能含有錯(cuò)誤的標(biāo)簽值。利用錯(cuò)誤的訓(xùn)練樣本預(yù)測未知的樣本集，可能會得到錯(cuò)誤的預(yù)測結(jié)果。而這種標(biāo)記錯(cuò)誤的樣本通常難以檢測，而且會加大作戰(zhàn)方案的評估誤差?；贓LM網(wǎng)絡(luò)的訓(xùn)練樣本檢測方法，能夠彌補(bǔ)專家決策方法的不足，消除由主觀因素帶來的影響，提高對未知作戰(zhàn)方案樣本的預(yù)測精度。

[1] 王鋒,李遠(yuǎn)華,許長鵬. 基于動態(tài)推演的合同戰(zhàn)斗作戰(zhàn)方案評估研究 [J]. 裝備指揮技術(shù)學(xué)院學(xué)報(bào)，2012, 23(1): 40-44. WANG Feng, LI Yuan-hua, XU Chang-peng. Research on the Combined Combat Operational Plan Assessment Based on Dynamic Evolvement [J]. Journal of the Academy of Equipment Command & Technology, 2012, 23(1): 40-44.

[2] 齊燕博,王平. 基于推理的作戰(zhàn)方案評估系統(tǒng)研究 [J]. 計(jì)算機(jī)與數(shù)字工程, 2010, 38(1): 78-102. QI Yan-bo, WANG Ping. Reasoning Based Operational Scheme Assessment System [J]. Computer & Digital Engineering, 2010, 38(1): 78-102.

[3] HUANG G B, ZHU Q Y, SIEW CK. Extreme Learning Machine: Theory and Applications [J]. Neurocomputing, 2006, 70 (1-3): 489-501.

[4] HUANG G B, DING X J, ZHOU H M. Optimization Method Based Extreme Learning Machine for Classification[J]. Neurocomputing, 2010, 74(1-3):155-163.

[5] 丁曉劍,趙銀亮. 優(yōu)化極限學(xué)習(xí)機(jī)的序列最小優(yōu)化方法[J]. 西安交通大學(xué)學(xué)報(bào), 2011, 45(6): 7-12. DING Xiao-jian; ZHAO Yin-liang. A Sequential Minimal Optimization Method for Optimization Extreme Learning Machine [J]. Journal of Xi′an Jiaotong University, 2011, 45(6): 7-12.

[6] HUANG G-B, ZHOU H, DING X, et al. Extreme Learning Machine for Regression and Multiclass Classification [J]. IEEE Trans Syst Man Cybern Part B，2012, 42(2): 513-529.

[7] 王靜巖,鄭建軍,吳裕樹. 一種基于神經(jīng)網(wǎng)絡(luò)的作戰(zhàn)方案評估方法[J]. 軍事運(yùn)籌與系統(tǒng)工程, 2005, 19(1): 57-61. WANG Jing-yan, ZHEN Jian-jun, WU Yu-shu. A Neural Network Method for Battle Scheme Evaluation [J]. Military Operations Research and Systems Engineering, 2005, 19(1): 57-61.

[8] 高桂清,施旭鑫,李治,等. 基于BP神經(jīng)網(wǎng)絡(luò)的導(dǎo)彈作戰(zhàn)方案評估方法[J]. 四川兵工學(xué)報(bào), 2011, 32(11): 6-9. GAO Gui-qing, SHI Xu-xin, LI Zhi, et al. Evaluation Method of Missile Operation Scheme Based on BP Neural Network [J]. Journal of Sichuan Ordnance, 2011, 32(11): 6-9.

[9] 劉祖煌,程啟月.徑向基神經(jīng)網(wǎng)絡(luò)的聯(lián)合作戰(zhàn)方案評估仿真[J]. 火力指揮與控制, 2013, 38(1): 14-17. LIU Zu-huang, CHENG Qi-yue. Research on Evaluation Model of Joint Operation Scheme Based on RBF Nenral Network [J]. Fire Control & Command Control, 2013, 38(1): 14-17.

[10] LLANAS B, SAINZ F J. Constructive Approximate Interpolation by Neural Networks [J]. Joumal of Computational and Applied Mathematics, 2006, 188(2):283-308.

[11] HUANG G B, CHEN L. Enhanced Random Search Based Incremental Extreme Learning Machine [J]. Neurocomputing, 2008, 71(16-18):3460-3468.

[12] HUANG G B, BABRI H A. Upper Bounds on the Number of Hidden Neurons in Feedforward Networks with Arbitrary Bounded Nonlinear Activation Functions [J]. IEEE Transactions on Neural Networks, 1998, 9 (1): 224-229.

Verification and Evaluation Method Research of Battle Scheme Samples Based on Extreme Learning Machine

DING Xiao-jian, CHENG Wen-di

(Science and Technology on Information Systems Engineering Laboratory,Jiangsu Nanjing 210007, China)

In order to overcome the deficiency of subjectivity in deciding the label of battle scheme training samples by experts, a verification and evaluation method based on extreme learning machine (ELM) is proposed. The prediction model of battle scheme samples is constructed based on ELM and the wrong samples are corrected. The simulation experimental results show that lower root mean square error and better testing rate can be obtained by training ELM model on correct samples. In contrast with RBF neural network, the training time of ELM is reduced by 98.8%, and a good generalization ability can be obtained without parameters of activation function needing to be adjusted.

extreme learning machine(ELM); radial basis function(RBF); battle scheme; evaluation; generalization ability

2014-09-13；

2014-10-20

丁曉劍(1982-)，男，江蘇南京人。工程師，博士，研究方向?yàn)槁?lián)合作戰(zhàn)推演評估技術(shù)。

通信地址：210007 江蘇省南京市1406信箱69分箱 E-mail：wjswsl@163.com

10.3969/j.issn.1009-086x.2015.04.034

E917; TP18；TP39

A

1009-086X(2015)-04-0204-06