摘要： 針對(duì)毀傷預(yù)測(cè)中神經(jīng)網(wǎng)絡(luò)超參數(shù)設(shè)置及調(diào)試過程較為復(fù)雜的問題，提出一種基于特征選擇結(jié)合群體智能（feature selection and swarm intelligence algorithm，F(xiàn)S-SIA）的超參數(shù)優(yōu)化方法，用于在毀傷預(yù)測(cè)中對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行超參數(shù)的搜索和優(yōu)化。首先，通過多種特征排序方法確定毀傷特征的重要性，選取公共的特征偏序子集用于模型訓(xùn)練。其次，針對(duì)具體的神經(jīng)網(wǎng)絡(luò)模型，分別采用多種群體智能算法進(jìn)行超參數(shù)的搜索和優(yōu)化。最后，得出特征集性能最優(yōu)的超參數(shù)訓(xùn)練模型。實(shí)驗(yàn)結(jié)果表明，相較于未經(jīng)特征排序而單純采用群體智能算法的其他超參數(shù)優(yōu)化模型，所提方法在毀傷預(yù)測(cè)中具有更快的收斂速度和更高的準(zhǔn)確率。

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)； 超參數(shù)優(yōu)化； 特征選擇； 群體智能； 毀傷預(yù)測(cè)

中圖分類號(hào)： TP183

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1671-6841（2025）02-0001-07

DOI： 10.13705/j.issn.1671-6841.2023180

A Hyperparameter Optimization Method for Damage Prediction

Neural Network Based on FS-SIA

SHE Wei LYU Zhongyu XING Zhaowei4， WANG Shihao XU Wangwang TIAN Zhao^1，3

（1.School of Cyber Science and Engineering， Zhengzhou University， Zhengzhou 450002，China;

2.Songshan Laboratory， Zhengzhou 450046， China; 3.Zhengzhou Key Laboratory of Blockchain

and Data Intelligence， Zhengzhou 450002， China; 4.Henan Science and Technology Innovation

Promotion Center， Zhengzhou 450007， China）

Abstract： To address the complexity of neural network hyperparameter setting and tuning process in damage prediction， a hyperparameter optimization method was proposed based on feature selection and swarm intelligence algorithm （FS-SIA）. The method was utilized for search and optimization of neural network hyperparameters in damage prediction. Firstly， the importance of damage features was determined through various feature ranking methods， and a common partial subset of features was selected for model training. Secondly， for the specific neural network model， various swarm intelligence algorithms were employed separately to conduct hyperparameter search and optimization. Finally， the hyperparameter trained model was obtained which performed optimally for the feature set. The experimental results showed that the proposed method had faster convergence speed and higher accuracy in damage prediction than other hyperparameter optimization models using swarm intelligence methods alone without feature ordering.

Key words： neural network; hyperparameter optimization; feature selection; swarm intelligence; damage prediction

0 引言

毀傷預(yù)測(cè)是通過對(duì)戰(zhàn)場(chǎng)上的目標(biāo)和武器系統(tǒng)進(jìn)行分析和評(píng)估，預(yù)測(cè)在戰(zhàn)斗行動(dòng)中可能對(duì)敵方目標(biāo)造成的損害和影響程度，從而輔助作戰(zhàn)決策。傳統(tǒng)的毀傷預(yù)測(cè)方式一般需要進(jìn)行大量的公式計(jì)算，根據(jù)各種參數(shù)進(jìn)行仿真得出結(jié)果，速度相對(duì)較慢。在戰(zhàn)場(chǎng)上往往需要進(jìn)行快速精確地預(yù)測(cè)效果。這對(duì)于指揮官和決策者在戰(zhàn)爭(zhēng)中做出正確決策、實(shí)現(xiàn)戰(zhàn)略目標(biāo)以及最大限度減少戰(zhàn)爭(zhēng)代價(jià)和損失有著直接影響。但是，現(xiàn)有的毀傷預(yù)測(cè)模型中超參數(shù)優(yōu)化方法通常未在訓(xùn)練時(shí)間成本、收斂速度和模型精度方面進(jìn)行整體權(quán)衡，導(dǎo)致一定的局限性。隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)的應(yīng)用為毀傷預(yù)測(cè)問題的解決提供了新的思路。其中，超參數(shù)的設(shè)置是重要的一環(huán)，會(huì)直接影響模型訓(xùn)練的效果。通過人工參與調(diào)整超參數(shù)的方法在超參數(shù)較多時(shí)需要進(jìn)行大量的實(shí)驗(yàn)和反復(fù)修改，成本較高。因此，利用各種智能算法進(jìn)行超參數(shù)尋優(yōu)逐漸成為主流^［1-2］。

近年來，群體智能算法^［3］在參數(shù)調(diào)優(yōu)方面應(yīng)用廣泛，如蟻群算法^［4］、粒子群優(yōu)化算法^［5-6］、灰狼優(yōu)化算法^［7］等在參數(shù)優(yōu)化問題中都有著不錯(cuò)的表現(xiàn)，也在人工智能領(lǐng)域得到了較好的應(yīng)用。此外，在輸入數(shù)據(jù)的預(yù)處理上，主成分分析法（principal components analysis，PCA）等統(tǒng)計(jì)學(xué)方法也起到了至關(guān)重要的作用，經(jīng)過預(yù)處理的數(shù)據(jù)再參與模型的訓(xùn)練^［8］，可以進(jìn)一步縮短訓(xùn)練時(shí)間，并有可能提高結(jié)果的準(zhǔn)確率。

本文針對(duì)毀傷預(yù)測(cè)中神經(jīng)網(wǎng)絡(luò)超參數(shù)的搜索和優(yōu)化問題，提出一種基于特征選擇結(jié)合群體智能（feature selection and swarm intelligence algorithm，F(xiàn)S-SIA）的超參數(shù)優(yōu)化方法，利用多種特征排序方法進(jìn)行輸入特征的重要性排序，并選取公共的特征偏序子集參與模型訓(xùn)練，有效地降低了弱相關(guān)度的特征對(duì)網(wǎng)絡(luò)的噪聲，提高了毀傷預(yù)測(cè)網(wǎng)絡(luò)訓(xùn)練的效率。此外，利用多種群體智能算法進(jìn)行超參數(shù)的搜索和優(yōu)化，并基于對(duì)特征集表現(xiàn)最優(yōu)的超參數(shù)開展大規(guī)模數(shù)據(jù)訓(xùn)練，在一定基礎(chǔ)程度上再次提升了毀傷預(yù)測(cè)網(wǎng)絡(luò)的收斂速度和模型精度，從而獲得更好的戰(zhàn)場(chǎng)決策效果。

1 相關(guān)知識(shí)

1.1 特征選擇

特征選擇^［9］又稱特征子集選擇，是指從已有的N個(gè)特征中選擇M個(gè)特征（M<N）來達(dá)到特定指標(biāo)最優(yōu)化。特征選擇的一般過程包括：1） 產(chǎn)生過程。即搜索特征子集的過程，為評(píng)價(jià)函數(shù)提供特征子集。2） 評(píng)價(jià)函數(shù)。是評(píng)價(jià)一個(gè)特征子集好壞的準(zhǔn)則。3） 停止準(zhǔn)則。一般是一個(gè)條件函數(shù)，達(dá)到條件函數(shù)就可以停止搜索。4） 驗(yàn)證過程。在驗(yàn)證數(shù)據(jù)集上驗(yàn)證選出來的特征子集的有效性。

常見的特征選擇有前向特征選擇與后向特征消除兩種。前向特征選擇是針對(duì)目標(biāo)進(jìn)行迭代，從而選擇性能最佳的特征，然后選擇另一個(gè)與第一個(gè)特征相結(jié)合后性能最佳的特征。后向特征消除則是選擇所有特征并且在每次迭代中刪除最不重要的特征。

1.2 群體智能算法

不同的群體智能算法思路類似，可以歸結(jié)為以下步驟：1） 初始化。即按照一定規(guī)則對(duì)待求解問題，隨機(jī)初始化一組值，代入實(shí)際問題中計(jì)算出適應(yīng)度。適應(yīng)度是評(píng)判一組解好壞的標(biāo)準(zhǔn)。2） 評(píng)估。通過適應(yīng)度函數(shù)來評(píng)估每個(gè)個(gè)體或粒子的適應(yīng)度，即目標(biāo)函數(shù)的值。3） 選擇。根據(jù)每個(gè)個(gè)體的適應(yīng)度，選擇出優(yōu)秀的個(gè)體。在某些算法中，采用概率性選擇策略，即適應(yīng)度高的個(gè)體被選中的概率大。4） 更新。根據(jù)不同的群體智能算法的更新規(guī)則，迭代更新所求的值直到滿足終止條件。5） 終止條件。設(shè)定合適的終止條件，如達(dá)到最大迭代次數(shù)、達(dá)到目標(biāo)函數(shù)值的閾值等。6） 輸出結(jié)果。輸出最優(yōu)或近似最優(yōu)解作為最終結(jié)果。

2 基于FS-SIA的超參數(shù)優(yōu)化方法

基于FS-SIA的超參數(shù)優(yōu)化方法的主要過程如下。

第1步 針對(duì)數(shù)據(jù)集，利用多種特征排序方法進(jìn)行輸入特征的重要性排序，并按照不同方法排序后取其公共偏序子集，得到篩選后的特征集合，即

Fs={Fs1，F(xiàn)s2，…，F(xiàn)sm}，（1）

Sort1（data）=<fe11，fe12，…，fe1n>，fe1i∈Fe，

Sort2（data）=<fe21，fe22，…，fe2n>，fe2j∈Fe，

Sortm（data）=<fem1，fem2，…，femn>，femk∈Fe，（2）

式（1）中，F(xiàn)s是特征選擇方法集合，通過每種特征選擇方法進(jìn)行特征排序。式（2）中，Sortm（）代表第m種特征選擇方法進(jìn)行特征排序，得到的有序特征集合均屬于原特征集合Fe中的元素且數(shù)量相同。

第2步 將第1步得到的結(jié)果按照順序取偏序子集進(jìn)行數(shù)據(jù)篩選，即

Ω=subset（Sort1，Sort2，…，Sortm），（3）

式中：subset（）為取偏序子集操作，即取多種排序序列中最大的相同子序列集合。此步驟為取偏序子集的過程，經(jīng)過多種特征選擇排序方法得到的特征序列經(jīng)過subset（）函數(shù)后得到篩選特征序列Ω。

第3步 對(duì)第2步得到的結(jié)果進(jìn)行數(shù)據(jù)集的劃分，劃分?jǐn)?shù)據(jù)集可以按照順序進(jìn)行劃分，也可以通過隨機(jī)選取進(jìn)行劃分。劃分過程為

datasettrain=splitdt（Ω，α，dataset），

datasettest=splitdt（Ω，β，dataset），（4）

式中：splitdt（）為劃分?jǐn)?shù)據(jù)集函數(shù)；α，β分別為劃分訓(xùn)練集和測(cè)試集的比例。

第4步 采用群體智能算法初始化粒子位置（超參數(shù)），進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，即

position=

initial（valmin，valmax），（5）

（fitness，loss）=NN（position），（6）

式中：initial（）為初始化參數(shù)函數(shù)，傳入最大值和最小值即可完成位置初始化，其中最大值和最小值的選取根據(jù)需要調(diào)試的超參數(shù)來確定；position，valmin，valmax 均為n維向量，n為待優(yōu)化的超參數(shù)個(gè)數(shù)；NN代表神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程；fitness和loss分別為適應(yīng)度和損失，這里的fitness是自定義的適應(yīng)度函數(shù)，在本文的實(shí)驗(yàn)中使用的是準(zhǔn)確率，即毀傷預(yù)測(cè)正確的個(gè)數(shù)占比。

第5步 更新并記錄每代的最佳位置和適應(yīng)度，即

positioni+1=USIA（positioni）。（7）

經(jīng)過神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，可以得到每一個(gè)位置的fitness和loss值（也可將loss值作為適應(yīng)度，則可簡(jiǎn)化為一個(gè)輸出量）。式（7）則是按照SIA的更新方法進(jìn)行位置更新，此處以粒子群為例，positioni是第i代的粒子位置集合，則通過粒子群的更新規(guī)則UPSO，可算出第i+1代的粒子位置集合positioni+1，并記錄每一代的最佳適應(yīng)度，若未達(dá)到終止條件，則繼續(xù)進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，直至達(dá)到終止條件。

第6步 對(duì)比各個(gè)群體智能優(yōu)化算法，選取最優(yōu)的超參數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，直至達(dá)到終止條件，輸出結(jié)果。

FS-SIA超參數(shù)優(yōu)化方法流程如圖1所示。

3 基于FS-SIA的毀傷預(yù)測(cè)模型

基于FS-SIA的毀傷預(yù)測(cè)模型采用雙隱藏層網(wǎng)絡(luò)進(jìn)行訓(xùn)練，模型如圖1所示。對(duì)于FS-SIA方法中的群體智能算法，選取量子粒子群算法（QPSO）^［10-12］、粒子群算法（PSO）、人工蜂群算法（ABC）^［13］、蟻群算法（ACO）和退火算法（SA）^［14］來優(yōu)化超參數(shù)。在FS-SIA方法中，特征選擇過程可以選擇多個(gè)算法，本文選取皮爾遜相關(guān)系數(shù)法和隨機(jī)森林法。

皮爾遜相關(guān)系數(shù)是用來度量?jī)蓚€(gè)變量之間相關(guān)性的指標(biāo)，范圍介于-1到1之間。

對(duì)于一組樣本Xji，Yi，將Xji簡(jiǎn)寫為Xi，對(duì)于其中Xi表示第i條數(shù)據(jù)，Xj表示輸入的第j個(gè)維度，Yi是第i條數(shù)據(jù)的輸出。而對(duì)于第j維度來說，其皮爾遜相關(guān)系數(shù)為

rj=∑ni=1（Xi-X）（Yi-Y）

∑ni=1（Xi-X）2

∑ni=1（Yi-Y）2。（8）

隨機(jī)森林法是利用多棵決策樹對(duì)樣本進(jìn)行訓(xùn)練與預(yù)測(cè)的一種分類器組合方法，其集成了多個(gè)模型，提高了預(yù)測(cè)的準(zhǔn)確率。隨機(jī)森林模型不僅可以用來進(jìn)行分類或回歸，還可以通過特征重要性指標(biāo)幫助選擇最重要的特征來解釋模型的預(yù)測(cè)結(jié)果。特征重要性指標(biāo)是基于特征對(duì)模型預(yù)測(cè)的貢獻(xiàn)程度進(jìn)行排序，通常采用Gini重要性來評(píng)判特征的相關(guān)性。Gini重要性中Gini系數(shù)是常用的判斷標(biāo)準(zhǔn)，特征Xj的Gini系數(shù)為

GIa=1-∑Kk=1p2ak，（9）

式中：K表示類別個(gè)數(shù)；pak表示節(jié)點(diǎn)a中類別k所占的比例。對(duì)于特征Xj在節(jié)點(diǎn)a分支前后Gini系數(shù)變化量可表示為

FI^Ginija=GIa-GIl-GIr，（10）

式中：GIl和GIr分別表示左、右新節(jié)點(diǎn)的Gini系數(shù)。若特征Xj在決策樹b中出現(xiàn)的節(jié)點(diǎn)在集合H中，則Xj在第d棵樹中的重要性可表示為

FI^Ginidj=∑a∈HFI^Ginija。（11）

假設(shè)有c棵樹，Xj在c棵樹中的重要性之和可表示為

FI^Ginij=∑nd=1FI^Ginidj。（12）

進(jìn)行歸一化后可表示為

FI^Ginij=FI^Ginij∑Zd=1FI^Ginid，（13）

式中：Z代表特征個(gè)數(shù)。歸一化后的結(jié)果即為FIGinij，排序后可得出特征重要性的遞減序列。對(duì)于FS-SIA方法中的群體智能算法，選取了QPSO、PSO、ABC、ACO和SA算法。以量子粒子群智能算法QPSO為例，該算法對(duì)粒子移動(dòng)進(jìn)行了優(yōu)化，與之前移動(dòng)的方向沒有任何關(guān)系，增加了粒子位置的隨機(jī)性。其更新步驟如下。

步驟1 平均粒子的歷史最好位置M^best的計(jì)算公式為

M^best=1M∑Mi=1P^besti，（14）

式中：M表示粒子個(gè)數(shù)；P^besti表示第i個(gè)粒子的歷史最好位置。

步驟2 對(duì)每個(gè)粒子進(jìn)行更新，

Pi=ΦP^besti+（1-Φ）G^best，（15）

Xi+1=Pi±γM^best－Xi

ln1u，（16）

式中：Pi表示第i個(gè)粒子更新位置的中間量；Φ和u為服從（0，1）的均勻分布；G^best表示全局最優(yōu)的粒子位置；Xi表示第i個(gè)粒子的位置；γ為控制系數(shù)，一般不大于1。式（16）中取“+”和“-”的概率均為0.5。

在圖1中，數(shù)據(jù)集經(jīng)過皮爾遜指數(shù)和隨機(jī)森林特征重要性的計(jì)算后進(jìn)行排序，取兩種排序的偏序子集作為篩選后的特征集合。數(shù)據(jù)篩選后進(jìn)行群體智能算法初始化，即初始化隱藏層節(jié)點(diǎn)數(shù)和學(xué)習(xí)率。經(jīng)過神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，判斷是否達(dá)到終止條件。若未達(dá)到終止條件則進(jìn)行更新，更新后繼續(xù)訓(xùn)練；若達(dá)到終止條件，則輸出震塌比例（O1）、準(zhǔn)確率和loss值?？筛鶕?jù)問題的背景設(shè)置loss閾值或準(zhǔn)確率閾值等其他終止條件，本文設(shè)置為達(dá)到群體智能算法的最大迭代次數(shù)即滿足終止條件。

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集的選取與處理

選取了某型動(dòng)能彈打擊某堅(jiān)固地面目標(biāo)的數(shù)據(jù)，其數(shù)據(jù)特征分為彈藥參數(shù)、目標(biāo)參數(shù)、彈目交會(huì)參數(shù)三類，共有12個(gè)特征，記為F1，F(xiàn)2，…，F(xiàn)12。輸出為毀傷結(jié)果即建筑物震塌比例，其范圍為［0，1］，數(shù)據(jù)量為10 000條，其中20%作為測(cè)試集。

分別計(jì)算出F1，F(xiàn)2，…，F(xiàn)12的皮爾遜相關(guān)系數(shù)和隨機(jī)森林特征重要性指數(shù)，其結(jié)果如表1所示。

由表1可以看出，偏序子集為前5個(gè)特征組成的集合。為了測(cè)試不同組合所對(duì)應(yīng)的效果，選取以下4組特征集進(jìn)行對(duì)比實(shí)驗(yàn)。

第1組：Fi（i=1，5，2，12，3）；

第2組：Fi（i=1，5，2，12，3，4，8）；

第3組：Fi（i=1，5，2，12，3，4，8，6，10，11）；

第4組：Fi（i=1，…，12）。

其中，第1組是按照兩種特征選擇方法取偏序子集得到的序列，其余組是在第1組的基礎(chǔ)上分別添加了若干個(gè)額外特征。上述分組是按照隨機(jī)森林中的特征排序進(jìn)行編排，目的是對(duì)比選取出最佳的特征組合，達(dá)到噪聲最小且訓(xùn)練速度最快。

4.2 訓(xùn)練過程

對(duì)經(jīng)過特征選取后的數(shù)據(jù)集進(jìn)行歸一化處理，然后進(jìn)行訓(xùn)練。實(shí)驗(yàn)采用雙隱藏層的BP神經(jīng)網(wǎng)絡(luò)，待優(yōu)化的參數(shù)為兩個(gè)隱藏層節(jié)點(diǎn)數(shù)和學(xué)習(xí)率，分別記為Node1、Node2和Lr，且滿足：

max{Node1}=max{Node2}=30，

min{Node1}=min{Node2}=1，

Lrmin=0.000 1，Lrmax=0.05。（17）

結(jié)合式（5）和式（17）對(duì)第1批粒子進(jìn)行初始化，按以往經(jīng)驗(yàn)選擇其最大值、最小值。實(shí)驗(yàn)評(píng)價(jià)指標(biāo)選取均方損失（loss）與

準(zhǔn)確率，其中l(wèi)oss 可表示為

loss=1h∑hi=1

12（yi-f（xi））2，（18）

式中：h為測(cè)試集的個(gè)數(shù)；yi為第i個(gè)樣本的真實(shí)值；f（xi）為預(yù)測(cè)值?；貧w任務(wù)中沒有準(zhǔn)確率的評(píng)價(jià)指標(biāo)，本文采用了分類思想來統(tǒng)計(jì)準(zhǔn)確率。yi的取值范圍為0～1，選取誤差率^［15］不超過2%，不同情況下的正確條件如表2所示。

算法參數(shù)設(shè)置如下：QPSO算法選取20個(gè)粒子，更新30次，控制系數(shù)為0.6；PSO算法選取20個(gè)粒子，更新30次，c1 =c2=2，r1=0.7，r2=0.5，w取0和1之間的隨機(jī)數(shù)；ABC算法選取蜂群個(gè)數(shù)為20，代數(shù)為30；ACO算法選取代數(shù)為30，蟻群數(shù)量為20；SA算法選取初始溫度為100，結(jié)束溫度為4.3，降溫系數(shù)為0.9，實(shí)例個(gè)數(shù)為20。

4.3 結(jié)果與分析

為了驗(yàn)證特征選擇的必要性，按照4.1節(jié)中的4組特征集進(jìn)行了對(duì)比實(shí)驗(yàn)，對(duì)輸入端的特征個(gè)數(shù)進(jìn)行區(qū)分來選取最佳的特征組合。對(duì)比實(shí)驗(yàn)的輸出均為震塌比例，范圍為［0，1］。采用雙隱藏層的神經(jīng)網(wǎng)絡(luò)，隱藏層節(jié)點(diǎn)數(shù)均為2L（L為輸入特征個(gè)數(shù)），學(xué)習(xí)率為0.005，優(yōu)化器均為Adam，迭代次數(shù)分別為5 000和10 000，誤差率不超過2%。特征選擇前后結(jié)果對(duì)比如表3所示。

從表3可以看出，對(duì)于未進(jìn)行特征選擇的數(shù)據(jù)集，迭代5 000次和10 000次的準(zhǔn)確率和loss值均不理想。這是由于在處理前的數(shù)據(jù)中有部分輸入對(duì)結(jié)果所產(chǎn)生的噪聲較嚴(yán)重，且訓(xùn)練時(shí)間過長(zhǎng)。相較于未進(jìn)行特征選擇的數(shù)據(jù)集，特征選擇后的數(shù)據(jù)集所表現(xiàn)出來的準(zhǔn)確率和loss值均有不同程度的提升。需要說明的是，由于精度的數(shù)量級(jí)在10^－4和10^－3之間，loss值需要在10^－8～10^－7數(shù)量級(jí)才會(huì)有較為可觀的準(zhǔn)確率（如loss值為0.0003只對(duì)應(yīng)2.5%的準(zhǔn)確率，在本實(shí)驗(yàn)中為正?，F(xiàn)象）。在表3中，第1組的表現(xiàn)是最好的，在5 000次迭代時(shí)達(dá)到59.80%的準(zhǔn)確率，在10 000次迭代時(shí)達(dá)到95.15%的準(zhǔn)確率，loss值均達(dá)到了10^－8的數(shù)量級(jí)，說明了取皮爾遜指數(shù)和隨機(jī)森林排序后的偏序子集為最佳集合。第2組稍有遜色，迭代5 000次和10 000次的準(zhǔn)確率分別為33.40%和35.60%。第3組的結(jié)果更不理想，和未經(jīng)過篩選的結(jié)果相差不大。經(jīng)過對(duì)比實(shí)驗(yàn)，驗(yàn)證了特征選擇的必要性。特征選擇后，需要利用群體智能算法優(yōu)化神經(jīng)網(wǎng)絡(luò)，選用了QPSO、PSO、ACO、ABC和SA算法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。對(duì)每種算法均設(shè)置30代更新過程，以準(zhǔn)確率作為評(píng)價(jià)標(biāo)準(zhǔn)，記錄每一代更新后的g_best，其變化趨勢(shì)如圖2所示。

對(duì)不同算法的運(yùn)行時(shí)間和g_best的收斂值進(jìn)行了統(tǒng)計(jì)，結(jié)果如表4所示。

從圖2可以看出，QPSO算法在收斂速度上優(yōu)勢(shì)較為明顯，除了SA算法，其他算法均在30代以內(nèi)達(dá)到收斂的狀態(tài)。由表4可知，QPSO、PSO、ACO、ABC算法的最終準(zhǔn)確率均能在2%誤差內(nèi)達(dá)到99%以上，相較于表3中的特征選擇對(duì)比實(shí)驗(yàn)，其準(zhǔn)確率有進(jìn)一步提升。不同的群體智能算法雖然達(dá)到峰值的代數(shù)不同，但準(zhǔn)確率在整體上是有提高的趨勢(shì)。在運(yùn)行時(shí)間上，PSO算法的運(yùn)行時(shí)間較短，約400 s，而QPSO算法的運(yùn)行時(shí)間在500 s左右，相差較小。綜合來看，QPSO算法在所選取的數(shù)據(jù)集上展現(xiàn)出的效果最佳。

對(duì)經(jīng)過QPSO優(yōu)化后網(wǎng)絡(luò)訓(xùn)練的每一代全局最優(yōu)loss值進(jìn)行了統(tǒng)計(jì)，其變化趨勢(shì)如圖3所示。

經(jīng)過數(shù)據(jù)統(tǒng)計(jì)，loss值在第1代為8.07×10^-5，經(jīng)過優(yōu)化后，在第30代收斂到4.37×10^-9。相對(duì)表3中經(jīng)過特征選擇后的loss值更小，準(zhǔn)確率更高。

4.4 貝葉斯超參數(shù)調(diào)優(yōu)實(shí)驗(yàn)對(duì)比

目前在超參數(shù)調(diào)優(yōu)領(lǐng)域中，貝葉斯超參數(shù)調(diào)優(yōu)方法^［16］在時(shí)間成本和精度上均較為優(yōu)秀。本文也進(jìn)行了貝葉斯超參數(shù)調(diào)優(yōu)實(shí)驗(yàn)，迭代次數(shù)同為30，其結(jié)果如圖4所示?？梢钥闯?，在相同迭代次數(shù)的情況下，利用貝葉斯方法進(jìn)行超參數(shù)調(diào)優(yōu)，準(zhǔn)確率最高為88.95%，達(dá)到最高值的代數(shù)為11，且并未看到準(zhǔn)確率達(dá)到收斂狀態(tài)。因此，對(duì)于所使用的數(shù)據(jù)集，貝葉斯超參數(shù)優(yōu)化方法能達(dá)到的最高準(zhǔn)確率不如FS-SIA方法。

5 結(jié)語(yǔ)

本文針對(duì)超參數(shù)調(diào)優(yōu)在毀傷預(yù)測(cè)方向進(jìn)行了實(shí)驗(yàn)，提出了基于FS-SIA的毀傷預(yù)測(cè)模型。從實(shí)驗(yàn)結(jié)果可知，特征選擇有效地降低了相關(guān)度較弱的特征對(duì)網(wǎng)絡(luò)產(chǎn)生的噪聲，提高了網(wǎng)絡(luò)訓(xùn)練的效率并加快了收斂速度。同時(shí)，借助群體智能算法優(yōu)化超參數(shù)，進(jìn)一步提升了準(zhǔn)確率和降低了損失。采用某型動(dòng)能彈打擊某堅(jiān)固地面目標(biāo)形成的數(shù)據(jù)集，所提毀傷預(yù)測(cè)模型在實(shí)驗(yàn)中展現(xiàn)出較為優(yōu)秀的預(yù)測(cè)效果。若針對(duì)其他領(lǐng)域進(jìn)行數(shù)值預(yù)測(cè)，該模型還需要根據(jù)領(lǐng)域特點(diǎn)開展進(jìn)一步的研究。

參考文獻(xiàn)：

［1］ 李發(fā)陵， 彭娟. 基于大數(shù)據(jù)的復(fù)雜超參數(shù)優(yōu)化組合方法仿真［J］. 計(jì)算機(jī)仿真， 2022， 39（7）： 332-336.

LI F L， PENG J. Simulation of complex hyperparameter optimization combination method based on big data［J］. Computer simulation， 2022， 39（7）： 332-336.

［2］ ROSTAMIAN A， HEIDARYAN E， OSTADHASSAN M. Evaluation of different machine learning frameworks to predict CNL-FDC-PEF logs via hyperparameters optimization and feature selection［J］. Journal of petroleum science and engineering， 2022， 208： 109463.

［3］ 高岳林， 楊欽文， 王曉峰， 等. 新型群體智能優(yōu)化算法綜述［J］. 鄭州大學(xué)學(xué)報(bào)（工學(xué)版）， 2022， 43（3）： 21-30.

GAO Y L， YANG Q W， WANG X F， et al. Overview of new swarm intelligent optimization algorithms［J］. Journal of Zhengzhou university （engineering science）， 2022， 43（3）： 21-30.

［4］ LEITE W L， SHEN Z C， MARCOULIDES K， et al. Using ant colony optimization for sensitivity analysis in structural equation modeling［J］. Structural equation modeling， 2022， 29（1）： 47-56.

［5］ SHAMI T M， EL-SALEH A A， ALSWAITTI M， et al. Particle swarm optimization： a comprehensive survey［J］. IEEE access， 2022， 10： 10031-10061.

［6］ LI Z L， ZHU W M， ZHU B， et al. Thermal error modeling of electric spindle based on particle swarm optimization-SVM neural network［J］. The international journal of advanced manufacturing technology， 2022， 121（11）： 7215-7227.

［7］ 鮑偉， 任超. 基于GWO-BP神經(jīng)網(wǎng)絡(luò)的電池SOC預(yù)測(cè)方法研究［J］. 計(jì)算機(jī)應(yīng)用與軟件， 2022， 39（9）： 65-71.

BAO W， REN C. Research on prediction method of battery SOC based on GWO-BP network［J］. Computer applications and software， 2022， 39（9）： 65-71.

［8］ HU T， LI X S， YOU J A. The weighted fusion prediction algorithm of acoustic interval optimized by PCA-PSO-BP and MLRM［J］. Journal of physics： conference series， 2022， 2258（1）： 012004.

［9］ 李郅琴， 杜建強(qiáng)， 聶斌， 等. 特征選擇方法綜述［J］. 計(jì)算機(jī)工程與應(yīng)用， 2019， 55（24）： 10-19.

LI Z Q， DU J Q， NIE B， et al. Summary of feature selection methods［J］. Computer engineering and applications， 2019， 55（24）： 10-19.

［10］劉佳敏， 吳慶憲， 王玉惠， 等. 基于量子粒子群優(yōu)化的無人機(jī)攻防博弈決策［J］. 火力與指揮控制， 2022， 47（9）： 73-78， 84.

LIU J M， WU Q X， WANG Y H， et al. UAV game decision based on quantum particle swarm optimization［J］. Fire control & command control， 2022， 47（9）： 73-78， 84.

［11］馮華麗， 劉淵， 陳冬. QPSO算法優(yōu)化BP網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測(cè)［J］. 計(jì)算機(jī)工程與應(yīng)用， 2012， 48（3）： 102-104.

FENG H L， LIU Y， CHEN D. Network traffic prediction based on BPNN optimized by QPSO algorithm［J］. Computer engineering and applications， 2012， 48（3）： 102-104.

［12］ZHU X T， XU B. Power short-term load forecasting based on QPSO-SVM［J］. Advanced materials research， 2012， 591/592/593： 1311-1314.

［13］ZHOU B H， ZHAO Z. An adaptive artificial bee colony algorithm enhanced by deep Q-learning for milk-run vehicle scheduling problem based on supply hub［J］. Knowledge-based systems， 2023， 264： 110367.

［14］KASSAYMEH S， AL-LAHAM M， AL-BETAR M A， et al. Backpropagation neural network optimization and software defect estimation modelling using a hybrid salp swarm optimizer-based simulated annealing algorithm［J］. Knowledge-based systems， 2022， 244： 108511.

［15］李慧軒. 數(shù)理統(tǒng)計(jì)在計(jì)量檢測(cè)中的應(yīng)用［J］. 統(tǒng)計(jì)理論與實(shí)踐， 2021（6）： 58-61.

LI H X. Application of mathematical statistics in metrological detection［J］. Statistical theory and practice， 2021（6）： 58-61.

［16］李亞茹， 張宇來， 王佳晨. 面向超參數(shù)估計(jì)的貝葉斯優(yōu)化方法綜述［J］. 計(jì)算機(jī)科學(xué)， 2022， 49（S1）： 86-92.

LI Y R， ZHANG Y L， WANG J C. Survey on Bayesian optimization methods for hyper-parameter tuning［J］. Computer science， 2022， 49（S1）： 86-92.