王櫟橋，張達敏，樊 英，徐 航，王依柔

(貴州大學(xué)大數(shù)據(jù)與信息工程學(xué)院，貴州 貴陽 550025)

1 引言

神經(jīng)網(wǎng)絡(luò)NN(Neural Network)是智能計算領(lǐng)域最偉大的發(fā)明之一，它模仿了人類大腦的神經(jīng)元并主要用于解決分類問題和進行數(shù)據(jù)預(yù)測。1943年，神經(jīng)網(wǎng)絡(luò)的概念被首次提出。從此，神經(jīng)網(wǎng)絡(luò)得到迅速發(fā)展，不同類型的神經(jīng)網(wǎng)絡(luò)相繼被提出，多層感知器神經(jīng)網(wǎng)絡(luò)MLP NN(MultiLayer Perceptron NN)是該領(lǐng)域最著名的分類器之一,已經(jīng)有廣泛的研究應(yīng)用。一般來說MLP分為2大類:有監(jiān)督的和無監(jiān)督的[1]。訓(xùn)練器負(fù)責(zé)訓(xùn)練MLP。多年來，反向傳播技術(shù)及其變體[2]在MLP神經(jīng)網(wǎng)絡(luò)訓(xùn)練中發(fā)揮著重要作用。然而，基于梯度下降及其變種的方法存在收斂速度慢、易陷入局部極小值、對初始參數(shù)[3]的依賴性強等缺點。因此，群智能算法是高維問題中最適用的訓(xùn)練器之一，因為它具有隨機性，可以有效地避免局部最優(yōu)。另一方面，單解算法和多解算法是隨機方法的2大類。在高維問題[4]中，多解算法相比較單解算法可以防止訓(xùn)練器陷入局部最優(yōu)。有大量著名的多解群智能算法被用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)[5 - 11]，盡管各種群智能算法之間存在差異，但是，群智能算法都是將解空間內(nèi)的尋優(yōu)過程劃分為探索和開發(fā)2個階段。在很多情況下，由于群智能算法的隨機性，開發(fā)和搜索2個階段之間沒有明確的界限[12]，2個階段之間的不平衡使得算法陷入局部最優(yōu)[13]。這些基于群智能的隨機優(yōu)化算法在很大程度上降低了陷入局部最優(yōu)的概率，但它們在收斂速度和收斂精度方面仍然不盡人意[14]。

灰狼優(yōu)化GWO(Grey Wolf Optimizer)算法是以最優(yōu)個體(α狼)引導(dǎo)的算法，其帶領(lǐng)狼群進行局部探索。在訓(xùn)練MLP的過程中GWO算法使用的線性遞減收斂函數(shù)導(dǎo)致全局探索能力不足而不能得到最優(yōu)解。針對這一缺點，為了平衡算法的局部開發(fā)和全局探索能力[15]，本文使用余弦收斂函數(shù)代替線性遞減收斂函數(shù)；同時，在訓(xùn)練MLP模型時，其解空間的極值可能分布在臨近的位置，本文引入柯西變異算子有效提升算法的局部開發(fā)能力和抵抗陷入局部最優(yōu)的能力。為了提升算法的魯棒性，本文嘗試將柯西變異算子和余弦收斂因子引入到GWO中，對其位置更新方程進行改進，并將改進型柯西變異灰狼優(yōu)化IGWO(Improved Cauchy variant Grey Wolf Optimizer)算法作為MLP的學(xué)習(xí)算法對其進行訓(xùn)練。數(shù)值實驗結(jié)果表明，IGWO算法作為MLP的訓(xùn)練器時能明顯提升分類準(zhǔn)確率，并有較好的魯棒性。相對于其他常見的智能算法其訓(xùn)練時長也有所縮短。

2 灰狼優(yōu)化算法

灰狼優(yōu)化算法是通過對狼群的種群層次結(jié)構(gòu)、捕食過程、圍捕及攻擊行為進行分析研究，建立的過程簡單、參數(shù)設(shè)置較少的快速智能算法模型[16]?；依莾?yōu)化算法通過對種群中的個體的適應(yīng)度值降序排列，將排列第1的定義為α狼，即頭狼，將領(lǐng)導(dǎo)狼群的動作。第2的定義為β狼，第3的定義為δ狼，它們將協(xié)助α狼，剩余的為ω狼。所以，假設(shè)在M維的空間中，共計N匹狼組成的狼群，將其所在的位置記為X，第i匹狼所在的位置表示為Xi=(xi1,xi2,…,xim，…,xiM)。

灰狼優(yōu)化算法模擬了灰狼的包圍策略，提出了模擬灰狼包圍行為的搜索方程。其行動方式可以描述為：

A=2ar1-a

(1)

C=2r2

(2)

a=2-t/tmax

(3)

Di=|C·Xp(t)-X(t)|

(4)

Xi(t+1)=Xp(t)-ADi

(5)

式(1)～式(5)描述的為圍獵過程，其中A和C是系數(shù)向量；r1和r2是[0,1]的隨機向量；tmax是最大迭代次數(shù);a為從2線性遞減至0的收斂因子。Xp(t)表示獵物的位置向量；Xi是狼群中i狼的位置。

狼群狩獵過程可以被描述為：

(6)

(7)

(8)

式(6) ～式(8)中，Xi(t)代表狼群中各ω狼的當(dāng)前位置，Xi(t+1)為狩獵行為后的位置。Xα(t)、Xβ(t)和Xδ(t)分別代表當(dāng)前時刻α狼、β狼和δ狼的位置，C1、C2和C3是(0,1)的隨機數(shù)，A1、A2和A3是系數(shù)向量。

3 改進型柯西變異灰狼優(yōu)化(IGWO)算法

3.1 余弦收斂函數(shù)

收斂因子a影響狼的全局搜索能力和局部搜索能力。不同的a(t)的減速率對應(yīng)不同的算法搜索性能。在灰狼優(yōu)化算法中收斂因子a線性遞減，隨著迭代次數(shù)的增加，收斂速度由慢變快，這能平衡算法全局探索和局部開發(fā)[17]。在訓(xùn)練MLP時，本文引用一種基于余弦的收斂因子公式，如式(9)所示。

a(t)=2×cos((t/tmax)*(π/2))

(9)

其中，a(t)是第t代收斂因子，tmax是最大迭代次數(shù)。

使用余弦收斂因子代替常規(guī)線性收斂因子，能夠保證有一個大的收斂因子，有利于全局探索；相反，一個小的收斂因子則有利于局部開發(fā)。使用余弦收斂因子能平衡GWO算法全局探索和局部開發(fā)能力。

3.2 引入柯西變異算子

灰狼優(yōu)化算法容易早熟，陷入局部最優(yōu)，因此本文在算法中引入了柯西變異算子。根據(jù)柯西分布的特點，柯西變異因子是對潛在最優(yōu)灰狼個體的局部區(qū)域進行搜索，在一定的潛在最優(yōu)解范圍內(nèi)產(chǎn)生隨機擾動，增強了算法的局部搜索能力，并測試了其最優(yōu)位置[18]。柯西異變基于柯西概率密度函數(shù)，如式(10)所示：

(10)

其中，x0是位置參數(shù)，γ是一個大于0的隨機變量，x是一個實數(shù)。本文中取x0=0，γ=1，其為標(biāo)準(zhǔn)柯西分布。通過分析其概率密度函數(shù)，可知其沒有特定的均值和方差，但眾數(shù)和中值都等于位置參數(shù)，即x0。其分布函數(shù)如式(11)所示：

(11)

柯西分布和正態(tài)分布相比較，柯西分布的整體分布更加均勻，對稱軸的最大值相對于高斯分布較為平緩，而2邊曲線所對應(yīng)的拖尾概率較大。這樣的分布特點，使柯西分布具有較大的散布特性。本文將會加入的擾動公式如式(12)和式(13)所示：

Xibset(t)=Xi(t)+Xi(t)*G(x)

(12)

(13)

其中,f(Xi(t))表示i狼在第t次迭代時的適應(yīng)度值。通過局部擾動，引導(dǎo)算法跳出局部最優(yōu)。

3.3 自適應(yīng)位置更新公式

本文引用了一種自適應(yīng)調(diào)整策略，將適應(yīng)度值的倒數(shù)作為更新公式的權(quán)重系數(shù)[19]，這樣增加了3匹頭狼的位置優(yōu)勢,使適應(yīng)度值高于種群平均適應(yīng)度值的狼的位置更新趨向最優(yōu)解,提高算法的收斂速度。所以，用式(14)代替式(8)作為狼群位置更新公式。

(14)

其中，f(Xi(t))代表i狼在第t代時的適應(yīng)度值，fα、fβ和fδ分別表示第t代時α、β和δ3匹頭狼的適應(yīng)度值。favg代表第t代種群中所有狼的適應(yīng)度平均值。

3.4 IGWO的算法實現(xiàn)

綜上所述,本文提出的IGWO算法實現(xiàn)過程如算法1所示。

算法1基于改進型柯西變異的灰狼優(yōu)化算法IGWO

Step1算法參數(shù)初始化，灰狼種群規(guī)模N；最大迭代次數(shù)tmax；變量空間維度M；空間變量的上界和下界ub和lb。

Step2初始化種群。

Step3令迭代次數(shù)t=1。

Step4當(dāng)t

Step5計算狼群中適應(yīng)度值{f(Xi),i=1,2,…,N}, 其中適應(yīng)度值最高的個體為α狼，β狼與δ狼。

Step6利用式(9)更新收斂因子a(t)。

Step7利用式(6)，式(7)和式(14)更新當(dāng)前迭代次數(shù)中各狼的位置。

Step8計算當(dāng)前迭代次數(shù)中各狼的適應(yīng)度值{f(Xi(t)),i=1,2,…,N}。

Step9找出位置更新后的α狼，β狼與δ狼。

Step10根據(jù)式(14)更新狼群，令t=t+1。

Step11若達到最大迭代次數(shù)，則結(jié)束；否則跳轉(zhuǎn)Step 4。

利用IGWO算法訓(xùn)練多層感知器的流程如圖1所示。

Figure 1 MLP trained by IGWO algorithm

4 基于柯西變異灰狼優(yōu)化算法訓(xùn)練的多層感知器

對于多層感知器MLP，由于數(shù)據(jù)空間樣本多為高維空間，多模式，同時也有可能存在數(shù)據(jù)被噪聲干擾，有冗余數(shù)據(jù)和數(shù)據(jù)丟失的情況。訓(xùn)練MLP的主要目的是更新權(quán)重和偏置，這是一個極具挑戰(zhàn)性的優(yōu)化問題。本文使用智能優(yōu)化算法優(yōu)化MLP的訓(xùn)練[20]，將各個節(jié)點的權(quán)重和偏置編碼為輸入向量V，如式(15)所示:

V={W,θ}={w1,1,w1,2,…,wn,n,θ1,θ2,…,θn}

(15)

其中,wi,j表示為節(jié)點i和節(jié)點j相連的權(quán)重。θj表示節(jié)點j的偏置，n為節(jié)點總數(shù)。為了檢驗算法訓(xùn)練MLP的效果，定義以下變量:

定義1(均方差MSE(Mean Square Error)) 通過將樣本的數(shù)據(jù)輸入MLP的輸入層，將MLP的輸出數(shù)據(jù)與目標(biāo)結(jié)果比較，若輸出數(shù)據(jù)與目標(biāo)結(jié)果越接近，則訓(xùn)練效果越好，反之訓(xùn)練效果越差。MSE定義如式(16)所示:

(16)

定義2(訓(xùn)練器分類準(zhǔn)確率CA(Classification Accuracies)) 這是衡量算法分類器性能的重要指標(biāo)，在不同的問題中，也可能被稱為“精度”或“準(zhǔn)確率”。其定義如式(17)所示：

(17)

其中,Si代表著樣本中待分類的假設(shè)集合S中第i個屬性的個數(shù)。Ti表示數(shù)據(jù)集中正確分類的樣本個數(shù)。

5 實驗結(jié)果和討論

5.1 測試問題及實驗設(shè)置

(1)實驗問題設(shè)置。

為了測試本文IGWO算法訓(xùn)練MLP的性能，選擇了3個分類問題進行測試，分別為：3位奇偶校驗問題(XOR)、鳶尾花分類問題(Iris)和心臟病UCI問題HD UCI(Heart Disease UCI)。對于多層感知器的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置，隱藏層節(jié)點數(shù)為2k+1，其中k為數(shù)據(jù)集的特征個數(shù)。對于XOR問題、Iris問題，多層感知器的結(jié)構(gòu)為3-7-1、4-9-3；對于HD問題，使用22-45-1和22-16-1結(jié)構(gòu)的MLP作為訓(xùn)練對象。XOR問題設(shè)置的目的是討論簡單結(jié)構(gòu)MLP中智能算法作為訓(xùn)練器的性能；Iris問題設(shè)置的目的是測試對于輸出層有多個節(jié)點的情況智能算法的性能；HD問題設(shè)置的目的是當(dāng)面對節(jié)點數(shù)量較大的MLP時測試智能算法訓(xùn)練器的性能表現(xiàn)。因此，對于4種不同結(jié)構(gòu)的多層感知器智能算法種群規(guī)模分別設(shè)置為50,200,200,200。最大迭代次數(shù)分別為250,500,650,650。

(2)對比算法參數(shù)設(shè)置。

同時作為對比，本文選擇了PSO (Particle Swarm Optimization)[5]、GA (Genetic Algorithm)[6，7]、ACO (Ant Colony Optimization)[8，9]、PBIL (Population-Based Incremental Learning)[10]、ES (Evolutionary Strategy)、BBO (Biogeography-Based Optimization)[11]和GWO[16]算法作為MLP的訓(xùn)練器對3個不同的研究問題進行實驗。根據(jù)大量參考文獻選取經(jīng)驗值，在訓(xùn)練中各個算法的參數(shù)設(shè)置如下：

對于PSO,c1和c2的值設(shè)置為2,r1和r2為0～1的隨機數(shù)，ω從0.9線性遞減到0.4，初始粒子速度在0～1隨機生成。

對于BBO算法，最大遷入率為1，最大遷出率為1，變異概率為0.005，遷移概率取值為0～1,步長為2。

對于ACO算法，信息素值為10-6，信息素常數(shù)為20，探索常數(shù)為1，全局信息素衰減率為0.9，局部信息素衰減率為0.5，信息素敏感度α=1，信息素敏感度β=5。

對于GA算法，單點交叉，交叉概率為1，初始變異概率為0.01。

對于PBIL算法，學(xué)習(xí)率r0=0.05，變異概率為0.5，變異速率為0.1，最大變異率V0=0.4，學(xué)習(xí)速率調(diào)整時系統(tǒng)熵的閾值ε=10-6。

對于ES算法，每次新一代產(chǎn)生后代的數(shù)量為10，保留至下一代的精英數(shù)量為2，突變成功概率為0.005，進化步長σ=1。

5.2 XOR問題

3位奇偶校驗問題是一個著名的非線性標(biāo)準(zhǔn)測試問題。本文把3位奇偶校驗問題的MLP結(jié)構(gòu)設(shè)置為3-7-1,即3個輸入，7個隱藏層節(jié)點和1個輸出層節(jié)點，并分別對8種算法進行30次獨立實驗，選取的統(tǒng)計參數(shù)有：平均值、中值、標(biāo)準(zhǔn)差和最好值，統(tǒng)計結(jié)果如表1所示，平均收斂趨勢和分類準(zhǔn)確率如圖2和圖3所示。

由圖2可以看出，ACO、ES、PSO、PBIL和GA算法的收斂速度遠(yuǎn)不及其余3個算法的。BBO和GWO算法的收斂精度遜色于IGWO算法。但是，通過表2可以看出，在達到相同分類準(zhǔn)確率的情況下，IGWO算法的平均訓(xùn)練時長比BBO算法的短。圖3是各個智能算法作為MLP的訓(xùn)練器，進行30次獨立運算的MES的收斂曲線。通過表2可知，IGWO在平均值、中值和最優(yōu)值上都是最佳的。

雖然在標(biāo)準(zhǔn)差上能看出BBO算法具有較好的魯棒性，但是收斂精度不如IGWO的，由表1可知各個算法實際所用時長，其中PBIL算法所用時間最短，但是其分類準(zhǔn)確率只有65.42%。同時具有較好魯棒性的BBO算法訓(xùn)練所消耗的時間也是最長的。IGWO算法在更短時間內(nèi)得到了更好的收斂精度，分類準(zhǔn)確率達到100%。與GWO算法相比，IGWO的尋優(yōu)性能得到了很大的提高，達到了性能改善的目的。

Figure 2 MSE convergence curve of each algorithm for XOR problem

Figure 3 Classification accuracy of each algorithm for XOR problem

Table 1 MSE and classification accuracy of intelligent algorithms for XOR problem

Table 2 MSE and classification accuracy of intelligent algorithms running independently 30 times for Iris problem

5.3 Iris問題

鳶尾花問題數(shù)據(jù)集有150個訓(xùn)練樣本，共4個基本特征。本文選擇MLP的結(jié)構(gòu)為4-9-3來對該問題進行分類。其統(tǒng)計結(jié)果如表2所示，平均收斂趨勢和分類準(zhǔn)確率如圖4和圖5所示。

Figure 4 MSE convergence curve of each algorithm for Iris problem

Figure 5 Classification accuracy of each algorithm for Iris problem

由表2可知，對于Iris問題，從8種算法獨立運行30次的結(jié)果來看，IGWO的平均值、中值和最優(yōu)值都比其余7種算法的好，這表明了在處理多輸出節(jié)點的MLP問題時，IGWO算法的收斂精度都高于其他7個算法的，同時在MLP的測試樣本分類準(zhǔn)確率上IGWO也要高于其他算法。同時，IGWO與GWO具有相近的標(biāo)準(zhǔn)差，表明IGWO算法繼承了GWO算法的強魯棒性，且比ACO、ES、PSO、PBIL和GA算法的魯棒性要好。雖然IGWO的標(biāo)準(zhǔn)差不如GWO和BBO的，排名第3。從訓(xùn)練時長看，BBO算法消耗的時間遠(yuǎn)遠(yuǎn)多于IGWO算法的。由圖4和圖5 8種算法對Iris分類問題的分類收斂曲線可知，ACO、ES、PSO、PBIL和GA算法的收斂速度和收斂精度較差，BBO和GWO算法的收斂精度相近，IGWO收斂精度最高。而BBO的穩(wěn)定性好于GWO和IGWO的。從圖5中可以看出，雖然IGWO的魯棒性與GWO相近，不如BBO算法，但IGWO擁有更快的收斂速度，IGWO的收斂精度和魯棒性遠(yuǎn)高于ACO、ES、PSO、PBIL和GA算法的。這充分驗證了IGWO算法的強魯棒性、分類可靠性和高效性。

5.4 HD問題

心臟病問題HD UCI來自克利夫蘭數(shù)據(jù)庫，是迄今為止ML(Machine Learning)研究人員使用的唯一數(shù)據(jù)庫。這個數(shù)據(jù)庫包含76個屬性。使用2種不同結(jié)構(gòu)的MLP作為訓(xùn)練對象，22-16-1結(jié)構(gòu)MLP是一種收斂形的結(jié)構(gòu)，其隱藏層個數(shù)為輸入層與輸出層節(jié)點數(shù)總和的2/3。22-45-1結(jié)構(gòu)MLP選擇的是常規(guī)的隱藏層節(jié)點數(shù)，其選取節(jié)點數(shù)為2k+1，k為數(shù)據(jù)集的特征個數(shù)。

使用8種不同的智能算法訓(xùn)練結(jié)構(gòu)為22-16-1的MLP處理HD分類問題，其統(tǒng)計結(jié)果如表3所示，平均收斂趨勢和分類準(zhǔn)確率如圖6和圖7所示；訓(xùn)練結(jié)構(gòu)為22-45-1的MLP處理HD分類問題的統(tǒng)計結(jié)果如表4所示，平均收斂趨勢和分類準(zhǔn)確率如圖8和圖9所示所示。

由表3和表4可以看出，在HD分類問題中，22-16-1結(jié)構(gòu)MLP的MSE和分類準(zhǔn)確率不如22-45-1結(jié)構(gòu)的，雖然其較少的節(jié)點數(shù)降低了智能算法探索的解空間維度，使算法的訓(xùn)練時長縮短了，但是其訓(xùn)練后的MSE和分類準(zhǔn)確率不如22-45-1結(jié)構(gòu)的MLP。22-16-1結(jié)構(gòu)的MLP不能完全區(qū)別特征，導(dǎo)致訓(xùn)練后的MSE和分類準(zhǔn)確率不如22-45-1結(jié)構(gòu)的MLP。

Figure 6 MSE convergence curve of MLP with 22-16-1 structure training by each algorithm for HD problem

Figure 7 Classification accuracy of MLP with 22-16-1 structure training by each algorithm for HD problem

Figure 8 MSE convergence curve of MLP with 22-45-1 structure training by each algorithm for HD problem

Figure 9 Classification accuracy of MLP with 22-45-1 structure training by each algorithm for HD problem

Table 3 MSE and classification accuracy of MLP with 22-16-1 structure training by each algorithm for HD problem

Table 4 MSE and classification accuracy of MLP with 22-45-1 structure training by each algorithm for HD problem

從8種算法訓(xùn)練的22-16-1結(jié)構(gòu)MLP處理HD問題獨立運行30次的統(tǒng)計結(jié)果來看，IGWO的平均值、中值和最優(yōu)值都比其余7種算法的好，這些都表明了在處理大量關(guān)聯(lián)節(jié)點的MLP問題時IGWO算法的收斂精度高于其他7個算法的，同時在MLP的測試樣本分類準(zhǔn)確率上IGWO也要高于其他算法的。BBO算法在標(biāo)準(zhǔn)差上的表現(xiàn)體現(xiàn)出其魯棒性良好，但是由表4可知，在訓(xùn)練耗時上其表現(xiàn)不如GWO和IGWO算法的，在分類準(zhǔn)確率上其不如GWO的。IGWO的標(biāo)準(zhǔn)差低于GWO的，其穩(wěn)定性更高。

由圖6～圖9中8種算法訓(xùn)練22-16-1結(jié)構(gòu)MLP處理HD分類問題的MSE收斂曲線可知，ACO算法的收斂速度和收斂精度最差，然后依次為GA、PSO、ES和PBIL算法。同時BBO算法和GWO算法的收斂精度不如IGWO算法的。

以上統(tǒng)計結(jié)果表明，IGWO算法訓(xùn)練22-45-1結(jié)構(gòu)的MLP處理HD問題性能較好。IGWO算法的尋優(yōu)性能和訓(xùn)練速度得到了很大的提高，達到了性能改善的目的。

5.5 IGWO算子性能分析

表5和表6分別展示了GWO算法及其各個改進算法訓(xùn)練多層感知器，處理XOR分類問題和Iris分類問題獨立運行30次后的MSE、分類準(zhǔn)確率的平均值。表5中，GWO算法及其改進算法訓(xùn)練MLP處理XOR問題的最大迭代次數(shù)為200次，選擇200作為最大迭代次數(shù)是因為此時分類準(zhǔn)確率已經(jīng)達到100%，前文中最大迭代次數(shù)為250次是為了對比其他智能算法。表7展示了GWO算法及其改進算法訓(xùn)練22-16-1結(jié)構(gòu)MLP處理HD分類問題獨立運行30次后的MSE和分類準(zhǔn)確率的平均值。表8展示了GWO算法及其改進算法訓(xùn)練22-45-1結(jié)構(gòu)MLP處理HD分類問題獨立運行30次后的MSE和分類準(zhǔn)確率的平均值。

其中，NGWO是將GWO算法的線性收斂因子替換為余弦收斂因子，如式(9)所示。CGWO是在GWO算法中增加了柯西變異算子式(13)。EGWO是將GWO算法的位置更新公式替換為式(14)。IGWO是將余弦收斂因子、柯西變異算子和位置更新公式替換都加入GWO算法中。

Table 5 MSE and classification accuracy of GWO and its improved algorithms running independently 30 times for XOR problem

Table 6 MSE and classification accuracy of GWO and its improved algorithms running independently 30 times for Iris problem

Table 7 MSE and classification accuracy of MLPwith 22-16-1 structure trained by GWO and its improved algorithms for HD problem

Table 8 MSE and classification accuracy of MLP with 22-45-1 structure trained by GWO and its improved algorithms for HD problem

通過表5可知，GWO及其改進算法訓(xùn)練多層感知器處理XOR分類問題的分類準(zhǔn)確率已經(jīng)達到100%。從MSE的角度看，加入柯西變異算子可以提升局部探索能力，得到的最優(yōu)值更?。粯?biāo)準(zhǔn)差也反映了單獨加入柯西變異算子會使算法魯棒性降低；為了保證魯棒性，同時加入余弦收斂因子和位置更新公式(式(14))，可以從多次訓(xùn)練的標(biāo)準(zhǔn)差看出使用位置更新公式(式(14))和余弦收斂因子可以提升魯棒性。通過表6可知,GWO及其改進算法訓(xùn)練多層感知器處理Iris分類問題的準(zhǔn)確率均在90%以上。從MSE的角度看，Iris分類問題相較于XOR問題使用的MLP的節(jié)點數(shù)較多，對于訓(xùn)練算法而言其解空間維度更高?？梢钥闯鼋饪臻g維度提升以后，柯西變異算子提升局部探索的能力依然有效，能找到更優(yōu)的最優(yōu)值，但是通過標(biāo)準(zhǔn)差可以看出，加入柯西變異算子對魯棒性存在影響。從標(biāo)準(zhǔn)差看，加入余弦收斂因子和使用位置更新公式(式(14))可以提升算法魯棒性。改進后的IGWO算法訓(xùn)練多層感知器處理Iris分類問題能在保證魯棒性的同時提升準(zhǔn)確率和降低MSE。通過表7和表8可知，GWO及其改進算法訓(xùn)練不同結(jié)構(gòu)的訓(xùn)練多層感知器處理HD分類問題時，22-16-1結(jié)構(gòu)MLP在同樣訓(xùn)練后的表現(xiàn)不如22-45-1結(jié)構(gòu)MLP，是因為收斂形的MLP結(jié)構(gòu)不能完全區(qū)分特征。為了處理HD分類問題，2種MLP的節(jié)點數(shù)量有大幅提升，對于訓(xùn)練算法而言其解空間維度更高。從MSE的最優(yōu)值可以看出，處理高維解空間時，柯西變異算子提升局部探索的能力依然有效。從30次獨立運算的標(biāo)準(zhǔn)差可以看出，使用余弦收斂因子和更新公式(式(14))處理高維解空間能提升算法魯棒性。IGWO算法訓(xùn)練大量節(jié)點的多層感知器處理HD分類問題時能在保證魯棒性的同時提升分類準(zhǔn)確率和降低MSE。

6 結(jié)束語

使用啟發(fā)式算法作為MLP的訓(xùn)練器是一個可行的方向，本文算法在GWO算法基礎(chǔ)上加入柯西變異算子提升算法跳出局部最優(yōu)的能力，加入余弦收斂因子平衡局部開發(fā)和全局探索能力，并通過位置更新公式(式(14))提升算法收斂速度，縮短訓(xùn)練時間。然后選取3個不同MLP結(jié)構(gòu)的分類問題：XOR問題、Iris分類問題和HD分類問題進行實驗，用于評估改進灰狼優(yōu)化算法的優(yōu)化性能和魯棒性。實驗結(jié)果表明，與幾個經(jīng)典智能算法相比，本文IGWO算法訓(xùn)練的MLP，在分類準(zhǔn)確率和收斂精度方面具有更好的性能，同時具有較好的魯棒性。雖然BBO算法的穩(wěn)定性很高，是最好的，但是其收斂結(jié)果不如IGWO算法的。并且在訓(xùn)練器所用時間上，IGWO算法作為訓(xùn)練器時，其并不會因為節(jié)點數(shù)的增加而導(dǎo)致訓(xùn)練時間大幅增加。同時，面對高維解空間時柯西變異算子對局部探索能力的提升依然有效，余弦因子和更新公式(式(14))保證了算法魯棒性，結(jié)合了這些改進的IGWO算法是一個優(yōu)秀的MLP訓(xùn)練器。