摘要：在模式分類學(xué)習(xí)問題中，訓(xùn)練數(shù)據(jù)中的標(biāo)注差錯(cuò)（也稱類別噪聲）對(duì)分類器的性能有很大的影響。本文將一種新近提出的連續(xù)動(dòng)作學(xué)習(xí)自動(dòng)機(jī)（即聚焦區(qū)間學(xué)習(xí)自動(dòng)機(jī)）應(yīng)用于針對(duì)類別噪聲的容噪學(xué)習(xí)問題。分類器采用簡(jiǎn)單的單隱層前饋神經(jīng)網(wǎng)絡(luò)，利用一個(gè)由這種學(xué)習(xí)自動(dòng)機(jī)組成的自動(dòng)機(jī)團(tuán)隊(duì)，對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)進(jìn)行學(xué)習(xí)。通過廣義異或問題和Iris數(shù)據(jù)集的仿真試驗(yàn)，將該算法與兩種基于群體搜索的優(yōu)化算法——粒子群優(yōu)化（PSO）和差分進(jìn)化（DE）進(jìn)行了比較研究。結(jié)果表明，新算法具有更好的容噪學(xué)習(xí)性能。

關(guān)鍵詞：模式分類；類別噪聲；容噪學(xué)習(xí)；學(xué)習(xí)自動(dòng)機(jī)；連續(xù)動(dòng)作學(xué)習(xí)自動(dòng)機(jī)

中圖分類號(hào)：TP181文獻(xiàn)標(biāo)識(shí)碼：ADOI：10.19452/j.issn1007-5453.2020.10.012

模式分類是機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)重要課題，相關(guān)研究非常活躍。以航空領(lǐng)域?yàn)槔?，無人機(jī)的目標(biāo)檢測(cè)、飛機(jī)部件的故障診斷等都屬于模式分類問題[1-2]。分類器的構(gòu)造可以視為一種學(xué)習(xí)過程，即通過對(duì)一個(gè)經(jīng)標(biāo)注的數(shù)據(jù)集（訓(xùn)練集）的學(xué)習(xí)，建立從特征空間到類別空間的映射關(guān)系。顯然，訓(xùn)練數(shù)據(jù)的質(zhì)量對(duì)最終的學(xué)習(xí)結(jié)果會(huì)有影響。在傳統(tǒng)的學(xué)習(xí)理論中，用于訓(xùn)練的數(shù)據(jù)是不含噪聲的。但實(shí)際應(yīng)用中的訓(xùn)練數(shù)據(jù)未必都這樣理想，當(dāng)其中含有噪聲時(shí)，訓(xùn)練出的分類器的性能有可能大打折扣。訓(xùn)練數(shù)據(jù)中的噪聲可分為屬性噪聲和類別噪聲兩大類[3-5]。屬性噪聲也稱特征噪聲，是指訓(xùn)練樣本中的特征參數(shù)受到了噪聲的干擾。類別噪聲也稱標(biāo)注噪聲，是指一個(gè)樣本被賦予了不正確的類別標(biāo)簽。

研究表明[3-5]，相對(duì)于特征噪聲，類別噪聲通常具有更大的潛在危害。許多著名的分類方法（如支持向量機(jī)及AdaBoost等）對(duì)類別噪聲都很敏感。由于獲取可靠的標(biāo)注數(shù)據(jù)昂貴而費(fèi)時(shí)，故標(biāo)注工作不一定總由領(lǐng)域?qū)＜襾硗瓿?，尤其在互?lián)網(wǎng)和大數(shù)據(jù)背景下，經(jīng)常是由非專業(yè)人員甚至計(jì)算機(jī)自動(dòng)完成的。這就有可能引入標(biāo)注噪聲。在某些場(chǎng)合，如疾病或設(shè)備故障的診斷等，因問題的復(fù)雜性，即使專家標(biāo)注的數(shù)據(jù)也不能保證100%的準(zhǔn)確。因此，研究針對(duì)類別噪聲的容噪學(xué)習(xí)技術(shù)，具有十分重要的意義。

應(yīng)對(duì)類別噪聲的最常用的一種方法是先通過某種技術(shù)，識(shí)別并過濾掉訓(xùn)練數(shù)據(jù)中被錯(cuò)誤標(biāo)注的數(shù)據(jù)樣本，再用正確無誤的數(shù)據(jù)集進(jìn)行學(xué)習(xí)。參考文獻(xiàn)[6]提出一種基于距離的檢測(cè)方法，以發(fā)現(xiàn)異常數(shù)據(jù)樣本。參考文獻(xiàn)[7]采用模型過濾法，剔除錯(cuò)標(biāo)的數(shù)據(jù)。參考文獻(xiàn)[8]利用交叉驗(yàn)證的方法，對(duì)數(shù)據(jù)中的孤立點(diǎn)進(jìn)行鑒別和篩選。對(duì)付類別噪聲的另一種方法，是采用具有容噪能力的學(xué)習(xí)算法。參考文獻(xiàn)[9]針對(duì)多核學(xué)習(xí)問題，提出一種基于復(fù)合梯度映射的學(xué)習(xí)算法，但其中有一個(gè)假設(shè)，即標(biāo)注差錯(cuò)的概率是已知的。這會(huì)限制其實(shí)用性，因?yàn)樵趯?shí)際中該概率很難預(yù)先知道。參考文獻(xiàn)[10]提出一種基于混合模型的穩(wěn)健判別方法，其中也有個(gè)假設(shè)，即樣本總體是正態(tài)分布的。參考文獻(xiàn)[11]和參考文獻(xiàn)[12]在不對(duì)訓(xùn)練樣本做特別假設(shè)的情況下，將一類連續(xù)動(dòng)作學(xué)習(xí)自動(dòng)機(jī)應(yīng)用于類別噪聲下的容噪學(xué)習(xí)，取得了很好的結(jié)果，不過其學(xué)習(xí)對(duì)象僅限于線性的二分類問題。

本文嘗試將一種較新的連續(xù)動(dòng)作學(xué)習(xí)自動(dòng)機(jī)，即基于窗口-獎(jiǎng)勵(lì)的聚焦區(qū)間學(xué)習(xí)自動(dòng)機(jī)[13-15]，應(yīng)用于非線性多分類問題的容噪學(xué)習(xí)。

1學(xué)習(xí)自動(dòng)機(jī)

學(xué)習(xí)自動(dòng)機(jī)（learning automata，LA）是一類自適應(yīng)決策算法。自動(dòng)機(jī)通過與一個(gè)隨機(jī)環(huán)境的不斷交互，學(xué)習(xí)最佳的輸出動(dòng)作[16]。在任一時(shí)刻，LA根據(jù)某種概率分布，從其動(dòng)作集里選擇一個(gè)動(dòng)作并輸出給環(huán)境；環(huán)境則反饋一個(gè)強(qiáng)化信號(hào)，作為對(duì)LA所選動(dòng)作的評(píng)價(jià)。根據(jù)該評(píng)價(jià)，LA更新其概率分布，以期下次能選出更合適的動(dòng)作。作為一種隨機(jī)優(yōu)化方法，LA很適合處理具有非線性及不確定性的優(yōu)化問題。

根據(jù)動(dòng)作集的性質(zhì)，LA可以分為有限動(dòng)作學(xué)習(xí)自動(dòng)機(jī)（finite-action learning automata，F(xiàn)ALA）和連續(xù)動(dòng)作學(xué)習(xí)自動(dòng)機(jī)（continuous-action learning automata， CALA）兩大類。FALA適合處理組合優(yōu)化問題，CALA則適合處理連續(xù)型的數(shù)值優(yōu)化問題，如神經(jīng)網(wǎng)絡(luò)權(quán)值的訓(xùn)練。

2 FILA/WR

現(xiàn)有的幾種CALA都是采用高斯分布作為其動(dòng)作選擇的概率模型，自動(dòng)機(jī)通過不斷調(diào)整高斯分布的均值和標(biāo)準(zhǔn)差實(shí)現(xiàn)學(xué)習(xí)[16]。與此不同，本文作者提出一種新的CALA[13-15]，其利用一個(gè)可變區(qū)間作為動(dòng)作集，并按照均勻分布方式產(chǎn)生輸出動(dòng)作。學(xué)習(xí)算法根據(jù)一個(gè)滑動(dòng)窗口內(nèi)的最佳的歷史動(dòng)作，對(duì)區(qū)間的兩個(gè)端點(diǎn)進(jìn)行更新。由于該自動(dòng)機(jī)對(duì)動(dòng)作區(qū)間的更新類似于一種調(diào)焦或?qū)梗史Q之為聚焦區(qū)間學(xué)習(xí)自動(dòng)機(jī)（focused interval learning automaton， FILA）。

記動(dòng)作區(qū)間為[xL，xR]。為對(duì)其進(jìn)行更新，算法保持一個(gè)滑動(dòng)窗口W={（x（i）， J（i））|i=k-M+1，…， k}，其中（x（i）， J（i））為最近的自動(dòng)機(jī)與環(huán)境交互的歷史記錄（輸出的動(dòng)作參數(shù)及相應(yīng)的目標(biāo)函數(shù)值），x（i）代表在i時(shí)刻自動(dòng)機(jī)選出的動(dòng)作參數(shù)，J（i）是x（i）的目標(biāo)函數(shù)J（x（i））的簡(jiǎn)寫。為高效實(shí)現(xiàn)，W采用環(huán)形隊(duì)列的方式存儲(chǔ)最近的M對(duì)x和J。M為窗口大小。

在任一時(shí)刻k，自動(dòng)機(jī)以均勻分布方式在當(dāng)前的區(qū)間上隨機(jī)選擇一個(gè)實(shí)數(shù)x（k），稱為動(dòng)作，并從環(huán)境得到對(duì)應(yīng)的目標(biāo)函數(shù)J（k）。將x（k）和J（k）放入W中。然后，找出其中具有最小J（x）值的動(dòng)作（針對(duì)最小化問題），將其記為xb。再根據(jù)xb對(duì)區(qū)間的兩個(gè)端點(diǎn)進(jìn)行更新。

因該算法總關(guān)注一個(gè)滑動(dòng)窗口，并將動(dòng)作區(qū)間朝窗口內(nèi)最佳的動(dòng)作xb的方向調(diào)整，相當(dāng)于對(duì)xb進(jìn)行獎(jiǎng)勵(lì)，故可進(jìn)一步將其記做FILA/WR，其中W與R分別代表窗口（window）和獎(jiǎng)勵(lì)（reward）。我們?cè)鴮⒃撍惴☉?yīng)用于不同的問題，如被噪聲污染的多模態(tài)函數(shù)的全局優(yōu)化[13]、非線性系統(tǒng)辨識(shí)與建模[14]以及動(dòng)態(tài)不確定性環(huán)境下的在線學(xué)習(xí)[15]。在這些應(yīng)用中，F(xiàn)ILA/WR在學(xué)習(xí)精度、運(yùn)行結(jié)果的一致性尤其是最差情況下的性能表現(xiàn)，都有明顯的優(yōu)勢(shì)。

3仿真試驗(yàn)

本文嘗試將上述FILA/WR應(yīng)用于針對(duì)類別噪聲的容噪模式分類問題。分類器采用單隱層前饋神經(jīng)網(wǎng)絡(luò)，利用該算法對(duì)網(wǎng)絡(luò)的權(quán)值參數(shù)進(jìn)行學(xué)習(xí)。訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)的經(jīng)典方法是誤差反傳（BP）算法。這是一種梯度下降方法，很容易陷入局部最優(yōu)。近些年來，以遺傳算法（GA）、粒子群優(yōu)化（PSO）以及差分進(jìn)化（DE）為代表的基于群體計(jì)算的智能優(yōu)化算法，被廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。為檢驗(yàn)FILA/WR的學(xué)習(xí)性能，本文選擇目前流行的PSO[17]和DE[18]進(jìn)行對(duì)比試驗(yàn)。DE有多個(gè)版本，本文采用的是DE/rand/1/ bin版本，其在工程優(yōu)化問題中應(yīng)用最為廣泛。

我們選取了兩個(gè)測(cè)試問題，一個(gè)是廣義異或問題，一個(gè)是鳶尾花數(shù)據(jù)集。前者屬于二分類問題，后者則屬于多分類問題。對(duì)每個(gè)問題，分別在訓(xùn)練樣本中人為地引入不同強(qiáng)度的類別噪聲，以測(cè)試學(xué)習(xí)算法的容噪性能。

3.1廣義異或問題的試驗(yàn)

廣義異或問題是一個(gè)2特征、2類別的人造分類問題。設(shè)模式空間為x-y平面內(nèi)的矩形區(qū)域[-1，1]×[-1，1]。該區(qū)域內(nèi)的任一點(diǎn)p（x，y）屬于兩個(gè)類別之一：位于第一、第三象限內(nèi)的點(diǎn)為A類，位于第二、第四象限內(nèi)的點(diǎn)為B類。即A類點(diǎn)的x、y坐標(biāo)同號(hào)，B類點(diǎn)的x、y坐標(biāo)異號(hào)。這是一個(gè)典型的非線性可分問題，其可以看作是二值的異或（XOR）問題在連續(xù)域的推廣。參考文獻(xiàn)[19]曾利用基于PSO和BP混合訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來解決該問題，但其訓(xùn)練數(shù)據(jù)不含噪聲，且網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，為雙隱層。

本文采用一個(gè)單隱層的前饋神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)為2-8-1。其中有兩個(gè)輸入節(jié)點(diǎn)，分別對(duì)應(yīng)待分類模式的x和y坐標(biāo)；一個(gè)輸出節(jié)點(diǎn)，代表類別標(biāo)簽：1表示A類，-1表示B類；一個(gè)隱藏層，包含8個(gè)節(jié)點(diǎn)。整個(gè)網(wǎng)絡(luò)一共有33個(gè)需要確定的權(quán)值參數(shù)（包括閾值）。所有節(jié)點(diǎn)的激活函數(shù)均采用雙曲正切函數(shù)。由于一個(gè)自動(dòng)機(jī)只處理一個(gè)參數(shù)，故使用33個(gè)FILA，每個(gè)自動(dòng)機(jī)負(fù)責(zé)一個(gè)參數(shù)。33個(gè)自動(dòng)機(jī)構(gòu)成一個(gè)LA團(tuán)隊(duì)[14]，以合作博弈的方式學(xué)習(xí)網(wǎng)絡(luò)的最佳權(quán)值。

在區(qū)域[-1，1]×[-1，1]中隨機(jī)抽取2000個(gè)點(diǎn)作為訓(xùn)練樣本，再在同一區(qū)域以x、y坐標(biāo)均按0.02的間隔均勻抽取10000個(gè)點(diǎn)作為測(cè)試樣本。為檢驗(yàn)學(xué)習(xí)算法的容噪性能，對(duì)訓(xùn)練樣本中的類別標(biāo)記進(jìn)行人為翻轉(zhuǎn)（即A變B、B變A），以引入類別噪聲。其中噪聲強(qiáng)度（錯(cuò)誤標(biāo)簽在訓(xùn)練樣本中所占的比例）分別取0（即無噪聲），10%，20%，30%和40%。訓(xùn)練采用批次方式，即對(duì)于PSO、DE或FILA團(tuán)隊(duì)產(chǎn)生的每一組權(quán)值參數(shù)，計(jì)算所有訓(xùn)練樣本下網(wǎng)絡(luò)輸出節(jié)點(diǎn)的均方誤差，以此作為該組權(quán)值參數(shù)的目標(biāo)函數(shù)。一次仿真，總共評(píng)估10000個(gè)目標(biāo)函數(shù)值。

FILA的內(nèi)部參數(shù)設(shè)置如下：M=20，λ=0.005，δ=0.01。對(duì)于PSO和DE，先分別進(jìn)行若干次試探性試驗(yàn)，然后取效果較好的參數(shù)組合，具體情況如下：PSO中粒子群的規(guī)模為50，慣性權(quán)重w為0.5，加速度常數(shù)（學(xué)習(xí)因子）c1和c2均為1.5，每一維的最大速度取vmax_ratio*di，其中di為相應(yīng)維初始搜索區(qū)間的長(zhǎng)度，vmax_ratio為0.2。對(duì)于DE，群體規(guī)模NP取25，縮放因子F取0.3，交叉概率CR取0.8。對(duì)每種算法，33個(gè)待優(yōu)化權(quán)值的初始搜索區(qū)間均取[-2，2]。

訓(xùn)練結(jié)束后，PSO和DE取群體中的最優(yōu)解（即目標(biāo)函數(shù)最小的權(quán)值參數(shù)），F(xiàn)ILA則取最終每個(gè)動(dòng)作區(qū)間的中點(diǎn)所構(gòu)成的權(quán)值參數(shù)。再利用權(quán)值參數(shù)分別為這三組值的神經(jīng)網(wǎng)絡(luò)對(duì)測(cè)試集進(jìn)行分類，當(dāng)輸出節(jié)點(diǎn)的激活值大于0時(shí)判定為1（即A類），否則判定為-1（即B類）。

為獲得可靠的結(jié)論，在每一種噪聲水平下，分別用三種算法各做100次獨(dú)立試驗(yàn)（每次訓(xùn)練集及標(biāo)注噪聲都重新產(chǎn)生，但各算法相同），統(tǒng)計(jì)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)在測(cè)試集上的分類結(jié)果。表1給出了不同噪聲水平下三種算法得到的識(shí)別率的平均值及標(biāo)準(zhǔn)差。

由表1可以看出，在不含噪聲的情況下，三種算法均獲得了98%左右的平均識(shí)別率（FILA最好，DE最差）。參考文獻(xiàn)[19]中，5次試驗(yàn)的平均識(shí)別率為99.55%，但其所用的神經(jīng)網(wǎng)絡(luò)為較復(fù)雜的雙隱層結(jié)構(gòu)，且采用PSO和BP結(jié)合的訓(xùn)練方法；該文也沒有研究訓(xùn)練樣本含有噪聲的情況。

由表1可知，當(dāng)訓(xùn)練數(shù)據(jù)含有標(biāo)注噪聲時(shí)，三種算法訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)的性能會(huì)有所下降，但下降幅度比樣本差錯(cuò)的比率要小得多。即使在40%的噪聲水平下（訓(xùn)練樣本的標(biāo)注正確率只有60%），DE也有超過86%，PSO和FILA則有超過88%的平均識(shí)別率。這說明，神經(jīng)網(wǎng)絡(luò)本身就具有較好的噪聲容忍能力，其“記住”的是訓(xùn)練集的整體特征。由表1還可看出，5種情況下，F(xiàn)ILA的平均識(shí)別率有三次高于PSO，兩次低于PSO，而標(biāo)準(zhǔn)差則有4次小于PSO，僅有一次大于PSO，這表明其性能更穩(wěn)定，結(jié)果的一致性更好。相比之下，DE的效果最差，其不僅平均分類正確率低，標(biāo)準(zhǔn)差也比較大。

其實(shí)，我們還曾利用經(jīng)典的誤差反傳（BP）算法訓(xùn)練上述網(wǎng)絡(luò)，但其效果極不穩(wěn)定。僅就不含噪聲的情況而言，BP有時(shí)很快就找到了識(shí)別率高達(dá)100%的網(wǎng)絡(luò)權(quán)值，但有時(shí)卻僅得到50%的識(shí)別率（此時(shí)神經(jīng)網(wǎng)絡(luò)對(duì)輸入樣本的反應(yīng)完全是隨機(jī)的）。仔細(xì)分析發(fā)現(xiàn)，這是由于訓(xùn)練陷入了誤差曲面的平坦區(qū)域，因梯度過?。?10-10）而導(dǎo)致訓(xùn)練提前中止，網(wǎng)絡(luò)權(quán)值沒有收斂。鑒于此，后文將不再考慮BP，僅對(duì)FILA、PSO和DE進(jìn)行仿真。

3.2 Iris數(shù)據(jù)集的試驗(yàn)

鳶尾花（Iris）分類是模式識(shí)別和數(shù)據(jù)挖掘領(lǐng)域中一個(gè)被廣泛引用的經(jīng)典問題。有三種鳶尾屬植物，分別稱作iris-setosa，iris-versicolor和iris-virginica。每一品種各采集了50個(gè)樣本，每個(gè)樣本包含4個(gè)特征參數(shù)：萼片的長(zhǎng)度和寬度、花瓣的長(zhǎng)度和寬度。我們的任務(wù)是構(gòu)造一個(gè)分類器，用以識(shí)別任一給定的數(shù)據(jù)樣本屬于三個(gè)品種中的哪一個(gè)。這是一個(gè)4特征、3類別的分類問題，其中iris-setosa與另兩個(gè)類別是線性可分的，后兩者則不是線性可分的。參考文獻(xiàn)[19]～[21]曾用不同的方法對(duì)該問題做過試驗(yàn)研究，其中參考文獻(xiàn)[21]還考慮了訓(xùn)練數(shù)據(jù)中含有屬性噪聲的問題，但都沒有考慮類別噪聲。參考文獻(xiàn)[11]和參考文獻(xiàn)[12]采用一種基于高斯分布的CALA來解決類別噪聲下Iris數(shù)據(jù)集的容噪學(xué)習(xí)問題，但其工作僅限于線性的二分類問題（將iris-setosa作為一類，另外兩類則合并為一個(gè)大類）。

本文采用一個(gè)4-5-3結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，解決上述Iris數(shù)據(jù)集的三分類問題，分別利用PSO、DE和FILA來學(xué)習(xí)網(wǎng)絡(luò)的43個(gè)權(quán)值參數(shù)。試驗(yàn)所用的數(shù)據(jù)來自UCI數(shù)據(jù)集。因該數(shù)據(jù)集的特征參數(shù)未歸一化，故網(wǎng)絡(luò)權(quán)值的初始搜索區(qū)間取得小一些，為[-0.5，0.5]。訓(xùn)練時(shí)，從150個(gè)數(shù)據(jù)樣本中隨機(jī)抽取90個(gè)（每一品種各30個(gè)）作為訓(xùn)練集。訓(xùn)練結(jié)束后，用所有數(shù)據(jù)樣本（包括訓(xùn)練樣本，但不加噪聲）進(jìn)行測(cè)試。測(cè)試時(shí)，網(wǎng)絡(luò)的三個(gè)輸出采用“高勝”邏輯。

試驗(yàn)發(fā)現(xiàn)，前面針對(duì)廣義異或問題設(shè)置的DE的那一組參數(shù)，對(duì)Iris數(shù)據(jù)集的學(xué)習(xí)效果相當(dāng)差。為此，我們重新試探了其參數(shù)組合，最終選用的是：NP=20，F(xiàn)=0.4，CR=0.8。PSO和FILA的內(nèi)部參數(shù)仍沿用前一試驗(yàn)的設(shè)置。試驗(yàn)結(jié)果見表2。

由表2可以看出，在訓(xùn)練數(shù)據(jù)不含噪聲的情況下，三種算法的平均分類正確率均在96%左右（FILA略高于97%）。參考文獻(xiàn)[20]采用交叉驗(yàn)證K近鄰算法，得到的識(shí)別率為96.67%。參考文獻(xiàn)[19]的5次試驗(yàn)的平均識(shí)別率為98.53%，但其網(wǎng)絡(luò)有兩個(gè)隱藏層，結(jié)構(gòu)較復(fù)雜，且其訓(xùn)練方法同時(shí)使用了PSO和BP。這些文獻(xiàn)均未考慮訓(xùn)練數(shù)據(jù)含有噪聲的問題。

再看訓(xùn)練數(shù)據(jù)包含類別噪聲的情況。由表2可以看出，對(duì)于Iris數(shù)據(jù)集，F(xiàn)ILA在每種噪聲水平下的平均識(shí)別率都比PSO和DE的高。在訓(xùn)練數(shù)據(jù)含有40%的標(biāo)注噪聲的情況下，F(xiàn)ILA仍可獲得接近92%的分類精度（PSO和DE則不到89%）。另外，與PSO和DE相比，F(xiàn)ILA的標(biāo)準(zhǔn)差更小，這說明其魯棒性更好。與第一個(gè)試驗(yàn)不同的是，對(duì)Iris數(shù)據(jù)集，除噪聲水平為40%的情況外，PSO的結(jié)果總差于DE。這說明，在這兩種算法中，沒有哪個(gè)更具優(yōu)勢(shì)。

前面說過，在Iris數(shù)據(jù)集的試驗(yàn)中，對(duì)DE的內(nèi)部參數(shù)進(jìn)行了重新設(shè)置。如果沿用第一個(gè)試驗(yàn)中的參數(shù)，則學(xué)習(xí)結(jié)果明顯差于表2中的數(shù)據(jù)。反過來，上述的對(duì)于Iris數(shù)據(jù)集效果較好的這組參數(shù)，當(dāng)應(yīng)用于廣義異或問題時(shí)，效果也遠(yuǎn)差于表1中的結(jié)果。這說明DE對(duì)于要解決的問題較為敏感，不同的問題需要不同的算法參數(shù)。

4結(jié)束語(yǔ)

訓(xùn)練樣本中的標(biāo)注噪聲對(duì)分類器的學(xué)習(xí)構(gòu)成很大的挑戰(zhàn)。本文研究了神經(jīng)網(wǎng)絡(luò)分類器的容噪學(xué)習(xí)問題，其中的訓(xùn)練數(shù)據(jù)允許存在類別噪聲。我們將一種新近提出的FILA/WR算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)。該方法既不需要對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，也無須樣本噪聲的任何先驗(yàn)知識(shí)。

通過廣義異或問題和Iris數(shù)據(jù)集，對(duì)該算法和兩種流行的群體優(yōu)化算法——PSO和DE算法進(jìn)行了試驗(yàn)比較。結(jié)果表明，在各種噪聲水平下，由新算法訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)具有更好的分類性能。該算法容噪能力強(qiáng)，結(jié)果穩(wěn)定性好。另外，與DE相比，新算法的內(nèi)部參數(shù)對(duì)于待求解的問題不敏感，因而更易于使用。下一步，我們擬將該算法應(yīng)用于航空領(lǐng)域中的一些機(jī)器學(xué)習(xí)問題，如基于神經(jīng)網(wǎng)絡(luò)的發(fā)動(dòng)機(jī)故障診斷和壽命預(yù)測(cè)等。

參考文獻(xiàn)

[1]王曉華，張聰，李聰，等.基于仿生視覺注意機(jī)制的無人機(jī)目標(biāo)檢測(cè)[J].航空科學(xué)技術(shù)， 2015， 26（11）： 78-82. Wang Xiaohua， Zhang Cong， Li Cong， et al. Unmanned aerial vehicles target detection based on bio-inspired visual attention[J]. Aeronautical Science & Technology， 2015， 26（11）： 78-82.（in Chinese）

[2]熊天旸，張先輝，李新民，等.基于BP神經(jīng)網(wǎng)絡(luò)的自動(dòng)傾斜器軸承故障診斷[J].航空科學(xué)技術(shù)， 2017， 28（11）： 69-73. Xiong Tianyang， Zhang Xianhui， Li Xinmin， et al. Fault diagnosis method of swash-plate bearing based on BP neural networks[J]. Aeronautical Science & Technology， 2017， 28（11）： 69-73. （in Chinese）

[3]Zhu Xingquan，Wu Xindong. Class noise vs. attribute noise：a quantitative study[J]. Artificial Intelligence Review，2004，22（3）：177-210.

[4]Fréncy B，Verleysen M. Classification in the presence of label noise：a survey[J]. IEEE Transactions on Neural Networks and Learning Systems，2014，25（5）：845-869.

[5]宮辰，張闖，王啟舟.標(biāo)簽噪聲魯棒學(xué)習(xí)算法研究綜述[J].航空兵器， 2020， 27（3）： 20-26. Gong Chen， Zhang Chuang， Wang Qizhou. A survey of label noise robust learning algorithms[J]. Aero Weaponry， 2020， 27（3）： 20-26. （in Chinese）

[6]Knorr E M，Ng R T，Tucakov V. Distance-based outliers：algorithms and applications[J]. VLDB Journal，2000，8（3）：237-253.

[7]Brodley C E，F(xiàn)riedl M A. Identifying mislabeled training data[J]. Journal of Artificial Intelligence Research，2011，11（1）：131-167.

[8]張健沛，楊顯飛，楊靜.交叉驗(yàn)證容噪分類算法有效性分析及其在數(shù)據(jù)流上的應(yīng)用[J].電子學(xué)報(bào)， 2011， 39（2）： 378-382. Zhang Jianpei， Yang Xianfei， Yang Jing. Effectiveness analysis and application in data streams of cross validation noisetolerance classification algorithm[J]. Acta Electronica Sinica， 2011， 39（2）： 378-382. （in Chinese）

[9]龍文光，劉益和.多核學(xué)習(xí)中基于復(fù)合梯度映射的學(xué)習(xí)算法研究[J].計(jì)算機(jī)應(yīng)用研究， 2015， 32（4）： 1019-1023. Long Wenguang， Liu Yihe. Research on learning algorithm based on composite gradient mapping in multiple kernel learning[J]. Application Research of Computers， 2015， 32（4）： 1019-1023. （in Chinese）

[10]朱德剛.一個(gè)穩(wěn)健判別方法及應(yīng)用[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)， 2019， 49（6）： 161-165. Zhu Degang. A robust discriminant approach and its application[J]. Mathematics in Practice and Theory， 2019， 49（6）： 161-165.（in Chinese）

[11]Sastry P S，Nagendra G D，Manwani N. A team of continuousaction learning automata for noise-tolerant learning of halfspaces[J].IEEETransactionsonSystems，Man，and Cybernetics，Part B，2010，40（1）：19-28.

[12]Manwani N，Sastry P S. Noise tolerance under risk minimization[J]. IEEE Transactions on Cybernetics，2013，43（3）：1146-1151.

[13]劉曉.一種魯棒的連續(xù)動(dòng)作學(xué)習(xí)自動(dòng)機(jī)[C]//全國(guó)抗惡劣環(huán)境計(jì)算機(jī)第二十五屆學(xué)術(shù)年會(huì)， 2015： 266-271. Liu Xiao. A robust continuous-action learning automaton [C]// CCF TCSEC. Proceedings of 25th Severe Environment Computer Conference， 2015： 266-271. （in Chinese）

[14]劉曉.基于智能計(jì)算的非線性系統(tǒng)辨識(shí)與建模[C]//全國(guó)抗惡劣環(huán)境計(jì)算機(jī)第二十五屆學(xué)術(shù)年會(huì)， 2015： 251-255. Liu Xiao. Nonlinear system identification and modeling based on intelligent computation[C]//CCF TCSEC. Proceedings of 25th Severe Environment Computer Conference， 2015： 251-255. （in Chinese）

[15]劉曉.一種求解動(dòng)態(tài)及不確定性優(yōu)化問題的新方法[J].微電子學(xué)與計(jì)算機(jī)， 2016， 33（7）： 83-88. Liu Xiao. A new method for solving dynamic and uncertain optimization problems[J]. Microelectronics & Computer， 2016， 33（7）： 83-88. （in Chinese）

[16]Thathachar M A L，Sastry P S. Varieties of learning automata：an overview[J]. IEEE Transactions on Systems，Man，and Cybernetics，Part B，2002，32（6）：711-722.

[17]Kennedy J，Eberhart R C. Particle swarm optimization[C]// Proceedings of IEEE Internal Conference on Neural Networks. Piscataway：IEEE，1995.

[18]Das S，Suganthan P N. Differential evolution：a survey of the state-of-the-art[J]. IEEE Transactions on Evolutionary Computation，2011，15（1）：27-54.

[19]田雨波，潘朋朋.混合粒子群算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的研究[J].微電子學(xué)與計(jì)算機(jī)， 2011， 28（6）： 156-159. Tian Yubo， Pan Pengpeng. The research of neural network based on hybrid particle swarm optimization[J]. Microelectronics& Computer， 2011， 28（6）： 156-159. （in Chinese）

[20]汪慶華，劉江煒，張?zhí)m蘭.交叉驗(yàn)證K近鄰算法分類研究[J].西安工業(yè)大學(xué)學(xué)報(bào)， 2015， 35（2）： 119-124. Wang Qinghua， Liu Jiangwei， Zhang Lanlan. Study on the classification of K-nearest neighbor algorithm[J]. Journal of Xian Technological University， 2015， 35（2）： 119-124. （in Chinese）

[21]蔣雯，陳運(yùn)東，湯潮，等.基于樣本差異度的基本概率指派生成方法[J].控制與決策， 2015， 30（1）： 71-75. Jiang Wen， Chen Yundong， Tang Chao， et al. Determination of basic probability assignment based on sample difference degree[J]. Control and Decision， 2015， 30（1）： 71-75. （in Chinese）

（責(zé)任編輯王為）

作者簡(jiǎn)介

劉曉（1965-）男，高級(jí)工程師。主要研究方向：動(dòng)力控制和智能計(jì)算。

Tel：029-89186505

E-mail：xiao.liu@163.com

Noise-Tolerant Pattern Classification Based on Learning Automata

Liu Xiao*

AVIC Xian Aeronautics Computing Technique Research Institute，Xian 710065，China

Abstract： In the learning problem of pattern classification， the label error （also called class noise） in the training data can severely impact the performance of the classifiers. A recently proposed continuous-action learning automaton， i.e.， the focused interval learning automaton is applied to the noise-tolerant learning for the class noise. The classifiers adopt simple single hidden-layer feed-forward neural networks. A team of such learning automata is used to learn the weight parameters of the network. Simulations are carried out which employ the new algorithm and two populationbased optimization algorithms， particle swarm optimization （PSO） and differential evolution （DE）， respectively， on the generalized XOR problem and the Iris dataset. The simulation results indicate that the new algorithm can obtain better noise-tolerant learning performance compared with the PSO and DE.

Key Words： pattern classification； class noise； noise-tolerant learning； learning automata； continuous-action learning automata