王學剛,王玉峰

(南京郵電大學 通信與信息工程學院,江蘇 南京 210003)

0 引 言

最近,基于監(jiān)督學習的深度神經(jīng)網(wǎng)絡在諸多領(lǐng)域取得了巨大的成功[1],但是帶噪聲標簽的訓練樣本,對其性能產(chǎn)生很大影響[2-4]。噪聲標簽在數(shù)據(jù)收集和標注過程中是自然存在的。雇傭?qū)I(yè)人員來標注數(shù)據(jù)其成本非常高,因此實際中更多采用的做法是使用眾包平臺來完成標注工作[5],如此雖降低了成本,但標注質(zhì)量通常較差[6-7];另外在一些特殊領(lǐng)域(如醫(yī)學成像),其數(shù)據(jù)標注工作非常復雜,即使專家標注也可能因為標注者的主觀性或缺乏經(jīng)驗而產(chǎn)生噪聲標簽[8]。

對噪聲標簽對網(wǎng)絡的消極影響問題,目前的解決方案包括建模標簽轉(zhuǎn)移模型和清除帶噪數(shù)據(jù)等,其在相應的實驗仿真中都展現(xiàn)出了一定的抗噪聲性能,同時也暴露出了一定的局限性?；诮撕炥D(zhuǎn)移模型的方法往往通過增加額外網(wǎng)絡層來建模標簽轉(zhuǎn)移關(guān)系或利用標簽轉(zhuǎn)移矩陣來矯正損失函數(shù),該類方法依賴于對標簽轉(zhuǎn)移關(guān)系的準確建?；驑撕炥D(zhuǎn)移矩陣的高精度估計,該工作通常存在一定的挑戰(zhàn);其次,基于清除帶噪數(shù)據(jù)的方法是將帶噪數(shù)據(jù)進行剔除或給予較小的權(quán)重,然而這樣的操作不但減小了數(shù)據(jù)集的規(guī)模,并且可能忽略掉一些重要數(shù)據(jù)、破壞數(shù)據(jù)集的完整性。

針對已有方法存在的問題,該文提出了一種基于多輪修正對抗噪聲標簽的神經(jīng)網(wǎng)絡分類框架MCNN。具體而言,貢獻主要在以下3個方面:

首先,提出了一種估計數(shù)據(jù)集標簽轉(zhuǎn)移矩陣和噪聲率的方法。與之前的工作相比,該方法不需要引入額外的人工標注成本。

其次,根據(jù)“小損失”準則提出了一種篩選帶噪數(shù)據(jù)的方法,同時還提出了一種有效的方法來修正噪聲標簽。與之前的工作相比,提出的篩選帶噪數(shù)據(jù)方法不依賴于特定的系統(tǒng)或網(wǎng)絡,同時對篩選出的噪聲標簽進行修正,保留了數(shù)據(jù)集的完整性。

最后,在多個真實數(shù)據(jù)集上對所提出的MCNN進行了訓練測試,表明MCNN能夠有效地對抗噪聲標簽,提升模型的分類性能。

1 相關(guān)工作

近年來,緩解噪聲標簽對神經(jīng)網(wǎng)絡影響的方法有很多。Reed等[9]提出了一種樣本重標注的方法Bootstrapping,使用神經(jīng)網(wǎng)絡預測值和原始標簽的線性組合對全體樣本進行重標注,然后進行反向傳播訓練網(wǎng)絡,缺點在于在大噪聲率情況下效果不佳。余等[10]也提出了一種基于重標注樣本來對抗噪聲標簽的方法,然而局限性在于其主要適用于“二元分類”任務。

Jindal等[11]采用增加“噪聲適應層”來構(gòu)建標簽轉(zhuǎn)移模型。通過在基本網(wǎng)絡的softmax層后面增加一個K*K維的線性約束層來建模標簽轉(zhuǎn)移模型,并使用正則化來懲罰線性約束層的跡以使線性約束層逼近于實際標簽轉(zhuǎn)移模型,然而該方法的缺點是對數(shù)據(jù)的噪聲類型有一定限制。

與在基本網(wǎng)絡后附加“噪聲適應層”的方案不同,文獻[12-14]將建模標簽轉(zhuǎn)移模型和訓練分類器解耦,代表性的工作有:Patrini等[12]提出了“前向糾正”法F-correction來矯正損失函數(shù)。首先,利用估計的標簽轉(zhuǎn)移矩陣與數(shù)據(jù)樣本的網(wǎng)絡預測值做矩陣乘積,然后,將所得結(jié)果與標簽值計算交叉熵損失以此達到矯正損失的目的,但估計標簽轉(zhuǎn)移矩陣通常存在誤差,數(shù)據(jù)量較大時存在誤差累積問題。

Malach等[15]在觀察利用帶噪聲標簽數(shù)據(jù)訓練網(wǎng)絡時發(fā)現(xiàn),在整個訓練過程中網(wǎng)絡傾向于在擬合帶噪聲標簽的數(shù)據(jù)之前先擬合帶正確標簽的數(shù)據(jù),因此在網(wǎng)絡的整個訓練過程中平均損失較大的數(shù)據(jù)更大概率是帶噪聲標簽的數(shù)據(jù),該訓練特性稱作“小損失”原則。

之后利用“小損失”原則產(chǎn)生了一系列對抗噪聲標簽的方法[16-18],代表性的工作有:Han等[16]提出了一種名為Co-teacher的聯(lián)合學習方法,該方法同時訓練兩個不同的網(wǎng)絡,兩個網(wǎng)絡都基于本網(wǎng)絡中樣本的損失值移除可能的帶噪聲標簽數(shù)據(jù),然后將去噪后的數(shù)據(jù)傳給另一個網(wǎng)絡做下一次迭代更新,然而該方法在訓練后期存在網(wǎng)絡“靠攏”問題,另外將含噪數(shù)據(jù)移除有可能意外地去除一些有用樣本,同時假設數(shù)據(jù)集的噪聲率是已知的不符合真實的任務場景。

2 MCNN框架和組成部分

2.1 MCNN基本模型結(jié)構(gòu)

如圖1所示,MCNN網(wǎng)絡框架在每輪修正中包括4個步驟:估計標簽轉(zhuǎn)移矩陣、估計數(shù)據(jù)集的噪聲率、篩選可能的帶噪數(shù)據(jù)和自適應修正帶噪數(shù)據(jù)中的標簽。注意,在每一輪修正中,MCNN都更新所訓練的DNN網(wǎng)絡以及所使用的數(shù)據(jù)集。

圖1 MCNN基本結(jié)構(gòu)

下面詳細描述了MCNN的各個主要組成部分。

2.2 估計標簽轉(zhuǎn)移矩陣

標簽i的“錨點樣本”xi本質(zhì)上為該標簽的“完美樣本”,即神經(jīng)網(wǎng)絡對“錨點樣本”xi的輸出預測值滿足如下條件:

p(y=i|xi)→1,xi∈X,X∈D

p(y=j|xi)→0,i≠j

其中,D={X,Y}代表訓練數(shù)據(jù)集,X代表數(shù)據(jù)集中的全體樣本。因此,該文將數(shù)據(jù)集所有樣本中最大概率標注為某類標簽的樣本近似看作該類標簽的“錨點樣本”,即:

在獲取到各類標簽的“錨點樣本”后,標簽轉(zhuǎn)移概率可估計如下:

相應的標簽轉(zhuǎn)移矩陣估計如下:

在MCNN的多輪修正過程中,每一輪都估計當前訓練數(shù)據(jù)集Dt的標簽轉(zhuǎn)移矩陣Pt,其中t表示當前訓練的輪數(shù)。

2.3 計算加權(quán)平均噪聲率

帶數(shù)據(jù)集的噪聲率在諸多任務場景中通常是未知量,然而清除帶噪數(shù)據(jù)需要噪聲率作為指標?，F(xiàn)有的方案[18]中利用專業(yè)人員標注小批量數(shù)據(jù)并進行專家比對計算噪聲率。進而根據(jù)小批量數(shù)據(jù)的噪聲率估計整體數(shù)據(jù)集的噪聲率,估計的質(zhì)量取決于小批量數(shù)據(jù)的抽樣和選擇方法,且專業(yè)人員的引入增加了任務的額外代價。

B=A×P

rw=W?R

多輪修正過程中,針對第t輪的訓練數(shù)據(jù)集Dt,其加權(quán)平均噪聲率rw, t可利用其標簽轉(zhuǎn)移矩陣Pt求得。

2.4 篩選帶噪數(shù)據(jù)

“小損失”準則表明利用各數(shù)據(jù)在訓練過程中的損失值可以幫助篩選帶噪數(shù)據(jù)。依賴單一網(wǎng)絡的數(shù)據(jù)損失存在“意外記憶”問題。Han等[16]提出了一種雙網(wǎng)絡聯(lián)合學習的方法,然而該方法的缺點在于網(wǎng)絡結(jié)構(gòu)比較復雜。

在多輪修正的第t輪修正中,依據(jù)上述方法將本輪的訓練數(shù)據(jù)集Dt按照加權(quán)平均噪聲率rw, t劃分為帶正確標簽的數(shù)據(jù)集Dt,l和帶噪聲標簽的數(shù)據(jù)集Dt,n,其計算公式如下:

Dt,l=Dt*(1-rw, t)

Dt,n=Dt*rw,t

考慮到篩選存在的誤差,在Dt,n中包含的數(shù)據(jù)包括真實帶噪數(shù)據(jù)量St和意外篩選數(shù)據(jù)量Ut,且有:

Dt,n=St+Ut

此時,數(shù)據(jù)集中實際的帶正確標簽的數(shù)據(jù)量可記作Dt,r,有:

Dt,r=Dt,l+Ut

2.5 聯(lián)合修正噪聲標簽

基于清除帶噪數(shù)據(jù)的方法采取將帶噪聲標簽的數(shù)據(jù)從訓練數(shù)據(jù)集中清除或給予較小的權(quán)重[18],然而該操作有可能意外地去除或忽略一些有用樣本[6],從而影響網(wǎng)絡的最終性能。為此,結(jié)合標簽轉(zhuǎn)移矩陣和神經(jīng)網(wǎng)絡的輸出預測值,該文提出了一種針對噪聲標簽的聯(lián)合修正方法。

在大噪聲率下有:

在小噪聲率下有:

其中,a為超參數(shù),其值的選取依賴于數(shù)據(jù)集的噪聲類型。權(quán)重因子滿足在數(shù)據(jù)集的噪聲率較大時,使修正值主要依賴于標簽轉(zhuǎn)移矩陣修正值;在噪聲率較小時,使修正值主要依賴于網(wǎng)絡預測修正值。根據(jù)數(shù)據(jù)集的噪聲率變化自適應地調(diào)整兩個修正值的貢獻度以提高修正的準確性。

在多輪修正的第t輪修正中,利用上述方法對篩選出的帶噪聲標簽數(shù)據(jù)集Dt,n進行標簽修正,其中對于真實帶噪數(shù)據(jù)量St,若假設修正準確率為λt,則該輪正確修正的數(shù)據(jù)量為λt*St;同理針對意外篩選數(shù)據(jù)量Ut,若假設意外改錯率為μt,則意外糾錯數(shù)據(jù)量為μt*Ut。

因此,由上述可求得第t+1輪修正中的訓練數(shù)據(jù)集Dt+1中實際的帶正確標簽的數(shù)據(jù)量,記作Dt+1,r,其中:

Dt+1,r=Dt,r+λt*St-μt*Ut

且在標簽修正過程中正確修正的數(shù)據(jù)量通常遠大于意外糾錯數(shù)據(jù)量,即:λt*St>μt*Ut,所以有:

Dt+1,r>Dt,r

綜上所述,MCNN的修正算法能夠有效地逐輪增加訓練數(shù)據(jù)集中的帶正確標簽數(shù)據(jù)量,符合網(wǎng)絡設計預期。

2.6 多輪修正的截止條件

該文采取了多輪修正的策略,以盡可能地改善數(shù)據(jù)集的標簽質(zhì)量水平。多輪修正截止條件的設定可以有多種方法。

實驗發(fā)現(xiàn)當數(shù)據(jù)集的噪聲率低于10%時,繼續(xù)降低噪聲率,訓練的網(wǎng)絡性能無顯著提升。因此,將截止條件設置為:估計所得數(shù)據(jù)集的噪聲率低于10%時截止訓練。

需要明確指出的是:提出的MCNN是一種通用的基于多輪修正使用噪聲標簽數(shù)據(jù)進行分類的網(wǎng)絡架構(gòu),不依賴于所使用的多輪修正截止條件。

3 實 驗

3.1 數(shù)據(jù)集說明

為了驗證MCNN的性能,在多個數(shù)據(jù)集上進行了實驗,包括MNIST、FASHION_MNIST和CIFAR-10。

3.2 人工加噪

為了獲得相應的帶噪數(shù)據(jù),該文采取了三種廣泛使用的加噪方式對數(shù)據(jù)集進行人工加噪。

(1)對稱噪聲(Symmetric Noise)[8]:每一類標簽以相同概率轉(zhuǎn)換為其他可能的標簽。

(2)成對翻轉(zhuǎn)噪聲(Pair-flip Noise)[19]:將某一類標簽按照某個概率隨機替換為其他某一類標簽。

(3)模擬真實世界噪聲(Simulated Real-words Noise)[20]:考慮數(shù)據(jù)集的樣本特征選取其中最有可能混淆的類別并在它們之間進行替換。

注意在對稱噪聲(Symmetric Noise)中,每一類標簽以相同概率轉(zhuǎn)換為其他可能的標簽,轉(zhuǎn)換概率和為噪聲率;針對成對翻轉(zhuǎn)噪聲(Pair-flip Noise)和模擬真實噪聲(Simulated Real-world Noise),如果人工加噪率超過50%即噪聲標簽的數(shù)目超過正確標簽的數(shù)目,則網(wǎng)絡將無法學習到數(shù)據(jù)集的有效信息[16]。因此,針對不同的噪聲類型,該文選取了不同的噪聲率進行實驗,具體如表1所示。

表1 人工加噪過程中各類型噪聲的噪聲率

3.3 對比方案

在對比實驗中,將MCNN和多種最新的基于噪聲標簽訓練分類神經(jīng)網(wǎng)絡的方案進行了全面深入的對比。對比方案描述如下:

Direct-Training:直接利用帶噪數(shù)據(jù)集訓練神經(jīng)網(wǎng)絡,是最基本的對比標準,同時可以直觀地看到噪聲標簽對神經(jīng)網(wǎng)絡性能的影響。

Bootstrapping[9]:使用網(wǎng)絡的預測值和原始標簽的加權(quán)組合作為樣本的新標簽,然后進行反向傳播訓練網(wǎng)絡。

F-Correction[12]:估計帶噪數(shù)據(jù)集的標簽轉(zhuǎn)移矩陣,然后利用該矩陣修改基本分類網(wǎng)絡的輸出,之后利用修改后結(jié)果和噪聲標簽構(gòu)成的損失函數(shù)訓練分類器來達到抗噪聲標簽的效果。

Co-Teacher[16]:訓練兩個神經(jīng)網(wǎng)絡。每個網(wǎng)絡指導另一個網(wǎng)絡在訓練中篩除掉可能附有噪聲標簽的數(shù)據(jù),以減小噪聲標簽對網(wǎng)絡參數(shù)的影響。

在F-Correction中,該文利用估計所得的標簽轉(zhuǎn)移矩陣P修改分類網(wǎng)絡的輸出預測值,具體地:

其只利用矩陣元素的相對大小而不做矩陣乘法,誤差容限較大,所以具有一定的優(yōu)越性。

在Co-Teacher方案中,將原始訓練數(shù)據(jù)集Dt中的帶噪聲標簽數(shù)據(jù)Dt,n依據(jù)“小損失”準則篩選出來并去除,并利用剩余的帶正確標簽的數(shù)據(jù)集Dt,l訓練網(wǎng)絡,其缺點在于將Dt,n去除的做法嚴重削減了樣本數(shù)量,在大噪聲率條件下表現(xiàn)較差。該文提出的網(wǎng)絡框架則是將帶噪聲標簽數(shù)據(jù)Dt,n逐輪修正,有效地擴大了帶正確標簽的數(shù)據(jù)集Dt,l,因此在大噪聲率條件下具有一定的優(yōu)勢。

綜上所述,提出的MCNN網(wǎng)絡框架較現(xiàn)有的方法具有一定的優(yōu)勢。

3.4 實驗設置

(1)針對不同的數(shù)據(jù)集,選取了不同神經(jīng)網(wǎng)絡模型進行訓練,具體信息如表2所示。

表2 數(shù)據(jù)集訓練所用分類網(wǎng)絡

(2)關(guān)于篩選帶噪數(shù)據(jù)步驟中周期性改變網(wǎng)絡的學習率參數(shù)的相關(guān)設置:循環(huán)訓練可解決網(wǎng)絡的“意外記憶”問題,然而循環(huán)次數(shù)過多會增加訓練時長,平衡之下選取循環(huán)次數(shù)為3。

(3)關(guān)于修正策略的權(quán)重因子中參數(shù)的選取,其依賴于數(shù)據(jù)集的噪聲類型。鑒于在相同噪聲率條件下,在對稱噪聲的數(shù)據(jù)集上訓練的網(wǎng)絡具有較好的分類性能,而利用帶有成對翻轉(zhuǎn)噪聲和模擬真實噪聲的數(shù)據(jù)集訓練的網(wǎng)絡分類性能則較差,因此在對抗對稱噪聲時a選取2;在成對翻轉(zhuǎn)噪聲和模擬真實噪聲時a選取0.7。

3.5 性能比較指標

從分類精度上將提出的方案和各種對比方案進行了比較和評估。模型在測試集上的分類精度定義為:

表3給出了各種方案在MNIST、FASHION-MNIST和CIFAR-10的測試集上的分類精度比較,其中S代表對稱噪聲,P代表成對翻轉(zhuǎn)噪聲,S-R代表模擬真實噪聲,相應的數(shù)字代表人工加噪的噪聲率。

表3 各種方案在MNIST、FASHION-MNIST和CIFAR-10的測試集上的分類精度比較 %

3.6 實驗結(jié)果與分析

從表3中可以得出如下結(jié)論:

(1)MCNN在多種不同的噪聲類型和DNN網(wǎng)絡結(jié)構(gòu)下都取得了最好的分類性能,充分說明了該方案的優(yōu)越性和健壯性。

(2)由表3可以看出,Bootstrapping[9]在小噪聲率情況下如S-0.5和P-0.2表現(xiàn)良好,而在大噪聲率情況如S-0.7和P-0.45則表現(xiàn)較差,原因在于在大噪聲率下,網(wǎng)絡的預測值可信度較低,Bootstrapping將其與噪聲標簽相組合不僅無法改善標簽質(zhì)量,甚至還可能污染原本正確的標簽。提出的MCNN只對篩選出的錯誤標簽進行處理,有效避免了污染正確標簽的問題,因此最終的模型性能優(yōu)于前者,針對各類數(shù)據(jù)集在S-0.7和P-0.45上,MCNN最終的模型在分類精度上有超過20%的提升。

(3)相比于F-Correction[12],前者利用標簽轉(zhuǎn)移矩陣與數(shù)據(jù)樣本的網(wǎng)絡預測值做矩陣乘積,然而標簽轉(zhuǎn)移矩陣在估計時通常存在誤差,在數(shù)據(jù)集數(shù)據(jù)量較大時,存在誤差積累。該文提出的MCNN只單次利用標簽轉(zhuǎn)移矩陣推測加權(quán)平均噪聲率誤差累積較小;同時,在標簽修正階段,該文只利用矩陣元素的相對大小來提供一個噪聲標簽修正值而不做矩陣乘法,誤差容限較大。因此,最終訓練的模型在各類型噪聲下分類精度都有一定的提升。

(4)Co-Teacher[16]通過清潔數(shù)據(jù)集來對抗噪聲標簽,在小噪聲率條件下,Co-Teacher和MCNN大體上性能相同,都實現(xiàn)了較好的抗噪聲性能,例如在MNIST和FASHION-MNIST上針對S-0.5都達到了超過90%的分類精度。而在大噪聲率條件下,MCNN的性能優(yōu)于Co-Teacher,原因在于Co-Teacher采用將帶噪數(shù)據(jù)清除,在大噪聲率條件下嚴重削減了樣本數(shù)量,而MCNN則采取將噪聲數(shù)據(jù)修正減少了數(shù)據(jù)量的損失,因此在大噪聲率下模型的性能優(yōu)于前者,例如在CIFAR-10數(shù)據(jù)集上針對S-0.7在分類精度上有接近7%的提升。

3.7 MCNN的可行性分析

提出的MCNN能夠改善數(shù)據(jù)集質(zhì)量的因素主要在于兩點:錯誤標簽篩選和多輪修正。關(guān)鍵之處在于以下兩個方面:

(1)MCNN能夠?qū)崿F(xiàn)對數(shù)據(jù)集標簽轉(zhuǎn)移矩陣的準確估計,同時可以精確地估計數(shù)據(jù)集的噪聲率用以為篩選帶噪數(shù)據(jù)提供基準。

(2)MCNN能夠?qū)崿F(xiàn)對帶噪數(shù)據(jù)的準確篩選即具有較高的帶噪數(shù)據(jù)篩選精度,并且提出的修正方法可以實現(xiàn)對標簽的“正向修正”。

3.7.1 仿真結(jié)果

選取MCNN在MNIST數(shù)據(jù)上針對模擬真實噪聲(S-R)的實驗結(jié)果詳細闡述MCNN的可行性。為此,采用如下5個MCNN運行過程中的中間性能量度來定量展示MCNN提升數(shù)據(jù)集質(zhì)量的兩個關(guān)鍵方面。

(1)標簽轉(zhuǎn)移矩陣估計誤差。定義如下:

(2)噪聲率估計誤差。定義如下:

‖噪聲率實際值-加權(quán)平均噪聲率‖1

(3)帶噪數(shù)據(jù)篩選精度。定義如下:

(4)修正準確率。定義如下:

(5)意外改錯率。定義如下:

圖2和圖3給出了在MNIST數(shù)據(jù)集上,MCNN在對抗模擬真實噪聲(S-R)時的實驗情況,經(jīng)過兩輪修正(第三輪截止訓練)數(shù)據(jù)集噪聲率下降至設定閾值。

圖2 MCNN對抗S-R時標簽轉(zhuǎn)移矩陣和噪聲率的估計誤差

圖3 MCNN對抗S-R時的帶噪數(shù)據(jù)篩選精度、修正準確率和意外改錯率

3.7.2 標簽轉(zhuǎn)移矩陣和噪聲率的估計情況

圖2中結(jié)果表明,MCNN能夠?qū)崿F(xiàn)對數(shù)據(jù)集標簽轉(zhuǎn)移矩陣的準確估計,在兩輪修正過程中標簽轉(zhuǎn)移矩陣的估計誤差波動在2.24%～3.32%之間。同樣地,MCNN提出的加權(quán)平均噪聲率可以較準確地估計數(shù)據(jù)集的噪聲率,由圖2可以看出在3輪訓練過程中估計誤差波動在1.20%～1.91%之間。

3.7.3 篩選帶噪數(shù)據(jù)和修正情況

MCNN在處理模擬真實噪聲(S-R)時的篩選帶噪數(shù)據(jù)和標簽修正情況如圖3所示。由圖中數(shù)據(jù)可得:在篩選帶噪數(shù)據(jù)上MCNN表現(xiàn)良好,帶噪數(shù)據(jù)篩選精度波動在81.64%左右;在噪聲標簽修正方面,可以看出MCNN雖無法實現(xiàn)對篩選出的全部的噪聲標簽進行正確修正,但是在兩次修正過程中修正準確率均遠大于意外改錯率,即MCNN在各輪訓練上均可實現(xiàn)對標簽的“正向修正”。

綜上所述,提出的網(wǎng)絡框架MCNN能夠?qū)崿F(xiàn)數(shù)據(jù)集質(zhì)量提升的兩個關(guān)鍵方面,因此在經(jīng)過多輪修正后數(shù)據(jù)集質(zhì)量水平可達到預期目標,訓練所得分類網(wǎng)絡能夠?qū)崿F(xiàn)較理想的分類性能。

4 結(jié)束語

提出了一種通用的基于多輪修正的抗噪聲標簽神經(jīng)網(wǎng)絡框架MCNN,以解決分類任務中噪聲標簽對網(wǎng)絡性能的影響。MCNN首先基于神經(jīng)網(wǎng)絡的學習特性將帶噪聲標簽數(shù)據(jù)按噪聲率比例篩選出來,之后利用修正方案修正噪聲標簽逐輪提高數(shù)據(jù)集質(zhì)量,最后利用高質(zhì)量的數(shù)據(jù)集訓練網(wǎng)絡。在多個真實數(shù)據(jù)集和多種噪聲類型下與其他基準方案進行了比較,結(jié)果表明提出的MCNN有較好的抗噪聲標簽能力。利用多輪修正的方法對數(shù)據(jù)集中的噪聲標簽進行盡可能的修正,然而對于篩選出的帶噪數(shù)據(jù)可能不必要全部進行修正,轉(zhuǎn)而利用選擇策略[21]選取其中對網(wǎng)絡參數(shù)有顯著影響的樣本進行修正,則可優(yōu)化多輪修正的輪數(shù)和代價。之后的工作將是發(fā)掘、設計一些可行的選擇策略來選取數(shù)據(jù),這是文中工作的一個后續(xù)展望。