王丹丹 湯 健 夏 恒 喬俊飛

本文采用符號(hào)的含義見表1.

表1 本文采用符號(hào)的含義Table 1 The meaning of the symbols used in this article

實(shí)現(xiàn)復(fù)雜工業(yè)過程的智能控制和綠色生產(chǎn)需要對(duì)產(chǎn)品質(zhì)量、能耗物耗、污染排放等難測(cè)參數(shù)(如城市固廢焚燒(Municipal solid waste incineration,MSWI) 過程中的有機(jī)污染物二噁英(Dioxin,DXN)的排放濃度[1]等)進(jìn)行實(shí)時(shí)檢測(cè)[2].MSWI 是目前世界范圍內(nèi)應(yīng)用最為廣泛的城市固廢無害化、減量化和資源化處理手段[3-4]以及國(guó)家“十四五”規(guī)劃鼓勵(lì)推行技術(shù),該過程中被嚴(yán)格限制排放的DXN被稱作“世紀(jì)之毒”[5].以實(shí)時(shí)、準(zhǔn)確、低成本方式實(shí)現(xiàn)DXN 的檢測(cè)是降低其排放控制的關(guān)鍵技術(shù)之一,也是目前業(yè)界亟待解決的難題[6].因工業(yè)過程長(zhǎng)期在穩(wěn)態(tài)模式下運(yùn)行,這使得現(xiàn)場(chǎng)采集的數(shù)據(jù)所對(duì)應(yīng)的工況極為相似,通過實(shí)驗(yàn)設(shè)計(jì)方式或突發(fā)工況情景獲取非穩(wěn)態(tài)模式過程數(shù)據(jù)、異常數(shù)據(jù)甚至故障數(shù)據(jù)的風(fēng)險(xiǎn)很高或不被允許,進(jìn)而導(dǎo)致有效建模樣本數(shù)據(jù)稀少且分布不均衡[7-8].另外,諸如選礦磨礦[9]、柔性制造[10]和化工生產(chǎn)[11]等工業(yè)過程,由于實(shí)時(shí)進(jìn)行難測(cè)參數(shù)真值檢測(cè)的技術(shù)難度大、離線化驗(yàn)的時(shí)間與經(jīng)濟(jì)成本高等原因,使得工業(yè)過程難測(cè)參數(shù)建模面臨著“大數(shù)據(jù)、小樣本”問題[12].目前,通過虛擬樣本生成(Virtual sample generation,VSG)技術(shù)擴(kuò)充建模樣本數(shù)量已成為解決上述小樣本問題的有效手段之一,也是目前學(xué)術(shù)界的研究的難點(diǎn)和熱點(diǎn)[9].

由模式識(shí)別領(lǐng)域首次提出的VSG 技術(shù)通過擴(kuò)增原始建模樣本的方法,解決面向分類的小樣本問題[13],其本質(zhì)是通過擷取小樣本間的缺失信息生成適當(dāng)數(shù)量的虛擬樣本[14],Niyogi 等[15]從數(shù)學(xué)上證明了VSG 等效于正則化策略.目前,VSG 技術(shù)已被成功地應(yīng)用于癌癥識(shí)別[16]、可靠性分析[17]、機(jī)械振動(dòng)信號(hào)建模[9]等領(lǐng)域,其在圖像識(shí)別領(lǐng)域的應(yīng)用尤為廣泛[18-21].主要策略是結(jié)合先驗(yàn)知識(shí),通過幾何變換等操作生成虛擬圖像.針對(duì)復(fù)雜工業(yè)過程,只有具有長(zhǎng)期運(yùn)行經(jīng)驗(yàn)的領(lǐng)域?qū)＜也拍艹橄蟪雒鞔_的先驗(yàn)知識(shí),但也存在一定的主觀性和隨意性.針對(duì)先驗(yàn)知識(shí)無法獲取或提取難度大的問題,VSG 的研究開始聚焦于如何從已知樣本中汲取知識(shí)以生成虛擬樣本.Li 等[22]為解決制造系統(tǒng)早期樣本較少問題,提出基于區(qū)間核密度估計(jì)的VSG,核心是根據(jù)小樣本數(shù)據(jù)估計(jì)總體分布后再生成虛擬樣本.進(jìn)一步,Li等[23]和Lin 等[24]分別提出了基于雙參數(shù)威布爾分布估計(jì)和多模態(tài)分布估計(jì)的VSG.針對(duì)上述研究存在小樣本分布不均衡情況下估計(jì)偏差較大的問題,Li 等[16]提出基于模糊理論信息擴(kuò)散準(zhǔn)則的整體趨勢(shì)擴(kuò)散(Mega-trend-diffusion,MTD)技術(shù),本質(zhì)是通過數(shù)據(jù)分布趨勢(shì)擴(kuò)展樣本空間,并在擴(kuò)展域內(nèi)生成虛擬樣本.上述VSG 研究主要面向分類問題,特點(diǎn)在于僅需要為不同類別生成虛擬樣本的輸入即可;相對(duì)于本文所面對(duì)的回歸建模問題,還需要考慮如何為合理的虛擬樣本輸入生成精準(zhǔn)的虛擬輸出.因此,面向回歸的VSG 的研究難度較大,這也是相關(guān)文獻(xiàn)較少的原因之一.

為使得虛擬樣本輸入能夠均衡地填補(bǔ)真實(shí)小樣本間的信息間隙,Zhu 等[11]先利用距離準(zhǔn)則識(shí)別信息空隙區(qū)域,再進(jìn)行Kriging 插值;Zhang 等[25]先采用流形學(xué)習(xí)Isomap 識(shí)別樣本稀疏區(qū)域,再進(jìn)行插值;Chen 等[26]先采用查詢策略獲取稀疏區(qū)域,再進(jìn)行插值.進(jìn)一步,同時(shí)考慮虛擬樣本的輸入和輸出,Li 等[27]先基于樹的趨勢(shì)擴(kuò)散技術(shù)進(jìn)行區(qū)域擴(kuò)展后,再依據(jù)啟發(fā)式機(jī)制同時(shí)生成輸入與輸出;Zhu等[28]先依據(jù)多分布趨勢(shì)擴(kuò)散技術(shù)生成虛擬樣本輸入,再通過小樣本映射模型生成輸出;He 等[29]和朱寶等[30]基于神經(jīng)網(wǎng)絡(luò)模型隱含層插值和縮放方式,同時(shí)生成非線性輸入與輸出;Qiao 等[31]結(jié)合改進(jìn)MTD 技術(shù)與隱含層插值生成輸入與輸出.此外,針對(duì)物理含義清晰的工業(yè)過程實(shí)驗(yàn)數(shù)據(jù),Tang 等[32]通過線性插值生成虛擬樣本輸入后,再依據(jù)多個(gè)映射模型融合生成相應(yīng)輸出.針對(duì)虛擬樣本輸入輸出難以有效獲得的問題,Li 等[33]先通過MTD 進(jìn)行域擴(kuò)展再采用遺傳算法(Genetic algorithm,GA)生成優(yōu)化虛擬樣本,Chen 等[34]采用粒子群優(yōu)化(Particle swarm optimization,PSO)算法生成虛擬樣本.上述算法的優(yōu)點(diǎn)是同時(shí)考慮了數(shù)據(jù)屬性間的相互影響,但未予考慮所虛擬樣本間的多樣性和映射模型超參數(shù)對(duì)虛擬樣本的影響.

總之,為生成更為合理的虛擬樣本,已經(jīng)存在諸多VSG 方法.考慮到虛擬樣本與實(shí)際數(shù)據(jù)間存在的偏差,這些不同方法所生成的虛擬樣本間也必然存在著冗余性與互補(bǔ)性.對(duì)此,湯健等[35]提出面向已經(jīng)生成的虛擬樣本的優(yōu)化選擇策略,雖然采用的用于獲取虛擬樣本輸出的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)(Random weight neural network,RWNN)映射模型具有結(jié)構(gòu)簡(jiǎn)單、計(jì)算復(fù)雜度低、能夠進(jìn)行隱含層插值等特點(diǎn),但其固有的隨機(jī)性使得所生成的虛擬樣本輸出精度難以保證.隨機(jī)森林(Random forest,RF)對(duì)于多數(shù)數(shù)據(jù)集均具有良好的表現(xiàn),能夠處理具有離散、連續(xù)、高維等特性的數(shù)據(jù)[36].顯然,RF 作為生成虛擬樣本輸出的映射模型可以提高虛擬樣本的質(zhì)量.此外,由于映射模型的超參數(shù)取值影響虛擬樣本的質(zhì)量,因此在生成虛擬樣本的過程中,對(duì)強(qiáng)關(guān)聯(lián)性的超參數(shù)進(jìn)行優(yōu)化也是提高VSG 的一個(gè)改進(jìn)方向.顯然,對(duì)映射模型的超參數(shù)和虛擬樣本的選擇進(jìn)行同時(shí)優(yōu)化屬于連續(xù)變量和離散變量的混合優(yōu)化問題,這不僅需要確保超參數(shù)的優(yōu)化過程不會(huì)提前收斂至局部最優(yōu),也需要在進(jìn)行大量虛擬樣本優(yōu)化選擇時(shí),具有較好的收斂速度.研究表明,綜合學(xué)習(xí)粒子群優(yōu)化 (Comprehensive learning particle swarm optimization,CLPSO)算法依據(jù)所有其他粒子的歷史最佳信息進(jìn)行粒子更新,能夠保持種群多樣性且防止過早收斂[37].此外,筆者認(rèn)為,篩除冗余虛擬樣本的關(guān)鍵在于如何對(duì)虛擬樣本進(jìn)行合理評(píng)價(jià),但目前對(duì)該問題的研究還不夠深入.另外,由于虛擬樣本引入的預(yù)測(cè)誤差存在積累效應(yīng),這使得虛擬樣本的數(shù)量會(huì)影響建模性能;但是,以往研究主要通過實(shí)驗(yàn)確定虛擬樣本最佳數(shù)量[38].林越等[39]基于信息熵理論推導(dǎo)得到虛擬樣本的最佳數(shù)量,但是實(shí)際上虛擬樣本的最佳數(shù)量往往與建模數(shù)據(jù)質(zhì)量具有較大的相關(guān)性.顯然,有必要通過多目標(biāo)優(yōu)化策略實(shí)現(xiàn)對(duì)虛擬樣本數(shù)量和質(zhì)量的綜合均衡.

綜上所述,面向工業(yè)過程回歸建模的VSG 研究存在以下難點(diǎn): 1)針對(duì)原始小樣本的分布稀疏與不均衡特性,如何基于原始小樣本探究實(shí)際數(shù)據(jù)的分布空間,均衡地生成虛擬樣本輸入;2)如何通過映射模型為虛擬輸入生成合理的虛擬輸出,獲得大量高質(zhì)量具有冗余與互補(bǔ)特性的虛擬樣本;3)如何篩選出有效的高質(zhì)量虛擬樣本并確定其最佳數(shù)量;4)如何對(duì)虛擬樣本進(jìn)行量化評(píng)價(jià)以支撐其篩選策略.

針對(duì)上述亟待解決的難點(diǎn),結(jié)合筆者已有研究成果,本文提出一種基于多目標(biāo)PSO 混合優(yōu)化的虛擬樣本生成策略,用于優(yōu)化虛擬樣本的生成與選擇過程,包括面向混合優(yōu)化的粒子設(shè)計(jì)、面向VSG的適應(yīng)度函數(shù)設(shè)計(jì)和面向VSG 的多目標(biāo)混合優(yōu)化.本文首次提出將VSG 問題描述為多目標(biāo)混合優(yōu)化任務(wù),并首次采用度量學(xué)習(xí)的指標(biāo)對(duì)虛擬樣本的質(zhì)量進(jìn)行評(píng)價(jià).通過基準(zhǔn)數(shù)據(jù)集和實(shí)際工業(yè)數(shù)據(jù)集實(shí)驗(yàn),驗(yàn)證了本文VSG 方法的合理性和有效性.

1 相關(guān)知識(shí)

1.1 小樣本數(shù)據(jù)回歸建模

對(duì)工業(yè)過程難測(cè)參數(shù)進(jìn)行軟測(cè)量建模(即通過機(jī)器學(xué)習(xí)方法構(gòu)建易測(cè)過程變量與難測(cè)參數(shù)間的映射模型)是目前業(yè)界的常用檢測(cè)手段[40].例如在MSWI 過程中,DXN 排放濃度通常采用離線直接檢測(cè)法和在線間接檢測(cè)法,但以上2 種方法均存在價(jià)格昂貴、時(shí)間滯后等局限性,難以支撐以降低污染排放濃度為目標(biāo)的實(shí)時(shí)運(yùn)行優(yōu)化[1].構(gòu)建基于MSWI過程易測(cè)變量的DXN 排放濃度軟測(cè)量模型,雖然能夠克服以上問題,但DXN 排放濃度的有標(biāo)記真值樣本(真輸入-真輸出)具有高維、稀缺的特性[41].綜上所述,對(duì)工業(yè)過程難測(cè)參數(shù)進(jìn)行建模,往往需要在解決建模樣本維度高、數(shù)量少、分布稀疏與不平衡等問題后,才能構(gòu)建得到具有高精度、強(qiáng)魯棒性能的軟測(cè)量模型.

理論上,數(shù)據(jù)驅(qū)動(dòng)建模通常用于建模樣本足夠豐富且真值獲取成本相對(duì)較低的場(chǎng)景[42].統(tǒng)計(jì)學(xué)科認(rèn)為,建模樣本數(shù)量應(yīng)該大于等于輸入特征維數(shù)或大于等于30[43].眾多研究學(xué)者指出,小樣本是指有效樣本數(shù)量少于30 (或50)或樣本數(shù)量少于輸入特征維數(shù)的k倍(k取2、5、10)[9,44-46].可見,小樣本問題不能簡(jiǎn)單理解為樣本絕對(duì)數(shù)量較少,而是與輸入特征維數(shù)有關(guān)的相對(duì)概念,其本質(zhì)是樣本中所包含的建模所需特征信息不足.另外,小樣本數(shù)據(jù)也存在分布稀疏與不平衡等特性[47].因此,基于小樣本構(gòu)建的軟測(cè)量模型往往具有片面性和偏差性,難以實(shí)現(xiàn)難測(cè)參數(shù)的有效預(yù)測(cè).目前,已有多種機(jī)器學(xué)習(xí)方法用于改善小樣本數(shù)據(jù)的建模性能,包括支持向量機(jī)[47-48]、灰色模型[49]、核回歸[50]和貝葉斯網(wǎng)絡(luò)[51-52]等.在樣本數(shù)量稀缺及分布不平衡的情況下,上述算法也難以進(jìn)一步提高軟測(cè)量模型的預(yù)測(cè)精度.因此,需要從新的視角解決工業(yè)小樣本數(shù)據(jù)的回歸建模問題.

1.2 虛擬樣本生成

1.2.1 虛擬樣本定義

1992年,Poggio 等[13]首次提出VSG 方法用于人臉識(shí)別問題.進(jìn)一步,文獻(xiàn)[53]給出虛擬樣本定義如下.

定義1.對(duì)于給定的訓(xùn)練樣本 (x,y),通過變換T得到的樣本 (Tx,yT(x)) 也是合理樣本,那么新得到的樣本 (Tx,yT(x)) 就是通過變換T生成的虛擬樣本:

式中,變換 (T,yT(·)) 即為領(lǐng)域先驗(yàn)知識(shí)Know.通常,先驗(yàn)知識(shí)包括: 1)直接從問題中提取物理含義明確的知識(shí);2)從小樣本中獲取先驗(yàn)知識(shí);3)在學(xué)習(xí)算法中嵌入先驗(yàn)知識(shí)等.

1.2.2 虛擬樣本內(nèi)涵

VSG 的本質(zhì)是依據(jù)小樣本數(shù)據(jù)生成盡可能符合真實(shí)數(shù)據(jù)分布的虛擬樣本.虛擬樣本與真實(shí)樣本間的關(guān)系如圖1 所示.圖1 展示了虛擬樣本、真實(shí)樣本、小樣本空間、虛擬樣本空間、實(shí)際數(shù)據(jù)空間之間的關(guān)系.

圖1 虛擬樣本與真實(shí)樣本間的關(guān)系Fig.1 Relationship between virtual samples and real samples

由圖1 可知,小樣本存在如下問題: 1)小樣本未能全面覆蓋實(shí)際數(shù)據(jù)空間,存在信息空白區(qū)域;2)小樣本間存在信息間隙;3)小樣本未能在實(shí)際數(shù)據(jù)空間中均勻分布.因此,小樣本空間只能片面反映實(shí)際數(shù)據(jù)空間.眾多學(xué)者研究VSG 的目標(biāo)是使虛擬樣本空間能盡可能地貼近實(shí)際數(shù)據(jù)空間.但無論采用哪種VSG,必然會(huì)生成某些不符合實(shí)際數(shù)據(jù)特征和分布的虛擬樣本(如圖1 下部所示的實(shí)際數(shù)據(jù)空間之外的虛擬樣本),其不僅不利于模型的訓(xùn)練,還會(huì)導(dǎo)致模型泛化性能變差.

顯然,針對(duì)虛擬樣本質(zhì)量的評(píng)判問題,需要提出更加合理的評(píng)價(jià)指標(biāo)和篩選機(jī)制.

1.2.3 回歸建模VSG

面向工業(yè)過程回歸建模的VSG 問題比分類領(lǐng)域的難度更大,如何生成虛擬樣本的輸入和輸出是主要焦點(diǎn).生成的虛擬樣本輸入應(yīng)具有的特征包括:1)能夠貼近實(shí)際數(shù)據(jù)分布;2)可填補(bǔ)小樣本的信息間隙或空白;3)可緩解小樣本分布的不均衡性.生成虛擬樣本輸出的方法是先構(gòu)建基于小樣本的映射模型再預(yù)測(cè)輸出,當(dāng)平均絕對(duì)百分比誤差不超過10%時(shí),可用于生成虛擬輸出.雖然通過調(diào)整模型參數(shù)可達(dá)到上述要求,但由于映射模型構(gòu)建方法固有的差異性,采用相同虛擬輸入映射得到的輸出在穩(wěn)定性和擴(kuò)展性上存在較大差異.為得到更為合理的虛擬樣本輸出,映射模型應(yīng)該具有較好的數(shù)據(jù)適應(yīng)性.另外,為消除所生成虛擬樣本間存在的冗余性,湯健等[35]采用PSO 算法對(duì)虛擬樣本進(jìn)行了優(yōu)化選擇.如何確定虛擬樣本數(shù)量和評(píng)價(jià)其質(zhì)量,還是開放問題.

綜上,有必要從同時(shí)優(yōu)化虛擬樣本質(zhì)量和模型泛化性能的視角求解VSG 問題.

1.3 多目標(biāo)粒子群優(yōu)化

1.3.1 多目標(biāo)優(yōu)化問題

通常,多目標(biāo)優(yōu)化問題(Multi-objective optimization problem,MOP)被轉(zhuǎn)化為最小化優(yōu)化問題進(jìn)行研究,其描述為:

式中,z=(z1,z2,···,zn) 為決策變量,? 表示可行搜索域,F(z):?→S是由m個(gè)實(shí)值函數(shù)組成的優(yōu)化目標(biāo),S表示目標(biāo)空間.

設(shè)a,b ∈? 為式(2)定義的MOP 的2 個(gè)可行解.當(dāng)且僅當(dāng)對(duì)于任意i ∈{1, 2,···,m},都有fi(a)≤fi(b) 且至少有一個(gè)j ∈{1, 2,···,m},使得fj(a)

求解多目標(biāo)優(yōu)化問題的常用進(jìn)化算法包括遺傳算法、差分進(jìn)化(Differential evolution,DE)算法和PSO 等.GA 算法通過選擇、交叉和變異等操作產(chǎn)生新解,適用于離散型的優(yōu)化問題,其運(yùn)行時(shí)間隨種群規(guī)模指數(shù)級(jí)增長(zhǎng).DE 算法隨機(jī)選擇3 個(gè)與自身不同的個(gè)體生成新個(gè)體,通過實(shí)數(shù)編碼對(duì)可行域進(jìn)行搜索,其超參數(shù)對(duì)算法性能影響較小,收斂性能好,但針對(duì)混合優(yōu)化DE 算法的研究很少.標(biāo)準(zhǔn)PSO 算法是模擬鳥群捕食行為的智能優(yōu)化算法,其原理是通過種群中個(gè)體間的相互協(xié)作和信息共享尋找最優(yōu)解,其粒子跟隨全局最優(yōu)與個(gè)體最優(yōu)位置進(jìn)行移動(dòng),雖然搜索空間連續(xù),但也可求解特征選擇等離散問題.標(biāo)準(zhǔn)PSO 算法容易陷入局部最優(yōu)解,且當(dāng)全局最優(yōu)與個(gè)體最優(yōu)矛盾時(shí)會(huì)造成算力的浪費(fèi).

1.3.2 綜合學(xué)習(xí)PSO 描述

相對(duì)于標(biāo)準(zhǔn)PSO 算法,CLPSO 算法對(duì)粒子速度的更新策略進(jìn)行了改進(jìn),提高算法的全局搜索能力,其粒子速度vp與位置zp的更新公式如下:

式中,winertia是影響粒子搜索步長(zhǎng)的慣性權(quán)重,c為學(xué)習(xí)因子,服從[0,1]間的均勻分布,為粒子p第n維的學(xué)習(xí)樣例.

由式(3)可知,粒子速度的更新不再受個(gè)體最優(yōu)與全局最優(yōu)的綜合影響,而是學(xué)習(xí)所有粒子的個(gè)體最優(yōu),其更新公式如下:

式中,dp=(,) 表示粒子p的個(gè)體最優(yōu).

CLPSO 為每個(gè)粒子均維持一個(gè)樣例池,粒子各個(gè)維度學(xué)習(xí)其相應(yīng)的樣例.顯然,該策略能夠保持種群多樣性,有效緩解標(biāo)準(zhǔn)PSO 提前收斂的問題.若粒子個(gè)體最優(yōu)迭代Nrefresh次后仍未能更新,則更新其學(xué)習(xí)樣例池.策略為: 設(shè)定粒子各維度學(xué)習(xí)樣例的更新概率為Pcp,更新時(shí),首先任意選擇種群中2 個(gè)粒子,然后對(duì)比2 個(gè)粒子的個(gè)體最優(yōu),競(jìng)爭(zhēng)選擇較好的個(gè)體最優(yōu)作為新學(xué)習(xí)樣例,可表示為:

為粒子p的學(xué)習(xí)概率,更新如下:

式中,rankp表示粒子個(gè)體最優(yōu)的適應(yīng)度排名,隨著粒子的排序rankp遞增,其學(xué)習(xí)概率隨之增大,即學(xué)習(xí)樣例的更新概率從5% 逐漸增大到50%.

2 基于MOPSO 混合優(yōu)化的VSG 策略

1)面向混合優(yōu)化的粒子設(shè)計(jì)

將決策變量分為參數(shù)決策和樣本選擇決策變量2 個(gè)部分,前者為指導(dǎo)候選虛擬樣本生成的連續(xù)變量,后者為篩選候選虛擬樣本的高維離散變量,通過粒子設(shè)計(jì)實(shí)現(xiàn)混合優(yōu)化的策略.

2)面向VSG 的適應(yīng)度函數(shù)設(shè)計(jì)

分為生成候選虛擬樣本、候選虛擬樣本選擇和虛擬樣本評(píng)價(jià)指標(biāo)計(jì)算共3 個(gè)階段計(jì)算適應(yīng)度,評(píng)價(jià)指標(biāo)包括虛擬樣本數(shù)量和混合樣本構(gòu)建模型在驗(yàn)證集上的預(yù)測(cè)性能.

3)面向VSG 的多目標(biāo)混合優(yōu)化

改進(jìn)CLPSO 算法,以適應(yīng)VSG 過程的變維度特性.在達(dá)到最大迭代次數(shù)和確定全局最優(yōu)后,獲得最優(yōu)虛擬樣本集.

3 基于MOPSO 混合優(yōu)化的VSG 實(shí)現(xiàn)

本文采用多目標(biāo)優(yōu)化的目的是,在確保虛擬樣本達(dá)到最優(yōu)建模效果的前提下,盡可能地減少其數(shù)量.相應(yīng)地,本文的優(yōu)化目標(biāo)可描述為:

式中,決策矢量z指導(dǎo)虛擬樣本的生成和篩選,fnum(z)表示篩選后虛擬樣本的數(shù)量,fmod(z) 表示篩選后由虛擬樣本與訓(xùn)練集混合后構(gòu)建的RF 模型性能指標(biāo).

3.1 面向混合優(yōu)化的粒子設(shè)計(jì)

3.2 面向VSG 的適應(yīng)度函數(shù)設(shè)計(jì)

適應(yīng)度函數(shù)的設(shè)計(jì)即根據(jù)粒子的位置zp計(jì)算式(8)所定義優(yōu)化目標(biāo)的過程.本文的目標(biāo)是對(duì)虛擬樣本的生成和選擇過程進(jìn)行混合優(yōu)化,即通過粒子位置zp指導(dǎo)虛擬樣本的生成和選擇,將虛擬樣本的數(shù)量和質(zhì)量同時(shí)作為粒子的適應(yīng)度.因此,本文面向VSG 的適應(yīng)度函數(shù)設(shè)計(jì)包含參數(shù)決策變量指導(dǎo)候選虛擬樣本生成、樣本選擇決策變量對(duì)候選虛擬樣本進(jìn)行選擇、虛擬樣本評(píng)價(jià)指標(biāo)計(jì)算3 個(gè)部分.

3.2.1 生成候選虛擬樣本

生成候選虛擬樣本的過程為: 首先,基于擴(kuò)展率γextend,對(duì)原始樣本空間進(jìn)行基于MTD 的擴(kuò)展,在原始域和擴(kuò)展域中,通過混合插值生成虛擬樣本輸入;然后,基于RF 建模參數(shù)LF和θleaf構(gòu)建RF映射模型,基于RWNN 建模參數(shù)I構(gòu)建RWNN 映射模型生成對(duì)應(yīng)虛擬樣本輸入的輸出值;最后,對(duì)生成的虛擬樣本進(jìn)行混合和刪減,以獲得候選虛擬樣本.

3.2.1.1 生成虛擬樣本輸入

基于擴(kuò)展率γextend,采用改進(jìn)MTD 分別對(duì)原始訓(xùn)練集Rtrain={Xtrain,ytrain}∈RN×L的輸入和輸出空間進(jìn)行擴(kuò)展.

1) 首先,對(duì)輸出域進(jìn)行擴(kuò)展.計(jì)算ytrain=的均值yave,并由此將ytrain分為大于均值的yhigh和小于均值的ylow兩部分后,再計(jì)算ytrain的最大值ymax和最小值ymin,作為擴(kuò)展空間;然后,分別計(jì)算yhigh的均值yH-ave和ylow的均值yL-ave;最后,計(jì)算獲得輸出擴(kuò)展域的上限yvsg-max和下限yvsg-min[35].以相同方式對(duì)樣本輸入空間進(jìn)行擴(kuò)展,獲得其擴(kuò)展上限xvsg-max和下限xvsg-min.

2)在樣本輸入擴(kuò)展空間中,進(jìn)行等間隔插值和隨機(jī)插值,以生成虛擬樣本輸入.

首先,分別在小樣本空間和擴(kuò)展空間進(jìn)行Nequal倍的等間隔插值[8],獲得等間隔插值虛擬樣本輸入,記為Xequal.

然后,在輸入擴(kuò)展空間進(jìn)行隨機(jī)插值,獲得隨機(jī)插值虛擬樣本輸入,記為Xrand:

式中,Nrand表示隨機(jī)插值倍數(shù),randL表示第n個(gè)樣本對(duì)應(yīng)的隨機(jī)值.

3)將等間隔插值與隨機(jī)插值獲得的虛擬樣本輸入混合,得到虛擬樣本輸入,記為Xvs-g={Xequal;Xrand}.

3.2.1.2 生成虛擬樣本輸出

為獲得豐富的虛擬樣本,本文采用2 個(gè)映射模型生成虛擬樣本的輸出,其中RF 和RWNN 映射模型分別可獲得穩(wěn)定性較高和隨機(jī)性較強(qiáng)的輸出.

重復(fù)上述過程,構(gòu)建得到K個(gè)決策樹.對(duì)上述全部決策樹進(jìn)行集成,得到最終映射模型,具體建模過程詳見算法1,其中θleaf表示葉節(jié)點(diǎn)包含樣本數(shù)量的閾值.

算法1.RF 算法偽代碼

最后,獲得虛擬樣本集,記為Rvs-g1={Xvs-g,yvs-g1}.

2) RWNN 映射模型的輸出

基于RWNN 隱含層神經(jīng)元個(gè)數(shù)I,使用原始訓(xùn)練集Rtrain={Xtrain,ytrain}∈RN×L構(gòu)建RWNN映射模型,其包含輸入層、輸出層和單隱含層.

首先,隨機(jī)設(shè)置輸入層與隱含層間神經(jīng)元的連接權(quán)重ω={w1,w2,···,wI} 和偏置b={b1,b2,···,bN}T;然后,結(jié)合訓(xùn)練集計(jì)算隱含層的輸出矩陣Hvs-g和隱含層與輸出層神經(jīng)元的連接權(quán)重β[35].

接著,由RWNN 映射函數(shù)計(jì)算虛擬樣本輸入對(duì)應(yīng)的虛擬樣本輸出yvs-g2為:

最后,獲得虛擬樣本集,記為Rvs-g2={Xvs-g,yvs-g2}.

3.2.1.3 獲得候選虛擬樣本

將第3.2.1.2 節(jié)的虛擬樣本集進(jìn)行混合,獲得Rvs-g={Rvs-g1;Rvs-g2}={Xvs-g,yvs-g}.

本文雖然是通過在擴(kuò)展域內(nèi)插值生成的虛擬樣本輸入,但虛擬樣本輸出卻是通過映射模型生成的,因此必然存在位于擴(kuò)展域外的虛擬樣本.這需要根據(jù)虛擬樣本輸出擴(kuò)展域的下限yvsg-min和上限yvsg-max對(duì)虛擬樣本集Rvs-g進(jìn)行刪減:

3.2.2 候選虛擬樣本選擇

對(duì)zvss進(jìn)行解碼后,可獲得粒子所選擇的虛擬樣本Rvs-s:

式中,θselect為虛擬樣本的選擇閾值,一般設(shè)置為0.5.

由于對(duì)zvss直接解碼所獲取的Rvs-s中可能包含擴(kuò)展域外的虛擬樣本,故需要先對(duì)zvss進(jìn)行變維度處理:

式(18)所表征的原理為: 首先,將擴(kuò)展域外的虛擬樣本所對(duì)應(yīng)的決策變量設(shè)置為無效;然后,對(duì)變維處理后的進(jìn)行解碼,即從候選虛擬樣本中獲得虛擬樣本子集Rvs-s.

3.2.3 虛擬樣本評(píng)價(jià)指標(biāo)計(jì)算

計(jì)算獲得虛擬樣本子集Rvs-s的評(píng)價(jià)指標(biāo),并將其作為粒子的適應(yīng)度:

3.3 面向VSG 的多目標(biāo)混合優(yōu)化

采用CLPSO 算法對(duì)虛擬樣本生成過程進(jìn)行混合優(yōu)化過程如圖2 所示,包括種群初始化,更新粒子速度,更新參數(shù)決策變量,生成候選虛擬樣本,變維度更新樣本選擇決策變量,選擇候選虛擬樣本,計(jì)算適應(yīng)度,更新粒子個(gè)體最優(yōu)、檔案和樣例池等階段,達(dá)到迭代次數(shù)后計(jì)算全局最優(yōu)及獲取最優(yōu)虛擬樣本.

圖2 基于MOPSO 混合優(yōu)化的VSG 策略Fig.2 VSG based on hybrid optimization with MOPSO

圖3 基于混合優(yōu)化策略的粒子設(shè)計(jì)Fig.3 Particle design based on hybrid optimization strategy

種群初始化時(shí),首先對(duì)粒子數(shù)量Pnum、迭代次數(shù)Niter、更新閾值Nrefresh、參數(shù)決策變量的上/下限等相關(guān)參數(shù)進(jìn)行設(shè)定;然后,生成由Pnum個(gè)粒子構(gòu)成的種群,隨機(jī)初始化粒子的位置和速度并計(jì)算粒子的適應(yīng)度;接著,初始化粒子的個(gè)體最優(yōu)與外部檔案;最后,計(jì)算粒子的學(xué)習(xí)概率和學(xué)習(xí)樣例.

初始化種群后,進(jìn)入迭代尋優(yōu)階段.首先,根據(jù)式(3)更新粒子的速度vp;然后,根據(jù)式(4)更新粒子的參數(shù)決策變量的位置(t+1),根據(jù)式(9)中的的表征結(jié)果,以第3.2.1 節(jié)描述方式,生成候選虛擬樣本;其次,根據(jù)式(4)更新粒子的樣本選擇決策變量位置,以第3.2.2 節(jié)描述方式對(duì)候選虛擬樣本進(jìn)行選擇,以獲得虛擬樣本Rvs-s;再依據(jù)第3.2.3 節(jié)描述方式計(jì)算Rvs-s的評(píng)價(jià)指標(biāo)作為粒子適應(yīng)度值F(zp);接著,基于適應(yīng)度值、根據(jù)式(5),更新粒子個(gè)體最優(yōu),并將種群搜索到的非支配解存入檔案中,并更新檔案A;最后,計(jì)算粒子的個(gè)體最優(yōu)排序rankp,并根據(jù)式(7)更新其學(xué)習(xí)概率Pc,進(jìn)而對(duì)迭代Nrefresh次后個(gè)體最優(yōu)仍未更新的粒子進(jìn)行學(xué)習(xí)樣例更新.

但在更新粒子學(xué)習(xí)樣例時(shí),考慮到待優(yōu)化的樣本選擇決策變量維數(shù)較高,需要對(duì)CLPSO 進(jìn)行改進(jìn),以加速虛擬樣本優(yōu)選過程的收斂速度.本文首先在標(biāo)準(zhǔn)CLPSO 采用的如式(6)所示的更新樣例池策略的基礎(chǔ)上,增加樣本選擇決策變量向檔案中粒子學(xué)習(xí)的新策略如下:

然后,依據(jù)上述步驟不斷進(jìn)行迭代尋優(yōu),在達(dá)到最大迭代次數(shù)Niter后,依據(jù)式(22)計(jì)算檔案A中粒子適應(yīng)度的評(píng)估指標(biāo)ρi:

式中,ρi為全局最優(yōu)粒子選擇指標(biāo),表示虛擬樣本的綜合評(píng)價(jià)指標(biāo);fmod(?) 表示無虛擬樣本情況下,原訓(xùn)練集的泛化性能指標(biāo)F;ai表示檔案A中的非支配解.

最后,將檔案中ρi值最大的粒子作為全局最優(yōu),對(duì)全局最優(yōu)的樣本選擇決策變量進(jìn)行變維度解碼后,獲得最優(yōu)虛擬樣本Rvs.

基于多目標(biāo)PSO 混合優(yōu)化的VSG 算法偽代碼見算法2.

算法2.基于多目標(biāo)PSO 混合優(yōu)化的VSG 算法偽代碼

4 仿真驗(yàn)證及工業(yè)應(yīng)用

基于UCI 平臺(tái)的2 個(gè)基準(zhǔn)數(shù)據(jù)集,設(shè)計(jì)不同的小樣本集生成虛擬樣本,對(duì)本文VSG 方法進(jìn)行驗(yàn)證.通過增加虛擬樣本后所構(gòu)建模型的泛化性能和虛擬樣本的分布情況,驗(yàn)證本文方法的有效性.進(jìn)一步,基于MSWI 過程DXN 排放濃度數(shù)據(jù)生成虛擬樣本,構(gòu)建軟測(cè)量模型.

本文進(jìn)行算法仿真驗(yàn)證的計(jì)算機(jī)軟硬件配置為Windows7 操作系統(tǒng),Matlab2021,Inter Corei7處理器,32 GB 內(nèi)存.

4.1 評(píng)價(jià)指標(biāo)綜述

本文定義指標(biāo)η用于評(píng)價(jià)小樣本與數(shù)據(jù)整體間的分布相似度.定義數(shù)據(jù)集S1和S2的分布相似度如下:

式中,Nattr表示數(shù)據(jù)集S1和S2的屬性數(shù)量;分別表示1和∈S2的概率分布;表示數(shù)據(jù)集S1和S2屬性的Hellinger 距離,后者是F散度的一種,本文用于度量2 個(gè)概率分布的相似度:

采用均方根誤差(Root mean square error,RMSE)作為模型泛化性能的評(píng)價(jià)指標(biāo):

此外,式(22)定義的用以選擇全局最優(yōu)的評(píng)價(jià)指標(biāo)ρi用于評(píng)價(jià)不同VSG 方法生成的虛擬樣本集在數(shù)量和泛化性能改進(jìn)方面的優(yōu)劣.

本文面向不同實(shí)驗(yàn)對(duì)虛擬樣本進(jìn)行評(píng)價(jià),將其重新定義為:

式中,實(shí)驗(yàn)j的虛擬樣本綜合評(píng)價(jià)值定義為ρj;E0為基于原始小樣本建模的 RMSE;Ej為實(shí)驗(yàn)j的RMSE;Nj為建模所用虛擬樣本的數(shù)量,表示虛擬樣本對(duì)模型泛化性能改進(jìn)的平均貢獻(xiàn).ρj值越大,表示虛擬樣本集的質(zhì)量越高.

4.2 基準(zhǔn)數(shù)據(jù)驗(yàn)證

4.2.1 數(shù)據(jù)描述

本文采用的基準(zhǔn)數(shù)據(jù)集分別為混凝土抗壓強(qiáng)度數(shù)據(jù)集和超導(dǎo)臨界溫度數(shù)據(jù)集.其中,混凝土抗壓強(qiáng)度數(shù)據(jù)集共有1 030 組數(shù)據(jù),包含8 個(gè)輸入變量(水泥、高爐渣、粉煤灰、水、超塑化劑、粗骨料、細(xì)骨料和齡期)和1 個(gè)輸出變量(混凝土抗壓強(qiáng)度);超導(dǎo)臨界溫度數(shù)據(jù)集共有21 263 組數(shù)據(jù),包含81個(gè)輸入變量和1 個(gè)輸出變量(超導(dǎo)臨界溫度).

為驗(yàn)證本文方法,分別對(duì)以上2 個(gè)數(shù)據(jù)集進(jìn)行處理: 從數(shù)據(jù)集中隨機(jī)選取20、40 和60 個(gè)樣本作為訓(xùn)練集(即原始小樣本),對(duì)應(yīng)隨機(jī)選取20、40 和60 個(gè)樣本作為驗(yàn)證集,等間隔選取100 個(gè)樣本作為測(cè)試集.每個(gè)數(shù)據(jù)集均設(shè)計(jì)3 個(gè)對(duì)比實(shí)驗(yàn),編號(hào)分別為A1、A2、A3、B1、B2 和B3.基準(zhǔn)數(shù)據(jù)集劃分如表2 所示,表2 中η表示上述各數(shù)據(jù)集與其原始數(shù)據(jù)集根據(jù)式(23)計(jì)算的分布相似度.

表2 基準(zhǔn)數(shù)據(jù)集劃分Table 2 Benchmark data set partitioning

4.2.2 實(shí)驗(yàn)結(jié)果

基準(zhǔn)數(shù)據(jù)基于多目標(biāo)PSO 混合優(yōu)化的VSG參數(shù)設(shè)定如表3 所示,需要根據(jù)不同數(shù)據(jù)特征憑經(jīng)驗(yàn)確定.分別采用A1、A2、A3、B1、B2 和B3 實(shí)驗(yàn)數(shù)據(jù)集與本文方法進(jìn)行仿真實(shí)驗(yàn).基于多目標(biāo)混合優(yōu)化獲得的非支配解的Pareto 前沿如圖4 所示.

圖4 非支配解的Pareto 前沿Fig.4 Pareto front of non-dominant solutions

表3 基準(zhǔn)數(shù)據(jù)基于多目標(biāo)PSO 混合優(yōu)化的VSG 參數(shù)設(shè)定Table 3 Parameter setting of VSG based on hybrid optimization with multi-objective PSO for benchmark data

圖4 中的橫/縱坐標(biāo)分別表示2 個(gè)優(yōu)化目標(biāo),即虛擬樣本數(shù)量Nvs-s和混合樣本模型的 RMSE 值.由2 個(gè)數(shù)據(jù)集的Pareto 前沿可知,當(dāng)原始訓(xùn)練樣本數(shù)為20 時(shí),虛擬樣本對(duì)模型性能的提升效果最為明顯.另外,虛擬樣本數(shù)量的增加可提高模型性能,但當(dāng)虛擬樣本數(shù)量超過某個(gè)閾值后,模型性能不再明顯提升.

各實(shí)驗(yàn)均生成1 080 個(gè)虛擬樣本,混合優(yōu)化后篩選出的虛擬樣本最佳數(shù)量卻存在差異,其中A1、A2 和A3 的最佳數(shù)量分別為80、128 和150,B1、B2 和B3 的最佳數(shù)量分別約為20、69 和70.這一統(tǒng)計(jì)結(jié)果表明,虛擬樣本的最佳數(shù)量與其質(zhì)量相關(guān).

進(jìn)一步,對(duì)非支配解進(jìn)行分析.圖5～ 7 分別展示了非支配解碼獲得的虛擬樣本的建模性能指標(biāo)、綜合評(píng)價(jià)指標(biāo)和分布相似度指標(biāo)的對(duì)比情況.

圖5 非支配解的建模性能指標(biāo)對(duì)比Fig.5 Comparison of modeling performance indexes of non-dominant solutions

圖5 分別展示了不同小樣本構(gòu)建的RF 軟測(cè)量模型在不同測(cè)試集上的 RMSE.由圖5 可知,本文方法生成的虛擬樣本可提高RF 軟測(cè)量模型的泛化性能.對(duì)于超導(dǎo)臨界溫度數(shù)據(jù)集,混合樣本構(gòu)建的RF 模型在驗(yàn)證集上的泛化性能弱于在測(cè)試集上的表現(xiàn).另外,隨著小樣本數(shù)量的增多,基于小樣本所構(gòu)建模型的測(cè)試性能整體提高,但虛擬樣本對(duì)模型泛化性能卻有所下降.

圖6 給出了針對(duì)混合樣本構(gòu)建的RF 軟測(cè)量模型在驗(yàn)證集和測(cè)試集上對(duì)虛擬樣本的綜合評(píng)價(jià)結(jié)果.由圖6 可知,本文方法生成的虛擬樣本均有較好的綜合評(píng)價(jià)指標(biāo).但隨著原始小樣本數(shù)量的增加,所生成虛擬樣本的綜合評(píng)價(jià)指標(biāo)明顯變差.由虛擬樣本的綜合評(píng)價(jià)指標(biāo)可知,超導(dǎo)臨界溫度數(shù)據(jù)集在驗(yàn)證集上的表現(xiàn)較差.

圖6 非支配解的綜合評(píng)價(jià)指標(biāo)對(duì)比Fig.6 Comparison of comprehensive evaluation indexes of non-dominant solutions

不同數(shù)據(jù)集生成的虛擬樣本與全體數(shù)據(jù)的分布相似度情況如圖7 所示.由圖7 可知,本文方法生成的虛擬樣本能夠改善小樣本與全體數(shù)據(jù)的分布相似度,當(dāng)小樣本數(shù)量為20 時(shí),分布相似度改善效果最為明顯.另外,小樣本數(shù)量的增加會(huì)大大提高它與全體數(shù)據(jù)的分布相似度,但本文方法很難對(duì)分布相似度指標(biāo)進(jìn)行改善.其中當(dāng)小樣本數(shù)量為60 時(shí),虛擬樣本對(duì)分布相似度幾乎未得到改善,甚至破壞了原有分布.

圖7 非支配解的分布相似度對(duì)比Fig.7 Comparison of distribution similarity of non-dominant solutions

根據(jù)式(26)定義的綜合評(píng)價(jià)指標(biāo)ρ從檔案中選取全局最優(yōu),基準(zhǔn)數(shù)據(jù)基于多目標(biāo)PSO 混合優(yōu)化獲得的最優(yōu)虛擬樣本如表4 所示.表4 中Xvs和yvs分別為最優(yōu)虛擬樣本的輸入和輸出.其中,數(shù)據(jù)集A1 選取5 個(gè)虛擬樣本,B1 選取5 個(gè)虛擬樣本的前8 個(gè)輸入和輸出.基準(zhǔn)數(shù)據(jù)原始樣本輸入/輸出范圍如表5 所示.

表4 基準(zhǔn)數(shù)據(jù)基于多目標(biāo)PSO 混合優(yōu)化獲得的最優(yōu)虛擬樣本Table 4 Optimal virtual samples obtained based on multi-objective PSO hybrid optimization for benchmark data

表5 基準(zhǔn)數(shù)據(jù)原始樣本輸入/輸出范圍Table 5 Input/output range of original samples for benchmark data

本文方法在不同數(shù)據(jù)集上的全局最優(yōu)結(jié)果包括超參數(shù)最優(yōu)解、虛擬樣本數(shù)量、混合樣本構(gòu)建的RF 模型在驗(yàn)證集和測(cè)試集上的平均RMSE、平均綜合評(píng)價(jià)值和混合樣本的分布相似度指標(biāo),基準(zhǔn)數(shù)據(jù)基于多目標(biāo)PSO 混合優(yōu)化的全局最優(yōu)解的統(tǒng)計(jì)結(jié)果如表6 所示.由表6 可知,超參數(shù)優(yōu)化結(jié)果中,擴(kuò)展率γextend值隨數(shù)據(jù)集變化,其受訓(xùn)練集和驗(yàn)證集分布情況的綜合影響.統(tǒng)計(jì)結(jié)果表明,各數(shù)據(jù)集均進(jìn)行了明顯地域擴(kuò)展;小樣本數(shù)量影響虛擬樣本的最佳數(shù)量,間接說明虛擬樣本的最佳數(shù)量與其質(zhì)量相關(guān);在原始訓(xùn)練集中加入虛擬樣本構(gòu)建的RF模型在驗(yàn)證集和測(cè)試集上均有較好表現(xiàn),比小樣本建模的性能均有所提升.當(dāng)小樣本數(shù)量為20 時(shí),生成的虛擬樣本最佳數(shù)量分別為82 和20,建模平均測(cè)試 RMSE 分別為11.59 和18.05,比小樣本建模分別提升了10.50%和21.73%;虛擬樣本的綜合評(píng)價(jià)指標(biāo)隨小樣本數(shù)量的增多而逐漸減小,即虛擬樣本對(duì)模型性能的提升隨小樣本數(shù)量的增多而變得更加困難;同時(shí),混合樣本與原始數(shù)據(jù)分布相似度也有較明顯改善,特別是數(shù)據(jù)集A1 和B1,建模所用樣本與原始數(shù)據(jù)分布相似度分別改善了29.25% 和38.05%.

表6 基準(zhǔn)數(shù)據(jù)基于多目標(biāo)PSO 混合優(yōu)化的全局最優(yōu)解的統(tǒng)計(jì)結(jié)果Table 6 Statistical results of global optimal solution based on hybrid optimization with multi-objective PSO for benchmark data

圖8 分別給出了數(shù)據(jù)集A 和B 在測(cè)試集上的預(yù)測(cè)輸出.由圖8 可知,混合樣本建模的測(cè)試集預(yù)測(cè)輸出對(duì)期望輸出具有良好的擬合度,但其精度還有提升空間.

圖8 基準(zhǔn)數(shù)據(jù)預(yù)測(cè)輸出對(duì)比Fig.8 Comparison of prediction output for benchmark data

4.2.3 方法比較

本文MoHo-VSG 與其他VSG 進(jìn)行對(duì)比.為了驗(yàn)證本文方法比其他方法更具優(yōu)越性,本節(jié)只在樣本數(shù)量為20 的A1 和B1 小樣本集進(jìn)行實(shí)驗(yàn)對(duì)比.實(shí)驗(yàn)過程為: 首先,采用A1 和B1 小樣本集分別生成虛擬樣本;然后,將其與原始小樣本混合以構(gòu)建模型;最后,所有實(shí)驗(yàn)重復(fù)30 次,并計(jì)算相應(yīng)評(píng)價(jià)指標(biāo),基準(zhǔn)數(shù)據(jù)不同VSG 方法的對(duì)比統(tǒng)計(jì)結(jié)果如表7 所示.

表7 基準(zhǔn)數(shù)據(jù)不同VSG 方法的對(duì)比統(tǒng)計(jì)結(jié)果Table 7 Comparative statistical results of different VSG methods for benchmark data

表7 中N-VSG[29]表示非線性插值的VSG 法;M-VSG[31]表示線性與非線性結(jié)合的混合插值VSG方法;PSO-VSG[34]表示基于PSO 優(yōu)化生成的VSG 方法;MP-VSG[35]表示基于插值并經(jīng)PSO 優(yōu)化選擇的VSG 方法.由表7 可知,本文方法在虛擬樣本數(shù)量最少情況下,混合樣本構(gòu)建的RF 模型具有更好的泛化性能,其在測(cè)試集上的 RMSE 和最優(yōu)值最小,表明本文方法生成的虛擬樣本在提高模型泛化性能的同時(shí),也具有較好的穩(wěn)定性.本文方法生成的虛擬樣本綜合評(píng)價(jià)值最大,表明本文方法生成的虛擬樣本具有更高質(zhì)量,即每個(gè)虛擬樣本對(duì)模型性能提升的貢獻(xiàn)更大;本文方法生成的虛擬樣本與訓(xùn)練集混合后的分布相似度最小,表明其分布更符合全體數(shù)據(jù)分布.

本文所采用的CLPSO 算法對(duì)VSG 結(jié)果的影響主要體現(xiàn)在: 1)種群的粒子數(shù)量Pnum和迭代次數(shù)Niter是對(duì)可行域進(jìn)行充分搜索的基礎(chǔ)條件,兩者的乘積代表了粒子到達(dá)可行域的位置數(shù).當(dāng)Pnum和Niter值過小時(shí),種群未收斂至全局最優(yōu);當(dāng)Pnum和Niter值過大時(shí),種群收斂至全局最優(yōu)后繼續(xù)迭代會(huì)浪費(fèi)較多算力.所以Pnum和Niter值需結(jié)合全局收斂性能和VSG 數(shù)據(jù)進(jìn)行確定.2)學(xué)習(xí)樣例引導(dǎo)著粒子的搜索方向和步長(zhǎng),樣例池的更新閾值Nrefresh決定了學(xué)習(xí)樣例的更新頻率,間接決定算法的搜索能力和收斂性.若粒子全局最優(yōu)經(jīng)Nrefresh次未變,需要通過更新學(xué)習(xí)樣例而引導(dǎo)粒子跳出個(gè)體最優(yōu).當(dāng)Nrefresh過大時(shí),粒子長(zhǎng)期向舊學(xué)習(xí)樣例進(jìn)行學(xué)習(xí)會(huì)導(dǎo)致種群全局搜索能力下降;當(dāng)Nrefresh過小時(shí),粒子不斷向新學(xué)習(xí)樣例進(jìn)行學(xué)習(xí)會(huì)導(dǎo)致種群收斂性變差.所以Nrefresh值的確定需考慮VSG 數(shù)據(jù)的特性并結(jié)合迭代次數(shù)Niter值.另外,變量zMTD、、、zRWNN的上/下限決定著種群的可行域,影響著種群的搜索效率和結(jié)果.當(dāng)可行域過大,則搜索效率會(huì)下降;當(dāng)可行域過小,則可能會(huì)錯(cuò)失全局最優(yōu)解.所以,它們的取值也需要根據(jù)VSG 數(shù)據(jù)特征,憑經(jīng)驗(yàn)確定.

4.3 工業(yè)數(shù)據(jù)驗(yàn)證

4.3.1 二噁英排放過程描述

國(guó)內(nèi)MSWI 過程工藝流程圖如圖9 所示.圖9中,由MSWI 過程所產(chǎn)生的DXN 分別包含在灰渣、飛灰和煙氣3 種產(chǎn)物中,其中煙氣中含有的DXN按照工藝階段可分為 DXN 產(chǎn)生時(shí)的煙氣G1、DXN被吸附后的煙氣G2 和排放至大氣的煙氣G3 三種.在機(jī)理上,DXN 的產(chǎn)生來源包括固廢不完全燃燒和新規(guī)合成反應(yīng)生成2 類[54].通常,為保證DXN 等有毒有機(jī)物的有效分解,在固廢焚燒階段的煙氣溫度應(yīng)達(dá)到至少850 °C 并保持2 s.另外,為減低排放煙氣中的DXN 濃度,在煙氣處理階段需要向反應(yīng)器內(nèi)噴射消石灰和活性炭,以吸附DXN 以及某些重金屬.此外,余熱鍋爐和煙氣處理階段的積灰所造成的至今機(jī)理仍不清晰的DXN 記憶效應(yīng)也會(huì)導(dǎo)致DXN 排放濃度增加.上述不同階段的過程變量均以秒為周期、由現(xiàn)場(chǎng)控制系統(tǒng)采集.但焚燒企業(yè)或環(huán)保部門通常以月、季或更長(zhǎng)時(shí)間為不確定周期,離線化驗(yàn)煙氣G3 中DXN 濃度,該方法需要專門的實(shí)驗(yàn)室分析設(shè)備,檢測(cè)成本高且耗時(shí)長(zhǎng)[4].此外,煙氣G3 中的易檢測(cè)氣體(如CO、HCL、SO2和 N Ox等) 濃度能夠通過煙氣排放連續(xù)監(jiān)測(cè)系統(tǒng)進(jìn)行實(shí)時(shí)檢測(cè),并且與DXN 濃度存在相關(guān)性.基于指標(biāo)/關(guān)聯(lián)的在線間接檢測(cè)方法要求先檢測(cè)指示物/相關(guān)物的濃度,再基于映射模型間接計(jì)算DXN排放濃度,需要昂貴且復(fù)雜的在線分析設(shè)備,并且存在以小時(shí)為單位的時(shí)間滯后[1].因此,有必要構(gòu)建DXN 排放濃度軟測(cè)量模型,以實(shí)現(xiàn)在線實(shí)時(shí)檢測(cè).

圖9 MSWI 過程工藝流程圖Fig.9 Flow chart of MSWI process

綜上所述,煙氣G3 中的DXN 濃度與MSWI過程不同階段的過程變量相關(guān),并且構(gòu)建DXN 預(yù)測(cè)模型的數(shù)據(jù)(真輸入-真輸出)具有樣本數(shù)量稀缺與分布不均衡、輸入特征維度高等特性.Bunsan 等[54]結(jié)合機(jī)理和經(jīng)驗(yàn),利用臺(tái)灣某焚燒廠4 年多的實(shí)際過程數(shù)據(jù),結(jié)合相關(guān)分析、主成分分析和人工神經(jīng)網(wǎng)絡(luò),從23 個(gè)易檢測(cè)變量中選取13 個(gè)變量建立DXN軟測(cè)量模型.Xiao 等[55]采用爐溫、鍋爐出口煙氣溫度、煙氣流量、S O2、HCL 和顆粒物濃度等輸入變量,建立基于支持向量機(jī)的DXN 排放濃度軟測(cè)量模型.針對(duì)實(shí)際MSWI 過程變量具有數(shù)百維且不同程度地與DXN 產(chǎn)生、吸收和排放有關(guān),喬俊飛等[56]提出多層特征選擇方法.但是,以上方法均是通過降低建模樣本維度的方式構(gòu)建軟測(cè)量模型,并未從本質(zhì)上解決建模樣本稀少問題,并且未被選擇的特征可能會(huì)造成信息損失.因此,本文采用MoHo-VSG 用于解決DXN 排放濃度建模問題.

4.3.2 數(shù)據(jù)描述

本文采用的工業(yè)數(shù)據(jù)源于北京某基于爐排爐的MSWI 電廠,涵蓋了2012～ 2018 年所記錄的有效DXN 排放濃度檢測(cè)樣本共34 個(gè).將原始數(shù)據(jù)經(jīng)過預(yù)處理后,獲得包含119 維輸入和1 維輸出的建模樣本.由于原始樣本數(shù)量較少,將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集,驗(yàn)證集同時(shí)也作為測(cè)試集,將該數(shù)據(jù)集記為C.

4.3.3 實(shí)驗(yàn)結(jié)果

DXN 數(shù)據(jù)基于多目標(biāo)PSO 混合優(yōu)化的VSG算法參數(shù)設(shè)定如表8 所示,包括決策變量zMTD、和zRWNN的最大/最小值.

表8 DXN 數(shù)據(jù)基于多目標(biāo)PSO 混合優(yōu)化的VSG 算法參數(shù)設(shè)定Table 8 Parameter setting of VSG algorithm based on multi-objective PSO hybrid optimization for DXN data

在數(shù)據(jù)集C 上,對(duì)本文方法進(jìn)行仿真實(shí)驗(yàn),獲得非支配的Pareto 前沿 ——DXN 排放濃度如圖10 所示.由圖10 可以看出,當(dāng)虛擬樣本數(shù)量為40 時(shí),模型泛化性能較好,其中候選虛擬樣本數(shù)量均為918.

圖10 非支配解的Pareto 前沿 ——DXN 排放濃度Fig.10 Pareto front of non-dominated solutions ——DXN emission concentration

對(duì)非支配解進(jìn)行分析.非支配解的建模性能和綜合評(píng)價(jià)指標(biāo)對(duì)比如圖11 所示.由圖11 可以看出,本文方法生成的虛擬樣本在總體上可提高模型的泛化性能;而非支配解4 和5 的綜合評(píng)價(jià)指標(biāo)為負(fù),表明加入虛擬樣本后,建模性能沒有得到提升,反而降低了.由于測(cè)試集和驗(yàn)證集相同,所構(gòu)建的RF 模型表現(xiàn)相近,但也存在一定差別.DXN 數(shù)據(jù)基于多目標(biāo)PSO 混合優(yōu)化獲得的最優(yōu)虛擬樣本如表9 所示,表9 展示了5 個(gè)虛擬樣本的前7 個(gè)輸入和1 個(gè)輸出.

圖11 非支配解的建模性能和綜合評(píng)價(jià)指標(biāo)對(duì)比Fig.11 Comparison of modeling performance indexes and comprehensive evaluation indexes of non-dominant solutions

表9 DXN 數(shù)據(jù)基于多目標(biāo)PSO 混合優(yōu)化獲得的最優(yōu)虛擬樣本Table 9 Optimal virtual samples obtained based on multi-objective PSO hybrid optimization for DXN data

DXN 數(shù)據(jù)面向VSG 的多目標(biāo)PSO 混合優(yōu)化全局最優(yōu)解如表10 所示.由表10 可以看出,超參數(shù)γextend較小,表明樣本域擴(kuò)展程度較小,反映了訓(xùn)練集與測(cè)試集的分布域較為相似.17 個(gè)訓(xùn)練樣本生成的虛擬樣本最佳數(shù)量為40,混合樣本構(gòu)建的RF 模型在驗(yàn)證集和測(cè)試集上的表現(xiàn)相近,其在測(cè)試集上的平均RMSE 為0.023 1,比小樣本建模提升了2.51%;虛擬樣本的綜合評(píng)價(jià)指標(biāo)大于0,但值較小,表明所生成的虛擬樣本有效用但仍需改進(jìn).

表10 DXN 數(shù)據(jù)面向VSG 的多目標(biāo)PSO 混合優(yōu)化全局最優(yōu)解Table 10 DXN data for VSG-oriented multi-objective PSO hybrid optimization global optimal solution

4.3.4 方法比較

本文MoHo-VSG 與其他VSG 進(jìn)行對(duì)比.采用數(shù)據(jù)集C 生成虛擬樣本,將其與原始小樣本混合構(gòu)建模型,實(shí)驗(yàn)均重復(fù)30 次,DXN 數(shù)據(jù)的不同VSG方法對(duì)比統(tǒng)計(jì)結(jié)果如表11 所示.由表11 可以看出,本文方法在虛擬樣本數(shù)量最少情況下,混合樣本構(gòu)建的RF 模型具有更好的泛化性能,其在測(cè)試集上的RMSE 均值和方差較小,表明本文方法在提升模型預(yù)測(cè)性能和穩(wěn)定性上具有優(yōu)勢(shì).但是,在30 次重復(fù)實(shí)驗(yàn)中,本文方法最優(yōu)RMSE 值不如MP-VSG方法.另外,本文方法生成的虛擬樣本有較好的綜合評(píng)價(jià)指標(biāo)ρ.

表11 DXN 數(shù)據(jù)的不同VSG 方法對(duì)比統(tǒng)計(jì)結(jié)果Table 11 Comparative statistical results of different VSG methods based on DXN dataset

綜上所述,本文MoHo-VSG 能夠?qū)SG 過程的超參數(shù)和虛擬樣本的選擇進(jìn)行混合優(yōu)化,確保優(yōu)選并生成更為合理的虛擬樣本,能夠有效地提高虛擬樣本的質(zhì)量和確定其最佳數(shù)量.針對(duì)不同的數(shù)據(jù)集,本文方法能進(jìn)行自適應(yīng)的域擴(kuò)展,并基于生成的虛擬樣本優(yōu)化確定其最佳數(shù)量.生成的虛擬樣本可明顯提升模型泛化性能,且具有較好的綜合評(píng)價(jià)值,也能夠提高小樣本與全體數(shù)據(jù)的分布相似度η值,比其他VSG 方法具有優(yōu)勢(shì).在2 個(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn),當(dāng)小樣本數(shù)量為20 時(shí),生成的虛擬樣本最佳數(shù)量分別為82 和20,建模平均RMSE分別為11.59 和18.05,比小樣本建模分別提升了10.50%和21.73%,建模所用樣本與原始數(shù)據(jù)的分布相似度分別改善了29.25%和38.05%.將本文方法應(yīng)用于DXN 排放濃度建模上,17 個(gè)訓(xùn)練樣本生成的虛擬樣本最佳數(shù)量為40,模型在測(cè)試集上的平均 RMSE 為0.023 1,比小樣本建模提升了2.51%.

5 結(jié)束語

針對(duì)工業(yè)過程回歸建模時(shí)樣本數(shù)量有限問題,本文提出基于多目標(biāo)PSO 混合優(yōu)化的VSG 方法,其創(chuàng)新性表現(xiàn)有以下3 點(diǎn): 1)首次采用混合優(yōu)化策略對(duì)VSG 過程的超參數(shù)和樣本選擇過程進(jìn)行同時(shí)優(yōu)化,確保虛擬樣本的合理性和有效性;2)改進(jìn)CLPSO 算法對(duì)VSG 過程進(jìn)行多目標(biāo)優(yōu)化,在確保模型泛化性能的同時(shí),盡可能地降低虛擬樣本數(shù)量,這樣既保證了虛擬樣本的整體質(zhì)量,也確定了虛擬樣本的最佳數(shù)量;3)提出新的面向虛擬樣本質(zhì)量的綜合評(píng)價(jià)指標(biāo)和分布相似度指標(biāo),用于度量虛擬樣本對(duì)建模性能的貢獻(xiàn)度,以及虛擬樣本改善小樣本分布的效果.通過基準(zhǔn)數(shù)據(jù)和工業(yè)數(shù)據(jù)仿真實(shí)驗(yàn),驗(yàn)證了本文方法的有效性.

目前,面向工業(yè)過程小樣本數(shù)據(jù)回歸建模的VSG 方法仍處于不斷探索的階段,在如何確定樣本的期望分布、如何針對(duì)不同研究領(lǐng)域小樣本數(shù)據(jù)的特性從理論上確定虛擬樣本最佳數(shù)量、如何提出更好的虛擬樣本評(píng)價(jià)指標(biāo)以度量虛擬樣本和實(shí)際數(shù)據(jù)的差異等方向,仍有待深入研究.