宋建 王文龍 李東 梁家睿

(1.華南理工大學(xué) 廣東省高分子先進(jìn)制造技術(shù)及裝備重點(diǎn)實(shí)驗(yàn)室/聚合物成型加工工程教育部重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510640；2.金發(fā)科技股份有限公司 企業(yè)技術(shù)中心，廣東 廣州 510663)

注塑成型作為最常見的一種塑料制品加工工藝，其所加工的產(chǎn)品在生活中隨處可見，例如電子產(chǎn)品、汽車配件、玩具以及其他眾多消費(fèi)品[1]。由于注塑成型過程較為復(fù)雜且對(duì)環(huán)境比較敏感，加工過程中的不穩(wěn)定因素會(huì)導(dǎo)致不良品的產(chǎn)生，造成經(jīng)濟(jì)損失[2]。同時(shí)，現(xiàn)有的注塑件質(zhì)量檢測(cè)大多采用人工，存在效率低和用工成本高等問題[3]。因此，相關(guān)研究通過建立注塑成型大數(shù)據(jù)，運(yùn)用機(jī)器學(xué)習(xí)方法分析建模，對(duì)注塑件質(zhì)量進(jìn)行在線預(yù)測(cè)，以解決甚至避免現(xiàn)場(chǎng)痛點(diǎn)問題。

文獻(xiàn)[4]通過構(gòu)建多棵回歸樹，對(duì)每棵回歸樹的預(yù)測(cè)值取平均，組合所有的回歸樹即構(gòu)成隨機(jī)森林，來預(yù)測(cè)汽車注塑件的成型質(zhì)量。文獻(xiàn)[5]通過建立三層反向傳播(BP)神經(jīng)網(wǎng)絡(luò)，利用Moldflow正交試驗(yàn)所得工藝參數(shù)與翹曲量的數(shù)據(jù)作為訓(xùn)練樣本對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，建立預(yù)測(cè)薄殼注塑件翹曲量的模型。文獻(xiàn)[6]通過BP神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)建立預(yù)測(cè)注塑產(chǎn)品翹曲量的模型，并將兩者的預(yù)測(cè)精度進(jìn)行比較，從而得到有效的預(yù)測(cè)模型。文獻(xiàn)[7]利用提取的故障特征數(shù)據(jù)與極端梯度提升樹(XGB)集成算法訓(xùn)練出注塑機(jī)注射油缸內(nèi)泄漏故障的智能診斷模型，并利用粒子群優(yōu)化算法完成超參數(shù)的尋優(yōu)。文獻(xiàn)[8]利用加工過程中獲得的數(shù)控系統(tǒng)內(nèi)部指令域大數(shù)據(jù)，基于LM-BP神經(jīng)網(wǎng)絡(luò)與RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)實(shí)現(xiàn)零件尺寸的預(yù)測(cè)。

上述預(yù)測(cè)方法中，大部分只使用了傳統(tǒng)的單一機(jī)器學(xué)習(xí)模型，或是簡(jiǎn)單模型的線性融合，模型整體預(yù)測(cè)精度較低，未能達(dá)到工業(yè)生產(chǎn)的要求。為此，本文提出了一種基于Stacking集成學(xué)習(xí)的融合模型，通過集成不同類型的學(xué)習(xí)器來提升模型的預(yù)測(cè)效果，并根據(jù)基學(xué)習(xí)器XGB提供的特征重要性排序方法，獲得對(duì)注塑件尺寸影響程度較大的特征及其重要性排序，以期為制造工藝和工序的優(yōu)化提供決策指導(dǎo)。

1 Stacking介紹

Stacking集成學(xué)習(xí)方法最初由Wolpert[9]于1992年提出，經(jīng)不斷優(yōu)化和改進(jìn)，目前最完善的Stacking算法流程如圖1所示。

圖1 Stacking算法流程圖Fig.1 Flow chart of Stacking algorithm

對(duì)于數(shù)據(jù)集S={(Xi,Yi)，i=1,2,…,n}，其中Xi為第i個(gè)樣本的特征向量，Yi為第i個(gè)樣本對(duì)應(yīng)的標(biāo)簽值，j為每個(gè)特征向量中的特征個(gè)數(shù)，即每一個(gè)特征向量Xi=(Xi1,Xi2,…,Xij)。選取m個(gè)基學(xué)習(xí)器(C1,C2,…,Cm)，采用K折交叉驗(yàn)證方法。

Stacking算法的偽代碼如下：

{輸入數(shù)據(jù)集S={(Xi,Yi)|i=1,2,…,n}；

輸出Stacking集成學(xué)習(xí)模型。

(1)將數(shù)據(jù)集均分為K個(gè)子集S1,S2,…,SK，默認(rèn)情況下取K=5。

(3)返回步驟(2)K-1次，得到全部預(yù)測(cè)結(jié)果，形式為n行×m列數(shù)據(jù)。

(4)將步驟(3)得到的結(jié)果作為元學(xué)習(xí)器的輸入，訓(xùn)練元學(xué)習(xí)器，輸出結(jié)果為n行×1列數(shù)據(jù)，標(biāo)簽數(shù)據(jù)依舊是Yi，在這個(gè)過程中實(shí)現(xiàn)對(duì)元學(xué)習(xí)器的參數(shù)優(yōu)化。至此得到完整的訓(xùn)練完畢的Stacking集成學(xué)習(xí)模型。}

與傳統(tǒng)的Boosting和Bagging集成學(xué)習(xí)方法相比，Stacking集成學(xué)習(xí)方法在步驟(4)中將基學(xué)習(xí)器的輸出作為元學(xué)習(xí)器的輸入，使元學(xué)習(xí)器能夠整合全部基學(xué)習(xí)器的預(yù)測(cè)結(jié)果，并能減少第一層基學(xué)習(xí)器的預(yù)測(cè)偏差。通過這種方式集成不同類型的學(xué)習(xí)器，能結(jié)合不同學(xué)習(xí)器的優(yōu)勢(shì)，得到的信息更加全面，Stacking集成學(xué)習(xí)方法也因此有著更廣泛的適用性[10]。

本文擬通過使用Stacking方法集成不同類型的學(xué)習(xí)器來提升模型的整體預(yù)測(cè)性能，從而使集成模型能達(dá)到更好的預(yù)測(cè)效果。

2 數(shù)據(jù)處理與評(píng)價(jià)指標(biāo)

2.1 數(shù)據(jù)集描述

本文選用的數(shù)據(jù)集來源于第四屆工業(yè)大數(shù)據(jù)創(chuàng)新競(jìng)賽決賽數(shù)據(jù)集，總計(jì)包含16 600條數(shù)據(jù)，由成型機(jī)狀態(tài)數(shù)據(jù)集和傳感器高頻采樣數(shù)據(jù)集兩個(gè)文件構(gòu)成。成型機(jī)狀態(tài)數(shù)據(jù)集來自成型機(jī)機(jī)臺(tái)，均為表征成型過程中的一些狀態(tài)數(shù)據(jù)，主要包括最小射膠位置、熔膠時(shí)間、熔膠背壓、注射/保壓切換壓力、切換時(shí)間、切換位置、模具溫度、充模時(shí)間、熔膠結(jié)束后冷卻時(shí)間等。每一行對(duì)應(yīng)一個(gè)模次，數(shù)據(jù)維度為86維。傳感器高頻采樣數(shù)據(jù)集來自模溫機(jī)及模具傳感器采集的數(shù)據(jù)，主要包括模溫機(jī)回水溫度、射嘴壓力、模溫機(jī)水流量、模腔壓力、模溫機(jī)熱水溫度、模溫機(jī)冷水溫度等。文件夾內(nèi)每一個(gè)模次對(duì)應(yīng)一個(gè)csv文件，單個(gè)模次時(shí)長(zhǎng)為40～43 s，含有24個(gè)傳感器采集的數(shù)據(jù)。

2.2 數(shù)據(jù)預(yù)處理

對(duì)于成型機(jī)狀態(tài)數(shù)據(jù)集，特征維度總計(jì)86維，其中缺失值特征7維，由于缺失值特征均為全部缺失，因此對(duì)缺失值進(jìn)行刪除操作。同時(shí)成型機(jī)狀態(tài)數(shù)據(jù)集中存在3個(gè)特征(模次號(hào)Id、記錄時(shí)間spcTime和備注Remark)對(duì)模型預(yù)測(cè)沒有幫助，故將其刪除，留下76維特征。

對(duì)于傳感器高頻采樣數(shù)據(jù)集，總計(jì)24維特征，存在兩個(gè)特征(采樣時(shí)間SampleTime和階段Phase)對(duì)模型預(yù)測(cè)沒有幫助，故作刪除處理，留下22維特征。嘗試運(yùn)用多種方式提取同一模次中的特征，包括提取中位數(shù)、最大值、最小值、眾數(shù)等，選取相同的機(jī)器學(xué)習(xí)模型并參數(shù)調(diào)優(yōu)后發(fā)現(xiàn)，提取均值得到的預(yù)測(cè)準(zhǔn)確度最高。將預(yù)處理后的成型機(jī)狀態(tài)數(shù)據(jù)集與傳感器高頻采樣數(shù)據(jù)集組合，得到98維16 600條數(shù)據(jù)的數(shù)據(jù)集，隨機(jī)選取其中10 000條數(shù)據(jù)用來訓(xùn)練和驗(yàn)證模型，6 600條數(shù)據(jù)作為測(cè)試集。

2.3 特征選擇

特征選擇和特征提取有著些許的相似點(diǎn)，這兩者達(dá)到的效果是一樣的，即試圖減少特征數(shù)據(jù)集中特征的數(shù)目。但兩者所采用的方法不同：特征提取主要是通過屬性間的關(guān)系，如組合不同的屬性得到新的屬性，這樣就改變了原來的特征空間；而特征選擇是從原始特征數(shù)據(jù)集中選擇出子集，是一種包含的關(guān)系，沒有更改原始的特征空間。因此通過特征選擇方法建立的模型具有良好的解釋性，可以通過特征解釋回溯到生產(chǎn)工序中。

本文選用過濾型特征選擇方法中應(yīng)用較為廣泛的SelectKBest方法，SelectKBest方法有特征數(shù)量k和打分函數(shù)Score兩個(gè)參數(shù)。Score的作用是給特征進(jìn)行打分，然后從高到低選取特征，效果是移除得分前k名以外的所有特征。注塑件尺寸預(yù)測(cè)問題屬于回歸問題，因此Score函數(shù)選用f_regression回歸函數(shù)。

選用輕量級(jí)梯度提升樹(LGB)模型，使用5折交叉驗(yàn)證方法評(píng)估模型的預(yù)測(cè)精度，模型預(yù)測(cè)偏差(均方誤差，MSE)隨特征數(shù)量k變化的折線圖如圖2所示。由圖中可得，特征數(shù)量為14時(shí)，模型預(yù)測(cè)偏差最低，因此SelectKBest特征選擇方法將特征維度降至14維。

圖2 LGB模型預(yù)測(cè)偏差隨特征數(shù)量的變化Fig.2 Change of predictions deviation of LGB model with the number of features

2.4 評(píng)價(jià)指標(biāo)

回歸模型的預(yù)測(cè)性能通過預(yù)測(cè)尺寸與實(shí)際尺寸的偏差來評(píng)估，最常用的評(píng)價(jià)指標(biāo)有平均絕對(duì)誤差(MAE，EMA)、均方誤差(MSE，EMS)和均方根誤差(RMSE，ERMS)，計(jì)算公式如下：

(1)

(2)

式中，yi為實(shí)際值，fi為預(yù)測(cè)值。

RMSE是MSE的算術(shù)平方根，RMSE和目標(biāo)實(shí)際值的量綱相同，具有更好的解釋性。

3 Stacking模型的構(gòu)建與優(yōu)化

為了使得 Stacking模型的預(yù)測(cè)性能達(dá)到最優(yōu)，既要選擇合適的基學(xué)習(xí)器，又要選擇恰當(dāng)?shù)脑獙W(xué)習(xí)器，同時(shí)不同學(xué)習(xí)器之間的組合方式也至關(guān)重要。因此在建立Stacking模型時(shí)，需要立足于各個(gè)模型的預(yù)測(cè)能力與各模型之間的相關(guān)度展開分析，選擇合適的基學(xué)習(xí)器、元學(xué)習(xí)器及其組合方式，才能建立有效的Stacking模型。

3.1 基學(xué)習(xí)器的選擇

3.1.1 初步篩選

Stacking方法中基學(xué)習(xí)器的選擇和組合方式至關(guān)重要，影響整個(gè)模型最終的預(yù)測(cè)性能。

本文初步選擇的基學(xué)習(xí)器有樹(Tree)、隨機(jī)森林(RF)、梯度提升決策樹(GBDT)、XGB、LGB、彈性網(wǎng)絡(luò)回歸(ENet)、核嶺回歸(KRR)、支持向量機(jī)(SVM)。其中，Tree有著良好的預(yù)測(cè)性能和成熟的理論支撐，在很多領(lǐng)域得到了較好的應(yīng)用。RF和GBDT分別使用Bagging和Boosting的集成方法對(duì)Tree進(jìn)行改進(jìn)，在預(yù)測(cè)性能方面有了較大的提升。XGB模型有最強(qiáng)機(jī)器學(xué)習(xí)算法之稱，LGB模型對(duì)XGB模型的生長(zhǎng)策略和過擬合問題進(jìn)行了優(yōu)化[11]。XGB和LGB模型在對(duì)Tree使用Boosting集成的基礎(chǔ)上，又借鑒了Bagging集成方法進(jìn)行隨機(jī)采樣，是融合使用Boosting和Bagging集成方法的典范。ENet和KRR模型是針對(duì)線性模型添加L1和L2正則化的改進(jìn)模型，有嚴(yán)謹(jǐn)?shù)睦碚撝魏统錾膶?shí)踐應(yīng)用效果。SVM模型對(duì)于解決小樣本、非線性及高維度的問題有獨(dú)特的優(yōu)勢(shì)，在工業(yè)領(lǐng)域已經(jīng)得到了十分廣泛的應(yīng)用。

在進(jìn)一步選擇第一層的基學(xué)習(xí)器時(shí)，要綜合考慮兩個(gè)方面：一是因?yàn)镾tacking模型的有效性主要來自于特征抽取[12]，而不同的算法是從不同的數(shù)據(jù)空間角度來抽取特征的，因此要盡量選擇差異度較大的模型作為基學(xué)習(xí)器，才能最大程度地綜合不同算法的優(yōu)勢(shì)[13]；二是學(xué)習(xí)能力強(qiáng)的基模型有助于整體預(yù)測(cè)效果的提升[14]，單獨(dú)預(yù)測(cè)性能非常好的基模型能在很大程度上提升融合模型的最終預(yù)測(cè)性能，因此要盡量選擇學(xué)習(xí)能力強(qiáng)的基模型。

2) 毛竹毛料收入。在合作社成立之前，農(nóng)戶的毛竹毛料無償送給毛料加工商，毛料收入幾乎為零。在合作社成立之后，當(dāng)年合作社請(qǐng)人鉤梢，除去成本毛料收入5.4萬元。2017年，合作社買了2臺(tái)毛料加工機(jī)器，租賃0.27 hm2土地，自己加工毛料，除去加工成本，當(dāng)年毛料、竹梢、竹葉3項(xiàng)利潤(rùn)為13.7萬元。

3.1.2 各模型的關(guān)聯(lián)度分析

模型之間的差異可以用各模型預(yù)測(cè)結(jié)果的關(guān)聯(lián)度來表示。本文使用Pearson相關(guān)系數(shù)分析不同模型的關(guān)聯(lián)程度，計(jì)算式如下：

(3)

式中，μx和μy分別為模型x和模型y的預(yù)測(cè)均值。根據(jù)式(3)計(jì)算得到的結(jié)果，畫出各模型之間的相關(guān)性矩陣熱力圖，如圖3所示。熱力圖中顏色越深，模型之間的相關(guān)系數(shù)越接近1，相關(guān)程度越強(qiáng)；反之，模型之間的相關(guān)系數(shù)越接近0，相關(guān)程度越弱。

圖3 各模型預(yù)測(cè)結(jié)果的相關(guān)性分析Fig.3 Correlation analysis of the models’ predicted results

從圖3中可知：Tree、RF、GBDT、LGB、XGB模型兩兩之間的相關(guān)度都很高，因?yàn)檫@幾個(gè)模型雖然在訓(xùn)練機(jī)理上有些不同，但本質(zhì)都是基于決策樹的優(yōu)化算法，算法觀測(cè)數(shù)據(jù)空間的角度差異很??；KRR模型是基于線性模型的改進(jìn)模型，與樹模型的關(guān)聯(lián)度較低；SVM與上述模型的原理有著較大的差異，因此跟其他模型的預(yù)測(cè)結(jié)果相關(guān)度也很低。Stacking方法中往往模型相差越大且模型表現(xiàn)都不錯(cuò)的前提下，模型融合后預(yù)測(cè)結(jié)果會(huì)有大幅提升[15]。

3.1.3 各模型的預(yù)測(cè)效果分析

為了得到學(xué)習(xí)能力較強(qiáng)的基學(xué)習(xí)器，需要觀測(cè)各個(gè)模型單獨(dú)預(yù)測(cè)的效果。這個(gè)過程需要使每個(gè)模型的超參數(shù)達(dá)到最優(yōu)，模型調(diào)參過程采取應(yīng)用最廣泛的K折交叉驗(yàn)證(取K=5)，結(jié)合交叉驗(yàn)證法使用GridSearchCV(網(wǎng)格調(diào)參方法)確定最佳超參數(shù)。各模型的最佳超參數(shù)及預(yù)測(cè)誤差如表1所示。

表1 各模型的最佳超參數(shù)及預(yù)測(cè)結(jié)果Table 1 The best hyperparameters and prediction results of the models

由表1可得，經(jīng)超參數(shù)調(diào)優(yōu)后，樹模型優(yōu)化算法XGB、LGB和線性模型優(yōu)化算法ENet的表現(xiàn)是單模型中較為出色的。從前面的關(guān)聯(lián)度分析中可知，SVM和KRR與樹模型的關(guān)聯(lián)度較低。因此，本文選取XGB、LGB、ENet、SVM、KRR作為候選基學(xué)習(xí)器。

3.2 元學(xué)習(xí)器的選擇

第二層的元學(xué)習(xí)器一般選擇泛化能力較強(qiáng)的模型或較為簡(jiǎn)單的模型，以降低過擬合[16]。上述學(xué)習(xí)器中RF通過降低方差來提高模型預(yù)測(cè)性能，是泛化能力較強(qiáng)的模型；ENet作為線性回歸的優(yōu)化模型，是較為簡(jiǎn)單的模型。因此，本文對(duì)比使用RF、ENet作為候選元學(xué)習(xí)器，且后續(xù)結(jié)合使用K折交叉驗(yàn)證方法降低過擬合。

3.3 Stacking中不同學(xué)習(xí)器組合方式對(duì)比

表2 不同模型組合后的預(yù)測(cè)效果Table 2 Predictive effect of different model combinations

根據(jù)表2，不同組合方式下Stacking模型的預(yù)測(cè)效果有著明顯的差異。組合方式1的預(yù)測(cè)效果優(yōu)于組合方式2，說明ENet作為元學(xué)習(xí)器比RF性能更好，更有利于提高模型的泛化能力。組合方式1的預(yù)測(cè)效果優(yōu)于組合方式3，雖然組合方式3中各個(gè)基模型的相關(guān)度最低，但因?yàn)镾VM本身的預(yù)測(cè)性能比較差，所以加入融合模型中，并未能提高模型整體的預(yù)測(cè)性能。組合方式1的預(yù)測(cè)效果優(yōu)于組合方式4，這是因?yàn)榻M合方式4中，第一層基學(xué)習(xí)器已經(jīng)存在ENet模型，第二層元學(xué)習(xí)器也是ENet模型，導(dǎo)致數(shù)據(jù)被反復(fù)訓(xùn)練，增加了過擬合的風(fēng)險(xiǎn)，降低了模型的泛化能力。對(duì)比組合方式1、5、6可得，基學(xué)習(xí)器的數(shù)量選擇要適當(dāng)，就本實(shí)驗(yàn)而言，3個(gè)基學(xué)習(xí)器的預(yù)測(cè)性能最好，增加或者減少都會(huì)降低模型的預(yù)測(cè)性能。

3.4 注塑件尺寸預(yù)測(cè)Stacking模型及其性能分析

綜合分析表1和表2可知，組合方式1不但比所有單一模型的預(yù)測(cè)效果好，而且在所有Stacking組合方式中的預(yù)測(cè)效果最佳，因此本文采用組合方式1進(jìn)行模型融合，最終得到的注塑件尺寸預(yù)測(cè)Stacking模型如圖4所示。實(shí)際應(yīng)用中，將i行×j列的測(cè)試數(shù)據(jù)輸入到融合模型中，首先經(jīng)過基學(xué)習(xí)器XGB、LGB、KRR，輸出i行×3列的結(jié)果數(shù)據(jù)；然后將此結(jié)果數(shù)據(jù)輸入到元學(xué)習(xí)器ENet中，輸出最終的i行×1列預(yù)測(cè)結(jié)果。

圖4 注塑件尺寸預(yù)測(cè)Stacking模型Fig.4 Stacking model for injection part size prediction

為了進(jìn)一步檢驗(yàn)注塑件尺寸預(yù)測(cè)Stacking模型的性能，使用測(cè)試集對(duì)比分析工業(yè)界最常用的單一模型SVM以及融合使用Boosting和Bagging方法的代表性模型XGB、LGB的測(cè)試結(jié)果，RMSE和MAE值如表3所示，模型測(cè)試效果比較如圖5所示。

表3 4種模型測(cè)試結(jié)果的RMSE和MAE對(duì)比Table 3 RMSE and MAE comparison of test results among four models

由表3可知，注塑件尺寸預(yù)測(cè)Stacking模型的RMSE和MAE較LGB模型分別降低了15.51%、20.04%，較XGB模型分別降低了16.79%、19.72%，較傳統(tǒng)SVM模型分別降低了45.22%、46.48%，性能提升明顯。

從圖5中可以發(fā)現(xiàn)：SVM模型對(duì)注塑件尺寸的變化趨勢(shì)不夠敏感；XGB模型和LGB模型能較好地跟蹤注塑件尺寸的變化趨勢(shì)，但其預(yù)測(cè)誤差偏大；Stacking模型在注塑件尺寸大幅變化和平穩(wěn)變化階段能更準(zhǔn)確地捕捉到其變化規(guī)律，預(yù)測(cè)準(zhǔn)確性和魯棒性更高。

圖5 4種模型的測(cè)試效果對(duì)比Fig.5 Comparison of test effects among four models

此外，根據(jù)集成的基學(xué)習(xí)器XGB提供的特征重要性排序方法，可以獲得對(duì)注塑件尺寸影響程度較大的特征及其重要性排序，如圖6所示。

圖6 特征重要性排序圖Fig.6 A sort chart of the importance of features

由圖6可得，回水溫度、射嘴壓力、模溫機(jī)水流量、模腔壓力是得分較高的重要特征。企業(yè)工程師可以從這些重要特征入手進(jìn)行工藝優(yōu)化，使這些特征變量更穩(wěn)定，從而提升產(chǎn)品質(zhì)量。

4 結(jié)語(yǔ)

針對(duì)注塑件尺寸預(yù)測(cè)問題，本文提出了一種基于Stacking集成學(xué)習(xí)的融合模型。首先，通過優(yōu)化的特征選擇方法得到最佳的特征數(shù)量；然后，通過分析單一模型的關(guān)聯(lián)度和預(yù)測(cè)效果、對(duì)比不同學(xué)習(xí)器的組合方式，構(gòu)建出預(yù)測(cè)性能最佳的Stacking模型，該模型的基學(xué)習(xí)器為XGB、LGB、KRR，元學(xué)習(xí)器為ENet。測(cè)試結(jié)果表明，本文構(gòu)建的注塑件尺寸預(yù)測(cè)Stacking模型的RMSE和MAE較XGB和LGB模型分別降低了16%和20%左右，較傳統(tǒng)SVM模型分別降低了45.22%和46.48%。另外，本文模型能同步回溯出影響注塑件尺寸的重要特征與排序，可為制造工藝優(yōu)化提供決策指導(dǎo)。