保 江，謝永芳，劉金平，唐朝暉，艾明曦

(1.中南大學(xué)自動(dòng)化學(xué)院，湖南長(zhǎng)沙 410083;2.湖南師范大學(xué)信息科學(xué)與工程學(xué)院，湖南長(zhǎng)沙 410081)

1 引言

泡沫浮選是一種應(yīng)用廣泛的將有用礦物從礦石中分離出來的選礦方法，泡沫浮選的目的是得到較高品位的精礦[1]，進(jìn)料條件的劇烈波動(dòng)和浮選過程參數(shù)的急劇變化可能導(dǎo)致“沉槽”、“冒槽”等異常工況，最終導(dǎo)致礦物回收率降低，精礦品位不合格.因此，準(zhǔn)確進(jìn)行異常工況識(shí)別對(duì)整個(gè)浮選過程至關(guān)重要[2].

一直以來，操作工人依靠主觀經(jīng)驗(yàn)通過觀察泡沫外觀判斷浮選工況.但浮選現(xiàn)場(chǎng)環(huán)境惡劣，勞動(dòng)力強(qiáng)度大，人工判別的方式主觀性太強(qiáng)，缺乏客觀標(biāo)準(zhǔn)，使得人工觀測(cè)為主的礦物浮選過程難以穩(wěn)定在最優(yōu)運(yùn)行狀態(tài)[3].機(jī)器視覺技術(shù)具有快速性、非接觸性等優(yōu)點(diǎn)，基于圖像處理的浮選過程監(jiān)控系統(tǒng)越來越受到重視[4].目前，國(guó)內(nèi)外學(xué)者利用圖像處理技術(shù)從泡沫圖像中提取出視覺特征，對(duì)浮選泡沫進(jìn)行客觀描述，并將視覺特征應(yīng)用于浮選過程的工況識(shí)別.Peng等[5]針對(duì)與浮選性能相關(guān)的局部光譜特征形狀、大小無規(guī)則性，提出了一種基于多維主元分析的特征提取方法，并且將提取的特征應(yīng)用于銅粗選過程的病態(tài)工況識(shí)別;Zhao等[6]基于多尺度紋理特征和嵌入先驗(yàn)知識(shí)K-Means對(duì)銻浮選過程故障狀態(tài)進(jìn)行了分類識(shí)別;Lu等[7]提出了一種浮選泡沫圖像等效尺寸分布特征提取方法，提取一種新的浮選泡沫圖像特征-等效尺寸分布特征，并且將其應(yīng)用于銅浮選泡沫圖像分類識(shí)別;Supomo A等[8]通過自動(dòng)控制泡沬流速來提高浮選礦物回收率，主要利用泡沫表面的單一特征關(guān)聯(lián)浮選過程的局部操作調(diào)整開展了研究.盡管以上采用機(jī)器視覺技術(shù)對(duì)泡沫的顏色、大小、紋理等表觀特征進(jìn)行了研究，但都是基于清晰泡沫圖像進(jìn)行特征提取，而銻粗選異常工況下的泡沫圖像存在離焦模糊，影響了圖像特征提取的準(zhǔn)確度.因此，如何從模糊泡沫圖像中提取顯著、有效的視覺特征在銻粗選工況識(shí)別和性能預(yù)測(cè)中起著關(guān)鍵作用.

銻粗選作為銻浮選的首要工序，其首槽上安裝有泡沫圖像采集設(shè)備.因?yàn)閳D像采集設(shè)備在安裝完成后焦距固定，當(dāng)浮選過程出現(xiàn)“沉槽”、“冒槽”等現(xiàn)象時(shí)，泡沫圖像在離焦的影響下，存在不同程度的離焦模糊.根據(jù)圖像退化理論[9]，模糊核零范數(shù)和圖像復(fù)原前后的灰度平均梯度差能較好的反映圖像模糊程度.因此，如何獲取兩個(gè)復(fù)原圖像特征是本文研究的焦點(diǎn)之一.

泡沫層由大量單個(gè)氣泡聚集起來，氣泡表面視覺特征通常屬于經(jīng)典的隨機(jī)分布，這意味著一些隱含的特征難以描述和提取.從而，利用上面所提到的一些基于灰度圖像統(tǒng)計(jì)計(jì)算的特征提取方法會(huì)導(dǎo)致在特征提取過程中丟失一些圖像信息.同時(shí)，浮選過程通常隨時(shí)間變化，僅從少量圖像中提取的特征不能準(zhǔn)確描述當(dāng)前工況，從泡沫浮選現(xiàn)場(chǎng)收集的大量泡沫圖像未能得到充分利用.

深度學(xué)習(xí)在最近幾年的圖像識(shí)別難題中得到普遍應(yīng)用.深度神經(jīng)網(wǎng)絡(luò)通過大量數(shù)據(jù)和高性能并行計(jì)算技術(shù)，能夠克服以往的小批量數(shù)據(jù)和淺層網(wǎng)絡(luò)帶來的阻礙.將泡沫圖像直接輸入到深度神經(jīng)網(wǎng)絡(luò)提取深度視覺特征，可以避免以往人為提取特征和數(shù)據(jù)重建的復(fù)雜過程.Wang等人[10]使用從泡沫圖像提取的單個(gè)氣泡圖像的大量數(shù)據(jù)集構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)，使用所提出的兩步策略實(shí)現(xiàn)工況識(shí)別.

訓(xùn)練包含數(shù)百萬個(gè)參數(shù)的深度神經(jīng)網(wǎng)絡(luò)需要數(shù)百萬個(gè)標(biāo)注樣本.比如ImageNet圖像分類數(shù)據(jù)集中有120萬標(biāo)注圖片，所以才能將152層的ResNet模型訓(xùn)練到大約96.5%的準(zhǔn)確率[11].在真實(shí)應(yīng)用中，很難收集到如此多的標(biāo)注數(shù)據(jù).即使可以收集到，也需要花費(fèi)大量人力物力.而且即使有海量的訓(xùn)練數(shù)據(jù)，要訓(xùn)練一個(gè)復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)也需要幾天甚至幾周的時(shí)間.為了解決標(biāo)注數(shù)據(jù)和訓(xùn)練時(shí)間的問題，遷移學(xué)習(xí)方法應(yīng)運(yùn)而生.其目標(biāo)是將一個(gè)問題上訓(xùn)練好的模型通過合理的調(diào)整使其適用于另一個(gè)新的問題.遷移學(xué)習(xí)被應(yīng)用于解決不同的圖像分類問題[12-15].Chris Aldrich等人[16]基于遷移學(xué)習(xí)對(duì)AlexNet預(yù)訓(xùn)練模型進(jìn)行微調(diào)實(shí)現(xiàn)泡沫圖像的4分類問題.由于礦石性質(zhì)與浮選工藝等的不同，不同浮選過程的泡沫呈現(xiàn)出具有明顯差別的狀態(tài).因此，針對(duì)不同的浮選對(duì)象，如何選取和調(diào)整深度神經(jīng)網(wǎng)絡(luò)，利用遷移學(xué)習(xí)來獲取深度視覺特征，再對(duì)深度視覺特征進(jìn)行關(guān)鍵性特征選取是本文研究的焦點(diǎn)之二.

基于泡沫浮選中存在的上述問題，本文提出了一種基于圖像退化理論提取的復(fù)原圖像特征與基于深度神經(jīng)網(wǎng)絡(luò)提取的深度視覺特征融合的泡沫圖像異常工況識(shí)別方法.本文的其余部分安排如下:第2部分，異常工況分析以及整體方法流程;第3部分，基于圖像退化理論提取復(fù)原圖像特征，再基于深度神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)提取深度視覺特征;第4部分，XGBoost機(jī)器學(xué)習(xí)算法以及關(guān)鍵性深度視覺特征篩選方法;第5部分，進(jìn)行了實(shí)驗(yàn)過程數(shù)據(jù)及實(shí)驗(yàn)結(jié)果的分析;第6部分，進(jìn)行了總結(jié)及進(jìn)一步的討論.

2 異常工況分析及識(shí)別方法

因?yàn)楦∵x槽安裝的圖像采集設(shè)備焦距固定，浮選工況正常時(shí)，泡沫層在圖像采集設(shè)備的焦平面上，此時(shí)采集到的泡沫圖像通常較為清晰.當(dāng)出現(xiàn)冒槽現(xiàn)象時(shí)，礦漿液位較高，大量礦化泡沫和礦漿外溢，流動(dòng)速度較快，礦漿容易被帶到精礦里，從而導(dǎo)致精礦品位降低.而當(dāng)出現(xiàn)沉槽現(xiàn)象時(shí)，礦漿液位偏低，泡沫在浮選槽的停留時(shí)間較短，泡沫層厚度增加，泡沫間的兼并時(shí)間變長(zhǎng)，刮出來的泡沫較少.當(dāng)出現(xiàn)沉槽或冒槽這樣的異常工況時(shí)，因?yàn)閳D像采集設(shè)備不能自動(dòng)變焦，所以此時(shí)泡沫層不在圖像采集設(shè)備的焦平面上，采集的泡沫圖像往往會(huì)因?yàn)殡x焦而產(chǎn)生不同程度的模糊.圖1為工業(yè)攝像機(jī)采集泡沫圖像時(shí)泡沫成像及離焦模糊示意圖.

本文首先基于圖像退化理論提取了模糊核零范數(shù)和灰度平均梯度差兩個(gè)復(fù)原圖像特征.因?yàn)閺?fù)原圖像特征的表征能力有限，所以，再基于深度神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)提取深度視覺特征，其中使用的InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)模型已經(jīng)在1400萬ImageNet數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練.利用泡沫圖像數(shù)據(jù)對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)后提取泡沫圖像深度視覺特征，最后，通過XGBoost進(jìn)行關(guān)鍵性特征篩選，融合復(fù)原圖像特征進(jìn)行工況分類.如圖2是銻粗選的線上、線下工況識(shí)別流程圖.

圖1 泡沫成像及離焦模糊示意圖Fig.1 Diagram of froth imaging and defocus blur

圖2 銻粗選工況識(shí)別流程圖Fig.2 Flow chart of working condition recognition for antimony roughly selected

3 泡沫圖像特征提取

本文首先基于圖像復(fù)原算法提取復(fù)原圖像特征，即模糊核零范數(shù)與灰度平均梯度差，再基于深度神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)提取深度視覺特征.

3.1 復(fù)原圖像特征提取

大多數(shù)圖像復(fù)原算法如維納濾波復(fù)原、逆濾波復(fù)原等都是建立在對(duì)圖像的點(diǎn)擴(kuò)散函數(shù)已知的前提下，而泡沫浮選過程中的成像條件復(fù)雜，導(dǎo)致點(diǎn)擴(kuò)散函數(shù)無法精確得知，只能在模糊核未知的情況下根據(jù)模糊圖像的先驗(yàn)知識(shí)來進(jìn)行圖像盲復(fù)原.

3.1.1 模糊核零范數(shù)特征提取

本文首先提取模糊核零范數(shù)特征，提出了一種基于L0和L2正則項(xiàng)的模糊核估計(jì)方法.根據(jù)圖像金字塔理論[17]，由粗到細(xì)地從圖像金字塔的頂層至底層求解估計(jì)模糊核.圖3為模糊核估計(jì)整體流程圖.根據(jù)模糊模型y=k*x+n和貝葉斯理論p(x，k|y)∝p(y|x，k)p(x)p(k)可以得到模糊核估計(jì)模型[18]為

其中:y為初始模糊圖像，x為中間清晰圖像，*為卷積算子，k為模糊核，p(x)為中間清晰圖像的先驗(yàn)知識(shí)，p(k)為模糊核的先驗(yàn)知識(shí)，‖k*x-y‖為數(shù)據(jù)擬合項(xiàng).在對(duì)模糊核進(jìn)行估計(jì)時(shí)，采用交替迭代的方法來求解式(1)-(2)中的兩個(gè)未知量x和k，最終求解的x為中間清晰圖像，用于提高模糊核k的準(zhǔn)確度.

圖3中根據(jù)圖像金字塔是否到達(dá)底層來決定交替迭代是否結(jié)束，其中圖像金字塔的層數(shù)為

其中:N為圖像金字塔的底層值，ks為模糊核的尺寸.

圖3 模糊核估計(jì)流程圖Fig.3 Flow chart of blur kernel estimation

因?yàn)樘荻认闰?yàn)可以有效的抑制振鈴效應(yīng)，并且清晰圖像的梯度圖像較為稀疏，模糊圖像的梯度圖像較為稠密[19].因此選用L0梯度先驗(yàn)作為正則項(xiàng)，即

所以，中間清晰圖像的求解方程為

其中:‖?x‖0為L(zhǎng)0正則項(xiàng)，λ為L(zhǎng)0正則項(xiàng)參數(shù).

在清晰圖像的求解過程中，首先引入對(duì)應(yīng)于圖像梯度信息的輔助變量g=(gh，gv)T，其中:gh為水平分量，gv為垂直分量，再基于二次分裂的方法求解，即

當(dāng)g初始化為全0矩陣時(shí)，中間清晰圖像的求解方程為

其中:F-1(·)，F(xiàn)(·)分別代表快速傅里葉反變換和快速傅里葉變換，為F(·)的復(fù)共軛算子，

?h，?v分別為水平微分算子和垂直微分算子.

當(dāng)x確定時(shí)，通過逼近估計(jì)得到g的解為

根據(jù)數(shù)字圖像的成像機(jī)理和泡沫浮選的現(xiàn)場(chǎng)環(huán)境，當(dāng)出現(xiàn)“冒槽”和“沉槽”這樣的異常工況時(shí)，工業(yè)攝像機(jī)因?yàn)榕菽砻娓叨劝l(fā)生變化導(dǎo)致對(duì)焦不準(zhǔn)，雖然同時(shí)受到其他因素(噪聲、泡沫流速)的影響，但泡沫圖像的模糊類型主要為離焦模糊.而離焦模糊的模糊核理論上為一個(gè)高斯函數(shù)[20]，模型為

其中σ為高斯離焦參數(shù).因此，基于模糊核先驗(yàn)知識(shí)的L2正則項(xiàng)為

則由式(2)和式(10)可知，模糊核的求解方程為

對(duì)給定的中間清晰圖像，在梯度空間求解式(11)得到模糊核k，其解為

得到估計(jì)模糊核之后，對(duì)模糊核進(jìn)行優(yōu)化處理.優(yōu)化處理包括:針對(duì)模糊核的非負(fù)特性，將模糊核中負(fù)值元素設(shè)為0;針對(duì)模糊核的連續(xù)特性，保留模糊核的主要結(jié)構(gòu)，剔除分支;針對(duì)模糊核的能量守恒特性，對(duì)模糊核進(jìn)行歸一化處理，使元素和等于1.圖4是采用以上方法得到的不同工況下的模糊核.

圖4 不同工況下的模糊核Fig.4 Blur kernel under different working conditions

通過統(tǒng)計(jì)模糊核中的非零元素個(gè)數(shù)即可得到模糊核零范數(shù)統(tǒng)計(jì)特征‖k‖0.

3.1.2 灰度平均梯度差特征提取

在第3.1.1節(jié)中對(duì)模糊核進(jìn)行了估計(jì)和優(yōu)化處理，接下來利用已估計(jì)出的模糊核對(duì)模糊泡沫圖像進(jìn)行復(fù)原.本文采用L-R(Lucy-Richardson)算法對(duì)模糊泡沫圖像進(jìn)行復(fù)原[21].該算法假設(shè)像素點(diǎn)滿足泊松分布，在貝葉斯條件概率模型的基礎(chǔ)上采用極大似然估計(jì)通過迭代的方式求解清晰圖像，其迭代方程為

其中:xj為原始圖像進(jìn)行j次迭代，為退化圖像，y為估計(jì)模糊核，*為卷積運(yùn)算.

然后采用無參考評(píng)價(jià)中的灰度平均梯度值(grayscale mean gradient，GMG)對(duì)泡沫復(fù)原圖像的質(zhì)量進(jìn)行評(píng)價(jià)，其表達(dá)式為

其中:m，n分別為圖像的寬和高，fi，j為位置(i，j)的灰度值.通過式(14)得到復(fù)原前的灰度平均梯度值G1和復(fù)原后的灰度平均梯度值G2，從而得到復(fù)原前后的灰度平均梯度差ˉG

3.2 深度視覺特征提取

因?yàn)榛诘?.1節(jié)提取的兩個(gè)復(fù)原圖像特征不足以描述異常工況的全部信息.為了往更深層次挖掘泡沫圖像特征，本文提出了基于InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)，利用遷移學(xué)習(xí)提取深度視覺特征.該方法利用一定量的泡沫圖像數(shù)據(jù)對(duì)在ImageNet公共數(shù)據(jù)集上預(yù)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行微調(diào)，通過調(diào)整深度神經(jīng)網(wǎng)絡(luò)各層結(jié)構(gòu)，構(gòu)造不同的卷積核來提取不同層次的深度泡沫圖像特征.

3.2.1 InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)

InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)結(jié)合了ResNet深度神經(jīng)網(wǎng)絡(luò)和Inceptionv3深度神經(jīng)網(wǎng)絡(luò)各自的優(yōu)點(diǎn).對(duì)于一張泡沫圖像，泡沫表面可能有大的泡沫也可能有小的泡沫，不同區(qū)域的泡沫形態(tài)不同.基于Inceptionv3的多卷積核特性，可以提取到非常全面的泡沫圖像特征信息.因?yàn)镮nceptionv3網(wǎng)絡(luò)趨向于很深，所以結(jié)合ResNet的殘差連接特性，使用殘差連接替代濾波器的連結(jié)，這將在保持計(jì)算量基本不變的情況下，允許Inception充分利用殘差連接的優(yōu)點(diǎn)，保證網(wǎng)絡(luò)在層次較深時(shí)不會(huì)產(chǎn)生梯度消失或梯度爆炸現(xiàn)象.如圖5是其中的一個(gè)Inception-Res-Net-A模塊結(jié)構(gòu)圖.

圖5 Inception-ResNet-A模塊Fig.5 Module of Inception-ResNet-A

圖5中的1*3，3*1，3*3等多個(gè)卷積核可以提取到更完備的深度視覺特征.同時(shí)，殘差特性:

使網(wǎng)絡(luò)可以不用學(xué)習(xí)整個(gè)輸出，而是學(xué)習(xí)上一個(gè)網(wǎng)絡(luò)輸出的殘差，從而提高了網(wǎng)絡(luò)訓(xùn)練速度.圖中的直接連接部分保護(hù)信息的完整性，保證網(wǎng)絡(luò)的性能不會(huì)隨著深度增加而降低.

3.2.2 遷移學(xué)習(xí)

對(duì)于復(fù)雜的神經(jīng)網(wǎng)絡(luò)，參數(shù)多、訓(xùn)練樣本大，所以從頭開始訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)非常慢.為此，提出了遷移學(xué)習(xí).遷移學(xué)習(xí)的優(yōu)勢(shì)在于，從一項(xiàng)任務(wù)中學(xué)到的知識(shí)可以應(yīng)用于解決其他類似問題，從而可以節(jié)省大量的模型訓(xùn)練時(shí)間.其過程為指定一個(gè)確定域D，D={Ω，P(X)}，X={x1，x2，…，xn}，其中:Ω是特征空間，P(X)是邊際概率分布.給定確定域D的學(xué)習(xí)任務(wù)T，T={Y，F(xiàn)(*)}，其中:Y 是標(biāo)簽空間，F(xiàn)(*)是從特征向量和標(biāo)簽空間中學(xué)習(xí)到的目標(biāo)函數(shù).具體的，給定源域DS及對(duì)應(yīng)的學(xué)習(xí)任務(wù)TS，同時(shí)給定目標(biāo)域DT及對(duì)應(yīng)的學(xué)習(xí)任務(wù)TT.其中:DS/=DT，TS/=TT[22].遷移學(xué)習(xí)的目標(biāo)在于利用從源域DS及對(duì)應(yīng)的學(xué)習(xí)任務(wù)TS中學(xué)習(xí)到的知識(shí)應(yīng)用于改進(jìn)目標(biāo)域DT中的目標(biāo)函數(shù)FT(*).

3.2.3 基于深度神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的深度視覺特征提取

利用一定量的泡沫圖像數(shù)據(jù)對(duì)在ImageNet公共數(shù)據(jù)集上預(yù)訓(xùn)練好的InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào).基于遷移學(xué)習(xí)思想，將權(quán)重參數(shù)傳送到本文的泡沫圖像分類任務(wù)中，使其擬合的目標(biāo)函數(shù)接近于目標(biāo)域目標(biāo)函數(shù)，保證深度神經(jīng)網(wǎng)絡(luò)提取到較高性能的深度視覺特征.然后將微調(diào)后的深度神經(jīng)網(wǎng)絡(luò)模型作為特征提取器，提取深度視覺特征.如圖6是深度視覺特征提取過程.深度神經(jīng)網(wǎng)絡(luò)由多個(gè)不同深度的網(wǎng)絡(luò)層組成，這些網(wǎng)絡(luò)層能夠?qū)W習(xí)到具有不同抽象級(jí)別的圖像特征.圖7是不同網(wǎng)絡(luò)層提取到的不同級(jí)別的深度視覺特征圖譜，可見，隨著層數(shù)的增加，提取到的深度視覺特征越具有代表性.淺層網(wǎng)絡(luò)提取的是紋理、細(xì)節(jié)特征，深層網(wǎng)絡(luò)提取的是輪廓、形狀等強(qiáng)特征.

圖6 遷移學(xué)習(xí)過程Fig.6 Process of transfer learning

圖7 深度神經(jīng)網(wǎng)絡(luò)提取的淺層特征(左)、中間層特征(中)和深層特征(右)Fig.7 The deep visual features of Shallow feature(left)，middle layer feature(middle)and deep features(right)

4 XGBoost分類器及關(guān)鍵性特征篩選方法

XGBoost以梯度提升樹為基礎(chǔ)，將弱學(xué)習(xí)器以迭代的方式組合成更強(qiáng)的學(xué)習(xí)器[23].其決策流程圖如圖8所示.梯度提升樹每次迭代都是為了減小上一次迭代留下的殘差，以此來矯正整體學(xué)習(xí)器的偏差，優(yōu)化指定的損失函數(shù).同時(shí)，XGBoost在其損失函數(shù)中加入了正則項(xiàng)，起到了對(duì)決策樹(Tree)進(jìn)行預(yù)剪枝的效果，從而防止模型過擬合，并且對(duì)目標(biāo)函數(shù)進(jìn)行了二階泰勒展開[24]來優(yōu)化目標(biāo)函數(shù)，其目標(biāo)函數(shù)如下:

圖8 XGBoost決策樹訓(xùn)練過程Fig.8 Decision tree training process of XGBoost

正則項(xiàng)與葉子節(jié)點(diǎn)數(shù)和葉子權(quán)值平方和有關(guān)，即

其中:γ和λ分別是L1和L2正則化系數(shù)，T是決策樹葉子節(jié)點(diǎn)數(shù)，w為各個(gè)葉子節(jié)點(diǎn)的輸出向量.L2正則可以降低模型過擬合風(fēng)險(xiǎn)，L1正則在數(shù)據(jù)維度極高時(shí)可以提高算法的運(yùn)行速度.本文中的深度視覺特征維度較高，所以基于L1和L2正則來構(gòu)建模型.即

式中:gt和ht分別是損失函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)，C是常數(shù)項(xiàng).

基于樹的集成算法在模型訓(xùn)練結(jié)束后可以輸出模型所使用的特征的相對(duì)重要度，便于做選擇特征.在XGBoost中，特征j的全局重要度通過特征j在單棵樹中的重要度的平均值來衡量:

其中M是樹的數(shù)量.特征j在單棵樹中的重要度?J2j(T)為

其中:L為樹的葉子節(jié)點(diǎn)數(shù)，L-1即為樹的非葉子節(jié)點(diǎn)數(shù)，vt是和節(jié)點(diǎn)t相關(guān)聯(lián)的特征，是節(jié)點(diǎn)t分裂之后平方誤差的減少量[25].

5 實(shí)驗(yàn)結(jié)果與分析

首先解釋實(shí)驗(yàn)數(shù)據(jù)來源以及數(shù)據(jù)集的劃分，然后分別對(duì)復(fù)原圖像特征和深度視覺特征的分離性進(jìn)行分析討論.最后，將所提方法與傳統(tǒng)方法進(jìn)行比較.

5.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用的數(shù)據(jù)是通過位于銻粗選單元上方約110 cm處的機(jī)器視覺系統(tǒng)以7.5 fps的幀速率收集的泡沫視頻.LED照明強(qiáng)度為1500，用于提供一致的照明，同時(shí)相機(jī)設(shè)置的蓋子進(jìn)一步減少了環(huán)境光的干擾.

根據(jù)工業(yè)攝像機(jī)拍攝到的銻粗選圖像數(shù)據(jù)和現(xiàn)場(chǎng)實(shí)際要求，將泡沫圖像分為5種典型工況，即嚴(yán)重冒槽、輕微冒槽、正常、輕微沉槽、嚴(yán)重沉槽，如圖9所示.選取12200張標(biāo)注圖像作為訓(xùn)練集，2000張作為測(cè)試集.在訓(xùn)練時(shí)把訓(xùn)練集切分為訓(xùn)練集和驗(yàn)證集兩部分，8200張圖像作為訓(xùn)練集，2000張作為驗(yàn)證集.

圖9 銻粗選典型工況泡沫圖像Fig.9 Typical abnormal condition froth images of antimony roughly selected

表1給出了在實(shí)驗(yàn)中用到的數(shù)據(jù)集劃分情況.

表1 工況識(shí)別數(shù)據(jù)集劃分Table 1 Working condition identification data set division

5.2 特征分離性分析

5.2.1 復(fù)原圖像特征分離性分析

用一定數(shù)量的銻粗選工業(yè)現(xiàn)場(chǎng)數(shù)據(jù)分析模糊核零范數(shù)和灰度平均梯度差對(duì)不同工況的分離性，結(jié)果如圖10-11所示.通過分析可以看出，模糊核零范數(shù)與灰度平均梯度差都能夠比較明顯的區(qū)分出嚴(yán)重冒槽、嚴(yán)重沉槽和正常工況，而輕微冒槽和輕微沉槽因?yàn)榕c其他工況的分離邊界存在模糊因素，所以部分分離邊界存在交叉重疊現(xiàn)象.

可見，模糊核零范數(shù)和灰度平均梯度差兩個(gè)復(fù)原圖像特征對(duì)不同工況都有一定程度的分離性，因此，可以將其應(yīng)用到銻粗選異常工況的分類識(shí)別中.但部分邊界仍存在交叉重疊，分離邊界不明顯，對(duì)不同工況的表征能力有限.所以，本文往更深層次挖掘了深度視覺特征，來彌補(bǔ)復(fù)原圖像特征對(duì)異常工況的識(shí)別誤差，進(jìn)一步提高工況識(shí)別準(zhǔn)確率.

5.2.2 深度視覺特征分離性分析

將第3.2.3節(jié)中提取的高維深度視覺特征利用第4節(jié)中的特征重要性篩選方法進(jìn)行降維，通過設(shè)置特征重要性閾值來篩選關(guān)鍵性特征.如圖12是利用InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)提取的特征重要度大于50的39個(gè)深度視覺特征.從圖中的分布來看，重要度較大的居于少數(shù)，基本上是層次比較深的視覺特征，重要度在100以下的特征居多.本文設(shè)置特征重要度閾值為50，將分類器中貢獻(xiàn)比較大的深度視覺特征選取出來，在一定程度上降低了高維深度視覺特征之間的冗余程度，結(jié)合不同重要度的深度視覺特征來進(jìn)一步提高工況識(shí)別準(zhǔn)確率.

圖10 模糊核零范數(shù)特征分離性Fig.10 Separation of blur kernel zero norm feature

圖11 灰度平均梯度差特征分離性Fig.11 Separation of gray mean gradient deviation feature

圖13是選取特征重要度排在前3的3個(gè)深度視覺特征進(jìn)行特征分離性分析的二維平面散點(diǎn)圖.本文利用灰度、紋理粗糙度和顏色分量3個(gè)傳統(tǒng)手動(dòng)特征與深度視覺特征進(jìn)行對(duì)比.從圖中可以看出，灰度、紋理粗糙度和顏色分量等傳統(tǒng)特征可以合理地分離不同的工況類別.但相對(duì)于InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)提取的深度視覺特征，傳統(tǒng)手動(dòng)特征對(duì)于5種工況的劃分仍有較大的交叉重疊區(qū)域，而深度視覺特征的特征空間能夠更好的描繪5個(gè)類別，特別是可以把嚴(yán)重沉槽與其他工況完全分離.

圖12 重要度大于50的深度視覺特征Fig.12 Deep visual features with importance greater than 50

圖13 深度視覺特征與傳統(tǒng)手動(dòng)特征的特征分離性比較Fig.13 The feature separation between deep visual features and traditional manual features

5.3 不同方法的實(shí)驗(yàn)結(jié)果比較

本文選取了4組不同的泡沫圖像特征來進(jìn)行實(shí)驗(yàn)結(jié)果比較.第1組是采用傳統(tǒng)算法提取的泡沫圖像特征，包括顏色、尺寸、粗糙度和速度等泡沫圖像特征;第2組是本文基于圖像退化理論提取的復(fù)原圖像特征;第3組是本文基于深度神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)提取的深度視覺特征;第4組是融合了復(fù)原圖像特征和深度視覺特征的特征集.通過準(zhǔn)確率和時(shí)間復(fù)雜度兩個(gè)方面對(duì)不同工況識(shí)別方法進(jìn)行了分析比較.

5.3.1 準(zhǔn)確率比較

通過采用3種不同的分類算法進(jìn)行工況識(shí)別比較，分別是隨機(jī)森林、支持向量機(jī)、XGBoost.表2是不同特征組、不同分類算法組合下的工況識(shí)別結(jié)果.基于傳統(tǒng)圖像特征對(duì)3種分類算法進(jìn)行比較，可以看出XGBoost的識(shí)別準(zhǔn)確率要比隨機(jī)森林和支持向量機(jī)高一些.因?yàn)殡S機(jī)森林在決策樹構(gòu)建過程中，其樣本和特征是隨機(jī)采樣的，最終的分類結(jié)果是基于bagging的集成學(xué)習(xí)思想進(jìn)行投票表決，所以無法控制模型內(nèi)部的運(yùn)行，只能在不同的參數(shù)和隨機(jī)種子之間進(jìn)行嘗試，可能會(huì)有很多相似的決策樹掩蓋了真實(shí)的結(jié)果，在一定程度上導(dǎo)致模型的穩(wěn)定性欠缺.而支持向量機(jī)主要適用于小樣本學(xué)習(xí)，并且特征維度不能過高，然而本文研究的內(nèi)容數(shù)據(jù)樣本量大，再加上深度視覺特征的高維特性，無法像樹模型那樣進(jìn)行特征的學(xué)習(xí)和選擇降維，所以支持向量機(jī)不適用于本文的大樣本高維度學(xué)習(xí).

基于此，本文選擇使用Xgboost對(duì)剩下的3組特征集進(jìn)行分類識(shí)別比較.從表2可以看出利用復(fù)原圖像特征和利用深度視覺特征的識(shí)別準(zhǔn)確率差不多，整體識(shí)別準(zhǔn)確率比利用傳統(tǒng)圖像特征高.最后融合復(fù)原圖像特征和深度視覺特征，可以看出識(shí)別準(zhǔn)確率明顯高于前3組特征集的識(shí)別準(zhǔn)確率.

表2 不同工況識(shí)別方法的準(zhǔn)確率比較Table 2 Comparison of accuracy of different working conditions identification methods

5.3.2 時(shí)間復(fù)雜度比較

由于SVM借助二次規(guī)劃來求解支持向量，而求解二次規(guī)劃涉及階矩陣的計(jì)算(為樣本數(shù))，當(dāng)較大時(shí)該矩陣的存儲(chǔ)和計(jì)算將耗費(fèi)大量的機(jī)器內(nèi)存和運(yùn)算時(shí)間.同時(shí)，SVM在多分類問題中，需要通過組合多個(gè)分類器來解決，在一定程度上增加了運(yùn)算時(shí)間復(fù)雜度.隨機(jī)森林在決策樹訓(xùn)練過程中引入隨機(jī)行采樣和隨機(jī)列采樣.同時(shí)，每棵樹在構(gòu)建過程中相互獨(dú)立，所以可以實(shí)現(xiàn)高度并行化，故而時(shí)間復(fù)雜度優(yōu)于SVM.相比于前兩者，XGBoost在保持隨機(jī)行采樣和隨機(jī)列采樣特性的基礎(chǔ)上增加了特征粒度上的并行，即對(duì)特征值進(jìn)行了預(yù)排序，實(shí)現(xiàn)多線程計(jì)算特征增益.同時(shí)，XGBoost還增加了近似直方圖算法，使樹的節(jié)點(diǎn)進(jìn)行分裂時(shí)不需要計(jì)算每個(gè)分割點(diǎn)對(duì)應(yīng)的增益，而是通過直方圖算法獲得候選分割點(diǎn)的分布情況，然后根據(jù)候選分割點(diǎn)將連續(xù)的特征信息映射到不同的buckets中，并統(tǒng)計(jì)匯總信息，提高運(yùn)算效率.表3是不同工況識(shí)別方法的時(shí)間復(fù)雜度比較，從前3組實(shí)驗(yàn)結(jié)果對(duì)比來看，XGBoost具有明顯優(yōu)勢(shì).

表3 不同工況識(shí)別方法的時(shí)間復(fù)雜度比較Table 3 Comparison of time complexity of different working conditions identification methods

最后一組實(shí)驗(yàn)將復(fù)原圖像特征與深度視覺特征融合，特征維度高于傳統(tǒng)圖像特征，XGBoost運(yùn)算時(shí)間復(fù)雜度有所增加，但由表2可知準(zhǔn)確率有明顯提高.

6 結(jié)論

銻粗選異常工況識(shí)別是銻浮選全流程監(jiān)控的關(guān)鍵.本文結(jié)合銻粗選機(jī)理和圖像退化理論，分析了復(fù)原圖像特征在不同工況中的差異性.提出了一種基于L0和L2正則項(xiàng)的模糊核估計(jì)方法提取模糊核零范數(shù)特征，再基于圖像非盲復(fù)原機(jī)理提取灰度平均梯度差特征.考慮到復(fù)原圖像特征只能描述泡沫圖像表面的部分信息，對(duì)異常工況的表征能力不足，為了獲取泡沫圖像的深層信息，本文提出了基于深度神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的深度視覺特征提取方法，利用大量泡沫圖像數(shù)據(jù)對(duì)InceptionResNetV1深度神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)，構(gòu)建特征提取器，進(jìn)而提取深度視覺特征.最后，基于XGBoost機(jī)器學(xué)習(xí)算法，對(duì)深度視覺特征進(jìn)行篩選后，融合復(fù)原圖像特征與深度視覺特征，對(duì)不同工況下的泡沫圖像進(jìn)行分類識(shí)別.銻粗選實(shí)驗(yàn)結(jié)果表明，該方法能夠有效降低樣本錯(cuò)分率，提高銻粗選異常工況識(shí)別準(zhǔn)確率.