段禮祥，劉子旺，趙振興，孔 欣，袁 壯

基于區(qū)域?qū)Ρ群碗S機(jī)森林的設(shè)備故障紅外圖像敏感區(qū)域提取

段禮祥1，劉子旺2，趙振興3，孔 欣1，袁 壯1

（1. 中國石油大學(xué)（北京）安全與海洋工程學(xué)院，北京 102249；2. 北京首都國際機(jī)場股份有限公司，北京 100621；3. 中國石油塔里木油田分公司，新疆 庫爾勒 841000）

基于紅外圖像的設(shè)備故障診斷需要從圖像中選擇敏感區(qū)域，由于紅外圖像具有干擾背景多、對(duì)比度低的特點(diǎn)，敏感區(qū)域提取過程中需要進(jìn)行背景移除和圖像分割，但常用的二值化分割算法在分割紅外圖像時(shí)易出現(xiàn)過分割問題。因此，本文提出了基于區(qū)域?qū)Ρ群碗S機(jī)森林的敏感區(qū)域提取方法。首先使用區(qū)域?qū)Ρ确椒▽?duì)紅外圖像進(jìn)行顯著性檢測，以去除干擾背景；然后通過OTSU算法進(jìn)行圖像分割，實(shí)現(xiàn)敏感區(qū)域初步提??；最后結(jié)合隨機(jī)森林分類結(jié)果對(duì)圖像分割過程的閾值進(jìn)行迭代優(yōu)化，實(shí)現(xiàn)敏感區(qū)域的優(yōu)化提取。經(jīng)過轉(zhuǎn)子實(shí)驗(yàn)臺(tái)6種不同狀態(tài)的紅外圖像數(shù)據(jù)驗(yàn)證，將本文方法提取出的故障敏感區(qū)域用于故障診斷時(shí)，分類的準(zhǔn)確率提高了3.3個(gè)百分點(diǎn)，比人工選擇的區(qū)域更加準(zhǔn)確。

設(shè)備故障；紅外圖像；敏感區(qū)域提?。粎^(qū)域?qū)Ρ?；隨機(jī)森林

0 引言

紅外監(jiān)測具有非接觸式、非入侵式、單臺(tái)監(jiān)測范圍大等優(yōu)點(diǎn)，被廣泛應(yīng)用于無損監(jiān)測[1]、氣象地質(zhì)學(xué)[2]、醫(yī)學(xué)[3]、建筑學(xué)[4]等。基于紅外圖像的故障診斷需要獲取圖像中的故障敏感區(qū)域（region of interest, ROI），目前獲取ROI的方法主要有人工劃分和圖像分割算法兩種[5]。設(shè)備的紅外圖像具有強(qiáng)度集中、對(duì)比度低、干擾背景多的特點(diǎn)，需要將干擾背景移除以便ROI的提取。人工選擇ROI對(duì)專業(yè)知識(shí)和經(jīng)驗(yàn)依賴較大，而用現(xiàn)有二值化方法對(duì)去除背景后的圖像直接進(jìn)行分割時(shí)，易出現(xiàn)過分割問題[6]。

視覺顯著性檢測方法可以在沒有先驗(yàn)知識(shí)的情況下檢測出圖像中顯著性區(qū)域[7]，去除圖像中的干擾背景。Goferman等[8]對(duì)圖像局部底層線索、視覺表層特征進(jìn)行建模，突出顯著性的物體。但這種方法基于區(qū)域局部的對(duì)比度，不能均勻地突出整個(gè)物體。Zhai[9]定義了基于某個(gè)像素和其余像素點(diǎn)對(duì)比度的像素級(jí)全局顯著性；Achanta[10]提出一種頻率調(diào)諧方法，用某個(gè)像素和整個(gè)圖像的平均色差定義顯著性；但是這些方法忽略了圖像各部分間的空間關(guān)系。Cheng[7]提出的基于區(qū)域?qū)Ρ龋╮egion-based contrast, RC）的顯著性檢測方法，考慮空間因素的影響，在圖像分割中取得了良好的效果。

隨機(jī)森林（random forest, RF）用于多分類問題時(shí)具有不易過度擬合，容噪能力好，對(duì)參數(shù)依賴小的優(yōu)點(diǎn)，在故障分類方面具有較強(qiáng)的優(yōu)勢(shì)[11]。因此，本文提出了基于區(qū)域?qū)Ρ鹊姆椒ㄟM(jìn)行背景去除；然后根據(jù)隨機(jī)森林的分類結(jié)果對(duì)圖像分割閾值進(jìn)行優(yōu)化，用于解決設(shè)備紅外圖像分割問題，實(shí)現(xiàn)故障敏感區(qū)域的提取和故障診斷。

1 基于區(qū)域?qū)Ρ群烷撝祪?yōu)化的敏感區(qū)域提取

圖1為基于區(qū)域?qū)Ρ群烷撝祪?yōu)化的紅外圖像敏感區(qū)域提取流程：①顯著性檢測，以去除圖像中的干擾背景，包括分割圖像、區(qū)域顏色直方圖計(jì)算、區(qū)域?qū)Ρ榷扔?jì)算；②圖像分割，包括計(jì)算分割閾值、二值化分割、敏感區(qū)域提??；③特征提取和故障分類，分割出敏感區(qū)域后，提取特征，組成特征向量輸入到分類器中進(jìn)行分類；④閾值優(yōu)化，根據(jù)分類結(jié)果對(duì)分割閾值進(jìn)行優(yōu)化調(diào)整，循環(huán)迭代得到最佳的敏感區(qū)域。

1.1 基于區(qū)域?qū)Ρ鹊娘@著性檢測

應(yīng)用區(qū)域?qū)Ρ鹊臋z測方法對(duì)設(shè)備各種狀態(tài)的紅外圖像進(jìn)行顯著性檢測，實(shí)現(xiàn)干擾背景的移除。RC方法通過計(jì)算區(qū)域和整體圖像的對(duì)比度差異來得到顯著性值。首先將圖像分割成區(qū)域，為每個(gè)區(qū)域分配顯著性值，從而得到基于區(qū)域?qū)Ρ榷鹊娘@著性圖。每個(gè)區(qū)域顯著性的值由全局對(duì)比度計(jì)算獲得，全局對(duì)比度值是以當(dāng)前區(qū)域相對(duì)于其它區(qū)域的對(duì)比度的空間距離來衡量。

1.1.1 基于直方圖的對(duì)比度

圖像中像素點(diǎn)的顯著性通過它和其他像素的對(duì)比度來計(jì)算，圖像中像素I的顯著性為：

式中：(I,I)表示像素I和I在Lab空間的顏色距離。

相同顏色值的像素點(diǎn)顯著性值也一樣，對(duì)公式(1)進(jìn)行變形，則每個(gè)顏色顯著性值的計(jì)算方法為：

式中：l表示像素I的顏色值；表示圖像中顏色的總數(shù)；f為c在圖像中出現(xiàn)的概率。

直接用式(1)中的方法計(jì)算圖像中每個(gè)像素點(diǎn)的顯著性的時(shí)間復(fù)雜度為(2)?？梢酝ㄟ^減少像素顏色總數(shù)提高計(jì)算效率，真彩色空間包括2563種顏色，將顏色量化到12個(gè)不同的值，這種量化等級(jí)對(duì)于色彩比較單一的紅外圖像是足夠的。通過選擇出現(xiàn)頻率高的顏色，并保證這些顏色覆蓋95%以上的像素，可以將顏色數(shù)目減少到85左右[7]，紅外圖像中色彩數(shù)量會(huì)更少，如圖2所示?；跁r(shí)間性能考慮，用簡單的基于直方圖的量化方法代替優(yōu)化圖像的特定顏色。

1.1.2 區(qū)域?qū)Ρ榷?/p>

基于紅外圖像的設(shè)備診斷中，需要關(guān)注圖像中與周圍其他物體（圖像背景等）相比對(duì)比度大的區(qū)域，即高溫區(qū)域，這些區(qū)域可能是故障的發(fā)生部位。紅外圖像的顯著性檢測中相鄰區(qū)域的對(duì)比度應(yīng)該比較遠(yuǎn)區(qū)域的對(duì)比度更為重要，這樣更利于檢測出局部高溫區(qū)域。因此本文運(yùn)用RC方法將區(qū)域的對(duì)比度和空間的遠(yuǎn)近關(guān)系結(jié)合起來。

圖1 基于區(qū)域?qū)Ρ群烷撝祪?yōu)化的紅外圖像敏感區(qū)域提取流程

對(duì)每個(gè)區(qū)域r，通過計(jì)算與其他區(qū)域的顏色對(duì)比度來計(jì)算其顯著性：

式中：(r)表示區(qū)域r權(quán)值；D(r,r)表示兩個(gè)區(qū)域的顏色距離。兩個(gè)不同區(qū)域r、r的顏色距離為：

式中：(c,)表示第個(gè)顏色c,p在第個(gè)區(qū)域r的所有n種顏色中出現(xiàn)的概率。

區(qū)域?qū)Ρ榷瓤臻g加權(quán)算法中，通過加入空間權(quán)值增加區(qū)域的空間效果，來凸顯紅外圖像中局部高溫部位。臨近區(qū)域?qū)Ρ榷葯?quán)重大于較遠(yuǎn)區(qū)域，具體計(jì)算方法如下：

式中：s(r,r)表示區(qū)域r、r之間的空間距離；s表示空間權(quán)值的強(qiáng)度。s的值越大，空間權(quán)值的影響越小，較遠(yuǎn)區(qū)域的對(duì)比度對(duì)于顯著性的貢獻(xiàn)越大。

兩個(gè)區(qū)域的距離通過中心點(diǎn)的歐式距離計(jì)算。圖3為轉(zhuǎn)子實(shí)驗(yàn)臺(tái)6種不同狀態(tài)下紅外圖像的顯著性檢測結(jié)果。從圖中可以看出，基于RC的方法可以增加轉(zhuǎn)子實(shí)驗(yàn)臺(tái)各部件的對(duì)比度，成功移除了干擾背景。

1.2 敏感區(qū)域初步提取

完成顯著性檢測后，就可以對(duì)圖像進(jìn)行分割，初步提取敏感區(qū)域?；陂撝档膱D像分割具有方法簡單、效率高等特點(diǎn)，在實(shí)際圖像處理中具有廣泛的應(yīng)用。OTSU算法[12]計(jì)算分割后各像素類的類間方差，其中類間方差最大的值即為閾值。

根據(jù)OTSU算法的分割結(jié)果存在過分割問題，如圖4所示，只能分割出溫度最高的部分（電機(jī)部分），分割結(jié)果不能直接用于圖像的故障分類，還需要對(duì)分割閾值進(jìn)行優(yōu)化。因此本文提出基于故障分類結(jié)果的二值化閾值優(yōu)化方法。

1.3 特征提取

紅外圖像中，溫度值大小、分布范圍變化引起的圖像對(duì)比度、敏感區(qū)域的變化決定了診斷的結(jié)果，而直方圖可以較好地反映這些信息，因此提取圖像的灰度直方圖特征用于故障診斷。

圖2 轉(zhuǎn)子實(shí)驗(yàn)臺(tái)紅外圖和色彩直方圖

圖3 轉(zhuǎn)子實(shí)驗(yàn)臺(tái)6種狀態(tài)下紅外圖像顯著性檢測結(jié)果

圖4 OTSU算法分割后的圖像

灰度直方圖表征了圖像中各個(gè)不同灰度級(jí)下像素點(diǎn)的個(gè)數(shù)，即不同灰度級(jí)下像素點(diǎn)出現(xiàn)的概率。以概率形式計(jì)算的公式如下：

式中：表示灰度級(jí)；()為圖像中灰度級(jí)為的像素點(diǎn)的個(gè)數(shù)；為圖像的總像素?cái)?shù)；表示圖像中灰度級(jí)的最大值。本文所用的直方圖特征如表1所示。

1.4 基于分類結(jié)果的閾值優(yōu)化

1.4.1 基于隨機(jī)森林的故障分類

1.4.2 分割閾值優(yōu)化

對(duì)于二值化后出現(xiàn)的過分割問題，本文采用迭代法尋找最佳分割閾值。根據(jù)初步閾值0進(jìn)行圖像分割后，使用提取出的敏感區(qū)域進(jìn)行特征提取和故障分類，判斷最后分類的準(zhǔn)確率是否達(dá)到預(yù)期準(zhǔn)確率，如果達(dá)到0即為最佳閾值，沒有達(dá)到則進(jìn)行迭代優(yōu)化。具體迭代過程如下：

第二次迭代時(shí)，在第二閾值范圍[F,F]內(nèi)，以/2為步長，確定第二迭代閾值組為F?[F－￠,…, F－, F－/2]，且的大小為￠＝?(F－F)/?；其中，F和F為第一迭代閾值組m中，對(duì)應(yīng)故障分類器預(yù)測準(zhǔn)確率最高的閾值的兩個(gè)相鄰閾值。

第三次迭代時(shí)，在第三閾值范圍[F,s]內(nèi)，以/4為步長，確定第三迭代閾值組為F?[s－2,…,s－,s－/2,s－/4]，且的大小為2＝?(s－F)/?。其中：ri和s為第二迭代閾值組F中，對(duì)應(yīng)故障分類器預(yù)測準(zhǔn)確率最高的閾值的兩個(gè)相鄰閾值；

表1 灰度直方圖特征值

依此遞推，直至滿足預(yù)設(shè)迭代終止條件為止。本文為得到最好的分類效果，設(shè)定預(yù)期準(zhǔn)確率為100%。

2 故障診斷應(yīng)用

2.1 實(shí)驗(yàn)設(shè)置

轉(zhuǎn)子實(shí)驗(yàn)臺(tái)如圖5所示，由調(diào)速器、底座、電機(jī)、聯(lián)軸器、轉(zhuǎn)子系統(tǒng)組成。轉(zhuǎn)子系統(tǒng)包括轉(zhuǎn)軸、轉(zhuǎn)子、軸承、聯(lián)軸器、軸承支架。實(shí)驗(yàn)轉(zhuǎn)速為3000r/min。紅外熱像儀連接電腦進(jìn)行數(shù)據(jù)采集，與轉(zhuǎn)子平臺(tái)距離1.5m，室溫20℃。

實(shí)驗(yàn)中設(shè)置了正常（normal state, NS）、不平衡（imbalance, IB）、不對(duì)中（misalignment, MA）、碰摩（rubbing impact, RI）、軸承座松動(dòng)（bearing seat looseness, BSL）、碰摩和不對(duì)中耦合故障（rubbing-misalignment coupling fault, CFRM）6種狀態(tài)。模擬不平衡故障時(shí)，在最左側(cè)轉(zhuǎn)子上加配重1g；模擬不對(duì)中故障時(shí)，在軸承座與底座接觸面放置厚度0.5mm塞尺；模擬轉(zhuǎn)子碰摩故障時(shí)，在底座的卡槽中固定一個(gè)塑料碰摩塊，使其與最左側(cè)轉(zhuǎn)子輕微接觸；將軸承座螺栓調(diào)松，用來模擬軸承座松動(dòng)故障。每種狀態(tài)下采集紅外圖像數(shù)據(jù)80組，共480組數(shù)據(jù)。其中360組作為訓(xùn)練數(shù)據(jù)，其余組為測試數(shù)據(jù)。

2.2 敏感區(qū)域提取及故障診斷

在圖像分割中，由于6類狀態(tài)紅外圖像的拍攝角度相同，可以將各種狀態(tài)的敏感區(qū)域圖疊加得到轉(zhuǎn)子平臺(tái)的故障敏感區(qū)域圖。本文首先計(jì)算CFRM狀態(tài)的分割閾值，然后用其閾值對(duì)所有狀態(tài)的圖像進(jìn)行二值化，將各狀態(tài)二值化圖疊加，根據(jù)疊加結(jié)果對(duì)各圖像進(jìn)行分割，得到轉(zhuǎn)子平臺(tái)故障敏感區(qū)域；最后根據(jù)分類結(jié)果對(duì)分割的閾值進(jìn)行迭代優(yōu)化。

圖5 ZT-3試驗(yàn)臺(tái)和信號(hào)采集裝置

注：1. 轉(zhuǎn)速控制箱，2. 紅外儀，3. 轉(zhuǎn)子平臺(tái)，4. 電腦

1. Speed control box; 2. Infrared instrument; 3. Rotor platform; 4. Computer

如圖6(a)中是人工框選的敏感區(qū)域，圖6(b)為根據(jù)優(yōu)化后的二值化閾值提取的轉(zhuǎn)子平臺(tái)的故障敏感區(qū)域。本次實(shí)驗(yàn)設(shè)置的都是轉(zhuǎn)子系統(tǒng)故障，所以不考慮電機(jī)部分的故障，故人工選擇時(shí)未選擇該部分。從圖6可見，本文方法所提取的敏感區(qū)域比人工框選的敏感區(qū)域更加準(zhǔn)確。

將提取出的最佳敏感區(qū)域用于故障診斷，并和其他故障分類方法對(duì)比。表2顯示了各種方法的分類結(jié)果；最后一列為該種方法的平均準(zhǔn)確率。表中D-SVM（direct-support vector machine）、D-RF（direct-random forest）為直接對(duì)原始圖像特征分類的結(jié)果；ROI-SVM（regions of interest-support vector machine）為對(duì)人工提取敏感區(qū)域進(jìn)行分類的結(jié)果；RC-RF（region contrast-random forest）表示用區(qū)域?qū)Ρ群蚈TSU算法進(jìn)行ROI提取，然后進(jìn)行分類的結(jié)果；RC-TO-RF（region contrast-threshold optimization -random forest）為用基于區(qū)域?qū)Ρ群烷撝祪?yōu)化的ROI提取方法，然后進(jìn)行分類的結(jié)果。

圖6 人工選擇的敏感區(qū)和本文方法提取的敏感區(qū)域

表2 各種分類方法對(duì)轉(zhuǎn)子實(shí)驗(yàn)臺(tái)故障診斷的結(jié)果

從表中可以看出利用原始圖像進(jìn)行故障診斷時(shí)，無論是SVM還是RF方法，準(zhǔn)確率都比較低；進(jìn)行人工或者使用區(qū)域?qū)Ρ冉Y(jié)合OTSU算法進(jìn)行ROI提取后，診斷準(zhǔn)確率得到提高；本文提出的方法準(zhǔn)確率最高，為95.8%，相較人工提取敏感區(qū)域的診斷方法（ROI-SVM）提高了3.3個(gè)百分點(diǎn)。

3 結(jié)論

1）基于區(qū)域?qū)Ρ鹊娘@著性檢測方法考慮圖像全局的對(duì)比度和空間因素的影響，將區(qū)域的對(duì)比度和空間的遠(yuǎn)近關(guān)系結(jié)合起來，均勻突出了紅外圖像中的敏感區(qū)域，達(dá)到了去除干擾背景的效果。

2）提出基于隨機(jī)森林分類結(jié)果的二值化分割閾值優(yōu)化方法，通過OTSU計(jì)算初步分割閾值，然后根據(jù)隨機(jī)森林的故障分類結(jié)果對(duì)閾值進(jìn)行迭代優(yōu)化，實(shí)現(xiàn)故障敏感區(qū)域的優(yōu)化提取。

3）將提出的基于區(qū)域?qū)Ρ群碗S機(jī)森林的敏感區(qū)域提取方法應(yīng)用于轉(zhuǎn)子平臺(tái)6類狀態(tài)的識(shí)別，與人工提取ROI相比，準(zhǔn)確率提高了3.3個(gè)百分點(diǎn)。

[1] WEI W, WEI L, NIE L, et al. Using active thermography and modified SVM for intelligent diagnosis of solder bumps[J]., 2015, 72: 163-169.

[2] Hewison T J, WU X Q, YU F F, et al. GSICS inter-calibration of infrared channels of geostationary imagers using Metop/IASI[J]., 2013, 51(3): 1160-1170.

[3] Ring E F J, Ammer K. Infrared thermal imaging in medicine[J]., 2012, 33: 33-46.

[4] HA H, HAN S S, LEE J. Fault detection on transmission lines using a microphone array and an infrared thermal imaging camera[J].2012, 61(1): 267-275.

[5] Huda A S N, Taib S, Ghazali K H, et al. A new thermographic NDT for condition monitoring of electrical components using ANN with confidence level analysis[J]., 2014, 53(3): 717-724.

[6] 鄒輝. 基于Fast-Match算法的電力設(shè)備紅外圖像分割[J]. 紅外技術(shù), 2016, 38(1): 21-28.

ZOU H. Infrared image segmentation for electrical equipment based on FAsT-match algorithm[J]., 2016, 38(1): 21-28.

[7] CHENG Mingming, Niloy J Mitra. Global contrast based salient region detection[J]., 2015.

[8] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[C]//, 2010: 410-414.

[9] ZHAI Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues[C]//, 2006: 815-824.

[10] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[11] 張鈺, 陳珺. 隨機(jī)森林在滾動(dòng)軸承故障診斷中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2018, 54(6): 101-104, 115.

ZHANG Y, CHEN J. Application of random forest on rolling element bearings fault diagnosis[J]., 2018, 54(6): 100-104.

[12] 李思嘉, 趙曉焱, 張繼學(xué). 基于OTSU算法的圖像分割有效性研究[J]. 無線電通信技術(shù), 2014, 40(5): 54-56, 85.

LI S J, ZHAO X Y, ZHANG J X. Research on image segmentation effectiveness based on OTSU algorithm[J]., 2014, 40(5): 54-56, 85.

Infrared Image ROI Extraction Based on Region Contrast and Random Forest

DUAN Lixiang1，LIU Ziwang2，ZHAO Zhenxin3，KONG Xin1，YUAN Zhuang1

(1.;,102249,; 2..,100621,; 3.,,841000,)

For the infrared image-based fault diagnosis, the region of interest (ROI) needs to be selected. Due to the characteristics of many interference background and low contrast in infrared image, it is necessary to remove the background and image segmentation to extract ROI. However, the common two value segmentation algorithm has the limitation of over-segmentation in the infrared image segmentation. Therefore, a method of infrared image ROI extraction based on region contrast and random forest is proposed in this paper. Firstly, the region contrast method is used to detect the infrared image significantly to remove the interference background. Then, image segmentation is conducted by applying OTSU algorithm in order to extract ROIinitially. Finally, aiming at realizing the optimal extraction of ROI, the threshold of image segmentation based on the results of random forest classification is iterated and optimized. Infrared images under 6 different conditions derived from the rotors test-bed are utilized for fault diagnosis, applying the ROI extracted by the proposed method to fault diagnosis, the accuracy of the classification increased by 3.3 percentage points, which is more accurate than that of the artificial selected area.

equipment failure, infrared image, ROI extraction, region contrast, random forest

TH17

A

1001-8891(2019)10-0988-06

2018-05-09；

2020-08-11.

段禮祥（1969-），男，教授，主要從事安全監(jiān)測與智能診斷工程方向的研究。E-mail：duanlx@cup.edu.cn。

國家重點(diǎn)研發(fā)計(jì)劃專題：罐區(qū)動(dòng)力設(shè)備智能診斷及預(yù)測技術(shù)研究（2017YFC0805803）；國家自然科學(xué)基金項(xiàng)目：基于遷移學(xué)習(xí)的往復(fù)壓縮機(jī)故障診斷機(jī)制及預(yù)測預(yù)警模型研究（51674277）。