孫淑軍，郭永剛，劉 杰

（1. 內(nèi)燃機可靠性國家重點試驗室，山東 濰坊 261061；2. 濰柴動力股份有限公司，山東 濰坊 261061）

1 引言

內(nèi)燃機試驗臺架在實際作業(yè)過程中有許多高溫源，如內(nèi)燃機增壓器、排氣管等，同時臺架內(nèi)部也存在許多易燃物，如燃?xì)狻⑷加?、機油、防凍液等，一旦臺架內(nèi)部發(fā)生故障很容易引發(fā)火災(zāi)，如果火災(zāi)不能被及時撲滅會造成極大的經(jīng)濟損失。因此發(fā)生初期火災(zāi)時報警系統(tǒng)能夠及時觸發(fā)報警尤為重要。

目前試驗臺架內(nèi)部主要借助紫外和紅外火焰探測器對火焰進(jìn)行監(jiān)控，但是受探測器實際安裝位置和探測角度有限的影響，在試驗臺架內(nèi)部一些位置發(fā)生初期火焰時，探測器無法探測到火焰從而無法可靠觸發(fā)報警，錯過滅火最佳時期。而試驗臺架內(nèi)部有相當(dāng)完善的攝像頭監(jiān)控系統(tǒng)，每個試驗臺架部署有2個以上網(wǎng)絡(luò)監(jiān)控攝像頭，基本實現(xiàn)了對試驗臺架內(nèi)部的無死角監(jiān)控，且圖片信息隨時可以通過網(wǎng)絡(luò)推送到移動客戶端等供相關(guān)用戶查看。正式借助網(wǎng)絡(luò)攝像頭視野廣的優(yōu)勢和試驗室完善的智能報警安防系統(tǒng)，本文提出了基于機器視覺的臺架火災(zāi)監(jiān)測方法。

本監(jiān)測方法首先獲取網(wǎng)絡(luò)攝像頭傳輸?shù)囊曨l流，然后通過算法獲取每一幀圖片中可能為火焰的靜態(tài)區(qū)域，并結(jié)合幀間特征將動態(tài)區(qū)域進(jìn)行捕獲，利用兩者的交集經(jīng)過一定的算法處理組合成關(guān)鍵特征圖片，將此圖片傳入訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行識別，如果識別為火焰，系統(tǒng)便向試驗室報警安防系統(tǒng)發(fā)出信息，控制安防系統(tǒng)發(fā)出警報，從而加速初期火災(zāi)撲滅進(jìn)度，提高試驗臺架安全性。

2 神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練

2.1 數(shù)據(jù)集制作

火焰實際發(fā)生時受光照、攝像頭參數(shù)等影響，經(jīng)攝像頭傳輸后其顏色特征極易發(fā)生變化，為了更好地針對內(nèi)燃機試驗臺架這個特定環(huán)境，我們在臺架內(nèi)部進(jìn)行了模擬火焰發(fā)生試驗，結(jié)合真實火災(zāi)事故和網(wǎng)絡(luò)上的部分火焰圖片，本方法共收集制作了40 720張圖片組成樣本集，其中火焰樣本集有15 100張圖片，部分參與訓(xùn)練的火焰樣本如圖1所示。本火焰樣本制作的目的是為了更好地發(fā)現(xiàn)初期火焰，因此要求樣本圖片中火焰像素占比盡量小同時又要防止占比過小引起訓(xùn)練過程中關(guān)鍵特征消失。因此收集的火焰圖片都是經(jīng)過篩選后火焰像素面積占比在6%～50%的圖片。

圖1 用于訓(xùn)練的火焰圖片

實際研究過程中發(fā)現(xiàn)臺架測功機、人員等均可能對模型識別產(chǎn)生干擾，因此我們采用分類神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時將圖像分成了4類，分別對應(yīng)火焰、測功機、人員和其他非火焰。

2.2 模型訓(xùn)練和驗證

利用Pytorch工具對樣本集進(jìn)行一定的數(shù)據(jù)增強和歸一化處理后，修改InceptionV3網(wǎng)絡(luò)輸出層參數(shù)以符合分類需求，然后利用該網(wǎng)絡(luò)對制作好的樣本集進(jìn)行了訓(xùn)練和驗證，訓(xùn)練準(zhǔn)確度大于99%時停止訓(xùn)練，從而得到最終的神經(jīng)網(wǎng)絡(luò)模型。經(jīng)驗證，模型對驗證集有很好地識別準(zhǔn)確率，準(zhǔn)確率大于96%。由于訓(xùn)練方法比較常見，本文不再詳細(xì)描述訓(xùn)練過程。雖然模型對驗證集有較高的識別度，但是在實際測試時發(fā)現(xiàn)模型識別視頻中火焰的效果很差，分析發(fā)現(xiàn)攝像頭傳輸?shù)闹髁饕曨l幀分辨率很高，一般分辨率超過1 920像素×1 080像素。實際發(fā)生初期火災(zāi)時，火焰在原始圖片中的像素占比很?。娣e占比一般小于2%），如果直接將整張圖片傳入神經(jīng)網(wǎng)絡(luò)，將極大降低火焰識別準(zhǔn)確率。同樣如果直接訓(xùn)練這樣的圖片，因為火焰關(guān)鍵特征像素占比很小容易導(dǎo)致訓(xùn)練過程中火焰特征消失從而使得訓(xùn)練識別效果非常差。

3 關(guān)鍵特征圖像獲取

通過第1章分析可得出，模型在識別較大火焰圖片時效果較好，但是識別小火焰圖片時效果很差。根據(jù)我們對內(nèi)燃機試驗臺架歷史火災(zāi)事故統(tǒng)計，96.2%以上的火焰圖片為分辨率小于56像素×56像素的圖片，為此有必要研究小火焰圖片識別準(zhǔn)確性的方法。因此，我們針對攝像頭傳來的視頻幀進(jìn)行了預(yù)處理：只有圖片中有符合我們要求的信息時才會傳入神經(jīng)網(wǎng)絡(luò)模型做進(jìn)一步分析。傳入神經(jīng)網(wǎng)絡(luò)模型前先對圖片進(jìn)行分類處理以獲得關(guān)鍵區(qū)域，將關(guān)鍵特征圖片分為三類，分別對應(yīng)224像素×224像素、112像素×112像素和56像素×56像素這三種。具體分類由實際關(guān)鍵特征圖片分辨率大小決定。

對于攝像頭傳來的原始幀，我們首先分析圖片的特征并與火焰顏色特征進(jìn)行比較，如果符合火焰顏色特征，則將符合的部分轉(zhuǎn)換成二值化圖片MASK1。其中火焰顏色特征主要參考何愛龍的判定規(guī)則結(jié)合臺架內(nèi)實際火焰特征定義規(guī)則為

規(guī)則中，R、G、B分別代表每個像素點在RGB空間上的紅色、綠色、藍(lán)色分量；H、S代表每個像素點在HSV空間上的色調(diào)、飽和度分量；R取115，S取55。當(dāng)獲取完圖片的火焰特征后再分析其動態(tài)特征，利用高斯混合模型來獲取動態(tài)特征，同樣將符合運動的部分轉(zhuǎn)換成二值化圖片MASK2，MASK1和MASK2的交集對應(yīng)原始幀中區(qū)域便是感興趣區(qū)域ROI，即ROI=MASK1∩MASK2，ROI經(jīng)過進(jìn)一步處理便可得到關(guān)鍵特征圖片。攝像頭關(guān)鍵特征圖片獲取示意圖如圖2所示，圖2 a為攝像頭傳來的原始視頻幀，圖2 b為通過上述方法來獲取關(guān)鍵特征圖片的示意圖，圖2 b中左側(cè)分別代表火焰的動態(tài)特征和火焰的顏色特征，右側(cè)代表獲取到的關(guān)鍵特征圖。

圖2 攝像頭關(guān)鍵特征圖片獲取示意圖

如果交集ROI為0，則本幀圖片將不會被分析處理，系統(tǒng)將直接分析下一幀圖片；如果ROI不為0，則根據(jù)ROI大小先截取關(guān)鍵特征區(qū)域。如前文所述，如果ROI像素大于112像素×112像素，則以圖片為中心在原始幀上截取224像素×224像素分辨率的圖片，截取過程中可能會因為圖片中心過于靠近原始幀邊界導(dǎo)致截取失敗，此時可以根據(jù)具體邊界情況適當(dāng)調(diào)整，以成功獲取需求的關(guān)鍵特征圖片。首先獲取ROI的起始像素點(S,S)，ROI高度R和寬度R以及原始幀的高度I和寬度I，然后按下述計算公式計算關(guān)鍵特征圖片的起始點(S’,S’)：

得到起始點后，便可以根據(jù)目標(biāo)分辨率截取關(guān)鍵特征圖片。

如果分辨率大于56像素×56像素且小于112像素×112像素，則按照上述方法截取112像素×112像素分辨率的圖片；獲取公式與上式類似。同理當(dāng)分辨率小于56像素×56像素時，按上述方法截取56像素×56像素分辨率的圖片。

驗證發(fā)現(xiàn)，火焰區(qū)域分辨率大于56像素×56像素時，模型能較好地完成火焰識別工作，當(dāng)小于56像素×56像素時雖然也可以識別出火焰，但是很容易導(dǎo)致一些非火焰目標(biāo)被誤識別成火焰，為此，每當(dāng)獲取到一幀小于56像素×56像素分辨率的關(guān)鍵特征圖片時，我們都繼續(xù)以該圖片中心為中心截取接下來連續(xù)3幀原始幀對應(yīng)的區(qū)域作為關(guān)鍵特征圖片，分辨率仍然為56像素×56像素，這樣便得到了4張56像素×56像素的圖片，按照從左到右從上到下的順序把這4張圖片組合成一張112像素×112像素的圖片，以此作為關(guān)鍵特征圖片傳入神經(jīng)網(wǎng)絡(luò)再進(jìn)行分析，如圖3所示。

圖3 拼接組合的火焰圖片

根據(jù)關(guān)鍵特征圖片提取算法，共提取到1 182幀關(guān)鍵特征。因此方法相較原始幀直接傳入神經(jīng)網(wǎng)絡(luò)分析對計算機資源占用降低了98%。

利用4種方法將圖片傳入同一神經(jīng)網(wǎng)絡(luò)模型后識別統(tǒng)計結(jié)果見表1，其中火災(zāi)事故識別率定義為在火焰發(fā)生10 s內(nèi)模型監(jiān)測到火焰的概率，視頻幀識別率定義為每一幀火焰圖片傳入神經(jīng)網(wǎng)絡(luò)后被成功識別的概率，視頻幀誤檢率定義為每一幀非火焰圖片傳入神經(jīng)網(wǎng)絡(luò)后被誤識別成火焰圖片的概率，火災(zāi)事故誤報率定義為整個視頻播放期間模型將非火焰目標(biāo)誤識別成火焰目標(biāo)觸發(fā)誤報警的概率。表中方法A表示直接將原始幀傳入神經(jīng)網(wǎng)絡(luò)分析的方法；方法B表示將所有關(guān)鍵特征區(qū)域截取成224像素×224像素分辨率的圖片后進(jìn)行分析的方法；方法C是將實際關(guān)鍵特征區(qū)域劃分為224像素×224像素、112像素×112像素和56像素×56像素的關(guān)鍵特征圖片后進(jìn)行分析的方法；方法D是在方法C的基礎(chǔ)上，按照上文所述拼圖方法將56像素×56像素分辨率圖像拼接成1張112像素×112像素圖片后進(jìn)行分析的方法。

表1 不同方法下火焰識別能力比較

由上表分析可知，方法A和方法B雖然幾乎沒有火災(zāi)事故誤報率和視頻幀誤檢率，但火焰事故識別率較低，尤其是方法A，幾乎無識別能力。方法C和方法D都有很好的火災(zāi)事故識別率，雖然方法D相較方法C視頻幀識別率減少了4.76%，但是視頻幀誤報率只有方法C的8.95%，火災(zāi)事故誤報率相比方法C降低了91.68%。因此本文采用的方法D能夠?qū)?nèi)燃機試驗臺架內(nèi)部火災(zāi)進(jìn)行可靠監(jiān)測同時又盡可能少的減少了誤報率。

4 視頻流獲取與圖像神經(jīng)網(wǎng)絡(luò)識別

基于前文的內(nèi)容，部署模型進(jìn)行內(nèi)燃機試驗臺架火災(zāi)監(jiān)控測試。利用多線程的方式分別獨立獲取網(wǎng)絡(luò)攝像頭視頻流以及將視頻流傳入神經(jīng)網(wǎng)絡(luò)模型。網(wǎng)絡(luò)攝像頭是非常成熟的產(chǎn)品，可以利用攝像頭廠家提供的SDK或者利用RTSP協(xié)議來獲取視頻流。然后利用OpenCV工具對視頻流進(jìn)行格式處理，結(jié)合第3章關(guān)鍵特征圖片獲取方法，將獲取的關(guān)鍵特征傳入OpenCV的DNN處理函數(shù)中，如果識別到火焰便以Web Sevice服務(wù)的形式傳送報警指令來控制報警系統(tǒng)報警，從而達(dá)到火災(zāi)監(jiān)測的目的。

5 結(jié)束語