楊劍　陳世娥

摘要：針對家庭火災(zāi)防范中缺少更有效、快速的實(shí)時(shí)煙霧檢測問題，本文設(shè)計(jì)了一種基于圖像處理技術(shù)的煙霧檢測算法，能夠?qū)彝プ≌瑑?nèi)部進(jìn)行實(shí)時(shí)煙霧檢測，從而實(shí)現(xiàn)火災(zāi)防范。本算法主要使用單階段的端到端YOLO v3算法，對輸入的煙霧數(shù)據(jù)進(jìn)行學(xué)習(xí)，提取網(wǎng)絡(luò)中不同卷積層的特征圖進(jìn)行聯(lián)合訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，和雙階段網(wǎng)絡(luò)的煙霧圖像檢測方法相比，該方法檢測速度快，實(shí)時(shí)效果好，同時(shí)也取得了較高的檢測準(zhǔn)確率，具有較高的實(shí)際應(yīng)用價(jià)值。

關(guān)鍵詞：家庭火災(zāi)防范;圖像處理技術(shù);煙霧檢測; YOLO v3算法

中圖分類號(hào)： TP18? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）06-0189-03

Abstract： In view of the lack of more effective and fast real-time smoke detection in home fire prevention， this paper designs a smoke detection algorithm based on image processing technology， which can detect real-time smoke inside a family house， thereby realizing fire prevention. This algorithm mainly uses a single-stage end-to-end YOLO v3 algorithm to learn the input smoke data and extract the feature maps of different convolutional layers in the network for joint training. The experimental results show that compared with the smoke image detection method of the two-stage network， this method has fast detection speed and good real-time effect. At the same time， it has achieved a higher detection accuracy rate and has higher practical application value.

Key words： home fire prevention; image processing technology; smoke detection; YOLO v3 algorithm

在日常電視新聞中常常看見各種火災(zāi)的發(fā)生，特別在家庭住宅中，火災(zāi)事故往往是因?yàn)槿藗兊南腊踩ＷR(shí)薄弱或存在誤區(qū)從而導(dǎo)致悲劇發(fā)生。根據(jù)消防部門的統(tǒng)計(jì)，在所有的火災(zāi)比例中，家庭住宅火災(zāi)占比較高。家庭火災(zāi)發(fā)生的原因很多，可能發(fā)生在我們身邊，也可能發(fā)生在我們沒有注意到的地方。因此，及時(shí)發(fā)現(xiàn)室內(nèi)初起火災(zāi)，為及時(shí)滅火或爭取逃生時(shí)間，將危險(xiǎn)降到最低具有重要的意義。在現(xiàn)實(shí)生活中各類火災(zāi)探測器主要有熱感應(yīng)式探測器、光感應(yīng)式探測器以及煙感應(yīng)式探測器，除了城市旅館、酒店、商場等公共場所要求安裝煙霧報(bào)警器外，而民用住宅區(qū)域安裝煙霧報(bào)警器并沒有強(qiáng)制性要求，以至民用住宅中安裝煙霧報(bào)警器很少。此外，各類火災(zāi)探測器普遍存在著響應(yīng)延遲，易故障或失效，不適用于高大空間或室外場景等難以解決的缺陷。因此，開發(fā)更有效、可靠的探測或檢測方式一直是家庭火災(zāi)防治的努力方向[1]。

隨著人們安全防護(hù)意識(shí)的提高，近年來，家用攝像頭已成為越來越多家庭的“標(biāo)配”，許多家用安防設(shè)備越來越先進(jìn)，具備了報(bào)警、探測等多種功能。基于圖像處理技術(shù)的火災(zāi)探測技術(shù)是一種基于機(jī)器視覺、非接觸的火災(zāi)探測技術(shù)，具有響應(yīng)快、不易受環(huán)境因素影響、適用面廣、成本低等優(yōu)勢，成為家庭火災(zāi)檢測方法中較為重要的交叉學(xué)科研究領(lǐng)域[2，3]。

1煙霧檢測技術(shù)發(fā)展概述

目標(biāo)檢測目的是識(shí)別目標(biāo)并給出其在圖中的確切位置。2012年之前目標(biāo)檢測算法大多是基于手工特征所構(gòu)建，而近十多年來，因卷積神經(jīng)網(wǎng)絡(luò)在圖像分類任務(wù)中取得了巨大成功后，目標(biāo)檢測任務(wù)也取得了很大的進(jìn)展，形成了許多目標(biāo)檢測算法和成功的應(yīng)用。在煙霧檢測方面，相關(guān)算法的發(fā)展也經(jīng)歷了基于傳統(tǒng)手工特征所構(gòu)建和基于深度學(xué)習(xí)的目標(biāo)檢測算法。文獻(xiàn)[4]利用高斯混合模型（Gaussian Mixture Model，GMM）進(jìn)行運(yùn)動(dòng)對象分割，再將檢測框坐標(biāo)與面積、霧的速度作為特征參數(shù)輸入分類器中，判定是否為煙霧。文獻(xiàn)[5]提出了一種利用形狀，顏色和動(dòng)態(tài)紋理的圖像淺層視覺特征進(jìn)行視頻煙霧檢測的方法，并取得了不錯(cuò)的效果。此外，卷積神經(jīng)網(wǎng)絡(luò)可以自動(dòng)從目標(biāo)圖像中提取更深、更細(xì)粒度的特征能力，能有效提高目標(biāo)檢測性能。因此，基于卷積神經(jīng)網(wǎng)絡(luò)的視頻煙霧檢測方法越來越得到一些學(xué)者重視和關(guān)注。文獻(xiàn)[6]提出一種不規(guī)則運(yùn)動(dòng)區(qū)域直接提取動(dòng)態(tài)紋理特征的方法，支持向量機(jī)作為動(dòng)態(tài)紋理特征的分類器完成煙霧實(shí)時(shí)檢測。文獻(xiàn)[7]提出了一種基于背景動(dòng)態(tài)更新和暗通道先驗(yàn)的運(yùn)動(dòng)目標(biāo)檢測算法，以檢測可疑煙霧區(qū)域。然后，通過卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)可疑區(qū)域的特征，最后進(jìn)行煙霧識(shí)別，該方法取得了良好的性能。文獻(xiàn)[8]使用批歸一化卷積方式代替常用的卷積層，加快訓(xùn)練過程并提高煙霧檢測的性能。FRIZZ等[9]利用卷積神經(jīng)網(wǎng)絡(luò)來識(shí)別視頻中的火災(zāi)，得到更好的檢測效果。目前的基于深度學(xué)習(xí)目標(biāo)檢測模型研究方向大概分為兩大類：一是雙階段（two-stage）檢測算法，主要是基于區(qū)域候選（region proposal）的方法，即通過某種策略選出一部分候選框，再將所有的候選區(qū)域送入分類器進(jìn)行分類，比如Fast RCNN、Faster RCNN等。在兩階段檢測算法中由于經(jīng)過了粗和精檢測流程，使得其在準(zhǔn)確度上具有優(yōu)勢。另一個(gè)是單階段（one-stage）算法，其經(jīng)過單次檢測直接得到檢測物體的類別概率和位置坐標(biāo)值，如YOLO系列。深度學(xué)習(xí)強(qiáng)大的特征表示和學(xué)習(xí)能力大大提高了目標(biāo)檢測效果，在評價(jià)指標(biāo)上遠(yuǎn)超于傳統(tǒng)算法，本文研究的基于圖像處理技術(shù)的煙霧檢測技術(shù)主要使用了單階段端到端訓(xùn)練的目標(biāo)檢測方法。

2基于深度學(xué)習(xí)的煙霧檢測設(shè)計(jì)與實(shí)現(xiàn)

2.1煙霧檢測算法整體流程圖

本文的煙霧檢測算法整體流程如圖1所示。先通過攝像頭對煙霧數(shù)據(jù)進(jìn)行采集，建立煙霧數(shù)據(jù)庫，再對煙霧數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng);然后讀取煙霧數(shù)據(jù)輸入到Y(jié)OLO v3檢測模型中進(jìn)行數(shù)據(jù)訓(xùn)練學(xué)習(xí)，從而得到結(jié)果模型;同時(shí)，對受監(jiān)控場景，通過攝像頭獲取監(jiān)控視頻幀序列，將視頻幀圖像送入訓(xùn)練好的檢測模型中進(jìn)行檢測;在此基礎(chǔ)上，對視頻幀圖像做判斷處理;當(dāng)待檢測的視頻幀序列滿足條件時(shí)，則判定為有煙霧，并發(fā)出煙霧警報(bào)。

2.2 YOLO v3算法

YOLO將物體檢測作為回歸問題求解?；谝粋€(gè)單獨(dú)的端對端網(wǎng)絡(luò)，輸入圖像經(jīng)過一次推斷，便能得到圖像中待檢測物體的位置和其所屬類別及相應(yīng)的置信概率。YOLO v3是在YOLO v2算法的基礎(chǔ)上，其改進(jìn)之處主要有：主干網(wǎng)絡(luò)、預(yù)測階段和損失函數(shù)等[10]。為了獲得更好的特征表達(dá)，YOLO v3主干特征提取網(wǎng)絡(luò)是由5個(gè)殘差塊構(gòu)成的Darknet-53網(wǎng)絡(luò)，如圖2所示。在預(yù)測階段，借鑒了FPN（Feature Pyramid Network）使用3個(gè)尺度的特征圖，小的特征圖提供語義信息，大的特征圖提供更細(xì)粒度信息，再將小的特征圖通過上采樣和大尺度做融合。在損失函數(shù)設(shè)計(jì)中，YOLO v3算法支持對多標(biāo)簽的檢測，不再使用soft max作為損失函數(shù)而是使用sigmoid激活函數(shù)和交叉熵函數(shù)。

3結(jié)果及分析

3.1 實(shí)驗(yàn)平臺(tái)和參數(shù)

本文實(shí)驗(yàn)使用的深度學(xué)習(xí)框架為Pytorch，硬件環(huán)境為：Intel Core i7-8750H，NVIDIA GeForce GTX 1070 8GB顯卡，16GB內(nèi)存，操作系統(tǒng)為Windows10。

實(shí)驗(yàn)主要參數(shù)是：batch是每次輸入網(wǎng)絡(luò)的訓(xùn)練樣本個(gè)數(shù)為32;momentum是梯度下降的動(dòng)力參數(shù)為0.9;learning_rate是學(xué)習(xí)率為0.01;ignore_thresh是非極大值抑制的IOU閾值為0.5。

3.2數(shù)據(jù)的擴(kuò)充和增強(qiáng)

對一些數(shù)據(jù)比較稀缺的任務(wù)，基于深度學(xué)習(xí)的方法難以得到預(yù)期效果。因此在原始數(shù)據(jù)基礎(chǔ)上，采取數(shù)據(jù)增強(qiáng)技術(shù)，對原始圖像進(jìn)行數(shù)據(jù)擴(kuò)充，在網(wǎng)絡(luò)訓(xùn)練過程中十分重要。為了提高模型的魯棒性，泛化模型，達(dá)到預(yù)期效果，在已有數(shù)據(jù)的基礎(chǔ)上進(jìn)行有監(jiān)督的數(shù)據(jù)增強(qiáng)，常使用如幾何變換，顏色變換，特效處理等方法。

3.3檢測模型對比實(shí)驗(yàn)

在目標(biāo)檢測任務(wù)中，對目標(biāo)檢測模型的性能指標(biāo)有：平均類別精度（mean Average Precision，mAP）和檢測時(shí)間（ms）。平均類別精度是指先單獨(dú)計(jì)算各個(gè)類別的類別精度（Average Precision，AP），再求各個(gè)類的AP的平均值。平均類別精度可以有效避免某些類別極端化而弱化其他類別的性能。本文對不同的檢測模型算法進(jìn)行了實(shí)驗(yàn)對比，實(shí)驗(yàn)結(jié)果如表1所示。

從表1中可以看出雙階段目標(biāo)檢測算法Fast R-CNN、Faster R-CNN算法和單階段目標(biāo)檢測算法YOLO v3的性能指標(biāo)。雙階段目標(biāo)檢測算法Fast R-CNN和Faster R-CNN的平均精度分別為86.27%與94.61%，但檢測速度相對YOLO v3較低，這主要是由于雙階段目標(biāo)檢測算法在檢測過程中候選區(qū)域生成網(wǎng)絡(luò)（RPN）生成包含待檢物體的候選框會(huì)增加網(wǎng)絡(luò)模型的計(jì)算時(shí)間。使用單階段目標(biāo)檢測算法YOLO v3算法獲得了25.2幀每秒的檢測速度和94.52%平均精度，與其他兩種算法相比，YOLO v3檢測速度最快，平均精度與Faster R-CNN算法相當(dāng)。

4小結(jié)

針對現(xiàn)有家庭火災(zāi)防范缺少更有效、快速的實(shí)時(shí)煙霧檢測問題，本文實(shí)現(xiàn)了一種基于圖像處理技術(shù)的煙霧檢測算法，實(shí)驗(yàn)結(jié)果表明該算法具有更快的檢測速度和較高的準(zhǔn)確率。為及時(shí)發(fā)現(xiàn)室內(nèi)著火，爭取更多滅火或逃脫的時(shí)間，將傷亡降到最低具有重要的實(shí)際意義。由于實(shí)際監(jiān)控條件和場景的復(fù)雜性，為了更進(jìn)一步提升模型的性能和檢測效果，后續(xù)的工作可以收集完善煙霧數(shù)據(jù)集，加強(qiáng)對背景特征和煙霧特征更細(xì)粒度的特征學(xué)習(xí)和表示，提高煙霧檢測的準(zhǔn)確率。

參考文獻(xiàn)：

[1] 杜立召，徐巖，張為.一種雙網(wǎng)融合的分階段煙霧檢測算法[J].西安電子科技大學(xué)學(xué)報(bào)，2020，47（4）：141-148.

[2] 袁梅，全太鋒，黃俊，等.基于卷積神經(jīng)網(wǎng)絡(luò)的煙霧檢測[J].重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，32（4）：620-629.

[3] 陳俊周，汪子杰，陳洪瀚，等.基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的視頻動(dòng)態(tài)煙霧檢測[J].電子科技大學(xué)學(xué)報(bào)，2016，45（6）：992-996.

[4] Zen R I M，Widyanto M R，Kiswanto G，et al.Dangerous smoke classification using mathematical model of meaning[J].Procedia Engineering，2013，62：963-971.

[5] WANG S D，HE Y P，YANG H Y，et al.Video smoke detection using shape color and dynamic features[J].Journal of Intelligent and Fuzzy Systems，2017，33（1）：305-313.

[6] LIN G H，ZHANG Y M，ZHANG Q X，et al.Smoke detection in video sequences based on dynamic texture using volume local binary patterns[J].KSII Transactions on Internet and Information Systems，2017，11（11）：5522-5536.

[7] LUO Y M，LIANG Z，LIU P Z，et al.Fire smoke detection algorithm based on motion characteristic and convolutional neural networks[J].Multimedia Tools & Applications，2018，77（12）：15075-15092.

[8] YIN Z J，WAN B Y，YUAN F N，et al.A deep normalization and convolutional neural network for image smoke detection[J].IEEE Access，2017（5）：18429-18438.

[9] FRIZZI S，KAABI R，BOUCHOUICHA M，et al.Convolutional neural network for video fire and smoke detection[C]//Conference of the IEEE Industrial Electronics Society，2016：877-882.

[10] Redmon J ， Farhadi A . YOLOv3： An Incremental Improvement[J]. arXiv e-prints， 2018.

【通聯(lián)編輯：唐一東】