程廣濤　鞏家昌　李建

摘 要：為提高煙霧識(shí)別準(zhǔn)確率，構(gòu)建模塊化深度卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)行煙霧圖像特征提取和識(shí)別。模塊化結(jié)構(gòu)使網(wǎng)絡(luò)架構(gòu)簡(jiǎn)單而靈活，首先利用常見(jiàn)的深度卷積運(yùn)算設(shè)計(jì)基本模塊網(wǎng)絡(luò)結(jié)構(gòu)，然后僅將模塊網(wǎng)絡(luò)與全連接層依次連接，即可構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)，使對(duì)煙霧圖像的表達(dá)更加具體。利用數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充煙霧圖像訓(xùn)練數(shù)據(jù)，從而緩解煙霧識(shí)別中常見(jiàn)的過(guò)擬合問(wèn)題。實(shí)驗(yàn)結(jié)果表明，該方法在兩個(gè)測(cè)試集上分別達(dá)到了96.56%和98.82%的檢測(cè)率，驗(yàn)證了該方法的有效性。

關(guān)鍵詞：煙霧識(shí)別;模塊網(wǎng)絡(luò);卷積神經(jīng)網(wǎng)絡(luò);數(shù)據(jù)增強(qiáng)

DOI：10. 11907/rjdk. 192553????????????????????????????????????????????????????????????????? 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP301 ? 文獻(xiàn)標(biāo)識(shí)碼：A??????????????? 文章編號(hào)：1672-7800（2020）003-0083-04

Smoke Recognition Based on Modular Deep Convolutional Neural Network

CHENG Guang-tao1，GONG Jia-chang2， LI Jian1

（1. Research and Development Center， National Center for Fire Engineering Techonology， Tianjin 300381， China;2. Department of Audio-Visual Information Forensic Technology， Criminal Investigation Police University of China， Shenyang 110854， China）

Abstract： In order to improve the accuracy of smoke recognition， a modular deep convolutional neural network is proposed for simultaneous features extraction and recognition of the smoke image. The modular structure makes the deep network simpler and more flexible. Firstly， the basic module network structure is designed by using the common deep convolution operation， and then the deep convolutional neual network can be constructed only by connecting the modular networks with the full connection layers in turn to enhence the more abstract and concrete expression of the smoke image. The data augumentation technology is used to expand the training smoke images， so as to alleviate the common over-fitting phenomenon in smoke recognition. The experimental results show that 96.56% and 98.82% of the detection rates are respectively achieved in the two testing data sets， which proves the effectiveness of the method.

Key Words： smoke recognition;modular network;convolutional neural network;data augumentation

0 引言

隨著我國(guó)安全城市、安全社區(qū)、智慧消防等全新理念的提出，各種視頻監(jiān)控系統(tǒng)在大中城市得到了大規(guī)模應(yīng)用，利用視頻圖像分析技術(shù)解決煙霧檢測(cè)問(wèn)題受到多位學(xué)者關(guān)注[1- 2]?，F(xiàn)有算法大多采用圖像特征提取與分類器的流程框架，不但可克服傳統(tǒng)煙霧檢測(cè)設(shè)備的不足，而且適用性廣、檢測(cè)速度快、抗干擾能力強(qiáng)。

Chen等[3]通過(guò)分析煙霧色彩在RGB模型3個(gè)通道上的灰度值識(shí)別煙霧區(qū)域;Fujiwara等[4]采用分形理論提取煙霧自相似性分形特征，在圖像中搜索煙霧目標(biāo);Yuan等[5]利用高階局部二值化模式進(jìn)行煙霧檢測(cè);Dubey等[6]為提取煙霧圖像每個(gè)通道的LBP（Local Binary Pattern）特征，提出了基于多通道LBP特征編碼（Multichannel Decoded Local Binary Patterns，MCLBP）的煙霧識(shí)別方法;張潔等[7]結(jié)合紋理特征和輪廓光流信息進(jìn)行煙霧識(shí)別;姚太偉等[8]結(jié)合煙霧的模糊特征和運(yùn)動(dòng)特征，應(yīng)用小波變換和稀疏光流進(jìn)行煙霧識(shí)別;袁非牛等[9]提出一種基于Gabor濾波的層級(jí)結(jié)構(gòu)，實(shí)現(xiàn)多尺度、多方向的多層紋理特征表達(dá)，提高煙霧識(shí)別的綜合效果;Tian等[10]通過(guò)圖像分離方法提出一種基于融合圖像的煙霧檢測(cè)方法，計(jì)算了煙霧和背景的融合圖像，采用優(yōu)化方法求解煙霧不透明度;Yuan等[11]采用規(guī)則劃分檢測(cè)窗口的方式，消除AdaBoost算法學(xué)習(xí)產(chǎn)生的形狀依賴性，從而提出一種魯棒的視頻煙霧特征。然而，煙霧圖像顏色、紋理、形狀特征隨著光照條件等因素變化而表現(xiàn)得異常不穩(wěn)定，現(xiàn)有算法仍然面臨著高漏報(bào)率和高誤報(bào)率的困擾。

深度卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分析、行人識(shí)別、情感分析等方面有著優(yōu)異表現(xiàn)[12-17]。借助卷積神經(jīng)網(wǎng)絡(luò)在圖像特征表達(dá)上的優(yōu)勢(shì)，本文設(shè)計(jì)模塊化深度卷積神經(jīng)網(wǎng)絡(luò)（Modular Deep Convolutional Neural Network，MDCNN）用于煙霧圖像識(shí)別。它可以根據(jù)圖像數(shù)據(jù)自動(dòng)提取可靠特征，并與圖像分類操作統(tǒng)一在一個(gè)框架中。模塊化設(shè)計(jì)使網(wǎng)格構(gòu)建更加靈活，通過(guò)減少超參數(shù)，改進(jìn)網(wǎng)絡(luò)訓(xùn)練效率。同時(shí)本文進(jìn)一步利用數(shù)據(jù)增強(qiáng)技術(shù)緩解模型過(guò)擬合問(wèn)題，提高訓(xùn)練模型泛化能力。

1 MDCNN架構(gòu)

本部分從3個(gè)方面闡述煙霧識(shí)別模塊化深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：模塊網(wǎng)絡(luò)設(shè)計(jì)、基于模塊網(wǎng)絡(luò)的深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造、網(wǎng)絡(luò)訓(xùn)練。

1.1 模塊網(wǎng)絡(luò)

將深度卷積神經(jīng)網(wǎng)絡(luò)模塊化，使網(wǎng)絡(luò)結(jié)構(gòu)更加靈活，減少網(wǎng)絡(luò)訓(xùn)練超參數(shù)數(shù)量，從而提高訓(xùn)練效率。本文設(shè)計(jì)的模塊網(wǎng)絡(luò)Module-[c]如圖1所示，包含卷積層、批規(guī)范化層（Batch Normalization，BN）、ReLu（Rectified Linear Units）激活函數(shù)層和池化層。

（1）卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心構(gòu)造，圖像識(shí)別任務(wù)中的卷積通常是二維卷積，即離散二維濾波器（卷積核）與二維圖像作卷積操作，使用二維濾波器在二維圖像上所有像素點(diǎn)進(jìn)行滑動(dòng)，與該像素點(diǎn)及其鄰域像素點(diǎn)作內(nèi)積。在深度卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)卷積操作可提取圖像邊緣與紋理等低級(jí)特征到復(fù)雜的抽象特征中。模塊網(wǎng)絡(luò)采用的卷積核大小為[3×3×c]，滑動(dòng)步長(zhǎng)為1，空間填充參數(shù)為1，保持特征圖經(jīng)過(guò)卷積操作后分辨率不變，其中[c]為特征圖通道數(shù)目。上述卷積操作在圖1中使用Conv（3， 1， 1，[c]）標(biāo)記。堆積[3×3]卷積核在增加特征表示能力的同時(shí)可降低參數(shù)數(shù)量。

（2）批量隨機(jī)梯度下降法（Mini-Batch Gradient Descent，MBGD）被廣泛應(yīng)用于深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練。在訓(xùn)練過(guò)程中，隨著網(wǎng)絡(luò)深度加深，深度卷積神經(jīng)網(wǎng)絡(luò)中神經(jīng)元產(chǎn)生的數(shù)據(jù)逐漸發(fā)生偏移或變動(dòng)，導(dǎo)致數(shù)據(jù)漂移，從而降低學(xué)習(xí)效率[18]。為了解決該問(wèn)題，批規(guī)范化（Batch Normalization，BN）被提出用以規(guī)范化神經(jīng)元產(chǎn)生的數(shù)據(jù)，實(shí)現(xiàn)均值為0、標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布，從而避免梯度消失問(wèn)題、提高訓(xùn)練效率。目前，BN已經(jīng)成為深度卷積神經(jīng)網(wǎng)絡(luò)中的基本構(gòu)件。

（3）在神經(jīng)網(wǎng)絡(luò)中經(jīng)常使用Sigmoid非線性激活函數(shù)[S（x）=11+e-x]和雙曲正切非線性激活函數(shù)[tanh（x）=ex-e-xex+e-x]提高特征表達(dá)能力。在深度卷積神經(jīng)網(wǎng)絡(luò)中，需使用梯度下降法迭代更新網(wǎng)絡(luò)中的學(xué)習(xí)參數(shù)，然而上述非線性激活函數(shù)容易產(chǎn)生梯度消失問(wèn)題，進(jìn)而導(dǎo)致網(wǎng)絡(luò)參數(shù)更新緩慢或更新失效。為了解決該問(wèn)題，ReLu激活函數(shù)[R（x）=max（0，x）]被廣泛應(yīng)用于深度卷積神經(jīng)網(wǎng)絡(luò)，作為非線性激活函數(shù)，它可以避免梯度消失問(wèn)題，使訓(xùn)練模型更快收斂。

（4）經(jīng)過(guò)卷積層提取的特征維數(shù)非常高，易造成過(guò)擬合問(wèn)題且消耗計(jì)算資源。為解決該問(wèn)題，池化層一般被連接在卷積層后以降低卷積特征圖分辨率。常見(jiàn)的池化方法有最大池化與平均池化，它們分別在池化區(qū)域內(nèi)取最大值和平均值。由于最大池化方法抗干擾與抗圖像平移性能較強(qiáng)，因此選擇最大池化方法，池化區(qū)域大小為[2×2]，滑動(dòng)步長(zhǎng)為2，這樣池化層將特征圖分辨率降低為原來(lái)的[14]。圖1使用MaxPooling標(biāo)記上述最大池化操作。

1.2 模塊化深度卷積網(wǎng)絡(luò)

如表1所示，構(gòu)造的深度卷積神經(jīng)網(wǎng)絡(luò)包含3個(gè)模塊網(wǎng)絡(luò)，3個(gè)全連接層（Full connected layer，F(xiàn)C），網(wǎng)絡(luò)輸入是[48×48×3]的RGB圖像，對(duì)圖像進(jìn)行的唯一預(yù)處理是減均值操作，其中均值由所有訓(xùn)練圖像計(jì)算而得。順次連接3個(gè)模塊網(wǎng)絡(luò)，其中卷積操作Conv（3， 1， 1，[c]）的特征圖通道數(shù)目[c]分別為64、128、128;然后連接3個(gè)全連接層，前兩個(gè)全連接層通道數(shù)為128，最后一個(gè)全連接層通道數(shù)為類別數(shù)2，因?yàn)闊熿F數(shù)據(jù)樣本產(chǎn)生過(guò)擬合頻次較低，前兩個(gè)全連接層后分別采用參數(shù)為0.5的Dropout操作[19]，以降低過(guò)擬合風(fēng)險(xiǎn);最后使用Softmax函數(shù)將網(wǎng)絡(luò)輸出歸一化為概率值，如式（1）所示。

1.3 網(wǎng)絡(luò)訓(xùn)練

采用交叉熵?fù)p失函數(shù)計(jì)算訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)函數(shù)。

其中[n]表示訓(xùn)練樣本個(gè)數(shù)，[y（i）]表示第[i]個(gè)樣本的標(biāo)簽，[p（i）]表示第[i]個(gè)樣本的預(yù)測(cè)結(jié)果。

使用批量梯度下降算法優(yōu)化上述目標(biāo)函數(shù)，訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)參數(shù)變量，批量大小設(shè)置為96，動(dòng)量參數(shù)為0.9。訓(xùn)練過(guò)程利用權(quán)重下降進(jìn)行正則化，其中[L2]懲罰乘子設(shè)置為[10-5]，學(xué)習(xí)率設(shè)置為[10-2]，整個(gè)訓(xùn)練過(guò)程循環(huán)遍歷訓(xùn)練數(shù)據(jù)集300次，每經(jīng)過(guò)100次時(shí)將學(xué)習(xí)率除以10進(jìn)行更新，學(xué)習(xí)率共被除以2次。網(wǎng)絡(luò)權(quán)重初始化采用Kaiming初始化方法[20]。

2 數(shù)據(jù)增強(qiáng)

深度卷積神經(jīng)網(wǎng)絡(luò)一般包含幾百萬(wàn)個(gè)待學(xué)習(xí)的參數(shù)，達(dá)到高識(shí)別率需提供大量訓(xùn)練圖像。進(jìn)行煙霧圖像識(shí)別時(shí)存在的一個(gè)問(wèn)題是煙霧圖像訓(xùn)練數(shù)據(jù)不充分，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型時(shí)易產(chǎn)生過(guò)擬合，泛化能力差，即訓(xùn)練的模型只對(duì)少量訓(xùn)練數(shù)據(jù)產(chǎn)生較好效果，而對(duì)驗(yàn)證集和測(cè)試集效果較差。數(shù)據(jù)增強(qiáng)技術(shù)是緩解過(guò)擬合的常用方法，它基于現(xiàn)有少量訓(xùn)練數(shù)據(jù)集通過(guò)幾何變換等操作達(dá)到擴(kuò)充訓(xùn)練圖像數(shù)據(jù)集的目的。本文數(shù)據(jù)增強(qiáng)方法包括水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和尺度變化，通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)產(chǎn)生的示例如圖2所示。

3 實(shí)驗(yàn)結(jié)果與分析

本文使用Pytorch深度學(xué)習(xí)框架構(gòu)建和訓(xùn)練模塊化深度卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)在Windows10操作系統(tǒng)中運(yùn)行，PC機(jī)配置主頻為3.40GHz的i7-3700 CPU處理器，16GRAM和Nvidia GTX 1080Ti GPU顯卡。

3.1 數(shù)據(jù)集

表2顯示了江西財(cái)經(jīng)大學(xué)袁非牛教授[9]研究組公開(kāi)的4個(gè)數(shù)據(jù)集，分別為Set1、Set2、Set3和Set4。Set1 包含1 383張圖像，其中552張煙霧圖像和831張非煙霧圖像;Set2包含1 505張圖像，其中688張煙霧圖像和817張非煙霧圖像;Set3包含10 712張圖像，其中2 201張煙霧圖像和8 511張非煙霧圖像;Set4包含10 617張圖像，其中2 254張煙霧圖像和8 363張非煙霧圖像。實(shí)驗(yàn)使用Set3作為訓(xùn)練數(shù)據(jù)集，Set4作為驗(yàn)證數(shù)據(jù)集，Set1 和 Set2為測(cè)試數(shù)據(jù)集。

3.2 評(píng)估指標(biāo)

使用檢測(cè)率（Detection Rate，DR）、誤報(bào)率（False Alarm Rate， FAR）和準(zhǔn)確率（Accuracy Rate，AR）[3]作為煙霧識(shí)別方法的量化評(píng)價(jià)指標(biāo)。

其中[Qp]和[Qn]分別是正、負(fù)樣本數(shù)目，[Pp]表示正樣本中被正確檢測(cè)的數(shù)目，[Np]表示負(fù)樣本中被錯(cuò)分為正樣本的數(shù)目，[Nn]表示負(fù)樣本中被正確檢測(cè)的數(shù)目。算法目的是提高AR指標(biāo)和DR指標(biāo)，同時(shí)使FAR指標(biāo)更低。

3.3 數(shù)據(jù)增強(qiáng)

采用水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和尺度變化3種數(shù)據(jù)增強(qiáng)技術(shù)，SetA表示在Set3基礎(chǔ)上增強(qiáng)原有訓(xùn)練集中煙霧正樣本，保持原有負(fù)樣本不變。增強(qiáng)的訓(xùn)練數(shù)據(jù)集如表3所示，增強(qiáng)后訓(xùn)練數(shù)據(jù)中煙霧樣本和非煙樣本達(dá)到平衡狀態(tài)。

3.4 實(shí)驗(yàn)結(jié)果

不同煙霧識(shí)別算法的實(shí)驗(yàn)結(jié)果如表4所示，表中加粗?jǐn)?shù)字表示各指標(biāo)下的最優(yōu)值。

從3個(gè)方面討論實(shí)驗(yàn)結(jié)果。

（1）少量數(shù)據(jù)訓(xùn)練過(guò)擬合問(wèn)題。表4中MDCNN-Set3表示MDCNN算法以原有訓(xùn)練數(shù)據(jù)集Set進(jìn)行訓(xùn)練，由于訓(xùn)練圖像集煙霧圖像數(shù)據(jù)不充分，導(dǎo)致過(guò)擬合問(wèn)題，訓(xùn)練的模型泛化能力差，因此測(cè)試集Set1和Set2上的實(shí)驗(yàn)結(jié)果指標(biāo)還有待提高。

（2）數(shù)據(jù)增強(qiáng)技術(shù)對(duì)性能的影響。表4中MDCNN-SetA顯示了MDCNN算法在增強(qiáng)后的數(shù)據(jù)集SetA上進(jìn)行訓(xùn)練的實(shí)驗(yàn)結(jié)果。在Set1測(cè)試數(shù)據(jù)集上，DR從94.38%提高到96.56%， AR從97.11%提高到97.90%，F(xiàn)AR從1.08%降低到0.48%;在Set2測(cè)試數(shù)據(jù)集上，DR從94.33%提高到98.82%，AR從97.01%提高到98.55%，F(xiàn)AR從0.73%降低到0.37%。從實(shí)驗(yàn)數(shù)據(jù)可以看到，通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行擴(kuò)充可緩解過(guò)擬合問(wèn)題，增強(qiáng)訓(xùn)練模型泛化能力。

（3）為展示利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行煙霧識(shí)別的優(yōu)勢(shì)，將MDCNN方法與傳統(tǒng)方法進(jìn)行比較。傳統(tǒng)煙霧檢測(cè)方法包括特征提取和分類流程。利用紋理特征表示煙霧已被證明是有效的方式，然后利用分類器支持向量機(jī)（Support Vector Machine， SVM）進(jìn)行識(shí)別驗(yàn)證。與基于紋理的煙霧檢測(cè)方法MCLBP[6]進(jìn)行結(jié)果比較，MDCNN-SetA方法在Set1和Set2測(cè)試集上的DR、AR和FAR指標(biāo)均表現(xiàn)更佳。

4 結(jié)語(yǔ)

本文利用卷積層、批規(guī)范化層、非線性激活函數(shù)層和池化層構(gòu)造模塊網(wǎng)絡(luò)，然后將若干模塊網(wǎng)絡(luò)與全連接層順次連接構(gòu)成深度卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)行煙霧圖像特征提取和識(shí)別。針對(duì)煙霧識(shí)別問(wèn)題中由于煙霧圖像數(shù)據(jù)不足產(chǎn)生的過(guò)擬合現(xiàn)象，采取水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和尺度變化數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充訓(xùn)練數(shù)據(jù)集，進(jìn)而提高訓(xùn)練模型泛化能力。實(shí)驗(yàn)結(jié)果表明，數(shù)據(jù)增強(qiáng)處理后，模塊化深度卷積神經(jīng)網(wǎng)絡(luò)可提高檢測(cè)率、降低誤報(bào)率。下一步將著力研究煙霧圖像全局特征，提高煙霧識(shí)別性能。

參考文獻(xiàn)：

[1]史勁亭，袁非牛，夏雪. 視頻煙霧檢測(cè)研究進(jìn)展[J]. 中國(guó)圖像圖形學(xué)報(bào)，2018，23（3）： 303-322.

[2]許峰，于春雨，徐放. 視頻圖像火災(zāi)探測(cè)技術(shù)研究趨勢(shì)[J]. 消防科學(xué)與技術(shù)，2012，31（11）：1185-1188.

[3]CHEN Y H，YIN Y H，HUANG SF，et al. The somke detection for early fire-alarming system base on video processing[C]. Proceedings of 2006 International Conference on Intelligent Information Hiding and Multimedia， 2006： 427-430.

[4]FUJIWARA N，TERADA K. Extraction of a smoke region using fractal co-ding[C]. 2004 IEEE International Symposium on Communications and Information Technology， 2004： 659-662.

[5]YUAN F N，SHI J T，XIA X，et al. High-order local ternary patters with locality preserving projection for smoke detection and image classification[J]. Information Sciences，2016，372（12）：225-240.

[6]DUBEY S R，SINGH S K， SINGH R K. Multichannel decoded local binary patterns for content-based image retrieval[J]. IEEE Transactions on Image Processing，2016，25 （9）： 4018-4032.