鮑文霞，孫強，梁棟，胡根生，楊先軍

1. 安徽大學(xué)電子信息工程學(xué)院，合肥 230601； 2. 中國科學(xué)院合肥物質(zhì)科學(xué)研究院，合肥 230031

0 引 言

近年來，世界各地多座百年建筑和多處森林接連遭遇火災(zāi)，星星之火為生態(tài)環(huán)境帶來了潛在的致命危險。為最大程度減少人員傷亡、環(huán)境和財產(chǎn)損害，實施快速準確的早期火焰檢測已勢在必行。雖然煙霧報警器和火焰報警器已廣泛用于室內(nèi)火焰報警，但這些傳統(tǒng)的物理傳感器具有許多局限性。例如，需要靠近火源、不適于戶外場景等。隨著圖像處理和機器學(xué)習(xí)技術(shù)的發(fā)展，利用現(xiàn)有監(jiān)控圖像進行實時火焰檢測的方法已廣泛應(yīng)用。

顏色是火焰圖像的重要特征，也是基于圖像的火焰檢測方法的基礎(chǔ)。Chen等人(2004)提出一種兩階段火焰檢測方法。首先根據(jù)RGB顏色空間中的色度和飽和度檢測火焰像素。然后使用火焰的無序特征和火焰區(qū)域的增長特性來驗證來自上一步的火焰像素。?elik和Demirel(2009)以及Celik(2010)利用統(tǒng)計分析和閾值法提取前景信息，實現(xiàn)了火焰的實時檢測。這類方法先將圖像轉(zhuǎn)換為Lab(CIE LAB)或YCbCr(ITU-R YCbCr)顏色空間，例如使用YCbCr顏色空間將亮度Y分量與色度Cb分量和Cr分量分離，在3個分量上通過閾值法分類火焰像素。Ouyang等人(2018)先在RGB顏色空間上分離火焰圖像，再在B通道上通過邊緣提取操作提取圖像的邊緣梯度來識別火焰。這些基于顏色的火焰檢測方法受光照變化影響較大，并且不能正確區(qū)分場景中偽火類物體。

隨著計算機視覺技術(shù)的發(fā)展，研究人員利用機器學(xué)習(xí)的方法檢測火焰。Truong和Kim(2012)首先使用自適應(yīng)高斯混合技術(shù)確定移動像素區(qū)域，然后使用模糊C均值聚類(fuzzy c-means，F(xiàn)CM)方法從這些區(qū)域中選擇候選火焰區(qū)域，利用離散小波變換算法提取火焰區(qū)域的近似系數(shù)，最后使用支持向量機(support vector machine，SVM)對火焰像素和非火焰像素進行分類。Chakraborty和Paul(2010)使用K-means聚類技術(shù)檢測火焰像素，在RGB和HSI(hue saturation intensity)兩種顏色空間中對顏色閾值使用K-means聚類，聚類后輸出背景集群和前景集群，背景集群被零像素取代，前景集群中保留了圖像的火焰像素，從而實現(xiàn)火焰檢測。在Khatami等人(2017)提出的基于粒子群優(yōu)化(particle swarm optimization，PSO)的K-medoids聚類火焰檢測方法的基礎(chǔ)上，Hashemzadeh和Zademehdi(2019)提出基于帝國競爭算法(imperialist competitive algorithm，ICA)的K-medoids聚類火焰檢測方法，通過基于ICA的K-medoids初步提取候選火焰像素區(qū)域，再使用運動強度感知技術(shù)獲得候選區(qū)域像素的移動速率，最后由SVM對火焰區(qū)域和非火焰區(qū)域進行分類。使用支持向量機、聚類等傳統(tǒng)的機器學(xué)習(xí)方法檢測火焰，通常需要人工設(shè)計火焰特征，此種方式主觀性強，且對復(fù)雜背景圖像的適應(yīng)能力差。

基于深度學(xué)習(xí)模型的火焰檢測是當(dāng)前研究的熱點。Zhang等人(2016)提出一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的森林火焰檢測方法，采用級聯(lián)方式檢測火焰。首先由前級分類器對完整圖像進行測試，若檢測到火焰，則先對完整圖像進行分割，得到連續(xù)的圖像塊，再通過后級分類器檢測圖像塊是否含有火焰，從而得到火焰的精確位置。Frizzi等人(2016)提出一種基于CNN的視頻火焰和煙霧檢測方法，判定視頻幀中是否包含火焰或煙霧。結(jié)果表明，基于CNN的方法比一些傳統(tǒng)的火焰檢測方法具有更好的性能。Shen等人(2018)使用改進的YOLOv1(you only look once)深度學(xué)習(xí)模型進行火焰檢測，使用數(shù)據(jù)增廣技術(shù)擴增數(shù)據(jù)集進行模型訓(xùn)練，結(jié)果表明，該算法的檢測速率為45幀/s，但容易將偽火類物體錯誤分類為火焰，且對火焰的定位不夠準確。Kim和Lee(2019)使用Faster R-CNN(region CNN)在空間維度上關(guān)注火焰特征，再使用長短期記憶網(wǎng)絡(luò)(long short term memory，LSTM)在時間維度上累積連續(xù)幀中的火焰時序特征，實現(xiàn)了火焰檢測，但耗時較長。

上述方法在火焰檢測任務(wù)中取得了成功，對火災(zāi)發(fā)生后期的中大型火焰具有很好的檢測準確率，但對火災(zāi)發(fā)生初期的小火焰容易漏檢，且場景中存在偽火類物體時誤警率較高。

為降低對偽火焰物體的誤警率并提高小火焰的檢測準確率，本文設(shè)計了一種結(jié)合感受野(receptive field，RF)模塊和并聯(lián)RPN(parallel region proposal network，PRPN)的卷積神經(jīng)網(wǎng)絡(luò)。RF模塊是一種用于多尺度特征融合的模塊，PRPN是一種并聯(lián)結(jié)構(gòu)的RPN子網(wǎng)絡(luò)。該網(wǎng)絡(luò)主要由特征提取模塊、并聯(lián)區(qū)域建議網(wǎng)絡(luò)和分類器3部分組成。特征提取模塊采用輕量級MobileNet(Howard等，2017)的卷積層，使本文算法在不損失火焰檢測性能的同時，加快了算法的運行速度。在特征提取模塊中，本文將RF模塊嵌入其中，從而擴大感受野，捕獲更豐富的上下文信息，用來提取更具鑒別性的火焰特征，降低了偽火類物體導(dǎo)致的高誤警率；在并聯(lián)區(qū)域建議網(wǎng)絡(luò)部分，結(jié)合火災(zāi)發(fā)生時期火焰大小不一的特點，在特征提取模塊后端建立多尺度采樣層，使PRPN與特征提取模塊后端的多尺度采樣層建立連接，并使用3 × 3和5 × 5的全卷積進一步拓寬多尺度錨點的感受野寬度，提升了網(wǎng)絡(luò)對不同尺度火焰的檢測能力，解決了火災(zāi)發(fā)生初期的小火焰漏檢問題；分類器由softmax和smooth L1分別實現(xiàn)分類與回歸，用來輸出最終火焰類別和在圖像中的位置信息。在本文數(shù)據(jù)集上的實驗結(jié)果表明，所提出的網(wǎng)絡(luò)對火焰的檢測準確度比一些卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)方法更高，并且能夠更好地區(qū)分場景中的偽火類物體。

1 材料和方法

1.1 數(shù)據(jù)集樣本標注

實驗數(shù)據(jù)主要來源于意大利薩萊諾(Salerno)大學(xué)(https://mivia.unisa.it/datasets/video-analysis-datasets/fire-detection-dataset/)、土耳其畢爾肯(Bilkent)大學(xué)(http://signal.ee.bilkent.edu.tr/VisiFire/Demo/SampleClips.html)、Ultimate Chase(http://www.ultimatechase.com/Fire_Video.htm)以及Github網(wǎng)頁(https://github. com/cair/fire-detection-image-dataset)。本文從這些數(shù)據(jù)中整理得到3 017幅火焰圖像，包括室內(nèi)、建筑物、森林和夜晚等場景。偽火類數(shù)據(jù)主要來源于Github網(wǎng)頁和其他電影畫面，共692幅圖像，主要有燈光、晚霞、火燒云和陽光等偽火類物體。部分火焰及偽火類圖像如圖1所示。

圖1 實驗數(shù)據(jù)

本文使用labelImg對實驗數(shù)據(jù)進行標注，分為兩個類別，火焰標注框用fire作為類別名，偽火類標注框用like作為類別名。標注火焰數(shù)據(jù)時，僅標注火焰區(qū)域，盡量少標或不標火焰周圍的燃燒物體，避免將燃燒物體誤判為火焰而產(chǎn)生誤警。同時，為避免與火類似的紅色、黃色、橙色物體等引發(fā)誤警，對偽火類數(shù)據(jù)如燈光、晚霞等進行了負樣本標注。部分標注后的火焰及偽火類圖像如圖2所示。

圖2 樣本標注

1.2 R-PRPNet

1.2.1 網(wǎng)絡(luò)總體架構(gòu)

本文基于Faster R-CNN(Ren等，2017)網(wǎng)絡(luò)思想，構(gòu)造了一種基于感受野模塊和并聯(lián)RPN的卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，主要由特征提取模塊、并聯(lián)區(qū)域建議網(wǎng)絡(luò)和分類器3部分構(gòu)成。特征提取模塊采用輕量級MobileNet的卷積結(jié)構(gòu)，包括14個卷積層，分為5組，第1組卷積由1個基礎(chǔ)卷積和1個深度可分離卷積組成，第2—5組分別由2、2、6、2個深度可分離卷積組成。在第4組I3卷積層后端嵌入RF模塊，輸出具有更大感受野和更豐富上下文信息的增強特征rI3，特征提取模塊再通過拼接、下采樣和逐元素相加將特征{I2,I3,rI3}進行組合，獲得增強的16倍下采樣和32倍下采樣特征圖{aI3,I4}，從而提取到更具鑒別性的火焰特征。在并聯(lián)區(qū)域建議網(wǎng)絡(luò)中，為了解決小火焰的漏檢問題，將PRPN與增強的16倍下采樣和32倍下采樣特征圖{aI3,I4}建立多尺度采樣層，并在PRPN中使用3×3和5×5的全卷積進一步拓寬多尺度錨點的感受野寬度，提升了網(wǎng)絡(luò)對不同尺度火焰的檢測能力，解決了火災(zāi)發(fā)生初期的小火焰的漏檢問題。最后，由分類器得到最終真實火焰類別和在圖像中的位置信息。

圖3 R-PRPNet網(wǎng)絡(luò)架構(gòu)

1.2.2 感受野模塊

rI3=RF(DOWN(I2)?I3)

(1)

式中，RF表示感受野模塊，DOWN表示特征矩陣下采樣，符號?表示特征矩陣拼接。

I3特征與rI3特征逐元素相加后，得到特征aI3，即

aI3=rI3⊕I3

(2)

式中，符號⊕表示特征矩陣逐元素相加。

特征aI3經(jīng)過3 × 3卷積后生成特征I4。如圖3所示，得到一組增強的特征{aI3,I4}，用來構(gòu)成多尺度采樣層。

RF模塊的設(shè)計源自Inception-V2(Szegedy等，2016)結(jié)構(gòu)。如圖4所示，RF使用1 × 3和3 × 1的卷積組合代替3 × 3的卷積形式，可在保持分辨率不變的同時降低計算量。RF模塊有3個分支，前2個分支采用相似的結(jié)構(gòu)設(shè)計。在第1個分支中，1 × 3和3 × 1的卷積均設(shè)置參數(shù)padding為1，3 × 3的空洞卷積設(shè)置參數(shù)padding和空洞率均為3?？斩淳矸e的設(shè)計用于擴增RF模塊的感受野，捕獲更豐富的上下文信息，以進一步提升對偽火類的分類效果。第3個分支為1個1 × 1卷積，在保持分辨率不變的前提下改善特征的非線性表達。3個分支串聯(lián)后，通過1 × 1卷積操作，將通道數(shù)降為512。如令 RF模塊的輸入為Ci，則其輸出為

圖4 感受野模塊

RF=conv1(dilation3(conv3(Ci))?
dilation5(conv5(Ci))?conv1(Ci))

(3)

式中，convi為i×i的卷積操作，dilationi為padding和空洞率為i的3 × 3卷積操作。

1.2.3 并聯(lián)區(qū)域建議網(wǎng)絡(luò)

本文利用兩個相似結(jié)構(gòu)的RPN設(shè)計了一種并聯(lián)結(jié)構(gòu)的PRPN，PRPN與特征提取模塊后端的多尺度采樣層{aI3,I4}建立連接，并使用3 × 3和5 × 5的全卷積進一步拓寬多尺度錨點的感受野寬度，用來解決小火焰的漏檢問題。如圖5所示，并聯(lián)區(qū)域建議網(wǎng)絡(luò)上半部分為標準RPN，RPN頭利用3 × 3全卷積通過滑動窗口方式生成邊界框回歸建議；除了標準RPN，本文還擴展了另一支RPN子網(wǎng)絡(luò)，采用與標準RPN相似的網(wǎng)絡(luò)結(jié)構(gòu)，因為較小卷積核在小目標特征區(qū)域會進行多次重疊卷積，從而造成小目標特征消失，所以擴展的RPN頭采用了較大卷積核的5 × 5全卷積，通過連接上文RF模塊獲取增強特征aI3。

圖5 并聯(lián)區(qū)域建議網(wǎng)絡(luò)

圖6為特征圖可視化。可以看出，圖6(b)相較于圖6(c)(d)能更好地保留小火焰的特征信息，解決了火災(zāi)發(fā)生前期的小火焰在深層特征傳播的過程中的消失問題，從而在區(qū)域建議中對小火焰進行更精確的檢測。最后，通過對擴展分支RPN進行下采樣，與標準RPN逐元素相加后，將兩個RPN分支的區(qū)域建議集組合為最終的建議集。

圖6 特征圖可視化

另外，對RPN的另一項改進是在訓(xùn)練階段限制正負錨點的比率。在原始的RPN實現(xiàn)中，正負錨點的預(yù)期比率是1，但在實驗中，發(fā)現(xiàn)該比率通常很大，這種不平衡會導(dǎo)致網(wǎng)絡(luò)偏向負樣本(背景類物體)，從而損害提案的召回率。為解決這個問題，在實驗中限制正負錨點比率為1，當(dāng)負錨點多于正錨點時，將隨機丟棄富余的負錨點，以平衡正負錨點的分布。

1.3 火焰檢測算法流程

首先，將實驗數(shù)據(jù)按8 ∶2的比例劃分訓(xùn)練集和測試集。劃分后，訓(xùn)練集有2 413幅火焰圖像和553幅偽火類圖像，測試集有604幅火焰圖像和139幅偽火類圖像。為了提高網(wǎng)絡(luò)的泛化能力，采取鏡像、旋轉(zhuǎn)和平移對訓(xùn)練集中的樣本進行增廣，避免因訓(xùn)練樣本過少產(chǎn)生過擬合，增廣后的訓(xùn)練集有4 826幅火焰圖像和1 106幅偽火類圖像。其次，使用labelImg工具對測試集和增廣后的訓(xùn)練集進行標注。然后，使用增廣訓(xùn)練集的火焰數(shù)據(jù)對R-PRPNet進行訓(xùn)練，并將增廣訓(xùn)練集的偽火類物體圖像作為負樣本，凍結(jié)網(wǎng)絡(luò)除后兩層的所有層進行負樣本微調(diào)，微調(diào)的學(xué)習(xí)率設(shè)置為0.000 1。最后，將測試集輸入訓(xùn)練好的R-PRPNet網(wǎng)絡(luò)中，網(wǎng)絡(luò)給出預(yù)測的真實火焰標簽，并過濾掉偽火類標簽，實現(xiàn)對火焰的檢測。算法流程如圖7所示。

圖7 本文方法總體流程

2 實驗及結(jié)果分析

2.1 實驗環(huán)境及訓(xùn)練過程

實驗的軟件環(huán)境為Ubantu 16.04 LTS 64位操作系統(tǒng)，編程語言為Python3.6，網(wǎng)絡(luò)采用深度學(xué)習(xí)框架Tensorflow1.14，使用英偉達GeForce RTX 2070 GPU加速訓(xùn)練過程，CUDA版本為10.0。實驗采用批(batch)訓(xùn)練方式，將訓(xùn)練集和測試集分為多個批次，每個batch大小設(shè)置為1，即每批輸入1幅圖像進行訓(xùn)練。實驗中，訓(xùn)練過程使用隨機梯度下降優(yōu)化算法(stochastic gradient descent，SGD)優(yōu)化網(wǎng)絡(luò)，學(xué)習(xí)率為0.001，每隔200個迭代次數(shù)保存一次訓(xùn)練權(quán)重，最大迭代次數(shù)設(shè)置為62 500。

R-PRPNet的訓(xùn)練損失曲線如圖8所示，訓(xùn)練開始時，損失振蕩較大，當(dāng)訓(xùn)練到40 000次時，損失曲線開始趨于穩(wěn)定。當(dāng)?shù)螖?shù)為50 000次時，損失值已基本穩(wěn)定在0.4以下。說明訓(xùn)練階段的各個超參數(shù)設(shè)置合理且學(xué)習(xí)效果理想。

圖8 R-PRPNet損失曲線

2.2 評價指標

目標檢測任務(wù)中，采用準確率、召回率、誤警率、漏檢率、預(yù)測框與真實框的交并比、網(wǎng)絡(luò)每秒運算圖像的數(shù)量作為火焰檢測算法的評估指標。

準確率(accuracy，A)即正確識別火焰和非火焰占全部測試集的比例。召回率(recall，R)代表正確識別火焰數(shù)量占實際火焰數(shù)量的比例。誤警率(probability of false alarm，Pfalse)即錯誤識別火焰數(shù)量占實際非火焰數(shù)量的比例。漏檢率(probability of missed detection，Pmiss)表示未檢測到火焰數(shù)量占實際火焰數(shù)量的比例。預(yù)測框與真實框的交并比(intersection over union，IoU)表示預(yù)測的火焰檢測框準確性。網(wǎng)絡(luò)每秒運算圖像的數(shù)量(frames per sec-ond，F(xiàn)ps)表明網(wǎng)絡(luò)的運算速度。各項指標的具體定義為

(4)

(5)

(6)

(7)

(8)

Fps=N

(9)

式中，TP(true positive)表示真陽性，指火焰被正確識別的數(shù)量；FP(false positive)表示假陽性，代表非火焰被錯誤識別為火焰的數(shù)量；TN(true negative)指非火焰被正確識別的數(shù)量；FN(false negative)代表火焰被錯誤識別為非火焰的數(shù)量。BBpred表示預(yù)測框面積；BBtruth表示真實框面積。N表示每秒運算圖像的數(shù)量。

2.3 結(jié)果對比與分析

2.3.1 消融實驗

為了驗證本文網(wǎng)絡(luò)在解決火焰檢測任務(wù)中漏檢和誤警問題的有效性，將Faster R-CNN特征提取模塊用MobileNet卷積結(jié)構(gòu)替換后的網(wǎng)絡(luò)作為基線網(wǎng)絡(luò)，依次添加RF模塊、PRPN和負樣本微調(diào)的訓(xùn)練策略進行消融實驗，實驗結(jié)果如表1所示?？梢钥闯觯c基線網(wǎng)絡(luò)相比，具有RF模塊的網(wǎng)絡(luò)能夠?qū)W習(xí)到更具鑒別性的火焰特征，在漏檢率和誤警率上分別降低了1.1%和0.43%。對比表1的第3行和第2行可知，PRPN的并行RPN子網(wǎng)絡(luò)有效提升了網(wǎng)絡(luò)對多尺度火焰的識別率，在召回率上提升了1.7%，漏檢率上降低了1.7%，在檢測框準確度上提升了0.02%。與RF相比，負樣本微調(diào)豐富了偽火類特征，更好地提升了網(wǎng)絡(luò)對真實火焰與偽火類物體的分類性能，對比表1的最后一行與第3行可知，負樣本微調(diào)在誤警率上降低了21%，性能獲得大幅提升。在加入RF模塊和PRPN后，網(wǎng)絡(luò)的運行速度減少了2幀/s，但仍可適用于火焰檢測的實時性需求。

表1 消融實驗結(jié)果

2.3.2 與傳統(tǒng)火焰檢測算法對比

首先對比傳統(tǒng)機器學(xué)習(xí)方法(Celik，2010；?elik和Demirel，2009；Ouyang等，2018；Khatami等，2017)與本文網(wǎng)絡(luò)R-PRPNet的火焰檢測結(jié)果。Celik(2010)提出了一種基于Lab顏色空間的火焰檢測方法，在L、a、b 3個分量上使用閾值法分類火焰像素。?elik和Demirel(2009)將圖像轉(zhuǎn)換為YCbCr顏色空間，使用YCbCr顏色空間有效地將亮度Y分量與色度Cb分量和Cr分量分離，在3個分量上通過閾值法分類火焰像素。Ouyang等人(2018)先在RGB顏色空間上分離火焰圖像，再在B通道上通過邊緣提取操作提取圖像的邊緣梯度識別火焰。Khatami等人(2017)提出基于粒子群優(yōu)化(PSO)的K-medoids聚類火焰檢測方法，先使用K-medoids聚類劃分數(shù)據(jù)集，再通過PSO從劃分后的數(shù)據(jù)集中得到具有分色(區(qū)分火焰像素與非火焰像素的顏色)特性的轉(zhuǎn)換矩陣，將該矩陣應(yīng)用于火焰圖像來突出火焰區(qū)域，從而實現(xiàn)對火焰的檢測。

實驗結(jié)果如表2所示?？梢钥闯?，本文網(wǎng)絡(luò)的火焰檢測性能優(yōu)于傳統(tǒng)算法。其中，Ouyang等人(2018)和Khatami等人(2017)的方法在準確率和召回率上優(yōu)于其他兩個傳統(tǒng)算法，說明Ouyang等人(2018)的邊緣梯度信息和Khatami等人(2017)的聚類方法，可以有效避免偽火類物體對火焰檢測的影響。從誤警率可知，Ouyang等人(2018)和Khatami等人(2017)的方法好于?elik和Demirel(2009)以及Celik(2010)的方法，在Fps指標上，它們的平均運行速度與本文算法相近。

表2 與傳統(tǒng)火焰檢測算法的比較結(jié)果

2.3.3 與基于卷積神經(jīng)網(wǎng)絡(luò)的火焰檢測算法對比

將所提算法R-PRPNet和不采用負樣本微調(diào)的R-PRPNet算法(用R-PRPNet*表示)與目前常用的基于卷積神經(jīng)網(wǎng)絡(luò)的火焰檢測算法進行對比。其中，Kim等人(2018)利用Faster R-CNN進行火焰檢測，Shen等人(2018)對YOLOv1改進后實現(xiàn)火焰檢測。此外，將Faster R-CNN的特征提取模塊換成ResNet101(He等，2016)和MobileNet后構(gòu)成Faster_ResNet101和Faster_MobileNet網(wǎng)絡(luò)進行火焰檢測對比。同時，將SSD(single shot multibox detector)(Liu等，2016)、YOLOv3(Redmon和Farhadi，2018)、YOLOv4(Bochkovskiy等，2020)和YOLOX-L(Ge等，2021)等也用于火焰檢測，對比結(jié)果如表3所示?？梢钥闯觯琘OLO系列算法在準確率上較其他算法低，但檢測速度相比其他方法更快，其中YOLOv4相較于YOLOv3多了數(shù)據(jù)增強(該數(shù)據(jù)增強為網(wǎng)絡(luò)本身具備)并改進了主干網(wǎng)絡(luò)，從YOLOv4的實驗結(jié)果來看，在漏檢率上相比YOLOv3具有一定的性能提升。YOLOX-L作為YOLO系列的巔峰框架，新引入了Decoupled Head、Anchor Free和SimOTA樣本匹配等方法，使其在漏檢率上相較于YOLOv4得到了較大提升，降低了4.95%的漏檢率，而在其他指標上雖然優(yōu)于其他YOLO系列方法，但依然不如Faster R-CNN系列方法?；贔aster R-CNN系列的算法除速度外的各項指標上均優(yōu)于YOLO及SSD算法。單從Faster R-CNN系列方法上分析可知，F(xiàn)aster_MobileNet的卷積層結(jié)構(gòu)相比原始Faster R-CNN的VGG16(Visual Geometry Group 16-layer net)以及ResNet101火焰檢測效果更好，而本文R-PRPNet是在Faster_MobileNet基礎(chǔ)上加入了RF模塊和PRPN網(wǎng)絡(luò)，因此相比Faster_MobileNet在準確率和召回率上分別提升了約8%和約5%，而R-PRPNet*在誤警率上相比Faster_MobileNet也降低了約0.7%。同時也可以看出，負樣本微調(diào)的訓(xùn)練策略能夠很好地降低R-PRPNet網(wǎng)絡(luò)的誤警率。

表3 與基于卷積神經(jīng)網(wǎng)絡(luò)的火焰檢測算法的比較結(jié)果

圖9為上述方法的部分火焰檢測結(jié)果圖，從第1行圖像可以看出，YOLOv3檢測框的定位精度稍差于其他方法，YOLOv3檢測框的右下角含有多余的背景區(qū)域。在第2行的森林場景下，前3種方法均出現(xiàn)了小火焰漏檢，YOLOv3還出現(xiàn)了一個檢測框內(nèi)包含多個實例對象的問題，這些是導(dǎo)致基線算法召回率較低的主要原因。由最后兩行圖像容易看出，正確分類偽火類物體對目標檢測類方法具有一定困難，改進后的R-PRPNet*仍可能在檢測與火類似的紅色、黃色、橙色物體時生成誤警。為此，本文采用負樣本微調(diào)的訓(xùn)練策略。由圖9(e)第3、4行的圖像可以看出，負樣本微調(diào)可以很好地解決偽火類物體的誤警問題。

圖9 不同算法的部分火焰檢測結(jié)果圖

2.3.4 不同場景火焰檢測結(jié)果對比

為驗證本文網(wǎng)絡(luò)在不同場景的泛化性，分別在室內(nèi)、夜晚、建筑和森林等場景進行實驗，結(jié)果如表4所示。本文提出的R-PRPNet在4種火焰場景取得平均97.82%的召回率。在夜晚場景，受自身燃燒光影影響，火焰失去了紋理、形狀等特征，導(dǎo)致少量火焰對象沒有檢測到。在森林場景，存在一些小火焰無法檢測到的問題，導(dǎo)致本文網(wǎng)絡(luò)在森林場景相比其他場景，漏檢率為4.6%。

圖10顯示了部分不同場景火焰檢測實例圖。可以看出，在室內(nèi)和建筑場景，本文算法能夠很好地定位檢測框位置，檢測框平均置信度約為0.96。通過圖10(b)的實例圖可以看出，夜晚環(huán)境下檢測框會受到光亮影響，導(dǎo)致檢測框內(nèi)含有小部分背景區(qū)域。在圖10(d)的實例圖像中，存在容易漏檢小火焰的問題，這也是表4森林場景下漏檢率較高的原因。從圖10整體來看，本文網(wǎng)絡(luò)在火焰檢測任務(wù)上，具有較好的適用性，能夠在不同場景下完成火焰檢測任務(wù)。

圖10 不同場景的火焰檢測實例圖

表4 不同場景火焰的檢測結(jié)果

3 結(jié) 論

現(xiàn)有火焰檢測方法在火焰檢測任務(wù)中雖然已經(jīng)取得了相當(dāng)大的成功，但當(dāng)場景中存在偽火類物體時誤警率較高，并且這些方法對火災(zāi)發(fā)生初期的小火焰容易漏檢。為了進一步降低對偽火焰物體的誤警率并同時提高小火焰的檢測準確率，本文設(shè)計了一種結(jié)合感受野模塊與并聯(lián)RPN的卷積神經(jīng)網(wǎng)絡(luò)R-PRPNet用于火焰的檢測。R-PRPNet在特征提取模塊中嵌入RF模塊，通過拼接、下采樣和逐元素相加將火焰特征進行組合，擴大感受野，捕獲更豐富的上下文信息，提取更具鑒別性的火焰特征。再結(jié)合火災(zāi)發(fā)生時期火焰大小不一的特點，在特征提取模塊后端建立多尺度采樣層，使PRPN與特征提取模塊后端的多尺度采樣層建立連接，使用3 × 3和5 × 5的全卷積進一步拓寬多尺度錨點的感受野寬度，提升了網(wǎng)絡(luò)對不同尺度火焰的檢測能力，解決了火災(zāi)發(fā)生初期的小火焰的漏檢問題。將所提網(wǎng)絡(luò)與一些卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)方法相對比，實驗結(jié)果表明，所提網(wǎng)絡(luò)能夠在不同場景下自動提取復(fù)雜圖像火焰特征，并能夠準確過濾偽火類物體，在火災(zāi)發(fā)生的更早期及時發(fā)現(xiàn)火情，促進應(yīng)急管理，從而有助于預(yù)防火災(zāi)失控。但本文網(wǎng)絡(luò)也存在不足，在夜晚場景下檢測框依然不夠精確，并存在少量誤警問題。在后續(xù)研究中，將著眼于這些不足，從時序網(wǎng)絡(luò)方面出發(fā)，提取火焰燃燒的動態(tài)特征，進一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提升網(wǎng)絡(luò)性能。