劉洲岐，王雷，劉聰，黃晉，王振

(山東理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 山東 淄博 255049)

隨著生活水平的提高，人們工作及生活中的日常需求不斷增長(zhǎng)，對(duì)各種燃料的應(yīng)用也隨之增加，同時(shí)每年發(fā)生火災(zāi)的頻率逐年增長(zhǎng)，并造成了嚴(yán)重的損失。據(jù)不完全統(tǒng)計(jì)，平均每天都會(huì)有一萬多起的火災(zāi)事故發(fā)生，產(chǎn)生的傷亡人數(shù)也有數(shù)百人之多。根據(jù)我國(guó)消防部門的數(shù)據(jù)顯示，在2020年1月到10月期間，我國(guó)接到19.6萬起火災(zāi)報(bào)案，共計(jì)造成了一千多人的傷亡，財(cái)產(chǎn)損失達(dá)到二十五億元之多[1]。因此，對(duì)于火災(zāi)檢測(cè)技術(shù)的研究和升級(jí)刻不容緩。通過對(duì)火災(zāi)的實(shí)時(shí)監(jiān)測(cè)及防控，不僅能夠有效地防患于未然，避免各種慘劇的發(fā)生，同時(shí)也能很大程度上保障人民的生命財(cái)產(chǎn)安全。

傳統(tǒng)的火災(zāi)檢測(cè)技術(shù)，往往是使用基于物理硬件的傳感設(shè)備，實(shí)現(xiàn)對(duì)火災(zāi)產(chǎn)生的關(guān)鍵參數(shù)的實(shí)時(shí)監(jiān)測(cè)[2]。目前，被廣泛使用的火災(zāi)報(bào)警器大多基于溫度檢測(cè)和煙霧檢測(cè)[3]。常見的溫感報(bào)警器大致可以劃分為兩種，第一種是以基爾霍夫定律為準(zhǔn)則的接觸式傳感器，利用被測(cè)環(huán)境周圍物體的熱輻射信號(hào)檢測(cè)實(shí)際溫度；而第二種是非接觸式傳感器，為了使被測(cè)物體的溫度能用溫度計(jì)表示，主要通過對(duì)流傳熱達(dá)到熱平衡來實(shí)現(xiàn)[4]。光電感煙式和離子感煙式是兩種經(jīng)常使用的煙感報(bào)警器。光電感煙式探測(cè)器主要利用光的傳播可以被火災(zāi)現(xiàn)場(chǎng)產(chǎn)生的煙霧而改變這一基本原理。而離子感煙式探測(cè)器利用煙霧粒子與電離化區(qū)域的離子相聯(lián)系減弱其中的導(dǎo)電性，當(dāng)?shù)陀谝欢〝?shù)值時(shí)，就會(huì)發(fā)出檢測(cè)信號(hào)[5]。這兩類傳感器分別檢測(cè)空氣中的煙霧濃度和溫度數(shù)值，通過內(nèi)部轉(zhuǎn)換將其轉(zhuǎn)換為電信號(hào)，并使用單片機(jī)檢測(cè)煙霧濃度和溫度是否高出預(yù)警值，如果超標(biāo)就會(huì)發(fā)出火災(zāi)警告[6]。

上述兩種火災(zāi)檢測(cè)方法都具有較高的靈敏度，一旦發(fā)生火情，周圍環(huán)境中的某些環(huán)境參數(shù)(如溫度等)會(huì)相應(yīng)地產(chǎn)生不同程度的變化，通過對(duì)這些火災(zāi)參數(shù)進(jìn)行有效地觀測(cè)及分析，進(jìn)而對(duì)火災(zāi)發(fā)生與否做出相應(yīng)的判斷。但是這些基于傳感器的火災(zāi)檢測(cè)設(shè)備同時(shí)也存在相應(yīng)的弊端，容易受到空氣流通、光線變化等環(huán)境因素的干擾，產(chǎn)生誤報(bào)和漏報(bào)現(xiàn)象[7]。同時(shí)，這些設(shè)備對(duì)環(huán)境的適應(yīng)性較差而且使用壽命短，很難實(shí)現(xiàn)對(duì)火情的及時(shí)監(jiān)控和預(yù)警。

因此，隨著計(jì)算機(jī)視覺、模式識(shí)別等技術(shù)不斷地發(fā)展, 為了更有效地對(duì)火災(zāi)進(jìn)行檢測(cè)，基于視頻監(jiān)控的火災(zāi)識(shí)別技術(shù)得到了廣泛認(rèn)可。相較于傳統(tǒng)以傳感器為主的火災(zāi)識(shí)別技術(shù)，圖像檢測(cè)方法更為精確，不僅使火災(zāi)識(shí)別的準(zhǔn)確率大幅提升，減少不必要的漏報(bào);同時(shí)該系統(tǒng)基本不受外界環(huán)境的影響，整體性能相對(duì)穩(wěn)定。針對(duì)現(xiàn)有的監(jiān)控系統(tǒng)，該技術(shù)可以將火災(zāi)監(jiān)控加入其中，具有靈敏、準(zhǔn)確、便捷等優(yōu)點(diǎn),并且使用成本低。

1 基于顏色模型的火災(zāi)識(shí)別系統(tǒng)

本文設(shè)計(jì)的可視化的界面如圖1所示，實(shí)現(xiàn)了基本的視頻監(jiān)控和拍照功能，同時(shí)以火災(zāi)檢測(cè)算法為核心，將疑似火焰區(qū)域標(biāo)記并輸出到視頻中。本設(shè)計(jì)通過高清攝像頭獲取圖像﹐并傳輸至計(jì)算機(jī)中,通過對(duì)視頻圖像的讀取及預(yù)處理將圖像轉(zhuǎn)化為灰度圖像,便于后期分析。利用運(yùn)動(dòng)目標(biāo)檢測(cè)算法提取圖像中的前景區(qū)域，然后基于顏色檢測(cè)，判斷疑似火災(zāi)區(qū)域，并進(jìn)行標(biāo)注。

圖1 系統(tǒng)界面

本系統(tǒng)的重點(diǎn)在于對(duì)火災(zāi)檢測(cè)算法的研究，具體流程如圖2所示。在火災(zāi)檢測(cè)流程中，首先要通過攝像頭的視頻監(jiān)控獲取圖像信息并傳輸?shù)接?jì)算機(jī)端，然后對(duì)圖像進(jìn)行預(yù)處理﹐在檢測(cè)過程中﹐圖像背景的選取很重要，這直接決定了目標(biāo)檢測(cè)的準(zhǔn)確性。本文采用幀間差分法和高斯混合模型背景建模相結(jié)合的方法，從視頻圖像中分離運(yùn)動(dòng)的目標(biāo)前景不但計(jì)算簡(jiǎn)單﹐工作量少，同時(shí)也減少了計(jì)算機(jī)資源的占用。

圖2 基于顏色模型的火災(zāi)檢測(cè)流程

2 視頻預(yù)處理及運(yùn)動(dòng)目標(biāo)檢測(cè)

從攝像頭的實(shí)時(shí)監(jiān)控中讀取視頻，圖像會(huì)因?yàn)樵O(shè)備、環(huán)境等各種因素的干擾，致使后期分析處理時(shí)性能下降；所以通過對(duì)收集的圖像做預(yù)處理操作，從眾多圖像信息中提取有用的特征信息。

2.1 視頻圖像灰度變換

由于高清攝像頭拍攝的RGB格式的圖像，一方面占用的計(jì)算機(jī)存儲(chǔ)空間相對(duì)大，另一方面在處理時(shí)CPU占比也不小[8]。因此對(duì)采集的圖像進(jìn)行灰度處理操作，灰度處理后的視頻圖像僅保存亮度數(shù)據(jù)。如圖3所示，對(duì)彩色圖像進(jìn)行灰度處理后，僅保留了亮度數(shù)據(jù)，方便對(duì)圖像進(jìn)行后續(xù)處理。

圖3 視頻圖像做灰度化處理前后的結(jié)果對(duì)比

2.2 視頻圖像平滑濾波

采集后的視頻圖像如果沒經(jīng)過處理會(huì)存在很多干擾噪聲，比如常見的高斯白噪聲和椒鹽噪聲等，要進(jìn)行圖像檢測(cè)則必須過濾掉這些干擾噪聲，便于后續(xù)步驟對(duì)目標(biāo)圖像的特征提取。對(duì)圖像進(jìn)行平滑處理使用的濾波器有中值濾波和鄰域平滑濾波等。通過對(duì)濾波器的分析，本系統(tǒng)主要采用了Sobel算子和中值濾波對(duì)圖像進(jìn)行平滑處理。在圖4中，對(duì)采集到的視頻圖像先通過Sobel算子求取圖像邊緣并濾除高斯噪聲，然后通過中值濾波器過濾掉噪聲，平滑圖像。

圖4 視頻圖像平滑濾波前后結(jié)果對(duì)比

Sobel算子作為一種用于檢測(cè)邊緣的算子，主要通過離散微分方法求取圖像邊緣，其中借鑒了高斯濾波的思想，邊緣檢測(cè)效果較好。使用Sobel邊緣檢測(cè)算子提取圖像邊緣，首先要分別獲得X方向和Y方向的邊緣信息，然后整合這兩個(gè)方向上的邊緣數(shù)據(jù)求出完整的圖像邊緣。

中值濾波的基本實(shí)現(xiàn)原理是為了使每個(gè)像素周圍點(diǎn)的值更容易向真實(shí)的值靠攏，用其鄰域灰度值的中值來替換，以此來有效抑制噪聲[9]。這種方法不僅可以去除噪聲，而且也解決了線性濾波導(dǎo)致的一些圖像細(xì)節(jié)的模糊問題。

2.3 幀間差分法

幀間差分法的實(shí)現(xiàn)原理是對(duì)圖像序列中鄰近的每?jī)蓭鞑罘?，?dāng)連續(xù)的圖像中出現(xiàn)移動(dòng)的物體，兩幀之間就會(huì)有顯著差別，要確定其中有無運(yùn)動(dòng)物體，首先將兩幀相減，然后比較圖像像素差的絕對(duì)值和設(shè)定的閾值二者大小，以此來檢測(cè)運(yùn)動(dòng)目標(biāo)[10]。

最常用的幀差法是二幀差分法，將視頻流中的前后兩幀圖像轉(zhuǎn)換為灰度圖像，再經(jīng)過高斯模糊消除噪聲干擾，然后將兩幀圖像進(jìn)行相減操作得到之間的差異區(qū)域，再對(duì)差異圖像進(jìn)行二值分割，把差異區(qū)域作為前景、不變區(qū)域作為背景，并且進(jìn)行開運(yùn)算操作消除一些微小干擾。這樣，得到了兩幀圖像中明顯不同的區(qū)域，也就是運(yùn)動(dòng)的目標(biāo)物體。假設(shè)圖像中相鄰的兩幀為第k幀和第k+1幀，用D(x,y)表示兩幀圖像fk(x,y)和f(k+1)(x,y)之間的變化，公式為

(1)

式中T為差分圖像二值化閾值，該二值圖像中用0表示前后未變化的背景區(qū)域，用1表示變化的運(yùn)動(dòng)區(qū)域。流程如圖5所示。

圖5 幀間差分法流程

幀差法的顯著特點(diǎn)是在動(dòng)態(tài)環(huán)境中的自適應(yīng)性較好，運(yùn)算敏捷，實(shí)現(xiàn)簡(jiǎn)單。但缺點(diǎn)是對(duì)微小運(yùn)動(dòng)物體的檢測(cè)能力比較差，如果在兩幀圖像之間變化太小，就很難被檢測(cè)出來。而且二幀差分法對(duì)于噪聲、光照等都非常敏感，在檢測(cè)過程中容易因?yàn)榄h(huán)境因素的影響而出現(xiàn)孔洞和重影現(xiàn)象，導(dǎo)致運(yùn)動(dòng)目標(biāo)提取信息不完整，進(jìn)而引發(fā)誤檢測(cè)的問題。

2.4 自適應(yīng)高斯混合背景建模

高斯混合模型簡(jiǎn)稱為MOG，其原理是以圖像中一段時(shí)間內(nèi)的像素樣本的概率密度等信息來體現(xiàn)背景，對(duì)目標(biāo)像素位置使用統(tǒng)計(jì)差分的方法進(jìn)行判別，能夠?qū)σ恍┴S富的動(dòng)態(tài)背景建模。在序列圖像中，每個(gè)像素點(diǎn)的變化可以認(rèn)為是不停地生成像素值的隨機(jī)過程，即每個(gè)像素點(diǎn)的顏色展現(xiàn)規(guī)律可以用高斯分布來描述。假設(shè)在處理彩色圖像時(shí)，像素點(diǎn)R、G、B三個(gè)顏色的通道有相同且獨(dú)立的方差。隨機(jī)變量X的觀察數(shù)據(jù)集合{x1，x2，…，xN}，xt=(rt,gt,bt)是t時(shí)刻的像素樣本，單一采樣點(diǎn)xt服從的高斯分布概率密度函數(shù)為

(2)

η(xt,μi,t,τi,t)=

(3)

(4)

式中：k是分布模式的總數(shù)；η(xt,μi,t,τi,t)表示t時(shí)刻的第i個(gè)高斯分布；μi,t是均值；τi,t是協(xié)方差矩陣；δi,t表示方差；I是三維單位矩陣;wi,t表示t時(shí)刻的第i個(gè)高斯分布的權(quán)重。

MOG2作為MOG的升級(jí)算法，在前景連續(xù)性及運(yùn)行時(shí)間上具有明顯的優(yōu)勢(shì)。它一個(gè)顯著特征是，為每個(gè)像素點(diǎn)選擇合適的高斯分布，進(jìn)而適應(yīng)各種環(huán)境中的亮度變化。該算法可以相對(duì)較好地適應(yīng)背景的變化，如光照的明暗影響等，但對(duì)于慢速的移動(dòng)物體不容易檢測(cè)出來。

2.5 基于自適應(yīng)高斯混合背景建模的幀差法

為了提高幀差法的魯棒性和穩(wěn)定性，同時(shí)改善MOG對(duì)檢測(cè)緩慢移動(dòng)物體的靈敏度，將二者結(jié)合提出了基于自適應(yīng)高斯混合背景建模的幀差法，這個(gè)方法主要有高斯混合模型和幀差法這兩個(gè)重要組成部分[11]。其具體算法流程如下：

1)首先通過幀間差分法對(duì)圖像進(jìn)行移動(dòng)物體檢測(cè)，并對(duì)識(shí)別到的運(yùn)動(dòng)區(qū)域進(jìn)行圖像預(yù)處理操作。

2)用高斯混合模型進(jìn)行背景建模獲得背景，對(duì)視頻圖像進(jìn)行背景減除法,初步獲得其中的前景圖像。

3)對(duì)前兩步提取的運(yùn)動(dòng)區(qū)域執(zhí)行圖像邏輯或操作，得到相對(duì)完整的運(yùn)動(dòng)區(qū)域，并對(duì)此進(jìn)行腐蝕膨脹處理，然后使用孔洞填充增強(qiáng)目標(biāo)區(qū)域的完整性。

該方法可以提高對(duì)微小運(yùn)動(dòng)物體的檢測(cè)能力，同時(shí)增強(qiáng)對(duì)噪聲、光照等因素的抗干擾能力，最終能夠比較完整地檢測(cè)出火焰的運(yùn)動(dòng)狀態(tài)。對(duì)視頻監(jiān)控中的火焰使用三種方法分別進(jìn)行運(yùn)動(dòng)目標(biāo)區(qū)域識(shí)別的效果如圖6所示。從圖6中3組實(shí)驗(yàn)明顯看出，基于幀間差分法顯示的動(dòng)態(tài)火焰輪廓不明顯；基于高斯混合背景模型的方法不易檢測(cè)出火焰的細(xì)微變化；而基于自適應(yīng)高斯混合背景建模的幀差法在很大程度上彌補(bǔ)了以上兩者的缺點(diǎn)，并且檢測(cè)實(shí)時(shí)性也有了較大提高。

(a) 幀間差分法

3 基于顏色模型的火災(zāi)特征提取

一般來說，RGB顏色模型是肉眼可見的，對(duì)于火焰顏色來說，R(紅色比重)和G(綠色比重)比較大，并且G大于B(藍(lán)色比重)。HIS模型主要依靠色度(H)、亮度(I) 和飽和度(S)來表示顏色特征[12]。

受溫度、燃燒的物質(zhì)和氧氣濃度的影響，大多數(shù)的火焰顏色介于紅黃之間，其中火焰的中心部分一般呈現(xiàn)為亮白色[13]。顏色隨著溫度的升高而傾向于冷色，隨著溫度的降低而傾向于暖色，燃燒溫度的高低也會(huì)影響火焰顏色飽和度和亮度的變化。因?yàn)榛鹧嫒紵念伾卣飨喈?dāng)明顯，所以一般通過HIS判據(jù)和RGB判據(jù)，設(shè)置特定的閾值條件，檢測(cè)疑似火焰區(qū)域，把圖像二值化，再對(duì)其進(jìn)行平滑濾波等圖像處理。詳細(xì)條件為：

(i)R>RT,

(ii)R≥G≥B,

(iii)S≥(255-R)×ST/RT，

S=(1-3.0×min(R,G,B)),

其中:飽和度的閾值為ST;紅色比重的閾值用RT表示，火焰像素大部分依賴于紅色的飽和度和色度。如果滿足上述條件，就可以認(rèn)為該區(qū)域?yàn)橐伤苹鹧娴南袼?，將其設(shè)置成白色，不然設(shè)置成黑色[14]。針對(duì)紅黃色的火焰，其色度H在近紅黃范圍內(nèi)變化，火焰由內(nèi)到外，顏色是逐漸由亮白色到黃色到紅色，所以飽和度由內(nèi)到外逐漸增大，而強(qiáng)度由內(nèi)到外逐漸降低[15]。

最后，把通過RGB、HIS雙判據(jù)分割的區(qū)域進(jìn)行二值化，然后對(duì)其進(jìn)行預(yù)處理操作，剔除異常并找到遺漏的點(diǎn)。由于一些火焰的顏色并非僅限于紅色和黃色兩種顏色之間，沒辦法被識(shí)別，需要實(shí)現(xiàn)區(qū)域間的相互連通，因此對(duì)二值圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)的操作，對(duì)圖像執(zhí)行膨脹運(yùn)算操作[16]。圖7為實(shí)時(shí)檢測(cè)的視頻圖像中畫面的截取，為了表示基于顏色模型識(shí)別的火焰區(qū)域，將其用綠色矩形框標(biāo)記，不難看出火焰的整體區(qū)域都在框內(nèi)，所選擇的閾值檢測(cè)效果良好。

圖7 顏色特征提取及輪廓標(biāo)記

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文系統(tǒng)的整體性能，分別在不同場(chǎng)景、光照、空氣流通等環(huán)境下進(jìn)行了15組火焰識(shí)別的對(duì)照實(shí)驗(yàn)。在實(shí)驗(yàn)中通過高清攝像頭監(jiān)控場(chǎng)景里的火焰燃燒，并在本系統(tǒng)識(shí)別的基礎(chǔ)上進(jìn)行錄制視頻，后期對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行逐幀分析并采集了相關(guān)圖像數(shù)據(jù)，如圖8所示。

圖8 部分檢測(cè)實(shí)驗(yàn)結(jié)果

從圖8可看出，在不同條件下，本文系統(tǒng)都準(zhǔn)確識(shí)別了火焰區(qū)域。結(jié)合實(shí)驗(yàn)結(jié)果，從準(zhǔn)確率、識(shí)別靈敏度和誤報(bào)率三個(gè)方面評(píng)估系統(tǒng)的火焰檢測(cè)性能[17]，其中準(zhǔn)確率和誤報(bào)率的公式為：

(5)

(6)

在保證高精度的同時(shí)，視頻監(jiān)控對(duì)突發(fā)火災(zāi)檢測(cè)的反應(yīng)時(shí)間也是十分重要的。識(shí)別靈敏度通過計(jì)算檢測(cè)出火焰的第一幀位置與起火的第一幀位置的差值來判斷反應(yīng)時(shí)間的大小。檢測(cè)系統(tǒng)對(duì)起火的反應(yīng)直接決定了該系統(tǒng)的性能。識(shí)別靈敏度越小，可以認(rèn)為該系統(tǒng)性能越好[18]。

表1—表3，基于混合高斯模型MOG和基于幀間差分法IFDM的火焰識(shí)別算法，與本文的算法在準(zhǔn)確率、靈敏度和誤報(bào)率做了對(duì)比。分析表中數(shù)據(jù)可知，本文算法檢測(cè)火焰的平均準(zhǔn)確率在96%以上，遠(yuǎn)高于MOG和IFDM，與此對(duì)應(yīng)的誤報(bào)率也是三者之中最低的；從識(shí)別靈敏度可以看出對(duì)起火的反應(yīng)時(shí)間也是最快的。這驗(yàn)證了本文系統(tǒng)能夠降低基于傳統(tǒng)火焰識(shí)別算法的視頻監(jiān)控檢測(cè)火災(zāi)的漏報(bào)和延遲現(xiàn)象，同時(shí)具有良好的可靠性和實(shí)用性。

表1 火焰識(shí)別準(zhǔn)確率

表2 火焰識(shí)別靈敏度

表3 火焰識(shí)別誤報(bào)率

5 結(jié)束語(yǔ)

本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于顏色模型的火災(zāi)識(shí)別系統(tǒng)，并通過實(shí)驗(yàn)驗(yàn)證該系統(tǒng)可以明顯識(shí)別火焰，而且火災(zāi)檢測(cè)速度遠(yuǎn)遠(yuǎn)高于以往的視頻監(jiān)控火災(zāi)報(bào)警系統(tǒng)。該系統(tǒng)能夠充分利用室內(nèi)原有的視頻監(jiān)控設(shè)備,有效彌補(bǔ)了現(xiàn)有火災(zāi)報(bào)警系統(tǒng)的不足[19]，是火災(zāi)識(shí)別系統(tǒng)發(fā)展的主流趨勢(shì)，具有較廣闊的應(yīng)用前景。未來，將繼續(xù)優(yōu)化系統(tǒng)結(jié)構(gòu)和識(shí)別過程，完善識(shí)別算法性能，例如引入深度學(xué)習(xí)模型，將此系統(tǒng)應(yīng)用與監(jiān)控視頻大數(shù)據(jù)分析結(jié)合，以利于更高效、準(zhǔn)確地識(shí)別火災(zāi)。